JPH09284570A - Image signal coding method and image signal decoding method - Google Patents
Image signal coding method and image signal decoding methodInfo
- Publication number
- JPH09284570A JPH09284570A JP8111994A JP11199496A JPH09284570A JP H09284570 A JPH09284570 A JP H09284570A JP 8111994 A JP8111994 A JP 8111994A JP 11199496 A JP11199496 A JP 11199496A JP H09284570 A JPH09284570 A JP H09284570A
- Authority
- JP
- Japan
- Prior art keywords
- grid
- point
- feature point
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
【０００１】[0001]
【目次】以下の順序で本発明を説明する。 発明の属する技術分野 従来の技術 発明が解決しようとする課題（図７〜図１４） 課題を解決するための手段 発明の実施の形態 （１）第１実施例（図１〜図３） （２）第２実施例（図４〜図６） （３）他の実施例 発明の効果[Table of Contents] The present invention will be described in the following order. TECHNICAL FIELD OF THE INVENTION Conventional Technology Problems to be Solved by the Invention (FIGS. 7 to 14) Means for Solving the Problems Embodiments of the Invention (1) First Example (FIGS. 1 to 3) (2) ) Second embodiment (Figs. 4 to 6) (3) Other embodiments Effect of the invention
【０００２】[0002]
【発明の属する技術分野】本発明は、画像信号符号化方
法及び画像信号復号化方法に関し、特に画像の特徴点を
検出し、当該特徴点の情報を符号化することにより画像
信号を高能率符号化する場合に適用し得る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image signal coding method and an image signal decoding method, and more particularly to a high efficiency coding of an image signal by detecting a characteristic point of an image and coding the information of the characteristic point. It can be applied when converting.
【０００３】[0003]
【従来の技術】従来、画像信号を高能率符号化する方法
として、入力画像をＤＣＴ(DiscreteCosine Transform)
によつて直交変換し、各周波数帯域ごとに、人間の視
覚特性に従つた適応量子化を行う方式や、ウエーブレツ
ト基底により画像をサブバンド分割し、各バンドごとに
重みづけをして符号化する方法が用いられている。これ
らの方法によれば、視覚的にも歪みが目立ち難く、高圧
縮率を得ることができる。2. Description of the Related Art Conventionally, a DCT (Discrete Cosine Transform) is applied to an input image as a method for highly efficient encoding of an image signal.
The orthogonal transform is performed according to the method, and the adaptive quantization is performed for each frequency band according to the human visual characteristics, or the image is sub-band divided by the wavelet base, and each band is weighted and encoded. Method is used. According to these methods, the distortion is visually inconspicuous and a high compression rate can be obtained.
【０００４】しかし、さらに圧縮率をあげていくとブロ
ツク歪みをはじめ、視覚上好ましくない影響が顕著にな
るという欠点がある。そこで、高圧縮率下でも視覚上好
ましくない歪みを出さない符号化方式として、画像の構
造の特徴的な点を抽出し、効率的に符号化する、いわゆ
る画像の特徴点検出による構造抽出符号化方式が用いら
れている。However, when the compression rate is further increased, there is a drawback that block distortion and other unfavorable visual effects become remarkable. Therefore, as a coding method that does not produce visually undesired distortion even at high compression rates, so-called structure extraction coding by detecting feature points of an image structure and efficiently coding it The scheme is used.
【０００５】[0005]
【発明が解決しようとする課題】例えば図７に示すよう
に、画像の特徴点を検出して画像信号を符号化する構造
抽出符号化装置１は、入力画像信号Ｓ１を平滑フイルタ
又はウエーブレツトなどの帯域分割フイルタでなるフイ
ルタ２を通過させることによりフイルタ係数Ｓ２を生成
し、これを量子化器３及び２次元特徴点検出回路４に送
出する。量子化器３はフイルタ係数Ｓ２を量子化するこ
とにより量子化係数Ｓ３を生成し、これをセレクト多重
化回路５に送出する。また２次元特徴点検出回路４はフ
イルタ係数Ｓ２から特徴点を検出し、この結果現在の信
号を特徴点として検知した場合はフラグ１を、そうでな
い場合はフラグ０をセレクト信号Ｓ４としてセレクト多
重化回路５に送出する。For example, as shown in FIG. 7, a structure extraction coding apparatus 1 for detecting a feature point of an image and coding the image signal is a smoothing filter, a wavelet or the like for an input image signal S1. The filter coefficient S2 is generated by passing through the filter 2 which is a band division filter of No. 1 and is sent to the quantizer 3 and the two-dimensional feature point detection circuit 4. The quantizer 3 quantizes the filter coefficient S2 to generate a quantized coefficient S3, which is sent to the select multiplexing circuit 5. Further, the two-dimensional feature point detection circuit 4 detects the feature point from the filter coefficient S2, and as a result, if the current signal is detected as the feature point, flag 1 is selected. It is sent to the circuit 5.
【０００６】セレクト多重化回路５は、セレクト信号Ｓ
４がフラグ１の時の特徴点についての量子化係数Ｓ３
と、特徴点の座標をチエーンコーデイングしたものとを
多重化して特徴点信号Ｓ５として可変長符号化回路６に
送出する。可変長符号化回路６は特徴点信号Ｓ５に対し
てエントロピー符号化を施し、この結果得た可変長符号
化特徴点信号Ｓ６をバツフアメモリ７に送出する。バツ
フアメモリ７は可変長符号化特徴点信号Ｓ６の情報量を
平滑化し、これを符号化データＳ７として出力する。The select multiplex circuit 5 has a select signal S.
Quantization coefficient S3 for feature points when 4 is flag 1
And the chain-coded feature point coordinates are multiplexed and sent to the variable length coding circuit 6 as a feature point signal S5. The variable length coding circuit 6 performs entropy coding on the feature point signal S5, and sends the resulting variable length coded feature point signal S6 to the buffer memory 7. The buffer memory 7 smoothes the information amount of the variable length coded feature point signal S6 and outputs it as the coded data S7.
【０００７】この構造抽出符号化装置１により符号化さ
れた画像データは、図８に示すような構造抽出復号化装
置２０によつて復号される。すなわち構造抽出復号化装
置２０は、構造抽出符号化装置１から出力された符号化
データＳ７の情報量をバツフアメモリ２１によつて平滑
化した後、続く可変長復号化回路２２によつて可変長復
号化することにより特徴点信号Ｓ１０を得、これを分流
出力回路２３に送出する。The image data coded by the structure extraction coding device 1 is decoded by the structure extraction decoding device 20 as shown in FIG. That is, the structure extraction / decoding apparatus 20 smoothes the information amount of the encoded data S7 output from the structure extraction / encoding apparatus 1 by the buffer memory 21, and then performs the variable length decoding by the variable length decoding circuit 22 that follows. Then, the characteristic point signal S10 is obtained and is sent to the shunt output circuit 23.
【０００８】分流出力回路２３は、特徴点信号Ｓ１０を
位置情報と量子化係数情報とに分けた後、ラインスキヤ
ン順に量子化係数Ｓ１１を続く逆量子化器２４に送出す
る。逆量子化器２４は量子化係数Ｓ１１を逆量子化する
ことにより復元係数Ｓ１２を生成し、これを補間器２５
に送出する。補間器２５は復元係数Ｓ１２に基づいて特
徴点以外の点の値を補間し、補間係数Ｓ１３を逆変換回
路２６に送出する。逆変換回路２６は、補間係数Ｓ１３
に基づいて、そのまま又は逆ウエーブレツト変換などの
変換処理を施した後、出力信号Ｓ１４として例えばテレ
ビジヨンモニタ等に出力する。The shunt output circuit 23 divides the feature point signal S10 into position information and quantized coefficient information, and then sends the quantized coefficient S11 to the subsequent dequantizer 24 in the line scan order. The inverse quantizer 24 inversely quantizes the quantized coefficient S11 to generate a restoration coefficient S12, which is interpolated by the interpolator 25.
To send to. The interpolator 25 interpolates the values of points other than the feature points based on the restoration coefficient S12, and sends the interpolation coefficient S13 to the inverse conversion circuit 26. The inverse conversion circuit 26 uses the interpolation coefficient S13.
The output signal S14 is output to, for example, a television monitor as it is or after being subjected to conversion processing such as inverse wavelet conversion based on the above.
【０００９】ここで補間器２５は、図９に示すように構
成されている。すなわち補間器２５は入力した復元係数
Ｓ１２を前フレームバツフア３０に一旦蓄積した後、図
１０に示すようなローパスフイルタ係数を有する拡散フ
イルタ３１によつて特徴点以外の点についてフイルタリ
ングによる補間を行う。補間後の拡散復元係数Ｓ１５は
後フレームバツフア３２に蓄積され、１フレーム分の処
理が終わつた時点で前フレームバツフア３０に転送さ
れ、以後同様の拡散フイルタリング処理を受ける。補間
器２５は十分な復元画質を得るために、同様の処理を数
十回繰り返した後に補間係数Ｓ１３を逆変換回路２６に
送出する。Here, the interpolator 25 is constructed as shown in FIG. That is, the interpolator 25 temporarily stores the input restoration coefficient S12 in the previous frame buffer 30, and then interpolates the points other than the feature points by filtering with a diffusion filter 31 having a low-pass filter coefficient as shown in FIG. To do. The post-interpolation diffusion restoration coefficient S15 is stored in the post-frame buffer 32, transferred to the previous frame buffer 30 at the time when the processing for one frame is completed, and thereafter subjected to the same diffusion filtering processing. The interpolator 25 sends the interpolation coefficient S13 to the inverse conversion circuit 26 after repeating the same processing several tens of times in order to obtain a sufficient restored image quality.
【００１０】また、図１１に示すような構造抽出符号化
装置４０が提案されている。すなわち図７との対応部分
に同一符号を付して示す図１１において、構造抽出符号
化装置４０はサブサンプラ４１によつてフイルタ係数Ｓ
２を所定間隔でサンプリングし、この結果得た格子点の
情報をサンプル係数Ｓ２０としてセレクト多重化回路４
２に送出する。セレクト多重化回路４２は、２次元特徴
点検出回路４からのセレクト信号Ｓ４がフラグ１のとき
の特徴点についての量子化係数Ｓ３と当該特徴点の座標
とを多重化すると共にサンプル係数Ｓ２０を多重化し、
特徴点信号Ｓ２１として可変長符号化回路６に送出す
る。可変長符号化回路６は特徴点信号Ｓ２１をエントロ
ピー符号化し、この結果得られた可変長符号化特徴点信
号Ｓ２２をバツフアメモリ７に送出する。バツフアメモ
リ７は可変長符号化特徴点信号Ｓ２２の情報量を平滑化
し、これを符号化データＳ２３として出力する。A structure extraction coding device 40 as shown in FIG. 11 has been proposed. That is, in FIG. 11 in which parts corresponding to those in FIG. 7 are assigned the same reference numerals, the structure extraction encoding device 40 uses the subsampler 41 to filter the filter coefficient S.
2 is sampled at a predetermined interval, and the information of the lattice points obtained as a result is used as a sample coefficient S20 to select multiplexer 4.
Send to 2. The select multiplexing circuit 42 multiplexes the quantized coefficient S3 for the feature point when the select signal S4 from the two-dimensional feature point detection circuit 4 is flag 1 and the coordinates of the feature point, and also multiplexes the sample coefficient S20. Turned into
The characteristic point signal S21 is sent to the variable length coding circuit 6. The variable-length coding circuit 6 entropy-codes the feature point signal S21, and sends the variable-length coded feature point signal S22 obtained as a result to the buffer memory 7. The buffer memory 7 smoothes the information amount of the variable length coded feature point signal S22 and outputs it as the coded data S23.
【００１１】この符号化データＳ２３を復号する復号化
装置として、図１２に示す構成の構造抽出復号化装置５
０が提案されている。構造抽出復号化装置５０は符号化
データＳ２３の情報量をバツフアメモリ５１によつて平
滑化した後、続く可変長復号化回路５２によつて可変長
復号化することにより特徴点信号Ｓ２４を得、これを分
流出力回路５３に送出する。分流出力回路５３は特徴点
信号Ｓ２４をサンプル係数Ｓ２６と位置情報及び量子化
係数情報とに分け、サンプル係数Ｓ２６を補間器５５に
送出すると共に、量子化係数情報をラインスキヤン順に
量子化係数Ｓ２５として逆量子化器５４に送出する。As a decoding device for decoding this encoded data S23, a structure extraction decoding device 5 having the configuration shown in FIG.
0 has been proposed. The structure extraction / decoding device 50 smoothes the information amount of the coded data S23 by the buffer memory 51 and then performs variable length decoding by the subsequent variable length decoding circuit 52 to obtain the feature point signal S24. To the shunt output circuit 53. The shunt output circuit 53 divides the feature point signal S24 into a sample coefficient S26 and position information and quantized coefficient information, sends the sample coefficient S26 to the interpolator 55, and sets the quantized coefficient information as a quantized coefficient S25 in the line scan order. It is sent to the inverse quantizer 54.
【００１２】逆量子化器５４は量子化係数Ｓ２５を逆量
子化することにより復元係数Ｓ２７を生成し、これを補
間器５５に送出する。補間器５５は復元係数Ｓ２７とサ
ンプル係数Ｓ２６とに基づいて特徴点以外の点の値を補
間することにより補間係数Ｓ２８を生成し、これを逆変
換回路５６に送出する。逆変換回路５６は補間係数Ｓ２
８を、そのまま又は逆ウエーブレツト変換などの変換を
施して出力信号Ｓ２９として出力する。The dequantizer 54 dequantizes the quantized coefficient S25 to generate a restoration coefficient S27, and sends this to the interpolator 55. The interpolator 55 generates an interpolation coefficient S28 by interpolating the values of points other than the feature points based on the restoration coefficient S27 and the sample coefficient S26, and sends this to the inverse conversion circuit 56. The inverse conversion circuit 56 uses the interpolation coefficient S2.
8 is output as it is or after being subjected to conversion such as inverse wavelet conversion, as an output signal S29.
【００１３】ここで補間器５５は、図１３に示すように
構成されている。補間器５５はサンプル係数Ｓ２６及び
復元係数Ｓ２７を一旦フレームバツフア６０に蓄積した
後、横方向格子補間器６１によつて、サンプリングされ
た画素及び特徴点以外の画素について、サンプリングの
間隔と同じ間隔の格子上の画素をサンプリングされた画
素と特徴点とを用いて補間する。横方向格子補間器６１
は、図１４に示すようなフレームバツフア６０中のサン
プル画素Ｓ00〜Ｓm*n と特徴点の復元係数Ａ0 〜Ａi を
用いて、サンプル画素の横方向の区間Ｈ1 〜Ｈm*n にお
いて、サンプル画素及び特徴点の復元係数以外の点につ
いて補間を行う。Here, the interpolator 55 is constructed as shown in FIG. The interpolator 55 temporarily accumulates the sample coefficient S26 and the restoration coefficient S27 in the frame buffer 60, and then, by the horizontal grid interpolator 61, the same intervals as the sampling intervals for the pixels sampled and the pixels other than the feature points. The pixels on the grid are interpolated using the sampled pixels and the feature points. Horizontal grid interpolator 61
Using the sample pixels S 00 to S m * n in the frame buffer 60 as shown in FIG. 14 and the restoration coefficients A 0 to A i of the feature points, the horizontal sections H 1 to H m of the sample pixels. At * n , interpolation is performed for points other than the sample pixel and the restoration coefficient of the feature point.
【００１４】ここで横方向格子補間器６１は、区間Ｈ1
〜Ｈm*n のサンプル画素と復元係数意外の任意の点の座
標を（Ｘa 、Ｙa ）、同じＸ座標でＹ座標がＹa より小
さいサンプル画素又は復元係数のうち、最も近くにある
ものの座標を（Ｘa 、Ｙb ）、この座標（Ｘa 、Ｙb ）
の係数値をＡb とし、同じＸ座標でＹ座標がＹa より大
きいサンプル画素または復元係数のうち、最も近くにあ
るものの座標を（Ｘa、Ｙc ）、この座標（Ｘa 、
Ｙc ）の係数値をＡc としたとき、座標（Ｘa 、Ｙa ）
の点の係数値Ａa を、次式Here, the horizontal grid interpolator 61 uses the section H 1
The coordinates of an arbitrary point other than the sample pixel of H m * n and the restoration coefficient are (X a , Y a ), and the sample pixel or restoration coefficient having the same X coordinate and the Y coordinate smaller than Y a is the closest. The coordinates of the object are (X a , Y b ), and these coordinates (X a , Y b ).
Let A b be the coefficient value of X, and the coordinates of the nearest sample pixel or restoration coefficient having the same X coordinate and Y coordinate larger than Y a are (X a , Y c ), and this coordinate (X a ,
When the coefficient value of Y c ) is A c , the coordinates (X a , Y a )
The coefficient value A a at the point of
【数１】 又は、[Equation 1] Or
【数２】 のように補間し、これを横方向格子補間器出力Ｓ３０と
してフレームバツフア６０に送出することにより、横方
向の補間値をフレームバツフア６０に書き込む。[Equation 2] The interpolated value in the horizontal direction is written in the frame buffer 60 by performing the interpolation as described above and sending this as the horizontal grid interpolator output S30 to the frame buffer 60.
【００１５】縦方向格子補間器６２は、図１４に示すよ
うなフレームバツフア６０中のサンプル画素Ｓ00〜Ｓ
m*n と特徴点の復元係数Ａ0 〜Ａi を用いて、サンプル
画素の縦方向の区間Ｖ1 〜Ｖm*n において、サンプル画
素と特徴点の復元係数以外の点について補間を行う。こ
こで縦方向格子補間器６２は、区間Ｖ1 〜Ｖm*n のサン
プル画素と復元係数以外の任意の点の座標を（Ｘa 、Ｙ
a ）、同じＹ座標でＸ座標がＸa より小さいサンプル画
素又は復元係数のうち、最も近くにあるものの座標を
（Ｘb 、Ｙa ）、この座標（Ｘb 、Ｙa ）の係数値をＡ
b とし、同じＹ座標でＸ座標がＸa より大きいサンプル
画素または復元係数のうち、最も近くにあるものの座標
を（Ｘa、Ｙc ）、この座標（Ｘa 、Ｙc ）の係数値を
Ａc としたとき、座標（Ｘa 、Ｙa ）の点の係数値Ａa
を、次式The vertical grid interpolator 62 includes sample pixels S 00 -S in the frame buffer 60 as shown in FIG.
Using m * n and the restoration coefficients A 0 to A i of the feature points, interpolation is performed for points other than the restoration coefficients of the sample pixels and the feature points in the vertical sections V 1 to V m * n of the sample pixels. Here, the vertical grid interpolator 62 sets the coordinates of any point other than the sample pixels and the restoration coefficient in the sections V 1 to V m * n to (X a , Y
a), X-coordinate at the same Y coordinate of the X a smaller sample pixel or coefficient of restitution, the coordinates of which the nearest (X b, Y a), the coordinates (X b, the coefficient values of Y a) A
and is b, among the X coordinate at the same Y coordinate of X a larger sample pixel or coefficient of restitution, the coordinates of which the nearest (X a, Y c), the coordinates (X a, Y c) the coefficient values of Assuming A c , the coefficient value A a of the point of coordinates (X a , Y a )
Is given by
【数３】 又は、(Equation 3) Or
【数４】 のように補間し、これを縦方向格子補間器出力Ｓ３１と
してフレームバツフア６０に送出することにより、縦方
向の補間値をフレームバツフア６０に書き込む。(Equation 4) The vertical interpolation value is written in the frame buffer 60 by interpolating as described above and sending it to the frame buffer 60 as the vertical grid interpolator output S31.
【００１６】２次元補間器６３は、縦横方向の格子上の
補間が終わつたのち、サンプル画素、特徴点の復元係
数、補間終了画素以外の点について補間を行う。すなわ
ち２次元補間器６３は、サンプル画素、特徴点の復元係
数、補間終了画素以外の任意の点の座標を（Ｘa 、
Ｙa ）、同じＸ座標でＹ座標がＹa より小さいサンプル
画素、復元係数または補間終了画素のうち、最も近くに
あるものの座標を（Ｘa 、Ｙb ）、この座標（Ｘa 、Ｙ
b ）の係数値をＡyb、同じＸ座標でＹ座標がＹa より大
きいサンプル画素、復元係数または補間終了画素のう
ち、最も近くにあるものの座標を（Ｘa 、Ｙc ）、この
座標（Ｘa 、Ｙc ）の係数値をＡyc、同じＹ座標でＸ座
標がＸa より小さいサンプル画素、復元係数又は補間終
了画素のうち、最も近くにあるものの座標を（Ｘb 、Ｙ
a ）、この座標（Ｘb 、Ｙa ）の係数値をＡxb、同じＹ
座標でＸ座標がＸa より大きいサンプル画素、復元係数
又は補間終了画素のうち、最も近くにあるものの座標を
（Ｘc 、Ｙa ）、この座標（Ｘc 、Ｙa ）の係数値をＡ
xcとしたとき、座標（Ｘa 、Ｙa ）の点の係数値Ａ
a を、次式The two-dimensional interpolator 63 performs interpolation on points other than the sample pixel, the feature point restoration coefficient, and the interpolation end pixel after the interpolation on the vertical and horizontal grids is completed. That is, the two-dimensional interpolator 63 sets the coordinates of any point other than the sample pixel, the restoration coefficient of the feature point, and the interpolation end pixel to (X a ,
Y a ), the coordinates of the sample pixel, the restoration coefficient or the interpolation end pixel, which is the closest in the same X coordinate and whose Y coordinate is smaller than Y a, are (X a , Y b ), and these coordinates (X a , Y
The coefficient values of b) A yb, Y coordinate Y a larger sample pixels at the same X-coordinate, of the coefficient of restitution or interpolation end pixel, the coordinates of which the nearest (X a, Y c), the coordinates ( X a , Y c ) has a coefficient value of A yc , a sample pixel having the same Y coordinate and an X coordinate smaller than X a , the restoration coefficient or the interpolation end pixel, whichever is the closest to the coordinate is (X b , Y c) .
a ), the coefficient value of this coordinate (X b , Y a ) is A xb , the same Y
X coordinate coordinate X a larger sample pixel, among the restored coefficients or interpolation end pixel, the coordinates of which the nearest (X c, Y a), the coordinates (X c, Y a) the coefficient values of A
When xc is set, the coefficient value A of the point of coordinates (X a , Y a )
a is
【数５】 又は、(Equation 5) Or
【数６】 のように補間し、これを２次元補間器出力Ｓ３２として
フレームバツフア６０に送出することにより、２次元補
間値をフレームバツフア６０に書き込む。補間器５５は
２次元補間が終わつた後のフレームバツフア６０の内容
を、最終的に補間器出力Ｓ２８としてラインスキヤン順
に出力する。かくして補間器５５は、サンプル画素及び
特徴点を用いて補間処理することにより、繰り返し処理
を行うことなく補間画素を求めることができ、この結果
短時間で画質の良い復元画像を得ることができる。(Equation 6) The two-dimensional interpolation value is written in the frame buffer 60 by interpolating as described above and sending it to the frame buffer 60 as the two-dimensional interpolator output S32. The interpolator 55 finally outputs the contents of the frame buffer 60 after the two-dimensional interpolation is completed as the interpolator output S28 in the line scan order. Thus, the interpolator 55 can obtain the interpolated pixel without performing the iterative process by performing the interpolating process using the sample pixel and the feature point, and as a result, a restored image with good image quality can be obtained in a short time.
【００１７】ところで上述したような構造抽出復号化装
置２０（図８）では、補間器２５によつて拡散フイルタ
リング処理を何回も繰り返すことにより、原画に近い復
元画像を得られるようになされている。しかしながら、
繰り返し処理に要する時間のためリアルタイム処理が困
難になるという問題があつた。In the structure extraction / decoding device 20 (FIG. 8) as described above, the interpolator 25 repeats the diffusion filtering process many times to obtain a restored image close to the original image. There is. However,
There is a problem that real-time processing becomes difficult due to the time required for repeated processing.
【００１８】また構造抽出復号化装置５０（図１２）で
は、１回の補間処理で復元画像を得られるという利点は
あるが、符号化側で格子点の情報を符号化しておく必要
があるためビツト量が増大するという問題があつた。Further, although the structure extraction / decoding device 50 (FIG. 12) has an advantage that a restored image can be obtained by one-time interpolation processing, it is necessary to code the information of the lattice points on the coding side. There was a problem that the amount of bits increased.
【００１９】本発明は以上の点を考慮してなされたもの
で、比較的短時間の処理により十分な復元画像を得られ
る画像信号符号化方法及び画像信号復号化方法を提案し
ようとするものである。The present invention has been made in consideration of the above points, and is intended to propose an image signal coding method and an image signal decoding method which can obtain a sufficiently restored image by processing in a relatively short time. is there.
【００２０】[0020]
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力画像信号から特徴点を検出
し、当該特徴点の情報を符号化する画像信号符号化方法
において、特徴点情報に基づいて画像上で一定の間隔ず
つ離れた格子点の画素値を推定し、原画の画素値と推定
した画素値とを比較し、原画の画素値と推定した画素値
との差分の絶対値が所定の閾値以上である格子点につい
てのみ、当該格子点の座標と原画の画素値とを格子画素
補正情報として特徴点情報に多重化して符号化すること
により、符号化すべきデータ量を減らしてビツト量を減
少させることができると共に、原画により近い画像デー
タを出力することができる。In order to solve such a problem, in the present invention, an image signal coding method for detecting a feature point from an input image signal and coding the information of the feature point is converted into feature point information. Based on this, the pixel values of the grid points that are separated by a fixed interval on the image are estimated, the pixel value of the original image and the estimated pixel value are compared, and the absolute value of the difference between the pixel value of the original image and the estimated pixel value is Only for grid points that are greater than or equal to a predetermined threshold value, the coordinates of the grid point and the pixel value of the original image are multiplexed and encoded as feature point information as grid pixel correction information to reduce the amount of data to be coded and the bit. The amount can be reduced and image data closer to the original image can be output.
【００２１】さらに本発明においては、入力画像信号か
ら特徴点を検出し、当該特徴点の情報を符号化すること
により形成された符号化信号を復号化する画像信号復号
化方法において、復号化された特徴点情報に基づいて画
像上で一定の間隔ずつ離れた格子点の画素値を推定し、
当該格子点の画素値に基づいて特徴点以外の点の値を補
間することにより復号化画像を得ることができる。これ
により格子点の情報なしに生成された符号化信号から１
回の補間処理で原画により近い復元画像を短時間の復号
化処理によつてリアルタイムに得ることができる。Furthermore, according to the present invention, a feature point is detected from an input image signal, and a coded signal formed by coding information of the feature point is decoded and decoded by an image signal decoding method. Estimate the pixel values of the grid points that are separated by a fixed interval on the image based on the feature point information,
A decoded image can be obtained by interpolating the values of points other than the feature points based on the pixel values of the grid points. As a result, 1 is obtained from the coded signal generated without the information on the grid points.
A restored image closer to the original image can be obtained in real time by the decoding process in a short time by performing the interpolation process once.
【００２２】[0022]
【発明の実施の形態】以下図面について、本発明の一実
施例を詳述する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below in detail with reference to the drawings.
【００２３】（１）第１実施例 図８との対応部分に同一符号を付して示す図１におい
て、構造抽出復号化装置７０は、上述の構造抽出符号化
装置１（図７）により格子点の補正情報を符号化しない
で生成された符号化データＳ７を復号化して復元画像デ
ータを得るようになされている。ここで、格子点の補正
情報とは特徴点信号に基づいて推定した格子点の画素値
と原画の画素値との差分値のことである。(1) First Embodiment In FIG. 1 in which parts corresponding to those in FIG. 8 are assigned the same reference numerals, the structure extraction / decoding device 70 uses the above structure extraction / coding device 1 (FIG. 7) to generate a lattice. The restored image data is obtained by decoding the coded data S7 generated without coding the point correction information. Here, the grid point correction information is a difference value between the pixel value of the grid point estimated based on the feature point signal and the pixel value of the original image.
【００２４】構造抽出復号化装置７０は格子画素推定回
路７１を有し、逆量子化器２４から出力される復元係数
Ｓ１２を格子画素推定回路７１に入力する。格子画素推
定回路７１は復元係数Ｓ１２に基づいて格子点の値を推
定し、サブサンプル係数Ｄ１として補間器２５に送出す
る。補間器２５は、復元係数Ｓ１２とサブサンプル係数
Ｄ１とにより特徴点以外の点の値を補間し、補間係数Ｄ
２として逆変換回路２６に送出する。逆変換回路２６
は、補間係数Ｄ２をそのまま、又は逆ウエーブレツト変
換などの変換を施した後、出力信号Ｄ３としてテレビジ
ヨンモニタ等に出力するようになされている。The structure extraction / decoding device 70 has a lattice pixel estimation circuit 71, and inputs the restoration coefficient S12 output from the inverse quantizer 24 to the lattice pixel estimation circuit 71. The lattice pixel estimation circuit 71 estimates the value of the lattice point based on the restoration coefficient S12 and sends it to the interpolator 25 as the sub-sample coefficient D1. The interpolator 25 interpolates the values of points other than the feature points by using the restoration coefficient S12 and the sub-sampling coefficient D1, and the interpolation coefficient D
2 is sent to the inverse conversion circuit 26. Inverse conversion circuit 26
Is designed to output the interpolation coefficient D2 as it is or after performing inverse wavelet conversion or the like to the television monitor or the like as an output signal D3.
【００２５】ここで、図２に上述の格子画素推定回路７
１の構成を示す。格子画素推定回路７１では、逆量子化
器２４から出力される復元係数Ｓ１２を１フレーム分だ
けフレームバツフア７２に一旦蓄積した後、修正格子間
引き回路７３に送出する。修正格子間引き回路７３は、
所定の間隔ずつ離れた全ての各格子点について当該各格
子点の所定範囲の周囲に特徴点画素が存在するか否かを
探索し、特徴点画素が存在しない場合には「−１」を、
特徴点画素が存在する場合にはその特徴点の画素値をそ
の格子点の値として対応する格子フレームバツフア７４
に格納する。Here, the grid pixel estimation circuit 7 described above in FIG.
1 is shown. In the lattice pixel estimation circuit 71, the restoration coefficient S12 output from the inverse quantizer 24 is temporarily stored in the frame buffer 72 for one frame and then sent to the modified lattice thinning circuit 73. The modified grid thinning circuit 73 is
For all grid points separated by a predetermined interval, search whether or not feature point pixels exist around the predetermined range of each grid point, and if no feature point pixel exists, "-1",
When the feature point pixel exists, the pixel value of the feature point is used as the value of the grid point and the corresponding grid frame buffer 74
To be stored.
【００２６】ここで、図３（Ａ）、（Ｂ）に例えば格子
間隔５、探索範囲５の場合における修正格子間引き回路
７３の入出力例を示す。この図３（Ａ）ように、所定の
間隔ずつ離れた全ての各格子点について当該各格子点の
所定範囲の周囲に特徴点画素が存在するか否かを探索し
て間引いた結果、図３（Ｂ）のような出力が得られるよ
うになされている。Here, FIGS. 3A and 3B show input / output examples of the modified lattice thinning-out circuit 73 when the lattice spacing is 5 and the search range is 5, for example. As shown in FIG. 3A, as a result of searching and thinning out whether or not feature point pixels exist around a predetermined range of each grid point for all grid points separated by a predetermined interval, the result of FIG. An output as shown in (B) is obtained.
【００２７】続いて、画素補間回路７５は格子フレーム
バツフア７４に格納された内容に対して、値が「−１」
の画素を、値が「−１」ではなく当該「−１」の画素に
最も近い画素値に書き換える。この後、格子フレームバ
ツフア７４は書き換えられた画素値と、当該画素値に対
応する格子点の位置情報を共にサブサンプル係数Ｄ１と
して出力するようになされている。Subsequently, the pixel interpolating circuit 75 has a value "-1" for the contents stored in the lattice frame buffer 74.
The pixel of No. is rewritten not to "-1" but to the pixel value closest to the pixel of "-1". After that, the lattice frame buffer 74 outputs both the rewritten pixel value and the position information of the lattice point corresponding to the pixel value as the sub-sampling coefficient D1.
【００２８】以上の構成において、構造抽出復号化装置
７０は格子画素推定回路７１により所定の間隔ずつ離れ
た全ての各格子点について当該各格子点の所定範囲の周
囲に存在する特徴点画素を探索して格子点の値を推定す
る。そして、構造抽出復号化装置７０は格子画素推定回
路７１によつて推定した格子点の値に基づいて特徴点以
外の点の値を補間することにより、格子点の補正情報を
符号化しないで生成された符号化データＳ７から１回の
補間処理で復元画像を得ることができる。In the structure described above, the structure extraction / decoding device 70 searches the lattice point estimation circuit 71 for all the lattice points separated by a prescribed interval for characteristic point pixels existing around the prescribed range of the respective lattice points. Then, the value of the grid point is estimated. Then, the structure extraction / decoding device 70 interpolates the values of points other than the feature points based on the values of the grid points estimated by the grid pixel estimation circuit 71 to generate the correction information of the grid points without coding. A restored image can be obtained from the encoded data S7 thus obtained by one-time interpolation processing.
【００２９】以上の構成によれば、構造抽出復号化装置
７０は格子画素推定回路７１により推定した格子点の値
に基づいて特徴点以外の点の値を補間することにより、
格子点の補正情報を符号化しないで生成された符号化デ
ータＳ７から１回の補間処理で復元画像を得られ、かく
して拡散フイルタリングの繰り返し処理なしにリアルタ
イムで復号化処理することができる。According to the above configuration, the structure extraction / decoding device 70 interpolates the values of points other than the feature points based on the values of the grid points estimated by the grid pixel estimation circuit 71.
A restored image can be obtained from the encoded data S7 generated without encoding the correction information of the lattice points by one-time interpolation processing, and thus the decoding processing can be performed in real time without repeating the diffusion filtering.
【００３０】（２）第２実施例 次に、図４に格子点の補正情報を符号化する場合におけ
る画像の特徴点検出による構造抽出符号化装置８０の構
成を示す。構造抽出符号化装置成８０は、入力画像信号
Ｓ４０を平滑フイルタ又はウエーブレツトなどの帯域分
割フイルタでなるフイルタ８１を通過させることにより
フイルタ係数Ｓ４１を生成し、これを量子化器８２、２
次元特徴点検出回路８３及びサブサンプラ８４に送出す
る。(2) Second Embodiment Next, FIG. 4 shows the structure of a structure extraction encoding device 80 by detecting feature points of an image when encoding correction information of lattice points. The structure extraction coding device 80 generates the filter coefficient S41 by passing the input image signal S40 through a filter 81 which is a band dividing filter such as a smoothing filter or a wavelet, and the quantizer 82, 2
It is sent to the dimensional feature point detection circuit 83 and the sub-sampler 84.
【００３１】量子化器８２は、フイルタ係数Ｓ４１を量
子化することにより量子化係数Ｓ４２を生成し、セレク
ト多重化回路８５に送出する。２次元特徴点検出回路８
３は、フイルタ係数Ｓ４１から特徴点を検出し、この結
果現在の信号を特徴点として検知した場合にフラグ１
を、検知しなかつた場合にフラグ０をセレクト信号Ｓ４
３としてセレクト多重化回路８５に送出する。またサブ
サンプラ８４は、フイルタ係数Ｓ４１を一定間隔ごとに
サンプリングし、サンプル係数Ｓ４４として格子修正回
路８６に送出する。The quantizer 82 quantizes the filter coefficient S41 to generate a quantized coefficient S42, and sends it to the select multiplexing circuit 85. Two-dimensional feature point detection circuit 8
3 detects the feature point from the filter coefficient S41, and if the current signal is detected as the feature point as a result, the flag 1
Is not detected, flag 0 is set to select signal S4
3 to the select multiplex circuit 85. Further, the sub-sampler 84 samples the filter coefficient S41 at regular intervals and sends it to the lattice correction circuit 86 as a sample coefficient S44.
【００３２】セレクト多重化回路８５は、セレクト信号
Ｓ４３がフラグ１のときの特徴点についての量子化係数
Ｓ４２と当該特徴点の座標とを多重化して特徴点信号Ｓ
４５として格子修正回路８６及び格子点修正情報多重化
回路８７に送出する。格子修正回路８６は、特徴点信号
Ｓ４５から推定した画像上で一定の間隔ずつ離れた格子
点の値と、サブサンプラ８４からのサンプル係数Ｓ４４
に基づいて得られた原画における格子点の値とを比較
し、両者の差が所定の閾値Ｔ以上であつた場合に格子点
の座標と原画における格子点の値とでなる格子画素補正
情報を修正格子点信号Ｓ４６として格子点修正情報多重
化回路８７に送出する。これにより、格子修正回路８６
は格子点の補正情報を求めることができ、原画に近い格
子点の情報を出力し得るようになされている。The select multiplexing circuit 85 multiplexes the quantized coefficient S42 for the feature point when the select signal S43 is flag 1 and the coordinates of the feature point, and the feature point signal S.
It is sent as 45 to the lattice correction circuit 86 and the lattice point correction information multiplexing circuit 87. The lattice correction circuit 86 estimates the values of the lattice points on the image, which are estimated from the feature point signal S45, and the sampling coefficient S44 from the subsampler 84.
The value of the grid point in the original image obtained based on the above is compared, and when the difference between the two is greater than or equal to a predetermined threshold value T, the grid pixel correction information including the coordinates of the grid point and the value of the grid point in the original image is calculated. The corrected grid point signal S46 is sent to the grid point correction information multiplexing circuit 87. As a result, the grid correction circuit 86
Is capable of obtaining correction information of grid points, and is capable of outputting information of grid points close to the original image.
【００３３】格子点修正情報多重化回路８７は、特徴点
信号Ｓ４５と修正格子点信号Ｓ４６とを多重化し、多重
化特徴点信号Ｓ４７として可変長符号化回路８８に送出
する。可変長符号化回路８８は、多重化特徴点信号Ｓ４
７をエントロピー符号化し、可変長符号化特徴点信号Ｓ
４８としてバツフアメモリ８９に送出する。バツフアメ
モリ８９は、可変長符号化特徴点信号Ｓ４８の情報量を
平滑化し、これを符号化データＳ４９として出力するよ
うになされている。かくして、構造抽出復号化装置８０
は原画により近い画像データを出力するようになされて
いる。The lattice point correction information multiplexing circuit 87 multiplexes the feature point signal S45 and the corrected lattice point signal S46 and sends the multiplexed feature point signal S47 to the variable length coding circuit 88. The variable length coding circuit 88 uses the multiplexed feature point signal S4.
7 is entropy coded and variable length coded feature point signal S
It is sent to the buffer memory 89 as 48. The buffer memory 89 is configured to smooth the information amount of the variable length coded feature point signal S48 and output it as the coded data S49. Thus, the structure extraction decoding device 80
Is designed to output image data closer to the original image.
【００３４】ここで、図５に格子修正回路８６の構成を
示す。格子修正回路８６は、セレクト多重化回路８５か
らの特徴点信号Ｓ４５を格子画素推定回路９０に送出す
る。格子画素推定回路９０は、特徴点信号Ｓ４５に基づ
いて各格子画素の値を推定し、推定格子画素信号Ｓ５０
として比較器９１に送出する。FIG. 5 shows the structure of the lattice correction circuit 86. The lattice correction circuit 86 sends the feature point signal S45 from the select multiplexing circuit 85 to the lattice pixel estimation circuit 90. The lattice pixel estimation circuit 90 estimates the value of each lattice pixel based on the feature point signal S45, and estimates the estimated lattice pixel signal S50.
To the comparator 91.
【００３５】比較器９１は、推定格子画素信号Ｓ５０と
サブサンプラ８４からのサンプル係数Ｓ４４との値を比
較し、両者の差が所定の閾値Ｔ以上であつた場合にその
格子画素の座標とサンプル係数Ｓ４４とを修正格子点信
号Ｓ４６として出力するようになされている。ちなみ
に、図５において用いられた格子画素推定回路９０は、
図２に示された格子画素推定回路７１と同様に構成され
ており、この格子画素推定回路９０内に設けられた修正
格子間引き回路で間引くことにより符号化すべきデータ
を減らし、ビツト量を減少させるようになされている。The comparator 91 compares the value of the estimated grid pixel signal S50 with the value of the sample coefficient S44 from the subsampler 84. If the difference between the two is greater than a predetermined threshold value T, the coordinates of the grid pixel and the sample coefficient are compared. S44 and S44 are output as a corrected grid point signal S46. By the way, the grid pixel estimation circuit 90 used in FIG.
The grid pixel estimation circuit 71 shown in FIG. 2 has the same structure as the grid pixel estimation circuit 71. The modified grid thinning circuit provided in the grid pixel estimation circuit 90 thins out the data to be encoded and reduces the bit amount. It is done like this.
【００３６】続いて、図６に格子点の補正情報の符号化
を行う画像の特徴点検出による構造抽出符号化装置８０
によつて符号化された符号化データＳ４９を復号化する
画像信号復号化装置１００の構成を示す。画像信号復号
化装置１００は、符号化データＳ４９の情報量をバツフ
アメモリ１０１によつて平滑化した後、続く可変長復号
化回路１０２によつて可変長復号化することにより特徴
点信号Ｓ６０を得、これを分流出力回路１０３に送出す
る。分流出力回路１０３は、特徴点信号Ｓ６０を位置情
報、量子化係数情報及び格子画素補正情報に分けた後、
位置情報と量子化係数情報を量子化係数Ｓ６１としてラ
インスキヤン順に逆量子化器１０４に送出し、格子画素
補正情報を格子画素補正情報信号Ｓ６２として格子補正
回路１０５に送出する。Subsequently, in FIG. 6, a structure extraction coding device 80 by detecting feature points of an image for coding correction information of lattice points is shown.
1 shows a configuration of an image signal decoding apparatus 100 that decodes coded data S49 coded according to the above. The image signal decoding apparatus 100 obtains the feature point signal S60 by smoothing the information amount of the coded data S49 by the buffer memory 101 and then by variable length decoding by the subsequent variable length decoding circuit 102, This is sent to the shunt output circuit 103. The shunt output circuit 103 divides the feature point signal S60 into position information, quantization coefficient information, and lattice pixel correction information,
The position information and the quantization coefficient information are sent to the inverse quantizer 104 as the quantization coefficient S61 in the line scan order, and the lattice pixel correction information is sent to the lattice correction circuit 105 as the lattice pixel correction information signal S62.
【００３７】逆量子化器１０４は、量子化係数Ｓ６１を
逆量子化することにより復元係数Ｓ６３を生成し、これ
を補間器１０６及び格子画素推定回路１０７に送出す
る。格子画素推定回路１０７は、復元係数Ｓ６３に基づ
いて画像上で一定の間隔ずつ離れた格子点の値を推定し
て得た後に格子補正回路１０５により格子画素の値を補
正し、サブサンプル係数Ｓ６４として補間器１０６に出
力する。ここで、格子補正回路１０５は格子画素補正情
報信号Ｓ６２によつて指定された座標の格子点の値を補
正値で置き換えて出力するようになされている。The dequantizer 104 dequantizes the quantized coefficient S61 to generate a restoration coefficient S63, and sends this to the interpolator 106 and the lattice pixel estimation circuit 107. The lattice pixel estimation circuit 107 estimates and obtains the values of lattice points separated by a constant interval on the image based on the restoration coefficient S63, and then corrects the value of the lattice pixel by the lattice correction circuit 105 to obtain the sub-sampling coefficient S64. Is output to the interpolator 106. Here, the grid correction circuit 105 replaces the value of the grid point of the coordinate designated by the grid pixel correction information signal S62 with the correction value and outputs it.
【００３８】補間器１０６は、復元係数Ｓ６３とサブサ
ンプル係数Ｓ６４とにより特徴点以外の点の値を補間
し、補間係数Ｓ６５として逆変換回路１０８に送出す
る。逆変換回路１０８は、補間係数Ｓ６５をそのまま、
または、逆ウエーブレツト変換などの変換を行つた後、
出力信号Ｓ６６としてテレビジヨンモニタ等に出力する
ようになされている。ここで、格子画素推定回路１０７
は図２に示す格子画素推定回路７１と同一の構成であ
り、補間器１０６は図１３に示す補間器５５と同様に構
成されている。The interpolator 106 interpolates the values of points other than the feature points by the restoration coefficient S63 and the sub-sampling coefficient S64, and sends it to the inverse transform circuit 108 as the interpolation coefficient S65. The inverse conversion circuit 108 uses the interpolation coefficient S65 as it is,
Or, after performing conversion such as inverse wavelet conversion,
The output signal S66 is output to a television monitor or the like. Here, the grid pixel estimation circuit 107
2 has the same configuration as the grid pixel estimation circuit 71 shown in FIG. 2, and the interpolator 106 has the same configuration as the interpolator 55 shown in FIG.
【００３９】以上の構成において、構造抽出符号化装置
８０は格子修正回路８６の格子画素推定回路９０によつ
て特徴点信号Ｓ４５から推定した格子点の値と、サンプ
ル係数Ｓ４４に基づいて得られた原画における格子点の
値とを比較する。このとき、格子修正回路８６は両者の
差が所定の閾値Ｔ以上であつた場合に格子点の座標と原
画における格子点の値とを修正格子点信号Ｓ４６として
格子点修正情報多重化回路８７に送出し、特徴点信号Ｓ
４５と修正格子点信号Ｓ４６とを多重化して多重化特徴
点信号Ｓ４７として出力する。In the above structure, the structure extraction coding device 80 is obtained based on the value of the grid point estimated from the feature point signal S45 by the grid pixel estimation circuit 90 of the grid correction circuit 86 and the sample coefficient S44. Compare with the value of the grid point in the original picture. At this time, when the difference between the two is greater than or equal to a predetermined threshold value T, the grid correction circuit 86 sends the coordinates of the grid point and the value of the grid point in the original image to the grid point correction information multiplexing circuit 87 as a correction grid point signal S46. Send out the characteristic point signal S
45 and the corrected grid point signal S46 are multiplexed and output as a multiplexed feature point signal S47.
【００４０】このように、構造抽出符号化装置８０は格
子画素推定回路９０によつて得られた格子点の補正情報
を符号化して符号化データＳ４９として出力することに
より原画により近い画像データを出力することができ
る。また構造抽出符号化装置８０は、格子修正回路８６
の格子画素推定回路９０内に設けられた修正格子間引き
回路によつてデータを間引くことにより符号化すべきデ
ータを減らし、ビツト量を減少させることができる。As described above, the structure extraction coding device 80 outputs the image data closer to the original image by coding the correction information of the lattice points obtained by the lattice pixel estimation circuit 90 and outputting it as the encoded data S49. can do. Further, the structure extraction encoding device 80 includes a lattice correction circuit 86.
The data to be encoded can be reduced and the amount of bits can be reduced by thinning out the data by the modified lattice thinning-out circuit provided in the lattice pixel estimating circuit 90.
【００４１】また、構造抽出復号化装置１００は構造抽
出符号化装置８０によつて生成された原画により近い画
像データすなわち符号化データＳ４９を入力し、格子画
素推定回路１０７により復元係数Ｓ６３に基づいて格子
点の値を推定して得た後、格子補正回路１０５により格
子画素の値を補正値で置き換えて補正し、サブサンプル
係数Ｓ６４として補間器１０６に出力する。補間器１０
６は、復元係数Ｓ６３とサブサンプル係数Ｓ６４とによ
り特徴点以外の点の値を補間して出力信号Ｓ６６を出力
することができる。Further, the structure extraction / decoding apparatus 100 receives the image data closer to the original image generated by the structure extraction / encoding apparatus 80, that is, the encoded data S49, and the lattice pixel estimation circuit 107 based on the restoration coefficient S63. After the value of the grid point is estimated and obtained, the grid correction circuit 105 replaces the value of the grid pixel with the correction value and corrects it, and outputs it as the sub-sample coefficient S64 to the interpolator 106. Interpolator 10
6 can output the output signal S66 by interpolating the values of points other than the feature points by using the restoration coefficient S63 and the sub-sampling coefficient S64.
【００４２】このように、構造抽出復号化装置１００は
格子画素推定回路１０７で格子点の値を推定した後、格
子補正回路１０５により格子画素の値を補正値で置き換
えて補正したことにより、構造抽出符号化装置８０によ
つて生成された画像データから１回の補間処理で原画に
より近い復元画像を得ることができる。さらに、構造抽
出復号化装置１００は構造抽出符号化装置８０によつて
出力されたビツト量の少ない画像データを復号化するこ
とにより短時間で復号化処理をすることができる。As described above, in the structure extraction / decoding apparatus 100, after the value of the grid point is estimated by the grid pixel estimation circuit 107, the value of the grid pixel is replaced by the correction value by the grid correction circuit 105 and the correction is performed, whereby the structure is obtained. A restored image closer to the original image can be obtained from the image data generated by the extraction encoding device 80 by one interpolation process. Further, the structure extraction / decoding apparatus 100 can perform the decoding process in a short time by decoding the image data having a small bit amount output by the structure extraction / coding apparatus 80.
【００４３】以上の構成によれば、構造抽出符号化装置
８０は格子修正回路８６の格子画素推定回路９０内に設
けられた修正格子間引き回路によつてデータを間引くこ
とにより符号化すべきデータを減らしてビツト量を減少
させると共に、格子画素推定回路９０によつて得られた
格子点の補正情報を符号化することにより原画により近
い画像データを出力することができる。According to the above configuration, the structure extraction coding device 80 reduces the data to be coded by thinning out the data by the modified lattice thinning circuit provided in the lattice pixel estimating circuit 90 of the lattice modifying circuit 86. By reducing the bit amount and encoding the correction information of the lattice points obtained by the lattice pixel estimation circuit 90, image data closer to the original image can be output.
【００４４】また、構造抽出復号化装置１００は格子画
素推定回路１０７で格子点の値を推定した後、格子補正
回路１０５により格子画素の値を補正値で置き換えて補
正したことにより、構造抽出符号化装置８０によつて生
成された原画により近い画像データから１回の補間処理
で原画により近い復元画像を短時間の復号化処理によつ
て得ることができる。Further, the structure extraction / decoding apparatus 100 estimates the value of the grid point in the grid pixel estimation circuit 107 and corrects the grid pixel value by the grid correction circuit 105 by replacing the grid pixel value with the correction value. It is possible to obtain a restored image closer to the original image by a decoding process in a short time from the image data closer to the original image generated by the conversion device 80 by one interpolation process.
【００４５】（３）他の実施例 なお上述の第１及び第２実施例においては、補間器２５
及び補間器１０６により格子状の補間を１回のみ行つた
補間係数Ｄ２及びＳ６５を送出し、逆変換回路２６及び
１０８を介して構造抽出復号化装置７０及び１００の出
力とするようにした場合について述べたが、本発明はこ
れに限らず、得られた補間係数Ｄ２及びＳ６５をさらに
数回分拡散フイルタリング処理するようにしても良い。
これにより、構造抽出復号化装置７０及び１００はさら
に高画質の復号画像を得ることができる。(3) Other Embodiments In the first and second embodiments described above, the interpolator 25 is used.
And the case where the interpolator 106 sends out the interpolation coefficients D2 and S65 which have been subjected to the grid-like interpolation only once, and outputs the interpolation coefficients D2 and S65 through the inverse transform circuits 26 and 108 to the structure extraction decoding devices 70 and 100. Although described, the present invention is not limited to this, and the obtained interpolation coefficients D2 and S65 may be subjected to diffusion filtering processing several times more.
As a result, the structure extraction / decoding devices 70 and 100 can obtain a decoded image of higher quality.
【００４６】[0046]
【発明の効果】上述のように本発明によれば、特徴点情
報に基づいて画像上で一定の間隔ずつ離れた格子点の画
素値を推定した後、原画の画素値と推定した画素値とを
比較し、原画の画素値と推定した画素値との差分の絶対
値が所定の閾値以上である格子点についてのみ、当該格
子点の座標と原画の画素値とを格子画素補正情報として
特徴点情報に多重化して符号化することにより、符号化
すべきデータ量を減らしてビツト量を減少させると共
に、原画により近い画像データを出力できる画像信号符
号化方法を実現できる。As described above, according to the present invention, after estimating the pixel values of the lattice points separated by a constant interval on the image based on the feature point information, the pixel value of the original image and the estimated pixel value And the pixel values of the original image and the pixel values of the original image are used as the lattice pixel correction information only for the lattice points whose absolute value of the difference between the pixel value of the original image and the estimated pixel value is equal to or greater than a predetermined threshold value. By multiplexing with information and encoding, the amount of data to be encoded can be reduced to reduce the bit amount, and an image signal encoding method capable of outputting image data closer to the original image can be realized.
【００４７】さらに本発明によれば、入力画像信号から
特徴点を検出し、当該特徴点の情報を符号化することに
より形成された符号化信号を復号化する画像信号復号化
方法においては、復号化された特徴点情報に基づいて画
像上で一定の間隔ずつ離れた格子点の画素値を推定して
得た後、当該格子点の画素値に基づいて特徴点以外の点
の値を補間することにより、格子点の情報なしに生成さ
れた符号化信号から１回の補間処理で原画により近い復
元画像を短時間の復号化処理によつてリアルタイムに得
られる画像信号復号化方法を実現できる。Further, according to the present invention, the decoding is performed in the image signal decoding method for detecting the characteristic point from the input image signal and decoding the coded signal formed by coding the information of the characteristic point. After estimating the pixel values of grid points separated by a constant interval on the image based on the converted feature point information, interpolate the values of points other than the feature points based on the pixel values of the grid points. As a result, it is possible to realize an image signal decoding method in which a restored image closer to the original image can be obtained in real time by a single short-time decoding process from a coded signal generated without information on grid points by a single interpolation process.
【図１】本発明の一実施例による画像信号の特徴点検出
による構造抽出復号化装置Ｉを示すブロツク図である。FIG. 1 is a block diagram showing a structure extraction / decoding apparatus I by detecting feature points of an image signal according to an embodiment of the present invention.
【図２】本発明の一実施例による格子画素推定回路の構
成を示すブロツク図である。FIG. 2 is a block diagram showing a configuration of a lattice pixel estimation circuit according to an embodiment of the present invention.
【図３】本発明の一実施例による修正格子間引き回路の
入出力例を示す略線図である。FIG. 3 is a schematic diagram showing an input / output example of a modified lattice thinning circuit according to an embodiment of the present invention.
【図４】本発明の一実施例による格子点の補正情報を用
いる場合の構造抽出符号化装置の構成を示すブロツク図
である。FIG. 4 is a block diagram showing a configuration of a structure extraction encoding device when using correction information of lattice points according to an embodiment of the present invention.
【図５】本発明の一実施例による格子修正回路の構成を
示すブロツク図である。FIG. 5 is a block diagram showing a configuration of a lattice correction circuit according to an embodiment of the present invention.
【図６】本発明の一実施例による格子点の補正情報を用
いる場合の構造抽出復号化装置IIの構成を示すブロツク
図である。FIG. 6 is a block diagram showing a configuration of a structure extraction / decoding apparatus II when using correction information of lattice points according to an embodiment of the present invention.
【図７】画像信号の特徴点検出による構造抽出符号化装
置Ｉの構成を示すブロツク図である。FIG. 7 is a block diagram showing a configuration of a structure extraction encoding device I by detecting feature points of an image signal.
【図８】画像の特徴点検出による構造抽出復号化装置Ｉ
の構成を示すブロツク図である。FIG. 8 is a structure extraction / decoding device I by detecting feature points of an image.
It is a block diagram which shows a structure of.
【図９】画像の特徴点検出による構造抽出復号化装置Ｉ
における補間器Ｉの構成を示すブロツク図である。FIG. 9 is a structure extraction / decoding device I based on image feature point detection.
3 is a block diagram showing the configuration of an interpolator I in FIG.
【図１０】補間器の拡散フイルタリング処理におけるロ
ーパスフイルタ係数の例を示す略線図である。FIG. 10 is a schematic diagram showing an example of low-pass filter coefficients in the diffusion filter processing of the interpolator.
【図１１】画像信号の特徴点検出による構造抽出符号化
装置IIの構成を示すブロツク図である。FIG. 11 is a block diagram showing the configuration of a structure extraction encoding device II by detecting feature points of an image signal.
【図１２】画像の特徴点検出による構造抽出復号化装置
IIの構成を示すブロツク図である。FIG. 12 is a structure extraction / decoding device by detecting feature points of an image.
FIG. 3 is a block diagram showing the configuration of II.
【図１３】画像の特徴点検出による構造抽出復号化装置
IIにおける補間器IIの構成を示すブロツク図である。FIG. 13 is a structure extraction / decoding device by detecting feature points of an image.
FIG. 3 is a block diagram showing a configuration of an interpolator II in II.
【図１４】補間器のフレームバツフアの内容を示す略線
図である。FIG. 14 is a schematic diagram showing the contents of a frame buffer of an interpolator.
１、４０、８０……構造抽出符号化装置、２、８１……
フイルタ、３、８２……量子化器、４、８３……２次元
特徴点検出回路、５、４２、８５……セレクト多重化回
路、６、８８……可変長符号化回路、７、２１、５１、
８９、１０１……バツフアメモリ、２０、５０、７０、
１００……構造抽出復号化装置、２２、５２、１０２…
…可変長復号化回路、２３、５３、１０３……分流出力
回路、２４、５４、１０４……逆量子化器、２５、５
５、１０６……補間器、２６、５６、１０８……逆変換
回路、３０……前フレームバツフア、３１……拡散フイ
ルタ、３２……後フレームバツフア、４１、８４……サ
ブサンプラ、６０、７２……フレームバツフア、６１…
…横方向格子補間器、６２……縦方向格子補間器、６３
……２次元補間器、７１、９０、１０７……格子画素推
定回路、７３……修正格子間引き回路、７４……格子フ
レームバツフア、７５……画素補間回路、８６……格子
修正回路、８７……格子点修正情報多重化回路、９１…
…比較器、１０５……格子補正回路、Ｓ２０、Ｓ２６、
Ｓ４４、Ｄ１……サンプル係数、Ｓ00〜Ｓm*n ……サン
プル画素、Ａ0 〜Ａi ……特徴点。1, 40, 80 ... Structure extraction coding device, 2, 81 ...
Filter, 3, 82 ... Quantizer, 4, 83 ... Two-dimensional feature point detection circuit, 5, 42, 85 ... Select multiplexing circuit, 6, 88 ... Variable length coding circuit, 7, 21, 51,
89, 101 ... buffer memory, 20, 50, 70,
100 ... Structure extraction / decoding device, 22, 52, 102 ...
... variable length decoding circuit, 23, 53, 103 ... shunt output circuit, 24, 54, 104 ... inverse quantizer, 25, 5
5, 106 ... Interpolator, 26, 56, 108 ... Inverse conversion circuit, 30 ... Front frame buffer, 31 ... Diffusion filter, 32 ... Rear frame buffer, 41, 84 ... Subsampler, 60, 72 ... Frame buffer, 61 ...
... horizontal grid interpolator, 62 ... vertical grid interpolator, 63
Two-dimensional interpolator, 71, 90, 107 ... Lattice pixel estimation circuit, 73 ... Modified lattice thinning circuit, 74 ... Lattice frame buffer, 75 ... Pixel interpolation circuit, 86 ... Lattice correction circuit, 87 ... Grid point correction information multiplexing circuit, 91 ...
... comparator, 105 ... grating correction circuit, S20, S26,
S44, D1 ...... sample coefficients, S 00 ~S m * n ...... sample pixel, A 0 ~A i ...... feature points.
Claims (8)
徴点の情報を符号化する画像信号符号化方法において、 上記特徴点情報に基づいて画像上で一定の間隔ずつ離れ
た格子点の画素値を推定し、 原画の画素値と推定した上記画素値とを比較し、 上記原画の画素値と推定した上記画素値との差分の絶対
値が所定の閾値以上である上記格子点についてのみ、当
該格子点の座標と上記原画の画素値とを格子画素補正情
報として上記特徴点情報に多重化して符号化することを
特徴とする画像信号符号化方法。1. An image signal coding method for detecting a feature point from an input image signal and coding the information of the feature point, wherein a grid point of a grid point separated by a constant interval on the image based on the feature point information. Estimate the pixel value, compare the pixel value of the original image with the estimated pixel value, and only for the grid points where the absolute value of the difference between the pixel value of the original image and the estimated pixel value is greater than or equal to a predetermined threshold value. An image signal coding method, wherein the coordinates of the grid point and the pixel value of the original image are multiplexed and coded on the feature point information as grid pixel correction information.
格子点の周囲の所定範囲内に特徴点が存在する格子点に
ついては当該格子点に最も近い特徴点の画素値を上記格
子点の値とし、 特徴点が存在しない格子点については当該格子点の最も
近くにある格子点の値を上記格子点の値とすることを特
徴とする請求項１に記載の画像信号符号化方法。2. When estimating the pixel value of the grid point, first, for a grid point having a feature point within a predetermined range around the grid point, the pixel value of the feature point closest to the grid point is set to the grid point. The image signal encoding method according to claim 1, wherein, for a grid point having no feature point, the value of the grid point closest to the grid point is set as the value of the grid point.
徴点の情報を符号化する際、上記特徴点情報に基づいて
画像上で一定の間隔ずつ離れた格子点の画素値を推定
し、原画の画素値と推定した上記画素値とを比較し、上
記原画の画素値と推定した上記画素値との差分の絶対値
が所定の閾値以上である上記格子点についてのみ、当該
格子点の座標と上記原画の画素値とを格子画素補正情報
として上記特徴点情報に多重化して符号化することによ
り形成された符号化信号を復号化する画像信号復号化方
法において、 復号化された上記特徴点情報に基づいて上記画像上で一
定間隔ずつ離れた格子点の画素値を推定し、 上記特徴点情報から得られた格子画素補正情報によつて
指定された補正を必要とする座標の格子点の値を補正値
で置き換え、置き換えられた当該格子点の値に基づいて
特徴点以外の点の値を補間することにより復号化画像を
得ることを特徴とする画像信号復号化方法。3. When a feature point is detected from an input image signal and the information of the feature point is encoded, the pixel values of grid points separated by a constant interval on the image are estimated based on the feature point information. , Comparing the pixel value of the original image and the estimated pixel value, the absolute value of the difference between the pixel value of the original image and the estimated pixel value is greater than or equal to a predetermined threshold, An image signal decoding method for decoding a coded signal formed by multiplexing the coordinates and the pixel value of the original image as the grid pixel correction information on the feature point information and coding the feature point information, wherein the decoded feature Pixel values of grid points that are separated by a constant interval on the image are estimated based on the point information, and grid points of coordinates that require correction specified by the grid pixel correction information obtained from the feature point information. Replace the value of Picture signal decoding method characterized by obtaining a decoded image by interpolating the values of points other than the feature point based on the value of the recombination was the lattice points.
ルタリング処理を複数回施すことにより最終的な復号化
画像を得ることを特徴とする請求項３に記載の画像信号
復号化方法。4. The image signal decoding method according to claim 3, wherein a final decoded image is obtained by subjecting the data of the decoded image to diffusion filtering processing a plurality of times.
格子点の周囲の所定範囲内に特徴点が存在する格子点に
ついては当該格子点に最も近い特徴点の画素値を上記格
子点の値とし、 特徴点が存在しない格子点については当該格子点の最も
近くにある格子点の値を上記格子点の値とすることを特
徴とする請求項３に記載の画像信号復号化方法。5. When estimating the pixel value of the grid point, first, for a grid point having a feature point within a predetermined range around the grid point, the pixel value of the feature point closest to the grid point is set to the grid point. 4. The image signal decoding method according to claim 3, wherein, for a grid point having no feature point, the value of the grid point closest to the grid point is set as the value of the grid point.
徴点の情報を符号化することにより形成された符号化信
号を復号化する画像信号復号化方法において、 復号化された上記特徴点情報に基づいて画像上で一定の
間隔ずつ離れた格子点の画素値を推定し、 当該格子点の画素値に基づいて特徴点以外の点の値を補
間することにより復号化画像を得ることを特徴とする画
像信号復号化方法。6. An image signal decoding method for detecting a feature point from an input image signal and decoding a coded signal formed by encoding information of the feature point, wherein the decoded feature point It is possible to obtain a decoded image by estimating the pixel values of grid points that are separated by a fixed interval on the image based on the information and interpolating the values of points other than the feature points based on the pixel values of the grid points. A characteristic image signal decoding method.
格子点の周囲の所定範囲内に特徴点が存在する格子点に
ついては当該格子点に最も近い特徴点の画素値を上記格
子点の値とし、 特徴点が存在しない格子点については当該格子点の最も
近くにある格子点の値を上記格子点の値とすることを特
徴とする請求項６に記載の画像信号復号化方法。7. When estimating a pixel value of the grid point, first, for a grid point having a feature point within a predetermined range around the grid point, the pixel value of the feature point closest to the grid point is set to the grid point. 7. The image signal decoding method according to claim 6, wherein, for a grid point having no feature point, the value of the grid point closest to the grid point is set as the value of the grid point.
ルタリング処理を複数回施すことにより最終的な復号化
画像を得ることを特徴とする請求項６に記載の画像信号
復号化方法。8. The image signal decoding method according to claim 6, wherein a final decoded image is obtained by subjecting the data of the decoded image to diffusion filtering processing a plurality of times.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8111994A JPH09284570A (en) | 1996-04-09 | 1996-04-09 | Image signal coding method and image signal decoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8111994A JPH09284570A (en) | 1996-04-09 | 1996-04-09 | Image signal coding method and image signal decoding method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09284570A true JPH09284570A (en) | 1997-10-31 |
Family
ID=14575292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8111994A Pending JPH09284570A (en) | 1996-04-09 | 1996-04-09 | Image signal coding method and image signal decoding method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09284570A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019075097A (en) * | 2017-09-14 | 2019-05-16 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and apparatus for data reduction of feature-based peripheral information of driver assistance system |
-
1996
- 1996-04-09 JP JP8111994A patent/JPH09284570A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019075097A (en) * | 2017-09-14 | 2019-05-16 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and apparatus for data reduction of feature-based peripheral information of driver assistance system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0831660B1 (en) | Video coder with prediction of the transform coefficients | |
| US7206452B2 (en) | Data processing apparatus and method and recording medium | |
| US6963606B1 (en) | Digital signal conversion method and digital signal conversion device | |
| JP3369422B2 (en) | Data decoding method and apparatus | |
| EP0705035B1 (en) | Encoding data represented as a multi-dimensional array | |
| US7379496B2 (en) | Multi-resolution video coding and decoding | |
| JP3025610B2 (en) | Encoding method and apparatus | |
| US8160160B2 (en) | Bit-rate reduction for multimedia data streams | |
| EP0542261A2 (en) | Method of performing high efficiency coding of image signal and system therefor | |
| USRE41095E1 (en) | Video coder employing pixel transportation | |
| JP2013517670A (en) | Video encoding / decoding method and apparatus using large size transform unit | |
| JP2005524352A (en) | Scalable wavelet-based coding using motion compensated temporal filtering based on multiple reference frames | |
| JP2004173011A (en) | Apparatus and method for processing image signal, apparatus and method for generating coefficient data used therefor, and program for implementing each method | |
| KR101710883B1 (en) | Apparatus and method for compressing and restoration image using filter information | |
| JP2006246351A (en) | Image coding unit and image decoding unit | |
| JP4762486B2 (en) | Multi-resolution video encoding and decoding | |
| EP1465431A2 (en) | Video coder providing implicit coefficient prediction and scan adaption for image coding and intra coding of video | |
| JPH09284570A (en) | Image signal coding method and image signal decoding method | |
| JPS62239693A (en) | Method of data arrangement and reconstruction of digital image signal | |
| JP3115866B2 (en) | Image encoding device and image decoding device | |
| JPH07306944A (en) | Image signal coding method and image data decoding method | |
| JPH08168051A (en) | Image signal decoding method | |
| JP3175906B2 (en) | Image encoding / decoding method | |
| JPH0622290A (en) | Picture signal coder and decoder | |
| JP2002064826A (en) | Apparatus and method for converting resolution of compressed image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 7 Free format text: PAYMENT UNTIL: 20090125 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 10 Free format text: PAYMENT UNTIL: 20120125 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 11 Free format text: PAYMENT UNTIL: 20130125 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 12 Free format text: PAYMENT UNTIL: 20140125 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |