JP2001045494A - Image encoding device - Google Patents
Image encoding deviceInfo
- Publication number
- JP2001045494A JP2001045494A JP2000199427A JP2000199427A JP2001045494A JP 2001045494 A JP2001045494 A JP 2001045494A JP 2000199427 A JP2000199427 A JP 2000199427A JP 2000199427 A JP2000199427 A JP 2000199427A JP 2001045494 A JP2001045494 A JP 2001045494A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- area
- encoding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、テレビ電話やテレ
ビ会議などの画像通信機器やデジタルＶＴＲなどの画像
蓄積・記録機器などに用いられる画像符号化技術に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image encoding technique used for an image communication device such as a videophone or a video conference and an image storage / recording device such as a digital VTR.
【０００２】[0002]
【従来の技術】デジタル画像の伝送や記録の効率化のた
めに、従来より様々な画像符号化技術が開発されてい
る。2. Description of the Related Art Various image coding techniques have been developed for improving the efficiency of digital image transmission and recording.
【０００３】図９は、国際電信電話諮問委員会ＩＴＵ−
Ｔの勧告Ｈ．２６１に示された従来の画像符号化装置を
示すブロック図である。図９に示した装置において、ま
ず符号化すべき入力デジタル画像信号１０１は、差分器
２１に入力される。差分器２１は、この入力デジタル画
像信号１０１と後述する予測信号１３６との差分をと
り、その差分信号を予測誤差信号１３１として出力す
る。符号化部２２は、予測誤差信号１３１を符号化して
符号化データ１３２を出力する。符号化部２２における
符号化の方法としては、予測誤差信号を直交変換の一種
であるＤＣＴ（離散コサイン変換）を用いて空間領域か
ら周波数領域に変換し、ＤＣＴによって得られた変換係
数を線形量子化する手法が前記勧告では採用されてい
る。FIG. 9 is a block diagram of the International Telegraph and Telephone Consultative Committee ITU-
Recommendation H. T. FIG. 261 is a block diagram illustrating the conventional image encoding device illustrated in H.261. In the apparatus shown in FIG. 9, first, an input digital image signal 101 to be encoded is input to a differentiator 21. The differentiator 21 calculates a difference between the input digital image signal 101 and a prediction signal 136 described later, and outputs the difference signal as a prediction error signal 131. The encoding unit 22 encodes the prediction error signal 131 and outputs encoded data 132. As a method of encoding in the encoding unit 22, a prediction error signal is transformed from a spatial domain to a frequency domain using DCT (discrete cosine transform), which is a kind of orthogonal transform, and a transform coefficient obtained by the DCT is converted into a linear quantized signal. A technique for optimizing is adopted in the above recommendation.
【０００４】前記符号化部２２で得られた符号化データ
１３２は２つに分岐され、一方は図示しない受信側復号
装置に向けて送出され、他方は本装置内の復号部２３に
入力される。復号部２３は、符号化部２２と逆の動作を
行い、符号化データ１３２より復号予測誤差信号１３３
を求めて出力する。加算器２４は、復号予測誤差信号１
３３を予測信号１３６に加算することにより復号画像信
号１３４を求め、出力する。復号画像信号１３４はフレ
ームメモリ等のメモリ２５に１フレーム分まとめて記憶
される。メモリ２５は記憶した復号画像信号を１フレー
ム分の遅延させ、前フレームの復号画像信号１３５とし
て出力する。予測部２６は、符号化すべき入力デジタル
画像信号１０１と１フレーム前の復号画像信号１３５と
を用いて動き補償予測を行い、予測信号１３６と動きベ
クトル１３７を出力する。そして、動きベクトル１３７
は図示しない受信側復号装置に向かって送出され、予測
信号１３６は前記差分器２１および加算器２４に送られ
る。[0004] The encoded data 132 obtained by the encoding unit 22 is branched into two, one of which is sent to a receiving-side decoding device (not shown), and the other is input to a decoding unit 23 in the present device. . The decoding unit 23 performs an operation opposite to that of the encoding unit 22, and performs a decoding prediction error signal 133 based on the encoded data 132.
Is output. The adder 24 outputs the decoded prediction error signal 1
By adding 33 to the prediction signal 136, a decoded image signal 134 is obtained and output. The decoded image signal 134 is collectively stored for one frame in a memory 25 such as a frame memory. The memory 25 delays the stored decoded image signal by one frame and outputs it as a decoded image signal 135 of the previous frame. The prediction unit 26 performs motion compensation prediction using the input digital image signal 101 to be encoded and the decoded image signal 135 one frame before, and outputs a prediction signal 136 and a motion vector 137. Then, the motion vector 137
Are sent to a receiving-side decoding device (not shown), and the prediction signal 136 is sent to the differentiator 21 and the adder 24.
【０００５】[0005]
【発明が解決しようとする課題】従来の画像符号化装置
は以上のように構成されており、符号化部は符号化する
画像の内容に関わりなく１フレーム分の画像をほぼ一様
に符号化するものであり、またメモリも画像の１フレー
ム分だけを保持し１フレームごとに書き換えられるもの
であったので、符号化の効率の向上が図れないという問
題があった。The conventional image encoding apparatus is configured as described above, and the encoding section encodes one frame of image almost uniformly regardless of the content of the image to be encoded. In addition, since the memory holds only one frame of an image and can be rewritten for each frame, the encoding efficiency cannot be improved.
【０００６】本発明は前述の問題点を解決するためにな
されたものであり、画像の内容に合わせて符号化を行
い、またメモリの書き換えも画像の内容に合わせて行う
ことにより、符号化の効率を向上させる画像符号化装置
を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and performs encoding in accordance with the contents of an image. It is an object of the present invention to provide an image encoding device that improves efficiency.
【０００７】[0007]
【課題を解決するための手段】前述の目的を達成するた
めに、本発明の第１の画像符号化装置は、入力画像を複
数の領域に分割し、領域分割情報を付与した画像信号を
出力する領域分割部と、予め定められた基準に従って分
割されている各領域に対してクラス分けを行い、各領域
のクラスを示すクラス識別信号を出力する階層化部と、
領域分割された画像信号に対して、設定された符号化制
御パラメータに基づいて符号化し、領域分割情報を含ん
だ符号化データを出力する符号化部とを含み、符号化部
において、前記階層化部からの各領域毎に付与されたク
ラス識別信号に応じて、符号化制御パラメータが設定さ
れることを特徴とする。In order to achieve the above-mentioned object, a first image encoding apparatus according to the present invention divides an input image into a plurality of regions and outputs an image signal provided with region division information. An area dividing unit, and a layering unit that classifies each area divided according to a predetermined criterion, and outputs a class identification signal indicating a class of each area,
A coding unit for coding the region-divided image signal based on the set coding control parameter and outputting coded data including the region division information; A coding control parameter is set according to a class identification signal given to each region from the unit.
【０００８】また本発明は、複数の領域に分割され、各
領域ごとに符号化が行われた符号化データを入力し、こ
の符号化データを復号することにより復号画像を得る画
像復号装置において、符号化データが得られた領域に対
しては、符号化データから領域分割情報を分離し、その
分離した領域分割情報に基づいて領域ごとに、符号化の
際に付与された領域識別信号に応じて復号して画像信号
を出力することを特徴とする。According to the present invention, there is provided an image decoding apparatus which receives encoded data which is divided into a plurality of areas, and is encoded for each area, and which decodes the encoded data to obtain a decoded image. For the area from which the encoded data is obtained, the area division information is separated from the encoded data, and for each area based on the separated area division information, according to the area identification signal given at the time of encoding. Decoding and outputting an image signal.
【０００９】また、本発明の第２の画像符号化装置は、
入力画像を複数の領域に分割し、領域分割情報を付与し
た画像信号を出力する領域分割部と、予め定められた基
準に従って分割されている各領域に対してクラス分けを
行い、各領域のクラスを示すクラス識別信号を出力する
階層化部と、過去の画像信号を記憶する複数の画像メモ
リと、領域分割された入力画像信号に類似する画像信号
を予測元画像信号として複数の画像メモリから読み出
し、この予測元画像信号から予測関数を用いて予測信号
を生成し、予測信号と予測元画像信号を読み出したメモ
リの番号及び該メモリにおける該予測元画像信号のアド
レスを出力する予測部と、各領域毎に、領域分割された
入力画像信号と予測信号から予測誤差信号を抽出して出
力する予測誤差抽出部と、予測誤差信号を符号化して領
域分割情報を含んだ符号化データを出力する符号化部
と、符号化部から出力される符号化データを復号して復
号予測誤差信号を出力する復号部と、各領域毎に、復号
予測誤差信号と予測信号とから復号画像信号を合成する
信号合成部と、前記信号合成部から出力される各領域ご
との復号画像信号を用いて、前記階層化部からのクラス
識別信号に基づいて前記複数の画像メモリに振り分けて
記憶させることにより、前記複数のメモリの記憶内容を
更新するメモリ制御部とを含むことを特徴とする。Further, a second image encoding apparatus according to the present invention comprises:
An area dividing unit that divides an input image into a plurality of areas and outputs an image signal to which area dividing information is added, and classifies each area divided according to a predetermined criterion, and classifies each area. A plurality of image memories that store past image signals, and read out image signals similar to the region-divided input image signals from the plurality of image memories as prediction source image signals. A prediction unit that generates a prediction signal from the prediction source image signal using a prediction function, and outputs a prediction signal and a number of a memory from which the prediction source image signal is read and an address of the prediction source image signal in the memory; For each region, a prediction error extraction unit that extracts and outputs a prediction error signal from the input image signal and the prediction signal that have been region-divided, and encodes the prediction error signal and includes region division information An encoding unit that outputs encoded data, a decoding unit that decodes encoded data output from the encoding unit and outputs a decoded prediction error signal, and, for each region, a decoding prediction error signal and a prediction signal. A signal combining unit that combines the decoded image signals, and using the decoded image signal for each region output from the signal combining unit, distributing to the plurality of image memories based on the class identification signal from the hierarchical unit. A memory control unit that updates the storage contents of the plurality of memories by storing the information.
【００１０】また本発明は、複数の領域に分割され、各
領域毎に符号化が行われた符号化データを入力し、この
符号化データを復号することにより復号画像を得る画像
復号装置において、過去の画像信号を各領域毎のクラス
識別信号に基づいて記憶した複数の画像メモリと、画像
符号化装置から出力された画像メモリの番号及び該メモ
リにおける該予測元画像信号のアドレスを入力し、入力
された画像メモリの番号並びにアドレスから指定される
画像信号を予測信号として出力する予測部と、符号化デ
ータから領域分割情報を分離し、その分離した領域分割
情報に基づいて各領域毎に、符号化の際に用いたクラス
識別信号に応じて符号化データを復号して復号予測誤差
信号を出力する復号部と、各領域毎に前記復号予測誤差
信号と前記予測信号とから復号画像信号を合成する信号
合成部と、前記信号合成部から出力される各領域毎に合
成された前記復号画像信号を、前記各領域毎のクラス識
別信号に基づいて前記複数の画像メモリに振り分けて記
憶させることにより、前記複数の画像メモリの記憶内容
を更新するメモリ制御部と、を含むことを特徴とする。According to the present invention, there is provided an image decoding apparatus for inputting encoded data divided into a plurality of areas and encoding each area, and for obtaining a decoded image by decoding the encoded data. A plurality of image memories storing past image signals based on the class identification signal for each area, and the number of the image memory output from the image encoding device and the address of the prediction source image signal in the memory, A prediction unit that outputs an image signal specified from the input image memory number and address as a prediction signal, and separates region division information from encoded data, and for each region based on the separated region division information, A decoding unit that decodes encoded data according to a class identification signal used in encoding and outputs a decoded prediction error signal; and a decoding prediction error signal and the prediction signal for each region. A signal synthesizing unit for synthesizing a decoded image signal from the plurality of image memories based on a class identification signal for each of the regions output from the signal synthesizing unit. And a memory control unit for updating the storage contents of the plurality of image memories by storing the image data.
【００１１】第１の構成によれば、分割された各領域の
画像信号は、それぞれの領域のクラスに応じた符号化制
御パラメータを用いて符号化される。クラスが低いすな
わち重要度が低いと判定された領域の符号化データ発生
量が小さくなるように、符号化部の符号化制御パラメー
タを制御することにより、符号化の効率を向上させるこ
とができる。According to the first configuration, the image signal of each divided area is encoded using an encoding control parameter corresponding to the class of each area. By controlling the coding control parameters of the coding unit so that the amount of coded data generated in an area determined to be low in class, ie, low in importance, can be improved in coding efficiency.
【００１２】ここで、領域分割部における領域分割及び
階層化部におけるクラス判定は、画像のエッジに基づく
方法、画像のアクティビティに基づく方法、画像の動き
データに基づく方法などによって行うことができる。Here, the area division in the area dividing section and the class determination in the layering section can be performed by a method based on an edge of an image, a method based on an activity of an image, a method based on motion data of an image, and the like.
【００１３】また、符号化制御パラメータとしては、符
号化を行う時間間隔や符号化時の量子化精度、サブサン
プリング率、符号化データの発生量のしきい値などを用
いることができる。これらのパラメータを階層化部で得
られたクラス識別信号に基づいて制御することにより、
重要度の低い領域の符号化データの発生量を低減するこ
とができる。As the encoding control parameter, a time interval at which encoding is performed, a quantization accuracy at the time of encoding, a subsampling rate, and a threshold value of an amount of encoded data can be used. By controlling these parameters based on the class identification signal obtained by the layering unit,
It is possible to reduce the amount of encoded data generated in a region of low importance.
【００１４】また、第２の構成によれば、予測の際に用
いる過去の画像信号を領域ごとにその領域のクラスに対
応したメモリに振り分けて記憶するとともに、予測部に
おいて予測に用いる予測元画像信号として、符号化対象
となる各領域の画像信号に類似した画像信号をメモリか
ら読み出して用いる。Further, according to the second configuration, the past image signal used for the prediction is sorted and stored for each area in the memory corresponding to the class of the area, and the prediction source image used for the prediction in the prediction unit is stored. As a signal, an image signal similar to the image signal of each region to be encoded is read from the memory and used.
【００１５】予測元画像信号を階層化部からのクラス識
別信号に対応したメモリから読み出す構成とすることに
より、予測元画像信号の探索に要する時間を低減するこ
とができる。By reading the prediction source image signal from the memory corresponding to the class identification signal from the hierarchical unit, the time required for searching for the prediction source image signal can be reduced.
【００１６】また、各領域ごとに符号化の時間間隔をそ
の領域のクラスに応じて変更するとともに、メモリの更
新間隔をそれに応じて変更することにより、符号化デー
タの発生量の低減やメモリ書き換え作業の負担軽減を図
ることができ、符号化の効率を向上させることができ
る。Further, the encoding time interval is changed for each area according to the class of the area, and the updating interval of the memory is changed accordingly, so that the amount of generated encoded data can be reduced and the memory can be rewritten. Work load can be reduced, and coding efficiency can be improved.
【００１７】[0017]
【発明の実施の形態】以下、本発明の実施例を図面に基
づいて説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００１８】図１は、本発明に係る画像符号化装置の第
１の実施例を示すブロック図である。図に示したよう
に、符号化すべき入力デジタル画像信号１０１は、まず
領域分割部１に入力される。領域分割部１は、フレーム
メモリ等の画像信号記憶用メモリを有し、１フレーム分
の入力デジタル画像信号１０１を用いてそのメモリ上に
入力画像を構成し、構成された入力画像を、例えば画像
中に含まれる特定の形状等に着目して、複数の領域に分
割する。FIG. 1 is a block diagram showing a first embodiment of an image coding apparatus according to the present invention. As shown in the figure, an input digital image signal 101 to be encoded is first input to the area dividing unit 1. The area dividing unit 1 has a memory for storing image signals such as a frame memory, and uses an input digital image signal 101 for one frame to form an input image on the memory. Attention is paid to a specific shape or the like included therein, and the image is divided into a plurality of regions.
【００１９】領域分割の手法としては、例えば画像記憶
用メモリ上に構成された入力画像に対して微分演算等を
行うことにより、入力画像のエッジを検出し、入力画像
のうちエッジによって囲まれる部分を１つの領域とする
という方法を用いることができる。例えば、本装置をテ
レビ会議に適用する場合、入力画像として図２のような
人物と背景とからなる画像が与えられるのが一般的であ
るが、これをエッジ検出により領域分割することによ
り、動きのある人物の領域２０１、静止している人物の
領域２０２、及び背景や前景を構成する机の領域２０
３、絵画の領域２０４、時計の領域２０５、壁２０６の
領域とに分割することができる。As a method of area division, for example, an edge of the input image is detected by performing a differentiation operation or the like on the input image formed on the image storage memory, and a portion of the input image surrounded by the edge is detected. Can be used as one region. For example, when the present apparatus is applied to a video conference, an image composed of a person and a background as shown in FIG. 2 is generally given as an input image. Region 201 of a person with a shadow, region 202 of a stationary person, and region 20 of a desk constituting a background or foreground
3. It can be divided into a painting area 204, a clock area 205, and a wall 206 area.
【００２０】なお、エッジによって領域分割を行う場合
には、例えば人物の顔画像を例に挙げると、顔を表すエ
ッジに囲まれた領域の中には目、鼻、口等のエッジに囲
まれた領域が検出されるが、これら顔領域内部の領域に
ついては、これを別々の領域に分けずに顔の領域に統合
して顔全体として一つの領域として取り扱うこともでき
る。この場合、符号化時において細かい領域ごとの処理
を行わずに済むので、符号化の効率が上がる。このとき
の領域の統合は、パターン認識等の手法によって行う。
すなわち、パターン認識等により、ある領域が顔を示す
領域であると判定された場合、その領域内にあるエッジ
の囲む領域を独立した領域に分割せずに顔全体で１つの
領域にまとめる。When the area is divided by edges, for example, taking a face image of a person as an example, a region surrounded by edges representing faces is surrounded by edges such as eyes, nose and mouth. These areas are detected, but the areas inside these face areas can be integrated into the face area without being divided into separate areas, and the entire face can be treated as one area. In this case, since it is not necessary to perform processing for each fine area at the time of encoding, the encoding efficiency is increased. The integration of the regions at this time is performed by a method such as pattern recognition.
That is, when a certain area is determined to be a face area by pattern recognition or the like, the area surrounding the edge in the area is not divided into independent areas, but the entire face is combined into one area.
【００２１】この領域分割が終了すると、領域分割部１
は、入力デジタル画像信号１０１に領域分割情報が付加
された画像信号１０２を出力する。この画像信号１０２
は、領域分割部１のメモリ上の画像データを、分割され
た領域ごとに順番に出力したものとなる。すなわち、図
２を例にとると、まず人物２０１の領域の画像データが
画像信号として出力され、次に人物２０２の領域の画像
データが画像信号として出力されるといった具合に、各
領域の画像データが順次出力される。この場合、各領域
の画像信号には、その画像信号が画面上のどの部分に当
たるかを示すアドレス情報を付加する。また、この他に
も画像信号１０２としては、例えば入力デジタル画像信
号１０１と同様に、領域分割部１のメモリ上の画像を走
査線に沿って左上から右下にかけて出力してもよく、こ
の場合はそれぞれの画像信号がどの領域に含まれるかを
示す識別情報をオーバーヘッド情報として付加する。When this region division is completed, the region division unit 1
Outputs an image signal 102 obtained by adding area division information to an input digital image signal 101. This image signal 102
Indicates that the image data in the memory of the area dividing unit 1 is sequentially output for each divided area. That is, in FIG. 2 as an example, first, image data of the area of the person 201 is output as an image signal, and then image data of the area of the person 202 is output as an image signal. Are sequentially output. In this case, the image signal of each area is added with address information indicating which portion on the screen the image signal falls on. In addition, as the image signal 102, for example, similarly to the input digital image signal 101, an image on the memory of the area dividing unit 1 may be output from the upper left to the lower right along the scanning line. Adds, as overhead information, identification information indicating in which region each image signal is included.
【００２２】このようにして得られた領域分割情報を含
んだ画像信号１０２は、２つに分岐され階層化部２及び
符号化部４に入力される。The image signal 102 containing the area division information obtained in this way is branched into two and input to the layering unit 2 and the encoding unit 4.
【００２３】階層化部２は、領域分割部１と同様にフレ
ームメモリ等の画像記憶用メモリを有し、領域分割部１
から出力された画像信号１０２を用いてそのメモリ上に
各領域の画像を構成し、構成された各領域の画像に基づ
いて、画像全体における各領域の重要度を判定し、その
重要度に応じて各領域をクラス分けする。The layering section 2 has an image storage memory such as a frame memory, like the area dividing section 1.
The image of each area is configured on the memory using the image signal 102 output from the CPU, the importance of each area in the entire image is determined based on the image of each configured area, and the importance is determined according to the importance. To classify each area.
【００２４】この際、画像信号１０２が各領域ごとに順
番に出力される方式である場合、階層化部２のメモリ上
には各領域の画像が順番に形成され、メモリ上に画像形
成される順番に各領域の重要度が判定され、クラス分け
される。また、入力画像信号に領域を示すオーバーヘッ
ド情報を付加して、通常の走査順序に従って出力する方
式の場合は、階層化部２のメモリ上にすべての領域の画
像を形成してから、各領域ごとに重要度を判定する。At this time, in the case where the image signal 102 is output in order for each area, the image of each area is formed in order on the memory of the hierarchical unit 2 and the image is formed on the memory. The importance of each area is determined in order and classified. In the case of a method in which overhead information indicating an area is added to an input image signal and output is performed according to a normal scanning order, images of all areas are formed on the memory of the layering unit 2 and then each area is formed. The importance is determined.
【００２５】画像領域の重要度は、画像を見る人がその
画像中において注目をする度合いが大きな領域ほど高く
なるが、その基準は当然ながら装置が適用される対象に
よって異なる。例えばテレビ会議では、人物の重要度が
高く、背景や前景となる机や壁等の静物の重要度は低
い。また、同じ人物でも、発言中の（すなわち動きのあ
る）人物のほうが重要度は高いと言える。従って、図２
に示した例では、例えば各領域の３つのクラスにクラス
分けする場合、人物領域２０１を最も重要度の高いクラ
ス１にクラス分けし、人物領域２０２はその次のクラス
２にクラス分けし、机や壁の領域を最も重要度の低いク
ラス３にクラス分けすることができる。この他にも、重
要度を示す指標としては、画像中における領域の動きの
大きさや動きの頻度なども考えられる。この場合、動き
の大きい領域、動きの頻度の多い領域ほど重要度が高く
なる。このような重要度の判定基準は、装置が適用され
る対象等に応じて適宜設定する。The importance of an image area is higher in an area where the viewer of the image is more noticeable in the image, but the criterion naturally depends on the target to which the apparatus is applied. For example, in a video conference, the importance of a person is high, and the importance of a still life such as a desk or wall serving as a background or foreground is low. In addition, even in the same person, it can be said that the person who is speaking (that is, has movement) has a higher importance. Therefore, FIG.
In the example shown in FIG. 7, when the classes are divided into three classes in each region, the person region 201 is classified into the class 1 having the highest importance, the person region 202 is classified into the next class 2 and And the area of the wall can be classified into the class 3 having the lowest importance. In addition, as the index indicating the importance, the magnitude of the movement of the region in the image, the frequency of the movement, and the like can be considered. In this case, the importance is higher in an area where the movement is large and an area where the movement is frequent. Such criteria for determining the degree of importance are appropriately set according to the target to which the apparatus is applied.
【００２６】例えば、前述したエッジ検出による領域分
割を行う場合には、階層化部２は各領域のエッジの形状
に対してパターン認識等を行うことにより、人物の領域
とそれ以外の背景の壁等の領域とに分別し、さらに現フ
レームと前フレームとの間の各領域の動きの情報を加味
することにより発言中の人物の領域とそうでない人物の
領域とを分別する。そして、発言中の人物の領域は最も
重要度の高いクラス１に、人物以外の各領域は最も重要
度の低いクラス３にといった具合にクラス分けを行う。For example, in the case of performing the region division by the edge detection described above, the layering unit 2 performs pattern recognition or the like on the shape of the edge of each region, thereby obtaining a person region and other background walls. And the like, and further taking into account movement information of each area between the current frame and the previous frame, the area of the person who is speaking and the area of a person who is not speaking are distinguished. The region of the person who is speaking is classified into class 1 having the highest importance, and the regions other than the person are classified into class 3 having the lowest importance.
【００２７】階層化部２は、このようにして各領域のク
ラス分けを行い、各領域のクラスを示すクラス識別信号
１０３を符号化部４に対して出力する。The layering section 2 classifies each area in this way and outputs a class identification signal 103 indicating the class of each area to the encoding section 4.
【００２８】符号化部４は、領域分割部１からの領域分
割情報を含んだ画像信号１０２を、ＰＣＭやＤＰＣＭ等
により符号化し、符号化データ１０５を出力する。この
符号化の際に、符号化部４には、前記階層化部２からの
クラス識別信号１０３が各領域ごとに画像信号１０２に
同期しながら入力される。符号化部４では、このクラス
識別信号１０３に応じて、各領域の画像信号１０２を符
号化する際の符号化制御パラメータを変更しつつ符号化
を行う。The encoding unit 4 encodes the image signal 102 including the area division information from the area division unit 1 by PCM, DPCM, or the like, and outputs encoded data 105. At the time of this encoding, the class identification signal 103 from the hierarchical unit 2 is input to the encoding unit 4 in synchronization with the image signal 102 for each region. In accordance with the class identification signal 103, the encoding unit 4 performs encoding while changing an encoding control parameter when encoding the image signal 102 of each area.
【００２９】符号化制御パラメータには、例えば符号化
を行う時間間隔がある。階層化部２からのクラス識別信
号１０３に応じて、重要度の低いクラスほど符号化の時
間間隔を大きくする。すなわち、重要度の高いクラス１
に含まれる領域の画像信号は毎フレーム符号化を行い、
以下重要度が低くなるにつれてクラス２の領域は数フレ
ームに１回の符号化、クラス３の領域は数十フレームに
１回の符号化というように符号化の時間間隔を広げて符
号化の頻度を間引いていく。これにより、画面全体を一
様に符号化する場合に比べて符号化データの発生量を低
く抑えることができ、符号化の効率を向上させることが
できる。各クラスの符号化の時間間隔は、画像の品質と
符号化の効率のトレードオフを考慮して適宜決める。The encoding control parameter includes, for example, a time interval at which encoding is performed. In accordance with the class identification signal 103 from the hierarchical unit 2, the class of lower importance increases the encoding time interval. That is, Class 1 with high importance
The image signal of the area included in is encoded every frame,
In the following, as the degree of importance decreases, the encoding frequency is increased by extending the encoding time interval such that the class 2 region is encoded once every several frames and the class 3 region is encoded once every tens of frames. Thinning out. This makes it possible to reduce the amount of encoded data generated as compared to a case where the entire screen is uniformly encoded, and to improve encoding efficiency. The encoding time interval of each class is appropriately determined in consideration of a trade-off between image quality and encoding efficiency.
【００３０】ここで、例えばテレビ会議等においては、
画像として必要な情報が人物の様子だけで、背景等の様
子を特に必要としない場合が考えられるが、このような
場合には、クラス１および２の人物領域のみを符号化
し、クラス３の背景等の領域の画像信号の符号化を停止
してしまうという方法も考えられる。これにより、符号
化データの発生量をさらに低減することができる。な
お、この場合復号装置においては、背景等の領域の符号
化データが得られないので、背景等の領域には例えばブ
ルーバック信号を出力したり、あるいは予め記憶してお
いた背景画像を出力したりすることにより復号画像を得
る。Here, for example, in a video conference or the like,
It is conceivable that the information necessary for the image is only the state of the person and the state of the background or the like is not particularly required. In such a case, only the person areas of classes 1 and 2 are coded and the background of the class 3 is encoded. For example, a method of stopping the encoding of the image signal in the area such as the above may be considered. As a result, the amount of encoded data can be further reduced. In this case, in the decoding device, encoded data of an area such as a background cannot be obtained, and thus, for example, a blue-back signal is output to an area such as a background, or a background image stored in advance is output. To obtain a decoded image.
【００３１】また、符号化制御パラメータとしては、符
号化の時間間隔のほかに、符号化部４で符号化を行う際
の量子化精度を用いることもできる。すなわち、階層化
部２からのクラス識別信号１０３に応じて、重要度の高
いクラスの領域は量子化精度を細かくして画像の細部ま
で再現できるように符号化し、逆に重要度の低いクラス
の領域では量子化精度を粗くすることによって符号化デ
ータの発生を抑制する、これにより、重要度の大きい領
域の画像の品質を維持しつつ、全体として符号化データ
の発生量を低減することができる。As the encoding control parameter, in addition to the encoding time interval, the quantization accuracy when encoding is performed by the encoding unit 4 can be used. That is, in accordance with the class identification signal 103 from the layering unit 2, the region of the class of high importance is coded so that the quantization accuracy is reduced so as to be able to reproduce the details of the image, and conversely, the region of the class of low importance is The generation of coded data is suppressed by coarsening the quantization accuracy in the region, whereby the amount of generated coded data can be reduced as a whole while maintaining the quality of the image in the region of high importance. .
【００３２】この他にも、符号化制御パラメータとし
て、画像信号を符号化する際のサブサンプリング率を変
更するという方法も考えられる。これを、図３を参照し
て説明する。図３において、丸印Ａ１〜Ｄ４はそれぞれ
画像中の画素を表すものとする。そして、重要度の高い
クラスの領域を符号化する際には、すべての画素に対応
する画像信号を符号化する。すなわち、図３における画
素Ａ１〜Ｄ４をすべて符号化する。逆に重要度の低い領
域を符号化する際には、例えば画素を水平方向、垂直方
向ともに２つに１つの割合でサブサンプリングを行い、
画素Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４を間引いて、
画素Ａ１〜Ａ４に対応する画像信号のみを符号化する。
このようにして、重要度の低い領域ほど画素の間引きの
度合い（サブサンプリング率）を大きくすることによ
り、画像全体としての符号化データ発生量を小さくする
ことができる。なお、間引きの度合いはクラスの重要度
に応じて適宜設定する。In addition, a method of changing a sub-sampling rate when encoding an image signal can be considered as an encoding control parameter. This will be described with reference to FIG. In FIG. 3, it is assumed that circles A1 to D4 respectively represent pixels in the image. When coding a region of a class having a high importance, the image signals corresponding to all pixels are coded. That is, all the pixels A1 to D4 in FIG. 3 are encoded. Conversely, when encoding a region of low importance, for example, pixels are sub-sampled at a rate of one every two in the horizontal and vertical directions,
Pixels B1 to B4, C1 to C4, D1 to D4 are thinned out,
Only the image signals corresponding to the pixels A1 to A4 are encoded.
In this way, by increasing the degree of pixel thinning (sub-sampling rate) in a region of lower importance, the amount of encoded data generated as an entire image can be reduced. Note that the degree of thinning is appropriately set according to the importance of the class.
【００３３】また、符号化制御パラメータとして、符号
化データ発生量のしきい値を変更することも可能であ
る。すなわち、符号化部４においてクラスごとに符号化
データ発生量のしきい値（上限値）を定めておき、その
しきい値を越えると符号化を停止するような制御を行
う。例えば、重要度の高いクラスにに対しては符号化デ
ータ発生量しきい値を大きな値に設定してすべての画像
信号が符号化できるようにする。逆に、重要度の低いク
ラスに対してはそのしきい値を小さく設定し、符号化デ
ータの発生量がしきい値に達したらそれ以降の信号の符
号化を停止する。このしきい値は重要度が低いクラスほ
ど小さくなるように設定する。これにより、重要度の高
い領域の画像の品質を維持しつつ、画像全体の符号化デ
ータ発生量を低減することができる。It is also possible to change the threshold value of the encoded data generation amount as an encoding control parameter. That is, the encoding unit 4 sets a threshold value (upper limit value) of the encoded data generation amount for each class, and performs control to stop encoding when the threshold value is exceeded. For example, the coded data generation amount threshold value is set to a large value for a class with high importance so that all image signals can be coded. Conversely, the threshold value is set small for a class with low importance, and when the amount of encoded data reaches the threshold value, the encoding of the signals thereafter is stopped. This threshold value is set so as to be smaller as the class has lower importance. This makes it possible to reduce the amount of encoded data generated for the entire image while maintaining the quality of the image in the region of high importance.
【００３４】なお、この場合、復号側の装置では、符号
化を打ち切られた以降の画像に関するデータが得られな
いが、この部分は前フレームの画像をそのまま用いるな
どして全体の画像を形成する。In this case, the decoding device cannot obtain data on the image after the coding is discontinued, but this portion forms the entire image by using the image of the previous frame as it is. .
【００３５】このように、本実施例によれば、符号化対
象の画像を領域分割し、分割された領域を重要度に応じ
てクラス分けし、各領域の画像信号を符号化する際にそ
の領域のクラスに応じて符号化時の制御パラメータを変
え、重要度の低い領域の符号化データの発生量を低減す
ることにより、画像全体の符号化効率を向上させること
ができる。As described above, according to the present embodiment, the image to be encoded is divided into regions, the divided regions are divided into classes according to importance, and when the image signal of each region is encoded, the By changing the control parameters at the time of encoding in accordance with the class of the region and reducing the amount of encoded data in the region of low importance, the encoding efficiency of the entire image can be improved.
【００３６】なお、本実施例では、領域分割を画像中の
エッジにより行い、そのエッジの形状に基づいてクラス
分け（階層化）を行ったが、これ以外にも様々な領域分
割、クラス分けの手法が考えられる。In this embodiment, the region is divided by the edges in the image, and the classification (hierarchization) is performed based on the shape of the edge. However, other various regions may be divided and classified. A method is conceivable.
【００３７】例えば、領域分割およびクラス分けには、
エッジ検出に似た手法であるテクスチャ解析を用いるこ
とができる。テクスチャ解析とは、例えば縦縞模様の領
域と横縞模様の領域とを分割するというように、画像を
一定の構造（テクスチャ）を持った領域単位に分割する
手法である。壁や机等はこういった一定の構造（模様）
を持っていることが多いので、テクスチャ解析を行うこ
とにより、背景の壁等の領域とそれ以外の領域といった
具合に領域分割を行うことができる。そして、得られた
各領域に対して、その形状やテクスチャに関するパター
ン認識を行うことにより、クラス分けを行う。For example, for area division and class division,
Texture analysis, a technique similar to edge detection, can be used. The texture analysis is a method of dividing an image into regions having a certain structure (texture), for example, dividing a vertical stripe pattern region and a horizontal stripe pattern region. Walls and desks have a certain structure (pattern)
In many cases, by performing texture analysis, it is possible to divide an area into an area such as a background wall and other areas. Classification is performed by performing pattern recognition on the shape and texture of each of the obtained regions.
【００３８】なお、エッジ検出やテクスチャ解析などの
手法は、画像の内容に応じた１画素（あるいは、たかだ
か数画素）からなる輪郭線に囲まれる可変形状の領域に
分割する分割手法であるが、このような可変形状の領域
からなる画像だけでなく、従来のような一定の大きさの
ブロック単位からなる画像を分割して処理する場合にも
本発明は有効である。すなわち、この場合は、領域分割
部の前にブロック化部が設けられ、画像信号はブロック
化部にて一定の大きさの（例えば、８×８画素）ブロッ
ク単位に分割される。そして、領域分割部１は、分割さ
れたブロックのうち互いに類似する画像信号を有するブ
ロックをまとめて一つの領域とする。そして、階層化部
では各領域の形状や模様等に対してパターン認識などを
行うことにより、各領域がそれぞれ人物を表しているの
か、背景を表しているのか、などの判別を行ってクラス
分けをする。このようにブロック単位に分けた場合に
は、ＤＣＴなどといったブロックベースの符号化手法を
用いることができる。The methods of edge detection, texture analysis, and the like are division methods in which the image is divided into variable-shaped regions surrounded by a contour line composed of one pixel (or at most several pixels) according to the content of the image. The present invention is effective not only when dividing and processing not only an image formed of such a variable-shaped area but also an image formed of block units of a fixed size as in the related art. That is, in this case, a blocking unit is provided before the region dividing unit, and the image signal is divided by the blocking unit into blocks of a fixed size (for example, 8 × 8 pixels). Then, the area dividing unit 1 collectively sets blocks having image signals similar to each other among the divided blocks into one area. The layering unit performs pattern recognition on the shape, pattern, etc. of each area to determine whether each area represents a person or a background, and classifies the area. do. When the data is divided into blocks as described above, a block-based coding method such as DCT can be used.
【００３９】また、画像信号のアクティビティに基づい
て領域分割及びクラス分けを行うこともできる。アクテ
ィビティとは画像信号の変化の度合いのことであり、例
えば、画像信号の平均値からの自乗誤差、すなわち分散
などを用いる。より具体的には、画像を一定の大きさの
ブロック（例えば、８×８画素）に分割して、各ブロッ
クごとに画像信号の平均値とその平均値からの分散を求
め、それらの値を元に領域分割やクラス分けを行う。例
えば、背景の壁等の画像は一定のパターンからなってい
る場合が多いので、同じ平均値と分散値を持つブロック
は壁等であるとして１つの領域にまとめ、重要度の低い
クラスにクラス分けする。また、人物の輪郭等のエッジ
を含むブロックでは分散値、すなわちアクティビティが
大きくなるので、このようなアクティビティの大きいブ
ロックで囲まれる部分を一つの領域としてとらえて領域
分割を行い、その領域の形状等に対してパターン認識を
行うことにより人物の領域であるか等を判定し、その判
定にしたがってクラス分けを行うこともできる。It is also possible to perform area division and class division based on the activity of the image signal. The activity is a degree of change of the image signal, and uses, for example, a square error from an average value of the image signal, that is, variance. More specifically, the image is divided into blocks of a fixed size (for example, 8 × 8 pixels), and the average value of the image signal and the variance from the average value are obtained for each block, and those values are calculated. Area division and class division are performed on the basis. For example, since an image such as a background wall often has a fixed pattern, blocks having the same average value and variance value are grouped into one region as a wall or the like, and classified into classes of low importance. I do. In addition, since the variance value, that is, the activity is large in a block including an edge such as a contour of a person, the area surrounded by such a block having a large activity is regarded as one area and area division is performed, and the shape of the area is determined. It is also possible to determine whether or not the area is a person area by performing pattern recognition on, and classify according to the determination.
【００４０】また、過去のフレームの画像データを用
い、時間情報を利用した領域分割及びクラス分けを行う
ことも可能である。すなわち、過去のフレームの画像デ
ータをメモリの記憶しておき、この過去フレームの画像
と入力された現フレームの画像とを比較し、画像中の各
部分の動きを検出する。そして、動きのあった部分、制
止している部分とに領域を分割する。そして、動きのあ
った領域は重要度が高いクラスにクラス分けし、動きの
なかった領域は重要度の低いクラスにクラス分けする。
ここで、単に動きの有無で領域分割するだけでなく、動
きの大きさがほぼ等しい部分を一つの領域としてまとめ
ることもできる。この場合、各領域の動きの大きさに従
って、例えば動きが大きい領域ほど重要度の高いクラス
にクラス分けする。It is also possible to perform area division and class division using time information using image data of a past frame. That is, the image data of the past frame is stored in the memory, the image of the past frame is compared with the input image of the current frame, and the motion of each part in the image is detected. Then, the area is divided into a part where the movement has occurred and a part where the movement has been stopped. Then, the area where there is movement is classified into a class having a high importance, and the area where there is no movement is classified into a class having a low importance.
Here, in addition to simply dividing the area based on the presence / absence of motion, it is also possible to combine portions having substantially the same magnitude of motion as one area. In this case, according to the magnitude of the motion of each area, for example, the area where the motion is larger is classified into the class having higher importance.
【００４１】画像の動きによって領域分割を行う場合、
動きの大きさに基づいてクラス分けをする他に、動きの
頻度を用いてクラス分けすることもできる。すなわち、
階層化部において動きの情報を複数フレーム分記憶して
おき、各領域の複数フレームにわたる動きの頻度を求
め、動きの頻度が大きい領域ほど重要度の高いクラスに
クラス分けする。このように、複数フレームにわたった
動きの履歴を用いることにより、一時的に静止している
領域に対して重要度を落とすことなくクラス分けするこ
とができる。When the area is divided by the motion of the image,
In addition to classifying based on the magnitude of the movement, the classification can also be performed using the frequency of the movement. That is,
Movement information for a plurality of frames is stored in the hierarchy unit, and the frequency of movement over a plurality of frames in each area is obtained. As described above, by using the movement history over a plurality of frames, it is possible to classify the temporarily stationary area without lowering the importance.
【００４２】次に、本発明の第２の実施例について説明
する。図４は、第２実施例を示すブロック図である。Next, a second embodiment of the present invention will be described. FIG. 4 is a block diagram showing the second embodiment.
【００４３】前述の第１実施例は、各領域の符号化時
に、その領域のクラスに応じて１つの符号化部の符号化
制御パラメータを変える構成であったが、これに対し本
実施例は、異なった符号化方式の複数の符号化部を用
い、各領域のクラスに応じて符号化部を選択する構成と
なっている。In the first embodiment, the coding control parameter of one coding unit is changed in accordance with the class of each area when each area is coded. , A plurality of encoding units of different encoding systems are used, and the encoding unit is selected according to the class of each area.
【００４４】図４において、領域分割部１および階層化
部２の動作は第１実施例の場合と同様である。In FIG. 4, the operations of the area dividing section 1 and the hierarchical section 2 are the same as in the first embodiment.
【００４５】符号化部４ａ、４ｂおよび４ｃは、それぞ
れ異なった符号化方式を採用したものである。例えば、
符号化部４ａは、ＰＣＭやＤＰＣＭのような、符号化デ
ータの発生量は多くなるが無歪みで復号信号が得られる
符号化を行う。符号化部４ｂは、量子化など、符号化デ
ータの発生量をある程度低減するような符号化を行う。
また、符号化部４ｃは、領域内の画素レベルの平均値の
みを出力するなどというような非常に粗い符号化を行
う。The encoding units 4a, 4b and 4c employ different encoding systems. For example,
The encoding unit 4a performs encoding such as PCM or DPCM, which generates a large amount of encoded data but can obtain a decoded signal without distortion. The encoding unit 4b performs encoding such as quantization so as to reduce the amount of encoded data generated to some extent.
The encoding unit 4c performs very coarse encoding such as outputting only the average value of the pixel levels in the area.
【００４６】各領域の符号化の際には、その領域の画像
信号１０２に同期したクラス識別信号１０３がスイッチ
部６に与えられる。スイッチ部６は、そのクラス識別信
号１０３に従って、各領域の画像信号１０２がその領域
のクラスに応じた符号化部に入力されるようにスイッチ
を切り換える。例えば、画像信号１０２の領域が動いて
いる人物等の重要度の最も高いクラスである場合には、
復号側で高品質の画像が得られる符号化部４ａで符号化
し、符号化データ１０５ａを得る。また、静止している
人物などの中間の重要度のクラスに含まれる領域の場合
は、符号化部４ｂで符号化を行い、符号化データ１０５
ｂを得る。更に、背景など、復号側での信号が入力信号
と大きく異なってもよいような重要度の低いクラスの領
域の場合は、符号化部４ｃで符号化して符号化データ１
０５ｃを得る。At the time of encoding of each area, a class identification signal 103 synchronized with the image signal 102 of the area is supplied to the switch unit 6. The switch unit 6 switches according to the class identification signal 103 so that the image signal 102 of each area is input to the encoding unit corresponding to the class of the area. For example, if the region of the image signal 102 is the class with the highest importance, such as a moving person,
Encoding is performed by the encoding unit 4a that can obtain a high-quality image on the decoding side, and encoded data 105a is obtained. In the case of a region included in a class of intermediate importance, such as a stationary person, the encoding is performed by the encoding unit 4b, and the encoded data 105
Obtain b. Further, in the case of a region of a low importance class, such as a background, in which a signal on the decoding side may be significantly different from an input signal, the encoding unit 4c encodes the encoded data 1
05c is obtained.
【００４７】このように、本実施例では、重要度の低い
領域の符号化データ発生量を低減することにより、符号
化の効率を向上させることができる。As described above, in the present embodiment, the encoding efficiency can be improved by reducing the amount of encoded data generated in the region of low importance.
【００４８】なお、本実施例では、領域が３段階のクラ
スに分けられる場合について説明したが、その他の段階
数に分ける場合には、その段階の数と同数の異なった符
号化方式の符号化部を設ければよい。In this embodiment, the case where the region is divided into three stages is described. However, when the region is divided into other stages, the same number of different encoding systems as the number of stages are used. Parts may be provided.
【００４９】また、符号化部の数は、必ずしもクラスの
数と一致している必要はなく、第１実施例のような符号
化制御パラメータの変更を併用して、符号化部の数を少
なくすることも可能である。すなわち、３つのクラスに
対して２つの符号化部を設け、符号化部のうち１つを２
つのクラスに対応させて、その符号化部においてクラス
に応じて符号化制御パラメータを変える。これにより、
同様の効果を得ることができる。The number of encoding units does not necessarily have to match the number of classes, and the number of encoding units can be reduced by changing the encoding control parameters as in the first embodiment. It is also possible. That is, two encoding units are provided for three classes, and one of the encoding units is assigned to 2 classes.
In accordance with one class, the encoding unit changes the encoding control parameter according to the class. This allows
Similar effects can be obtained.
【００５０】さらに、各符号化部４ａ〜４ｃにおける符
号化方式は、先に例示したものに限られるものではな
く、各クラスに要求される復号画像の品質や、符号化デ
ータ発生量の許容量に応じて、各クラスごとに適切な方
式を用いてもよい。Further, the encoding method in each of the encoding units 4a to 4c is not limited to the above-mentioned examples, but the quality of the decoded image required for each class and the allowable amount of encoded data generation amount , An appropriate method may be used for each class.
【００５１】次に、本発明の第３の実施例について図面
に基づいて説明する。図５は、第３実施例の構成を示す
ブロック図である。Next, a third embodiment of the present invention will be described with reference to the drawings. FIG. 5 is a block diagram showing the configuration of the third embodiment.
【００５２】本実施例は、フレーム間予測を用いた符号
化に、各領域のクラスに応じた制御を適用したものであ
る。フレーム間予測による符号化とは、周知のように、
メモリに記憶された過去のフレームの画像より現フレー
ムの画像を予測して予測信号を生成し、その予測信号と
入力された実際の画像信号とから、例えば差分をとる等
の方法により予測誤差信号を求め、その予測誤差信号を
符号化して出力するものである。この場合、復号側にも
同様の予測信号を求めるための装置が設けられ、復号側
ではその予測信号に符号化側から送られてきた予測誤差
信号を加えることにより復号信号を形成する。In the present embodiment, control according to the class of each area is applied to encoding using inter-frame prediction. Coding by inter-frame prediction, as is well known,
A prediction signal is generated by predicting an image of the current frame from an image of a past frame stored in the memory, and a prediction error signal is obtained from the prediction signal and the input actual image signal by, for example, taking a difference. Is obtained, and the prediction error signal is encoded and output. In this case, a device for obtaining a similar prediction signal is provided on the decoding side, and the decoding side forms a decoded signal by adding the prediction error signal sent from the encoding side to the prediction signal.
【００５３】さて、図５において、領域分割部１および
階層化部２の動作は第１実施例の場合と同様である。In FIG. 5, the operations of the area dividing section 1 and the hierarchical section 2 are the same as those in the first embodiment.
【００５４】本実施例では、複数のメモリ（フレームメ
モリ等）１０ａ、１０ｂ、１０ｃが設けられ、各メモリ
にはそれぞれ特定のクラスの画像が記憶される。すなわ
ち、図５の構成は、領域が３つのクラスにクラス分けさ
れる場合の例を示している。以下、便宜上、メモリ１０
ａを最も重要度の高いクラスの領域のためのメモリと
し、メモリ１０ｂを中間のクラスのためのメモリとし、
メモリ１０ｃを最も重要度の低い領域のためのメモリと
する。この場合、例えば図２に示したような画像を符号
化する場合には、図６に示すように、メモリ１０ａには
動いている人物の領域２０１のデータが記憶され、メモ
リ１０ｂには静止している人物の領域２０２のデータが
記憶され、メモリ１０ｃには前景や背景の机２０３、絵
画２０４、時計２０５、壁２０６等のデータが記憶され
る。In this embodiment, a plurality of memories (frame memories, etc.) 10a, 10b, and 10c are provided, and each memory stores an image of a specific class. That is, the configuration in FIG. 5 shows an example in which the areas are classified into three classes. Hereinafter, for convenience, the memory 10
a as the memory for the area of the most important class, the memory 10b as the memory for the intermediate class,
The memory 10c is used as a memory for the least important area. In this case, for example, when an image as shown in FIG. 2 is encoded, as shown in FIG. 6, data of a moving person area 201 is stored in the memory 10a, and The data of the person's area 202 is stored, and the data of the foreground and background desk 203, the painting 204, the clock 205, the wall 206, and the like are stored in the memory 10c.
【００５５】このメモリ１０ａ〜１０ｃの内容は、入力
画像信号を符号化した後に復号して得られる画像であ
り、過去のフレームの画像を表しており、毎フレームご
と、あるいはある一定間隔のフレームごとに更新される
が、この過程については後述する。The contents of the memories 10a to 10c are images obtained by encoding and decoding the input image signal, and represent the images of the past frames, and each frame or each frame at a certain interval. This process will be described later.
【００５６】領域分割部１で分割された各領域の画像信
号１０２を符号化する際に、予測部１２は各領域の画像
信号１０２に類似する画像信号をメモリ１０ａ〜１０ｃ
から探索する。すなわち、本実施例では、領域分割部１
からは分割された各領域の画像信号１０２が領域ごとに
まとめて順次出力され、予測部１２では、その各領域の
画像信号のまとまりとメモリ１０ａ〜１０ｃに記憶され
た各領域の画像データ（画像信号）のまとまりとを比較
することにより、符号化するべき各領域と類似した画像
をメモリ内の画像から見付ける。この比較は、例えば符
号化対象となる領域の画像信号１０２とメモリ内の各画
像データとの差分をとり、その差分信号が最も小さくな
るメモリ内の画像データを類似画像とする等の方法が考
えられる。When encoding the image signal 102 of each area divided by the area dividing section 1, the prediction section 12 stores an image signal similar to the image signal 102 of each area in the memories 10a to 10c.
Search from. That is, in the present embodiment, the area dividing unit 1
, The image signal 102 of each divided area is sequentially output collectively for each area, and the prediction unit 12 outputs a set of image signals of each area and image data (image data) of each area stored in the memories 10a to 10c. An image similar to each region to be encoded is found from the image in the memory by comparing the group of signals. For this comparison, for example, a method is conceivable in which a difference between the image signal 102 of the region to be encoded and each image data in the memory is obtained, and the image data in the memory having the smallest difference signal is regarded as a similar image. Can be
【００５７】このようにして、メモリを探索することに
より得られた類似画像信号は、予測部１２において予測
元画像信号として用いられる。すなわち、予測部１２
は、その予測元画像信号を元に所定の予測関数を用いて
予測を行い、予測信号１１２を生成する。この予測信号
の生成は、領域分割部１で分割された領域ごとに行われ
る。この予測信号１１２は、予測誤差抽出部１４および
信号合成部１７に向かって出力される。また、予測部１
２は、予測信号１１２と同時に予測に用いた類似画像の
記憶されていたメモリの番号、およびその類似画像のメ
モリ上のアドレスを示す信号１１４を復号側に向かって
出力する。復号側には、この画像符号化装置と同様の予
測部や３つのメモリ等が設けられており、このメモリ番
号やアドレスを示す信号１１４は、復号側で予測信号を
生成する際に用いられる。The similar image signal obtained by searching the memory in this way is used by the prediction section 12 as a prediction source image signal. That is, the prediction unit 12
Performs prediction using a predetermined prediction function based on the prediction source image signal, and generates a prediction signal 112. The generation of the prediction signal is performed for each of the regions divided by the region dividing unit 1. The prediction signal 112 is output to the prediction error extraction unit 14 and the signal synthesis unit 17. Also, the prediction unit 1
2 outputs a signal 114 indicating the number of the memory in which the similar image used for the prediction is stored and the address of the similar image on the memory at the same time as the prediction signal 112 toward the decoding side. On the decoding side, a prediction unit and three memories similar to those of the image encoding apparatus are provided, and the signal 114 indicating the memory number and the address is used when the decoding side generates a prediction signal.
【００５８】予測誤差抽出部１４は、各領域ごとに、画
像信号１０２と予測信号１１２とから予測誤差信号１１
６を抽出する。予測誤差信号１１６の抽出方法として
は、単純に画像信号１０２と予測信号１１２との差分を
とってもよいし、両者に所定の重み付けを行ってから差
分を取ってもよい。The prediction error extraction unit 14 calculates a prediction error signal 11 from the image signal 102 and the prediction signal 112 for each region.
6 is extracted. As a method of extracting the prediction error signal 116, a difference between the image signal 102 and the prediction signal 112 may be simply obtained, or a difference may be obtained after performing a predetermined weighting on both.
【００５９】予測誤差信号１１４は符号化部４にて所定
の符号化方式により符号化される。そして、符号化部４
からは予測誤差信号を符号化した符号化データ１０５が
出力される。The prediction error signal 114 is encoded by the encoding unit 4 according to a predetermined encoding method. And the encoding unit 4
Outputs encoded data 105 obtained by encoding the prediction error signal.
【００６０】そして、復号部１６は、符号化部４から出
力された予測誤差信号の符号化データ１０５を、符号化
部４と逆の動作を行って復号し、復号予測誤差信号１２
０を出力する。復号予測誤差信号１２０は、信号合成部
１７にて前述の予測信号１１２と合成される。これによ
り、復号画像信号１２２が生成される。合成の方法とし
ては、単純に加算する方法や両者にそれぞれ重みをつけ
てから加算する方法などがあり、これらは予測誤差抽出
部１４における予測誤差の抽出方法に依存する。The decoding unit 16 decodes the coded data 105 of the prediction error signal output from the coding unit 4 by performing the operation reverse to that of the coding unit 4 to obtain the decoded prediction error signal 12.
Outputs 0. The decoded prediction error signal 120 is combined with the above-described prediction signal 112 by the signal combining unit 17. As a result, a decoded image signal 122 is generated. As a combining method, there is a method of simply adding, or a method of adding weights after adding both, and these depend on a method of extracting a prediction error in the prediction error extracting unit 14.
【００６１】復号画像信号１２２は、メモリ制御部１８
に入力される。メモリ制御部１８は、階層化部２から出
力されるクラス識別信号１０３に応じて、復号画像信号
１２２が各領域の信号ごとにその領域のクラスに対応す
るメモリに対して入力されるようにスイッチを切り換え
る。そして、メモリ１０ａ〜１０ｃの記憶データは復号
画像信号１２２が入力されるごとに更新される。The decoded image signal 122 is supplied to the memory controller 18
Is input to The memory control unit 18 switches according to the class identification signal 103 output from the hierarchical unit 2 so that the decoded image signal 122 is input to the memory corresponding to the class of each area for each signal of each area. Switch. The data stored in the memories 10a to 10c is updated every time the decoded image signal 122 is input.
【００６２】この更新の際、画像動きがない背景等の領
域が記憶されるメモリ（本実施例ではメモリ１０ｃ）と
して、記憶データを新たに入力された復号画像信号に単
純に書き換える形式のものではなく、過去の記憶データ
に新たに入力された復号画像信号を重ねて（上書きし
て）記憶する形式のメモリを用いることもできる。At the time of this update, a memory (memory 10c in this embodiment) for storing an area such as a background having no image motion is of a type in which stored data is simply rewritten to a newly inputted decoded image signal. Instead, it is also possible to use a memory that stores (overwrites) a newly input decoded image signal on past stored data.
【００６３】この場合、例えば、図２に示した画像にお
いて、人物２０１が移動した場合を想定すると、人物２
０１が動くことにより画像中の背景の各部分が見え隠れ
し、これにより背景の各領域の画像データを記憶するメ
モリ１０ｃの内容が更新される際に、メモリ１０ｃに記
憶される背景領域は順次広い部分をカバーすることにな
る。従って、例えばあるフレームにおいて、画面中で人
物２０１が動いてもともとその人物が居た後ろの部分の
背景が現れた場合を考えると、この構成によれば、復号
側が本装置と同じメモリ内容を持っている場合は、符号
化装置からは新たに現れた背景領域のアドレス情報を送
るだけで、復号側はそのメモリから壁や絵の画像データ
を読み出して画像を形成することができる。従って、一
旦符号化側および復号側の双方のメモリにおいて背景の
全画像が形成されてしまうと、以降は符号化側からは符
号化データを送出する必要はなくなり、単にアドレス情
報を送出するだけで足りるようになる。従って、符号化
データの発生量は順次低減されていくことになる。In this case, for example, assuming that the person 201 has moved in the image shown in FIG.
The movement of 01 causes each part of the background in the image to appear and disappear, and when the contents of the memory 10c that stores the image data of each area of the background are updated, the background area stored in the memory 10c is sequentially large. Will cover the part. Therefore, for example, in a frame, when the person 201 moves on the screen and the background of the part behind the person originally appears, according to this configuration, the decoding side has the same memory content as the present apparatus. In this case, only the address information of the newly appearing background area is sent from the encoding apparatus, and the decoding side can read the image data of the wall or the picture from the memory and form an image. Therefore, once all the background images have been formed in the memories on both the encoding side and the decoding side, it is no longer necessary to transmit the encoded data from the encoding side, and only the address information is transmitted. It will be enough. Therefore, the generation amount of the encoded data is sequentially reduced.
【００６４】なお、ここでは符号化部４は各領域ごとの
予測誤差信号１１６をすべて一定の符号化制御パラメー
タで符号化していたが、第１実施例と同じように、階層
化部２からのクラス識別信号１０３信号によって符号化
部４の符号化制御パラメータを変更制御する構成にする
こともできる。これにより、符号化の効率はさらに向上
する。Here, the encoding unit 4 encodes all the prediction error signals 116 for each area with constant encoding control parameters. However, as in the first embodiment, the encoding unit 4 sends the prediction error signal 116 from the hierarchizing unit 2. It is also possible to adopt a configuration in which the encoding control parameter of the encoding unit 4 is changed and controlled by the class identification signal 103 signal. As a result, the coding efficiency is further improved.
【００６５】また、本実施例では、１つの符号化部しか
設けられていないが、第２実施例と同様に、符号化方式
の異なる複数の符号化部を設けて、階層化部２からのク
ラス識別信号に応じて、各領域ごとに符号化を行う符号
化部を変更する構成としてもよい。ここで、あるクラス
の領域の符号化を行う符号化部が予測誤差演算を行わな
い方式の符号化部であった場合、予測を行わないので対
応するメモリは不要となる。In this embodiment, only one encoding unit is provided. However, as in the second embodiment, a plurality of encoding units having different encoding systems are provided and A configuration in which the encoding unit that performs encoding for each area is changed according to the class identification signal. Here, if the encoding unit that encodes an area of a certain class is an encoding unit that does not perform the prediction error calculation, the prediction is not performed, and the corresponding memory is unnecessary.
【００６６】また、本実施例では、予測部１２は予測信
号１１２を生成する際に、入力された現フレームの領域
分割された画像信号１０２に類似する画像データをすべ
てのメモリから探索していたが、階層化部２からのクラ
ス識別信号１０３によって予測部１２を制御して各領域
のクラスに対応したメモリのみを探索するような構成と
してもよい。この場合は、類似画像データの探索が容易
になるため、符号化の効率を向上させることができる。In the present embodiment, when generating the prediction signal 112, the prediction unit 12 searches all the memories for image data similar to the image signal 102 obtained by dividing the input current frame into regions. However, the configuration may be such that the prediction unit 12 is controlled by the class identification signal 103 from the hierarchy unit 2 to search only the memory corresponding to the class of each area. In this case, the search for similar image data is facilitated, so that the coding efficiency can be improved.
【００６７】さらに、本実施例では、メモリの内容は、
符号化部４および復号部４で信号の符号化・復号が行わ
れる度に書き換えられるものであったが、メモリの書き
換えを予め設定された時間間隔で行うような構成とする
こともできる。すなわち、重要度の高いクラスに対応す
るメモリは頻繁にメモリ内容を書き換えるようにし、重
要度の低いクラスほどメモリ書き換えの時間間隔を大き
くする。これにより、メモリ更新の処理が迅速化され
る。Further, in this embodiment, the contents of the memory are:
Although rewriting is performed every time a signal is encoded and decoded by the encoding unit 4 and the decoding unit 4, a configuration in which rewriting of the memory is performed at a preset time interval may be adopted. In other words, the memory corresponding to the class of higher importance is frequently rewritten, and the time interval of memory rewriting is increased for the class of lower importance. This speeds up the process of updating the memory.
【００６８】ここで、テレビ会議などにおいて背景情報
が特に必要でない場合は、背景情報を記憶するメモリの
書き換え間隔を無限大にする、すなわち書き換えを行わ
ないような構成とすることも可能である。この場合は、
背景情報のメモリには予め背景情報を記憶しておく必要
がある。例えば、テレビ会議では会議が始まる前に、予
め背景情報をメモリに記録しておくなどの方法で実現で
きる。図７は、このような構成の装置のブロック図を示
したものであり、この装置は復号画像信号１２２がメモ
リ１０ｃに入力されない点で図５の装置と異なる。Here, when background information is not particularly necessary in a video conference or the like, the rewriting interval of the memory for storing the background information may be made infinite, that is, the rewriting may not be performed. in this case,
It is necessary to store the background information in the background information memory in advance. For example, in a video conference, it can be realized by a method of recording background information in a memory in advance before the conference starts. FIG. 7 shows a block diagram of an apparatus having such a configuration. This apparatus differs from the apparatus of FIG. 5 in that the decoded image signal 122 is not input to the memory 10c.
【００６９】また、本実施例は、予測時にメモリから最
も類似した画像信号を１つだけ探索して予測に用いるも
のであったが、本実施例をＩＳＯのＭＰＥＧ(Moving Pi
cture Experts Group)で勧告されたＭＰＥＧ１という規
格に適用する場合には、類似した画像信号をメモリから
複数個読み出して、それらを合成できる構成とすること
も可能である。ＭＰＥＧ１では、連続するフレームを時
系列に沿って順番に符号化するのではなく、例えば１番
目のフレームを符号化した後、次に４番目のフレームを
符号化し、その後に２、３番目のフレームを符号化する
というように符号化順序を入れ替える方法を採用してい
る。この方法によれば、１番目と４番目のフレームの情
報を用いて、例えばそれらの加算平均等をとることによ
り２番目および３番目のフレームの画像に近い画像情報
を得ることができ、これをもとに予測を行うことによ
り、予測誤差信号の電力をより小さく、すなわち符号化
データの発生量をより小さくする事ができる。本実施例
において、各メモリ１０ａ〜１０ｃを複数フレーム分の
画像データがフレームごとに記憶できるようなものとす
れば、本実施例の装置をこのような規格にも適用するこ
とができる。In the present embodiment, at the time of prediction, only one of the most similar image signals is searched from the memory and used for prediction. However, the present embodiment is based on ISO MPEG (Moving Pilot).
In the case of applying to the MPEG1 standard recommended by the “Cture Experts Group”, it is also possible to read a plurality of similar image signals from the memory and combine them. In MPEG1, continuous frames are not sequentially encoded in time series. For example, after encoding the first frame, the fourth frame is encoded, and then the second and third frames are encoded. , The coding order is changed. According to this method, image information close to the images of the second and third frames can be obtained by using the information of the first and fourth frames, for example, by averaging them, and the like. By performing prediction based on this, it is possible to reduce the power of the prediction error signal, that is, to reduce the amount of encoded data generated. In this embodiment, if each of the memories 10a to 10c can store image data for a plurality of frames for each frame, the apparatus of this embodiment can be applied to such a standard.
【００７０】なお、本実施例において、予測部１２にお
いて、メモリ１０ａ〜１０ｃから読み出してきた予測元
画像信号の示す画像領域の形状やサイズが、符号化対象
である画像信号１０２の領域の形状やサイズと異なって
いる場合は、内挿・外挿補間を行って、予測元画像信号
の領域の形状やサイズを画像信号１０２の領域の形状や
サイズに合わせてから予測を行うと言うこともできる。
予測元画像信号と画像信号１０２とは、１フレーム分
（あるいは数フレーム分）時間がずれているので、同じ
対象を示した画像でも形状やサイズが異なってくること
がある。ここで、予測部１２において形状やサイズの異
なった予測元画像信号を用いて予測を行うと、予測誤差
信号の電力が大きくなり、ひいては符号化データの発生
量の増加につながる。そこで、ここでは、予測元画像信
号の示す画像の領域に内挿・外挿により補間して画像信
号１０２の領域と等しい形状およびサイズの画像信号を
形成し、これをもとに予測を行うようにする。図８は、
補間の様子を説明するための図であり、符号化対象であ
る画像信号１０２の領域の輪郭が図８（Ｂ）の太線で示
されており、これに対応するメモリ中の類似画像信号
（予測元画像信号）の領域の輪郭は図８（Ａ）の太線で
示されている。なお、図において白抜き丸印、黒丸印は
それぞれ画素を表しているものとし、特に黒丸印はメモ
リ中の類似画像信号の領域に含まれる画素を表している
ものとする。このような場合において、予測を行う場
合、（Ｂ）の斜線部の画素の部分の情報は（Ａ）から直
接得ることができないので、外挿予測を行う。単純な方
法を採用するのであれば、（Ａ）の領域の端点の画素と
同じ値をそのまま外側に拡張するという方法が適用でき
る。また、斜線部の各画素の値を、領域の中心部からそ
の画素までの距離に比例した値にすることにより補間を
行う方法を用いることもできる。ここでは、類似画像信
号の領域が拡張される場合を説明したが、縮小される場
合も同様である。いずれにしても、このように補間を行
って、予測元画像信号の示す領域の形状やサイズを、符
号化対象の領域の形状やサイズに一致させてから予測を
行うことにより、予測誤差信号を小さくすることがで
き、従って符号化データの発生量を低減することができ
る。In this embodiment, the shape and size of the image area indicated by the prediction source image signal read from the memories 10a to 10c in the prediction unit 12 are determined by the shape and size of the area of the image signal 102 to be encoded. If the size differs from the size, it can be said that interpolation and extrapolation are performed, and the prediction is performed after the shape and size of the region of the prediction source image signal are adjusted to the shape and size of the region of the image signal 102. .
Since the prediction source image signal and the image signal 102 are shifted in time by one frame (or several frames), shapes and sizes of images showing the same object may be different. Here, when the prediction unit 12 performs prediction using prediction source image signals having different shapes and sizes, the power of the prediction error signal increases, which leads to an increase in the amount of encoded data generated. Therefore, here, an image signal having the same shape and size as the area of the image signal 102 is formed by interpolating by interpolation and extrapolation into the area of the image indicated by the prediction original image signal, and the prediction is performed based on this. To FIG.
FIG. 8 is a diagram for explaining the state of interpolation, in which the outline of the region of the image signal 102 to be encoded is indicated by a thick line in FIG. The outline of the area of the original image signal) is shown by the thick line in FIG. In the drawing, white circles and black circles represent pixels, respectively, and particularly, black circles represent pixels included in the area of the similar image signal in the memory. In such a case, when the prediction is performed, extrapolation prediction is performed because information on the shaded pixel portion in (B) cannot be directly obtained from (A). If a simple method is adopted, a method of extending the same value as the pixel at the end point of the area (A) to the outside can be applied. Also, a method of performing interpolation by setting the value of each pixel in the hatched portion to a value proportional to the distance from the center of the region to the pixel can be used. Here, the case where the area of the similar image signal is expanded has been described, but the same applies to the case where the area is reduced. In any case, the interpolation is performed in this manner, and the shape and size of the region indicated by the prediction source image signal are made to match the shape and size of the region to be encoded, and then the prediction is performed. Therefore, the amount of encoded data can be reduced.
【００７１】[0071]
【発明の効果】以上説明したように、本発明によれば、
入力画像を画像の内容にしたがって領域分割し、分割さ
れた領域を視覚上の重要性に応じてクラス分けを行い、
各領域の符号化を行う際にその領域のクラスに応じて符
号化制御パラメータや符号化方式を変えて視覚上重要で
ない領域の符号化データの発生を抑制することにより、
視覚上重要な領域の画像の品質を維持しつつ、符号化デ
ータの発生量を低減することができる。As described above, according to the present invention,
The input image is divided into regions according to the content of the image, and the divided regions are classified according to their visual importance.
By changing the coding control parameters and coding method according to the class of the region when coding each region, by suppressing the occurrence of coded data of visually insignificant regions,
The amount of encoded data generated can be reduced while maintaining the quality of an image in a visually important area.
【図１】 本発明に係る画像符号化装置の第１実施例を
示すブロック図である。FIG. 1 is a block diagram illustrating a first embodiment of an image encoding device according to the present invention.
【図２】 画像符号化装置に対する入力画像の一例を示
す図である。FIG. 2 is a diagram illustrating an example of an input image to an image encoding device.
【図３】 サブサンプリングの説明をするための図であ
る。FIG. 3 is a diagram for explaining sub-sampling.
【図４】 本発明に係る画像符号化装置の第２実施例を
示すブロック図である。FIG. 4 is a block diagram showing a second embodiment of the image encoding device according to the present invention.
【図５】 本発明に係る画像符号化装置の第３実施例を
示すブロック図である。FIG. 5 is a block diagram showing a third embodiment of the image encoding device according to the present invention.
【図６】 第３実施例におけるメモリ１０ａ〜１０ｃの
メモリ内容を説明するための図である。FIG. 6 is a diagram for explaining memory contents of memories 10a to 10c in a third embodiment.
【図７】 第３実施例において１つのメモリを更新を行
わないものとした場合のブロック図である。FIG. 7 is a block diagram in a case where one memory is not updated in the third embodiment.
【図８】 第３実施例において、メモリから読み出され
た類似画像信号に対する補間を説明するための図であ
る。FIG. 8 is a diagram for explaining interpolation of a similar image signal read from a memory in the third embodiment.
【図９】 従来の画像符号化装置のブロック図である。FIG. 9 is a block diagram of a conventional image encoding device.
１ 領域分割部、２ 階層化部、４ 符号化部、１０１
入力デジタル画像信号、１０２ 領域分割された画像
信号、１０３ クラス識別信号、１０５ 符号化デー
タ。1 area dividing section, 2 layering section, 4 coding section, 101
Input digital image signal, 102 area-divided image signal, 103 class identification signal, 105 encoded data.
Claims (21)
割情報を付与した画像信号を出力する領域分割部と、 予め定められた基準に従って分割されている各領域に対
してクラス分けを行い、各領域のクラスを示すクラス識
別信号を出力する階層化部と、 領域分割された画像信号に対して、設定された符号化制
御パラメータに基づいて符号化し、領域分割情報を含ん
だ符号化データを出力する符号化部と、を含み、 符号化部において、前記階層化部からの各領域毎に付与
されたクラス識別信号に応じて、符号化制御パラメータ
が設定されることを特徴とする画像符号化装置。1. An area dividing unit that divides an input image into a plurality of areas and outputs an image signal to which area dividing information is added, and classifies each area divided according to a predetermined criterion. A layering unit that outputs a class identification signal indicating a class of each area; and coded data including area division information, which encodes the area-divided image signal based on a set encoding control parameter. And an encoding unit that outputs an encoding control parameter according to a class identification signal given to each region from the hierarchical unit in the encoding unit. Encoding device.
て、 領域分割部は、入力画像のエッジを検出し、エッジに基
づいて入力画像の領域分割を行い、 階層化部は、分割された画像のエッジの形状に応じてク
ラスを判定することを特徴とする画像符号化装置。2. The image coding apparatus according to claim 1, wherein the area dividing unit detects an edge of the input image, performs area division of the input image based on the edge, and An image coding apparatus characterized in that a class is determined in accordance with the shape of an edge of an image.
て、 領域分割部は、入力画像のテクスチャを解析し、テクス
チャに基づいて入力画像の領域分割を行い、 階層化部は、分割された画像のテクスチャの種類に応じ
てクラスを判定することを特徴とする画像符号化装置。3. The image encoding device according to claim 1, wherein the region dividing unit analyzes a texture of the input image, performs region division of the input image based on the texture, and the layering unit includes: An image coding apparatus characterized in that a class is determined according to the type of texture of the image.
て、 領域分割部は、入力画像のアクティビティの大きさを測
定し、アクティビティの大きさに基づいて入力画像の領
域分割を行い、 階層化部は、分割された画像のアクティビティの大きさ
に応じてクラスを判定することを特徴とする画像符号化
装置。4. The image encoding apparatus according to claim 1, wherein the region dividing unit measures the size of the activity of the input image, performs region division of the input image based on the size of the activity, and Is an image coding apparatus for determining a class according to the size of the activity of a divided image.
て、 領域分割部は、過去の画像を記憶する画像メモリを有
し、画像メモリに記憶されている過去の画像と入力画像
とを比較して入力画像の動きを検出し、検出された動き
の大きさに基づいて領域分割を行い、 階層化部は、分割された画像の動きの大きさに応じてク
ラスを判定することを特徴とする画像符号化装置。5. The image encoding apparatus according to claim 1, wherein the region dividing unit has an image memory for storing a past image, and compares the past image stored in the image memory with the input image. Detecting the motion of the input image, dividing the area based on the detected motion magnitude, and determining the class according to the motion magnitude of the divided image. Image coding device.
て、 階層化部は、領域分割部で検出された動きの大きさを所
定フレーム数分記憶する手段を有し、所定フレーム数に
渡って動きの頻度を測定し、測定された動きの頻度に応
じてクラスを判定することを特徴とする画像符号化装
置。6. The image coding apparatus according to claim 5, wherein the layering unit has means for storing the magnitude of the motion detected by the region dividing unit for a predetermined number of frames. An image coding apparatus characterized by measuring the frequency of motion and determining a class according to the measured frequency of motion.
号化装置において、 各領域毎に付与されたクラス識別信号に応じて、符号化
を実行する時間間隔が制御されることを特徴とする画像
符号化装置。7. The image encoding apparatus according to claim 1, wherein a time interval at which encoding is performed is controlled according to a class identification signal assigned to each area. Image encoding device.
号化装置において、 各領域毎に付与されたクラス識別信号に応じて、符号化
時の量子化パラメータが制御されることを特徴とする画
像符号化装置。8. The image encoding apparatus according to claim 1, wherein a quantization parameter at the time of encoding is controlled according to a class identification signal assigned to each area. Image encoding device.
号化装置において、 符号化部は、画像信号に対してサブサンプリングを行う
機能を有し、各領域毎に付与されたクラス識別信号に応
じて、符号化時に行うサブサンプリングの大きさが制御
されることを特徴とする画像符号化装置。9. The image encoding device according to claim 1, wherein the encoding unit has a function of performing subsampling on the image signal, and class identification assigned to each region. An image coding apparatus, wherein the size of subsampling performed at the time of coding is controlled according to a signal.
符号化装置において、 各領域毎に付与されたクラス識別信号に応じて、符号化
データの発生量のしきい値が設定され、このしきい値に
応じて符号化部の制御が行われることを特徴とする画像
符号化装置。10. The image encoding apparatus according to claim 1, wherein a threshold value of an amount of encoded data is set according to a class identification signal assigned to each area, An image coding apparatus, wherein the control of the coding unit is performed according to the threshold value.
符号化が行われた符号化データを入力し、この符号化デ
ータを復号することにより復号画像を得る画像復号装置
において、 符号化データが得られた領域に対しては、符号化データ
から領域分割情報を分離し、その分離した領域分割情報
に基づいて領域ごとに、符号化の際に付与された領域識
別信号に応じて復号して画像信号を出力することを特徴
とする画像復号装置。11. An image decoding apparatus which receives coded data divided into a plurality of regions and coded for each region, and obtains a decoded image by decoding the coded data. For the region where is obtained, the region division information is separated from the encoded data, and decoding is performed for each region based on the separated region division information in accordance with the region identification signal given at the time of encoding. An image decoding device for outputting an image signal.
て、符号化データが得られなかった領域に対しては、あ
らかじめ記憶されていた画像信号を出力することを特徴
とする画像復号装置。12. The image decoding apparatus according to claim 11, wherein a previously stored image signal is output to an area where encoded data is not obtained.
て、符号化データが得られなかった領域に対しては、前
フレームの復号画像ををそのまま出力することを特徴と
する画像復号装置。13. The image decoding apparatus according to claim 11, wherein a decoded image of a previous frame is output as it is for an area where encoded data is not obtained.
分割情報を付与した画像信号を出力する領域分割部と、 予め定められた基準に従って分割されている各領域に対
してクラス分けを行い、各領域のクラスを示すクラス識
別信号を出力する階層化部と、 過去の画像信号を記憶する複数の画像メモリと、 領域分割された入力画像信号に類似する画像信号を予測
元画像信号として複数の画像メモリから読み出し、この
予測元画像信号から予測関数を用いて予測信号を生成
し、予測信号と予測元画像信号を読み出したメモリの番
号及び該メモリにおける該予測元画像信号のアドレスを
出力する予測部と、 各領域毎に、領域分割された入力画像信号と予測信号か
ら予測誤差信号を抽出して出力する予測誤差抽出部と、 予測誤差信号を符号化して領域分割情報を含んだ符号化
データを出力する符号化部と、 符号化部から出力される符号化データを復号して復号予
測誤差信号を出力する復号部と、 各領域毎に、復号予測誤差信号と予測信号とから復号画
像信号を合成する信号合成部と、 前記信号合成部から出力される各領域ごとの復号画像信
号を用いて、前記階層化部からのクラス識別信号に基づ
いて前記複数の画像メモリに振り分けて記憶させること
により、前記複数のメモリの記憶内容を更新するメモリ
制御部と、 を含むことを特徴とする画像符号化装置。14. An area dividing unit that divides an input image into a plurality of areas and outputs an image signal to which area dividing information is added, and classifies each area divided according to a predetermined criterion. A layering unit that outputs a class identification signal indicating a class of each region; a plurality of image memories that store past image signals; and a plurality of image signals similar to the region-divided input image signal as prediction source image signals. From the image memory, generates a prediction signal from the prediction source image signal using a prediction function, and outputs the prediction signal and the number of the memory from which the prediction source image signal was read, and the address of the prediction source image signal in the memory A prediction unit, a prediction error extraction unit for extracting and outputting a prediction error signal from the input image signal and the prediction signal obtained by dividing the region, for each region; An encoding unit that outputs encoded data including the division information; a decoding unit that decodes the encoded data output from the encoding unit and outputs a decoded prediction error signal; and a decoding prediction error signal for each region. And a signal combining unit that combines the decoded image signal from the prediction signal, and using the decoded image signal for each region output from the signal combining unit, based on the class identification signal from the hierarchical unit, A memory control unit for updating the storage contents of the plurality of memories by distributing and storing the image data in an image memory.
いて、 各領域毎に付与されたクラス識別信号に応じて符号化部
の制御を行うことを特徴とする画像符号化装置。15. The image encoding apparatus according to claim 14, wherein the encoding unit is controlled according to a class identification signal assigned to each area.
いて、 異なった符号化方式で符号化を行い、領域分割情報を含
んだ符号化データを出力する複数個の符号化部と、 各領域毎に付与されているクラス識別信号に応じて、複
数個の符号化部のなかのいずれか一つを選択するスイッ
チ部と、 を含むことを特徴とする画像符号化装置。16. The image coding apparatus according to claim 14, wherein a plurality of coding units for performing coding by different coding methods and outputting coded data including region division information are provided. And a switch unit for selecting any one of the plurality of encoding units according to the class identification signal given to the image encoding device.
いて、 各領域毎に付与されているクラス識別信号に応じて、複
数の画像メモリに対して特定の画像メモリからのみ予測
元画像信号を読み出すことを特徴とする画像符号化装
置。17. The image encoding apparatus according to claim 14, wherein a prediction source image signal is read out from only a specific image memory for a plurality of image memories in accordance with a class identification signal assigned to each area. An image encoding device, characterized in that:
いて、 復号画像信号を用いて画像メモリの記憶内容を更新する
時間間隔を、クラス識別信号に応じて制御することを特
徴とする画像符号化装置。18. The image coding apparatus according to claim 14, wherein a time interval for updating the storage contents of the image memory using the decoded image signal is controlled according to the class identification signal. apparatus.
いて、 前記画像メモリは、それぞれ複数フレーム分の画像信号
を記憶し、 予測部は、画像メモリから複数フレームの画像信号を読
み出して、それらを合成することにより予測信号を生成
することを特徴とする画像符号化装置。19. The image encoding apparatus according to claim 14, wherein the image memory stores image signals for a plurality of frames, and the prediction unit reads the image signals for a plurality of frames from the image memory and encodes the image signals. An image coding apparatus for generating a prediction signal by combining.
号化が行われた符号化データを入力し、この符号化デー
タを復号することにより復号画像を得る画像復号装置に
おいて、 過去の画像信号を各領域毎のクラス識別信号に基づいて
記憶した複数の画像メモリと、 画像符号化装置から出力された画像メモリの番号及び該
メモリにおける該予測元画像信号のアドレスを入力し、
入力された画像メモリの番号並びにアドレスから指定さ
れる画像信号を予測信号として出力する予測部と、 符号化データから領域分割情報を分離し、その分離した
領域分割情報に基づいて各領域毎に、符号化の際に用い
たクラス識別信号に応じて符号化データを復号して復号
予測誤差信号を出力する復号部と、 各領域毎に前記復号予測誤差信号と前記予測信号とから
復号画像信号を合成する信号合成部と、 前記信号合成部から出力される各領域毎に合成された前
記復号画像信号を、前記各領域毎のクラス識別信号に基
づいて前記複数の画像メモリに振り分けて記憶させるこ
とにより、前記複数の画像メモリの記憶内容を更新する
メモリ制御部と、を含むことを特徴とする画像復号装
置。20. An image decoding apparatus which receives coded data divided into a plurality of regions and coded for each region, and obtains a decoded image by decoding the coded data. A plurality of image memories in which signals are stored based on a class identification signal for each region, and the number of the image memory output from the image encoding device and the address of the prediction source image signal in the memory are input;
A prediction unit that outputs an image signal specified from the input image memory number and address as a prediction signal, and separates region division information from encoded data, and for each region based on the separated region division information, A decoding unit that decodes the encoded data according to the class identification signal used at the time of encoding and outputs a decoded prediction error signal, and decodes a decoded image signal from the decoded prediction error signal and the prediction signal for each region. A signal synthesizing unit to be synthesized, and the decoded image signals synthesized for each region output from the signal synthesizing unit are sorted and stored in the plurality of image memories based on a class identification signal for each of the regions. A memory control unit for updating storage contents of the plurality of image memories.
て、 複数の画像メモリの一部に対しては予め画像信号を記憶
しておき、この一部の画像メモリに対しては復号画像信
号を用いて記憶内容を更新させないことを特徴とする画
像復号装置。21. The image decoding device according to claim 20, wherein an image signal is stored in advance for a part of the plurality of image memories, and the decoded image signal is used for the part of the image memory. An image decoding apparatus characterized in that the stored content is not updated by the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000199427A JP2001045494A (en) | 2000-01-01 | 2000-06-30 | Image encoding device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000199427A JP2001045494A (en) | 2000-01-01 | 2000-06-30 | Image encoding device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP971194A Division JP3197420B2 (en) | 1994-01-31 | 1994-01-31 | Image coding device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001045494A true JP2001045494A (en) | 2001-02-16 |
Family
ID=18697446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000199427A Pending JP2001045494A (en) | 2000-01-01 | 2000-06-30 | Image encoding device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001045494A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006015604A (en) * | 2004-07-01 | 2006-01-19 | Ricoh Co Ltd | Printing system, printing equipment, imaging device, printing method, and image transmitting method |
| JP2009027366A (en) * | 2007-07-18 | 2009-02-05 | Fujifilm Corp | Unit and method for processing image, and program |
| JP2009033423A (en) * | 2007-07-26 | 2009-02-12 | Hitachi Ltd | Image compression method and image processing device |
| JP2009510933A (en) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | Content-driven transcoder that uses content information to coordinate multimedia transcoding |
| JP2012160838A (en) * | 2011-01-31 | 2012-08-23 | Ricoh Co Ltd | Tv conference system |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| US9832460B2 (en) | 2011-03-09 | 2017-11-28 | Canon Kabushiki Kaisha | Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor |
| JP2018110397A (en) * | 2016-12-30 | 2018-07-12 | アクシス アーベー | Method and computer device |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57157696A (en) * | 1981-03-25 | 1982-09-29 | Nippon Telegr & Teleph Corp <Ntt> | Processing system for encoding between frames |
| JPS6010887A (en) * | 1983-06-30 | 1985-01-21 | Fujitsu Ltd | Coding system of video signal |
| JPS61164390A (en) * | 1985-01-17 | 1986-07-25 | Nec Corp | Adaptive forecast coding device of inter-frame and between frames of animation picture signal |
| JPS6212287A (en) * | 1985-07-09 | 1987-01-21 | Nec Corp | Adaptive predictive encoding device for moving image signal |
| JPS62104387A (en) * | 1985-10-31 | 1987-05-14 | Sony Corp | High-efficiency encoding device |
| JPS63157579A (en) * | 1986-12-22 | 1988-06-30 | Nippon Telegr & Teleph Corp <Ntt> | Pseudo three-dimensional image pickup device |
| JPH01144875A (en) * | 1987-12-01 | 1989-06-07 | Canon Inc | Image information transmission system |
| JPH01228384A (en) * | 1988-03-09 | 1989-09-12 | Kokusai Denshin Denwa Co Ltd <Kdd> | Moving image coding system using area division |
| JPH01245684A (en) * | 1988-03-28 | 1989-09-29 | Canon Inc | Picture information transmitting system |
| JPH0232688A (en) * | 1988-07-22 | 1990-02-02 | Hitachi Ltd | Adaptive conversion encoder |
| JPH02264585A (en) * | 1989-04-05 | 1990-10-29 | Nec Corp | Encoding system for picture signal |
| JPH02295289A (en) * | 1989-05-10 | 1990-12-06 | Fujitsu Ltd | Background predictive frame generating method |
| JPH03133290A (en) * | 1989-10-19 | 1991-06-06 | Fujitsu Ltd | Picture coder |
| JPH03265392A (en) * | 1990-03-15 | 1991-11-26 | Nippon Telegr & Teleph Corp <Ntt> | Moving picture coding system |
| JPH047989A (en) * | 1989-08-02 | 1992-01-13 | Fujitsu Ltd | Picture signal encoding control system |
| JPH04156794A (en) * | 1990-10-19 | 1992-05-29 | Matsushita Electric Ind Co Ltd | Encoding device |
| JPH04321391A (en) * | 1990-09-29 | 1992-11-11 | Victor Co Of Japan Ltd | Picture coder and decoder |
| JPH04345290A (en) * | 1991-05-23 | 1992-12-01 | Matsushita Electric Ind Co Ltd | Device for transmitting moving image signal |
| JPH04354489A (en) * | 1991-05-31 | 1992-12-08 | Fujitsu Ltd | Picture coder |
| JPH0537915A (en) * | 1991-07-31 | 1993-02-12 | Matsushita Electric Ind Co Ltd | Method and device for coding image signal |
| JPH05111015A (en) * | 1991-10-17 | 1993-04-30 | Sony Corp | Movement adaptive image encoder |
| JPH0622292A (en) * | 1992-06-30 | 1994-01-28 | Sony Corp | Transmitter for digital picture signal |
| JPH07222145A (en) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | Picture encoding device |
-
2000
- 2000-06-30 JP JP2000199427A patent/JP2001045494A/en active Pending
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57157696A (en) * | 1981-03-25 | 1982-09-29 | Nippon Telegr & Teleph Corp <Ntt> | Processing system for encoding between frames |
| JPS6010887A (en) * | 1983-06-30 | 1985-01-21 | Fujitsu Ltd | Coding system of video signal |
| JPS61164390A (en) * | 1985-01-17 | 1986-07-25 | Nec Corp | Adaptive forecast coding device of inter-frame and between frames of animation picture signal |
| JPS6212287A (en) * | 1985-07-09 | 1987-01-21 | Nec Corp | Adaptive predictive encoding device for moving image signal |
| JPS62104387A (en) * | 1985-10-31 | 1987-05-14 | Sony Corp | High-efficiency encoding device |
| JPS63157579A (en) * | 1986-12-22 | 1988-06-30 | Nippon Telegr & Teleph Corp <Ntt> | Pseudo three-dimensional image pickup device |
| JPH01144875A (en) * | 1987-12-01 | 1989-06-07 | Canon Inc | Image information transmission system |
| JPH01228384A (en) * | 1988-03-09 | 1989-09-12 | Kokusai Denshin Denwa Co Ltd <Kdd> | Moving image coding system using area division |
| JPH01245684A (en) * | 1988-03-28 | 1989-09-29 | Canon Inc | Picture information transmitting system |
| JPH0232688A (en) * | 1988-07-22 | 1990-02-02 | Hitachi Ltd | Adaptive conversion encoder |
| JPH02264585A (en) * | 1989-04-05 | 1990-10-29 | Nec Corp | Encoding system for picture signal |
| JPH02295289A (en) * | 1989-05-10 | 1990-12-06 | Fujitsu Ltd | Background predictive frame generating method |
| JPH047989A (en) * | 1989-08-02 | 1992-01-13 | Fujitsu Ltd | Picture signal encoding control system |
| JPH03133290A (en) * | 1989-10-19 | 1991-06-06 | Fujitsu Ltd | Picture coder |
| JPH03265392A (en) * | 1990-03-15 | 1991-11-26 | Nippon Telegr & Teleph Corp <Ntt> | Moving picture coding system |
| JPH04321391A (en) * | 1990-09-29 | 1992-11-11 | Victor Co Of Japan Ltd | Picture coder and decoder |
| JPH04156794A (en) * | 1990-10-19 | 1992-05-29 | Matsushita Electric Ind Co Ltd | Encoding device |
| JPH04345290A (en) * | 1991-05-23 | 1992-12-01 | Matsushita Electric Ind Co Ltd | Device for transmitting moving image signal |
| JPH04354489A (en) * | 1991-05-31 | 1992-12-08 | Fujitsu Ltd | Picture coder |
| JPH0537915A (en) * | 1991-07-31 | 1993-02-12 | Matsushita Electric Ind Co Ltd | Method and device for coding image signal |
| JPH05111015A (en) * | 1991-10-17 | 1993-04-30 | Sony Corp | Movement adaptive image encoder |
| JPH0622292A (en) * | 1992-06-30 | 1994-01-28 | Sony Corp | Transmitter for digital picture signal |
| JPH07222145A (en) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | Picture encoding device |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4619051B2 (en) * | 2004-07-01 | 2011-01-26 | 株式会社リコー | Printing system, printing apparatus, imaging apparatus, printing method, and image transmission method |
| JP2006015604A (en) * | 2004-07-01 | 2006-01-19 | Ricoh Co Ltd | Printing system, printing equipment, imaging device, printing method, and image transmitting method |
| US7969467B2 (en) | 2004-07-01 | 2011-06-28 | Ricoh Company, Ltd. | Printing system, printing device, imaging device, printing method and image-transmitting method |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| US9088776B2 (en) | 2005-09-27 | 2015-07-21 | Qualcomm Incorporated | Scalability techniques based on content information |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| JP2013157994A (en) * | 2005-09-27 | 2013-08-15 | Qualcomm Inc | Scalability techniques based on content information |
| JP2009510933A (en) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | Content-driven transcoder that uses content information to coordinate multimedia transcoding |
| US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
| US9071822B2 (en) | 2005-09-27 | 2015-06-30 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| US9113147B2 (en) | 2005-09-27 | 2015-08-18 | Qualcomm Incorporated | Scalability techniques based on content information |
| JP2009510932A (en) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | Scalability technology based on content information |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP2009027366A (en) * | 2007-07-18 | 2009-02-05 | Fujifilm Corp | Unit and method for processing image, and program |
| JP2009033423A (en) * | 2007-07-26 | 2009-02-12 | Hitachi Ltd | Image compression method and image processing device |
| JP2012160838A (en) * | 2011-01-31 | 2012-08-23 | Ricoh Co Ltd | Tv conference system |
| US9832460B2 (en) | 2011-03-09 | 2017-11-28 | Canon Kabushiki Kaisha | Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor |
| JP2018110397A (en) * | 2016-12-30 | 2018-07-12 | アクシス アーベー | Method and computer device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3197420B2 (en) | Image coding device | |
| US6798834B1 (en) | Image coding apparatus with segment classification and segmentation-type motion prediction circuit | |
| US6055330A (en) | Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information | |
| US5486862A (en) | Motion picture encoding system | |
| US5764803A (en) | Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences | |
| US5808700A (en) | Motion video coding systems with motion vector detection | |
| US5978515A (en) | Image encoder and image decoder | |
| US7085420B2 (en) | Text detection in continuous tone image segments | |
| KR100803611B1 (en) | Method and apparatus for encoding video, method and apparatus for decoding video | |
| JP2877768B2 (en) | Loop Filtering Method for Blocking Effect and Ringing Noise Reduction of Motion Compensated Video | |
| KR100714698B1 (en) | Enhanced motion estimation method, video encoding method and apparatus using the same | |
| US6025879A (en) | System for moving object detection in moving picture | |
| US20040001544A1 (en) | Motion estimation/compensation for screen capture video | |
| CA2177866A1 (en) | Automatic face and facial feature location detection for low bit rate model-assisted h.261 compatible coding of video | |
| WO1998015915A9 (en) | Methods and apparatus for performing digital image and video segmentation and compression using 3-d depth information | |
| JPH06217292A (en) | Device reducing quantization artifact in inter-frame hybrid encoding system equipped with motion compensation | |
| JP2001045494A (en) | Image encoding device | |
| JPH10336673A (en) | Edge detection method and its device in video signal coding system | |
| JPH0244881A (en) | Moving picture encoding system | |
| JPH06169452A (en) | Picture compression system having weighting on screen | |
| JP2021013145A (en) | Video transmission device and video transmission method | |
| JPH0281590A (en) | Moving picture encoding system | |
| US6072908A (en) | Grid moving method using selective pixel search method and apparatus using the grid moving method | |
| JP3500112B2 (en) | Image encoding device and image decoding device | |
| JP2003102015A (en) | Image encoding method and apparatus, image decoding method and apparatus |