JPH08294125A - 動画像符号化装置および動画像復号化装置 - Google Patents
動画像符号化装置および動画像復号化装置Info
- Publication number
- JPH08294125A JPH08294125A JP9544195A JP9544195A JPH08294125A JP H08294125 A JPH08294125 A JP H08294125A JP 9544195 A JP9544195 A JP 9544195A JP 9544195 A JP9544195 A JP 9544195A JP H08294125 A JPH08294125 A JP H08294125A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- motion compensation
- image signal
- signal
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【目的】動き補償の精度を向上させ、無駄な発生符号量
の増加を抑えることができる動画像符号化装置および動
画像復号化装置を提供する。 【構成】動き補償回路１１１によってフレーム単位で入
力される入力動画像信号の前フレームの信号を動き補償
して動き補償画像信号を生成した後、非線形差分回路１
０２によって入力動画像信号に対する動き補償画像信号
の誤差を示す動き補償誤差信号を誤差が大きいほど高い
圧縮率で圧縮して出力し、この非線形差分回路１０２か
ら出力される動き補償誤差信号を変換回路１０３、量子
化回路１０４および符号化回路１０５により符号化す
る。
の増加を抑えることができる動画像符号化装置および動
画像復号化装置を提供する。 【構成】動き補償回路１１１によってフレーム単位で入
力される入力動画像信号の前フレームの信号を動き補償
して動き補償画像信号を生成した後、非線形差分回路１
０２によって入力動画像信号に対する動き補償画像信号
の誤差を示す動き補償誤差信号を誤差が大きいほど高い
圧縮率で圧縮して出力し、この非線形差分回路１０２か
ら出力される動き補償誤差信号を変換回路１０３、量子
化回路１０４および符号化回路１０５により符号化す
る。
Description
【０００１】
【産業上の利用分野】本発明は、動画像信号を圧縮符号
化する動画像符号化装置および符号化された符号を復号
して動画像信号を再生する動画像復号化装置に関する。
化する動画像符号化装置および符号化された符号を復号
して動画像信号を再生する動画像復号化装置に関する。
【０００２】
【従来の技術】画像符号化技術は、従来より画像通信、
放送、蓄積などに利用されている。画像符号化は、ファ
クシミリなどの静止画伝送であれば、なるべく高速に伝
送することを目的として行われ、テレビ会議、テレビ電
話などの動画像通信であれば、なるべく狭い帯域または
低ビットレートで伝送することを目的として行われる。
また、画像情報をディスクやメモリなどに記録する場
合、できるだけ多くの画像を効率良く記録するために画
像符号化技術が利用されている。
放送、蓄積などに利用されている。画像符号化は、ファ
クシミリなどの静止画伝送であれば、なるべく高速に伝
送することを目的として行われ、テレビ会議、テレビ電
話などの動画像通信であれば、なるべく狭い帯域または
低ビットレートで伝送することを目的として行われる。
また、画像情報をディスクやメモリなどに記録する場
合、できるだけ多くの画像を効率良く記録するために画
像符号化技術が利用されている。
【０００３】従来の動画像符号化装置では、入力された
動画像信号を複数のブロックに分割して、ブロック毎に
前フレームの画像信号に対する動きを示す動きベクトル
を検出し、この動きベクトルにより前フレームの画像信
号を動き補償することによって、動き補償画像信号を生
成する。動きベクトルの検出は、入力動画像信号のブロ
ック毎に前フレームの画像信号の対応する位置の周辺を
探索し、最も動き補償誤差が小さくなる動きベクトルを
求めるブロックマッチング法と呼ばれる手法が一般に用
いられる。
動画像信号を複数のブロックに分割して、ブロック毎に
前フレームの画像信号に対する動きを示す動きベクトル
を検出し、この動きベクトルにより前フレームの画像信
号を動き補償することによって、動き補償画像信号を生
成する。動きベクトルの検出は、入力動画像信号のブロ
ック毎に前フレームの画像信号の対応する位置の周辺を
探索し、最も動き補償誤差が小さくなる動きベクトルを
求めるブロックマッチング法と呼ばれる手法が一般に用
いられる。
【０００４】次に、動き補償された画像信号と入力動画
像信号との差分をとって動き補償誤差信号を求め、この
動き補償誤差信号を周波数領域の信号に変換し、さら量
子化した後、可変長符号化して動きベクトル情報ととも
に出力する。動き補償誤差信号を周波数領域の信号に変
換する手段としては、ＤＣＴ（離散コサイン変換）、ウ
ェーブレット変換、およびサブバンド分割などが知られ
ている。
像信号との差分をとって動き補償誤差信号を求め、この
動き補償誤差信号を周波数領域の信号に変換し、さら量
子化した後、可変長符号化して動きベクトル情報ととも
に出力する。動き補償誤差信号を周波数領域の信号に変
換する手段としては、ＤＣＴ（離散コサイン変換）、ウ
ェーブレット変換、およびサブバンド分割などが知られ
ている。
【０００５】一方、動画像復号化装置では符号化された
データを可変長復号化し、逆量子化した後、符号化装置
における動き補償誤差信号の周波数領域への変換とは逆
の変換を行う。そして、この逆変換した信号と、符号化
装置からの動きベクトル情報を用いて前フレームの復号
画像信号に動き補償を行って得られた画像信号を加算す
ることにより復号画像信号を得る。
データを可変長復号化し、逆量子化した後、符号化装置
における動き補償誤差信号の周波数領域への変換とは逆
の変換を行う。そして、この逆変換した信号と、符号化
装置からの動きベクトル情報を用いて前フレームの復号
画像信号に動き補償を行って得られた画像信号を加算す
ることにより復号画像信号を得る。
【０００６】
【発明が解決しようとする課題】上述したように、従来
の動画像符号化装置ではブロック毎に前フレームの対応
する位置の周辺を探索し、最も動き補償誤差が小さくな
る動きベクトルを求めるブロックマッチング法により動
き補償を行っている。しかし、この方法では常に動き補
償誤差が十分小さくなるとは限らない。例えば、(1) 入
力動画像に動きベクトルの探索範囲を越えるような大き
な動きがあった場合、(2) 被写体の明るさが変化した場
合、(3) 被写体が回転や変形をした場合、(4) 被写体が
新しく画面内に現れた場合などには、動き補償が正しく
行われない。このような場合は、動き補償誤差が大きく
なり、発生符号量が増大する。
の動画像符号化装置ではブロック毎に前フレームの対応
する位置の周辺を探索し、最も動き補償誤差が小さくな
る動きベクトルを求めるブロックマッチング法により動
き補償を行っている。しかし、この方法では常に動き補
償誤差が十分小さくなるとは限らない。例えば、(1) 入
力動画像に動きベクトルの探索範囲を越えるような大き
な動きがあった場合、(2) 被写体の明るさが変化した場
合、(3) 被写体が回転や変形をした場合、(4) 被写体が
新しく画面内に現れた場合などには、動き補償が正しく
行われない。このような場合は、動き補償誤差が大きく
なり、発生符号量が増大する。
【０００７】本発明は、上述した問題点を解決するため
になされたもので、動き補償の精度を向上させ、無駄な
発生符号量の増加を抑えることができる動画像符号化装
置および動画像復号化装置を提供することを目的とす
る。
になされたもので、動き補償の精度を向上させ、無駄な
発生符号量の増加を抑えることができる動画像符号化装
置および動画像復号化装置を提供することを目的とす
る。
【０００８】
【課題を解決するための手段】上記の課題を解決するた
め、本発明は視覚的に重要でない情報を抑圧するために
動き補償誤差信号を非線形圧縮して符号化することを骨
子とする。すなわち、本発明に係る動画像符号化装置
は、フレーム単位で入力される入力動画像信号の前フレ
ームの信号を動き補償して動き補償画像信号を得る動き
補償手段と、入力動画像信号に対する動き補償画像信号
の誤差を示す動き補償誤差信号を非線形圧縮する非線形
圧縮手段と、この非線形圧縮手段から出力される動き補
償誤差信号を符号化する符号化手段とを有することを特
徴とする。
め、本発明は視覚的に重要でない情報を抑圧するために
動き補償誤差信号を非線形圧縮して符号化することを骨
子とする。すなわち、本発明に係る動画像符号化装置
は、フレーム単位で入力される入力動画像信号の前フレ
ームの信号を動き補償して動き補償画像信号を得る動き
補償手段と、入力動画像信号に対する動き補償画像信号
の誤差を示す動き補償誤差信号を非線形圧縮する非線形
圧縮手段と、この非線形圧縮手段から出力される動き補
償誤差信号を符号化する符号化手段とを有することを特
徴とする。
【０００９】また、本発明に係る他の動画像符号化装置
は、非線形圧縮手段の圧縮特性を動き補償誤差信号の画
面内における位置および明るさの少なくとも一方に基づ
いて制御する制御手段をさらに有することを特徴とす
る。
は、非線形圧縮手段の圧縮特性を動き補償誤差信号の画
面内における位置および明るさの少なくとも一方に基づ
いて制御する制御手段をさらに有することを特徴とす
る。
【００１０】一方、上記の動画像符号化装置に対応する
本発明に係る動画像復号化装置は、入力された符号化デ
ータから動き補償誤差信号を復号化する復号化手段と、
この復号化手段より復号化された動き補償誤差信号を非
線形伸張する非線形伸張手段と、フレーム単位で出力さ
れる復号画像信号の前フレームの信号を動き補償して動
き補償画像信号を得る動き補償手段と、この動き補償手
段により得られた動き補償画像信号と非線形伸張手段か
ら出力される動き補償誤差信号を加算して復号画像信号
を得る再生手段とを有することを特徴とする。
本発明に係る動画像復号化装置は、入力された符号化デ
ータから動き補償誤差信号を復号化する復号化手段と、
この復号化手段より復号化された動き補償誤差信号を非
線形伸張する非線形伸張手段と、フレーム単位で出力さ
れる復号画像信号の前フレームの信号を動き補償して動
き補償画像信号を得る動き補償手段と、この動き補償手
段により得られた動き補償画像信号と非線形伸張手段か
ら出力される動き補償誤差信号を加算して復号画像信号
を得る再生手段とを有することを特徴とする。
【００１１】さらに、本発明に係る他の動画像復号化装
置は、非線形伸張手段の伸張特性を動き補償誤差信号の
画面内における位置および明るさの少なくとも一方に基
づいて制御する制御手段をさらに有することを特徴とす
る。
置は、非線形伸張手段の伸張特性を動き補償誤差信号の
画面内における位置および明るさの少なくとも一方に基
づいて制御する制御手段をさらに有することを特徴とす
る。
【００１２】本発明に係る別の動画像符号化装置は、比
較的大きなブロックサイズで求められた動きベクトルを
用いてフレーム単位で入力される入力動画像信号の前フ
レームの信号を動き補償して動き補償画像信号を得る第
１階層の動き補償手段と、第１階層の動き補償手段で求
められた動きベクトルを内挿処理した動きベクトルを参
照して比較的小さなブロックサイズで求められた動きベ
クトルを用いて前記第１階層の動き補償手段により得ら
れた動き補償画像信号を動き補償して動き補償画像信号
を得る第２階層の動き補償手段と、第１および第２階層
の動き補償手段を少なくとも含む複数階層の動き補償手
段のうちの最下位階層の動き補償手段により得られた動
き補償画像信号と入力動画像信号との誤差を示す動き補
償誤差信号を符号化する第１の符号化手段と、第１およ
び第２階層の動き補償手段を少なくとも含む複数階層の
動き補償手段により求められた動きベクトルの情報を階
層的に符号化する第２の符号化手段と、第１および第２
の符号化手段の出力信号を多重化し符号化データとして
出力する手段とを有することを特徴とする。
較的大きなブロックサイズで求められた動きベクトルを
用いてフレーム単位で入力される入力動画像信号の前フ
レームの信号を動き補償して動き補償画像信号を得る第
１階層の動き補償手段と、第１階層の動き補償手段で求
められた動きベクトルを内挿処理した動きベクトルを参
照して比較的小さなブロックサイズで求められた動きベ
クトルを用いて前記第１階層の動き補償手段により得ら
れた動き補償画像信号を動き補償して動き補償画像信号
を得る第２階層の動き補償手段と、第１および第２階層
の動き補償手段を少なくとも含む複数階層の動き補償手
段のうちの最下位階層の動き補償手段により得られた動
き補償画像信号と入力動画像信号との誤差を示す動き補
償誤差信号を符号化する第１の符号化手段と、第１およ
び第２階層の動き補償手段を少なくとも含む複数階層の
動き補償手段により求められた動きベクトルの情報を階
層的に符号化する第２の符号化手段と、第１および第２
の符号化手段の出力信号を多重化し符号化データとして
出力する手段とを有することを特徴とする。
【００１３】また、この動画像符号化装置に対応する動
画像復号化装置は、入力された符号化データから動き補
償誤差信号を復号化する第１の復号化手段と、入力され
る符号化データから階層的に符号化された動きベクトル
の情報を復号して動きベクトルを得る第２の復号化手段
と、フレーム単位で出力される復号画像信号の前フレー
ムの信号を前記動きベクトルにより動き補償して動き補
償画像信号を得る動き補償手段と、この動き補償手段に
より得られた動き補償画像信号と動き補償誤差信号を加
算して前記復号画像信号を得る再生手段とを有すること
を特徴とする。
画像復号化装置は、入力された符号化データから動き補
償誤差信号を復号化する第１の復号化手段と、入力され
る符号化データから階層的に符号化された動きベクトル
の情報を復号して動きベクトルを得る第２の復号化手段
と、フレーム単位で出力される復号画像信号の前フレー
ムの信号を前記動きベクトルにより動き補償して動き補
償画像信号を得る動き補償手段と、この動き補償手段に
より得られた動き補償画像信号と動き補償誤差信号を加
算して前記復号画像信号を得る再生手段とを有すること
を特徴とする。
【００１４】
【作用】画像中で動き補償誤差が大きい部分は、前述し
たように動きの非常に大きな部分、明るさの変化した部
分、回転や変形をした部分、および画面内に新しく現れ
た部分であり、これらは人間の視覚上、静止部分などに
比較して重要度が相対的に低い。従って、このような部
分の動き補償誤差信号を重要な部分の動き補償誤差信号
と同様に符号化することは、発生符号量が増大するだけ
で無駄がある。
たように動きの非常に大きな部分、明るさの変化した部
分、回転や変形をした部分、および画面内に新しく現れ
た部分であり、これらは人間の視覚上、静止部分などに
比較して重要度が相対的に低い。従って、このような部
分の動き補償誤差信号を重要な部分の動き補償誤差信号
と同様に符号化することは、発生符号量が増大するだけ
で無駄がある。
【００１５】本発明の動画像符号化装置では、動き補償
誤差信号を非線形圧縮、すなわち誤差が大きいほど高い
圧縮率で圧縮して符号化することにより、視覚的にあま
り重要でない誤差の大きい部分の動き補償誤差信号の大
きさが抑圧される。このようにすることにより、視覚的
な画質劣化を起こさずに、発生符号量の増加が抑えられ
る。
誤差信号を非線形圧縮、すなわち誤差が大きいほど高い
圧縮率で圧縮して符号化することにより、視覚的にあま
り重要でない誤差の大きい部分の動き補償誤差信号の大
きさが抑圧される。このようにすることにより、視覚的
な画質劣化を起こさずに、発生符号量の増加が抑えられ
る。
【００１６】この場合、画面内に例えば顔画像のような
重要な部分が存在する場合や、明るさの異なる部分が存
在する場合は、位置や明るさに応じて非線形圧縮特性を
変化させることがより望ましい。具体的には、重要な部
分や視覚的に歪みの目立ちやすい暗い部分では圧縮率を
低下させ、それ以外の部分では圧縮率を大きくすること
によって、より画質が向上すると同時に発生符号量の増
加が抑制される。
重要な部分が存在する場合や、明るさの異なる部分が存
在する場合は、位置や明るさに応じて非線形圧縮特性を
変化させることがより望ましい。具体的には、重要な部
分や視覚的に歪みの目立ちやすい暗い部分では圧縮率を
低下させ、それ以外の部分では圧縮率を大きくすること
によって、より画質が向上すると同時に発生符号量の増
加が抑制される。
【００１７】また、本発明の動画像復号化装置では、こ
のようにして符号化されたデータから動画像信号を復号
する際、符号化時に動き補償誤差信号に対して行った非
線形圧縮処理と逆に非線形伸張、つまり誤差が大きいほ
ど高い伸張率で伸張を行うことにより、正しく復号が行
われる。
のようにして符号化されたデータから動画像信号を復号
する際、符号化時に動き補償誤差信号に対して行った非
線形圧縮処理と逆に非線形伸張、つまり誤差が大きいほ
ど高い伸張率で伸張を行うことにより、正しく復号が行
われる。
【００１８】さらに、本発明の別の動画像符号化装置で
は、動き補償を大きいブロックから小さいブロックへと
階層的に行うことによって、正確な動きベクトルが求ま
りやすくなり、しかも階層的に動きベクトル情報を符号
化することにより、効率良く動きベクトル情報の符号化
が行われる。
は、動き補償を大きいブロックから小さいブロックへと
階層的に行うことによって、正確な動きベクトルが求ま
りやすくなり、しかも階層的に動きベクトル情報を符号
化することにより、効率良く動きベクトル情報の符号化
が行われる。
【００１９】
【実施例】以下、本発明の実施例を図面を用いて説明す
る。 （第１の実施例）図１は、本発明の一実施例に係る動画
像符号化装置の構成を示すブロック図である。この動画
像符号化装置は、符号化すべき動画像信号が入力される
入力端子１０１、非線形差分回路１０２、変換回路１０
３、量子化回路１０４、符号化回路１０５、出力端子１
０６、逆量子化回路１０７、逆変換回路１０８、非線形
加算回路１０９、フレームメモリ１１０および動き補償
回路１１１からなる。
る。 （第１の実施例）図１は、本発明の一実施例に係る動画
像符号化装置の構成を示すブロック図である。この動画
像符号化装置は、符号化すべき動画像信号が入力される
入力端子１０１、非線形差分回路１０２、変換回路１０
３、量子化回路１０４、符号化回路１０５、出力端子１
０６、逆量子化回路１０７、逆変換回路１０８、非線形
加算回路１０９、フレームメモリ１１０および動き補償
回路１１１からなる。
【００２０】入力端子１０１に入力される動画像信号
は、動き補償回路１１１の出力である１フレーム前の画
像信号を動き補償した動き補償画像信号とともに、非線
形差分回路１０２に入力される。非線形差分回路１０２
は、入力動画像信号と動き補償画像信号との差分、つま
り入力動画像信号に対する動き補償画像信号の誤差を示
す動き補償誤差信号を求め、これを誤差が大きいほど高
い圧縮率で圧縮して出力する回路であり、具体的には例
えば誤差があるしきい値より小さいときは動き補償誤差
信号をそのまま出力し、誤差がしきい値より大きいとき
は圧縮して出力する。
は、動き補償回路１１１の出力である１フレーム前の画
像信号を動き補償した動き補償画像信号とともに、非線
形差分回路１０２に入力される。非線形差分回路１０２
は、入力動画像信号と動き補償画像信号との差分、つま
り入力動画像信号に対する動き補償画像信号の誤差を示
す動き補償誤差信号を求め、これを誤差が大きいほど高
い圧縮率で圧縮して出力する回路であり、具体的には例
えば誤差があるしきい値より小さいときは動き補償誤差
信号をそのまま出力し、誤差がしきい値より大きいとき
は圧縮して出力する。
【００２１】こうして非線形差分回路１０２により非線
形差分処理された動き補償誤差信号は、変換回路１０３
により周波数領域の信号に変換され、量子化回路１０４
で量子化され、さらに符号化回路１０５で例えば可変長
符号化されて出力端子１０６より出力される。周波数領
域の信号に変換する手段としては、ＤＣＴやウェーブレ
ット変換やサブバンド分割などがある。出力端子１０６
から出力される符号化データは、動き補償回路１１１で
検出されかつ図示しないもう一つの符号化回路で可変長
符号化された動きベクトル情報と共に、伝送媒体または
蓄積媒体へ送出される。
形差分処理された動き補償誤差信号は、変換回路１０３
により周波数領域の信号に変換され、量子化回路１０４
で量子化され、さらに符号化回路１０５で例えば可変長
符号化されて出力端子１０６より出力される。周波数領
域の信号に変換する手段としては、ＤＣＴやウェーブレ
ット変換やサブバンド分割などがある。出力端子１０６
から出力される符号化データは、動き補償回路１１１で
検出されかつ図示しないもう一つの符号化回路で可変長
符号化された動きベクトル情報と共に、伝送媒体または
蓄積媒体へ送出される。
【００２２】一方、量子化回路１０４の出力信号は逆量
子化回路１０７にも入力され、ここで逆量子化された
後、逆変換回路１０８で変換回路１０３と逆特性の変換
がなされることにより、動き補償誤差信号が生成され
る。この動き補償誤差信号は、非線形加算回路１０９で
非線形差分回路１０２と逆特性の非線形加算処理が施さ
れ、局部復号画像信号となる。すなわち、非線形加算回
路１０９は入力された動き補償誤差信号を誤差が大きい
ほど高い伸張率で伸張する非線形伸張処理を施した信号
と動き補償画像信号を加算して出力する。
子化回路１０７にも入力され、ここで逆量子化された
後、逆変換回路１０８で変換回路１０３と逆特性の変換
がなされることにより、動き補償誤差信号が生成され
る。この動き補償誤差信号は、非線形加算回路１０９で
非線形差分回路１０２と逆特性の非線形加算処理が施さ
れ、局部復号画像信号となる。すなわち、非線形加算回
路１０９は入力された動き補償誤差信号を誤差が大きい
ほど高い伸張率で伸張する非線形伸張処理を施した信号
と動き補償画像信号を加算して出力する。
【００２３】こうして非線形加算回路１０９を介して出
力される局部復号画像はフレームメモリ１１０に入力さ
れ、動き補償回路１１１において次のフレームの入力画
像信号に対応する参照画像信号として使用される。すな
わち、この参照画像信号は入力画像信号の前フレームの
信号に相当しており、動き補償回路１１１はこの参照画
像信号に対し入力動画像信号に近くなるように動き補償
を施して動き補償画像信号を出力する。
力される局部復号画像はフレームメモリ１１０に入力さ
れ、動き補償回路１１１において次のフレームの入力画
像信号に対応する参照画像信号として使用される。すな
わち、この参照画像信号は入力画像信号の前フレームの
信号に相当しており、動き補償回路１１１はこの参照画
像信号に対し入力動画像信号に近くなるように動き補償
を施して動き補償画像信号を出力する。
【００２４】図２は、図１の動画像符号化装置に対応す
る本発明の一実施例に係る動画像復号化装置のブロック
図である。この動画像復号化装置は、符号化データが入
力される入力端子２０１、復号化回路２０２、逆量子化
回路２０３、逆変換回路２０４、非線形加算回路２０
５、復号画像信号を出力する出力端子２０６、フレーム
メモリ２０８および動き補償回路２０７からなる。
る本発明の一実施例に係る動画像復号化装置のブロック
図である。この動画像復号化装置は、符号化データが入
力される入力端子２０１、復号化回路２０２、逆量子化
回路２０３、逆変換回路２０４、非線形加算回路２０
５、復号画像信号を出力する出力端子２０６、フレーム
メモリ２０８および動き補償回路２０７からなる。
【００２５】入力端子２０１には、図１の動画像符号化
装置から伝送媒体または蓄積媒体を介して送出されてき
た符号化データが入力される。この符号化データは復号
化回路２０２で可変長復号され、さらに逆量子化回路２
０３で逆量子化された後、さらに逆変換回路２０４で逆
変換されることによって、動き補償誤差信号が生成され
る。この動き補償誤差信号は、図１の非線形加算回路１
０９と同様の非線形加算回路２０５で非線形伸張処理が
施され、さらに動き補償画像信号と加算されることによ
り、復号画像信号として出力端子２０６より出力され
る。
装置から伝送媒体または蓄積媒体を介して送出されてき
た符号化データが入力される。この符号化データは復号
化回路２０２で可変長復号され、さらに逆量子化回路２
０３で逆量子化された後、さらに逆変換回路２０４で逆
変換されることによって、動き補償誤差信号が生成され
る。この動き補償誤差信号は、図１の非線形加算回路１
０９と同様の非線形加算回路２０５で非線形伸張処理が
施され、さらに動き補償画像信号と加算されることによ
り、復号画像信号として出力端子２０６より出力され
る。
【００２６】また、この復号画像信号はフレームメモリ
２０８にも入力され、動き補償回路２０７において次の
フレームの参照画像信号として使用される。すなわち、
この参照画像信号は復号画像信号の前フレームの信号に
相当しており、動き補償回路２０７は、この参照画像信
号に対して図示しないもう一つの復号化回路で可変長復
号された動きベクトル情報を基に動き補償を施して、動
き補償画像信号を出力する。
２０８にも入力され、動き補償回路２０７において次の
フレームの参照画像信号として使用される。すなわち、
この参照画像信号は復号画像信号の前フレームの信号に
相当しており、動き補償回路２０７は、この参照画像信
号に対して図示しないもう一つの復号化回路で可変長復
号された動きベクトル情報を基に動き補償を施して、動
き補償画像信号を出力する。
【００２７】次に、本発明の特徴をなす図１における非
線形差分回路１０２と非線形加算回路１０９および図２
における非線形加算回路２０５の具体的な実現法につい
て説明する。
線形差分回路１０２と非線形加算回路１０９および図２
における非線形加算回路２０５の具体的な実現法につい
て説明する。
【００２８】図３（ａ）は、図１における非線形差分回
路１０２の構成例を示すブロック図である。入力端子３
０１より入力された動画像信号と入力端子３０２より入
力された動き補償画像信号との差分を減算器３０３でと
り、この差分を非線形圧縮回路３０４により図３（ｂ）
に示すグラフのように非線形圧縮して出力する構成とな
っている。
路１０２の構成例を示すブロック図である。入力端子３
０１より入力された動画像信号と入力端子３０２より入
力された動き補償画像信号との差分を減算器３０３でと
り、この差分を非線形圧縮回路３０４により図３（ｂ）
に示すグラフのように非線形圧縮して出力する構成とな
っている。
【００２９】図４（ａ）は、図１における非線形加算回
路１０９および図２における非線形加算回路２０５の構
成例を示すブロック図である。入力端子４０１より入力
された動き補償誤差信号を非線形伸張回路４０３で図４
（ｂ）に示すグラフのように非線形伸張した後、加算器
４０４で入力端子４０２より入力される動き補償画像信
号と加算して出力する構成となっている。
路１０９および図２における非線形加算回路２０５の構
成例を示すブロック図である。入力端子４０１より入力
された動き補償誤差信号を非線形伸張回路４０３で図４
（ｂ）に示すグラフのように非線形伸張した後、加算器
４０４で入力端子４０２より入力される動き補償画像信
号と加算して出力する構成となっている。
【００３０】図５（ａ）は、非線形差分回路１０２の別
の構成例を示すブロック図である。入力端子５０１より
の動画像信号と入力端子５０２よりの動き補償画像信号
との差分を減算器５０３でとり、この差分非線形圧縮回
路５０４で図５（ｂ）に示すグラフのように非線形圧縮
し、さらに非線形圧縮した信号を加算器５０５で入力端
子５０１よりの動画像信号と加算し、この加算器５０５
の出力信号と動き補償画像信号との差分を減算器５０６
で求めて出力する構成となっている。
の構成例を示すブロック図である。入力端子５０１より
の動画像信号と入力端子５０２よりの動き補償画像信号
との差分を減算器５０３でとり、この差分非線形圧縮回
路５０４で図５（ｂ）に示すグラフのように非線形圧縮
し、さらに非線形圧縮した信号を加算器５０５で入力端
子５０１よりの動画像信号と加算し、この加算器５０５
の出力信号と動き補償画像信号との差分を減算器５０６
で求めて出力する構成となっている。
【００３１】（第２の実施例）図６に、本発明の他の実
施例に係る動画像符号化装置のブロック図を示す。図６
において、入力端子６０１、非線形差分回路６０３、変
換回路６０４、量子化回路６０５、符号化回路６０６、
出力端子６０７、逆量子化回路６０９、逆変換回路６１
０、非線形加算回路６１１、フレームメモリ６１３およ
び動き補償回路６１２は、図１における入力端子１０
１、非線形差分回路１０２、変換回路１０３、量子化回
路１０４、符号化回路１０５、出力端子１０６、逆量子
化回路１０７、逆変換回路１０８、非線形加算回路１０
９、フレームメモリ１１０および動き補償回路１１１に
それぞれ対応する。
施例に係る動画像符号化装置のブロック図を示す。図６
において、入力端子６０１、非線形差分回路６０３、変
換回路６０４、量子化回路６０５、符号化回路６０６、
出力端子６０７、逆量子化回路６０９、逆変換回路６１
０、非線形加算回路６１１、フレームメモリ６１３およ
び動き補償回路６１２は、図１における入力端子１０
１、非線形差分回路１０２、変換回路１０３、量子化回
路１０４、符号化回路１０５、出力端子１０６、逆量子
化回路１０７、逆変換回路１０８、非線形加算回路１０
９、フレームメモリ１１０および動き補償回路１１１に
それぞれ対応する。
【００３２】本実施例と図１の実施例との違いは、非線
形制御回路６０８が追加され、さらに入力端子６０２か
ら画面内で動き補償誤差信号の非線形圧縮・伸張を行わ
ない領域を指定する情報が入力される点である。この領
域指定情報は、マニュアルで設定してもよいし、自動で
設定してもよい。領域指定情報を自動で設定する場合
は、画面の中から重要な領域、例えば人間の顔領域を検
出し、その顔領域を非線形圧縮伸張を行わない領域とし
て指定するようにする。この領域指定情報は、破線で示
すように出力端子６１４より出力され、符号化回路６０
６からの符号化データと多重化されて伝送される。
形制御回路６０８が追加され、さらに入力端子６０２か
ら画面内で動き補償誤差信号の非線形圧縮・伸張を行わ
ない領域を指定する情報が入力される点である。この領
域指定情報は、マニュアルで設定してもよいし、自動で
設定してもよい。領域指定情報を自動で設定する場合
は、画面の中から重要な領域、例えば人間の顔領域を検
出し、その顔領域を非線形圧縮伸張を行わない領域とし
て指定するようにする。この領域指定情報は、破線で示
すように出力端子６１４より出力され、符号化回路６０
６からの符号化データと多重化されて伝送される。
【００３３】なお、一般的に顔などの重要な部分が位置
する画面の中央部分を非線形圧縮伸張を行わない領域と
して固定する方法を用いてもよく、その場合は領域指定
情報を伝送する必要はない。また、この指定領域で非線
形圧縮伸張を全く行わないのではなく、弱く非線形圧縮
伸張するようにしてもよい。
する画面の中央部分を非線形圧縮伸張を行わない領域と
して固定する方法を用いてもよく、その場合は領域指定
情報を伝送する必要はない。また、この指定領域で非線
形圧縮伸張を全く行わないのではなく、弱く非線形圧縮
伸張するようにしてもよい。
【００３４】非線形制御回路６０８には、動き補償画像
信号も入力される。視覚特性として明るい部分では歪み
が目立ちにくいので、動き補償画像の明るいところでは
非線形圧縮伸張を強い、暗いところでは非線形圧縮伸張
を弱くするようにする。
信号も入力される。視覚特性として明るい部分では歪み
が目立ちにくいので、動き補償画像の明るいところでは
非線形圧縮伸張を強い、暗いところでは非線形圧縮伸張
を弱くするようにする。
【００３５】図７に、図６の動画像符号化装置に対応す
る本発明の他の実施例に係る動画像復号化装置のブロッ
ク図を示す。図７において、入力端子７０１、復号化回
路７０３、逆量子化回路７０４、逆変換回路７０５、非
線形加算回路７０６、出力端子７０７、フレームメモリ
７１０および動き補償回路７０９は、図２における入力
端子２０１、復号化回路２０２、逆量子化回路２０３、
逆変換回路２０４、非線形加算回路２０５、出力端子２
０６、フレームメモリ２０８および動き補償回路２０７
にそれぞれ対応する。
る本発明の他の実施例に係る動画像復号化装置のブロッ
ク図を示す。図７において、入力端子７０１、復号化回
路７０３、逆量子化回路７０４、逆変換回路７０５、非
線形加算回路７０６、出力端子７０７、フレームメモリ
７１０および動き補償回路７０９は、図２における入力
端子２０１、復号化回路２０２、逆量子化回路２０３、
逆変換回路２０４、非線形加算回路２０５、出力端子２
０６、フレームメモリ２０８および動き補償回路２０７
にそれぞれ対応する。
【００３６】本実施例と図２の実施例との違いは、非線
形制御回路７０８が追加され、さらに入力端子７０２か
ら伝送されてきた領域指定情報が入力される点である。
非線形制御回路７０８は、この領域指定情報によって指
定された領域で動き補償誤差信号の非線形伸張を行わな
いように非線形加算回路７０６を制御し、また動き補償
画像信号の明るさにより非線形伸張特性を制御する。
形制御回路７０８が追加され、さらに入力端子７０２か
ら伝送されてきた領域指定情報が入力される点である。
非線形制御回路７０８は、この領域指定情報によって指
定された領域で動き補償誤差信号の非線形伸張を行わな
いように非線形加算回路７０６を制御し、また動き補償
画像信号の明るさにより非線形伸張特性を制御する。
【００３７】（第３の実施例）図１中に示した動き補償
回路１１１は、ブロック毎に平行移動量を求め、参照画
像信号のブロックを平行移動することにより動き補償を
行うブロックマッチング法を用いてもよいが、ブロック
マッチング法では被写体の回転、拡大、変形などの動き
があった場合には、動きベクトルが正確に求まらないた
め、良好な動き補償ができず、動き補償誤差が増大す
る。そこで、本実施例では階層的動き補償により動き補
償の性能を改善する。
回路１１１は、ブロック毎に平行移動量を求め、参照画
像信号のブロックを平行移動することにより動き補償を
行うブロックマッチング法を用いてもよいが、ブロック
マッチング法では被写体の回転、拡大、変形などの動き
があった場合には、動きベクトルが正確に求まらないた
め、良好な動き補償ができず、動き補償誤差が増大す
る。そこで、本実施例では階層的動き補償により動き補
償の性能を改善する。
【００３８】図８に、本実施例に係る動画像符号化装置
における階層的動き補償回路のブロック図を示す。この
階層的動き補償回路は、第１〜第３階層動き補償回路８
０３〜８０５、動きベクトル（ＭＶ）内挿回路８０６，
８０８、減算器８０７，８０９および符号化回路８１０
からなる。
における階層的動き補償回路のブロック図を示す。この
階層的動き補償回路は、第１〜第３階層動き補償回路８
０３〜８０５、動きベクトル（ＭＶ）内挿回路８０６，
８０８、減算器８０７，８０９および符号化回路８１０
からなる。
【００３９】入力端子８０１にはフレーム単位で入力動
画像信号が入力され、また入力端子８０２には前フレー
ムの画像信号である参照画像信号が入力される。第１階
層動き補償回路８０３では、比較的大きいブロックサイ
ズ（例えば１６×１６画素）で動きベクトルを推定し、
この動きベクトル（第１階層動きベクトル）を用いて参
照画像信号を動き補償する。この第１階層動き補償回路
８０３で求められた第１階層動きベクトルは、第１動き
ベクトル内挿回路８０６で中間点の動きベクトルが内挿
され、内挿後の動きベクトルが第２階層動き補償回路８
０４に入力される。
画像信号が入力され、また入力端子８０２には前フレー
ムの画像信号である参照画像信号が入力される。第１階
層動き補償回路８０３では、比較的大きいブロックサイ
ズ（例えば１６×１６画素）で動きベクトルを推定し、
この動きベクトル（第１階層動きベクトル）を用いて参
照画像信号を動き補償する。この第１階層動き補償回路
８０３で求められた第１階層動きベクトルは、第１動き
ベクトル内挿回路８０６で中間点の動きベクトルが内挿
され、内挿後の動きベクトルが第２階層動き補償回路８
０４に入力される。
【００４０】第２階層動き補償回路８０４では、第１階
層動き補償回路８０３で用いたブロックサイズの縦横１
／２（８×８画素）のブロックサイズで、第１動きベク
トル内挿回路８０６により内挿された動きベクトルを初
期ベクトルとして動きベクトルを推定し、この動きベク
トル（第２階層動きベクトル）を用いて参照画像信号を
さらに動き補償する。この第２階層動き補償回路８０４
で求められた第２階層動きベクトルは、第２動きベクト
ル内挿回路８０８で中間点の動きベクトルが内挿され、
内挿後の動きベクトルが第３階層動き補償回路８０５に
入力される。
層動き補償回路８０３で用いたブロックサイズの縦横１
／２（８×８画素）のブロックサイズで、第１動きベク
トル内挿回路８０６により内挿された動きベクトルを初
期ベクトルとして動きベクトルを推定し、この動きベク
トル（第２階層動きベクトル）を用いて参照画像信号を
さらに動き補償する。この第２階層動き補償回路８０４
で求められた第２階層動きベクトルは、第２動きベクト
ル内挿回路８０８で中間点の動きベクトルが内挿され、
内挿後の動きベクトルが第３階層動き補償回路８０５に
入力される。
【００４１】第３階層動き補償回路８０５では、第２階
層動き補償回路８０４で用いたブロックサイズをさらに
縦横１／２（４×４画素）にして、第２動きベクトル内
挿回路８０８により内挿された動きベクトルを初期ベク
トルとして動きベクトルを推定し、この動きベクトル
（第３階層動きベクトル）を用いて参照画像信号をさら
に動き補償し、出力端子８１１から動き補償画像信号と
して出力する。
層動き補償回路８０４で用いたブロックサイズをさらに
縦横１／２（４×４画素）にして、第２動きベクトル内
挿回路８０８により内挿された動きベクトルを初期ベク
トルとして動きベクトルを推定し、この動きベクトル
（第３階層動きベクトル）を用いて参照画像信号をさら
に動き補償し、出力端子８１１から動き補償画像信号と
して出力する。
【００４２】この出力端子８１１から出力される動き補
償画像信号は図示しない差分回路に入力され、入力端子
８０１から入力される入力画像信号との差分である動き
補償誤差信号が求められる。なお、差分回路としては図
１の実施例で説明した非線形差分回路１０２を用いるこ
ともできる。こうして得られた動き補償誤差信号は、図
示しない第１の符号化回路により符号化される。この第
１の符号化回路は、例えば図１の実施例で説明した変換
回路１０３、量子化回路１０４および符号化回路１０５
により実現できる。
償画像信号は図示しない差分回路に入力され、入力端子
８０１から入力される入力画像信号との差分である動き
補償誤差信号が求められる。なお、差分回路としては図
１の実施例で説明した非線形差分回路１０２を用いるこ
ともできる。こうして得られた動き補償誤差信号は、図
示しない第１の符号化回路により符号化される。この第
１の符号化回路は、例えば図１の実施例で説明した変換
回路１０３、量子化回路１０４および符号化回路１０５
により実現できる。
【００４３】一方、動きベクトル情報は第２の符号化回
路８１０によって階層的に可変長符号化される。すなわ
ち、この動きベクトル情報の符号化では、第１階層動き
ベクトルについては、そのまま、または隣接するブロッ
クの動きベクトルとの差分を符号化する。また、第１動
きベクトル内挿回路８０６で第１階層動きベクトルを内
挿した後の動きベクトルと第２階層動きベクトルとの差
分（以下、第２階層動きベクトル差分という）を減算器
８０７で求めて符号化する。さらに、第２動きベクトル
内挿回路８０８で第２階層動きベクトルを内挿した後の
動きベクトルと第３階層動きベクトルとの差分（以下、
第３階層動きベクトル差分という）を減算器８０９で求
めて符号化する。このようにして階層的に符号化された
動きベクトル情報は、第１の符号化回路で符号化された
動き補償誤差信号と共に多重化されて、符号化データと
して伝送される。
路８１０によって階層的に可変長符号化される。すなわ
ち、この動きベクトル情報の符号化では、第１階層動き
ベクトルについては、そのまま、または隣接するブロッ
クの動きベクトルとの差分を符号化する。また、第１動
きベクトル内挿回路８０６で第１階層動きベクトルを内
挿した後の動きベクトルと第２階層動きベクトルとの差
分（以下、第２階層動きベクトル差分という）を減算器
８０７で求めて符号化する。さらに、第２動きベクトル
内挿回路８０８で第２階層動きベクトルを内挿した後の
動きベクトルと第３階層動きベクトルとの差分（以下、
第３階層動きベクトル差分という）を減算器８０９で求
めて符号化する。このようにして階層的に符号化された
動きベクトル情報は、第１の符号化回路で符号化された
動き補償誤差信号と共に多重化されて、符号化データと
して伝送される。
【００４４】図９は、本実施例における階層的動き補償
の例を示す図である。第１階層の実線は、元のブロック
の格子で、破線は入力動画像と参照画像が最も近くなる
ように変形した格子である。これらの格子点のずれ量
（変化分）が動きベクトルとなる。動き補償は、破線の
格子に参照画像をマッピングし、破線と実線が重なるよ
うに変形することにより行う。第２階層では、第１階層
の破線の格子の中間を内挿して縦横１／２のブロックサ
イズにし、この格子点を初期ベクトルとして動きベクト
ルを推定する。第２階層動き補償では、破線の格子に第
１階層で動き補償された参照画像をマッピングし、破線
と実線が重なるように変形する。第３階層では、第２階
層の破線の格子の中間を内挿し縦横１／２のブロックサ
イズにし、この格子点を初期ベクトルとして動きベクト
ルを推定する。第３階層動き補償では、破線の格子に第
２階層で動き補償された参照画像をマッピングし、破線
と実線が重なるように変形する。
の例を示す図である。第１階層の実線は、元のブロック
の格子で、破線は入力動画像と参照画像が最も近くなる
ように変形した格子である。これらの格子点のずれ量
（変化分）が動きベクトルとなる。動き補償は、破線の
格子に参照画像をマッピングし、破線と実線が重なるよ
うに変形することにより行う。第２階層では、第１階層
の破線の格子の中間を内挿して縦横１／２のブロックサ
イズにし、この格子点を初期ベクトルとして動きベクト
ルを推定する。第２階層動き補償では、破線の格子に第
１階層で動き補償された参照画像をマッピングし、破線
と実線が重なるように変形する。第３階層では、第２階
層の破線の格子の中間を内挿し縦横１／２のブロックサ
イズにし、この格子点を初期ベクトルとして動きベクト
ルを推定する。第３階層動き補償では、破線の格子に第
２階層で動き補償された参照画像をマッピングし、破線
と実線が重なるように変形する。
【００４５】動き補償は、このように各階層毎に行って
もよいが、最終的な第３階層動きベクトルのみを用いて
動き補償を行ってもよい。この場合、最終的な変形され
た格子に参照画像をマッピングし、正方格子になるよう
に変形することにより動き補償を行うことができる。
もよいが、最終的な第３階層動きベクトルのみを用いて
動き補償を行ってもよい。この場合、最終的な変形され
た格子に参照画像をマッピングし、正方格子になるよう
に変形することにより動き補償を行うことができる。
【００４６】図１０は、従来のブロックマッチング動き
補償と本実施例に係る階層的動き補償の性能比較を行っ
たグラフである。実験は、Ｍｉｓｓ Ａｍｅｒｉｃａと
呼ばれる動画像を用い、動き補償誤差信号を線形量子化
し、動きベクトルと動き補償誤差信号のエントロピー、
および復号画像のＳＮＲを求めた。上の実線が階層的動
き補償で、下の破線がブロックマッチング動き補償であ
る。本実施例による階層的動き補償の方が約３．５ｄＢ
高いＳＮＲが得られていることが分かる。
補償と本実施例に係る階層的動き補償の性能比較を行っ
たグラフである。実験は、Ｍｉｓｓ Ａｍｅｒｉｃａと
呼ばれる動画像を用い、動き補償誤差信号を線形量子化
し、動きベクトルと動き補償誤差信号のエントロピー、
および復号画像のＳＮＲを求めた。上の実線が階層的動
き補償で、下の破線がブロックマッチング動き補償であ
る。本実施例による階層的動き補償の方が約３．５ｄＢ
高いＳＮＲが得られていることが分かる。
【００４７】図１１は、図８の動画像符号化装置に対応
した本実施例に係る動画像復号化装置における階層的動
き補償回路の一例を示すブロック図である。この階層的
動き補償回路は、復号化回路９０３、動きベクトル内挿
回路９０４，９０６、加算器９０５，９０７および動き
補償回路９０８からなる。
した本実施例に係る動画像復号化装置における階層的動
き補償回路の一例を示すブロック図である。この階層的
動き補償回路は、復号化回路９０３、動きベクトル内挿
回路９０４，９０６、加算器９０５，９０７および動き
補償回路９０８からなる。
【００４８】入力端子９０１には、図８の階層的動き補
償回路を含む動画像符号化装置から伝送媒体または蓄積
媒体を介して送出されてきた符号化データから分離され
た動きベクトル情報が入力される。この動きベクトル情
報は、図８の階層的動き補償回路において階層的に符号
化された動きベクトルの情報であり、第２の復号化回路
９０３に入力される。この第２の復号化回路９０３で
は、第１階層動きベクトル、第２階層動きベクトル差
分、および第３階層動きベクトル差分が復号される。第
１階層動きベクトルは、第１動きベクトル内挿回路９０
４で中間点の動きベクトルが内挿され、この内挿後の動
きベクトルが加算器９０５で第２階層動きベクトル差分
と加算されることにより、第２階層動きベクトルが得ら
れる。この第２階層動きベクトルは、さらに第２動きベ
クトル内挿回路９０６で中間点の動きベクトルが内挿さ
れ、この内挿後の動きベクトルが加算器９０７で第３階
層動きベクトルと加算されることにより、第３階層動き
ベクトルが得られる。この第３階層動きベクトルによ
り、入力端子９０２より入力された参照画像信号が動き
補償回路９０８で動き補償され、動き補償画像信号とし
て出力端子９０９から出力される。
償回路を含む動画像符号化装置から伝送媒体または蓄積
媒体を介して送出されてきた符号化データから分離され
た動きベクトル情報が入力される。この動きベクトル情
報は、図８の階層的動き補償回路において階層的に符号
化された動きベクトルの情報であり、第２の復号化回路
９０３に入力される。この第２の復号化回路９０３で
は、第１階層動きベクトル、第２階層動きベクトル差
分、および第３階層動きベクトル差分が復号される。第
１階層動きベクトルは、第１動きベクトル内挿回路９０
４で中間点の動きベクトルが内挿され、この内挿後の動
きベクトルが加算器９０５で第２階層動きベクトル差分
と加算されることにより、第２階層動きベクトルが得ら
れる。この第２階層動きベクトルは、さらに第２動きベ
クトル内挿回路９０６で中間点の動きベクトルが内挿さ
れ、この内挿後の動きベクトルが加算器９０７で第３階
層動きベクトルと加算されることにより、第３階層動き
ベクトルが得られる。この第３階層動きベクトルによ
り、入力端子９０２より入力された参照画像信号が動き
補償回路９０８で動き補償され、動き補償画像信号とし
て出力端子９０９から出力される。
【００４９】一方、図示しないもう一つの入力端子に動
画像符号化装置から図８の階層的動き補償回路を含む動
画像符号化装置から伝送媒体または蓄積媒体を介して送
出されてきた符号化データから分離された動き補償誤差
信号が入力される。この動き補償誤差信号は、図示しな
い第１の復号化回路により復号化される。この第１の復
号化回路は、例えば図２の実施例で説明した復号化回路
２０２、逆量子化回路２０３および逆変換回路２０４か
らなる。この第１の復号化回路により復号された動き補
償誤差信号と、出力端子９０９から出力される動き補償
画像信号とが図示しない加算回路により加算され、復号
画像信号が生成される。この復号画像信号は図示しない
もう一つの出力端子から出力されると共に、フレームメ
モリを介して入力端子９０２に参照画像信号として入力
される。
画像符号化装置から図８の階層的動き補償回路を含む動
画像符号化装置から伝送媒体または蓄積媒体を介して送
出されてきた符号化データから分離された動き補償誤差
信号が入力される。この動き補償誤差信号は、図示しな
い第１の復号化回路により復号化される。この第１の復
号化回路は、例えば図２の実施例で説明した復号化回路
２０２、逆量子化回路２０３および逆変換回路２０４か
らなる。この第１の復号化回路により復号された動き補
償誤差信号と、出力端子９０９から出力される動き補償
画像信号とが図示しない加算回路により加算され、復号
画像信号が生成される。この復号画像信号は図示しない
もう一つの出力端子から出力されると共に、フレームメ
モリを介して入力端子９０２に参照画像信号として入力
される。
【００５０】（第４の実施例）次に、本発明の具体的な
応用例について説明する。図１２に、本発明による動画
像符号化装置および動画像復号化装置を組み込んだシス
テムの例を示す。ＰＣ（パーソナルコンピュータ）端末
１００１に設けられたカメラ１００２から入力された動
画像信号は、ＰＣ端末１００１に内蔵されている動画像
符号化装置により符号化された後、無線機１００３によ
り変調され、電波に乗ってセンタのＥＷＳ（ワークステ
ーション）１００５に伝送される。ＥＷＳ１００５で
は、無線機１００４で受信した符号化データを内蔵され
ている動画像復号化装置により復号して画面に表示す
る。
応用例について説明する。図１２に、本発明による動画
像符号化装置および動画像復号化装置を組み込んだシス
テムの例を示す。ＰＣ（パーソナルコンピュータ）端末
１００１に設けられたカメラ１００２から入力された動
画像信号は、ＰＣ端末１００１に内蔵されている動画像
符号化装置により符号化された後、無線機１００３によ
り変調され、電波に乗ってセンタのＥＷＳ（ワークステ
ーション）１００５に伝送される。ＥＷＳ１００５で
は、無線機１００４で受信した符号化データを内蔵され
ている動画像復号化装置により復号して画面に表示す
る。
【００５１】逆に、ＥＷＳ１００５のカメラ１００６か
ら入力された動画像信号は、内蔵されている動画像符号
化装置により符号化された後、無線機１００４により変
調され、電波に乗ってＰＣ端末１００１に伝送される。
ＰＣ端末１００１では、無線機１００３で受信した符号
化データを内蔵されている動画像復号化装置により復号
して画面に表示する。
ら入力された動画像信号は、内蔵されている動画像符号
化装置により符号化された後、無線機１００４により変
調され、電波に乗ってＰＣ端末１００１に伝送される。
ＰＣ端末１００１では、無線機１００３で受信した符号
化データを内蔵されている動画像復号化装置により復号
して画面に表示する。
【００５２】ＰＣ端末１００１およびＥＷＳ１００５に
内蔵されている動画像符号化装置および動画像復号化装
置は、ソフトウェアにより実現してもよい。また、この
例では無線で符号化データを伝送しているが、電話回線
を使って有線で伝送してもよい。また、センタ側のＥＷ
Ｓ１００５は、カメラ１００６から入力した動画像信号
をリアルタイムに符号化して伝送するだけでなく、予め
符号化した動画像信号をディスクに蓄積して動画像デー
タベースを構築し、ＰＣ端末１００１から要求のあった
動画像データを送信するようにしてもよい。さらに、Ｐ
Ｃ端末１００１は受信したデータをリアルタイムに復号
するだけでなく、符号化データの書き込まれたメモリカ
ードを挿入することによりＰＣ端末１００１単体でも動
画像を表示することができる。
内蔵されている動画像符号化装置および動画像復号化装
置は、ソフトウェアにより実現してもよい。また、この
例では無線で符号化データを伝送しているが、電話回線
を使って有線で伝送してもよい。また、センタ側のＥＷ
Ｓ１００５は、カメラ１００６から入力した動画像信号
をリアルタイムに符号化して伝送するだけでなく、予め
符号化した動画像信号をディスクに蓄積して動画像デー
タベースを構築し、ＰＣ端末１００１から要求のあった
動画像データを送信するようにしてもよい。さらに、Ｐ
Ｃ端末１００１は受信したデータをリアルタイムに復号
するだけでなく、符号化データの書き込まれたメモリカ
ードを挿入することによりＰＣ端末１００１単体でも動
画像を表示することができる。
【００５３】
【発明の効果】以上説明したように、本発明によれば視
覚的にあまり重要でない動き補償誤差の大きい部分の信
号を抑圧することにより、視覚的な画質劣化を起こさず
に発生符号量の増加を抑えることができる。
覚的にあまり重要でない動き補償誤差の大きい部分の信
号を抑圧することにより、視覚的な画質劣化を起こさず
に発生符号量の増加を抑えることができる。
【００５４】また、本発明によれば動き補償を大きいブ
ロックから小さいブロックへ階層的に行うことにより、
正確な動きベクトルが求まりやすくなるため、良好な動
き補償を行うことができ、しかも階層的に動きベクトル
情報を符号化することによって、効率良く動きベクトル
情報の符号化を行うことができ、少ない符号量で品質の
高い動画像信号を伝送することが可能となる。
ロックから小さいブロックへ階層的に行うことにより、
正確な動きベクトルが求まりやすくなるため、良好な動
き補償を行うことができ、しかも階層的に動きベクトル
情報を符号化することによって、効率良く動きベクトル
情報の符号化を行うことができ、少ない符号量で品質の
高い動画像信号を伝送することが可能となる。
【図１】本発明の一実施例に係る動画像符号化装置の構
成を示すブロック図
成を示すブロック図
【図２】本発明の一実施例に係る動画像復号化装置の構
成を示すブロック図
成を示すブロック図
【図３】図１における非線形差分回路の一例のブロック
図および非線形圧縮特性を示す図
図および非線形圧縮特性を示す図
【図４】図１における非線形加算回路の一例のブロック
図および非線形伸張特性を示す図
図および非線形伸張特性を示す図
【図５】図１における非線形差分回路の他の例のブロッ
ク図および非線形圧縮特性を示す図
ク図および非線形圧縮特性を示す図
【図６】本発明の他の実施例に係る動画像符号化装置の
構成を示すブロック図
構成を示すブロック図
【図７】本発明の他の実施例に係る動画像復号化装置の
構成を示すブロック図
構成を示すブロック図
【図８】本発明の別の実施例に係る動画像符号化装置に
おける階層的動き補償回路の構成を示すブロック図
おける階層的動き補償回路の構成を示すブロック図
【図９】階層的動き補償の例を示す図
【図１０】従来のブロックマッチング動き補償と本発明
の階層的動き補償の性能比較を行った結果を示すグラフ
図
の階層的動き補償の性能比較を行った結果を示すグラフ
図
【図１１】本発明の別の実施例に係る動画像復号化装置
における階層的動き補償回路の構成を示すブロック図
における階層的動き補償回路の構成を示すブロック図
【図１２】本発明による動画像符号化装置および動画像
復号化装置を組み込んだシステムの例を示す図
復号化装置を組み込んだシステムの例を示す図
１０１…入力端子 １０２…非線形差分回路 １０３…変換回路 １０４…量子化回路 １０５…符号化回路 １０７…逆量子化回路 １０８…逆変換回路 １０９…非線形加算回路 １１０…フレームメモリ １１１…動き補償回路
Claims (6)
- 【請求項１】フレーム単位で入力される入力動画像信号
の前フレームの信号を動き補償して動き補償画像信号を
得る動き補償手段と、 前記入力動画像信号に対する前記動き補償画像信号の誤
差を示す動き補償誤差信号を非線形圧縮する非線形圧縮
手段と、 この非線形圧縮手段から出力される動き補償誤差信号を
符号化する符号化手段とを有することを特徴とする動画
像符号化装置。 - 【請求項２】フレーム単位で入力される入力動画像信号
の前フレームの信号を動き補償して動き補償画像信号を
得る動き補償手段と、 この動き補償手段により得られた動き補償画像信号と前
記入力動画像信号との誤差を示す動き補償誤差信号を非
線形圧縮する非線形圧縮手段と、 この非線形圧縮手段から出力される動き補償誤差信号を
符号化する符号化手段 と、前記非線形圧縮手段の圧縮特性を前記動き補償誤差
信号の画面内における位置および明るさの少なくとも一
方に基づいて制御する制御手段とを有することを特徴と
する動画像符号化装置。 - 【請求項３】入力された符号化データから動き補償誤差
信号を復号化する復号化手段と、 この復号化手段より復号化された動き補償誤差信号を非
線形伸張する非線形伸張手段と、 フレーム単位で出力される復号画像信号の前フレームの
信号を動き補償して動き補償画像信号を得る動き補償手
段と、 この動き補償手段により得られた動き補償画像信号と前
記非線形伸張手段から出力される動き補償誤差信号を加
算して前記復号画像信号を得る再生手段とを有すること
を特徴とする動画像復号化装置。 - 【請求項４】入力された符号化データから動き補償誤差
信号を復号化する復号化手段と、 この復号化手段より復号化された動き補償誤差信号を非
線形伸張する非線形伸張手段と、 フレーム単位で出力される復号画像信号の前フレームの
信号を動き補償して動き補償画像信号を得る動き補償手
段と、 この動き補償手段により得られた動き補償画像信号と前
記非線形伸張手段から出力される動き補償誤差信号を加
算して前記復号画像信号を得る再生手段と、 前記非線形伸張手段の伸張特性を前記動き補償誤差信号
の画面内における位置および明るさの少なくとも一方に
基づいて制御する制御手段とを有することを特徴とする
動画像復号化装置。 - 【請求項５】比較的大きなブロックサイズで求められた
動きベクトルを用いてフレーム単位で入力される入力動
画像信号の前フレームの信号を動き補償して動き補償画
像信号を得る第１階層の動き補償手段と、 前記第１階層の動き補償手段で求められた動きベクトル
を内挿処理した動きベクトルを参照して比較的小さなブ
ロックサイズで求められた動きベクトルを用いて前記第
１階層の動き補償手段により得られた動き補償画像信号
を動き補償して動き補償画像信号を得る第２階層の動き
補償手段と、 前記第１および第２階層の動き補償手段を少なくとも含
む複数階層の動き補償手段のうちの最下位階層の動き補
償手段により得られた動き補償画像信号と前記入力動画
像信号との誤差を示す動き補償誤差信号を符号化する第
１の符号化手段と、 前記第１および第２階層の動き補償手段を少なくとも含
む複数階層の動き補償手段により求められた動きベクト
ルの情報を階層的に符号化する第２の符号化手段と、 前記第１および第２の符号化手段の出力信号を多重化し
符号化データとして出力する手段とを有することを特徴
とする動画像符号化装置。 - 【請求項６】入力された符号化データから動き補償誤差
信号を復号化する第１の復号化手段と、 前記符号化データから階層的に符号化された動きベクト
ルの情報を復号して動きベクトルを得る第２の復号化手
段と、 フレーム単位で出力される復号画像信号の前フレームの
信号を前記動きベクトルにより動き補償して動き補償画
像信号を得る動き補償手段と、 この動き補償手段により得られた動き補償画像信号と前
記動き補償誤差信号を加算して前記復号画像信号を得る
再生手段とを有することを特徴とする動画像復号化装
置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9544195A JPH08294125A (ja) | 1995-04-20 | 1995-04-20 | 動画像符号化装置および動画像復号化装置 |
| US08/633,695 US5734431A (en) | 1995-04-20 | 1996-04-19 | Video coding and decoding apparatus including corresponding nonlinear compression and expansion of a motion compensation error signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9544195A JPH08294125A (ja) | 1995-04-20 | 1995-04-20 | 動画像符号化装置および動画像復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08294125A true JPH08294125A (ja) | 1996-11-05 |
Family
ID=14137790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9544195A Pending JPH08294125A (ja) | 1995-04-20 | 1995-04-20 | 動画像符号化装置および動画像復号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5734431A (ja) |
| JP (1) | JPH08294125A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006191485A (ja) * | 2005-01-07 | 2006-07-20 | Ntt Docomo Inc | 画像信号変換方法、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
| US7634148B2 (en) | 2005-01-07 | 2009-12-15 | Ntt Docomo, Inc. | Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features |
| JP2010009624A (ja) * | 2009-10-07 | 2010-01-14 | Ntt Docomo Inc | 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム |
| JP2010154577A (ja) * | 2010-04-05 | 2010-07-08 | Ntt Docomo Inc | 画像信号変換方法、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6266370B1 (en) * | 1996-09-03 | 2001-07-24 | Nippon Telegraph And Telephone Corporation | Brightness-variation compensation method and coding/decoding apparatus for moving pictures |
| US6859799B1 (en) * | 1998-11-30 | 2005-02-22 | Gemstar Development Corporation | Search engine for video and graphics |
| US6633610B2 (en) * | 1999-09-27 | 2003-10-14 | Intel Corporation | Video motion estimation |
| US6671319B1 (en) * | 1999-12-28 | 2003-12-30 | Sony Corporation | Methods and apparatus for motion estimation using neighboring macroblocks |
| US6690728B1 (en) * | 1999-12-28 | 2004-02-10 | Sony Corporation | Methods and apparatus for motion estimation in compressed domain |
| AU1155302A (en) | 2000-10-11 | 2002-04-22 | United Video Properties Inc | Systems and methods for providing storage of data on servers in an on-demand media delivery system |
| JP5286805B2 (ja) * | 2008-01-31 | 2013-09-11 | 沖電気工業株式会社 | 動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法 |
| US8805418B2 (en) | 2011-12-23 | 2014-08-12 | United Video Properties, Inc. | Methods and systems for performing actions based on location-based rules |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3854445T2 (de) * | 1987-04-28 | 1996-05-30 | Mitsubishi Electric Corp | Vorrichtung zum Codieren und Übertragen von Bildern. |
| US4953032A (en) * | 1988-11-30 | 1990-08-28 | Hitachi, Ltd. | Motion signal generating circuit for use in a television receiver |
| US5144426A (en) * | 1989-10-13 | 1992-09-01 | Matsushita Electric Industrial Co., Ltd. | Motion compensated prediction interframe coding system |
| US5428693A (en) * | 1991-04-12 | 1995-06-27 | Mitsubishi Denki Kabushiki Kaisha | Motion compensation predicting coding method and apparatus |
| JP2581341B2 (ja) * | 1991-04-26 | 1997-02-12 | 日本ビクター株式会社 | 高能率符号化装置及び復号化装置 |
| JP3115651B2 (ja) * | 1991-08-29 | 2000-12-11 | シャープ株式会社 | 画像符号化装置 |
| JP2868045B2 (ja) * | 1991-10-25 | 1999-03-10 | 日本電気株式会社 | 動画像信号符号化装置 |
| JP2549479B2 (ja) * | 1991-12-06 | 1996-10-30 | 日本電信電話株式会社 | 動き補償フレーム間帯域分割符号化処理方法 |
| US5510840A (en) * | 1991-12-27 | 1996-04-23 | Sony Corporation | Methods and devices for encoding and decoding frame signals and recording medium therefor |
| KR0121162B1 (ko) * | 1992-05-20 | 1997-11-18 | 구자홍 | 디지탈 티브이의 영상움직임 보상장치 |
| US5438374A (en) * | 1993-12-10 | 1995-08-01 | At&T Corp. | System and method for filtering video signals |
-
1995
- 1995-04-20 JP JP9544195A patent/JPH08294125A/ja active Pending
-
1996
- 1996-04-19 US US08/633,695 patent/US5734431A/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006191485A (ja) * | 2005-01-07 | 2006-07-20 | Ntt Docomo Inc | 画像信号変換方法、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
| US7634148B2 (en) | 2005-01-07 | 2009-12-15 | Ntt Docomo, Inc. | Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features |
| JP2010009624A (ja) * | 2009-10-07 | 2010-01-14 | Ntt Docomo Inc | 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム |
| JP2010154577A (ja) * | 2010-04-05 | 2010-07-08 | Ntt Docomo Inc | 画像信号変換方法、画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US5734431A (en) | 1998-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3575508B2 (ja) | 符号化動画像再生装置 | |
| US6233279B1 (en) | Image processing method, image processing apparatus, and data storage media | |
| US6510177B1 (en) | System and method for layered video coding enhancement | |
| JP2549479B2 (ja) | 動き補償フレーム間帯域分割符号化処理方法 | |
| KR100703788B1 (ko) | 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더 | |
| US6130911A (en) | Method and apparatus for compressing reference frames in an interframe video codec | |
| US5532747A (en) | Method for effectuating half-pixel motion compensation in decoding an image signal | |
| JP2003032682A (ja) | 部分的に復号された入力ビットストリームのマクロブロック群を変換符号化する方法及び装置 | |
| JPH07288474A (ja) | ベクトル量子化符号化装置と復号化装置 | |
| US5432555A (en) | Image signal encoding apparatus using adaptive 1D/2D DCT compression technique | |
| JPH05219385A (ja) | 画像圧縮・伸張方法および装置 | |
| JPH08294125A (ja) | 動画像符号化装置および動画像復号化装置 | |
| US8428116B2 (en) | Moving picture encoding device, method, program, and moving picture decoding device, method, and program | |
| US5790207A (en) | Motion compensation method for use in an image encoding system | |
| EP1889487A1 (en) | Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction | |
| JP2004266794A (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
| JPS63284974A (ja) | 画像圧縮方式 | |
| JPH06113291A (ja) | 画像符号化及び復号化装置 | |
| KR100335606B1 (ko) | 반복적움직임예측/보상을이용한영상부호화기및/또는복호화기 | |
| KR0171749B1 (ko) | 호환 부호기 | |
| KR101810198B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| JPS62260492A (ja) | 画像信号帯域圧縮方式 | |
| JPH0216887A (ja) | 画像符号化装置 | |
| JP2698641B2 (ja) | カラー画像データ符号化方法及び複号方法 | |
| KR100206924B1 (ko) | 영상 처리 시스템의 엔코더 및 디코더 |