JP3717573B2 - 階層符号化方法及び階層符号化装置 - Google Patents
階層符号化方法及び階層符号化装置 Download PDFInfo
- Publication number
- JP3717573B2 JP3717573B2 JP33506195A JP33506195A JP3717573B2 JP 3717573 B2 JP3717573 B2 JP 3717573B2 JP 33506195 A JP33506195 A JP 33506195A JP 33506195 A JP33506195 A JP 33506195A JP 3717573 B2 JP3717573 B2 JP 3717573B2
- Authority
- JP
- Japan
- Prior art keywords
- color difference
- snr
- image
- difference signal
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の階層符号化に関する。
【０００２】
【従来の技術】
画像の階層符号化は、復号器側の要求に応じて異なる解像度や画質の画像を得る場合や、グレースフル・デグラデーション(graceful degradation:伝送時に妨害があっても画質の劣化が段階的になるようにする手法)を実現する場合に有効 であり、放送・通信分野では重要な符号化方法である。
【０００３】
周知の如く、動画像圧縮の国際的規格MPEG2においても、階層符号化が盛り込 まれている。
画質の階層符号化には、SNRスケーラビリティ採用されている。又、解像度の 階層符号化には、空間スケーラビリティが、採用されている(監修：藤原洋、株 式会社アスキ−1994年8月1日発行の「最新MPEG教科書」の148〜151頁参照)。
【０００４】
このSNRスケーラビリティとは、同じ画像の画質を段階的に変える手法で下位 階層では低画質が得られ、上位階層では高画質が得られる。この上位階層の符号化時には、下位階層の画像を上位階層の予測画像として用い、上位階層と下位階層との誤差を符号化する。
又、空間スケーラビリティとは、階層により扱う画像サイズが違う。この上位階層では、低位階層のアップサンプリングした画像を上位階層の予測画像として用いるものであり、上位階層では予測画像との誤差を符号化する。
【０００５】
図１を参照しつつ、従来の一例の概略を説明する。
この従来例は、空間スケーラビリティに適応した階層符号化である。ここでの、階層は下位階層・上位階層の2階層とし、下位階層は上位階層の1/4の画像サイズとする。
図１において、(10)は、下位階層画像の入力端子である。
【０００６】
(12)は、上位階層画像の入力端子である。
(14)は、下位階層画像の符号化回路である。この符号化回路(14)は、下位階層の画像をブロックに分割し、DCT回路(16)でDCT処理を行い、量子化回路(18)で量子化し、VLC回路(20)で可変長符号化する。符号化回路(14)は、下位階層の画像 信号を符号化されたビットストリ−ムとして出力する。
【０００７】
(22)は、下位階層画像の復号化回路である。この復号化回路(22)は、符号化された下位階層の画像を復号する。VLD回路(24)で可変長復号し、逆量子化回路(26)で逆量子化し、IDCT回路(28)で逆DCT処理を行い元の下位階層画像に復号する。
(30)は、アップサンプリング回路である。このアップサンプリング回路(30)は、下位階層の画像サイズを、上位階層の画像サイズに変換する。このアップサンプリング回路(30)の出力画像は、予測画像として用いられる。
【０００８】
(32)は、減算回路である。この減算回路(32)は、上位階層画像から予測画像を減算して、誤差画像を出力する。
(34)は、この誤差画像用の符号化回路である。この符号化回路(34)は、誤差画像をブロックに分割し、DCT回路(36)でDCT処理を行い、量子化回路(38)で量子化し、VLC回路(40)で可変長符号化する。符号化回路(34)は、誤差画像を符号化し たビットストリ−ムを出力する。
【０００９】
尚、この回路図は、概略のみを示している。例えば、実際のMPEG２の空間スケーラビリティであれば、入力画像は動画像である。また、ビットレートを一定に保つために、発生符号量に応じて、量子化回路(18)(38)の量子化ステップ幅を変更する符号量制御も行われる。更に、動き補償予測フレーム間圧縮も行われる。ところで、この階層符号化された符号データには、階層符号化独自の付加情報が必要となる。このために発生ビットの冗長度が増すことになる。このため、画質の劣化が発生するという問題がある。
【００１０】
この画質の劣化は、１画面あたりの割り当て符号量が、少ないほど明らかになる傾向がある。
例えば、MPEG2の空間スケーラビリティの4Mbpsのビットレートで符号化の場合復号画像は、MPEG2のメインプロファイルの4Mbpsのビットレートで符号化の場合復号画像に比べて、非常に見にくいものになっている。
【００１１】
【発明が解決しようとする課題】
この低ビットレートで階層符号化する場合、SNR(SNR:Signal to Noise Ration)は、色差信号より輝度信号で悪くなる傾向がある。
輝度信号の品質が悪いとモスキートノイズが目だったり、あるいはブロック歪みが現れるという問題が発生する。
【００１２】
本発明は、階層符号化において、画質を向上させることを目的とする。
つまり、同じ符号量又はビットレートで、より自然に見える画像を提供すること目的とする。
【００１３】
【課題を解決するための手段】
ところで、人間の視覚特生として「輝度信号には敏感であるが、色信号には鈍感である」という特性があり、この特性を利用して、色差信号のみを間引いたりしている。例えば、MPEG2では、色差信号のみを1/4に間引いた4:2:0フォーマッ トと呼ばれる画像を符号化・復号化処理に用いる方法が広く用いられている。
【００１４】
そこで、本願では、低位階層の色差信号が必要な品質を得ている場合、上位階層では色差信号の符号化を打ち切る。つまり、色差信号のデータを破棄し、色差信号の符号化を禁止する。これにより、色差信号を符号化した場合に発生する符号量を、輝度信号に振り分けることが可能となり、画質が向上する。
尚、輝度信号も同様に処理しても良い。つまり、下位階層の輝度信号が必要な画質を得ている場合、上位階層では輝度信号の符号化を打ち切るようにしてもよい。
【００１５】
また、この色差信号の符号化を行うか？打ち切りか？の判定として、低位階層の色差信号の品質を求め、この品質が予め設定しているレベルより高い値であれば上位階層では色差信号の符号化を行わない。つまり、本願では、上位階層で色差信号の符号化を行うか否かを、低位階層の色差信号の品質が、設定レベルを既に満足するものであるかどうかにより判定している。
【００１６】
また、この判定基準となるレベルは、任意に設定変更してもよい。
また、この判定のタイミングは画面毎、複数の画面に一度、あるいは画面内の一定領域毎に行うなどでもよい。
【００１７】
【発明の実施の形態】
図２、図３を参照しつつ、本発明の第１実施例を説明する。
この第１実施例は、従来例と同様に、空間スケーラビリティに適応した階層符号化である。また、階層は下位階層・上位階層の2階層とし、下位階層は上位階 層の1/4の画像サイズとする。
【００１８】
なお、第１実施例において、従来例と同一部分には同一符号を付した。
図２は、第１実施例の概略を示す構成図である。
(42)は、色差SNR検出回路である。
(44)は、基準SNR設定回路である。
(46)は、色差信号符号化判定回路である。色差信号を符号化するか否かを判定する。
【００１９】
(48)は、色差信号符号化制御回路である。この色差信号符号化制御回路(48)は、色差信号符号化判定回路(46)が色差信号を符号化しないと判定すると色差信号を破棄する。
この第１実施例では、輝度信号については、従来と同様に処理される。
この第１実施例の特徴は、画面毎に色差信号符号化判定を行い、色差信号を符号化するか否かを制御することである。
【００２０】
この第１実施例では、下位階層画像の輝度信号及び色差信号は、従来と同様に符号化処理を行い、ビットストリームを作成する。
上位階層画像の処理においては、下位階層の符号化された色差信号を基に色差信号符号化判定を行い、上位階層で色差信号を符号化するかを判定する。この実施例では、符号化された色差信号の品質を求めるために、一旦、符号化された画像を再度復号して、品質を求めている。
【００２１】
本実施例では、画面毎に色差信号符号化判定を行い、色差信号を符号化するか否かを制御する。
色差SNR検出回路(42)は、下位階層をアップサンプリングした画像の色差信号 と、上位階層の画像の色差信号とを比較して、全画面の色差信号のSNRを求める 。
【００２２】
また、基準SNR設定回路(44)において、使用者により基準SNRのレベルが設定される。
色差信号符号化判定回路(46)では、色差SNR検出回路(42)からの検出したSNR( 以下、色差SNR)と、基準SNR設定回路(44)からのSNR(以下、基準SNR)を比較する 。
【００２３】
これにより、色差SNRが基準SNRより大きければ、下位階層の色差信号だけで、上位階層の求める色の品質を満足すると判定する。そして、上位階層の色差信号の符号化を行わない。
逆に、色差SNRが基準SNRより小さければ、下位階層の色差信号だけでは満足する品質が得られていないと判定して上位階層で色差信号の符号化を行う。
【００２４】
図３を参照しつつ、このSNRの比較を説明する。
ここでは、使用者により、基準SNR設定回路(44)において設定された基準SNRの値を30dBとする。
そして、色差SNR検出回路(42)により、下位階層の画面n〜画面n+5から検出し た色差信号のSNRが、図３の検出SNR値に示す値であるとする。
【００２５】
色差信号符号化判定回路(46)は、検出SNR(色差SNR)と基準SNRとを比較する。 そして、色差SNRの値が30dBより小さい画面n、画面n+1、画面n+4については、下位階層の色差信号が満足いく品質ではないと判定して、上位階層処理において従来通り色差信号の符号化を行う。
また、色差SNRの値が30dBより大きい画面n+2、画面n+3、画面n+5については、上位階層処理において、色差信号の符号化を行わない。
【００２６】
この第１実施例では、色差信号符号化判定回路(46)における判定は、画面毎に行っている。
しかし、本願は、これに限定されるものではなく、画面内の一定領域毎に行ってもよい。尚、この場合は、当然、色差SNRもこの一定領域毎に検出する。
又、動画像の場合は、例えば、以下のように設定しても良い。
【００２７】
(a1).シーンチェンジを検出し、このシーンチェンジ時に行う。
(a2).一定の画面毎に行う
(a3).最初の一画面について行う
また、この第１実施例では、色差SNRは、画面の色差信号の全画面のSNRから求めている。
【００２８】
しかし、本願は、これに限定されるものではなく、以下のようにしてもよい。
(b1).色差信号の全画面のSNR(第１実施例で適用)。
(b2).幾つかのサンプルブロックのSNRの平均値。
(b3).幾つかのサンプルブロックのSNRの最大値、或は最小値、或は中間値。
(b4).画面内の所定領域毎のSNR。
【００２９】
また、この第１実施例では、色差SNRは、符号・復号・アップサンプリング処 理された画像と、上位階層画像とを、比較して求めている。
しかし、本願は、これに限定されるものではなく、色差SNRを、符号・復号処 理された画像と、下位階層画像とを、比較して求めても良い。
また、基準SNRの設定方法も、この第１実施例に限定されるものではなく、以 下のようにしてもよい。
【００３０】
(c1).人間の視覚に自然に感じられるように、人が調整した値(本実施例で適用)。
(c2).事前に処理した複数画面の色差信号のSNRを参考にした値。
(c3).輝度信号が得ている品質(SNR)を基準にした値。
また、基準SNRの値も固定値である必要はなく、適応的に値を可変することも 可能である。
【００３１】
(d1).つまり、色差信号が重要な画面又は画面部分においては、基準SNRを大きくする。
(d2).また、色差信号が重要でない画面又は画面部分においては、基準SNRを小さくする。
このように、本実施例によれば、既に一定以上の品質が得られている色差信号については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減量だけ、輝度信号の符号量を増加出来、画質の向上が図れる。
【００３２】
又、色差信号符号化判定のための基準SNRは、任意に設定可能であるから、人 間に不自然な印象を与えない範囲で色差信号の符号化を打ち切るように制御が可能である。
また、基準SNRに非常に大きな値を設定すれば、必ず色差信号を符号化すれこ ととなり、従来と同様の階層符号化データを得ることもできる。
【００３３】
図４を参照しつつ、本発明の第２実施例を説明する。
この第２実施例は、色差信号が輝度信号よりも良い品質が得られている場合は、色差信号の符号化を打ち切るものである。
(42)は、色差SNR検出回路である。この色差SNR検出回路(42) は、色差SNRを、復号化回路(22)からの画像(色差信号成分)と下位階層画像(色差信号成分)とを、比較して求めている。
【００３４】
(50)は、輝度信号のSNRを求める基準SNR設定回路である。この基準SNR設定回 路(50)は、基準SNRを、復号化回路(22)からの画像(輝度信号成分)と上位階層画 像(輝度信号成分)とを、比較して求めている。
この第２実施例では、色差SNR検出回路(42)が、下位階層のアップサンプリン グ後の画像の色差信号により、全画面のSNRの平均値を検出する。
【００３５】
そして、基準SNR設定回路(50)は、輝度信号の全画面のSNR平均値を検出し、このSNR値から基準SNRを設定している。
尚、この第２実施例では、色差SNR及び基準SNRは、画面毎に検出したが、これに限定されるものでは無く、画面内の所定領域毎に設定してもよい。
図５を参照しつつ、本発明の第３実施例を説明する。
【００３６】
この第３実施例では、動画像が入力される。
そして、第３実施例は、この動画像の種類により、基準SNRを変更するもので ある。
(54)は、画像種別判定回路である。この画像種別判定回路(54)は、動きを検出して、動きの激しい動画像か？静止している動画像か？、及び、周波数成分は高いか否か？等を判定する。
【００３７】
(52)は、基準SNR設定回路である。この基準SNR設定回路(52)は、画像種別判定回路(54)により、基準SNRを変更する。
この第３実施例では、画像の種類により基準SNRを変化させるものである。
例えば、画像種別判定回路(54)により、画像の動きがかなり少なく平坦であれば、基準SNR設定回路(52)は基準SNRを大きくして、色差信号を符号化する。また、動きがかなり早い場合や高周波成分の多い場合は、基準SNR設定回路(52)は基 準SNRを小さくして色差信号を符号化しない。
【００３８】
図６を参照しつつ、本発明の第４実施例を説明する。
この第４実施例は、上位階層の色差信号の符号化時の品質を、下位階層の色差信号の符号化時の品質(色差SNR)にある程度追随させるものである。
(56)は、色差SNR平均回路である。この色差SNR平均回路(56)は、色差SNRを平 均化する。
【００３９】
(58)は、基準SNR設定回路である。この基準SNR設定回路(58)は、色差SNR平均 回路(56)の出力に+3dBした値を基準SNRとして、出力する。
尚、この基準SNR設定回路(58)は、この+3dBした値が、予かじめ設定された下 限値より小さい場合は、この下限値を換わって出力する。同様に、この+3dBした値が、予かじめ設定された上限値より大きな場合は、この上限値を換わって出力する。尚、このような置換出力は、ほとんど発生しないと考えられるが、一応設けた。
【００４０】
尚、上記実施例では、記述しなかったが、当然、色差信号を伝送する場合と、伝送しない場合を、復号側で容易に判断できるように、モード識別コードを挿入するようにしてもよい。
又、本願の実施例では、空間的な階層符号化である空間スケーラビリティについて説明したが、本願は、当然、画質の階層符号化を実現するSNRスケーラビリ ティやその他の階層符号化にも適応できる。
【００４１】
また、本実施例では、回路ブロック図により説明したが、近年のマイクロコンピュ−タの高速化高機能化により、このような、符号化処理をソフトウエアで行うことも可能である。
また、本実施例では、階層符号化として、２階層のものを説明したぐ、本願はこれに限定されるものではない。
【００４２】
また、本願の基準SNRを求める時、この階層符号化がMPEG２等の符号量制御を 行う動画像の階層符号化であれば、出力ビットレートに応じて、基準SNRを変更 する様にしてもよい。
【００４３】
【発明の効果】
このように、本願によれば、低位階層で既に一定以上の品質が得られている画像については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減分だけ、他の部分に振り分けることができるため、品質を上げることができる。
【００４４】
また、本願によれば、低位階層で既に一定以上の品質が得られている色差信号については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減量だけ、輝度信号の符号量を増加出来、画質の向上が図れる。
【図面の簡単な説明】
【図１】従来の空間スケーラビリティの階層符号化の概略を示す図である。
【図２】本発明の第１実施例の概略を示す図である。
【図３】本発明の色差信号符号化判定を説明するための図である。
【図４】本発明の第２実施例の概略を示す図である。
【図５】本発明の第３実施例の概略を示す図である。
【図６】本発明の第４実施例の概略を示す図である。
【符号の説明】
(14)・・・・・・・・・符号化回路(第１の符号化回路)、
(22)・・・・・・・・・復号化回路、
(32)・・・・・・・・・減算回路、
(34)・・・・・・・・・符号化回路(第２の符号化回路)、
(40)・・・・・・・・・VLC回路(可変長符号化回路)、
(42)・・・・・・・・・色差SNR検出回路、
(46)・・・・・・・・・色差信号符号化判定回路、
(48)・・・・・・・・・色差信号符号化制御回路。
【発明の属する技術分野】
本発明は、画像の階層符号化に関する。
【０００２】
【従来の技術】
画像の階層符号化は、復号器側の要求に応じて異なる解像度や画質の画像を得る場合や、グレースフル・デグラデーション(graceful degradation:伝送時に妨害があっても画質の劣化が段階的になるようにする手法)を実現する場合に有効 であり、放送・通信分野では重要な符号化方法である。
【０００３】
周知の如く、動画像圧縮の国際的規格MPEG2においても、階層符号化が盛り込 まれている。
画質の階層符号化には、SNRスケーラビリティ採用されている。又、解像度の 階層符号化には、空間スケーラビリティが、採用されている(監修：藤原洋、株 式会社アスキ−1994年8月1日発行の「最新MPEG教科書」の148〜151頁参照)。
【０００４】
このSNRスケーラビリティとは、同じ画像の画質を段階的に変える手法で下位 階層では低画質が得られ、上位階層では高画質が得られる。この上位階層の符号化時には、下位階層の画像を上位階層の予測画像として用い、上位階層と下位階層との誤差を符号化する。
又、空間スケーラビリティとは、階層により扱う画像サイズが違う。この上位階層では、低位階層のアップサンプリングした画像を上位階層の予測画像として用いるものであり、上位階層では予測画像との誤差を符号化する。
【０００５】
図１を参照しつつ、従来の一例の概略を説明する。
この従来例は、空間スケーラビリティに適応した階層符号化である。ここでの、階層は下位階層・上位階層の2階層とし、下位階層は上位階層の1/4の画像サイズとする。
図１において、(10)は、下位階層画像の入力端子である。
【０００６】
(12)は、上位階層画像の入力端子である。
(14)は、下位階層画像の符号化回路である。この符号化回路(14)は、下位階層の画像をブロックに分割し、DCT回路(16)でDCT処理を行い、量子化回路(18)で量子化し、VLC回路(20)で可変長符号化する。符号化回路(14)は、下位階層の画像 信号を符号化されたビットストリ−ムとして出力する。
【０００７】
(22)は、下位階層画像の復号化回路である。この復号化回路(22)は、符号化された下位階層の画像を復号する。VLD回路(24)で可変長復号し、逆量子化回路(26)で逆量子化し、IDCT回路(28)で逆DCT処理を行い元の下位階層画像に復号する。
(30)は、アップサンプリング回路である。このアップサンプリング回路(30)は、下位階層の画像サイズを、上位階層の画像サイズに変換する。このアップサンプリング回路(30)の出力画像は、予測画像として用いられる。
【０００８】
(32)は、減算回路である。この減算回路(32)は、上位階層画像から予測画像を減算して、誤差画像を出力する。
(34)は、この誤差画像用の符号化回路である。この符号化回路(34)は、誤差画像をブロックに分割し、DCT回路(36)でDCT処理を行い、量子化回路(38)で量子化し、VLC回路(40)で可変長符号化する。符号化回路(34)は、誤差画像を符号化し たビットストリ−ムを出力する。
【０００９】
尚、この回路図は、概略のみを示している。例えば、実際のMPEG２の空間スケーラビリティであれば、入力画像は動画像である。また、ビットレートを一定に保つために、発生符号量に応じて、量子化回路(18)(38)の量子化ステップ幅を変更する符号量制御も行われる。更に、動き補償予測フレーム間圧縮も行われる。ところで、この階層符号化された符号データには、階層符号化独自の付加情報が必要となる。このために発生ビットの冗長度が増すことになる。このため、画質の劣化が発生するという問題がある。
【００１０】
この画質の劣化は、１画面あたりの割り当て符号量が、少ないほど明らかになる傾向がある。
例えば、MPEG2の空間スケーラビリティの4Mbpsのビットレートで符号化の場合復号画像は、MPEG2のメインプロファイルの4Mbpsのビットレートで符号化の場合復号画像に比べて、非常に見にくいものになっている。
【００１１】
【発明が解決しようとする課題】
この低ビットレートで階層符号化する場合、SNR(SNR:Signal to Noise Ration)は、色差信号より輝度信号で悪くなる傾向がある。
輝度信号の品質が悪いとモスキートノイズが目だったり、あるいはブロック歪みが現れるという問題が発生する。
【００１２】
本発明は、階層符号化において、画質を向上させることを目的とする。
つまり、同じ符号量又はビットレートで、より自然に見える画像を提供すること目的とする。
【００１３】
【課題を解決するための手段】
ところで、人間の視覚特生として「輝度信号には敏感であるが、色信号には鈍感である」という特性があり、この特性を利用して、色差信号のみを間引いたりしている。例えば、MPEG2では、色差信号のみを1/4に間引いた4:2:0フォーマッ トと呼ばれる画像を符号化・復号化処理に用いる方法が広く用いられている。
【００１４】
そこで、本願では、低位階層の色差信号が必要な品質を得ている場合、上位階層では色差信号の符号化を打ち切る。つまり、色差信号のデータを破棄し、色差信号の符号化を禁止する。これにより、色差信号を符号化した場合に発生する符号量を、輝度信号に振り分けることが可能となり、画質が向上する。
尚、輝度信号も同様に処理しても良い。つまり、下位階層の輝度信号が必要な画質を得ている場合、上位階層では輝度信号の符号化を打ち切るようにしてもよい。
【００１５】
また、この色差信号の符号化を行うか？打ち切りか？の判定として、低位階層の色差信号の品質を求め、この品質が予め設定しているレベルより高い値であれば上位階層では色差信号の符号化を行わない。つまり、本願では、上位階層で色差信号の符号化を行うか否かを、低位階層の色差信号の品質が、設定レベルを既に満足するものであるかどうかにより判定している。
【００１６】
また、この判定基準となるレベルは、任意に設定変更してもよい。
また、この判定のタイミングは画面毎、複数の画面に一度、あるいは画面内の一定領域毎に行うなどでもよい。
【００１７】
【発明の実施の形態】
図２、図３を参照しつつ、本発明の第１実施例を説明する。
この第１実施例は、従来例と同様に、空間スケーラビリティに適応した階層符号化である。また、階層は下位階層・上位階層の2階層とし、下位階層は上位階 層の1/4の画像サイズとする。
【００１８】
なお、第１実施例において、従来例と同一部分には同一符号を付した。
図２は、第１実施例の概略を示す構成図である。
(42)は、色差SNR検出回路である。
(44)は、基準SNR設定回路である。
(46)は、色差信号符号化判定回路である。色差信号を符号化するか否かを判定する。
【００１９】
(48)は、色差信号符号化制御回路である。この色差信号符号化制御回路(48)は、色差信号符号化判定回路(46)が色差信号を符号化しないと判定すると色差信号を破棄する。
この第１実施例では、輝度信号については、従来と同様に処理される。
この第１実施例の特徴は、画面毎に色差信号符号化判定を行い、色差信号を符号化するか否かを制御することである。
【００２０】
この第１実施例では、下位階層画像の輝度信号及び色差信号は、従来と同様に符号化処理を行い、ビットストリームを作成する。
上位階層画像の処理においては、下位階層の符号化された色差信号を基に色差信号符号化判定を行い、上位階層で色差信号を符号化するかを判定する。この実施例では、符号化された色差信号の品質を求めるために、一旦、符号化された画像を再度復号して、品質を求めている。
【００２１】
本実施例では、画面毎に色差信号符号化判定を行い、色差信号を符号化するか否かを制御する。
色差SNR検出回路(42)は、下位階層をアップサンプリングした画像の色差信号 と、上位階層の画像の色差信号とを比較して、全画面の色差信号のSNRを求める 。
【００２２】
また、基準SNR設定回路(44)において、使用者により基準SNRのレベルが設定される。
色差信号符号化判定回路(46)では、色差SNR検出回路(42)からの検出したSNR( 以下、色差SNR)と、基準SNR設定回路(44)からのSNR(以下、基準SNR)を比較する 。
【００２３】
これにより、色差SNRが基準SNRより大きければ、下位階層の色差信号だけで、上位階層の求める色の品質を満足すると判定する。そして、上位階層の色差信号の符号化を行わない。
逆に、色差SNRが基準SNRより小さければ、下位階層の色差信号だけでは満足する品質が得られていないと判定して上位階層で色差信号の符号化を行う。
【００２４】
図３を参照しつつ、このSNRの比較を説明する。
ここでは、使用者により、基準SNR設定回路(44)において設定された基準SNRの値を30dBとする。
そして、色差SNR検出回路(42)により、下位階層の画面n〜画面n+5から検出し た色差信号のSNRが、図３の検出SNR値に示す値であるとする。
【００２５】
色差信号符号化判定回路(46)は、検出SNR(色差SNR)と基準SNRとを比較する。 そして、色差SNRの値が30dBより小さい画面n、画面n+1、画面n+4については、下位階層の色差信号が満足いく品質ではないと判定して、上位階層処理において従来通り色差信号の符号化を行う。
また、色差SNRの値が30dBより大きい画面n+2、画面n+3、画面n+5については、上位階層処理において、色差信号の符号化を行わない。
【００２６】
この第１実施例では、色差信号符号化判定回路(46)における判定は、画面毎に行っている。
しかし、本願は、これに限定されるものではなく、画面内の一定領域毎に行ってもよい。尚、この場合は、当然、色差SNRもこの一定領域毎に検出する。
又、動画像の場合は、例えば、以下のように設定しても良い。
【００２７】
(a1).シーンチェンジを検出し、このシーンチェンジ時に行う。
(a2).一定の画面毎に行う
(a3).最初の一画面について行う
また、この第１実施例では、色差SNRは、画面の色差信号の全画面のSNRから求めている。
【００２８】
しかし、本願は、これに限定されるものではなく、以下のようにしてもよい。
(b1).色差信号の全画面のSNR(第１実施例で適用)。
(b2).幾つかのサンプルブロックのSNRの平均値。
(b3).幾つかのサンプルブロックのSNRの最大値、或は最小値、或は中間値。
(b4).画面内の所定領域毎のSNR。
【００２９】
また、この第１実施例では、色差SNRは、符号・復号・アップサンプリング処 理された画像と、上位階層画像とを、比較して求めている。
しかし、本願は、これに限定されるものではなく、色差SNRを、符号・復号処 理された画像と、下位階層画像とを、比較して求めても良い。
また、基準SNRの設定方法も、この第１実施例に限定されるものではなく、以 下のようにしてもよい。
【００３０】
(c1).人間の視覚に自然に感じられるように、人が調整した値(本実施例で適用)。
(c2).事前に処理した複数画面の色差信号のSNRを参考にした値。
(c3).輝度信号が得ている品質(SNR)を基準にした値。
また、基準SNRの値も固定値である必要はなく、適応的に値を可変することも 可能である。
【００３１】
(d1).つまり、色差信号が重要な画面又は画面部分においては、基準SNRを大きくする。
(d2).また、色差信号が重要でない画面又は画面部分においては、基準SNRを小さくする。
このように、本実施例によれば、既に一定以上の品質が得られている色差信号については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減量だけ、輝度信号の符号量を増加出来、画質の向上が図れる。
【００３２】
又、色差信号符号化判定のための基準SNRは、任意に設定可能であるから、人 間に不自然な印象を与えない範囲で色差信号の符号化を打ち切るように制御が可能である。
また、基準SNRに非常に大きな値を設定すれば、必ず色差信号を符号化すれこ ととなり、従来と同様の階層符号化データを得ることもできる。
【００３３】
図４を参照しつつ、本発明の第２実施例を説明する。
この第２実施例は、色差信号が輝度信号よりも良い品質が得られている場合は、色差信号の符号化を打ち切るものである。
(42)は、色差SNR検出回路である。この色差SNR検出回路(42) は、色差SNRを、復号化回路(22)からの画像(色差信号成分)と下位階層画像(色差信号成分)とを、比較して求めている。
【００３４】
(50)は、輝度信号のSNRを求める基準SNR設定回路である。この基準SNR設定回 路(50)は、基準SNRを、復号化回路(22)からの画像(輝度信号成分)と上位階層画 像(輝度信号成分)とを、比較して求めている。
この第２実施例では、色差SNR検出回路(42)が、下位階層のアップサンプリン グ後の画像の色差信号により、全画面のSNRの平均値を検出する。
【００３５】
そして、基準SNR設定回路(50)は、輝度信号の全画面のSNR平均値を検出し、このSNR値から基準SNRを設定している。
尚、この第２実施例では、色差SNR及び基準SNRは、画面毎に検出したが、これに限定されるものでは無く、画面内の所定領域毎に設定してもよい。
図５を参照しつつ、本発明の第３実施例を説明する。
【００３６】
この第３実施例では、動画像が入力される。
そして、第３実施例は、この動画像の種類により、基準SNRを変更するもので ある。
(54)は、画像種別判定回路である。この画像種別判定回路(54)は、動きを検出して、動きの激しい動画像か？静止している動画像か？、及び、周波数成分は高いか否か？等を判定する。
【００３７】
(52)は、基準SNR設定回路である。この基準SNR設定回路(52)は、画像種別判定回路(54)により、基準SNRを変更する。
この第３実施例では、画像の種類により基準SNRを変化させるものである。
例えば、画像種別判定回路(54)により、画像の動きがかなり少なく平坦であれば、基準SNR設定回路(52)は基準SNRを大きくして、色差信号を符号化する。また、動きがかなり早い場合や高周波成分の多い場合は、基準SNR設定回路(52)は基 準SNRを小さくして色差信号を符号化しない。
【００３８】
図６を参照しつつ、本発明の第４実施例を説明する。
この第４実施例は、上位階層の色差信号の符号化時の品質を、下位階層の色差信号の符号化時の品質(色差SNR)にある程度追随させるものである。
(56)は、色差SNR平均回路である。この色差SNR平均回路(56)は、色差SNRを平 均化する。
【００３９】
(58)は、基準SNR設定回路である。この基準SNR設定回路(58)は、色差SNR平均 回路(56)の出力に+3dBした値を基準SNRとして、出力する。
尚、この基準SNR設定回路(58)は、この+3dBした値が、予かじめ設定された下 限値より小さい場合は、この下限値を換わって出力する。同様に、この+3dBした値が、予かじめ設定された上限値より大きな場合は、この上限値を換わって出力する。尚、このような置換出力は、ほとんど発生しないと考えられるが、一応設けた。
【００４０】
尚、上記実施例では、記述しなかったが、当然、色差信号を伝送する場合と、伝送しない場合を、復号側で容易に判断できるように、モード識別コードを挿入するようにしてもよい。
又、本願の実施例では、空間的な階層符号化である空間スケーラビリティについて説明したが、本願は、当然、画質の階層符号化を実現するSNRスケーラビリ ティやその他の階層符号化にも適応できる。
【００４１】
また、本実施例では、回路ブロック図により説明したが、近年のマイクロコンピュ−タの高速化高機能化により、このような、符号化処理をソフトウエアで行うことも可能である。
また、本実施例では、階層符号化として、２階層のものを説明したぐ、本願はこれに限定されるものではない。
【００４２】
また、本願の基準SNRを求める時、この階層符号化がMPEG２等の符号量制御を 行う動画像の階層符号化であれば、出力ビットレートに応じて、基準SNRを変更 する様にしてもよい。
【００４３】
【発明の効果】
このように、本願によれば、低位階層で既に一定以上の品質が得られている画像については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減分だけ、他の部分に振り分けることができるため、品質を上げることができる。
【００４４】
また、本願によれば、低位階層で既に一定以上の品質が得られている色差信号については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減量だけ、輝度信号の符号量を増加出来、画質の向上が図れる。
【図面の簡単な説明】
【図１】従来の空間スケーラビリティの階層符号化の概略を示す図である。
【図２】本発明の第１実施例の概略を示す図である。
【図３】本発明の色差信号符号化判定を説明するための図である。
【図４】本発明の第２実施例の概略を示す図である。
【図５】本発明の第３実施例の概略を示す図である。
【図６】本発明の第４実施例の概略を示す図である。
【符号の説明】
(14)・・・・・・・・・符号化回路(第１の符号化回路)、
(22)・・・・・・・・・復号化回路、
(32)・・・・・・・・・減算回路、
(34)・・・・・・・・・符号化回路(第２の符号化回路)、
(40)・・・・・・・・・VLC回路(可変長符号化回路)、
(42)・・・・・・・・・色差SNR検出回路、
(46)・・・・・・・・・色差信号符号化判定回路、
(48)・・・・・・・・・色差信号符号化制御回路。
Claims (5)
- 少なくても輝度信号と色差信号から成る映像信号を複数階層に分けて符号化する階層符号化方法において、 低位階層における前記色差信号の符号化の品質が、設定値を越えた場合に、上位階層での色差信号の符号化を行わない階層符号化方法。
- 前記映像信号は、動画像信号であることを特徴とする請求項１の階層符号化方法。
- 前記設定値は、任意に設定されることを特徴とする請求項１又は請求項２の階層符号化方法。
- 前記設定値は、前記動画像信号の動きに応じて変更されることを特徴とする請求項２の階層符号化方法。
- 前記設定値は、前記階層符号化された映像信号の発生符号量に応じて変更されることを特徴とする請求項２の階層符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33506195A JP3717573B2 (ja) | 1995-12-22 | 1995-12-22 | 階層符号化方法及び階層符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33506195A JP3717573B2 (ja) | 1995-12-22 | 1995-12-22 | 階層符号化方法及び階層符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09182065A JPH09182065A (ja) | 1997-07-11 |
| JP3717573B2 true JP3717573B2 (ja) | 2005-11-16 |
Family
ID=18284326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33506195A Expired - Fee Related JP3717573B2 (ja) | 1995-12-22 | 1995-12-22 | 階層符号化方法及び階層符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3717573B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100484148B1 (ko) * | 2002-07-27 | 2005-04-18 | 삼성전자주식회사 | 개선된 비트율 제어 방법과 그 장치 |
| JP2009182442A (ja) * | 2008-01-29 | 2009-08-13 | Univ Of Fukui | 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 |
| JP5078019B2 (ja) * | 2008-02-12 | 2012-11-21 | 独立行政法人情報通信研究機構 | 超広帯域信号の送受信装置、ローカルエリアネットワーク、広報装置、および送受信方法 |
| JP6069929B2 (ja) * | 2012-07-25 | 2017-02-01 | 富士通株式会社 | 画像選択方法、画像選択装置、符号化装置、画像選択システム、画像選択プログラム、符号化プログラム、及び画像符号化選択プログラム |
-
1995
- 1995-12-22 JP JP33506195A patent/JP3717573B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09182065A (ja) | 1997-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4334768B2 (ja) | 圧縮映像のブリージングアーチファクトを低減する方法および装置 | |
| KR100484333B1 (ko) | 영상신호프로세서를위한메모리관리 | |
| US5473377A (en) | Method for quantizing intra-block DC transform coefficients using the human visual characteristics | |
| KR0141082B1 (ko) | 적응에지부 강화필터를 지닌 영상신호 부호화 및 복호화장치 | |
| KR0181032B1 (ko) | 인터리빙을 이용한 물체 기반 부호화방법 및 장치 | |
| JPH10200887A (ja) | 映像信号のエラー隠ぺい装置 | |
| EP0680217B1 (en) | Video signal decoding apparatus capable of reducing blocking effects | |
| WO2001045424A1 (en) | Reducing 'blocky picture' effects | |
| JP3046379B2 (ja) | 画像符号化装置 | |
| JPH07312756A (ja) | 圧縮動画像符号信号の情報量変換回路、装置、及び方法 | |
| EP1396154B1 (en) | Error concealment method and device | |
| KR100229796B1 (ko) | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 | |
| JP2895034B1 (ja) | 適応的ブロック現象除去機能を有する復号化器及び適応的ブロック現象除去復号化方法 | |
| JP3717573B2 (ja) | 階層符号化方法及び階層符号化装置 | |
| JP4004597B2 (ja) | 映像信号のエラー隠ぺい装置 | |
| JP2004512784A (ja) | エンベッドフィルタによるトランスコーディング方法及びトランスコーディング装置 | |
| JP4224662B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置 | |
| US20030118099A1 (en) | Fine-grain scalable video encoder with conditional replacement | |
| JP2901656B2 (ja) | 画像符号化装置 | |
| JP2004248124A (ja) | 階層的画像符号化装置および階層的画像復号装置 | |
| US20030118113A1 (en) | Fine-grain scalable video decoder with conditional replacement | |
| JP2002058028A (ja) | 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置 | |
| JPH0681308B2 (ja) | フレ−ム間符号化における量子化雑音抑圧方式 | |
| JP3202270B2 (ja) | 動画像符号化装置 | |
| JPH10210474A (ja) | 動画像符号化方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050831 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120909 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |