JP3629732B2 - 量子化装置および量子化方法 - Google Patents
量子化装置および量子化方法 Download PDFInfo
- Publication number
- JP3629732B2 JP3629732B2 JP27839594A JP27839594A JP3629732B2 JP 3629732 B2 JP3629732 B2 JP 3629732B2 JP 27839594 A JP27839594 A JP 27839594A JP 27839594 A JP27839594 A JP 27839594A JP 3629732 B2 JP3629732 B2 JP 3629732B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- quantization
- input signal
- evaluation value
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Input (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、例えばディジタル画像信号を量子化する場合に入力信号値と量子化復号値とで定義される量子化誤差最小規範に対して、さらに視覚特性を考慮した空間変動規範、および／または、時間変動規範を加味するようにした量子化装置および量子化方法に関する。
【０００２】
【従来の技術】
例えば、各画素が８ビットで表されるディジタル画像信号が入力され、各画素を８ビットより少ないビット数で量子化（再量子化）することによって、データ量を圧縮することが行われる。従来この量子化としては、入力信号値と量子化復号値との量子化誤差が最小となるように量子化値が選択されていた。この量子化装置において、入力信号レベルの分布に極端な偏りがない場合、その量子化誤差の積算値は最小となりＳ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）比は、最良となる。そのため、従来の量子化装置は、Ｓ／Ｎ規範に基づいて量子化値が決定されている。この規範とは、のっとるべき規則を言い、すなわちＳ／Ｎ規範とは、量子化誤差を最小とする量子化値を選択する規則を意味する。
【０００３】
ここで、Ｓ／Ｎ規範Ｑ１は式（１）で表される。Ｌ（ｉ）は入力信号値を表し、Ｌ（ｉ）＾は量子化復号値を表し、ｑ（ｉ）は量子化値を表し、ｎは量子化ビット数を表す。また、一般的な８ビット量子化の入力ディジタル画像信号に対する量子化式と復号式を式（２）、（３）に示す。
【０００４】
Ｑ１＝ＭＩＮ〔｜Ｌ（ｉ）＾−Ｌ（ｉ）｜〕 （１）
ｑ（ｉ）＝Ｌ（ｉ）／（２５５／２ｎ ） （２）
Ｌ（ｉ）＾＝ｑ（ｉ）・２５５／２ｎ （３）
【０００５】
式（１）におけるＭＩＮ〔 〕は、〔 〕内の値が最小値となる量子化値を選択することを意味する。入力信号値に対する各量子化値の量子化復号値の量子化誤差を比較し、Ｓ／Ｎ規範Ｑ１に基づいて量子化値が選択される。図１０に３ビット量子化の例を示す。従来のＳ／Ｎ規範量子化装置は、入力信号を８階調に量子化し、各量子化区間の中央値を量子化復号値として出力する。
【０００６】
図１０によると、入力信号の変化が小さくなる平坦領域において画質劣化が認められる。つまり、入力信号が領域境界レベルを挟み僅かに変動しているにも拘らず、量子化復号値においては、量子化ステップ幅に相当する信号変動に拡大されることになる。このような画質劣化は空間方向と時間方向の両者に発生し、画像のエッジ部分がザラザラと見える、すなわちエッジビジネスや時間的劣化の原因となる。このように、人間の視覚特性を考慮すると、必ずしもＳ／Ｎ規範による量子化が最適とは言えない。特に人間の視覚特性は、入力信号の空間的、あるいは時間的な信号変化に対する感度が高いと考えられるにも拘らず、従来の量子化装置は、入力信号値そのものを基準として量子化を行うため、信号変化に伴う画質劣化が目立つという欠点があった。
【０００７】
このような従来のＳ／Ｎ規範のみに基づく量子化装置の欠点を克服するため、本出願人は、上述のような人間の視覚特性を考慮した新規範Ｑ２を用いた量子化装置を先に提案している（特開平６−１６９２５７号公報参照）。新規範Ｑ２を式（４）に示す。
Ｑ２＝ＭＩＮ〔α〔Ｓ／Ｎ〕＋β〔ΔＳ〕＋γ〔ΔＴ〕〕 （４）
【０００８】
ここで、〔Ｓ／Ｎ〕はＳ／Ｎ評価値を表し、〔ΔＳ〕は空間変動評価値を表し、〔ΔＴ〕は時間変動評価値を表し、さらにα、β、γはそれぞれの重みを表している。この式（４）で表される新規範Ｑ２は、複数の量子化値候補に関して、Ｓ／Ｎ評価値、空間変動評価値および時間変動評価値を重み付け加算した新規範評価値を求め、この評価値を最小とする量子化値候補を出力量子化値として選択する規則である。図１１には、空間的に対応するｋフレームと（ｋ−１）フレームの画素配置図を示す。ｋフレームのＬｘ（ｋ）の値を有する画素の量子化を行う場合、新量子化規範Ｑ２で用いられる各評価値は次式で表される。
【０００９】
〔Ｓ／Ｎ〕＝｜Ｌｘ（ｋ）＾−Ｌｘ（ｋ）｜ （５）
〔ΔＳ〕＝〔ΔＳ１ 〕＋〔ΔＳ２ 〕＋〔ΔＳ３ 〕＋〔ΔＳ４ 〕 （６）
〔ΔＴ〕＝｜（Ｌｘ（ｋ）＾−Ｌｘ（ｋ−１）＾）−（Ｌｘ（ｋ）−Ｌｘ（ｋ
−１））｜ （７）
但し、〔ΔＳ１ 〕、〔ΔＳ２ 〕、〔ΔＳ３ 〕、〔ΔＳ４ 〕は、次式で定義される。
【００１０】
〔ΔＳ１ 〕＝｜（Ｌｘ（ｋ）＾−Ｌａ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌａ（ｋ）
）｜ （８）
〔ΔＳ２ 〕＝｜（Ｌｘ（ｋ）＾−Ｌｂ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｂ（ｋ）
）｜ （９）
〔ΔＳ３ 〕＝｜（Ｌｘ（ｋ）＾−Ｌｃ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｃ（ｋ）
）｜ （１０）
〔ΔＳ４ 〕＝｜（Ｌｘ（ｋ）＾−Ｌｄ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｄ（ｋ）
）｜ （１１）
【００１１】
Ｓ／Ｎ評価値〔Ｓ／Ｎ〕は、従来の量子化装置で評価されるのと同様の量子化誤差である。空間変動評価値〔ΔＳ〕は、空間内の量子化復号値の信号変化量（すなわち、空間内の量子化復号値の傾き）と入力信号の信号変化量（すなわち、空間内の入力信号値の傾き）との比較を行うものである。量子化復号値の信号変化量を算出する場合、既に新規範Ｑ２により決定済みの、過去の画素の量子化値を使用して比較するという処理上の制約がある。図１１においては、量子化対象画素Ｌｘ（ｋ）に関し、処理済み画素は近傍４画素Ｌａ（ｋ）、Ｌｂ（ｋ）、Ｌｃ（ｋ）、Ｌｄ（ｋ）であり、これらを使用して〔ΔＳ１ 〕、〔ΔＳ２ 〕、〔ΔＳ３ 〕、〔ΔＳ４ 〕がそれぞれ求められる。
【００１２】
時間変動評価値〔ΔＴ〕は、量子化対象画素Ｌｘ（ｋ）と同一位置にある前フレームの画素Ｌｘ（ｋ−１）とに関し、入力信号のフレーム間の変化量と量子化復号値のフレーム間の信号変化量とを比較するものである。上述のように式（４）のＭＩＮ〔 〕は、〔 〕内の評価値を最小とする量子化値候補が最終的な量子化値として選択されることを意味する。その結果、従来の量子化装置で問題となる画質劣化が低減される。
【００１３】
その様子を図１０に示す。すなわち、従来の量子化装置では、入力信号が量子化境界レベル近傍で僅かに変動している場合、量子化復号値においては量子化ステップ幅に相当する信号変動に拡大されていたが、上述の式（４）に基づく新規範量子化装置においては、この信号変動は抑圧され安定した量子化復号化値が得られる。こうして新規範量子化装置によって、意図した画質改善が達成できる。
【００１４】
【発明が解決しようとする課題】
上述の新規範量子化装置と従来の量子化装置とを比較すると、画質劣化はかなり低減される。しかしながら、新規範量子化の構造に起因する独特な画質劣化が発生する。そのひとつに『時間へばりつき』パターンが挙げられる。この画質劣化は、式（４）における時間変動評価値の寄与率が高すぎる場合に発生する。すなわち、物体輪郭部のような空間内信号変化が大きい対象が動く場合には、評価値の中で時間変動評価値が大きくなり、入力信号値の時間変化に追従した量子化値が選択される。
【００１５】
一方、空間内の信号変化が小さい平坦部分が動いたときでは、時間変動評価値も小さくなる。この平坦部分が動く時には、時間変動評価値の全体の評価値に対する寄与率が適切でないと、動き部分であっても、過去と同じ量子化値が選択され、時間的に変化しない、『時間へばりつき』パターンが発生することになる。より具体的には、画面内の比較的大きな面積の物体が動いた時に、量子化復号値の画像では、その輪郭部は動くが、物体内の平坦部分が動かない現象が生じ、見る者が違和感を持つことになる。さらに、隣接ブロック間で、重み特性が極端に変化する場合、ブロック形状に依存した画質差が発生することがある。
【００１６】
従って、この発明の目的は、新規範による量子化に独特な画質劣化である、上述の『時間へばりつき』現象を防止するために、ブロック毎に動き量を検出し、この動き量に応じてＳ／Ｎ評価値に対する重みα、空間変動評価値に対する重みβ、時間変動評価値に対する重みγを適応的に変化させることができる量子化装置および量子化方法を提供することにある。
【００１７】
【課題を解決するための手段】
この発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数と異なるｎビットの量子化値を出力する量子化装置において、
量子化値の複数の量子化値候補に関して、入力信号値と量子化値候補の復号値の差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値および／または入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、評価値を最小とする量子化候補を出力すべき量子化値として選択的に出力し、
画面内でＳ／Ｎ評価値、空間変動評価値および／または時間変動評価値に対する重みを適応的に変化させる際に、空間方向の変動を考慮して空間内の近傍画素から求められる動き量を変数として用いることを特徴とする量子化装置である。
【００１８】
さらに、この発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数と異なるｎビットの量子化値を出力する量子化方法において、
空間方向の変動を考慮して空間内の近傍画素から求めた動き量を変数として使用して、Ｓ／Ｎ評価値、空間変動評価値および／または時間変動評価値に対する重みを空間内で適応的に変化させるステップと、
量子化値の複数の量子化値候補に関して、入力信号値と量子化値候補の復号値の差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値および／または入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを、重みによって重み付け加算した評価値をそれぞれ求めるステップと、
評価値を最小とする量子化値候補を出力すべき量子化値として選択的に出力するステップとからなることを特徴とする量子化方法である。
【００１９】
【作用】
入力画像から検出される動き量に応じて、Ｓ／Ｎ評価値に対する重みα、空間変動評価値に対する重みβ、時間変動評価値に対する重みγを適応的に変化させることによって、『時間へばりつき』パターンの発生を防止する。
【００２０】
【実施例】
以下、この発明に係る量子化装置の一実施例について説明する。この発明は、動き量を検出し、Ｓ／Ｎ評価値、空間変動評価値、および時間変動評価値のそれぞれに対する重みを適切に制御するものである。最初に動き量の検出について説明する。まず、ここで動き量検出法について述べる。一般的には画面中に静止部と動画部が存在するので、局所的な動き量検出を行う必要がある。一例として、図１に示すような画面のブロック分割を導入する。各ブロックは、ｍ画素×ｎラインの画素数から構成されている。このブロック毎に動き量を検出する。
【００２１】
動き量検出方法の第１の例は、時間差分絶対値の積算値により動き量を決定する手段である。ｋフレームの座標（ｘ、ｙ）における入力信号値Ｌｘ ，ｙ （ｋ）、ｋ−１フレームの入力信号値をＬｘ ，ｙ （ｋ−１）とすると、時間差分絶対値が式（１２）で定義され、対象ブロックの画素平均時間差分絶対値Ｍが式（１３）で定義される。勿論、必ずしも画素平均化を行う必要はない。
【００２２】
ΔＴｘ，ｙ ＝Ｌｘ，ｙ （ｋ） −Ｌｘ，ｙ （ｋ−１） （１２）
【００２３】
【数１】
この値Ｍに応じて重みα、β、γを変化させる。
【００２４】
動き量検出方法の第２の例は、各画素の空間傾斜で正規化した時間差分絶対値を用いた動き量の決定法である。一般に、空間変動の大きい部分（輪郭部のような空間傾斜の大きい部分）での時間差分絶対値は大きくなる。一方、空間変動の小さい部分（平坦部のような空間傾斜の小さい部分）での時間差分絶対値は小さくなる。そこで、適正な動き量を算出するために、空間傾斜で正規化された時間差分絶対値を使用する。図１１の画素配置図における空間傾斜の算出例を式（１４）〜式（１８）に示す。
【００２５】
ΔＳ＝（〔ΔＳ１ 〕＋〔ΔＳ２ 〕＋〔ΔＳ３ 〕＋〔ΔＳ４ 〕）／４ （１４）
但し、〔ΔＳ１ 〕、〔ΔＳ２ 〕、〔ΔＳ３ 〕、〔ΔＳ４ 〕は、次式で定義されるもので、斜め方向、垂直方向および水平方向の空間傾斜を表す。
【００２６】
〔ΔＳ１ 〕＝｛（Ｌａ（ｋ）−Ｌｘ（ｋ））−（Ｌｘ（ｋ）−Ｌｈ（ｋ））｝
／２ （１５）
〔ΔＳ２ 〕＝｛（Ｌｂ（ｋ）−Ｌｘ（ｋ））−（Ｌｘ（ｋ）−Ｌｇ（ｋ））｝
／２ （１６）
〔ΔＳ３ 〕＝｛（Ｌｃ（ｋ）−Ｌｘ（ｋ））−（Ｌｘ（ｋ）−Ｌｆ（ｋ））｝
／２ （１７）
〔ΔＳ４ 〕＝｛（Ｌｄ（ｋ）−Ｌｘ（ｋ））−（Ｌｘ（ｋ）−Ｌｅ（ｋ））｝
／２ （１８）
【００２７】
このように、算出された座標（ｘ、ｙ）における空間傾斜ΔＳｘ，ｙ により正規化された画素平均動き量は、式（１９）で得られる。
【００２８】
【数２】
【００２９】
また、空間傾斜が極端に小さい画素においては正規化値が小さくなるため、動き量の感度が敏感になり過ぎる傾向がある。そこで、式（２０）のしきい値処理を導入する。すなわち、
ΔＳｘ，ｙ ＜しきい値ＴＨ ： ΔＳｘ，ｙ ＝１．０ （２０）
（ΔＳｘ，ｙ ≧しきい値ＴＨ ： ΔＳｘ，ｙ を変更しない。）
このしきい値処理により適正な動き量を算出することが可能となる。
【００３０】
以上の処理により得られる正規化動き量Ｍに関して、時間変動規範重みγに対して単調減少する特性を与える。その特性例を図２に示す。この例では動き量が小さい（０≦Ｍ＜Ｍ０）場合（静止ブロックの場合）、重みγを一定（例えば１．０）に設定し時間変動規範の寄与率を保つ。動き量が（Ｍ０≦Ｍ＜Ｍ１）の範囲では、重みγが単調減少する。図２では、単調減少が曲線が示されているが、直線的なものでも良い。一方、動き量がある値Ｍ１以上では時間変動評価値の重みγをゼロとして評価から外す。以上の特性により、動画像における時間変動規範の寄与率に起因する画質劣化の発生を防止することが可能となる。
【００３１】
更に、式（４）のＳ／Ｎ規範重みαや空間変動規範重みβに関しても、動き量に応じた可変特性を採用することで、新規範量子化装置による画質向上を図ることが可能となる。その特性例を図３および図４にそれぞれ示す。空間変動評価値に対する重みβも、時間変動評価値に対する重みγと同様に、動き量に対し単調減少特性を示している。動き量が大きいと、重みγが小となり、相対的にβの寄与率が高くなり、その結果、固定パターンの動きが斜め方向に流れるような画質劣化を生じさせる。これを防止するために、重みβも単調減少特性としている。Ｓ／Ｎ評価値の重みαは、動き量に対してゆるやかな単調増加特性を示している。
【００３２】
また、上述の目的の動き量検出法として、所謂、動きベクトルを使用することも可能である。その例を以下に説明する。一般的に、動きベクトル検出法には大きく分類して次の３種類が挙げられる。
（１）ブロックマッチング法
（２）勾配法
（３）位相相関法
【００３３】
ブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行う。具体例としては、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる位置を動きベクトルとするものである。
【００３４】
ブロックマッチング法を用いるブロックデータの構造例を図５に示す。隣接フレーム間での動きベクトルを検出する場合、空間的に対応する位置にブロック（Ｍ画素×Ｎライン）が設定される。ｋフレーム（現フレーム）とｋ−１フレーム（前フレーム）で探索座標分ずらし、すなわち、水平方向で（Ｘ＋Ｍ）画素、垂直方向で（Ｙ＋Ｎ）ラインずらし、各座標位置においてパターンマッチングを行ない、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる座標位置を検出する。
【００３５】
ｋフレームの座標（ｉ，ｊ） の画素レベルをＬＫ （ｉ，ｊ） 、ｋ−１ フレームの座標（ｉ，ｊ） の画素レベルをＬｋ−１ （ｉ，ｊ）とすると、座標（ｘ，ｙ）における評価式の例として式（２１）が挙げられる。
【００３６】
【数３】
【００３７】
図５の例においては、サーチ領域内の各座標についての評価式（式２１）の評価値Ｅを演算する。サーチ点の数はＸ・Ｙ点となる。その中で、評価値Ｅが最小となる座標（ｘ，ｙ）が動きベクトルに対応する。求められた動きベクトルをｖ＝（ｖｘ ， ｖｙ ）とすると、ｖｘ ＝−ｘ、ｖｙ ＝−ｙで与えられる。この手法は演算量が膨大となる欠点があるが、検出精度は良いので広く一般的に用いられている。
【００３８】
勾配法は、ある空間傾斜を持つ画素がある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づく。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。勾配法の基本処理を次に示す。
【００３９】
座標（ｘ，ｙ）における画素値をｇ（ｘ，ｙ）とする。
動きベクトルをｖ＝（ｖｘ ，ｖｙ ）とすると、次の時刻の画素値は、ｇ（ｘ−ｖｘ ，ｙ−ｖｙ ）となる。これをテーラー展開すると式（２２）になる。
【００４０】
【数４】
【００４１】
ここで時間差分を式（２３）で表す。
ｄ（ｘ，ｙ）＝ｇ（ｘ−ｖｘ ，ｙ−ｖｙ ）−ｇ（ｘ，ｙ） （２３）
これにより式（２４）が得られる。
ｖ・ｇｒａｄｇ（ｘ，ｙ） 〜 −ｄ（ｘ，ｙ） （２４）
この式（２４）により時間差分と空間勾配から動きベクトルを求めることが出来る。
【００４２】
あるブロック内の画素に対し、最小自乗法を式（２４）に適用しｖについて解くと、式（２５）、式（２６）が得られる。
ｖｘ ＝−（ΣΔｔ Δｘ ）／（ΣΔｘ ２ ） （２５）
ｖｙ ＝−（ΣΔｔ Δｙ ）／（ΣΔｙ ２ ） （２６）
Δｔ は時間差分、Δｘ は水平勾配、Δｙ は垂直勾配を表す。
【００４３】
更に簡略化することで式（２７）、式（２８）が得られる。
ｖｘ ＝−｛ΣΔｔ ｓｉｇｎ（Δｘ ）｝／（Σ｜Δｘ ｜） （２７）
ｖｙ ＝−｛ΣΔｔ ｓｉｇｎ（Δｙ ）｝／（Σ｜Δｙ ｜） （２８）
ｓｉｇｎ（ ）は符号を表す。
【００４４】
一般的に勾配法による動き量検出には、式（２７）、式（２８）が用いられる。勾配法は演算量は少ないが、動き量が大きくなると検出動きベクトルの精度が落ちるという欠点がある。それは前述のモデルが成り立たなくなるからである。しかしながら、実用上は、反復的に動きベクトルを順次検出していくなど、様々な工夫により精度を得るようにしている。
【００４５】
さらに、位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のずれ量を検出し、その位相項を逆フリーエ変換を用いて動きベクトル値を検出する手法である。この手法の特徴として、精度を確保するためには、ある程度以上の大きいブロックサイズが要求される。そのためフーリエ変換により演算量が膨大となる。また、一般的に大きいブロックの中には複数の動きが存在し、その識別判定が難しくなるという欠点がある。
【００４６】
以上述べた動きベクトル検出法の何れかを適用し、図１の各ブロック毎に動きベクトルｖ＝（ｖｘ ，ｖｙ ） を検出する。この動きベクトルｖに関して、例えば、式（２９）で定義される動きベクトルノルムＭを動き量とする。
【００４７】
【数５】
【００４８】
この動き量は、前述の時間差分絶対値を使用する手法と比較して、回路の負担が大きいが、精度は高い。そこで、動き量に応じて定義される各規範の重み特性を図２、図３および図４と同様に決定することで、新規範量子化装置による画質向上を図ることが可能となる。
【００４９】
ここで、上述の検出された動き量に基づく重みα、β、γの切り換えは、検出された動き量毎に行われる。上述の例においては、図１に示すブロック毎に重みは変化する。そこで、実際に量子化に用いる重みは、量子化対象画素の近傍画素の重みも考慮した上で、実際の重みを決定することを提案する。すなわち、図１の隣接ブロック間で、重み特性が極端に変化する場合、ブロック形状に依存した画質差が発生することがある。このような画質劣化を排除するため、ブロック境界近傍を主体に重みの平滑化が行われ、不要な画質差の発生が抑圧される。近傍画素の規範重みをｗｉ 、平滑化された規範重みをＷ、平滑化フィルタ係数をａｉ 、タップ数をｍとすると、式（３０）の演算により平滑化処理が実行される。
【００５０】
【数６】
【００５１】
例えば、図６に示すように３画素×３ラインの量子化対象画素に対して１／４のゲインを掛け、量子化対象画素の縦方向、および横方向の各画素に対して１／８のゲインを掛け、さらに量子化対象画素の斜め方向の各画素に対して１／１６のゲインを掛けるような平滑化フィルタが用いられた場合、量子化対象画素近傍の重みの急激な変化が抑圧される。図１のブロック内では、各重みα、β、γは一定であるので、図６に示すようなゲインが ｀１’ のフィルタにおいては、結果的に重みが変化する部分、すなわちブロック境界部のみの重みを平滑化することになる。図６は、一例であり、状況によっては更に空間内のタップ数を増やした平滑化フィルタを適用することも考えられる。
【００５２】
以上は、空間内の平滑化処理であるが、時間方向にも平滑化を施す一例を図７に示す。この図７の平滑化フィルタは、例えば１次元平滑化フィルタとする。処理の都合上、最終タップ位置が量子化対象画面とする。この空間内平滑化フィルタを量子化対象画素位置の過去の重みに適用することにより、時間方向の急激な重みの変化が抑圧され、不要な画質差が低減される。以上の空間内平滑化フィルタと時間方向平滑化フィルタは、分離した構成にして適用することも出来るが、時空間の非分離形（一体処理構成）のフィルタを適用しても実現出来る。以上のように、時空間の近傍画素における重みを考慮した上で、量子化対象画素の最終的な重みα、β、γを決定することにより、画像特性の急峻な変化に伴う不自然な画質差を排除することが出来る。
【００５３】
上述したように、動き量を検出し、この動き量に応じて各評価値の重みを変更するこの発明の一実施例は、図８のフローチャートに従って量子化値が決定される。基本的には、設定された量子化ビット数ｎで生成可能な全ての線形量子化値ｑ（ｉ）に関し、式（４）で定義される新規範評価値を算出し、その最小値を有する量子化コードを出力値とする。この図８のフローチャートのステップ１において、上述したような方法を使用して動き量がブロック毎に検出される。
【００５４】
次のステップ２において、検出された動き量からそのブロックの重みα、β、γが決定される。例として挙げた図２、図３および図４にそれぞれ示される特性に従って、これらの重みが決定される。そして、ステップ３の重み平滑化へ制御が移ると、近傍画素の評価値の重みを元にした重みの平滑化が行われ、式（４）の量子化規範評価式が定まる。
【００５５】
そして、ステップ４において、カウンタｑに ｀０’ が設定される。カウンタｑは、量子化値候補と対応している。次のステップ５では、ｑと対応する量子化値候補について、式（４）を使用した評価値の算出がなされる。算出された新規範評価値が登録される。
【００５６】
ステップ６のインクリメントでは、カウンタｑに ｀＋１’ が加算され、ステップ７へ制御が移る。ステップ７のｑ＝Ｎでは、ステップ６（インクリメント）において加算されたカウンタｑがＮと等しいか否かが判別され、ｑ≠Ｎの場合、ステップ５（評価値の算出および登録）へ制御が戻り、ｑ＝Ｎの場合、ステップ８へ制御が移る。すなわち、評価対象の量子化コードの最大値が（Ｎ−１）の場合には、この（Ｎ−１）で設定される回数、ステップ５およびステップ６の処理が繰り返され、カウンタｑがＮに等しくなるとき、ループは終了する。
【００５７】
次に、ステップ８の評価値の最小値検出において、量子化コード候補の内で最小の新規範評価値のを生じさせる量子化コードｑが最終結果として選択される。ステップ９の量子化値ｑ登録において、選択された量子化コードｑが登録され、このフローチャートは終了する。
【００５８】
次に、この発明の量子化装置の処理を実現する一実施例のブロック図を図９に示す。入力端子１１から供給される入力信号値Ｌ（ｉ）、例えば各画素が８ビットに量子化されたディジタル画像信号は、量子化器１２、処理部１３へ供給される。この処理部１３は、動き量検出部１８、重み決定部１５、重み処理部１９、判定部１６、メモリ部１７から構成され、入力端子１１から供給された入力信号値Ｌ（ｉ）は、動き量検出部１８、判定部１６、およびメモリ部１７へ供給される。量子化器１２において、供給された入力信号値Ｌ（ｉ）が８ビットより少ないｎビットへ量子化される。この量子化器１２からは、２ｎ の数の量子化値候補が発生する。
【００５９】
量子化器１２により生成された線形量子化値ｑ（ｉ）は、ｄ０として判定部１６へ供給される。重み決定部１５は、動き量検出部１８により検出された動き量ｄ１に応答してブロック毎の重みを決定する。この重み決定部１５から重みα、β、γがｄ２として重み処理部１９へ供給される。重み処理部１９では、上述した平滑化処理、例えばＬＰＦ処理が施され、最終的な新規範評価式が定まり、各々の評価値の重みは、ｄ３として判定部１６へ供給される。
【００６０】
新規範量子化においては、式（４）で定義される新規範Ｑ２が用いられるため、入力信号値Ｌ（ｉ）と決定済み量子化値ｄ４を記憶しておく必要がある。メモリ部１７からは、必要に応じて記憶データｄ４（すなわち、決定済み量子化値）が、判定部１６へ供給される。判定部１６では、上述した図６に示すフローチャートの処理が行われる。すなわち、供給された入力信号値Ｌ（ｉ）、線形量子化値ｄ０、重みｄ３、記憶データｄ４から式（４）の判定が実行され、最終的な量子化値ｑ（ｉ）が選択され、出力端子１４から取り出される。
【００６１】
この新規範量子化装置により、従来の量子化装置の画質劣化を低減し、視覚特性に合致する量子化画像を得ることができる。
【００６２】
図９中の量子化器１２において、全ての量子化値を発生するのと異なり、Ｓ／Ｎ規範に基づいて選択された基準の量子化値を生成し、この量子化値と、その上下の量子化値の３種類の量子化値候補について、判定部１６が新規範評価値をそれぞれ求め、この３個の新規範評価値の中で最小のものと対応する量子化値候補を選択的に出力する構成としても良い。
【００６３】
また、この実施例では、動き量に応じた可変重みの一例を示しているが、上述の重みに対してなされる平滑化は、動き量に応じたものに限らず一般の可変重みの場合にも有効に用いることが可能である。
【００６４】
なお、この発明は、空間変動評価値と時間変動評価値との一方のみを使用して新規範評価値を構成するようにしても良い。例えば、ディジタルオーディオ信号のような場合には、Ｓ／Ｎ評価値と時間変動評価値とを使用した評価値を使用することができる。
【００６５】
【発明の効果】
この発明によれば、視覚特性を考慮した量子化が行えることで、量子化境界レベル近傍の入力信号値の変化が拡大されることによる空間方向、あるいは時間方向の画質劣化を低減することができる。
【００６６】
また、この発明によれば、動き量が大きい場合では、時間変動評価値に対する重みγを減少させることによって、重みγの値を適切なものとすることができ、冒頭に述べたような画質劣化を防止することが可能となる。
【００６７】
さらに、この発明によれば、元の量子化ビット数より少ないビット数でも良好な画像を得ることができ、例えばディジタル入力信号の圧縮を良好に得ることができる。
【図面の簡単な説明】
【図１】この発明に係る動き量検出のための画面分割の一例を示す略線図である。
【図２】時間変動評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図３】空間変動評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図４】Ｓ／Ｎ評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図５】動きベクトル検出方法の一例を説明するための略線図である。
【図６】この発明に係る空間内平滑化フィルタの一例を示す略線図である。
【図７】この発明に係る時間方向平滑化フィルタの一例を示す略線図である。
【図８】この発明に係る可変重みの新規範量子化装置の判定部の一実施例を示すフローチャートである。
【図９】この発明に係る新規範量子化装置の一実施例を示すブロック図である。
【図１０】入力信号に対して３ビット量子化が行われた一例を示す略線図である。
【図１１】画素の配置の一例を示すブロック図である。
【符号の説明】
１２ 量子化器
１３ 処理部
１５ 重み決定部
１６ 判定部
１７ メモリ部
１８ 動き量検出部
１９ 重み処理部
【産業上の利用分野】
この発明は、例えばディジタル画像信号を量子化する場合に入力信号値と量子化復号値とで定義される量子化誤差最小規範に対して、さらに視覚特性を考慮した空間変動規範、および／または、時間変動規範を加味するようにした量子化装置および量子化方法に関する。
【０００２】
【従来の技術】
例えば、各画素が８ビットで表されるディジタル画像信号が入力され、各画素を８ビットより少ないビット数で量子化（再量子化）することによって、データ量を圧縮することが行われる。従来この量子化としては、入力信号値と量子化復号値との量子化誤差が最小となるように量子化値が選択されていた。この量子化装置において、入力信号レベルの分布に極端な偏りがない場合、その量子化誤差の積算値は最小となりＳ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）比は、最良となる。そのため、従来の量子化装置は、Ｓ／Ｎ規範に基づいて量子化値が決定されている。この規範とは、のっとるべき規則を言い、すなわちＳ／Ｎ規範とは、量子化誤差を最小とする量子化値を選択する規則を意味する。
【０００３】
ここで、Ｓ／Ｎ規範Ｑ１は式（１）で表される。Ｌ（ｉ）は入力信号値を表し、Ｌ（ｉ）＾は量子化復号値を表し、ｑ（ｉ）は量子化値を表し、ｎは量子化ビット数を表す。また、一般的な８ビット量子化の入力ディジタル画像信号に対する量子化式と復号式を式（２）、（３）に示す。
【０００４】
Ｑ１＝ＭＩＮ〔｜Ｌ（ｉ）＾−Ｌ（ｉ）｜〕 （１）
ｑ（ｉ）＝Ｌ（ｉ）／（２５５／２ｎ ） （２）
Ｌ（ｉ）＾＝ｑ（ｉ）・２５５／２ｎ （３）
【０００５】
式（１）におけるＭＩＮ〔 〕は、〔 〕内の値が最小値となる量子化値を選択することを意味する。入力信号値に対する各量子化値の量子化復号値の量子化誤差を比較し、Ｓ／Ｎ規範Ｑ１に基づいて量子化値が選択される。図１０に３ビット量子化の例を示す。従来のＳ／Ｎ規範量子化装置は、入力信号を８階調に量子化し、各量子化区間の中央値を量子化復号値として出力する。
【０００６】
図１０によると、入力信号の変化が小さくなる平坦領域において画質劣化が認められる。つまり、入力信号が領域境界レベルを挟み僅かに変動しているにも拘らず、量子化復号値においては、量子化ステップ幅に相当する信号変動に拡大されることになる。このような画質劣化は空間方向と時間方向の両者に発生し、画像のエッジ部分がザラザラと見える、すなわちエッジビジネスや時間的劣化の原因となる。このように、人間の視覚特性を考慮すると、必ずしもＳ／Ｎ規範による量子化が最適とは言えない。特に人間の視覚特性は、入力信号の空間的、あるいは時間的な信号変化に対する感度が高いと考えられるにも拘らず、従来の量子化装置は、入力信号値そのものを基準として量子化を行うため、信号変化に伴う画質劣化が目立つという欠点があった。
【０００７】
このような従来のＳ／Ｎ規範のみに基づく量子化装置の欠点を克服するため、本出願人は、上述のような人間の視覚特性を考慮した新規範Ｑ２を用いた量子化装置を先に提案している（特開平６−１６９２５７号公報参照）。新規範Ｑ２を式（４）に示す。
Ｑ２＝ＭＩＮ〔α〔Ｓ／Ｎ〕＋β〔ΔＳ〕＋γ〔ΔＴ〕〕 （４）
【０００８】
ここで、〔Ｓ／Ｎ〕はＳ／Ｎ評価値を表し、〔ΔＳ〕は空間変動評価値を表し、〔ΔＴ〕は時間変動評価値を表し、さらにα、β、γはそれぞれの重みを表している。この式（４）で表される新規範Ｑ２は、複数の量子化値候補に関して、Ｓ／Ｎ評価値、空間変動評価値および時間変動評価値を重み付け加算した新規範評価値を求め、この評価値を最小とする量子化値候補を出力量子化値として選択する規則である。図１１には、空間的に対応するｋフレームと（ｋ−１）フレームの画素配置図を示す。ｋフレームのＬｘ（ｋ）の値を有する画素の量子化を行う場合、新量子化規範Ｑ２で用いられる各評価値は次式で表される。
【０００９】
〔Ｓ／Ｎ〕＝｜Ｌｘ（ｋ）＾−Ｌｘ（ｋ）｜ （５）
〔ΔＳ〕＝〔ΔＳ１ 〕＋〔ΔＳ２ 〕＋〔ΔＳ３ 〕＋〔ΔＳ４ 〕 （６）
〔ΔＴ〕＝｜（Ｌｘ（ｋ）＾−Ｌｘ（ｋ−１）＾）−（Ｌｘ（ｋ）−Ｌｘ（ｋ
−１））｜ （７）
但し、〔ΔＳ１ 〕、〔ΔＳ２ 〕、〔ΔＳ３ 〕、〔ΔＳ４ 〕は、次式で定義される。
【００１０】
〔ΔＳ１ 〕＝｜（Ｌｘ（ｋ）＾−Ｌａ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌａ（ｋ）
）｜ （８）
〔ΔＳ２ 〕＝｜（Ｌｘ（ｋ）＾−Ｌｂ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｂ（ｋ）
）｜ （９）
〔ΔＳ３ 〕＝｜（Ｌｘ（ｋ）＾−Ｌｃ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｃ（ｋ）
）｜ （１０）
〔ΔＳ４ 〕＝｜（Ｌｘ（ｋ）＾−Ｌｄ（ｋ）＾）−（Ｌｘ（ｋ）−Ｌｄ（ｋ）
）｜ （１１）
【００１１】
Ｓ／Ｎ評価値〔Ｓ／Ｎ〕は、従来の量子化装置で評価されるのと同様の量子化誤差である。空間変動評価値〔ΔＳ〕は、空間内の量子化復号値の信号変化量（すなわち、空間内の量子化復号値の傾き）と入力信号の信号変化量（すなわち、空間内の入力信号値の傾き）との比較を行うものである。量子化復号値の信号変化量を算出する場合、既に新規範Ｑ２により決定済みの、過去の画素の量子化値を使用して比較するという処理上の制約がある。図１１においては、量子化対象画素Ｌｘ（ｋ）に関し、処理済み画素は近傍４画素Ｌａ（ｋ）、Ｌｂ（ｋ）、Ｌｃ（ｋ）、Ｌｄ（ｋ）であり、これらを使用して〔ΔＳ１ 〕、〔ΔＳ２ 〕、〔ΔＳ３ 〕、〔ΔＳ４ 〕がそれぞれ求められる。
【００１２】
時間変動評価値〔ΔＴ〕は、量子化対象画素Ｌｘ（ｋ）と同一位置にある前フレームの画素Ｌｘ（ｋ−１）とに関し、入力信号のフレーム間の変化量と量子化復号値のフレーム間の信号変化量とを比較するものである。上述のように式（４）のＭＩＮ〔 〕は、〔 〕内の評価値を最小とする量子化値候補が最終的な量子化値として選択されることを意味する。その結果、従来の量子化装置で問題となる画質劣化が低減される。
【００１３】
その様子を図１０に示す。すなわち、従来の量子化装置では、入力信号が量子化境界レベル近傍で僅かに変動している場合、量子化復号値においては量子化ステップ幅に相当する信号変動に拡大されていたが、上述の式（４）に基づく新規範量子化装置においては、この信号変動は抑圧され安定した量子化復号化値が得られる。こうして新規範量子化装置によって、意図した画質改善が達成できる。
【００１４】
【発明が解決しようとする課題】
上述の新規範量子化装置と従来の量子化装置とを比較すると、画質劣化はかなり低減される。しかしながら、新規範量子化の構造に起因する独特な画質劣化が発生する。そのひとつに『時間へばりつき』パターンが挙げられる。この画質劣化は、式（４）における時間変動評価値の寄与率が高すぎる場合に発生する。すなわち、物体輪郭部のような空間内信号変化が大きい対象が動く場合には、評価値の中で時間変動評価値が大きくなり、入力信号値の時間変化に追従した量子化値が選択される。
【００１５】
一方、空間内の信号変化が小さい平坦部分が動いたときでは、時間変動評価値も小さくなる。この平坦部分が動く時には、時間変動評価値の全体の評価値に対する寄与率が適切でないと、動き部分であっても、過去と同じ量子化値が選択され、時間的に変化しない、『時間へばりつき』パターンが発生することになる。より具体的には、画面内の比較的大きな面積の物体が動いた時に、量子化復号値の画像では、その輪郭部は動くが、物体内の平坦部分が動かない現象が生じ、見る者が違和感を持つことになる。さらに、隣接ブロック間で、重み特性が極端に変化する場合、ブロック形状に依存した画質差が発生することがある。
【００１６】
従って、この発明の目的は、新規範による量子化に独特な画質劣化である、上述の『時間へばりつき』現象を防止するために、ブロック毎に動き量を検出し、この動き量に応じてＳ／Ｎ評価値に対する重みα、空間変動評価値に対する重みβ、時間変動評価値に対する重みγを適応的に変化させることができる量子化装置および量子化方法を提供することにある。
【００１７】
【課題を解決するための手段】
この発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数と異なるｎビットの量子化値を出力する量子化装置において、
量子化値の複数の量子化値候補に関して、入力信号値と量子化値候補の復号値の差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値および／または入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、評価値を最小とする量子化候補を出力すべき量子化値として選択的に出力し、
画面内でＳ／Ｎ評価値、空間変動評価値および／または時間変動評価値に対する重みを適応的に変化させる際に、空間方向の変動を考慮して空間内の近傍画素から求められる動き量を変数として用いることを特徴とする量子化装置である。
【００１８】
さらに、この発明は、所定の量子化ビット数の入力信号値が供給され、量子化ビット数と異なるｎビットの量子化値を出力する量子化方法において、
空間方向の変動を考慮して空間内の近傍画素から求めた動き量を変数として使用して、Ｓ／Ｎ評価値、空間変動評価値および／または時間変動評価値に対する重みを空間内で適応的に変化させるステップと、
量子化値の複数の量子化値候補に関して、入力信号値と量子化値候補の復号値の差であるＳ／Ｎ評価値と、入力信号値の空間変動と量子化値候補の復号値の空間変動の差である空間変動評価値および／または入力信号値の時間変動と量子化値候補の復号値の時間変動の差である時間変動評価値とを、重みによって重み付け加算した評価値をそれぞれ求めるステップと、
評価値を最小とする量子化値候補を出力すべき量子化値として選択的に出力するステップとからなることを特徴とする量子化方法である。
【００１９】
【作用】
入力画像から検出される動き量に応じて、Ｓ／Ｎ評価値に対する重みα、空間変動評価値に対する重みβ、時間変動評価値に対する重みγを適応的に変化させることによって、『時間へばりつき』パターンの発生を防止する。
【００２０】
【実施例】
以下、この発明に係る量子化装置の一実施例について説明する。この発明は、動き量を検出し、Ｓ／Ｎ評価値、空間変動評価値、および時間変動評価値のそれぞれに対する重みを適切に制御するものである。最初に動き量の検出について説明する。まず、ここで動き量検出法について述べる。一般的には画面中に静止部と動画部が存在するので、局所的な動き量検出を行う必要がある。一例として、図１に示すような画面のブロック分割を導入する。各ブロックは、ｍ画素×ｎラインの画素数から構成されている。このブロック毎に動き量を検出する。
【００２１】
動き量検出方法の第１の例は、時間差分絶対値の積算値により動き量を決定する手段である。ｋフレームの座標（ｘ、ｙ）における入力信号値Ｌｘ ，ｙ （ｋ）、ｋ−１フレームの入力信号値をＬｘ ，ｙ （ｋ−１）とすると、時間差分絶対値が式（１２）で定義され、対象ブロックの画素平均時間差分絶対値Ｍが式（１３）で定義される。勿論、必ずしも画素平均化を行う必要はない。
【００２２】
ΔＴｘ，ｙ ＝Ｌｘ，ｙ （ｋ） −Ｌｘ，ｙ （ｋ−１） （１２）
【００２３】
【数１】
【００２４】
動き量検出方法の第２の例は、各画素の空間傾斜で正規化した時間差分絶対値を用いた動き量の決定法である。一般に、空間変動の大きい部分（輪郭部のような空間傾斜の大きい部分）での時間差分絶対値は大きくなる。一方、空間変動の小さい部分（平坦部のような空間傾斜の小さい部分）での時間差分絶対値は小さくなる。そこで、適正な動き量を算出するために、空間傾斜で正規化された時間差分絶対値を使用する。図１１の画素配置図における空間傾斜の算出例を式（１４）〜式（１８）に示す。
【００２５】
ΔＳ＝（〔ΔＳ１ 〕＋〔ΔＳ２ 〕＋〔ΔＳ３ 〕＋〔ΔＳ４ 〕）／４ （１４）
但し、〔ΔＳ１ 〕、〔ΔＳ２ 〕、〔ΔＳ３ 〕、〔ΔＳ４ 〕は、次式で定義されるもので、斜め方向、垂直方向および水平方向の空間傾斜を表す。
【００２６】
〔ΔＳ１ 〕＝｛（Ｌａ（ｋ）−Ｌｘ（ｋ））−（Ｌｘ（ｋ）−Ｌｈ（ｋ））｝
／２ （１５）
〔ΔＳ２ 〕＝｛（Ｌｂ（ｋ）−Ｌｘ（ｋ））−（Ｌｘ（ｋ）−Ｌｇ（ｋ））｝
／２ （１６）
〔ΔＳ３ 〕＝｛（Ｌｃ（ｋ）−Ｌｘ（ｋ））−（Ｌｘ（ｋ）−Ｌｆ（ｋ））｝
／２ （１７）
〔ΔＳ４ 〕＝｛（Ｌｄ（ｋ）−Ｌｘ（ｋ））−（Ｌｘ（ｋ）−Ｌｅ（ｋ））｝
／２ （１８）
【００２７】
このように、算出された座標（ｘ、ｙ）における空間傾斜ΔＳｘ，ｙ により正規化された画素平均動き量は、式（１９）で得られる。
【００２８】
【数２】
また、空間傾斜が極端に小さい画素においては正規化値が小さくなるため、動き量の感度が敏感になり過ぎる傾向がある。そこで、式（２０）のしきい値処理を導入する。すなわち、
ΔＳｘ，ｙ ＜しきい値ＴＨ ： ΔＳｘ，ｙ ＝１．０ （２０）
（ΔＳｘ，ｙ ≧しきい値ＴＨ ： ΔＳｘ，ｙ を変更しない。）
このしきい値処理により適正な動き量を算出することが可能となる。
【００３０】
以上の処理により得られる正規化動き量Ｍに関して、時間変動規範重みγに対して単調減少する特性を与える。その特性例を図２に示す。この例では動き量が小さい（０≦Ｍ＜Ｍ０）場合（静止ブロックの場合）、重みγを一定（例えば１．０）に設定し時間変動規範の寄与率を保つ。動き量が（Ｍ０≦Ｍ＜Ｍ１）の範囲では、重みγが単調減少する。図２では、単調減少が曲線が示されているが、直線的なものでも良い。一方、動き量がある値Ｍ１以上では時間変動評価値の重みγをゼロとして評価から外す。以上の特性により、動画像における時間変動規範の寄与率に起因する画質劣化の発生を防止することが可能となる。
【００３１】
更に、式（４）のＳ／Ｎ規範重みαや空間変動規範重みβに関しても、動き量に応じた可変特性を採用することで、新規範量子化装置による画質向上を図ることが可能となる。その特性例を図３および図４にそれぞれ示す。空間変動評価値に対する重みβも、時間変動評価値に対する重みγと同様に、動き量に対し単調減少特性を示している。動き量が大きいと、重みγが小となり、相対的にβの寄与率が高くなり、その結果、固定パターンの動きが斜め方向に流れるような画質劣化を生じさせる。これを防止するために、重みβも単調減少特性としている。Ｓ／Ｎ評価値の重みαは、動き量に対してゆるやかな単調増加特性を示している。
【００３２】
また、上述の目的の動き量検出法として、所謂、動きベクトルを使用することも可能である。その例を以下に説明する。一般的に、動きベクトル検出法には大きく分類して次の３種類が挙げられる。
（１）ブロックマッチング法
（２）勾配法
（３）位相相関法
【００３３】
ブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行う。具体例としては、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる位置を動きベクトルとするものである。
【００３４】
ブロックマッチング法を用いるブロックデータの構造例を図５に示す。隣接フレーム間での動きベクトルを検出する場合、空間的に対応する位置にブロック（Ｍ画素×Ｎライン）が設定される。ｋフレーム（現フレーム）とｋ−１フレーム（前フレーム）で探索座標分ずらし、すなわち、水平方向で（Ｘ＋Ｍ）画素、垂直方向で（Ｙ＋Ｎ）ラインずらし、各座標位置においてパターンマッチングを行ない、ブロック毎の差分絶対値和（あるいは差分の二乗和）が最小となる座標位置を検出する。
【００３５】
ｋフレームの座標（ｉ，ｊ） の画素レベルをＬＫ （ｉ，ｊ） 、ｋ−１ フレームの座標（ｉ，ｊ） の画素レベルをＬｋ−１ （ｉ，ｊ）とすると、座標（ｘ，ｙ）における評価式の例として式（２１）が挙げられる。
【００３６】
【数３】
図５の例においては、サーチ領域内の各座標についての評価式（式２１）の評価値Ｅを演算する。サーチ点の数はＸ・Ｙ点となる。その中で、評価値Ｅが最小となる座標（ｘ，ｙ）が動きベクトルに対応する。求められた動きベクトルをｖ＝（ｖｘ ， ｖｙ ）とすると、ｖｘ ＝−ｘ、ｖｙ ＝−ｙで与えられる。この手法は演算量が膨大となる欠点があるが、検出精度は良いので広く一般的に用いられている。
【００３８】
勾配法は、ある空間傾斜を持つ画素がある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づく。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。勾配法の基本処理を次に示す。
【００３９】
座標（ｘ，ｙ）における画素値をｇ（ｘ，ｙ）とする。
動きベクトルをｖ＝（ｖｘ ，ｖｙ ）とすると、次の時刻の画素値は、ｇ（ｘ−ｖｘ ，ｙ−ｖｙ ）となる。これをテーラー展開すると式（２２）になる。
【００４０】
【数４】
ここで時間差分を式（２３）で表す。
ｄ（ｘ，ｙ）＝ｇ（ｘ−ｖｘ ，ｙ−ｖｙ ）−ｇ（ｘ，ｙ） （２３）
これにより式（２４）が得られる。
ｖ・ｇｒａｄｇ（ｘ，ｙ） 〜 −ｄ（ｘ，ｙ） （２４）
この式（２４）により時間差分と空間勾配から動きベクトルを求めることが出来る。
【００４２】
あるブロック内の画素に対し、最小自乗法を式（２４）に適用しｖについて解くと、式（２５）、式（２６）が得られる。
ｖｘ ＝−（ΣΔｔ Δｘ ）／（ΣΔｘ ２ ） （２５）
ｖｙ ＝−（ΣΔｔ Δｙ ）／（ΣΔｙ ２ ） （２６）
Δｔ は時間差分、Δｘ は水平勾配、Δｙ は垂直勾配を表す。
【００４３】
更に簡略化することで式（２７）、式（２８）が得られる。
ｖｘ ＝−｛ΣΔｔ ｓｉｇｎ（Δｘ ）｝／（Σ｜Δｘ ｜） （２７）
ｖｙ ＝−｛ΣΔｔ ｓｉｇｎ（Δｙ ）｝／（Σ｜Δｙ ｜） （２８）
ｓｉｇｎ（ ）は符号を表す。
【００４４】
一般的に勾配法による動き量検出には、式（２７）、式（２８）が用いられる。勾配法は演算量は少ないが、動き量が大きくなると検出動きベクトルの精度が落ちるという欠点がある。それは前述のモデルが成り立たなくなるからである。しかしながら、実用上は、反復的に動きベクトルを順次検出していくなど、様々な工夫により精度を得るようにしている。
【００４５】
さらに、位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のずれ量を検出し、その位相項を逆フリーエ変換を用いて動きベクトル値を検出する手法である。この手法の特徴として、精度を確保するためには、ある程度以上の大きいブロックサイズが要求される。そのためフーリエ変換により演算量が膨大となる。また、一般的に大きいブロックの中には複数の動きが存在し、その識別判定が難しくなるという欠点がある。
【００４６】
以上述べた動きベクトル検出法の何れかを適用し、図１の各ブロック毎に動きベクトルｖ＝（ｖｘ ，ｖｙ ） を検出する。この動きベクトルｖに関して、例えば、式（２９）で定義される動きベクトルノルムＭを動き量とする。
【００４７】
【数５】
この動き量は、前述の時間差分絶対値を使用する手法と比較して、回路の負担が大きいが、精度は高い。そこで、動き量に応じて定義される各規範の重み特性を図２、図３および図４と同様に決定することで、新規範量子化装置による画質向上を図ることが可能となる。
【００４９】
ここで、上述の検出された動き量に基づく重みα、β、γの切り換えは、検出された動き量毎に行われる。上述の例においては、図１に示すブロック毎に重みは変化する。そこで、実際に量子化に用いる重みは、量子化対象画素の近傍画素の重みも考慮した上で、実際の重みを決定することを提案する。すなわち、図１の隣接ブロック間で、重み特性が極端に変化する場合、ブロック形状に依存した画質差が発生することがある。このような画質劣化を排除するため、ブロック境界近傍を主体に重みの平滑化が行われ、不要な画質差の発生が抑圧される。近傍画素の規範重みをｗｉ 、平滑化された規範重みをＷ、平滑化フィルタ係数をａｉ 、タップ数をｍとすると、式（３０）の演算により平滑化処理が実行される。
【００５０】
【数６】
例えば、図６に示すように３画素×３ラインの量子化対象画素に対して１／４のゲインを掛け、量子化対象画素の縦方向、および横方向の各画素に対して１／８のゲインを掛け、さらに量子化対象画素の斜め方向の各画素に対して１／１６のゲインを掛けるような平滑化フィルタが用いられた場合、量子化対象画素近傍の重みの急激な変化が抑圧される。図１のブロック内では、各重みα、β、γは一定であるので、図６に示すようなゲインが ｀１’ のフィルタにおいては、結果的に重みが変化する部分、すなわちブロック境界部のみの重みを平滑化することになる。図６は、一例であり、状況によっては更に空間内のタップ数を増やした平滑化フィルタを適用することも考えられる。
【００５２】
以上は、空間内の平滑化処理であるが、時間方向にも平滑化を施す一例を図７に示す。この図７の平滑化フィルタは、例えば１次元平滑化フィルタとする。処理の都合上、最終タップ位置が量子化対象画面とする。この空間内平滑化フィルタを量子化対象画素位置の過去の重みに適用することにより、時間方向の急激な重みの変化が抑圧され、不要な画質差が低減される。以上の空間内平滑化フィルタと時間方向平滑化フィルタは、分離した構成にして適用することも出来るが、時空間の非分離形（一体処理構成）のフィルタを適用しても実現出来る。以上のように、時空間の近傍画素における重みを考慮した上で、量子化対象画素の最終的な重みα、β、γを決定することにより、画像特性の急峻な変化に伴う不自然な画質差を排除することが出来る。
【００５３】
上述したように、動き量を検出し、この動き量に応じて各評価値の重みを変更するこの発明の一実施例は、図８のフローチャートに従って量子化値が決定される。基本的には、設定された量子化ビット数ｎで生成可能な全ての線形量子化値ｑ（ｉ）に関し、式（４）で定義される新規範評価値を算出し、その最小値を有する量子化コードを出力値とする。この図８のフローチャートのステップ１において、上述したような方法を使用して動き量がブロック毎に検出される。
【００５４】
次のステップ２において、検出された動き量からそのブロックの重みα、β、γが決定される。例として挙げた図２、図３および図４にそれぞれ示される特性に従って、これらの重みが決定される。そして、ステップ３の重み平滑化へ制御が移ると、近傍画素の評価値の重みを元にした重みの平滑化が行われ、式（４）の量子化規範評価式が定まる。
【００５５】
そして、ステップ４において、カウンタｑに ｀０’ が設定される。カウンタｑは、量子化値候補と対応している。次のステップ５では、ｑと対応する量子化値候補について、式（４）を使用した評価値の算出がなされる。算出された新規範評価値が登録される。
【００５６】
ステップ６のインクリメントでは、カウンタｑに ｀＋１’ が加算され、ステップ７へ制御が移る。ステップ７のｑ＝Ｎでは、ステップ６（インクリメント）において加算されたカウンタｑがＮと等しいか否かが判別され、ｑ≠Ｎの場合、ステップ５（評価値の算出および登録）へ制御が戻り、ｑ＝Ｎの場合、ステップ８へ制御が移る。すなわち、評価対象の量子化コードの最大値が（Ｎ−１）の場合には、この（Ｎ−１）で設定される回数、ステップ５およびステップ６の処理が繰り返され、カウンタｑがＮに等しくなるとき、ループは終了する。
【００５７】
次に、ステップ８の評価値の最小値検出において、量子化コード候補の内で最小の新規範評価値のを生じさせる量子化コードｑが最終結果として選択される。ステップ９の量子化値ｑ登録において、選択された量子化コードｑが登録され、このフローチャートは終了する。
【００５８】
次に、この発明の量子化装置の処理を実現する一実施例のブロック図を図９に示す。入力端子１１から供給される入力信号値Ｌ（ｉ）、例えば各画素が８ビットに量子化されたディジタル画像信号は、量子化器１２、処理部１３へ供給される。この処理部１３は、動き量検出部１８、重み決定部１５、重み処理部１９、判定部１６、メモリ部１７から構成され、入力端子１１から供給された入力信号値Ｌ（ｉ）は、動き量検出部１８、判定部１６、およびメモリ部１７へ供給される。量子化器１２において、供給された入力信号値Ｌ（ｉ）が８ビットより少ないｎビットへ量子化される。この量子化器１２からは、２ｎ の数の量子化値候補が発生する。
【００５９】
量子化器１２により生成された線形量子化値ｑ（ｉ）は、ｄ０として判定部１６へ供給される。重み決定部１５は、動き量検出部１８により検出された動き量ｄ１に応答してブロック毎の重みを決定する。この重み決定部１５から重みα、β、γがｄ２として重み処理部１９へ供給される。重み処理部１９では、上述した平滑化処理、例えばＬＰＦ処理が施され、最終的な新規範評価式が定まり、各々の評価値の重みは、ｄ３として判定部１６へ供給される。
【００６０】
新規範量子化においては、式（４）で定義される新規範Ｑ２が用いられるため、入力信号値Ｌ（ｉ）と決定済み量子化値ｄ４を記憶しておく必要がある。メモリ部１７からは、必要に応じて記憶データｄ４（すなわち、決定済み量子化値）が、判定部１６へ供給される。判定部１６では、上述した図６に示すフローチャートの処理が行われる。すなわち、供給された入力信号値Ｌ（ｉ）、線形量子化値ｄ０、重みｄ３、記憶データｄ４から式（４）の判定が実行され、最終的な量子化値ｑ（ｉ）が選択され、出力端子１４から取り出される。
【００６１】
この新規範量子化装置により、従来の量子化装置の画質劣化を低減し、視覚特性に合致する量子化画像を得ることができる。
【００６２】
図９中の量子化器１２において、全ての量子化値を発生するのと異なり、Ｓ／Ｎ規範に基づいて選択された基準の量子化値を生成し、この量子化値と、その上下の量子化値の３種類の量子化値候補について、判定部１６が新規範評価値をそれぞれ求め、この３個の新規範評価値の中で最小のものと対応する量子化値候補を選択的に出力する構成としても良い。
【００６３】
また、この実施例では、動き量に応じた可変重みの一例を示しているが、上述の重みに対してなされる平滑化は、動き量に応じたものに限らず一般の可変重みの場合にも有効に用いることが可能である。
【００６４】
なお、この発明は、空間変動評価値と時間変動評価値との一方のみを使用して新規範評価値を構成するようにしても良い。例えば、ディジタルオーディオ信号のような場合には、Ｓ／Ｎ評価値と時間変動評価値とを使用した評価値を使用することができる。
【００６５】
【発明の効果】
この発明によれば、視覚特性を考慮した量子化が行えることで、量子化境界レベル近傍の入力信号値の変化が拡大されることによる空間方向、あるいは時間方向の画質劣化を低減することができる。
【００６６】
また、この発明によれば、動き量が大きい場合では、時間変動評価値に対する重みγを減少させることによって、重みγの値を適切なものとすることができ、冒頭に述べたような画質劣化を防止することが可能となる。
【００６７】
さらに、この発明によれば、元の量子化ビット数より少ないビット数でも良好な画像を得ることができ、例えばディジタル入力信号の圧縮を良好に得ることができる。
【図面の簡単な説明】
【図１】この発明に係る動き量検出のための画面分割の一例を示す略線図である。
【図２】時間変動評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図３】空間変動評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図４】Ｓ／Ｎ評価値に対する重みの動き量に応じた変化の特性例を示す略線図である。
【図５】動きベクトル検出方法の一例を説明するための略線図である。
【図６】この発明に係る空間内平滑化フィルタの一例を示す略線図である。
【図７】この発明に係る時間方向平滑化フィルタの一例を示す略線図である。
【図８】この発明に係る可変重みの新規範量子化装置の判定部の一実施例を示すフローチャートである。
【図９】この発明に係る新規範量子化装置の一実施例を示すブロック図である。
【図１０】入力信号に対して３ビット量子化が行われた一例を示す略線図である。
【図１１】画素の配置の一例を示すブロック図である。
【符号の説明】
１２ 量子化器
１３ 処理部
１５ 重み決定部
１６ 判定部
１７ メモリ部
１８ 動き量検出部
１９ 重み処理部
Claims (9)
- 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数と異なるｎビットの量子化値を出力する量子化装置において、
上記量子化値の複数の量子化値候補に関して、上記入力信号値と上記量子化値候補の復号値の差であるＳ／Ｎ評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値および／または上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、上記評価値を最小とする上記量子化候補を上記出力すべき量子化値として選択的に出力し、
画面内で上記Ｓ／Ｎ評価値、上記空間変動評価値および／または上記時間変動評価値に対する重みを適応的に変化させる際に、空間方向の変動を考慮して空間内の近傍画素から求められる動き量を変数として用いることを特徴とする量子化装置。 - 上記動き量は、更に重みの時間方向の変動を考慮して求められることを特徴とする請求項１に記載の量子化装置。
- 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数と異なるｎビットの量子化値を出力する量子化装置において、
上記量子化値の複数の量子化値候補に関して、上記入力信号値と上記量子化値候補の復号値の差であるＳ／Ｎ評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値および／または上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを重み付け加算した評価値をそれぞれ求め、上記評価値を最小とする上記量子化候補を上記出力すべき量子化値として選択的に出力し、
時間方向で上記Ｓ／Ｎ評価値、上記空間変動評価値および／または上記時間変動評価値に対する重みを適応的に変化させる際に、重みの時間方向の変動を考慮して重みを決定することを特徴とする量子化装置。 - 請求項１または請求項３に記載の量子化装置において、
空間傾斜で正規化された入力信号の時間差分量に基づいて入力信号の局所的な動き量に応じて上記Ｓ／Ｎ評価値、上記空間変動評価値および／または上記時間変動評価値に対する重みを適応的に変化させることを特徴とする量子化装置。 - 請求項１または請求項３に記載の量子化装置において、
空間変動評価値および時間変動評価値は、入力信号値と、決定済みの量子化値の復号値とを使用して求められることを特徴とする量子化装置。 - 請求項１または請求項３に記載の量子化装置において、
入力信号がディジタルビデオ信号であって、空間変動評価値が同一フィールドまたは同一フレーム内の入力信号値と復号値とを用いて求められることを特徴とする量子化装置。 - 請求項１または請求項３に記載の量子化装置において、
入力信号がディジタルビデオ信号であって、時間変動評価値が現フレームの入力信号値および復号値と前フレームの入力信号値と復号値とを用いて求められることを特徴とする量子化装置。 - 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数と異なるｎビットの量子化値を出力する量子化方法において、
空間方向の変動を考慮して空間内の近傍画素から求めた動き量を変数として使用して、Ｓ／Ｎ評価値、空間変動評価値および／または時間変動評価値に対する重みを空間内で適応的に変化させるステップと、
上記量子化値の複数の量子化値候補に関して、上記入力信号値と上記量子化値候補の復号値の差であるＳ／Ｎ評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値および／または上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを、上記重みによって重み付け加算した評価値をそれぞれ求めるステップと、
上記評価値を最小とする上記量子化値候補を上記出力すべき量子化値として選択的に出力するステップとからなることを特徴とする量子化方法。 - 所定の量子化ビット数の入力信号値が供給され、上記量子化ビット数と異なるｎビットの量子化値を出力する量子化方法において、
重みの時間方向の変動を考慮して、Ｓ／Ｎ評価値、空間変動評価値および／または時間変動評価値に対する重みを時間方向で適応的に変化させるステップと、
上記量子化値の複数の量子化値候補に関して、上記入力信号値と上記量子化値候補の復号値の差であるＳ／Ｎ評価値と、上記入力信号値の空間変動と上記量子化値候補の復号値の空間変動の差である空間変動評価値および／または上記入力信号値の時間変動と上記量子化値候補の復号値の時間変動の差である時間変動評価値とを、上記重みによって重み付け加算した評価値をそれぞれ求めるステップと、
上記評価値を最小とする上記量子化候補を上記出力すべき量子化値として選択的に出力するステップとからなることを特徴とする量子化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27839594A JP3629732B2 (ja) | 1994-10-18 | 1994-10-18 | 量子化装置および量子化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27839594A JP3629732B2 (ja) | 1994-10-18 | 1994-10-18 | 量子化装置および量子化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08115411A JPH08115411A (ja) | 1996-05-07 |
| JP3629732B2 true JP3629732B2 (ja) | 2005-03-16 |
Family
ID=17596750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27839594A Expired - Lifetime JP3629732B2 (ja) | 1994-10-18 | 1994-10-18 | 量子化装置および量子化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3629732B2 (ja) |
-
1994
- 1994-10-18 JP JP27839594A patent/JP3629732B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08115411A (ja) | 1996-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
| JP4242656B2 (ja) | 動きベクトル予測方法及び動きベクトル予測装置 | |
| JP3847827B2 (ja) | 動きベクトル検出方法 | |
| US5760846A (en) | Apparatus for estimating motion vectors for feature points of a video signal | |
| US7346208B2 (en) | Image artifact reduction using a neural network | |
| US5751362A (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| EP1503599A2 (en) | Block motion vector estimation | |
| EP0609022A2 (en) | Image encoding apparatus | |
| JP2000506687A (ja) | 知覚量を用いて符号化を最適化し自動操作可能な画像圧縮を実行する装置及び方法 | |
| US20090190037A1 (en) | Method and integrated circuit for video processing | |
| KR100207390B1 (ko) | 계층적인 움직임 추정기법을 이용하는 음직임 벡터 검출방법 | |
| US5793429A (en) | Methods of estimating motion in image data and apparatus for performing same | |
| JPH05328333A (ja) | 動きベクトル検出装置 | |
| EP1757103A1 (en) | Method of searching for a global motion vector. | |
| US20060098886A1 (en) | Efficient predictive image parameter estimation | |
| JP3627279B2 (ja) | 量子化装置および量子化方法 | |
| JP3704740B2 (ja) | 量子化装置および量子化方法 | |
| JP3629732B2 (ja) | 量子化装置および量子化方法 | |
| KR100390167B1 (ko) | 화상 부호화방법 및 화상 부호화장치 | |
| JP3697727B2 (ja) | 量子化装置および量子化方法 | |
| JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
| JP3735875B2 (ja) | 量子化装置および量子化方法 | |
| JP3901747B2 (ja) | 量子化装置および量子化方法 | |
| Kuo et al. | A new mesh-based motion compensation algorithm for very low bit rate coding | |
| JP3648772B2 (ja) | 量子化装置および量子化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |