JP2004215275A - 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 - Google Patents

Abstract

【課題】動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置を提供する。
【解決手段】入力映像に対して元の解像度（第１解像度）での動き補償情報を計算し、入力映像に対して低域フィルタリングを行うことで得られた解像度（第２解像度）での動き補償情報を計算し、第１解像度での動き補償情報と第２解像度での動き補償情報とに基づいて入力映像のノイズを予測してノイズを除去する。
【選択図】 図２

Description

本発明は、ノイズ予測方法及びその装置に係り、特に、ＭＰＥＧ ２及びＭＰＥＧ４のような動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）及び離散余弦変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）に基づいた動画符号化器にノイズに歪曲されている映像が入力された場合、ノイズを予測し、効果的にノイズを除去するための方法及び装置に関する。

最近、アナログ地上波放送を受信し、これをＭＰＥＧ ２、ＭＰＥＧ ４のような圧縮方式を利用、符号化して貯蔵するセットトップボックスなどが披露されている。しかし、受信器に入力される映像は伝送チャンネルによってホワイトガウシアンノイズ（ｗｈｉｔｅ ｇａｕｓｓｉａｎ ｎｏｉｓｅ）をはじめとしていろいろなノイズで歪曲されている場合が多い。

例えば、映像全体にホワイトガウシアンノイズをはじめとしていろいろなノイズに歪曲されている。このような映像をそのまま圧縮する場合、ノイズの影響で圧縮効率が落ちるようになる。

したがって、動画でのノイズ除去のための研究が活発に行われている。しかし、従来のノイズ除去方法は基本的にノイズの程度をある程度知っているという仮定下に作動するようになっているために、ノイズを予測するための様々な方法が使われている。
このような、ノイズ予測方法の一例は特許文献１に開示されている。

以下では、図１を参照して、従来のノイズ除去方式を説明する。
図１は、一般的なノイズ予測装置を図示するブロック図である。
従来のノイズ予測装置は第１減算器１１２、フレームメモリ１１４、第１絶対値計算器１１６、第１低域フィルタ１１８、第２低域フィルタ１２０、第２減算器１２２、第２絶対値計算器１２４、第３減算器１２６、第３絶対値計算器、合算器１３０、及びノイズ量予測器１３２で構成される。

まず、第１減算器１１２は現在入力映像とフレームメモリ１１４からの隣接映像に基づき、隣接した２つの映像間の差値を計算する。計算された隣接映像間の差値は第１絶対値計算器１１６に入力される。第１絶対値計算器１１６は計算された絶対値を第３減算器１２６に入力する。

一方、第２減算器１２２は第１低域フィルタ１１８を通過した現在入力映像と第２低域フィルタ１２０を通過した隣接映像との差値を計算する。計算した低域フィルタリングされた隣接映像間の差値は第２絶対値計算器１２４に入力される。第２絶対値計算器１２４は計算された絶対値を第３減算器１２６に入力する。

第３減算器１２６は第１絶対値計算器１１６及び第２絶対値計算器１２４の差値を計算し、計算された差値を第３絶対値計算器１２８に入力する。第３絶対値計算器１２８は第３減算器２６で計算された差値に対する絶対値を計算して合算器１３０に出力する。
合算器１３０は第３絶対値計算器１２８で出力された絶対値をフレーム単位で合算する。
ノイズ量予測器１３２は合算器１３０で求められた出力値に基づいて入力映像に含まれたノイズの量を判断する。

従来ノイズ予測装置１００は合算器１３０のフレーム単位別に計算された値が大きい場合、ノイズが多いと判断し、小さい場合にはノイズが小さいと判断する。
しかし、このような従来のノイズ予測装置は動きのほとんどない映像ではノイズ予測が可能であるが、動きのある映像では動きによって合算器１３０の出力値が大きくなる。したがって、動きのある映像の場合、ノイズ予測が難しい問題点があった。
ヨーロッパ特許公報第７１２５５４

本発明は前記のような従来ノイズ予測方法を改善し、動き情報を利用してノイズを効率的に予測するための改善されたノイズ予測方法及び装置を提供することを目的とする。
本発明の他の目的は、さらに前記改善されたノイズ予測方法及び装置を使用する動画符号器及び符号化装置を提供することである。

前記目的は、本発明による入力映像のノイズ予測及び／または除去方法において、入力映像に対して第１解像度での動き補償情報を計算する段階と、入力映像に対して第２解像度での動き補償情報を計算する段階と、前記計算された第１解像度での動き補償情報と前記計算された第２解像度での動き補償情報とに基づいて入力映像のノイズを予測する段階と、を含む方法によって達成される。

また、前記目的は、ＤＣＴ基盤の動画符号化方法において、入力映像に対して第１解像度での動き補償情報を計算する段階と、入力映像に対して第２解像度での動き補償情報を計算する段階と、前記計算された第１解像度での動き補償情報と前記計算された第２解像度での動き補償情報に基づいて入力映像のノイズ量を予測する段階と、前記予測されたノイズ量に基づき、変形量子化加重値行列を決定する段階と、前記入力映像に対してＤＣＴ変換を行う段階と、前記ＤＣＴ変換された入力映像データに対して前記決定された変形量子化加重値行列を使用して量子化を行う段階と、を含む方法によって達成される。

また、前記目的は、入力映像のノイズ予測及び／または除去装置において、入力映像に対して第１解像度での動き補償情報を計算する第１動き補償情報計算部と、入力映像に対して第２解像度での動き補償情報を計算する第２動き補償情報計算部と、第１及び第２動き補償計算部で計算された第１解像度での動き補償情報と第２解像度での動き補償情報とに基づいて入力映像のノイズを予測するノイズ判断部と、を含む装置によって達成される。

また、前記目的はＤＣＴ基盤の動画符号化装置において、入力映像に対して第１解像度での動き補償情報を計算する第１動き補償情報計算部と、入力映像に対して第２解像度での動き補償情報を計算する第２動き補償情報計算部と、第１及び第２動き補償情報計算部で計算された第１解像度での動き補償情報と第２解像度での動き補償情報とに基づいて入力映像のノイズ量を予測するノイズ判断部と、ノイズ判断部で予測されたノイズ量に基づいて変形量子化加重値行列を決定する量子化加重値行列決定部と、入力映像に対してＤＣＴ変換を行うＤＣＴ変換部と、ＤＣＴ変換された入力映像データに対して前記量子化加重値行列決定部で決定された変形量子化加重値行列を使用して量子化を行う量子化部と、を含む装置によって達成される。

本発明による動き補償を利用したノイズ予測方法及び装置を使用することによって、入力映像のノイズをより効果的に予測することが可能であり、また本発明に他のノイズ予測方法及び装置を採用した動画符号化方法及び装置の場合、入力映像のノイズを効果的に除去することによって動画符号化をより効率的に行うことが可能である。

以下では、図２及び図３Ａ、図３Ｂを参照して、本発明による改善されたノイズ予測方法を説明する。
図２は、本発明によるノイズ予測装置を図示する図面である。
図２に図示されたノイズ予測部は第１解像度ＳＡＤ計算部２１０、第２解像度ＳＡＤ計算部２２０、及びノイズ判断部２７０を含む。
ノイズ判断部２７０は、減算部２３０、絶対値計算部２４０、合算部２５０、及びノイズ量予測部２６を含む。

第１解像度ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）計算部２１０は、図３Ａに示されたように第１解像度で現在フレームの（ｉ，ｊ）位置でのブロックに対して、以前フレームの探索領域内で動きベクトルＭＶ_Ｌ１を探索する。以後、探索された動きベクトルＭＶ_Ｌ１に対応するＳＡＤ、すなわち、以前フレームからＭＶ_Ｌ１ほど移動した後で対応する画素間の差値ＳＡＤを減算部２３０に出力する。本実施例では第１解像度は元の入力映像の元の解像度を意味する。

第１解像度での動きベクトルＭＶ_Ｌ１は下記の数式１によって決定される。

ここで、Ｆｎ（ｉ，ｊ）は現在フレーム（ｎ番目フレーム）で（ｉ，ｊ）位置にある画素、すなわち、図３（ａ）の太線で表示された現在ブロック内の画素である。また、±Ｓは動きベクトルが探索される探索領域を意味する。Ｆｎ−１（ｉ，ｊ）は以前フレーム（ｎ−１番目フレーム）で（ｉ，ｊ）位置の画素を意味する。各ブロックサイズはＮｘＮである。

第２解像度ＳＡＤ計算部２２０は、図３Ｂに示されたように第２解像度で現在フレームの（ｉ，ｊ）位置でのブロックに対して、以前フレームの探索領域内で動きベクトルＭＶ_Ｌ２を探索する。以後、探索された動きベクトルＭＶ_Ｌ２に対応するＳＡＤ、すなわち、以前フレームでＭＶ_Ｌ２ほど移動した後で対応する画素間の差値ＳＡＤ_Ｌ２を減算部２３０に出力する。本実施例では第２解像度は元来入力映像の低解像度を意味する。

一方、本実施例で低解像度は元の映像に対して低域通過フィルタリング（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒｉｎｇ：ＬＰＦ）を行ったことを意味する。しかし、選択的に元の映像に対して低域通過フィルタリングを行った後、サブサンプリングを通じてフレームサイズを減らしたフレームを低解像度フレームとして使用することも可能である。

この場合、第１解像度では１６×１６ブロック当たり動きベクトルを計算し、第２解像度ではフレームの縦横をそれぞれ１／２にサブサンプリングして第１解像度の１６×１６ブロックに対応する８×８ブロックの動きベクトルを求める方式で計算する。

減算部２３０では第１解像度ＳＡＤ計算部で得られたＳＡＤ、すなわち、ＳＡＤ_Ｌ１と第２解像度ＳＡＤ計算部で得られたＳＡＤ、すなわち、ＳＡＤ_Ｌ２の差値を計算し、絶対値計算部２４０では減算部２３０で計算されたＳＡＤ_Ｌ１及びＳＡＤ_Ｌ２の差に対する絶対値を求める。

すなわち、減算部２３０及び絶対値計算部２４０は現在考慮中であるｋ番目ブロックに対してそれぞれの解像度で得られたＳＡＤ_Ｌ１及びＳＡＤ_Ｌ２の差値に対する絶対値、すなわち、ＳＡＤ＿ＤＩＦＦ_ｋを下記数式２によって計算する。

ＳＡＤ＿ＤＩＦＦ_ｋ＝｜ＳＡＤ_Ｌ１−ＳＡＤ_Ｌ２｜ ・・・（２）

もし、第２解像度でのフレームサイズが第１解像度でのフレームサイズの１／４である場合は次の数式３によってＳＡＤ＿ＤＩＦＦが求められる。

ＳＡＤ＿ＤＩＦＦ_ｋ＝｜ＳＡＤ_Ｌ１−４ｘＳＡＤ_Ｌ２｜ ・・・（３）

合算部２５０では現在フレーム内のあらゆるブロックに対してＳＡＤ＿ＤＩＦＦを全て合算し、合算された量をＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦ値としてノイズ予測部に出力する。
ノイズ量予測部２６０では合算部２５０から入力されたＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦ値に基づいてノイズの量を予測する。

図２には示されていないが、ノイズ予測部２６０で予測されたノイズ量に対する情報はノイズ除去フィルタリング部に伝送される。ノイズ除去フィルタリング部はノイズ量が多い、すなわち、ＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦ値が大きいフレームに対しては強いノイズ除去フィルタリングを行い、ＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦ値の小さいフレームに対しては弱いノイズ除去フィルタリングを行うことによって、ノイズ除去フィルタリングを効果的に行うことが可能になる。

本実施例では元の解像度と低解像度とに区別される２種類の解像度段階を使用したが、選択的に２段階以上の解像度段階について本発明を実施することも可能である。

図４は、本発明の一実施例によるノイズ予測方法を図示するフローチャートである。
段階４１０は第１解像度で現在フレームの（ｉ，ｊ）位置でのブロックに対して、以前フレームの探索領域内で動きベクトルＭＶ_Ｌ１を探索する。以後、探索された動きベクトルＭＶ_Ｌ１に対応するＳＡＤ、すなわち、以前フレームでＭＶ_Ｌ１ほど移動した後で対応する画素間の差値ＳＡＤ_Ｌ１を計算する。

段階４２０は、第２解像度で現在フレームの（ｉ，ｊ）位置でのブロックに対して、以前フレームの探索領域内で動きベクトルＭＶ_Ｌ２を探索する。以後、探索された動きベクトルＭＶ_Ｌ２に対応するＳＡＤ、すなわち、以前フレームでＭＶ_Ｌ２ほど移動した後で対応する画素間の差値ＳＡＤ_Ｌ２を計算する。

段階４３０では、現在考慮中であるブロック、すなわち、ｋ番目ブロックに対して段階４１０で計算されたＳＡＤ_Ｌ１と段階４２０で計算されたＳＡＤ_Ｌ２を計算した後、計算されたＳＡＤ_Ｌ１及びＳＡＤ_Ｌ２の差値に対する絶対値、すなわち、ＳＡＤ＿ＤＩＦＦ_ｋを数式２か数式３を使用して求める。

段階４４０では、現在フレーム内のあらゆるブロックに対してＳＡＤ＿ＤＩＦＦを全て合算した量、すなわち、ＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦを計算する。
段階４５０では段階４４０で計算されたＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦに基づいて入力映像のノイズ量を予測する。

図５は、本発明のさらに他の実施例によるノイズ予測器を図示する図面である。
図５のノイズ予測器は、第１解像度ＳＡＤ計算部５１０、第２解像度ＳＡＤ計算部５２０、及びノイズ判断部５８０を含む。
ノイズ判断部５８０は、減算部５３０、絶対値計算部５４０、合算部５５０、参照ＳＡＤ_ref 計算部５６０、及びノイズ量予測部５７０を含む。

ここで、第１解像度ＳＡＤ計算部５１０、第２解像度ＳＡＤ計算部５２０、減算部５３０、絶対値計算部５４０、及びノイズ量予測部５７０は図２の対応機能部のような機能を行うので、説明を簡単にするために詳細なる説明は省略する。
参照ＳＡＤ_ref計算部５６０では第１解像度ＳＡＤ計算部５１０から出力された各ブロック別ＳＡＤ値に基づき、下記数式４または５によって参照ＳＡＤ、すなわち、ＳＡＤ_refを計算する。

ここで、Ａは所定の定数である。

ここで、Ａは所定の定数であり、ＳＡＤ_half-pelは半画素探索まで終わった後のＳＡＤを意味する。

合算部５５０では該当ブロックのＳＡＤまたはＳＡＤ_half-pelの前記数式４または５によって求められた参照ＳＡＤより小さいＳＡＤ値のみを合算して、フレームに対するＳＡＤ値、すなわち、ＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦを計算してノイズ予測部５７０に伝送する。

このように、ＳＡＤ合算時の該当ブロックのＳＡＤが参照ＳＡＤ_ref、すなわち、元の解像度の以前フレームでの平均ＳＡＤより相当大きいブロックのＳＡＤを除外させることは動き推定がうまく行われていないブロックのＳＡＤはＳＡＤ合算時に除外させることによって、ノイズ予測をより正確にすることが可能である。
ノイズ予測部５７０ではＳＡＤ合算部５５０から伝送されたＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦ値に基づいてノイズ量を予測する。

図５には示されていないが、ノイズ予測部５７０で予測されたノイズ量に対する情報はノイズ除去フィルタリング部に伝送される。ノイズ除去フィルタリング部はノイズ量の多い、すなわち、ＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦ値の大きいフレームに対しては強いノイズ除去フィルタリングを行い、ＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦ値の小さいフレームに対しては弱いノイズ除去フィルタリングを行うことによって、ノイズ除去フィルタリングを効果的に行うことが可能になる。

図６は、本発明の一実施例によるノイズ予測方法を図示するフローチャートである。
段階６１０は、第１解像度で現在フレームの（ｉ，ｊ）位置でのブロックに対して、以前フレームの探索領域内で動きベクトルＭＶ_Ｌ１を探索する。以後、探索された動きベクトルＭＶ_Ｌ１に対応するＳＡＤ、すなわち、以前フレームでＭＶ_Ｌ１ほど移動した後で対応する画素間の差値ＳＡＤ_Ｌ１を計算する。

段階６２０は、段階６１０で計算された画素間の差値ＳＡＤ_Ｌ１に基づいて数式３または４によって参照ＳＡＤ、すなわち、ＳＡＤ_refを計算する。現在フレームで求められたＳＡＤ_refは直ちに次のフレームのノイズ予測時に使われることに注目する。

段階６３０は、第２解像度で現在フレームの（ｉ，ｊ）位置でのブロックに対して、以前フレームの探索領域内で動きベクトルＭＶ_Ｌ２を探索する。以後、探索された動きベクトルＭＶ_Ｌ２に対応するＳＡＤ、すなわち、以前フレームでＭＶ_Ｌ２ほど移動した後で対応する画素間の差値ＳＡＤ_Ｌ２を計算する。

段階６４０では、フレーム内の現在考慮中であるブロック、すなわち、ｋ番目ブロックに対して段階６１０で計算されたＳＡＤ_Ｌ１と段階６３０で計算されたＳＡＤ_Ｌ２との差値を計算した後、計算されたＳＡＤ_Ｌ１及びＳＡＤ_Ｌ２の差値に対する絶対値、すなわち、ＳＡＤ＿ＤＩＦＦ_ｋを数式２に基づいて計算する。

段階６５０ではフレーム内のブロックのうち、ＳＡＤ_Ｌ１＜ＳＡＤ_refを満足するブロックに対してのみＳＡＤ＿ＤＩＦＦを全て合算して、ＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦを計算する。
段階６６０では、段階６５０で計算されたＴＯＴＡＬ＿ＯＦ＿ＳＡＤ＿ＤＩＦＦに基づいて入力映像のノイズ量を予測する。

図７は、本発明によるノイズ予測部７１０が動画符号化に適用される一実施例を図示する図面である。
ノイズ予測部７１０は入力映像から図２または図５による実施例に基づき、入力映像に含まれたノイズ量を予測し、予測されたノイズ量に対する情報を前処理部７２０に出力する。

前処理部７２０は入力されたノイズ量に対する情報に基づいて入力映像に対する一般的なノイズ除去フィルタリングを行う。
動画符号器７３０は一般的な動画符号器と同じ機能を行うので、説明を簡単にするために詳細なる説明は省略する。

図８は、一般的な動画符号化のための符号化器を図示するブロック図である。
ＶＯＤサービスか動画通信のために、符号化器は圧縮技術によって符号化されたビットストリームを生成する機能を行う。

まず、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部８１０は空間的相関性を除去するために８×８画素ブロック単位で入力される映像データに対してＤＣＴ演算を行い、量子化部（Ｑｕａｎｔｉｚａｔｉｏｎ：Ｑ）８２０はＤＣＴ部８１０で得られたＤＣＴ係数に対して量子化を行い、幾つかの代表値として表現することによって、高効率損失圧縮を行う。

逆量子化部（Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ：ＩＱ）８３０は量子化部８２０で量子化された映像データを逆量子化する。ＩＤＣＴ部８４０は逆量子化部８３０で逆量子化された映像データに対してＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換を行う。フレームメモリ部８５０はＩＤＣＴ部８４０でＩＤＣＴ変換された映像データをフレーム単位で貯蔵する。

動き推定及び補償部（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＥ／ＭＣ）８６０は入力される現在フレームの映像データとフレームメモリ部８５０とに貯蔵された以前フレームの映像データを利用してマクロブロック当たり動きベクトルＭＶとブロック整合誤差に該当するＳＡＤを推定する。
可変長符合化部（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ：ＶＬＣ）８７０は動き推定部８６０で推定された動きベクトルＭＶによってＤＣＴ及び量子化処理されたデータで統計的重複性を除去する。

図９は、図８に図示された一般的な動画符号化器に本発明によるノイズ予測方式を適用した改善された動画符号器を図示する図面である。
本発明によるノイズ除去方式を採用した動画符号器は一般的な動画符号器に、ノイズ予測部９８０、量子化加重値行列決定部９９２及び量子化加重値行列貯蔵部９９４を含む。
ＤＣＴ部９１０、ＩＤＣＴ部９４０、フレームメモリ部９５０、動き予測及び補償部９６０、ＶＬＣ部９７０は一般的な動画符号化器と同じ機能を行うので、説明を簡単にするために詳細なる説明は省略する。

ノイズ予測部９８０は、入力映像から図２または図４による実施例に基づき、入力映像に含まれたノイズ量を予測し、予測されたノイズ量に対する情報を量子化加重値行列決定部９９２に出力する。

量子化加重値行列決定部９９２は、ノイズ予測部９８０から伝送されたノイズ情報に基づいて量子化加重値行列を決定し、これに対応する量子化加重値行列のインデックス情報を量子化加重値行列貯蔵部９９４に伝送する。本実施例では、量子化加重値行列決定部９９２はノイズ予測部９８０からのノイズ情報に基づいて量子化加重値行列を決定したが、選択的に動き予測及び補償部９６０からのマクロブロック単位で計算される分散値を共に考慮することも可能である。

本実施例では、量子化加重値行列貯蔵部９９４には入力映像に含まれたノイズ量によって分類された５個の量子化重値行列が貯蔵される。

量子化加重値行列決定部９９２は、ノイズ予測部９８０から入力されたノイズ情報を使用し、対応する変形量子化行列に対するインデックスを量子化加重値行列貯蔵部９９４に伝送する。量子化加重値行列貯蔵部９９４に貯蔵された量子化加重値行列が５種類に分類される場合、前記インデックスも０、１、２、３、４のうち何れか１つの値になる。

量子化加重値行列貯蔵部９９４は、量子化加重値行列決定部９９２から入力された量子化加重値行列インデックスに基づき、該当量子化加重値行列を選択して量子化部９２０に伝送する。
量子化部９２０は入力された該当量子化加重値行列を使用して量子化を行う。
逆量子化部９３０は元のデフォルト量子化加重値行列に基づいて逆量子化を行う。

また、新しい量子化加重値行列はユーザーが任意に定めることが可能である。本実施例では入力映像ブロックのＹ成分に対するＤＣＴ領域でのノイズ除去方式を示しているが、Ｙ成分以外のＵ及びＶ成分に対しても同じ装置を適用することも可能である。この時、Ｕ及びＶ成分のための別途の加重値マトリックスが必要である。

図１０は、本発明のさらに他の実施例によるノイズ除去方式を採用した改善された動画符号器を図示する図面である。
本実施例によるノイズ除去方式を採用した動画符号器は図８の一般的な動画符号器に、ノイズ予測部１０８０及び変形量子化加重値行列生成部１０９０をさらに含む。ＤＣＴ部１０１０、ＩＤＣＴ部１０４０、フレームメモリ部１０５０、動き予測及び補償部１０６０、ＶＬＣ部１０７０は図８の一般的な動画符号化器と同じ機能を行うので、説明を簡単にするために詳細なる説明は省略する。

ノイズ予測部１０８０は入力映像から図２または図５による実施例に基づき、入力映像に含まれたノイズ量を予測し、予測されたノイズ量に対する情報を量子化加重値行列生成部１０９０に出力する。

変形量子化加重値行列生成部１０９０はノイズ予測部１０８０から伝送されたノイズ情報に基づき、変形量子化加重値行列を生成し、生成された変形量子化加重値行列を量子化部１０２０に伝送する。本実施例では、量子化加重値行列生成部１０９０はノイズ予測部１０８０からのノイズ情報に基づいて量子化加重値行列を決定したが、選択的に動き予測及び補償部１０６０からのマクロブロック単位で計算されるマクロブロック分散値を共に考慮することも可能である。

量子化部１０２０は量子化加重値行列生成部１０９０から入力された変形量子化加重値行列に基づいて量子化を行う。
逆量子化部１０３０は元のデフォルト量子化加重値行列に基づいて逆量子化を行う。

本発明は詳述した実施例に限定されず、本発明の思想内で当業者による変形が可能であるということはいうまでもない。特に、本発明はＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ４などのようなあらゆる動画符号化装置及び方法に適用できる。

本発明はまたコンピュータで読み出せる記録媒体にコンピュータが読み出せるコードとして具現することが可能である。コンピュータが読み出せる記録媒体はコンピュータシステムによって読み出せるデータが貯蔵されるあらゆる種類の記録装置を含む。コンピュータが読み出せる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ貯蔵装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されることも含む。また、コンピュータが読み出せる記録媒体はネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み出せるコードとして貯蔵されて実行できる。

本発明は動画符号化器にノイズで歪曲されている映像が入力された場合、動き補償を利用したノイズ予測方法及び装置を使用し、入力映像のノイズをより効果的に予測するためのものであって、動き補償技法に基づいた動画符号化器に利用できる。

従来のノイズ予測装置を図示するブロック図である。 本発明の一実施例によるノイズ予測装置を図示するブロック図である。 本発明によるノイズ予測に使われる動き予測方法を説明するための図面である。 本発明によるノイズ予測に使われる動き予測方法を説明するための図面である。 本発明の一実施例によるノイズ予測方法を図示するフローチャートである。 本発明のさらに他の実施例によるノイズ予測装置を図示するブロック図である。 本発明の一実施例によるノイズ予測方法を図示するフローチャートである。 本発明の一実施例によるノイズ予測装置を図示するブロック図である。 一般的なＭＰＥＧ動画符号化器を図示するブロック図である。 本発明の一実施例による改善された動画符号化器を図示するブロック図である。 本発明の一実施例による改善された動画符号化器を図示するブロック図である。

符号の説明

２１０ 第１解像度ＳＡＤ計算部
２２０ 第２解像度ＳＡＤ計算部
２３０ 減算部
２４０ 絶対値計算部
２５０ 合算部
２６０ ノイズ量予測部
２７０ ノイズ判断部

Claims (44)

1. 入力映像のノイズ予測及び／または除去方法において、
   （ａ）前記入力映像に対して第１解像度での動き補償情報を計算する段階と、
   （ｂ）前記入力映像に対して第２解像度での動き補償情報を計算する段階と、
   （ｃ）前記（ａ）段階で計算された第１解像度での動き補償情報と前記（ｂ）段階で計算された第２解像度での動き補償情報に基づいて入力映像のノイズを予測する段階と、を含むことを特徴とする方法。
2. 前記第１解像度は元の解像度であり、前記第２解像度は低解像度であることを特徴とする請求項１に記載の方法。
3. 前記第２解像度は低域フィルタリングを行うことによって得られることを特徴とする請求項２に記載の方法。
4. 前記動き補償情報を計算する段階はブロック単位で行われることを特徴とする請求項１に記載の方法。
5. 前記動き補償情報はＳＡＤであることを特徴とする請求項４に記載の方法。
6. 前記（ｃ）段階は、（ｃ１）（ａ）段階で計算された第１解像度でのＳＡＤと前記（ｂ）段階で計算された第２解像度でのＳＡＤに基づき、前記入力映像のブロックそれぞれに対する第１及び第２解像度でのＳＡＤ差値を計算し、計算されたＳＡＤ差値の絶対値を計算する段階をさらに含むことを特徴とする請求項５に記載の方法。
7. 前記（ｃ）段階は、（ｃ２）前記（ｃ１）段階で計算されたそれぞれのブロックに対する絶対値をフレーム別に合算し、フレーム別に合算された絶対値に基づいてノイズ量を予測する段階をさらに含むことを特徴とする請求項６に記載の方法。
8. 前記（ａ）段階は、（ａ１）前記計算された第１解像度でのＳＡＤに基づいて参照ＳＡＤを計算する段階をさらに含み、前記（ｃ２）段階は前記第１解像度でのＳＡＤが参照ＳＡＤより小さいブロックに対してのみ、前記（Ｃ１）段階で計算された絶対値を合算することを特徴とする請求項７に記載の方法。
9. （ｄ）前記（ｃ）段階で予測されたノイズ情報に基づき、入力映像に対してノイズ除去フィルタリングを行なう段階をさらに含むことを特徴とする請求項１に記載の方法。
10. ＤＣＴ基盤の動画符号化方法において、
    （ａ）入力映像に対して第１解像度での動き補償情報を計算する段階と、
    （ｂ）前記入力映像に対して第２解像度での動き補償情報を計算する段階と、
    （ｃ）前記（ａ）段階で計算された第１解像度での動き補償情報と前記（ｂ）段階で計算された第２解像度での動き補償情報に基づいて入力映像のノイズ量を予測する段階と、
    （ｄ）前記（ｃ）段階で予測されたノイズ量に基づき、変形量子化加重値行列を決定する段階と、
    （ｅ）前記入力映像に対してＤＣＴ変換を行う段階と、
    （ｆ）前記ＤＣＴ変換された入力映像データに対して（ｄ）段階で決定された変形量子化加重値行列を使用して量子化を行う段階と、を含むことを特徴とする符号化方法。
11. 前記第１解像度は元の解像度であり、前記第２解像度は低解像度であることを特徴とする請求項１０に記載の方法。
12. 前記第２解像度は低域フィルタリングを行うことによって得られることを特徴とする請求項１１に記載の方法。
13. 前記（ｄ）段階は入力映像のノイズ量と関連して分類される複数の変形量子化加重値行列のうち何れか１つを選択することによって行われることを特徴とする請求項１０に記載の方法。
14. 前記動き補償情報を計算する段階はブロック単位で行われることを特徴とする請求項１０に記載の方法。
15. 前記画素間差値情報はＳＡＤであることを特徴とする請求項１４に記載の方法。
16. 前記（ｃ）段階は、（ｃ１）（ａ）段階で計算された第１解像度でのＳＡＤと前記（ｂ）段階で計算された第２解像度でのＳＡＤに基づき、前記入力映像のブロックそれぞれに対する、第１及び第２解像度でのＳＡＤ差値を計算した後、計算されたＳＡＤ差値の絶対値を計算する段階をさらに含むことを特徴とする請求項１５に記載の方法。
17. 前記（ｃ）段階は、（ｃ２）前記（ｃ１）段階で計算された絶対値をフレーム別に合算し、フレーム別に合算された絶対値に基づいてノイズ量を予測する段階をさらに含むことを特徴とする請求項１６に記載の方法。
18. 前記（ａ）段階は、（ａ１）前記計算された第１解像度でのＳＡＤに基づいて参照ＳＡＤを計算する段階をさらに含み、前記（ｃ２）段階は前記第１解像度でのＳＡＤが参照ＳＡＤより小さいブロックに対してのみ、前記（Ｃ１）段階で計算された絶対値を合算することを特徴とする請求項１７に記載の方法。
19. 入力映像のノイズ予測及び／または除去装置において、
    前記入力映像に対して第１解像度での動き補償情報を計算する第１動き補償情報計算部と、
    前記入力映像に対して第２解像度での動き補償情報を計算する第２動き補償情報計算部と、
    前記第１及び第２動き補償計算部で計算された第１解像度での動き補償情報と第２解像度での動き補償情報に基づいて入力映像のノイズを予測するノイズ判断部と、を含むことを特徴とする装置。
20. 前記第１解像度は元の解像度であり、前記第２解像度は低解像度であることを特徴とする請求項１９に記載の装置。
21. 前記第２解像度は低域フィルタリングを行うことによって得られることを特徴とする請求項２０に記載の装置。
22. 前記動き補償情報を計算する段階はブロック単位で行われることを特徴とする請求項１９に記載の装置。
23. 前記動き補償情報はＳＡＤであることを特徴とする請求項２２に記載の装置。
24. 前記ノイズ判断部は前記第１動き補償情報計算部で計算された第１解像度でのＳＡＤと前記第２動き補償情報計算部で計算された第２解像度でのＳＡＤに基づき、前記入力映像のブロックそれぞれに対する第１及び第２解像度でのＳＡＤ差値を計算した後、計算されたＳＡＤ差値の絶対値を計算するＳＡＤ差値計算部をさらに含むことを特徴とする請求項２３に記載の装置。
25. 前記ノイズ判断部は前記ＳＡＤ差値計算部で計算されたそれぞれのブロックに対する絶対値をフレーム別に合算する合算部と、合算部の結果値に基づいてノイズ量を予測するノイズ量予測部と、をさらに含むことを特徴とする請求項２４に記載の装置。
26. 前記ノイズ判断部は前記第１動き補償情報計算部で計算された第１解像度でのＳＡＤに基づいて参照ＳＡＤを計算する参照ＳＡＤ計算部をさらに含み、前記合算部は前記第１解像度でのＳＡＤが参照ＳＡＤより小さいブロックに対してのみ、前記ＳＡＤ差値計算部で計算されたＳＡＤ差値の絶対値を合算することを特徴とする請求項２５に記載の装置。
27. 前記予測されたノイズ量に基づき、前記入力映像に対してノイズ除去フィルタリングを行なうノイズ除去部をさらに含むことを特徴とする請求項１９に記載の装置。
28. ＤＣＴ基盤の動画符号化装置において、
    入力映像に対して第１解像度での動き補償情報を計算する第１動き補償情報計算部と、
    前記入力映像に対して第２解像度での動き補償情報を計算する第２動き補償情報計算部と、
    前記第１及び第２動き補償情報計算部で計算された第１解像度での動き補償情報と第２解像度での動き補償情報とに基づいて入力映像のノイズ量を予測するノイズ判断部と、
    前記ノイズ判断部で予測されたノイズ量に基づいて変形量子化加重値行列を決定する量子化加重値行列決定部と、
    前記入力映像に対してＤＣＴ変換を行うＤＣＴ変換部と、
    前記ＤＣＴ変換された入力映像データに対して前記量子化加重値行列決定部で決定された変形量子化加重値行列を使用して量子化を行う量子化部と、を含むことを特徴とする符号化装置。
29. 前記第１解像度は元の解像度であり、前記第２解像度は低解像度であることを特徴とする請求項２８に記載の装置。
30. 前記第２解像度は低域フィルタリングを行うことによって得られることを特徴とする請求項２９に記載の装置。
31. 前記量子化加重値行列決定部は入力映像のノイズ量と関連して分類される複数の変形量子化加重値行列のうち何れか１つを選択することによって変形量子化加重値行列を決定することを特徴とする請求項２８に記載の装置。
32. 前記動き補償情報を計算する段階はブロック単位で行われることを特徴とする請求項２８に記載の装置。
33. 前記動き補償情報はＳＡＤであることを特徴とする請求項３２に記載の装置。
34. 前記ノイズ判断部は前記第１動き補償情報計算部で計算された第１解像度でのＳＡＤと前記第２動き補償情報計算部で計算された第２解像度でのＳＡＤに基づき、前記入力映像のブロックそれぞれに対する第１及び第２解像度でのＳＡＤ差値を計算した後、計算されたＳＡＤ差値の絶対値を計算するＳＡＤ差値計算部をさらに含むことを特徴とする請求項３３に記載の装置。
35. 前記ノイズ判断部は前記ＳＡＤ差値計算部で計算されたそれぞれのブロックに対する絶対値をフレーム別に合算する合算部と、合算部の結果値に基づいてノイズ量を予測するノイズ量予測部と、をさらに含むことを特徴とする請求項３４に記載の装置。
36. 前記ノイズ判断部は前記第１動き補償情報計算部で計算された第１解像度でのＳＡＤに基づいて参照ＳＡＤを計算する参照ＳＡＤ計算部をさらに含み、前記合算部は前記第１解像度でのＳＡＤが参照ＳＡＤより小さいブロックに対してのみ、前記ＳＡＤ差値計算部で計算されたＳＡＤ差値の絶対値を合算することを特徴とする請求項３４に記載の装置。
37. 前記ノイズ決定部は第１解像度で現在フレームの（ｉ，ｊ）位置でのブロックに対応する動きベクトルＭＶ_１に対する以前フレームの探索領域を探索し、以前フレームでＭＶ_１ほど移動した後で対応する画素間の差値ＳＡＤ_Ｌ１を含む探索された動きベクトルＭＶ_１に対応するＳＡＤを出力する第１解像度ＳＡＤ計算部をさらに含むことを特徴とする請求項２５に記載の装置。
38. 前記第１解像度は元の映像ピクチャーの解像度であることを特徴とする請求項３７に記載の装置。
39. 前記第１解像度での動きベクトルＭＶ_１は下記数式によって決定され、
    

    

    ここで、Ｆｎ（ｉ，ｊ）は現在フレーム（ｎ番目フレーム）で（ｉ，ｊ）位置にある画素であり、±Ｓは動きベクトルが探索される探索領域であり、Ｆｎ−１（ｉ，ｊ）は以前フレーム（ｎ−１番目フレーム）で（ｉ，ｊ）位置の画素であり、各ブロックサイズはＮｘＮであることを特徴とする請求項３８に記載の装置。
40. 前記参照計算部は数式
    

    

    または、数式
    

    

    を使用して参照ＳＡＤを計算し、
    ここで、Ａは所定の定数であり、ＳＡＤ_half-pelは半画素探索まで終わった後のＳＡＤであることを特徴とする請求項３６に記載の装置。
41. 前記合算部はＳＡＤまたはＳＡＤ_half-pelのうちそれぞれのブロックで得られた参照ＳＡＤより小さいＳＡＤ値のみを合算し、フレームに対するＳＡＤ値を計算し、計算されたＳＡＤ値を前記ノイズ量予測部に伝送することを特徴とする請求項４０に記載の装置。
42. 前記量子化部で量子化された入力映像を逆量子化する逆量子化部と、
    前記逆量子化部で逆量子化された入力映像に対してＩＤＣＴを行う逆ＤＣＴ部と、
    ＩＤＣＴ部でＩＤＣＴ変換された入力映像をフレーム単位で貯蔵するフレームメモリと、
    入力される現在フレームの映像データとフレームメモリ部に貯蔵された以前フレームの映像データとを利用してマクロブロック当たり動きベクトルとブロック整合誤差に該当するＳＡＤを推定する動き推定及び補償部と、
    動き推定及び補償部で推定された動きベクトルによってＤＣＴ及び量子化処理されたデータで統計的重複性を除去する可変長符合化部と、をさらに含むことを特徴とする請求項２８に記載の装置。
43. 量子化加重値行列貯蔵部をさらに含み、
    前記量子化加重値行列決定部はノイズに対応する変形量子化行列に対するインデックスを量子化加重値行列貯蔵部に伝送し、前記量子化加重値行列貯蔵部に貯蔵された量子化加重値行列が５種類の場合に分類される場合、前記インデックスは０、１、２、３、４のうち何れか１つであることを特徴とする請求項２８に記載の装置。
44. 前記量子化加重値行列貯蔵部は前記量子化加重値行列決定部から入力された量子化加重値行列インデックスに基づき、該当量子化加重値行列を選択し、前記量子化部は入力された該当量子化加重値行列を使用して量子化を行うことを特徴とする請求項４３に記載の装置。
    

Images