JPH0984024A - 動画像信号の符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像信号の特徴に応じた効果的なノイズ低
減により、符号化効率が高く、また符号化による再生画
像の品質劣化のない動画像信号の符号化装置を提供す
る。 【解決手段】 動画像信号の符号化装置における動画像
信号のフレーム駒落し情報と、動きベクトル情報の一方
または双方の情報より抽出した前記動画像信号の特徴に
応じて適応的にノイズ除去フィルタ方式を選択し、符号
化前の前記動画像信号に対して効果的なノイズ低減を行
う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ電話やテレビ会
議などに利用される動画像信号の符号化装置に関するも
のである。

【０００２】

【従来の技術】一般に、動画像信号の符号化装置は、ま
ず、時間的な相関を除去するためフレーム間予測、即
ち、前フレームの画素ブロック(例えば16×16画素)単位
に動き補償を行い、現フレームとの差分を画素ブロック
単位に求める。次に空間的な相関を除去するため、前記
差分値に直交変換を行い、直交変換係数を量子化し、そ
の量子化された出力値と動き補償に用いた動きベクトル
の符号化を行い高能率符号化された二元符号列(ビット
ストリーム)を出力する。なお、前記量子化された出力
値の情報量は前記現フレームの情報量より極めて少な
い。次に、符号化されたフレームは送信バッファに蓄え
られ、このバッファの残留量を用いて次フレーム以降の
入力信号の制御(駒落し制御)、および量子化係数の決
定、量子化出力の制御が行われ、所望の符号化レートが
得られるよう符号化制御が行われる。

【０００３】一方カメラ等の映像入力装置により取り込
まれた動画像信号にはフリッカ等のノイズ成分が含まれ
ており、これにより時間的な相関および空間的な相関が
損なわれ、フレーム間予測および直交変換による情報量
圧縮の効果が十分に得られないので、高能率符号化回路
に入力される動画像信号はノイズ除去フィルタを介して
ノイズ成分を低減し、符号化効率が高く、ノイズの低減
された動画像信号に変換されて、高能率符号化回路に供
給される。ここで、前記のノイズ除去フィルタとして
は、フレームメモリを用いて１フレーム遅延させ、この
遅延信号と現信号とのフレーム差分を求めリミッタ処理
等による演算結果を加えて、再び入力信号と演算処理を
行いノイズ成分の低減を行う巡回型ノイズ除去フィルタ
方式と、遅延信号を用いず現信号に例えば３×３画素単
位毎にメディアンフィルタ等のフィルタリング処理を行
うエリア内ノイズ除去フィルタ方式のどちらか一方の方
式が採用されている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
巡回型ノイズ除去フィルタ方式では、時間的に相関を損
なうノイズ成分の低減は行えるものの、移動体の残像ノ
イズを発生させてしまうので、符号化制御により駒落し
が行われた場合、時間的に離れた画像の予測を行うこと
になり、前記残像ノイズが高能率符号化する時の符号化
効率を低下させ、更に、再生画質の品質も損なうという
問題点があった。また、上記のエリア内ノイズ除去フィ
ルタ方式は空間的に相関を損なうノイズ成分の低減は行
えるものの、画像のエッジ部と画像の静止領域での解像
度の低下と時間的に相関を損なうノイズ成分の低減を十
分に行うことができないという問題点があり、従って、
ノイズ除去のためのフィルタリングを単一のフィルタ方
式のみで行うことには無理があり、フレームの駒落しが
行われた場合や、動画像信号の特徴(動画，静止画の比
率等)によっては、そのフィルタリング効果が十分得ら
れないという問題点があった。

【０００５】本発明は上記従来の問題点を解決するもの
で、フレームの駒落しが行われた場合や、動画像信号の
特徴に影響を受けず高能率符号化する際、より符号化効
率の高いノイズ成分を低減した動画像信号による高能率
符号化を実現した動画像信号符号化装置を提供すること
を目的とする。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に本発明は、フレーム単位で入力される動画像信号に対
し、前フレームから画素ブロック単位に動き検出し予測
を行って予測誤差信号を直交変換し直交変換係数を量子
化して量子化出力を高能率符号化する符号化回路と符号
化されたフレームを送信バッファに蓄え、このバッファ
の残留量を用いて次フレーム以降の入力信号の制御、お
よび量子化係数の決定を行い量子化出力を制御する符号
化制御手段を持つ符号化装置において、フレーム単位で
入力される動画像信号に対して、複数のフィルタ方式を
有するノイズ除去フィルタと前記動き検出結果の情報お
よび前記符号化制御手段の出力情報の何れか一方または
双方の情報に基づき、適応的にノイズ除去フィルタの方
式の選定を行う手段を備えた。

【０００７】

【作用】本発明の上記した動画像信号符号化装置によれ
ば、フレームの駒落しの情報と動きベクトル情報により
抽出した動画像信号の特徴に応じて、適応的にノイズフ
ィルタの方式を選択してノイズ除去を行うことにより、
符号化効率が高く、再生画像の低レート化された高画質
化が実現できる。

【０００８】

【実施例】以下、本発明の一実施例について図面を参照
しながら説明する。図１は本発明の動画像信号符号化装
置の構成を示すブロック図であり、図中、１はディジタ
ル化された動画像信号が入力される入力端子、２は前記
巡回型ノイズ除去フィルタ方式と前記エリア内ノイズ除
去フィルタ方式の２方式のフィルタを内蔵したノイズ除
去フィルタ回路、３は第１フレームメモリ、４はノイズ
リダクション(以下ＮＲという)制御回路、５はinterモ
ード(フレーム間予測符号化)とintraモード(フレーム内
符号化)を判定するinter／intra判定回路、６は動きベ
クトル検出評価回路、７はスイッチ(以下ＳＷという)、
８は動き補償回路、９は離散コサイン変換(以下ＤＣＴ
という)回路、10は量子化回路、11は第２フレームメモ
リ、12は符号化制御回路、13は逆量子化回路、14は前記
ＤＣＴの逆変換を行うＩＤＣＴ回路、15は符号化回路、
16はバッファであり、それぞれ図示のように配置されて
いる。

【０００９】次にその動作について説明する。まず、デ
ィジタル化された動画像信号が入力端子１から入力され
ると、ＮＲ制御回路４は符号化制御回路12よりの駒落し
制御情報から適応的にノイズ除去フィルタ方式の決定を
行い、入力許可信号または入力禁止信号と共にノイズ除
去フィルタ方式の選別信号をノイズ除去フィルタ回路２
に送出する。今、前者の入力許可信号が入力された場合
は、ノイズ除去フィルタ回路２は動画像信号の取り込み
を行い、併せて入力されるノイズ除去フィルタ方式の選
別信号に基づき、巡回型ノイズ除去フィルタ方式とエリ
ア内ノイズ除去フィルタ方式の一方の方式を選択し、巡
回型ノイズ除去フィルタ方式が選択されたならば、第１
フレームメモリ３に記憶されている動画像信号を用いて
ノイズ除去処理を行い、また、エリア内ノイズ除去フィ
ルタ方式が選択されたならば、第１フレームメモリ３を
用いずにノイズ除去処理を行ってノイズ成分の低減され
た動画像信号(以下このノイズ除去フィルタ回路２から
出力された動画像信号を入力動画像信号と呼ぶ)を出力
し、この出力信号を動きベクトル検出評価回路６とinte
r／intra判定回路５に入力して、その結果を第１フレー
ムメモリ３に蓄える。一方、後者の入力禁止信号が入力
された場合は、ノイズ除去フィルタ回路２は動画像信号
の取り込みを行いノイズ除去処理は行うが、何も出力し
ないので、この場合は入力動画像信号は存在しない。

【００１０】入力動画像信号が存在する前者の場合は、
画素ブロック(例えば16×16画素)単位で以下の処理を行
う。まず、動きベクトル検出評価回路６は第２フレーム
メモリ11と入力動画像信号から動きベクトルを算出し、
動き補償回路８に結果を出力する。この動き補償回路８
は算出された動きベクトルと第２フレームメモリ11とに
より動き補償を行う。ここで、入力動画像信号と第２フ
レームメモリ11を用いて、interモードとintraモードの
決定がinter／intra判定回路５において行われ、その結
果、interモードならＳＷ７はオンに、intraモードなら
オフとなる。このinter／intra判定回路５ではシーンチ
ェンジなどフレーム間の相関が低い部分についてはフレ
ーム内符号化が選ばれるような制御がなされる。

【００１１】次に、減算器Ｓにより、ＳＷ７がオンの場
合、入力動画像信号とこの動き補償された信号との差分
が取られ、予測誤差信号が得られる。この予測誤差信号
はＤＣＴ回路９に入力され、直交変換されて直交変換係
数が量子化回路10に出力され、量子化回路10では符号化
制御回路12により決定された量子化係数で量子化が行わ
れ、量子化出力値は符号化回路15と逆量子化回路13に入
力される。逆量子化回路13とＩＤＣＴ回路14ではそれぞ
れ逆変換が取られ予測誤差信号が復号化され、復号化さ
れた予測誤差信号と動き補償された信号は加算器Ａによ
り加算され、第２フレームメモリ11に蓄えられて、次フ
レーム以降再び参照される。一方、符号化回路15は量子
化出力値と動きベクトルの符号化を行い、高能率符号化
された二元符号列を出力し、符号化されたフレームはバ
ッファ16に蓄えられ、このバッファ16の残留量を用いて
符号化制御回路12は次フレーム以降の入力信号の制御
(駒落し制御情報)をＮＲ制御回路４に入力する。

【００１２】本発明の動画像信号の符号化装置全体の構
成は以上説明した通りであるが、次に、その骨子となる
ノイズ除去フィルタ方式のＮＲ制御回路４による３つの
選定手段について更に詳細に説明する。

【００１３】第１の手段 ＮＲ制御回路４内には連続して入力禁止されたフレーム
数(駒落しされたフレーム数)をカウントするカウンター
を備えており、符号化制御回路12の駒落し制御情報が入
力許可となった時、このカウンターの値がある閾値以下
ならば巡回型ノイズ除去フィルタ方式を選択する。この
場合、移動体の残像ノイズが高能率符号化に与える影響
が小さく、時間方向の冗長度を削減するinterモードが
選択されやすく巡回型ノイズ除去フィルタ方式の方が有
利であると考えられるからである。逆に前記カウンター
の値がある閾値を越えた場合は、エリア内ノイズ除去フ
ィルタ方式を選択する。この場合、移動体の残像ノイズ
が高能率符号化が符号化低下を招くおそれがあり、ま
た、高能率符号化回路においてフレーム間相関が低くな
り、空間的な冗長度を削減するintraモードとなる比率
が増加すると考えられ、空間的な相関を損なうノイズを
除去するエリア内ノイズ除去フィルタ方式の方が有利で
あると考えられるからである。

【００１４】第２の手段 ＮＲ制御回路４内には連続して入力禁止されたフレーム
数(駒落しされたフレーム数)をカウントするカウンター
の外に、動きベクトルから動画像信号の特徴を抽出する
手段を備えており、この手段は、例えば動きベクトルの
ベクトル値の平均を求め、この平均値がある閾値を越え
た場合は、この画像は動領域が多く存在し、移動体の残
像ノイズが高能率符号化の符号化低下を招くおそれがあ
ると判定し、符号化制御回路12の駒落し制御情報が入力
許可となった時、エリア内ノイズ除去フィルタ方式を選
択する。一方、前記平均値がある閾値以下ならば静止領
域が多い画像であると判定し、移動体の残像ノイズが高
能率符号化に与える影響が小さいと考え、巡回型ノイズ
除去フィルタ方式を選択する。

【００１５】第３の手段 ＮＲ制御回路４内に備えられているフレーム数(駒落し
されたフレーム数)をカウントするカウンターと、動き
ベクトルから画像の特徴を抽出する手段の双方を用い、
まず、動画像信号の特徴を抽出する手段を主体とし、こ
の画像は動領域が多いと前記手段が判定した場合、移動
体の残像ノイズが高能率符号化の符号化低下を招くおそ
れはあるものの、前記カウンターの値がある閾値以下な
らば、フレーム相関が高く、移動体の残像ノイズが高能
率符号化に与える影響が小さいと考えられるので、符号
化制御回路12の駒落し制御情報が入力許可となった時、
巡回型ノイズ除去フィルタ方式を選択する。逆に、前記
カウンターの値がある閾値以上であるならばエリア内ノ
イズ除去フィルタ方式を選択する。

【００１６】次に、前記カウンターを主体とし、そのカ
ウンターの値がある閾値を越えた場合、移動体の残像ノ
イズが高能率符号化の符号化低下を招くおそれはあるも
のの、前記画像の特徴を抽出する手段における動きベク
トルのベクトル値の平均がある閾値以下であるならば、
移動体の残像ノイズが高能率符号化に与える影響が小さ
いと考えられるので、巡回型ノイズ除去フィルタ方式を
選択し、逆に動きベクトルのベクトル値の平均がある閾
値より大きい場合は、エリア内ノイズ除去フィルタ方式
を選択する。

【００１７】以上説明した画像の特徴に対応するノイズ
除去フィルタ方式の選択枝を整理すると次の４通りにな
る。

【００１８】(1)フレーム相関が低く、動領域の多い画
像の場合はエリア内ノイズ除去フィルタ方式が選択され
る。

【００１９】(2)フレーム相関が低く、静止領域の多い
画像の場合は巡回型ノイズ除去フィルタ方式が選択され
る。

【００２０】(3)フレーム相関が高く、動領域の多い画
像の場合は巡回型ノイズ除去フィルタ方式が選択され
る。

【００２１】(4)フレーム相関が高く、静止領域の多い
画像の場合はエリア内ノイズ除去フィルタ方式が選択さ
れる。

【００２２】以上の実施例の動作説明から明らかなよう
に、映像信号のフレーム駒落し情報と、動きベクトル情
報の一方または双方の情報より抽出した動画像信号の特
徴に応じて適応的にノイズ除去フィルタ方式を選択し、
効果的にノイズの低減を行うことにより、動画像信号の
符号化効率を向上させることができる。

【００２３】

【発明の効果】以上のように、本発明によれば、動画像
信号のフレーム駒落し情報と、動きベクトル情報の一方
または双方の情報より抽出した動画像信号の特徴に応じ
て適応的にノイズ除去フィルタ方式を選択し、効果的な
ノイズの低減を行うことにより、動画像信号の符号化効
率が高く、また符号化による再生画像の品質劣化のない
動画像信号の符号化装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の動画像信号の符号化装置の一実施例の
構成を示すブロック図である。

【符号の説明】

１…入力端子、 ２…ノイズ除去フィルタ回路、 ３…
第１フレームメモリ、４…ＮＲ制御回路、 ５…inter
／intra判定回路、 ６…動きベクトル検出評価回路、
７…ＳＷ、 ８…動き補償回路、 ９…ＤＣＴ回路、
10…量子化回路、 11…第２フレームメモリ、 12…
符号化制御回路、 13…逆量子化回路、14…ＩＤＣＴ回
路、 15…符号化回路、 16…バッファ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 フレーム単位で入力される動画像信号に
   対し、前フレームから画素ブロック単位に予測を行って
   予測誤差信号を直交変換し直交変換係数を量子化して量
   子化出力を高能率符号化する符号化回路と、符号化され
   たフレームを送信バッファに蓄え、このバッファの残留
   量を用いて次フレーム以降の入力信号の制御、および量
   子化係数の決定を行い量子化出力を制御する符号化制御
   手段とを有する符号化装置において、フレーム単位で入
   力される動画像信号に対して複数のフィルタ方式を有す
   るノイズ除去フィルタと、前記符号化制御手段の出力情
   報に基づき適応的にノイズ除去フィルタの方式の選定を
   行う手段を具備したことを特徴とする動画像信号の符号
   化装置。
2. 【請求項２】 フレーム単位で入力される動画像信号に
   対し、前フレームから画素ブロック単位に動き検出し予
   測を行って予測誤差信号を直交変換し直交変換係数を量
   子化して量子化出力を高能率符号化する手段を持つ符号
   化装置において、フレーム単位で入力される動画像信号
   に対して複数のフィルタ方式を有するノイズ除去フィル
   タと、前記動き検出結果の情報に基づき適応的にノイズ
   除去フィルタの方式の選定を行う手段を具備したことを
   特徴とする動画像信号の符号化装置。
3. 【請求項３】 フレーム単位で入力される動画像信号に
   対し、前フレームから画素ブロック単位に動き検出し予
   測を行って予測誤差信号を直交変換し直交変換係数を量
   子化して量子化出力を高能率符号化する符号化回路と、
   符号化されたフレームを送信バッファに蓄え、このバッ
   ファの残留量を用いて次フレーム以降の入力信号の制
   御、および量子化係数の決定を行い量子化出力を制御す
   る符号化制御手段とを有する符号化装置において、フレ
   ーム単位で入力される動画像信号に対して複数のフィル
   タ方式を有するノイズ除去フィルタと、前記動き検出結
   果の情報および前記符号化制御手段の出力情報に基づき
   適応的にノイズ除去フィルタの方式の選定を行う手段を
   具備したことを特徴とする動画像信号の符号化装置。