JPH04129491A - 動画像信号の符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、帯域圧縮技術を用いた動画像信号の符号化方
式に関する。

（従来の技術） 従来の帯域圧縮技術を用いた動画像信号の符号化方式と
しては、たとえば１９８９年電子情報通信学会春季全国
大会、資料番号Ｄ−２３３に記載のｒ　Ｉ　ＳＤＮ対応
カラー動画像テレビ電話装置」などが知られている。こ
の動画像信号の符号化方式では、画面における顔領域を
抽出してマツプを作成する。そして、画像符号化部では
フレーム間フレーム内適応予測を行い、この時もし卵の
領域であれば最終段まで符号化をし、それ以外の領域で
あれば１つ前の段階で符号化を止めることにより符号量
を減らしている。

（発明が解決しようとする課題） しかしながら上述した従来の動画像信号の符号化方式で
は、顔量外の背景の部分も粗く符号化するから背景部分
の雑音により無駄な情報が発生してしまう。また、連続
する画面間で背景部分から顔部分に変化したとすると、
粗い符号化から細かい符号化に変るから、予測誤差信号
がここでもかなり発生してしまい、無駄な情報を符号化
することになってしまう。その結果符号化効率が低下し
てしまう。

（課題を解決するための手段） 本発明の動画像信号の符号化方式は、画面間の相関を利
用した動画像信号の符号化方式であって、入力する動画
像信号の１画面を複数画素からなるブロックに分割し、
ブロック毎に前画面との差分を検出し、該差分値が予め
定められた第１の閾値以上のときには有効ブロックとし
、前記差分値が予め定められた第１の閾値未満のときに
は無効ブロックとしてフレーム毎に第１の有効ブロック
マツプを作成する手段と、該第１の有効ブロックマツプ
に対して第１の重みづけを行う手段と、前画面における
第６の有効ブロックマツプに対して第２の重みづけを行
う手段と、前記第１の重みづけを行った第１の有効ブロ
ックマツプと、前記第２の重みづけを行った第６の有効
ブロックマツプとを加算合成して重みづけが成された第
２の有効ブロックマツプを得る手段と、該第２の有効ブ
ロックマツプに対して、各ブロックの近傍のブロックを
参照し、近傍のブロックおよび対象ブロックの値が予め
定められた第２の閾値以上のときには当該対象ブロック
を有効ブロックとし、第２の閾値未満のときには当該対
象ブロックを無効ブロックとするセグメンテーションを
行って第３の有効ブロックマツプを得る手段と、該第３
の有効ブロックマツプ内の孤立無効ブロックについて、
近傍のブロックを参照し、近傍のブロックの値が予め定
められた第３の閾値以上のときには当該孤立無効ブロッ
クを有効ブロックに置き替え、第３の閾値未満のときに
は当該孤立無効ブロックを無効ブロックのままとして第
４の有効ブロックマツプを得る手段と、該第４の有効ブ
ロックマツプの有効ブロック数が予め定められた第４の
閾値以上の場合は前記第４の有効ブロックマツプの有効
ブロックを全て無効ブロックに置き換えて第５の有効ブ
ロックマツプとし、前記第４の有効ブロックマツプの有
効ブロック数が予め定められた第４の閾値未満の場合は
前記第４の有効ブロックマツプをそのままで第５の有効
ブロックマツプとする手段と、該第５の有効ブロックマ
ツプを１フレーム時間遅延させて第６の有効ブロックマ
ツプを得る手段と、前記動画像信号の入力時から前記第
４の有効ブロツクマツプの生成時までの時間の遅延を前
記動画像信号に与える手段と、遅延を与えられた前記動
画像信号について、前記第４の有効ブロックマ・ｙプで
有効ブロックとされた領域を、画面間の相関、画面内の
相関またはその両方を用いて符号化を行う手段とを有す
る。

（作用） テレビ電話などにおいては、背景部分は固定でおもに話
者が動くことから、話者の部分を切出して符号化を行え
ば、背景などからの雑音によって発生する無駄な符号化
情報量を除去でき符号化能率を上げることができる。

本発明においては、話者の部分を切出して話者部分のみ
を符号化することにより、符号化効率を高める。話者の
切出し方について図面を参照しながら詳細に説明する。

第１図の時刻ｔｏ、ｔｌ。

ｔ２に示すように話者が動いたと仮定する。そして、時
刻ｔｏおよび時刻ｔ１の画面間での差分を求めると第２
図の斜線で示される領域が求められ、背景部分の孤立し
た斜線部分は背景の雑音により発生した差分信号である
とする６次に、画面を水平方向ｎ画素×垂直方向ｎ画素
の複数の画素からなるブロックに分割し、各ブロック内
の差分信号の絶対値和か予め定められた第１の閾値以上
のときには、そのブロックを有効ブロックとし、差分信
号の絶対値和か第１の閾値未満のときにはそのブロック
を無効ブロックとする。以上の処理によって得られた時
刻ｔ１における有効ブロックマツプを第３図（Ｂ）に示
す。第３図（Ｂ）の黒く塗られた部分が有効ブロックで
ある。第３図（Ａ）は、時刻ｔｏと時刻１０より６１画
面前の時刻ｔＯ−１との画面間で求められた第６の有効
ブロックマツプであるとする。そして、現画面の有効ブ
ロックマツプ（第３図（Ｂ））すなわち第１の有効ブロ
ックマツプに第一の重みづけを行い、前画面の有効ブロ
ックマツプ（第３図（Ａ））である第６の有効ブロック
マツプに対してはごｔ第２の重みづけを行う、以下に重
みづけの一例を示す０例え、ば、前フレームの有効ブロ
ックを１とし、無効ブロックを０とする。現フレームの
有効ブロックは２とし、現フレームの無効ブロックは前
フレームの無効ブロックと同様にＯとする。この様にし
て重みづけを行った前フレームの有効ブロックマツプと
、現フレームの有効ブロックマツプとを加算合成し、第
２の有効ブロックマツプを得る。第２の有効ブロックマ
ツプは、第３図（Ｃ）の慌になる。次に、第３図（Ｃ）
の加算合成された第２の有効ブロックマツプに対して、
セグメンテーションを行う。セグメンテーションの一例
を第３図および第４図を参照しながら説明する。例えば
、第４図のｋをセグメンテーションの対象ブロックとす
ると、ブロックにの近傍のブロックａ、ｂ。

ｃ、ｄ、ｅ、ｆ、　ｇ、ｈの値を参照する。すなわち第
３図（Ｃ）の第２の有効ブロックマツプの値を参照する
。近傍のブロックａ、ｂ、ｃ、ｄ、ｅ。

ｆ、ｇ、ｈおよびブロックにの値が予め定められた第２
の閾値以上のときには、対象ブロックｋを有効ブロック
とし、近傍のブロックａ、ｂ、ｃ。

ｄ、ｅ、ｆ、ｇ、ｈおよびブロックにの値が予め定めら
れた第２の閾値未満のときには、対象ブロックｋを無効
ブロックとする。

新たにセグメンテーションによって得られた第３の有効
ブロックマツプを第３図（Ｄ）に示す。

第３の有効ブロックマツプには場合によって、動き部分
に孤立無効ブロックが発生することがある。

これは、第１の有効ブロックマツプを得る際１．動き部
分において画面間での差分が第１の閾値よりも少し低か
ったブロックは、無効ブロックとなるから、動き部分に
孤立した無効ブロックが発生する。孤立無効ブロックの
一例を第５図に示す。第５図の様に孤立無効ブロックを
含む第３の有効ブロックマツプ内の有効ブロック領域の
み符号化を実行させると、有効ブロック領域内の孤立し
た無効ブロック部分は、符号化が行われないから無効ブ
ロックの部分と周囲の部分とで符号化画像の連続性がな
くなり、符号化歪が発生してしまう、その結果、非常に
見苦しい符号化画像となってしまうことがある。そこで
、孤立無効ブロックの除去を行う、孤立無効ブロックの
除去方法としては、セグメンテーションと同様な処理を
孤立無効ブロツクの除去を行う。すなわち孤立無効ブロ
ックの近傍のブロックを参照し、近傍のブロックが予め
定められた第３の閾値以上のときに、その対象となる孤
立無効ブロックを有効ブロックを示す値に置き替える６
以上の処理により第５図で孤立無効ブロックであった領
域を除去し、第４の有効ブロックマツプを得る。第４の
有効ブロックマツプを第３図（Ｄ）に示す。

次に時刻ｔ２における処理について説明する。

時刻ｔ１と時刻ｔ２の画面間での差分を求め、前記第１
の閾値にしたがって有効無効判定を行うと、第６図（Ａ
）に示す第１の有効ブロックマツプが得られる。この第
１の有効ブロックマツプに対して第１の重みづけを行う
。そして前画面である時刻ｔ１の有効ブロックマツプが
第３図（Ｄ）であるから、第３図（Ｄ）の有効ブロック
マツプに対して第２の重みづけを行って第１の重みづけ
を行った第１の有効ブロックマツプと加算合成すると、
第６図（Ｂ）に示す第２の有効ブロックマツプが得られ
る。第６図（Ｂ）の第２の有効ブロックマツプに対して
、前記セグメンテーションを行うと、第６図（Ｃ）に示
す第３の有効ブロックマツプが得られる。次に、第３の
有効ブロックマツプに対して、孤立無効ブロックの除去
を行う。第６図（Ｃ）の第３の有効ブロックマツプには
、孤立無効ブロックが存在していなかったので、第３の
有効ブロックマツプがそのまま第４の有効ブロックマツ
プとされ、セグメンテーションによって得られた話者領
域となる６時刻ｔ２における実際の話者領域は、画面の
ほぼ左半分であるのに対し、セグメンテーションによっ
て得られた話者領域は、画面の右半分の背景部分にだい
ぶはみだしているから、第６図（Ｃ）の第４の有効ブロ
ックマツプをこのまま用いると、背景の雑音も符号化し
てしまう可能性があり、あまり好ましくない０時刻ｔ１
、ｔ２の場合の様に動きが大きく、セグメンテーション
で得られた有効ブロックの数が多い場合には、前画面に
おける有効ブロックマツプの影響を受けて、前画面の話
者領域にふくらんでしまうからである。従って画面間で
の動きが大きい場合、すなわち第４の有効ブロックマツ
プの有効ブロック数が予め定められた第４の閾値以上の
場合には、第４の有効ブロックマツプに対してリセット
を行い、第４の有効ブロックマツプ内の有効ブロックを
全て無効ブロックに置き換えて第５の有効ブロックマツ
プとする。第５の有効ブロックマツプは１フレーム時間
遅延されて第６の有効ブロックマツプとなり、次の時刻
においてセグメンテーションに用いられる。たとえば、
第３図（Ａ）を前フレームの第４の有効ブロックマツプ
とし、第３図（Ｂ）を現フレームの有効ブロックマツプ
すなわち第１の有効ブロックマツプとする。そして、時
刻ｔ１において得られた第４の有効ブロックマツプの有
効ブロック数が、前記第４の閾値以上であったとすると
、第４の有効ブロックマツプ内の有効ブロックを、全て
無効ブロックに置き換えて第５の有効ブロックマツプと
するから、第５の有効ブロックマツプが１フレーム時間
遅延されて得られる時刻ｔ２における第６の有効ブロッ
クマツプも全て無効ブロックとなる。その結果、時刻ｔ
２における第１の有効ブロックマツプが、第６図（Ａ）
であったとすると、重みづけが行われた第２の有効ブロ
ックマツプは第６図（Ｄ）の様になり、この第２の有効
ブロックマツプに対して前記セグメンテーションを行う
と、第６図（Ａ）に示す様な第３の有効ブロックマツプ
が得られる。この第３の有効ブロックマツプには孤立無
効ブロックが含まれていなかったから、第３の有効ブロ
ックマツプがそのまま第４の有効ブロックマツプとなり
、背景部分を削除することができる。

以上の様にして得な第４の有効ブロックマツプの有効ブ
ロック領域内すなわち話者領域を、画面間の相関、画面
内の相関またはその両方を用いて符号化することにより
、背景などの雑音により発生する無駄な情報を容易に削
除でき、符号化効率を高めることができる。

上記各閾値および重みづけの値については、予め統計的
に調べた最適値を用いる。また、セグメンテーションお
よび孤立無効ブロック除去における参照ブロックの配置
は、上記以外の配置およびブロック数でもかまわない。

（実施例） 次に、図面を参照しながら本発明の一実施例について詳
細に説明する。第７図に本発明の一実施例を示す。入力
する動画像信号は、線１００を介して有効−効判定部１
および遅延部１１に供給される。有効無効判定部１は、
前画面の動画像信号を蓄えておき、この前画面における
動画像信号と新たに［１００を介して入力された動画像
信号とのフレーム差分信号を求め、このフレーム差分信
号を水平方向ｎ画素Ｘ垂直方向ｎ画素の複数画素からな
るブロックに分割し、それぞれのブロック毎に、ブロッ
ク内のフレーム差分値の絶対値和を求める。求められた
フレーム差分値の絶対値和が予め定められた第１の閾値
以上であればそのブロックを有効ブロックとし、フレー
ム差分値の絶対値和が第１の閾値未満のときはそのブロ
ックを無効ブロックとして、第１の有効ブロックマツプ
を得る。有効無効判定部１で得られた第１の有効ブロッ
クマツプは、重みづけ部２に与えられる。重みづけ部２
は、有効無効判定部１がら与えられた第１の有効ブロッ
クマツプに対して、予め定められた第１の重みづけを行
う。重みづけ部２で重みづけが成された第１の有効ブロ
ックマツプは、加算器４に与えられる。加算器４は、重
みづけ部２から与えられた第１の有効ブロックマツプと
、４重みづけ部３がら与えられる前画面における有効ブ
ロックマツプである第６の有効ブロックマツプとを加算
し、重みづけが成された第２の有効ブロックマツプを得
る。加算器４で得られた第２の有効ブロックマツプは、
セグメンテーション部５に与えられる。セグメンテーシ
ョン部５は、加算器４から与えられた第２の有効ブロッ
クマツプ内の全てのブロックに対して、セグメンテーシ
ョン処理を行う０例えば、第４図に示す様にセグメンテ
ーションの対象となるブロックをｋとすると、ｋおよび
ｋの近傍のａ＋　ｂ、ｃ、ａ、ｅ、　ｆ、ｇ＋　ｈのブ
ロックの値を参照し、それらの値が予め定められた第２
の閾値以上であればそのブロックｋを有効ブロックとし
、近傍のブロックおよびｋの値が第２の閾値未満の場合
にはそのブロックｋを無効ブロックとして第３の有効ブ
ロックマツプを得る。セグメンテーション部５で得られ
た第３の有効ブロックマツプは、孤立無効ブロック除去
部６に与えられる。孤立無効ブロック除去部６は、セグ
メンテーション部５から与えられた第３の有効ブロック
マツプに含まれている無効ブロックに対して孤立無効ブ
ロック除去の処理を行い、有効ブロックの連結を行う。

孤立無効ブロックの処理は、セグメンテーションと同様
に対象となる孤立無効ブロックの近傍のブロックを参照
し、その近傍のブロックの値が予め定められた第３の閾
値以上の場合は、その孤立無効ブロックを有効ブロック
とする。近傍のブロックの値が予め定められた第３の閾
値未満の場合は、その孤立無効ブロックは無効ブロック
のままとし、以上の処理によって孤立無効ブロックの除
去を行った第４の有効ブロックマツプを得る。孤立無効
ブロック除去部６で得られた第４の有効ブロックマツプ
は、有効ブロック数判定部８、有効ブロックリセット部
９および符号化部７に与えられる。有効ブロック数判定
部８は、孤立無効ブロック除去部６から与えられた第４
の有効ブロックマツプの有効ブロック数が予め定められ
た第４の閾値以上の場合には、有効ブロックリセット部
９にリセット実行の指示を与える。

また、有効ブロック数判定部８は、孤立無効ブロック除
去部６から与えられた第４の有効ブロックマツプの有効
ブロック数が予め定められた第４の閾値未満の場合には
、有効ブロックリセット部９にリセット停止の指示を与
える。有効ブロックリセット部９は、有効ブロック数判
定部８からリセット実行の指示が与えられた場合には、
孤立無効ブロック除去部６から与えられた第４の有効ブ
ロックマツプの有効ブロックを、全て無効ブロックに置
き換えて第５の有効ブロックマツプとする。

また、有効ブロックリセット部９は、有効ブロック数判
定部８からリセット停止の指示が与えられた場合には、
孤立無効ブロック除去部６から与えられた第４の有効ブ
ロックマツプに何の処理も行わずにそのままで第５の有
効ブロックマツプとする。有効ブロックリセット部９で
得られた第５の有効ブロックマツプは、フレーム遅延部
１０に与えられる。フレーム遅延部１０は、有効ブロッ
クリセット部９から与えられた第５の有効プロ・ｙクマ
ップを１フレーム時間遅延し、第６の有効ブロックマツ
プを得る。フレーム遅延部１０で得られた第６の有効ブ
ロックマツプは、重みづけ部３に与えられる。重みづけ
部３は、フレーム遅延部１０から与えられた第６の有効
ブロックマツプに対して、第２の重みづけを行って加算
器４に重みづけが成された第４の有効ブロックマツプを
与える。

遅延部１１は、入力した動画像信号に対して入力動画像
信号が供給されてから第４の有効ブロックマツプが符号
化部７に与えられるまでの遅延時間補償を行い、第４の
有効ブロックマツプと入力動画像信号の時間合せを行う
。遅延部１１の出力の時間補償された動画像信号は、符
号化部７に与えられる。符号化部７は、孤立無効ブロッ
ク除去部６　から与えられた第４の有効ブロックマップ
内の有効ブロック領域すなわち話者領域であると示され
ている部分についてのみ、遅延１１から与えられた動画
像信号の符号化を行い、無効ブロックで示される背景部
分は符号化を行わない。

符号化の方法としては、動き補償などの画面間の相関を
利用した方法、または直交変換などの画面内の相関を利
用した方法、あるいは＠面−及画面内の両方の相関を利
用した符号化方法を用いる。

上記の各閾値および参照ブロック配置などについては、
予め統計的に調べたｆｉ３ｉＩ値を用いる。

（発明の効果） 以上に詳しく説明したように、本発明の動画像信号の符
号化方式は、セグメンテーションによって得た話者領域
内のみ符号化をすることにより、背景部分の雑音により
発生する無駄な情報を削除でき、符号化の効率を高める
ことができる。

【図面の簡単な説明】

第１図、第２図、第３図、第４図、第５図および第６図
は本発明の詳細な説明する図、第７図は本発明の一実施
例を示す図である。 １・・・有効無効判定部、２，３・・・重みづけ部、４
・・・加算器、５・・・セグメンテーション部、６・・
・孤立無効ブロック除去部、７・・・符号化部、８・・
・有効ブロック数判定部、９・・・有効ブロックリセッ
ト部、１０・・・フレーム遅延部、１１・・・遅延部。

Claims (1)

【特許請求の範囲】
1. 画面間の相関を利用した動画像信号の符号化方式におい
   て、入力する動画像信号の１画面を複数画素からなるブ
   ロックに分割し、ブロック毎に前画面との差分を検出し
   、該差分値が予め定められた第１の閾値以上のときには
   有効ブロックとし、前記差分値が予め定められた第１の
   閾値未満のときには無効ブロックとしてフレーム毎に第
   １の有効ブロックマップを作成する手段と、該第１の有
   効ブロックマップに対して第１の重みづけを行う手段と
   、前画面における第６の有効ブロックマップに対して第
   ２の重みづけを行う手段と、前記第１の重みづけを行っ
   た第１の有効ブロックマップと、前記第２の重みづけを
   行つた第６の有効ブロックマップとを加算合成して重み
   づけが成された第２の有効ブロックマップを得る手段と
   、該第２の有効ブロックマップに対して、各ブロックの
   近傍のブロックを参照し、近傍のブロックおよび対象ブ
   ロックの値が予め定められた第２の閾値以上のときには
   当該対象ブロックを有効ブロックとし、第２の閾値未満
   のときには当該対象ブロックを無効ブロックとするセグ
   メンテーションを行つて第３の有効ブロックマップを得
   る手段と、該第３の有効ブロックマップ内の孤立無効ブ
   ロックについて、近傍のブロックを参照し、近傍のブロ
   ックの値が予め定められた第３の閾値以上のときには当
   該孤立無効ブロックを有効ブロックに置き替え、第３の
   閾値未満のときには当該孤立無効ブロックを無効ブロッ
   クのままとして第４の有効ブロックマップを得る手段と
   、該第４の有効ブロックマップの有効ブロック数が予め
   定められた第４の閾値以上の場合は前記第４の有効ブロ
   ックマップの有効ブロックを全て無効ブロックに置き換
   えて第５の有効ブロックマップとし、前記第４の有効ブ
   ロツクマップの有効ブロック数が予め定められた第４の
   閾値未満の場合は前記第４の有効ブロックマップをその
   ままで第５の有効ブロックマップとする手段と、該第５
   の有効ブロックマップを１フレーム時間遅延させて第６
   の有効ブロックマップを得る手段と、前記動画像信号の
   入力時から前記第４の有効ブロックマップの生成時まで
   の時間の遅延を前記動画像信号に与える手段と、遅延を
   与えられた前記動画像信号について、前記第４の有効ブ
   ロックマップで有効ブロックとされた領域を、画面間の
   相関、画面内の相関またはその両方を用いて符号化を行
   う手段とを有することを特徴とする動画像信号の符号化
   方式。