JPH04129491A - 動画像信号の符号化方式 - Google Patents
動画像信号の符号化方式Info
- Publication number
- JPH04129491A JPH04129491A JP2252907A JP25290790A JPH04129491A JP H04129491 A JPH04129491 A JP H04129491A JP 2252907 A JP2252907 A JP 2252907A JP 25290790 A JP25290790 A JP 25290790A JP H04129491 A JPH04129491 A JP H04129491A
- Authority
- JP
- Japan
- Prior art keywords
- block
- valid
- map
- effective
- block map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 17
- 230000003111 delayed effect Effects 0.000 claims description 2
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
(産業上の利用分野)
本発明は、帯域圧縮技術を用いた動画像信号の符号化方
式に関する。
式に関する。
(従来の技術)
従来の帯域圧縮技術を用いた動画像信号の符号化方式と
しては、たとえば1989年電子情報通信学会春季全国
大会、資料番号D−233に記載のr I SDN対応
カラー動画像テレビ電話装置」などが知られている。こ
の動画像信号の符号化方式では、画面における顔領域を
抽出してマツプを作成する。そして、画像符号化部では
フレーム間フレーム内適応予測を行い、この時もし卵の
領域であれば最終段まで符号化をし、それ以外の領域で
あれば1つ前の段階で符号化を止めることにより符号量
を減らしている。
しては、たとえば1989年電子情報通信学会春季全国
大会、資料番号D−233に記載のr I SDN対応
カラー動画像テレビ電話装置」などが知られている。こ
の動画像信号の符号化方式では、画面における顔領域を
抽出してマツプを作成する。そして、画像符号化部では
フレーム間フレーム内適応予測を行い、この時もし卵の
領域であれば最終段まで符号化をし、それ以外の領域で
あれば1つ前の段階で符号化を止めることにより符号量
を減らしている。
(発明が解決しようとする課題)
しかしながら上述した従来の動画像信号の符号化方式で
は、顔量外の背景の部分も粗く符号化するから背景部分
の雑音により無駄な情報が発生してしまう。また、連続
する画面間で背景部分から顔部分に変化したとすると、
粗い符号化から細かい符号化に変るから、予測誤差信号
がここでもかなり発生してしまい、無駄な情報を符号化
することになってしまう。その結果符号化効率が低下し
てしまう。
は、顔量外の背景の部分も粗く符号化するから背景部分
の雑音により無駄な情報が発生してしまう。また、連続
する画面間で背景部分から顔部分に変化したとすると、
粗い符号化から細かい符号化に変るから、予測誤差信号
がここでもかなり発生してしまい、無駄な情報を符号化
することになってしまう。その結果符号化効率が低下し
てしまう。
(課題を解決するための手段)
本発明の動画像信号の符号化方式は、画面間の相関を利
用した動画像信号の符号化方式であって、入力する動画
像信号の1画面を複数画素からなるブロックに分割し、
ブロック毎に前画面との差分を検出し、該差分値が予め
定められた第1の閾値以上のときには有効ブロックとし
、前記差分値が予め定められた第1の閾値未満のときに
は無効ブロックとしてフレーム毎に第1の有効ブロック
マツプを作成する手段と、該第1の有効ブロックマツプ
に対して第1の重みづけを行う手段と、前画面における
第6の有効ブロックマツプに対して第2の重みづけを行
う手段と、前記第1の重みづけを行った第1の有効ブロ
ックマツプと、前記第2の重みづけを行った第6の有効
ブロックマツプとを加算合成して重みづけが成された第
2の有効ブロックマツプを得る手段と、該第2の有効ブ
ロックマツプに対して、各ブロックの近傍のブロックを
参照し、近傍のブロックおよび対象ブロックの値が予め
定められた第2の閾値以上のときには当該対象ブロック
を有効ブロックとし、第2の閾値未満のときには当該対
象ブロックを無効ブロックとするセグメンテーションを
行って第3の有効ブロックマツプを得る手段と、該第3
の有効ブロックマツプ内の孤立無効ブロックについて、
近傍のブロックを参照し、近傍のブロックの値が予め定
められた第3の閾値以上のときには当該孤立無効ブロッ
クを有効ブロックに置き替え、第3の閾値未満のときに
は当該孤立無効ブロックを無効ブロックのままとして第
4の有効ブロックマツプを得る手段と、該第4の有効ブ
ロックマツプの有効ブロック数が予め定められた第4の
閾値以上の場合は前記第4の有効ブロックマツプの有効
ブロックを全て無効ブロックに置き換えて第5の有効ブ
ロックマツプとし、前記第4の有効ブロックマツプの有
効ブロック数が予め定められた第4の閾値未満の場合は
前記第4の有効ブロックマツプをそのままで第5の有効
ブロックマツプとする手段と、該第5の有効ブロックマ
ツプを1フレーム時間遅延させて第6の有効ブロックマ
ツプを得る手段と、前記動画像信号の入力時から前記第
4の有効ブロツクマツプの生成時までの時間の遅延を前
記動画像信号に与える手段と、遅延を与えられた前記動
画像信号について、前記第4の有効ブロックマ・yプで
有効ブロックとされた領域を、画面間の相関、画面内の
相関またはその両方を用いて符号化を行う手段とを有す
る。
用した動画像信号の符号化方式であって、入力する動画
像信号の1画面を複数画素からなるブロックに分割し、
ブロック毎に前画面との差分を検出し、該差分値が予め
定められた第1の閾値以上のときには有効ブロックとし
、前記差分値が予め定められた第1の閾値未満のときに
は無効ブロックとしてフレーム毎に第1の有効ブロック
マツプを作成する手段と、該第1の有効ブロックマツプ
に対して第1の重みづけを行う手段と、前画面における
第6の有効ブロックマツプに対して第2の重みづけを行
う手段と、前記第1の重みづけを行った第1の有効ブロ
ックマツプと、前記第2の重みづけを行った第6の有効
ブロックマツプとを加算合成して重みづけが成された第
2の有効ブロックマツプを得る手段と、該第2の有効ブ
ロックマツプに対して、各ブロックの近傍のブロックを
参照し、近傍のブロックおよび対象ブロックの値が予め
定められた第2の閾値以上のときには当該対象ブロック
を有効ブロックとし、第2の閾値未満のときには当該対
象ブロックを無効ブロックとするセグメンテーションを
行って第3の有効ブロックマツプを得る手段と、該第3
の有効ブロックマツプ内の孤立無効ブロックについて、
近傍のブロックを参照し、近傍のブロックの値が予め定
められた第3の閾値以上のときには当該孤立無効ブロッ
クを有効ブロックに置き替え、第3の閾値未満のときに
は当該孤立無効ブロックを無効ブロックのままとして第
4の有効ブロックマツプを得る手段と、該第4の有効ブ
ロックマツプの有効ブロック数が予め定められた第4の
閾値以上の場合は前記第4の有効ブロックマツプの有効
ブロックを全て無効ブロックに置き換えて第5の有効ブ
ロックマツプとし、前記第4の有効ブロックマツプの有
効ブロック数が予め定められた第4の閾値未満の場合は
前記第4の有効ブロックマツプをそのままで第5の有効
ブロックマツプとする手段と、該第5の有効ブロックマ
ツプを1フレーム時間遅延させて第6の有効ブロックマ
ツプを得る手段と、前記動画像信号の入力時から前記第
4の有効ブロツクマツプの生成時までの時間の遅延を前
記動画像信号に与える手段と、遅延を与えられた前記動
画像信号について、前記第4の有効ブロックマ・yプで
有効ブロックとされた領域を、画面間の相関、画面内の
相関またはその両方を用いて符号化を行う手段とを有す
る。
(作用)
テレビ電話などにおいては、背景部分は固定でおもに話
者が動くことから、話者の部分を切出して符号化を行え
ば、背景などからの雑音によって発生する無駄な符号化
情報量を除去でき符号化能率を上げることができる。
者が動くことから、話者の部分を切出して符号化を行え
ば、背景などからの雑音によって発生する無駄な符号化
情報量を除去でき符号化能率を上げることができる。
本発明においては、話者の部分を切出して話者部分のみ
を符号化することにより、符号化効率を高める。話者の
切出し方について図面を参照しながら詳細に説明する。
を符号化することにより、符号化効率を高める。話者の
切出し方について図面を参照しながら詳細に説明する。
第1図の時刻to、tl。
t2に示すように話者が動いたと仮定する。そして、時
刻toおよび時刻t1の画面間での差分を求めると第2
図の斜線で示される領域が求められ、背景部分の孤立し
た斜線部分は背景の雑音により発生した差分信号である
とする6次に、画面を水平方向n画素×垂直方向n画素
の複数の画素からなるブロックに分割し、各ブロック内
の差分信号の絶対値和か予め定められた第1の閾値以上
のときには、そのブロックを有効ブロックとし、差分信
号の絶対値和か第1の閾値未満のときにはそのブロック
を無効ブロックとする。以上の処理によって得られた時
刻t1における有効ブロックマツプを第3図(B)に示
す。第3図(B)の黒く塗られた部分が有効ブロックで
ある。第3図(A)は、時刻toと時刻10より61画
面前の時刻tO−1との画面間で求められた第6の有効
ブロックマツプであるとする。そして、現画面の有効ブ
ロックマツプ(第3図(B))すなわち第1の有効ブロ
ックマツプに第一の重みづけを行い、前画面の有効ブロ
ックマツプ(第3図(A))である第6の有効ブロック
マツプに対してはごt第2の重みづけを行う、以下に重
みづけの一例を示す0例え、ば、前フレームの有効ブロ
ックを1とし、無効ブロックを0とする。現フレームの
有効ブロックは2とし、現フレームの無効ブロックは前
フレームの無効ブロックと同様にOとする。この様にし
て重みづけを行った前フレームの有効ブロックマツプと
、現フレームの有効ブロックマツプとを加算合成し、第
2の有効ブロックマツプを得る。第2の有効ブロックマ
ツプは、第3図(C)の慌になる。次に、第3図(C)
の加算合成された第2の有効ブロックマツプに対して、
セグメンテーションを行う。セグメンテーションの一例
を第3図および第4図を参照しながら説明する。例えば
、第4図のkをセグメンテーションの対象ブロックとす
ると、ブロックにの近傍のブロックa、b。
刻toおよび時刻t1の画面間での差分を求めると第2
図の斜線で示される領域が求められ、背景部分の孤立し
た斜線部分は背景の雑音により発生した差分信号である
とする6次に、画面を水平方向n画素×垂直方向n画素
の複数の画素からなるブロックに分割し、各ブロック内
の差分信号の絶対値和か予め定められた第1の閾値以上
のときには、そのブロックを有効ブロックとし、差分信
号の絶対値和か第1の閾値未満のときにはそのブロック
を無効ブロックとする。以上の処理によって得られた時
刻t1における有効ブロックマツプを第3図(B)に示
す。第3図(B)の黒く塗られた部分が有効ブロックで
ある。第3図(A)は、時刻toと時刻10より61画
面前の時刻tO−1との画面間で求められた第6の有効
ブロックマツプであるとする。そして、現画面の有効ブ
ロックマツプ(第3図(B))すなわち第1の有効ブロ
ックマツプに第一の重みづけを行い、前画面の有効ブロ
ックマツプ(第3図(A))である第6の有効ブロック
マツプに対してはごt第2の重みづけを行う、以下に重
みづけの一例を示す0例え、ば、前フレームの有効ブロ
ックを1とし、無効ブロックを0とする。現フレームの
有効ブロックは2とし、現フレームの無効ブロックは前
フレームの無効ブロックと同様にOとする。この様にし
て重みづけを行った前フレームの有効ブロックマツプと
、現フレームの有効ブロックマツプとを加算合成し、第
2の有効ブロックマツプを得る。第2の有効ブロックマ
ツプは、第3図(C)の慌になる。次に、第3図(C)
の加算合成された第2の有効ブロックマツプに対して、
セグメンテーションを行う。セグメンテーションの一例
を第3図および第4図を参照しながら説明する。例えば
、第4図のkをセグメンテーションの対象ブロックとす
ると、ブロックにの近傍のブロックa、b。
c、d、e、f、 g、hの値を参照する。すなわち第
3図(C)の第2の有効ブロックマツプの値を参照する
。近傍のブロックa、b、c、d、e。
3図(C)の第2の有効ブロックマツプの値を参照する
。近傍のブロックa、b、c、d、e。
f、g、hおよびブロックにの値が予め定められた第2
の閾値以上のときには、対象ブロックkを有効ブロック
とし、近傍のブロックa、b、c。
の閾値以上のときには、対象ブロックkを有効ブロック
とし、近傍のブロックa、b、c。
d、e、f、g、hおよびブロックにの値が予め定めら
れた第2の閾値未満のときには、対象ブロックkを無効
ブロックとする。
れた第2の閾値未満のときには、対象ブロックkを無効
ブロックとする。
新たにセグメンテーションによって得られた第3の有効
ブロックマツプを第3図(D)に示す。
ブロックマツプを第3図(D)に示す。
第3の有効ブロックマツプには場合によって、動き部分
に孤立無効ブロックが発生することがある。
に孤立無効ブロックが発生することがある。
これは、第1の有効ブロックマツプを得る際1.動き部
分において画面間での差分が第1の閾値よりも少し低か
ったブロックは、無効ブロックとなるから、動き部分に
孤立した無効ブロックが発生する。孤立無効ブロックの
一例を第5図に示す。第5図の様に孤立無効ブロックを
含む第3の有効ブロックマツプ内の有効ブロック領域の
み符号化を実行させると、有効ブロック領域内の孤立し
た無効ブロック部分は、符号化が行われないから無効ブ
ロックの部分と周囲の部分とで符号化画像の連続性がな
くなり、符号化歪が発生してしまう、その結果、非常に
見苦しい符号化画像となってしまうことがある。そこで
、孤立無効ブロックの除去を行う、孤立無効ブロックの
除去方法としては、セグメンテーションと同様な処理を
孤立無効ブロツクの除去を行う。すなわち孤立無効ブロ
ックの近傍のブロックを参照し、近傍のブロックが予め
定められた第3の閾値以上のときに、その対象となる孤
立無効ブロックを有効ブロックを示す値に置き替える6
以上の処理により第5図で孤立無効ブロックであった領
域を除去し、第4の有効ブロックマツプを得る。第4の
有効ブロックマツプを第3図(D)に示す。
分において画面間での差分が第1の閾値よりも少し低か
ったブロックは、無効ブロックとなるから、動き部分に
孤立した無効ブロックが発生する。孤立無効ブロックの
一例を第5図に示す。第5図の様に孤立無効ブロックを
含む第3の有効ブロックマツプ内の有効ブロック領域の
み符号化を実行させると、有効ブロック領域内の孤立し
た無効ブロック部分は、符号化が行われないから無効ブ
ロックの部分と周囲の部分とで符号化画像の連続性がな
くなり、符号化歪が発生してしまう、その結果、非常に
見苦しい符号化画像となってしまうことがある。そこで
、孤立無効ブロックの除去を行う、孤立無効ブロックの
除去方法としては、セグメンテーションと同様な処理を
孤立無効ブロツクの除去を行う。すなわち孤立無効ブロ
ックの近傍のブロックを参照し、近傍のブロックが予め
定められた第3の閾値以上のときに、その対象となる孤
立無効ブロックを有効ブロックを示す値に置き替える6
以上の処理により第5図で孤立無効ブロックであった領
域を除去し、第4の有効ブロックマツプを得る。第4の
有効ブロックマツプを第3図(D)に示す。
次に時刻t2における処理について説明する。
時刻t1と時刻t2の画面間での差分を求め、前記第1
の閾値にしたがって有効無効判定を行うと、第6図(A
)に示す第1の有効ブロックマツプが得られる。この第
1の有効ブロックマツプに対して第1の重みづけを行う
。そして前画面である時刻t1の有効ブロックマツプが
第3図(D)であるから、第3図(D)の有効ブロック
マツプに対して第2の重みづけを行って第1の重みづけ
を行った第1の有効ブロックマツプと加算合成すると、
第6図(B)に示す第2の有効ブロックマツプが得られ
る。第6図(B)の第2の有効ブロックマツプに対して
、前記セグメンテーションを行うと、第6図(C)に示
す第3の有効ブロックマツプが得られる。次に、第3の
有効ブロックマツプに対して、孤立無効ブロックの除去
を行う。第6図(C)の第3の有効ブロックマツプには
、孤立無効ブロックが存在していなかったので、第3の
有効ブロックマツプがそのまま第4の有効ブロックマツ
プとされ、セグメンテーションによって得られた話者領
域となる6時刻t2における実際の話者領域は、画面の
ほぼ左半分であるのに対し、セグメンテーションによっ
て得られた話者領域は、画面の右半分の背景部分にだい
ぶはみだしているから、第6図(C)の第4の有効ブロ
ックマツプをこのまま用いると、背景の雑音も符号化し
てしまう可能性があり、あまり好ましくない0時刻t1
、t2の場合の様に動きが大きく、セグメンテーション
で得られた有効ブロックの数が多い場合には、前画面に
おける有効ブロックマツプの影響を受けて、前画面の話
者領域にふくらんでしまうからである。従って画面間で
の動きが大きい場合、すなわち第4の有効ブロックマツ
プの有効ブロック数が予め定められた第4の閾値以上の
場合には、第4の有効ブロックマツプに対してリセット
を行い、第4の有効ブロックマツプ内の有効ブロックを
全て無効ブロックに置き換えて第5の有効ブロックマツ
プとする。第5の有効ブロックマツプは1フレーム時間
遅延されて第6の有効ブロックマツプとなり、次の時刻
においてセグメンテーションに用いられる。たとえば、
第3図(A)を前フレームの第4の有効ブロックマツプ
とし、第3図(B)を現フレームの有効ブロックマツプ
すなわち第1の有効ブロックマツプとする。そして、時
刻t1において得られた第4の有効ブロックマツプの有
効ブロック数が、前記第4の閾値以上であったとすると
、第4の有効ブロックマツプ内の有効ブロックを、全て
無効ブロックに置き換えて第5の有効ブロックマツプと
するから、第5の有効ブロックマツプが1フレーム時間
遅延されて得られる時刻t2における第6の有効ブロッ
クマツプも全て無効ブロックとなる。その結果、時刻t
2における第1の有効ブロックマツプが、第6図(A)
であったとすると、重みづけが行われた第2の有効ブロ
ックマツプは第6図(D)の様になり、この第2の有効
ブロックマツプに対して前記セグメンテーションを行う
と、第6図(A)に示す様な第3の有効ブロックマツプ
が得られる。この第3の有効ブロックマツプには孤立無
効ブロックが含まれていなかったから、第3の有効ブロ
ックマツプがそのまま第4の有効ブロックマツプとなり
、背景部分を削除することができる。
の閾値にしたがって有効無効判定を行うと、第6図(A
)に示す第1の有効ブロックマツプが得られる。この第
1の有効ブロックマツプに対して第1の重みづけを行う
。そして前画面である時刻t1の有効ブロックマツプが
第3図(D)であるから、第3図(D)の有効ブロック
マツプに対して第2の重みづけを行って第1の重みづけ
を行った第1の有効ブロックマツプと加算合成すると、
第6図(B)に示す第2の有効ブロックマツプが得られ
る。第6図(B)の第2の有効ブロックマツプに対して
、前記セグメンテーションを行うと、第6図(C)に示
す第3の有効ブロックマツプが得られる。次に、第3の
有効ブロックマツプに対して、孤立無効ブロックの除去
を行う。第6図(C)の第3の有効ブロックマツプには
、孤立無効ブロックが存在していなかったので、第3の
有効ブロックマツプがそのまま第4の有効ブロックマツ
プとされ、セグメンテーションによって得られた話者領
域となる6時刻t2における実際の話者領域は、画面の
ほぼ左半分であるのに対し、セグメンテーションによっ
て得られた話者領域は、画面の右半分の背景部分にだい
ぶはみだしているから、第6図(C)の第4の有効ブロ
ックマツプをこのまま用いると、背景の雑音も符号化し
てしまう可能性があり、あまり好ましくない0時刻t1
、t2の場合の様に動きが大きく、セグメンテーション
で得られた有効ブロックの数が多い場合には、前画面に
おける有効ブロックマツプの影響を受けて、前画面の話
者領域にふくらんでしまうからである。従って画面間で
の動きが大きい場合、すなわち第4の有効ブロックマツ
プの有効ブロック数が予め定められた第4の閾値以上の
場合には、第4の有効ブロックマツプに対してリセット
を行い、第4の有効ブロックマツプ内の有効ブロックを
全て無効ブロックに置き換えて第5の有効ブロックマツ
プとする。第5の有効ブロックマツプは1フレーム時間
遅延されて第6の有効ブロックマツプとなり、次の時刻
においてセグメンテーションに用いられる。たとえば、
第3図(A)を前フレームの第4の有効ブロックマツプ
とし、第3図(B)を現フレームの有効ブロックマツプ
すなわち第1の有効ブロックマツプとする。そして、時
刻t1において得られた第4の有効ブロックマツプの有
効ブロック数が、前記第4の閾値以上であったとすると
、第4の有効ブロックマツプ内の有効ブロックを、全て
無効ブロックに置き換えて第5の有効ブロックマツプと
するから、第5の有効ブロックマツプが1フレーム時間
遅延されて得られる時刻t2における第6の有効ブロッ
クマツプも全て無効ブロックとなる。その結果、時刻t
2における第1の有効ブロックマツプが、第6図(A)
であったとすると、重みづけが行われた第2の有効ブロ
ックマツプは第6図(D)の様になり、この第2の有効
ブロックマツプに対して前記セグメンテーションを行う
と、第6図(A)に示す様な第3の有効ブロックマツプ
が得られる。この第3の有効ブロックマツプには孤立無
効ブロックが含まれていなかったから、第3の有効ブロ
ックマツプがそのまま第4の有効ブロックマツプとなり
、背景部分を削除することができる。
以上の様にして得な第4の有効ブロックマツプの有効ブ
ロック領域内すなわち話者領域を、画面間の相関、画面
内の相関またはその両方を用いて符号化することにより
、背景などの雑音により発生する無駄な情報を容易に削
除でき、符号化効率を高めることができる。
ロック領域内すなわち話者領域を、画面間の相関、画面
内の相関またはその両方を用いて符号化することにより
、背景などの雑音により発生する無駄な情報を容易に削
除でき、符号化効率を高めることができる。
上記各閾値および重みづけの値については、予め統計的
に調べた最適値を用いる。また、セグメンテーションお
よび孤立無効ブロック除去における参照ブロックの配置
は、上記以外の配置およびブロック数でもかまわない。
に調べた最適値を用いる。また、セグメンテーションお
よび孤立無効ブロック除去における参照ブロックの配置
は、上記以外の配置およびブロック数でもかまわない。
(実施例)
次に、図面を参照しながら本発明の一実施例について詳
細に説明する。第7図に本発明の一実施例を示す。入力
する動画像信号は、線100を介して有効−効判定部1
および遅延部11に供給される。有効無効判定部1は、
前画面の動画像信号を蓄えておき、この前画面における
動画像信号と新たに[100を介して入力された動画像
信号とのフレーム差分信号を求め、このフレーム差分信
号を水平方向n画素X垂直方向n画素の複数画素からな
るブロックに分割し、それぞれのブロック毎に、ブロッ
ク内のフレーム差分値の絶対値和を求める。求められた
フレーム差分値の絶対値和が予め定められた第1の閾値
以上であればそのブロックを有効ブロックとし、フレー
ム差分値の絶対値和が第1の閾値未満のときはそのブロ
ックを無効ブロックとして、第1の有効ブロックマツプ
を得る。有効無効判定部1で得られた第1の有効ブロッ
クマツプは、重みづけ部2に与えられる。重みづけ部2
は、有効無効判定部1がら与えられた第1の有効ブロッ
クマツプに対して、予め定められた第1の重みづけを行
う。重みづけ部2で重みづけが成された第1の有効ブロ
ックマツプは、加算器4に与えられる。加算器4は、重
みづけ部2から与えられた第1の有効ブロックマツプと
、4重みづけ部3がら与えられる前画面における有効ブ
ロックマツプである第6の有効ブロックマツプとを加算
し、重みづけが成された第2の有効ブロックマツプを得
る。加算器4で得られた第2の有効ブロックマツプは、
セグメンテーション部5に与えられる。セグメンテーシ
ョン部5は、加算器4から与えられた第2の有効ブロッ
クマツプ内の全てのブロックに対して、セグメンテーシ
ョン処理を行う0例えば、第4図に示す様にセグメンテ
ーションの対象となるブロックをkとすると、kおよび
kの近傍のa+ b、c、a、e、 f、g+ hのブ
ロックの値を参照し、それらの値が予め定められた第2
の閾値以上であればそのブロックkを有効ブロックとし
、近傍のブロックおよびkの値が第2の閾値未満の場合
にはそのブロックkを無効ブロックとして第3の有効ブ
ロックマツプを得る。セグメンテーション部5で得られ
た第3の有効ブロックマツプは、孤立無効ブロック除去
部6に与えられる。孤立無効ブロック除去部6は、セグ
メンテーション部5から与えられた第3の有効ブロック
マツプに含まれている無効ブロックに対して孤立無効ブ
ロック除去の処理を行い、有効ブロックの連結を行う。
細に説明する。第7図に本発明の一実施例を示す。入力
する動画像信号は、線100を介して有効−効判定部1
および遅延部11に供給される。有効無効判定部1は、
前画面の動画像信号を蓄えておき、この前画面における
動画像信号と新たに[100を介して入力された動画像
信号とのフレーム差分信号を求め、このフレーム差分信
号を水平方向n画素X垂直方向n画素の複数画素からな
るブロックに分割し、それぞれのブロック毎に、ブロッ
ク内のフレーム差分値の絶対値和を求める。求められた
フレーム差分値の絶対値和が予め定められた第1の閾値
以上であればそのブロックを有効ブロックとし、フレー
ム差分値の絶対値和が第1の閾値未満のときはそのブロ
ックを無効ブロックとして、第1の有効ブロックマツプ
を得る。有効無効判定部1で得られた第1の有効ブロッ
クマツプは、重みづけ部2に与えられる。重みづけ部2
は、有効無効判定部1がら与えられた第1の有効ブロッ
クマツプに対して、予め定められた第1の重みづけを行
う。重みづけ部2で重みづけが成された第1の有効ブロ
ックマツプは、加算器4に与えられる。加算器4は、重
みづけ部2から与えられた第1の有効ブロックマツプと
、4重みづけ部3がら与えられる前画面における有効ブ
ロックマツプである第6の有効ブロックマツプとを加算
し、重みづけが成された第2の有効ブロックマツプを得
る。加算器4で得られた第2の有効ブロックマツプは、
セグメンテーション部5に与えられる。セグメンテーシ
ョン部5は、加算器4から与えられた第2の有効ブロッ
クマツプ内の全てのブロックに対して、セグメンテーシ
ョン処理を行う0例えば、第4図に示す様にセグメンテ
ーションの対象となるブロックをkとすると、kおよび
kの近傍のa+ b、c、a、e、 f、g+ hのブ
ロックの値を参照し、それらの値が予め定められた第2
の閾値以上であればそのブロックkを有効ブロックとし
、近傍のブロックおよびkの値が第2の閾値未満の場合
にはそのブロックkを無効ブロックとして第3の有効ブ
ロックマツプを得る。セグメンテーション部5で得られ
た第3の有効ブロックマツプは、孤立無効ブロック除去
部6に与えられる。孤立無効ブロック除去部6は、セグ
メンテーション部5から与えられた第3の有効ブロック
マツプに含まれている無効ブロックに対して孤立無効ブ
ロック除去の処理を行い、有効ブロックの連結を行う。
孤立無効ブロックの処理は、セグメンテーションと同様
に対象となる孤立無効ブロックの近傍のブロックを参照
し、その近傍のブロックの値が予め定められた第3の閾
値以上の場合は、その孤立無効ブロックを有効ブロック
とする。近傍のブロックの値が予め定められた第3の閾
値未満の場合は、その孤立無効ブロックは無効ブロック
のままとし、以上の処理によって孤立無効ブロックの除
去を行った第4の有効ブロックマツプを得る。孤立無効
ブロック除去部6で得られた第4の有効ブロックマツプ
は、有効ブロック数判定部8、有効ブロックリセット部
9および符号化部7に与えられる。有効ブロック数判定
部8は、孤立無効ブロック除去部6から与えられた第4
の有効ブロックマツプの有効ブロック数が予め定められ
た第4の閾値以上の場合には、有効ブロックリセット部
9にリセット実行の指示を与える。
に対象となる孤立無効ブロックの近傍のブロックを参照
し、その近傍のブロックの値が予め定められた第3の閾
値以上の場合は、その孤立無効ブロックを有効ブロック
とする。近傍のブロックの値が予め定められた第3の閾
値未満の場合は、その孤立無効ブロックは無効ブロック
のままとし、以上の処理によって孤立無効ブロックの除
去を行った第4の有効ブロックマツプを得る。孤立無効
ブロック除去部6で得られた第4の有効ブロックマツプ
は、有効ブロック数判定部8、有効ブロックリセット部
9および符号化部7に与えられる。有効ブロック数判定
部8は、孤立無効ブロック除去部6から与えられた第4
の有効ブロックマツプの有効ブロック数が予め定められ
た第4の閾値以上の場合には、有効ブロックリセット部
9にリセット実行の指示を与える。
また、有効ブロック数判定部8は、孤立無効ブロック除
去部6から与えられた第4の有効ブロックマツプの有効
ブロック数が予め定められた第4の閾値未満の場合には
、有効ブロックリセット部9にリセット停止の指示を与
える。有効ブロックリセット部9は、有効ブロック数判
定部8からリセット実行の指示が与えられた場合には、
孤立無効ブロック除去部6から与えられた第4の有効ブ
ロックマツプの有効ブロックを、全て無効ブロックに置
き換えて第5の有効ブロックマツプとする。
去部6から与えられた第4の有効ブロックマツプの有効
ブロック数が予め定められた第4の閾値未満の場合には
、有効ブロックリセット部9にリセット停止の指示を与
える。有効ブロックリセット部9は、有効ブロック数判
定部8からリセット実行の指示が与えられた場合には、
孤立無効ブロック除去部6から与えられた第4の有効ブ
ロックマツプの有効ブロックを、全て無効ブロックに置
き換えて第5の有効ブロックマツプとする。
また、有効ブロックリセット部9は、有効ブロック数判
定部8からリセット停止の指示が与えられた場合には、
孤立無効ブロック除去部6から与えられた第4の有効ブ
ロックマツプに何の処理も行わずにそのままで第5の有
効ブロックマツプとする。有効ブロックリセット部9で
得られた第5の有効ブロックマツプは、フレーム遅延部
10に与えられる。フレーム遅延部10は、有効ブロッ
クリセット部9から与えられた第5の有効プロ・yクマ
ップを1フレーム時間遅延し、第6の有効ブロックマツ
プを得る。フレーム遅延部10で得られた第6の有効ブ
ロックマツプは、重みづけ部3に与えられる。重みづけ
部3は、フレーム遅延部10から与えられた第6の有効
ブロックマツプに対して、第2の重みづけを行って加算
器4に重みづけが成された第4の有効ブロックマツプを
与える。
定部8からリセット停止の指示が与えられた場合には、
孤立無効ブロック除去部6から与えられた第4の有効ブ
ロックマツプに何の処理も行わずにそのままで第5の有
効ブロックマツプとする。有効ブロックリセット部9で
得られた第5の有効ブロックマツプは、フレーム遅延部
10に与えられる。フレーム遅延部10は、有効ブロッ
クリセット部9から与えられた第5の有効プロ・yクマ
ップを1フレーム時間遅延し、第6の有効ブロックマツ
プを得る。フレーム遅延部10で得られた第6の有効ブ
ロックマツプは、重みづけ部3に与えられる。重みづけ
部3は、フレーム遅延部10から与えられた第6の有効
ブロックマツプに対して、第2の重みづけを行って加算
器4に重みづけが成された第4の有効ブロックマツプを
与える。
遅延部11は、入力した動画像信号に対して入力動画像
信号が供給されてから第4の有効ブロックマツプが符号
化部7に与えられるまでの遅延時間補償を行い、第4の
有効ブロックマツプと入力動画像信号の時間合せを行う
。遅延部11の出力の時間補償された動画像信号は、符
号化部7に与えられる。符号化部7は、孤立無効ブロッ
ク除去部6 から与えられた第4の有効ブロックマップ
内の有効ブロック領域すなわち話者領域であると示され
ている部分についてのみ、遅延11から与えられた動画
像信号の符号化を行い、無効ブロックで示される背景部
分は符号化を行わない。
信号が供給されてから第4の有効ブロックマツプが符号
化部7に与えられるまでの遅延時間補償を行い、第4の
有効ブロックマツプと入力動画像信号の時間合せを行う
。遅延部11の出力の時間補償された動画像信号は、符
号化部7に与えられる。符号化部7は、孤立無効ブロッ
ク除去部6 から与えられた第4の有効ブロックマップ
内の有効ブロック領域すなわち話者領域であると示され
ている部分についてのみ、遅延11から与えられた動画
像信号の符号化を行い、無効ブロックで示される背景部
分は符号化を行わない。
符号化の方法としては、動き補償などの画面間の相関を
利用した方法、または直交変換などの画面内の相関を利
用した方法、あるいは@面−及画面内の両方の相関を利
用した符号化方法を用いる。
利用した方法、または直交変換などの画面内の相関を利
用した方法、あるいは@面−及画面内の両方の相関を利
用した符号化方法を用いる。
上記の各閾値および参照ブロック配置などについては、
予め統計的に調べたfi3iI値を用いる。
予め統計的に調べたfi3iI値を用いる。
(発明の効果)
以上に詳しく説明したように、本発明の動画像信号の符
号化方式は、セグメンテーションによって得た話者領域
内のみ符号化をすることにより、背景部分の雑音により
発生する無駄な情報を削除でき、符号化の効率を高める
ことができる。
号化方式は、セグメンテーションによって得た話者領域
内のみ符号化をすることにより、背景部分の雑音により
発生する無駄な情報を削除でき、符号化の効率を高める
ことができる。
第1図、第2図、第3図、第4図、第5図および第6図
は本発明の詳細な説明する図、第7図は本発明の一実施
例を示す図である。 1・・・有効無効判定部、2,3・・・重みづけ部、4
・・・加算器、5・・・セグメンテーション部、6・・
・孤立無効ブロック除去部、7・・・符号化部、8・・
・有効ブロック数判定部、9・・・有効ブロックリセッ
ト部、10・・・フレーム遅延部、11・・・遅延部。
は本発明の詳細な説明する図、第7図は本発明の一実施
例を示す図である。 1・・・有効無効判定部、2,3・・・重みづけ部、4
・・・加算器、5・・・セグメンテーション部、6・・
・孤立無効ブロック除去部、7・・・符号化部、8・・
・有効ブロック数判定部、9・・・有効ブロックリセッ
ト部、10・・・フレーム遅延部、11・・・遅延部。
Claims (1)
- 画面間の相関を利用した動画像信号の符号化方式におい
て、入力する動画像信号の1画面を複数画素からなるブ
ロックに分割し、ブロック毎に前画面との差分を検出し
、該差分値が予め定められた第1の閾値以上のときには
有効ブロックとし、前記差分値が予め定められた第1の
閾値未満のときには無効ブロックとしてフレーム毎に第
1の有効ブロックマップを作成する手段と、該第1の有
効ブロックマップに対して第1の重みづけを行う手段と
、前画面における第6の有効ブロックマップに対して第
2の重みづけを行う手段と、前記第1の重みづけを行っ
た第1の有効ブロックマップと、前記第2の重みづけを
行つた第6の有効ブロックマップとを加算合成して重み
づけが成された第2の有効ブロックマップを得る手段と
、該第2の有効ブロックマップに対して、各ブロックの
近傍のブロックを参照し、近傍のブロックおよび対象ブ
ロックの値が予め定められた第2の閾値以上のときには
当該対象ブロックを有効ブロックとし、第2の閾値未満
のときには当該対象ブロックを無効ブロックとするセグ
メンテーションを行つて第3の有効ブロックマップを得
る手段と、該第3の有効ブロックマップ内の孤立無効ブ
ロックについて、近傍のブロックを参照し、近傍のブロ
ックの値が予め定められた第3の閾値以上のときには当
該孤立無効ブロックを有効ブロックに置き替え、第3の
閾値未満のときには当該孤立無効ブロックを無効ブロッ
クのままとして第4の有効ブロックマップを得る手段と
、該第4の有効ブロックマップの有効ブロック数が予め
定められた第4の閾値以上の場合は前記第4の有効ブロ
ックマップの有効ブロックを全て無効ブロックに置き換
えて第5の有効ブロックマップとし、前記第4の有効ブ
ロツクマップの有効ブロック数が予め定められた第4の
閾値未満の場合は前記第4の有効ブロックマップをその
ままで第5の有効ブロックマップとする手段と、該第5
の有効ブロックマップを1フレーム時間遅延させて第6
の有効ブロックマップを得る手段と、前記動画像信号の
入力時から前記第4の有効ブロックマップの生成時まで
の時間の遅延を前記動画像信号に与える手段と、遅延を
与えられた前記動画像信号について、前記第4の有効ブ
ロックマップで有効ブロックとされた領域を、画面間の
相関、画面内の相関またはその両方を用いて符号化を行
う手段とを有することを特徴とする動画像信号の符号化
方式。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25290790A JP2586715B2 (ja) | 1990-09-20 | 1990-09-20 | 動画像信号の符号化方式 |
DE69126585T DE69126585T2 (de) | 1990-09-20 | 1991-09-18 | Verfahren und Gerät zur Kodierung von bewegten Bildsignalen |
EP91115818A EP0476603B1 (en) | 1990-09-20 | 1991-09-18 | Method and apparatus for coding moving image signal |
CA002051891A CA2051891C (en) | 1990-09-20 | 1991-09-19 | Method and apparatus for coding moving image signal |
US07/764,606 US5177608A (en) | 1990-09-20 | 1991-09-20 | Method and apparatus for coding moving image signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25290790A JP2586715B2 (ja) | 1990-09-20 | 1990-09-20 | 動画像信号の符号化方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04129491A true JPH04129491A (ja) | 1992-04-30 |
JP2586715B2 JP2586715B2 (ja) | 1997-03-05 |
Family
ID=17243828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25290790A Expired - Lifetime JP2586715B2 (ja) | 1990-09-20 | 1990-09-20 | 動画像信号の符号化方式 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2586715B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04144496A (ja) * | 1990-10-05 | 1992-05-18 | Nec Corp | 動画像信号の背景分離符号化装置 |
WO2002063885A1 (en) * | 2001-01-30 | 2002-08-15 | Kabushiki Kaisha Office Noa | Moving picture information compressing method and its system |
WO2003039163A1 (en) * | 2001-11-01 | 2003-05-08 | Kabushiki Kaisha Office Noa | Moving picture information compression method and system thereof |
US6912318B2 (en) | 2000-06-06 | 2005-06-28 | Kabushiki Kaisha Office Noa | Method and system for compressing motion image information |
US7085424B2 (en) | 2000-06-06 | 2006-08-01 | Kobushiki Kaisha Office Noa | Method and system for compressing motion image information |
-
1990
- 1990-09-20 JP JP25290790A patent/JP2586715B2/ja not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04144496A (ja) * | 1990-10-05 | 1992-05-18 | Nec Corp | 動画像信号の背景分離符号化装置 |
US6912318B2 (en) | 2000-06-06 | 2005-06-28 | Kabushiki Kaisha Office Noa | Method and system for compressing motion image information |
US7085424B2 (en) | 2000-06-06 | 2006-08-01 | Kobushiki Kaisha Office Noa | Method and system for compressing motion image information |
WO2002063885A1 (en) * | 2001-01-30 | 2002-08-15 | Kabushiki Kaisha Office Noa | Moving picture information compressing method and its system |
WO2003039163A1 (en) * | 2001-11-01 | 2003-05-08 | Kabushiki Kaisha Office Noa | Moving picture information compression method and system thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2586715B2 (ja) | 1997-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH04334188A (ja) | 動画像信号の符号化方式 | |
US5177608A (en) | Method and apparatus for coding moving image signal | |
US5438374A (en) | System and method for filtering video signals | |
US6751350B2 (en) | Mosaic generation and sprite-based coding with automatic foreground and background separation | |
US7822231B2 (en) | Optical flow estimation method | |
JPS6152084A (ja) | 高能率符号化装置 | |
KR100285599B1 (ko) | 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법 | |
JPH09275578A (ja) | 多視点画像符号化装置および復号装置 | |
US20220337876A1 (en) | Encoder, decoder, encoding method, and decoding method | |
JPH04129491A (ja) | 動画像信号の符号化方式 | |
JP2586714B2 (ja) | 動画像信号の符号化方式 | |
Chang et al. | Compositing motion-compensated video within the network | |
JPH0846961A (ja) | 画像符号化復号化方法 | |
JP5180550B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2586720B2 (ja) | 動画像信号の符号化方式 | |
JPH06165164A (ja) | 動画像処理装置 | |
JPH04129490A (ja) | 動画像信号の符号化方式 | |
JPH0691653B2 (ja) | 適応形符号化方式 | |
JPH0244883A (ja) | 動画像伝送方式 | |
JPH05183891A (ja) | 動画像符号化装置 | |
JP2621626B2 (ja) | 画像信号の背景分離符号化装置 | |
JP2825821B2 (ja) | 動画像符号化処理方法 | |
JP2576704B2 (ja) | 動画像信号符号化装置 | |
JPH04144496A (ja) | 動画像信号の背景分離符号化装置 | |
JP2001014476A (ja) | エッジ検出方法及びエッジ検出装置並びに画像符号化装置 |