JPH0818975A - 動画像の符号化・復号装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像を領域分割し、領域毎に別々の動き検出
処理と動き補償フレーム間予測処理を行い符号化効率の
改善と復号画像の画質改善を実現する。 【構成】 入力画像を領域分割し領域毎の動きと領域相
互の前後関係を検出し前フレームでの領域毎の復号画像
に動き補償処理を施し予測データを得、領域分割した入
力画像と予測データの差分を求め量子化し領域毎の量子
化データと動きと前後関係のデータは符号変換し復号部
へ送信。量子化データを逆量子化し予測データに加算し
て領域毎の復号画像を得、復号画像は領域毎に別々に保
持し次フレームの符号化時に参照。更に、受信データを
逆符号変換し領域毎の量子化データと動きと前後関係の
データを得、動き補償フレーム間予測、逆量子化と加算
を行い領域毎の復号画像を得、それを領域毎に別々に保
持し次フレームの復号時に参照。前後関係のデータを参
照して領域毎の復号画像を合成し復号画像を出力。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像の符号化および復
号に関するものである。

【０００２】

【従来の技術】従来の動画像の符号化および復号方式を
実現する一実施例のブロック構成を図９に示す。図９の
符号化部では、まず動き検出回路９０１で入力画像９２
１と前フレームで局部復号した復号画像９２２とのフレ
ーム間での動きを検出する。次に検出した動きデータ９
２３を参照し、前フレームの局部復号画像９２２から動
き補償フレーム間予測データ９２４を生成する。前記の
動き検出および動き補償の一連の処理は、様々な大きさ
のデータ単位で行うことができるが、一般的には予め定
めた大きさのブロック単位で行うことが多い。例えば、
ＩＴＵ−Ｔ／Ｈ．２６１やＩＳＯ−ＩＥＣ／ＭＰＥＧな
どの国際標準符号化方式では、入力画像を１６画素×１
６ライン単位のブロックに分割し、ブロック毎に独立し
た動き検出および動き補償処理を行っている。図９で
は、次にこの動き補償処理と同じデータ単位で、入力画
像９２１と動き補償フレーム間予測データ９２４との差
分を求める。差分データ９２５は量子化し、動きデータ
９２３と併せて符号変換して復号部へ伝送する。また量
子化データ９２６は逆量子化し、動き補償フレーム間予
測データ９２４に加算して局部復号画像９２８を得る。
局部復号画像９２８はメモリ９０７に保持し、次のフレ
ームの入力画像の符号化に際し、参照データとして出力
する。復号部では供給されたデータ９２９を逆符号変換
し、このデータを用いて符号化部と同じ動き補償処理と
逆量子化処理および加算処理を行い、復号画像９３５を
得る。復号画像９３５は一枚の画像データとしてメモリ
９１３に保持し、次フレームの画像の復号に際しての参
照データとして利用する。

【０００３】ところで前記ブロック単位に動き補償を行
った場合に、隣接ブロック間で動きが大きく異なると復
号画像上にブロック歪みが発生することがある。そこで
近年ではこのブロック歪みを除去する為に、動きデータ
を隣接画素間で連続的に変化するように補正し、動き補
償に用いる方式も知られている。例えば電子情報通信学
会技術研究報告ＩＥ９０−１０６「３角形パッチによる
動き補償の基礎検討」に記載の方式では、まず画像上に
予め定めた間隔で代表点を定め、代表点上でフレーム間
の動きベクトルを検出する。次に全ての画素毎に複数の
近傍代表点から動きベクトルを内挿計算して求める。算
出した動きベクトルを参照し、動き補償フレーム間予測
を画素毎に行う。なお、この方法においても復号画像は
一枚の画像データとしてメモリに保持し、次フレームの
画像の符号化および復号に際しての参照データとして利
用している。

【０００４】

【発明が解決しようとする課題】従来の動画像の符号化
および復号方式では、一枚の復号画像データを参照して
動き検出および動き補償を行っている。このため動きの
異なる被写体同士の境界付近で符号化効率が低下するこ
とがあった。

【０００５】例えば、ブロック単位で動き検出を行う場
合に、動きの異なる複数の被写体に跨るブロックではい
ずれの被写体領域の動きとも異なる誤った動きベクトル
を検出することがある。該ブロックでは実際の動きとは
異なる動き補償が行われ、動き補償フレーム間予測の効
果が十分に発揮できない。また該ブロックでは隣接ブロ
ックとは不連続な動き補償が行われるため、復号画像上
にブロック歪みが発生し、視覚的にも著しい劣化を引き
起こす。あるいは、動きの異なる複数の被写体に跨るブ
ロックで、ブロックの中のいずれか一つの被写体領域の
動きを正確に検出できた場合にも、残りの領域について
は正確な動き補償を実現することができず、前記同様の
問題を引き起こすことがある。

【０００６】従来の動き補償方式の別の例として、予め
定めた代表点上で動きベクトルを検出し、全ての画素毎
に動きベクトルを近傍代表点から内挿計算して求める方
法においても問題が生じることがある。この方法では、
画像の内容によらず全ての画素で動きベクトルを内挿計
算する。このため動きの異なる被写体の境界付近では、
注目画素とは異なる領域の近傍代表点を参照して内挿計
算が行われ、実際の動きとは異なるベクトルが与えられ
る。結果として、動き補償フレーム間予測の効果が十分
に発揮できなかったり、被写体の境界部分に不自然な変
形歪みを発生することがある。

【０００７】本発明の目的は、画像の被写体構造を考慮
した動き検出および動き補償を行うことで、動きが不連
続に変化している画像部分でも優れた符号化効率を持っ
た装置を実現することにある。

【０００８】

【課題を解決するための手段】本発明の第１の動画像の
符号化・復号装置は、符号化部は、前フレームで局部復
号した復号画像データを参照して入力画像を解析し、入
力画像を領域分割して出力するとともに、前記分割した
領域相互の前後関係を示すデータと領域毎のフレーム間
での動きを示すデータとを検出して出力する手段と、前
記動きデータを参照し、前記復号画像データから動き補
償フレーム間予測データを生成して出力する手段と、前
記前後関係データを参照し、前記領域分割した入力画像
と前記動き補償フレーム間予測データとの適応的な差分
を領域毎に求め、差分データを出力する手段と、前記差
分データを量子化し、量子化データを出力する手段と、
前記量子化データを逆量子化し、逆量子化データを出力
する手段と、前記逆量子化データと前記動き補償フレー
ム間予測データとを領域毎に加算し、領域毎に局部復号
した復号画像データを出力する手段と、前記復号画像デ
ータを領域毎に別々に保持し、次フレームの符号化時に
参照データとして出力する手段と、前記前後関係データ
と前記動きデータおよび前記量子化データとを符号変換
し、出力する手段とを備え、復号部は、符号化部から供
給された符号化データを逆符号変換し、領域毎の量子化
データおよび動きデータと領域相互の前後関係データと
を出力する手段と、前記量子化データを逆量子化し、逆
量子化データを出力する手段と、前記動きデータを参照
し、前フレームで復号した復号画像データから動き補償
フレーム間予測データを生成して出力する手段と、前記
逆量子化データと前記動き補償フレーム間予測データと
を領域毎に加算し、領域毎に復号した復号画像データを
出力する手段と、前記復号画像データを領域毎に別々に
保持し、次フレームの復号時に参照データとして出力す
る手段と、前記前後関係データを参照し、前記領域毎に
復号した復号画像データを合成し、一枚の復号画像を生
成して出力する手段とを備えることを特徴とする。

【０００９】また本発明の第２の動画像の符号化・復号
装置は、符号化部は、前フレームで局部復号した復号画
像データを参照して入力画像を解析し、入力画像を動領
域と背景領域とに領域分割して出力するとともに、前記
分割した領域毎のフレーム間での動きを示すデータを検
出して出力する手段と、前記動きデータを参照し、前記
復号画像データから動き補償フレーム間予測データを生
成して出力する手段と、前記領域分割した入力画像と前
記動き補償フレーム間予測データとの適応的な差分を領
域毎に求め、差分データを出力する手段と、前記差分デ
ータを量子化し、量子化データを出力する手段と、前記
量子化データを逆量子化し、逆量子化データを出力する
手段と、前記逆量子化データと前記動き補償フレーム間
予測データとを領域毎に加算し、領域毎に局部復号した
復号画像データを出力する手段と、前記復号画像データ
を動領域と背景領域とで別々に保持し、次フレームの符
号化時に参照データとして出力する手段と、前記動きデ
ータおよび前記量子化データとを符号変換し、出力する
手段とを備え、復号部は、符号化部から供給された符号
化データを逆符号変換し、動領域と背景領域との領域毎
の量子化データおよび動きデータとを出力する手段と、
前記量子化データを逆量子化し、逆量子化データを出力
する手段と、前記動きデータを参照し、前フレームで復
号した復号画像データから動き補償フレーム間予測デー
タを生成して出力する手段と、前記逆量子化データと前
記動き補償フレーム間予測データとを領域毎に加算し、
領域毎に復号した復号画像データを出力する手段と、前
記復号画像データを動領域と背景領域とで別々に保持
し、次フレームの復号時に参照データとして出力する手
段と、背景領域の復号画像データの上に動領域の復号画
像データを合成し、一枚の復号画像を生成して出力する
手段とを備えることを特徴とする。

【００１０】

【実施例】本発明の第１の動画像の符号化・復号装置の
実施例を図１を用いて説明する。

【００１１】図１は、本発明の第１の動画像の符号化・
復号装置の一実施例のブロック図である。この動画像の
符号化・復号装置は符号化部と復号部とから構成され
る。

【００１２】符号化部は、前フレームで局部復号した復
号画像データ１２２を参照して入力画像１２１を解析
し、領域分割した入力画像データ１２３を出力するとと
もに、分割した領域相互の前後関係と領域毎のフレーム
間での動きを検出し、各々検出したデータを出力する動
画像解析回路１０１と、動きデータ１２４を参照して前
フレームの復号画像データ１２２を領域毎に動き補償
し、動き補償フレーム間予測データ１２６を出力する動
き補償予測回路１０２と、入力画像データ１２３と動き
補償フレーム間予測データ１２６との適応的な差分を領
域毎に求め、差分データ１２７を出力する差分器１０３
と、差分データ１２７を量子化し、量子化データ１２８
を出力する量子化回路１０４と、量子化データ１２８を
逆量子化し、逆量子化データ１２９を出力する逆量子化
回路１０５と、逆量子化データ１２９と動き補償フレー
ム間予測データ１２６とを領域毎に加算し、領域毎に局
部復号した復号画像データ１３０を出力する加算器１０
６と、復号画像データ１３０を領域毎に別々に保持し、
次フレームの符号化時に領域毎に別々の参照データとし
て出力する領域別メモリ１０７と、前後関係データ１２
５と動きデータ１２４および量子化データ１２８とを符
号変換し、符号化データ１３１を復号部へ出力する符号
変換回路１０８とからなる。

【００１３】復号部は符号化部から供給された符号化デ
ータ１３１を逆符号変換し、前後関係データ１３４と動
きデータ１３３および量子化データ１３２とを出力する
逆符号変換回路１０９と、量子化データ１３２を逆量子
化し、逆量子化データ１３５を出力する逆量子化回路１
１０と、動きデータ１３３を参照して前フレームの復号
画像データ１３６を領域毎に動き補償し、動き補償フレ
ーム間予測データ１３７を出力する動き補償予測回路１
１１と、逆量子化データ１３５と動き補償フレーム間予
測データ１３７とを領域毎に加算し、領域毎に復号した
復号画像データ１３８を出力する加算器１１２と、復号
画像データ１３８を領域毎に別々に保持し、次フレーム
の復号時に領域毎に別々の参照データとして出力する領
域別メモリ１１３と、前後関係データ１３４を参照して
領域毎の復号画像データ１３８を合成し、一枚の復号画
像１３９を生成して外部へ出力する領域合成回路１１４
とからなる。

【００１４】本実施例の動作を説明する。

【００１５】図１の符号化部では、まず動画像解析回路
１０１で入力画像１２１を領域分割して出力する。ここ
で入力画像１２１と前フレームで領域毎に局部復号した
復号画像データ１２２とのフレーム間相関を利用するこ
とで、より正確な分割を実現できる。分割した領域はそ
れぞれ復号画像データ１２２の領域と対応づけて出力す
る。例えば、符号化部と復号部とで同じ方法を用い、前
フレームの復号画像データの領域毎に番号付けを行う。
領域分割した現フレームの入力画像データは、この番号
順に対応する領域を並び変えて出力する。こうすれば領
域毎の符号化データが、いずれの領域に対応するかを別
途符号化伝送する必要が無い。入力画像上で復号画像デ
ータ１２２のいずれの領域とも対応関係の無い新たな領
域が検出された場合には、出力順序の最後に追加する。
また動画像解析回路１０１では、分割した領域相互の前
後関係と、領域毎のフレーム間での動きも検出し、各々
を前後関係データ１２５および動きデータ１２４として
出力する。

【００１６】図２は図１の動画像解析回路の内部構成の
一例を説明するブロック図である。図２では、領域分割
回路２０１において入力画像２２１を領域分割する。こ
の領域分割の一連の処理の例を次に説明する。まず入力
画像２２１から輝度あるいは色度が急激に変化している
エッジを検出し、このエッジを領域分割の境界線として
初期領域分割を実現する。次に前記分割で得た多数の領
域のうち、復号画像データ２２２上の一つの領域に重な
り合う複数の領域を統合し、最終的な領域分割結果とし
て出力する。このとき入力画像２２１上のある一つの領
域が復号画像データ２２２上の複数の領域に跨る場合に
は、重なり合う画素数が最も多い領域同士を対応付け
る。図２の動き検出回路２０２では、前記分割した領域
毎にフレーム間での動きを検出する。動き検出は従来技
術であるブロックマッチング法や輝度勾配法により容易
に実施できる。このとき領域毎の画像データは、注目領
域の画素データのみを有し、その他の周囲の画素データ
は含んでいない。あるいは注目領域の外部の画素データ
は予め定めた一つの値、例えばゼロなどに固定してお
く。こうすることで、注目領域の外周付近で動き検出す
る場合にも、隣接領域の画像内容による影響で誤検出を
引き起こすことが無く、より正確な動き検出を実現でき
る。また注目領域の一部分が他の隣接領域の後ろに隠れ
たり逆に背後から現れた為にフレーム間相関が無く、正
確な動きが検出できないことがある。この様な部分に
は、同一の注目領域上で動きデータが正確に検出できた
部分から動きデータを外挿して与える。あるいはゼロベ
クトルを該部分の動きデータとして与えても良い。図２
の前後関係検出回路２０３では、前記分割した複数の領
域が重なり合う場合に、領域相互の前後関係を検出す
る。この検出手順の一例を、図３と図４を用いて説明す
る。図３は２つの領域Ａと領域Ｂが重なり合う場合を示
している。このような場合には、フレーム間で領域形状
の変化の少ない方、すなわち領域Ａがより前面にあると
判定できる。あるいは各々の領域に対し、動き補償フレ
ーム間予測誤差を測定することでも判定できる。図４は
領域Ａと領域Ｂの各々が前面にあると仮定し、動き補償
フレーム間予測を行った場合の各々の予測誤差を示して
いる。領域Ｂを前面と仮定すると大きな誤差が発生する
が、領域Ａを前面と仮定すれば誤差は少ない。従って領
域Ａが入力画像上でより前面にあると判定できる。

【００１７】図５は図１の動画像解析回路の内部構成の
別の例を説明するブロック図である。図５では、まず動
き検出回路５０１で入力画像５２１と前フレームで局部
復号した復号画像データ５２２とのフレーム間での動き
を検出する。動き検出は従来技術であるブロックマッチ
ング法や輝度勾配法により容易に実現できる。次に領域
分割回路５０２において入力画像５２１を領域分割す
る。領域分割は図２の領域分割回路２０１について前記
説明したのと同様な方法でも実現できるが、前記検出し
た動きデータを参照すれば更に正確な領域分割を実現で
きる。この処理の一例を次に説明する。まず入力画像５
２１を前記説明と同様のフレーム内処理により初期領域
分割する。次に前記検出した動きデータ５２３を用い、
復号画像データ５２２上の各々の領域を動き補償する。
入力画像５２１を初期分割した複数の領域のうち、前記
動き補償後の同一の領域の上に重なり合う複数の領域を
統合し、最終的な領域分割結果として出力する。このと
き入力画像５２１上のある一つの領域が前記動き補償後
の複数の領域に跨る場合には、重なり合う画素数が最も
多い領域同士を対応付ける。この方法を用いれば、動き
の比較的大きな画像においても領域毎のフレーム間相関
を十分に利用でき、より正確な領域分割結果が得られ
る。図５の前後関係検出回路５０３では、領域分割した
入力画像データ５２４と復号画像データ５２２および動
きデータ５２３を参照し、領域相互の前後関係を検出す
る。領域相互の前後関係は図２の前後関係検出回路２０
３について前記説明したのと同様な方法で実現できる。
図５の動き補正回路５０４では、動き検出回路５０１で
前記検出した動きデータ５２３に補正を加え、最終的な
動きデータ５２６を出力する。補正を加える理由は、動
き検出回路５０１では領域分割前の入力画像５２１から
動き検出しているため、動きの異なる被写体領域の境界
付近で誤検出が発生しやすい為である。例えばブロック
マッチング法で動き検出した場合、被写体領域の内部で
は比較的正確な動きが検出できるが、動きの異なる被写
体領域に跨ったブロックでは、注目領域以外の隣接領域
の画像内容の影響を受け、誤検出することがある。そこ
で誤検出の可能性が高い部分には、正確に動き検出でき
た部分から動きデータの値を外挿補間する。あるいは該
部分の動きデータのみを領域分割後の入力画像データ５
２４を用いて再検出しても良い。

【００１８】ここで再び図１に戻り、動画像解析回路１
０１より後段の動作を説明する。

【００１９】図１の動き補償予測回路１０２では、動き
データ１２４を参照し、前フレームで領域毎に局部復号
した復号画像データ１２２に動き補償処理を施し、領域
毎の動き補償フレーム間予測データ１２６を出力する。
動きデータ１２４がブロック単位で供給されている場合
には、動き補償処理はブロックベースで行う。また動き
データ１２４がブロック単位あるいは代表点毎に供給さ
れている場合には、画素毎の動きベクトルを注目画素近
傍の複数の動きデータから内挿計算し、これを用いて画
素毎に動き補償を行っても良い。あるいは動きデータ１
２４が注目領域全体の動きを記述する変換パラメータで
与えられている場合には、該領域の全ての画素に対して
前記パラメータを用いた変換処理を行い、動き補償フレ
ーム間予測データ１２６を得る。

【００２０】差分器１０３では前後関係データ１２５を
参照し、領域分割した入力画像データ１２３と動き補償
フレーム間予測データ１２６との差分を適応的に求め、
差分データ１２７を出力する。入力画像上のある領域Ａ
に対する差分処理を行う前に、差分器１０３には復号画
像データ１２２上の対応する領域Ａから予測データが供
給される。ここで該予測データが、入力画像上の領域Ａ
の画素位置に与えられた場合には、入力画像データと予
測データとの差分データを出力する。また入力画像上の
注目画素に対する予測データの値がゼロであるか、予測
データが与えられていない場合には、入力画像データを
そのまま差分データとして出力する。一方、予測データ
が入力画像上の領域Ａの外部の画素位置、すなわち入力
画像上の別の領域Ｂ上の画素位置に与えられた場合に
は、領域Ａと領域Ｂとの前後関係により適応的に差分処
理を切替える。領域Ａが領域Ｂより前面にある場合に
は、該画素位置での入力画像データの値をゼロとし、こ
れと予測データとの差分を出力する。また領域Ａが領域
Ｂより背後にある場合には、差分データの値をゼロとし
て出力するか、該差分データを符号化の対象外とする。
こうすることで、隣接する別の領域の背後に隠れて現フ
レームの入力画像上では見えなくなった部分、いわゆる
アンカバード部分の不必要な符号化を避けることができ
る。

【００２１】量子化回路１０４では前記差分データ１２
７を量子化し、量子化データ１２８を出力する。

【００２２】逆量子化回路１０５では量子化データ１２
８を逆量子化し、逆量子化データ１２９を出力する。

【００２３】加算器１０６では逆量子化データ１２９と
動き補償フレーム間予測データ１２６とを領域毎に別々
に加算し、領域毎に局部復号した復号画像データ１３０
を出力する。ここで逆量子化データの値がゼロ、もしく
は符号化されていない画素に対し、動き補償フレーム間
予測データが与えられた場合には予測データをそのまま
局部復号画像データとする。こうすることで、隣接する
別の領域の背後に隠れて現フレームの入力画像上では見
えなくなった部分、いわゆるアンカバード部分に対し、
前フレームで局部復号した画像データを消去せずに保持
することができる。この画像データは該部分が再び入力
画像上に現れたときに、動き補償フレーム間予測に有効
なデータとして活用することができる。

【００２４】領域別メモリ１０７は局部復号した復号画
像データ１３０を領域毎に別々に保持し、次フレームの
符号化時に動き検出および動き補償フレーム間予測の為
の参照データとして、領域毎に別々に出力する。

【００２５】符号変換回路１０８では領域毎に量子化デ
ータ１２８と動きデータ１２４および前後関係データ１
２５とを符号変換し、符号化データ１３１を復号部へ伝
送する。

【００２６】復号部では、まず逆符号変換回路１０９で
符号化部から供給された符号化データ１３２を逆符号変
換し、領域毎の量子化データ１３２と動きデータ１３３
および前後関係データ１３４とを出力する。

【００２７】逆量子化回路１１０では量子化データ１３
２を逆量子化し、逆量子化データ１３５を出力する。

【００２８】動き補償予測回路１１１では動きデータ１
３３を参照し、前フレームで領域毎に復号した復号画像
データ１３６に動き補償処理を施し、動き補償フレーム
間予測データ１３７を出力する。動き補償予測回路１１
１における動き補償処理は、符号化部の動き補償予測回
路１０２と同じ方法で実現する。

【００２９】加算器１１２では、逆量子化データ１３５
と動き補償フレーム間予測データ１３７とを領域毎に別
々に加算し、領域毎の復号画像データ１３８を出力す
る。ここで逆量子化データの値がゼロ、もしくは符号化
されていない画素に対し、動き補償フレーム間予測デー
タが与えられた場合には予測データをそのまま復号画像
データとする。

【００３０】領域別メモリ１１３は復号画像データ１３
８を領域毎に別々に保持し、次フレームの復号時に領域
毎の復号画像データ１３６として出力する。

【００３１】領域合成回路１１４では前後関係データ１
３４を参照し、どの領域がより前面にあるかを判定し、
領域毎の復号画像データ１３８を重ね合わせて一枚の画
像を合成する。合成した画像を復号画像１３９として外
部へ出力する。

【００３２】本発明の第２の動画像の符号化・復号装置
を図６を用いて説明する。

【００３３】図６は、本発明の第２の動画像の符号化・
復号装置を実現する装置の一実施例のブロック図であ
る。この動画像の符号化・復号装置は符号化部と復号部
とから構成される。

【００３４】符号化部は、前フレームで局部復号した復
号画像データ６２２を参照して入力画像６２１を解析
し、動領域と背景領域とに領域分割した入力画像データ
６２３を出力するとともに、分割した領域毎にフレーム
間での動きを検出し、動きデータ６２４を出力する動画
像解析回路６０１と、動きデータ６２４を参照して前フ
レームの復号画像データ６２２を領域毎に動き補償し、
動き補償フレーム間予測データ６２５を出力する動き補
償予測回路６０２と、領域分割した入力画像データ６２
３と動き補償フレーム間予測データ６２５との適応的な
差分を領域毎に求め、差分データ６２６を出力する差分
器６０３と、差分データ６２６を量子化し、量子化デー
タ６２７を出力する量子化回路６０４と、量子化データ
６２７を逆量子化し、逆量子化データ６２８を出力する
逆量子化回路６０５と、逆量子化データ６２８と動き補
償フレーム間予測データ６２５とを領域毎に加算し、領
域毎に局部復号した復号画像データ６２９を出力する加
算器６０６と、復号画像データ６２９を動領域と背景領
域とで別々に保持し、次フレームの符号化時に領域毎に
別々の参照データとして出力する領域別メモリ６０７
と、動きデータ６２４と量子化データ６２７とを符号変
換し、符号化データ６３０を復号部へ出力する符号変換
回路６０８とからなる。

【００３５】復号部は符号化部から供給された符号化デ
ータ６３０を逆符号変換し、動きデータ６３２と量子化
データ６３１とを出力する逆符号変換回路６０９と、量
子化データ６３１を逆量子化し、逆量子化データ６３３
を出力する逆量子化回路６１０と、動きデータ６３２を
参照して前フレームの復号画像データ６３４を領域毎に
動き補償し、動き補償フレーム間予測データ６３５を出
力する動き補償予測回路６１１と、逆量子化データ６３
３と動き補償フレーム間予測データ６３５とを領域毎に
加算し、領域毎に復号した復号画像データ６３６を出力
する加算器６１２と、復号画像データ６３６を動領域と
背景領域とで別々に保持し、次フレームの復号時に領域
毎に別々の参照データとして出力する領域別メモリ６１
３と、背景領域の復号画像データの上に動領域の復号画
像データを合成し、一枚の画像を生成して復号画像６３
７として外部へ出力する領域合成回路６１４とからな
る。

【００３６】本実施例の動作を説明する。

【００３７】符号化部では、まず動画像解析回路６０１
で入力画像６２１を解析し、動領域と背景領域とに領域
分割した入力画像データ６２３を出力する。領域分割
は、前フレームにおいて動領域と背景領域とで別々に局
部復号した復号画像データ６２２とのフレーム間相関を
利用して実現する。また動画像解析回路６０１では、領
域毎にフレーム間での動きを検出して出力する。なお、
各データの動領域と背景領域との出力順序を予め定めて
おけば、復号部でもデータがいずれの領域に属するかを
一意に定めることができる。

【００３８】図７は図６の動画像解析回路６０１の内部
構成の一例を説明するブロック図である。図７では、領
域分割回路７０１において入力画像７２１を動領域と背
景領域とに領域分割する。この処理の一例を次に説明す
る。まず入力画像７２１から輝度あるいは色度が急激に
変化しているエッジを検出し、このエッジを領域分割の
境界線とし、初期領域分割を実現する。次に前フレーム
で局部復号した復号画像データ７２２を参照し、領域分
割を補正する。例えば初期分割した複数の領域のうち、
前フレームの復号画像７２２上での動領域に重なり合う
領域を統合し、現フレームでの動領域とする。あるいは
次の様な方法をもちいても良い。まず入力画像７２１と
前フレームの復号画像７２２との単純なフレーム間差分
を求める。差分の値が大きな画素が密集した部分を領域
境界部分とみなし、この内側にある複数の初期分割領域
を統合して動領域とする。いずれの場合にも、動領域に
属さない初期分割領域を統合し、背景領域とする。次
に、図７の動き検出回路７０２では、分割した動領域と
背景領域とで別々に、フレーム間での動きを検出する。
動き検出は従来技術であるブロックマッチング法や輝度
勾配法により容易に実現できる。このとき入力画像７２
３と復号画像データ７２２は注目領域の画素データしか
有しておらず、領域境界付近でも他方の領域の影響を受
けないので、より正確に動き検出できる。

【００３９】図８は図６の動画像解析回路６０１の内部
構成の別の例を説明するブロック図である。図８では、
動き検出回路８０１において入力画像８２１と前フレー
ムの復号画像データ８２２とから、フレーム間での動き
を示す動きデータ８２３を検出する。動き検出は従来技
術であるブロックマッチング法や輝度勾配法により容易
に実現できる。次に領域分割回路８０２において入力画
像８２１を領域分割する。領域分割は図７の領域分割回
路７０１について前記説明したのと同様な方法でも実現
できるが、動き検出回路８０１で検出した動きデータ８
２３を用いることで、より正確な領域分割を実現でき
る。この処理の一例を次に説明する。まず入力画像８２
１をフレーム内処理で初期領域分割する。次に動きデー
タ８２３を参照し、前フレームの復号画像データ８２２
を領域毎に動き補償する。初期分割した複数の領域の中
で、前記動き補償後の動領域の上に重なり合う複数の領
域を統合し、現フレームでの動領域とする。また残りの
初期分割領域を統合し、背景領域とする。ここで初期分
割したある領域が、前記動き補償後の動領域と背景領域
の両方に跨る場合には、重なり合う画素数が多い方に統
合する。最後に動き補正回路８０３において、動き検出
回路８０１で検出した動きデータ８２３に補正を加え、
最終的な動きデータ８２５として出力する。動き検出回
路８０１では領域分割する前の入力画像上で動き検出を
行っている。このため動領域と背景領域との境界付近で
は、互いの画像データが影響を及ぼし合い、誤検出をお
こす可能性が高い。そこでこのような部分には、領域内
部で検出した動きデータを外挿補間する。あるいは該部
分の動きデータのみを、領域分割後の入力画像を用いて
再検出しても良い。

【００４０】ここで再び図６に戻り、動画像解析回路６
０１より後段の動作を説明する。

【００４１】動き補償予測回路６０２では、動きデータ
６２４を参照し、前フレームで領域毎に局部復号した復
号画像データ６２２に動き補償処理を施し、領域毎の動
き補償フレーム間予測データ６２５を出力する。動きデ
ータ６２４がブロック単位で供給されている場合には、
動き補償処理はブロックベースで行う。また動きデータ
６２４がブロック単位もしくは代表点毎に供給されてい
る場合には、画素毎の動きベクトルを注目画素近傍の複
数の動きデータから内挿計算し、これを用いて画素毎に
動き補償を行っても良い。あるいは動きデータ６２４が
注目領域全体の動きを記述する変換パラメータで与えら
れている場合には、該領域の全ての画素に対して前記パ
ラメータを用いた変換処理を行い、動き補償フレーム間
予測データ６２５を得る。

【００４２】差分器６０３では領域分割した入力画像デ
ータ６２３と動き補償フレーム間予測データ６２５との
差分を適応的に求め、差分データ６２６を出力する。こ
こで予測データが、注目している入力画像データと互い
に対応する領域から与えられた場合には、差分データを
そのまま出力する。またこれ以外の場合には次のような
処理を行う。動領域での差分処理において、入力画像上
のある注目画素に対し、予測データの値がゼロである
か、予測データが与えられていない場合には、入力画像
データをそのまま差分データとして出力する。また同じ
く動領域での差分処理において、予測データが入力画像
上の動領域外部の画素位置、すなわち背景領域の画素位
置に与えられた場合には、入力画像データの値をゼロと
し、これと予測データとの差分を出力する。一方、背景
領域での差分処理において、入力画像上の背景領域外の
画素位置に予測データが与えられた場合には、差分デー
タの値をゼロとして出力するか、該差分データを符号化
の対象外とする。こうすることで、動領域の背後に隠れ
て現フレームの入力画像上では見えなくなった部分、い
わゆるアンカバード部分を不必要に符号化せずに済む。

【００４３】量子化回路６０４では差分データ６２６を
量子化し、量子化データ６２７を出力する。

【００４４】逆量子化回路６０５では量子化データ６２
７を逆量子化し、逆量子化データ６２８を出力する。

【００４５】加算器６０６では逆量子化データ６２８と
動き補償フレーム間予測データ６２５とを領域毎に別々
に加算し、領域毎に局部復号した復号画像データ６２９
を出力する。ここで逆量子化データの値がゼロ、もしく
は符号化されていない画素に対し、動き補償フレーム間
予測データが与えられた場合には予測データをそのまま
復号画像データとする。こうすることで、動領域の背後
に隠れて現フレームでは見えなくなった背景領域の一部
分、いわゆるアンカバード部分に対し、前フレームで局
部復号した画像データを消去せずに保持することができ
る。この画像データは該部分が再び入力画像上に現れた
場合に、動き補償フレーム間予測に有効なデータとして
活用できる。

【００４６】領域別メモリ６０７は局部復号した復号画
像データ６２９を動領域と背景領域とで別々に保持し、
次フレームの符号化時に領域毎に別々の動き検出および
動き補償フレーム間予測の為の参照データとして出力す
る。

【００４７】符号変換回路６０８では領域毎に量子化デ
ータ６２７と動きデータ６２４とを符号変換し、符号化
データ６３０を復号部へ伝送する。

【００４８】復号部では、まず符号化部から供給された
符号化データ６３０を逆符号変換回路６０９で逆符号変
換し、領域毎の量子化データ６３１と動きデータ６３２
とを出力する。

【００４９】逆量子化回路６１０では量子化データ６３
１を逆量子化し、逆量子化データ６３３を出力する。

【００５０】動き補償予測回路６１１では動きデータ６
３２を参照し、前フレームで領域毎に復号した復号画像
データ６３４に動き補償処理を施し、動き補償フレーム
間予測データ６３５を出力する。動き補償予測回路６１
１における動き補償処理は、符号化部の動き補償予測回
路６０２と同じ方法で実現する。

【００５１】加算器６１２では、逆量子化データ６３３
と動き補償フレーム間予測データ６３５とを領域毎に別
々に加算し、領域毎の復号画像データ６３６を出力す
る。ここで逆量子化データの値がゼロ、もしくは符号化
されていない画素に対し、動き補償フレーム間予測デー
タが与えられた場合には予測データをそのまま復号画像
データとする。

【００５２】領域別メモリ６１３は復号画像データ６３
６を動領域と背景領域とで別々に保持し、次フレームの
復号時に領域毎の復号画像データ６３４として出力す
る。

【００５３】領域合成回路６１４では、背景領域の復号
画像データの上に動領域の復号画像データを重ね合わせ
て一枚の画像を合成する。この画像を復号画像６３７と
して外部へ出力する。

【００５４】

【発明の効果】以上説明したように本発明では、画像の
被写体構造を解析し、被写体領域毎に動き検出および動
き補償を行うことで、動きが不連続に変化している部分
でも優れた符号化効率を持った符号化および復号方式を
実現することができる。

【００５５】例えば動き検出は、領域分割した入力画像
と前フレームで領域毎に局部復号した復号画像データと
を用いて行う。このため注目領域の動きを検出している
時には、その他の周囲の領域の画像データの影響を受け
ず、より正確に動きを検出できる。

【００５６】また動き補償処理も前フレームで領域毎に
復号した復号画像データを用いて行う。このため動き補
償フレーム間予測データに周囲の領域の画像データが誤
って混入することが無く、より正確な動き補償処理を実
現できる。

【００５７】更に一度復号した画像データの一部分が、
動きの異なる隣接領域の背後に隠れた場合にも、該部分
の画像データを消去せず、領域別メモリに保持すること
ができる。この画像データは該部分が入力画像上に再び
現れた場合に、動き補償フレーム間予測データとして有
効利用できる。このため従来の方法に比べて予測効率を
改善できる。

【図面の簡単な説明】

【図１】本発明に係わる第１の実施例の基本ブロック図
である。

【図２】本発明に係わる第１の実施例における動画像解
析回路の内部構成の一例を示すブロック図である。

【図３】分割した領域相互の前後関係を検出する方法を
説明する図である。

【図４】分割した領域相互の前後関係を検出する方法を
説明する図である。

【図５】本発明に係わる第１の実施例における動画像解
析回路の内部構成の一例を示すブロック図である。

【図６】本発明に係わる第２の実施例の基本ブロック図
である。

【図７】本発明に係わる第２の実施例における動画像解
析回路の内部構成の一例を示すブロック図である。

【図８】本発明に係わる第２の実施例における動画像解
析回路の内部構成の一例を示すブロック図である。

【図９】従来の動画像符号化および復号装置の一実施例
の基本ブロック図である。

【符号の説明】

１０１，６０１ 動画像解析回路 １０２，１１１，６０２，６１１，９０２，９１１ 動
き補償予測回路 １０３，６０３，９０３ 差分器 １０４，６０４，９０４ 量子化回路 １０５，１１０，６０５，６１０，９０５，９１０ 逆
量子化回路 １０６，１１２，６０６，６１２，９０６，９１２ 加
算器 １０７，１１３，６０７，６１３ 領域別メモリ ９０７，９１３ 画像メモリ １０８，６０８，９０８ 符号変換回路 １０９，６０９，９０９ 逆符号変換回路 １１４，６１４ 領域合成回路 ２０１，５０２，７０１，８０２ 領域分割回路 ２０２，５０１，７０２，８０１，９０１ 動き検出回
路 ２０３，５０３ 前後関係検出回路 ５０４，８０３ 動き補正回路 １２１，２２１，５２１，６２１，７２１，８２１，９
２１ 入力画像 １２２，１３６，２２２，５２２，６２２，６３４，７
２２，８２２，９２２，９３３ 前フレームの復号画像
データ １２３，２２３，５２４，６２３，７２３，８２４ 領
域毎の入力画像データ １２４，１３３，２２４，５２３，５２６，６２４，６
３２，７２４，８２３，８２５，９２３，９３１ 動き
データ １２５，１３４，２２５，５２５ 前後関係データ １２６，１３７，６２５，６３５，９２４，９３４ 動
き補償フレーム間予測データ １２７，６２６，９２５ 差分データ １２８，１３２，６２７，６３１，９２６，９３０ 量
子化データ １２９，１３５，６２８，６３３，９２７，９３２ 逆
量子化データ １３０，１３８，６２９，６３６ 領域毎の復号画像デ
ータ １３１，６３０，９２９ 符号化データ １３９，６３７，９２８，９３５ 復号画像

Claims (2)

【特許請求の範囲】
1. 【請求項１】符号化部と復号部とから構成される動画像
   の符号化・復号装置において、 前記符号化部は、 前フレームで局部復号した復号画像データを参照して入
   力画像を解析し、入力画像を領域分割して出力するとと
   もに、前記分割した領域相互の前後関係を示すデータと
   領域毎のフレーム間での動きを示すデータとを検出して
   出力する手段と、前記動きデータを参照し、前記復号画
   像データから動き補償フレーム間予測データを生成して
   出力する手段と、前記前後関係データを参照し、前記領
   域分割した入力画像と前記動き補償フレーム間予測デー
   タとの適応的な差分を領域毎に求め、差分データを出力
   する手段と、前記差分データを量子化し、量子化データ
   を出力する手段と、前記量子化データを逆量子化し、逆
   量子化データを出力する手段と、前記逆量子化データと
   前記動き補償フレーム間予測データとを領域毎に加算
   し、領域毎に局部復号した復号画像データを出力する手
   段と、前記復号画像データを領域毎に別々に保持し、次
   フレームの符号化時に参照データとして出力する手段
   と、前記前後関係データと前記動きデータおよび前記量
   子化データとを符号変換し、出力する手段とを備え、 前記復号部は、 前記符号化部から供給された符号化データを逆符号変換
   し、領域毎の量子化データおよび動きデータと領域相互
   の前後関係データとを出力する手段と、前記量子化デー
   タを逆量子化し、逆量子化データを出力する手段と、前
   記動きデータを参照し、前フレームで復号した復号画像
   データから動き補償フレーム間予測データを生成して出
   力する手段と、前記逆量子化データと前記動き補償フレ
   ーム間予測データとを領域毎に加算し、領域毎に復号し
   た復号画像データを出力する手段と、前記復号画像デー
   タを領域毎に別々に保持し、次フレームの復号時に参照
   データとして出力する手段と、前記前後関係データを参
   照し、前記領域毎に復号した復号画像データを合成し、
   一枚の復号画像を生成して出力する手段とを備えること
   を特徴とした動画像の符号化・復号装置。
2. 【請求項２】符号化部と復号部とから構成される動画像
   の符号化・復号装置において、 前記符号化部は、 前フレームで局部復号した復号画像データを参照して入
   力画像を解析し、入力画像を動領域と背景領域とに領域
   分割して出力するとともに、前記分割した領域毎のフレ
   ーム間での動きを示すデータを検出して出力する手段
   と、前記動きデータを参照し、前記復号画像データから
   動き補償フレーム間予測データを生成して出力する手段
   と、前記領域分割した入力画像と前記動き補償フレーム
   間予測データとの適応的な差分を領域毎に求め、差分デ
   ータを出力する手段と、前記差分データを量子化し、量
   子化データを出力する手段と、前記量子化データを逆量
   子化し、逆量子化データを出力する手段と、前記逆量子
   化データと前記動き補償フレーム間予測データとを領域
   毎に加算し、領域毎に局部復号した復号画像データを出
   力する手段と、前記復号画像データを動領域と背景領域
   とで別々に保持し、次フレームの符号化時に参照データ
   として出力する手段と、前記動きデータおよび前記量子
   化データとを符号変換し、出力する手段とを備え、 前記復号部は、 前記符号化部から供給された符号化データを逆符号変換
   し、動領域と背景領域との領域毎の量子化データおよび
   動きデータとを出力する手段と、前記量子化データを逆
   量子化し、逆量子化データを出力する手段と、前記動き
   データを参照し、前フレームで復号した復号画像データ
   から動き補償フレーム間予測データを生成して出力する
   手段と、前記逆量子化データと前記動き補償フレーム間
   予測データとを領域毎に加算し、領域毎に復号した復号
   画像データを出力する手段と、前記復号画像データを動
   領域と背景領域とで別々に保持し、次フレームの復号時
   に参照データとして出力する手段と、背景領域の復号画
   像データの上に動領域の復号画像データを合成し、一枚
   の復号画像を生成して出力する手段とを備えることを特
   徴とした動画像の符号化・復号装置。