JP3526258B2 - 画像符号化装置及び画像復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する画像
符号化装置及びこの画像符号化装置で作成された符号化
データを復号する画像復号装置に関するものである。

【０００２】

【従来の技術】画像符号化において、異なる動画像シー
ケンスを合成する方式が検討されている。文献「階層表
現と多重テンプレートを用いた画像符号化」（信学技報
IE94-159,pp99-106 (1995))では、背景となる動画像シ
ーケンスと前景となる部品動画像の動画像シーケンス
（例えばクロマキー技術によって切り出された人物画像
や魚の映像など）を合成して新たなシーケンスを作成す
る手法が述べられている。

【０００３】また、文献「画像内容に基づく時間階層符
号化」（"Temporal Scalability based on image conte
nt", ISO/IEC/ JTC1/SC29/WG11 MPEG95/211(1995)）で
は、フレームレートの低い動画像シーケンスにフレーム
レートの高い部品動画像の動画像シーケンスを合成して
新たなシーケンスを作成する手法が述べられている。

【０００４】この方式では、図１６に示すように、下位
レイヤでは低いフレームレートで予測符号化が行われ、
上位レイヤでは選択領域（斜線部）についてのみ高いフ
レームレートで予測符号化が行われる。ただし、下位レ
イヤで符号化したフレームは上位レイヤでは符号化せ
ず、下位レイヤの復号画像をそのままコピーして用い
る。また、選択領域としては、例えば人物部分など視聴
者の注目が集まる部分が選ばれているものとする。

【０００５】図８に従来手法のブロック図を示す。ま
ず、従来手法の符号化側では、入力動画像は第１の駒落
し部８０１及び第２の駒落し部８０２によってフレーム
間引きされ、入力画像のフレームレート以下とされた
後、それぞれ上位レイヤ符号化部８０３及び下位レイヤ
符号化部８０４に入力される。ここで、上位レイヤのフ
レームレートは下位レイヤのフレームレート以上であ
る。

【０００６】下位レイヤ符号化部８０４では、入力され
た動画像全体が符号化される。符号化方式としては、例
えばMPEGやH.261などの動画像符号化国際標準化方式が
用いられる。また、下位レイヤ符号化部８０４では、下
位レイヤの復号画像が作成され、予測符号化に利用され
ると同時に、合成部８０５に入力される。

【０００７】図９は従来の符号化装置における符号量制
御部を示すブロック図である。図９において、符号化部
９０２は、動き補償予測、直交変換、量子化、可変長符
号化などを用いて動画像符号化を行う。

【０００８】また、量子化幅算出部９０１は、符号化部
９０２で用いる量子化幅を算出し、発生符号量算出部９
０３は、符号化データの累積を計算する。一般に発生符
号量が大きくなるとこれを抑えるために量子化幅を大き
く、逆に発生符号量が小さくなると量子化幅を小さく制
御する。

【０００９】図８の上位レイヤ符号化部８０３では、入
力された動画像の選択領域のみが符号化される。ここで
も、MPEGやH.261などの動画像符号化国際標準化方式が
用いられるが、領域情報に基づいて選択領域のみを符号
化する。ただし、下位レイヤで符号化されたフレームは
上位レイヤでは符号化されない。

【００１０】領域情報は、人物部などの選択領域を示す
情報であり、例えば選択領域の位置で値１、それ以外の
位置で値０をとる２値画像である。また、上位レイヤ符
号化部８０３では、動画像の選択領域のみが復号され、
合成部８０５に入力される。

【００１１】領域情報符号化部８０６では、領域情報が
８方向量子化符号を利用して符号化される。８方向量子
化符号は、図１７に示すように、次の点への方向を数値
で示したもので、デジタル図形を表現する際に一般的に
使用されるものである。

【００１２】合成部８０５は、合成対象フレームで下位
レイヤフレームが符号化されている場合、下位レイヤの
復号画像を出力する。合成対象フレームで下位レイヤフ
レームが符号化されていない場合は、合成対象フレーム
の前後２枚の符号化された下位レイヤの復号画像と１枚
の上位レイヤ復号画像とを用いて動画像を出力する。

【００１３】ここで、下位レイヤの２枚の画像のフレー
ムは、上位レイヤのフレームの前及び後である。また、
合成部８０５で作成された動画像は上位レイヤ符号化部
８０３に入力され、予測符号化に利用される。合成部８
０５における画像作成方法は以下の通りである。

【００１４】まず、２枚の下位レイヤの補間画像が作成
される。時間tにおける下位レイヤの復号画像をB(x, y,
t)（ただし、x, yは空間内の画素位置を表す座標であ
る）とし、２枚の下位レイヤの時間をそれぞれt1, t2、
上位レイヤの時間をt3（ただし、t1＜t3＜t2である）と
すると、時間t3における補間画像I(x, y, t3)は、I(x,
y, t3) = [ (t2-t3)B(x, y, t1) + (t3-t1)B(x, y, t2)
]/(t2-t1) (1)によって計算される。

【００１５】次に、上記で求めた補間画像Iに上位レイ
ヤの復号画像Eを合成する。このために、領域情報M(x,
y, t)から合成のための重み情報W(x, y, t)を作成し、
次式によって合成画像Sを得る。 S(x, y, t) = [1-W(x, y, t)]I(x, y, t) + E(x, y, t)W(x, y, t) (2) 領域情報M(x, y, t)は選択領域内で１、選択領域外で０
の値をとる２値画像であり、この画像に低域通過フィル
タを複数回施すことによって、重み情報W(x, y,t)を得
ることができる。

【００１６】すなわち、重み情報W(x, y, t)は選択領域
内で１、選択領域外で０、選択領域の境界部で０〜１の
値をとる。以上が、合成部８０５における画像作成方法
の説明である。

【００１７】下位レイヤ符号化部８０４、上位レイヤ符
号化部８０３、領域情報符号化部８０６で符号化された
符号化データは、図示しない符号化データ統合部で統合
され、伝送あるいは蓄積される。

【００１８】次に、従来手法の復号側では、符号化デー
タが図示しない符号化データ分解部により、下位レイヤ
の符号化データ、上位レイヤの符号化データ、領域情報
の符号化データに分解される。これらの符号化データ
は、図８に示すように、下位レイヤ復号部８０８、上位
レイヤ復号部８０７及び領域情報復号部８０９によって
復号される。

【００１９】復号側の合成部８１０は、符号化側の合成
部８０５と同一の装置からなり、下位レイヤ復号画像と
上位レイヤ復号画像とを用い、符号化側の説明で述べた
ものと同一の方法によって画像が合成される。ここで合
成された動画像は、ディスプレイに表示されると共に、
上位レイヤ復号部８０７に入力され、上位レイヤの予測
に利用される。

【００２０】ここでは、下位レイヤと上位レイヤとの両
方を復号する復号装置について述べたが、下位レイヤの
復号部のみを備えた復号装置ならば、上位レイヤ符号化
部８０７、合成部８１０が不要であり、少ないハードウ
エア規模で符号化データの一部を再生することができ
る。

【００２１】

【発明が解決しようとする課題】（１）従来の技術にお
いては、上記(1)式のように、２枚の下位レイヤ復号画
像と１枚の上位レイヤ復号画像とから出力画像を得る
際、２枚の下位レイヤの補間を行っているため、選択領
域の位置が時間的に変化する場合には、選択領域周辺に
大きな歪みが発生し、画質を大きく劣化させるという問
題がある。

【００２２】図１８はこの問題を説明するものである。
図１８（ａ）において、画像A、Cは下位レイヤの２枚の
復号画像、画像Bは上位レイヤの復号画像であり、表示
時間順はA、B、Cの順である。ただし、選択領域を斜線
で示している。また、上位レイヤでは選択領域のみが符
号化されるため、選択領域外を破線で示している。

【００２３】選択領域が動いているため、画像Aと画像C
とから求めた補間画像は、図１８（ｂ）における網点部
のように、２つの選択領域が重複したものになる。さら
に、画像Bを重み情報を用いて合成すると、出力画像は
図１８（ｃ）に示すように、３つの選択領域が重複した
画像となる。

【００２４】特に、上位レイヤの選択領域周辺（外側）
に下位レイヤの選択領域が残像のように現れ、画質が大
きく劣化する。動画像全体としては、下位レイヤのみが
表示されている時には、上記の歪みがなく、上位レイヤ
と下位レイヤとの合成画像が表示されている時には、上
記の歪みが現われるため、フリッカ的歪みが発生し、非
常に大きな画質劣化となる。

【００２５】（２）従来の技術においては、領域情報の
符号化に８方向量子化符号（図１７）を用いているが、
低ビットレートに応用する場合や領域の形状が複雑にな
る場合などに、領域情報のデータ量の全符号化データ量
に占める割合が大きくなるため、画質劣化の要因となる
問題がある。

【００２６】（３）従来の技術においては、領域情報に
低域通過フィルタを複数回施すことによって、重み情報
を得ているが、フィルタ操作を複数回行うため、処理量
が増大するという問題がある。

【００２７】（４）従来の技術においては、予測符号化
を用いているが、下位レイヤでシーンチェンジがある場
合にも予測符号化を用いることがあり、大きな歪みが発
生する。下位レイヤでの歪みは、上位レイヤにも波及す
るため、長時間に渡って歪みが持続するという問題があ
る。

【００２８】（５）従来の技術においては、下位レイヤ
でMPEGやH.261などの動画像符号化国際標準化方式が用
いられるため、選択領域とそれ以外の領域の間で画質の
差があまりない。これに対し、上位レイヤでは選択領域
だけが高画質で符号化されるため選択領域での画質が時
間的に変化し、これがフリッカ的な歪みとなって検知さ
れるという問題がある。

【００２９】本発明の目的は、これらの問題を解決し、
符号化後のデータ量を削減する一方復号画像の品質を劣
化させないような画像符号化装置及び画像復号装置を提
供することにある。

【００３０】

【課題を解決するための手段】本願請求項１に記載の発
明に係る画像符号化装置は、動画像シーケンス内の特定
部品領域を階層的に符号化し下位レイヤ及び上位レイヤ
の符号化データを生成する動画像符号化手段と、前記特
定部品領域の領域形状を表す領域情報を符号化する領域
情報符号化手段とを備えた画像符号化装置であって、前
記領域情報符号化手段は、領域情報を近似する領域情報
近似手段と、近似された領域情報のフレーム間差分を求
めるフレーム間差分データ算出手段と、前記差分データ
に基づいて、近似された領域形状の変化の有無を示す変
化情報を符号化する変化情報符号化手段と、出力データ
を選択する選択手段を有し、近似しない領域情報の符号
化データと近似された領域情報の符号化データを選択的
に出力することを特徴とする。

【００３１】本願請求項２に記載の発明に係る画像復号
装置は、動画像シーケンス内の特定部品領域を階層的に
符号化した下位レイヤ及び上位レイヤの符号化データを
復号する動画像復号手段と、前記特定部品領域の領域形
状を表す領域情報を符号化した符号化データを復号する
領域情報復号手段とを備えた画像復号装置であって、前
記領域情報復号手段は、近似しない領域情報の符号化デ
ータと近似された領域情報の符号化データを選択的に切
り替えて入力する選択手段と、近似された領域形状のフ
レーム間の変化の有無を示す変化情報を復号する変化情
報復号手段を有し、前記変化情報が近似された領域形状
のフレーム間の変化が無いことを示す場合には、近似さ
れた領域情報として前フレームの領域情報を用いること
を特徴とする。

【００３２】

【発明の実施の形態】先ず、図８における合成部８０５
で発生する問題を解決する第１の画像合成装置の例につ
いて説明する。すなわち、２枚の下位レイヤ復号画像か
ら画像を合成する際、上位レイヤの選択領域の周辺に残
像のような歪みを発生させない画像合成装置に関するも
のである。図１は第１の画像合成装置を示すブロック図
である。

【００３３】図１において、第１の領域抽出部１０１
は、下位レイヤの第１の領域情報及び下位レイヤの第２
の領域情報から、第１の領域であり且つ第２の領域でな
い領域を抽出する。図１０（ａ）において、第１の領域
情報を点線で（点線内部が値０、点線外部が値１を持つ
ものとする）表し、同様に、第２の領域情報を破線で表
すとすると、第１の領域抽出部１０１で抽出される領域
は、図１０（ａ）における斜線部となる。

【００３４】第２の領域抽出部１０２は、下位レイヤの
第１の領域情報及び下位レイヤの第２の領域情報から、
第２の領域領域であり且つ第１の領域でない領域を抽出
する。図１０（ａ）の場合、網点部が抽出される。

【００３５】コントローラ１０３は、第１の領域抽出部
１０１及び第２の領域抽出部１０２の出力により、スイ
ッチ１０４を制御する部分である。すなわち、注目画素
位置が第１の領域のみの場合には、スイッチ１０４を第
２の復号画像側に接続し、注目画素位置が第２の領域の
みの場合には、スイッチ１０４を第１の復号側に接続
し、それ以外の場合には、スイッチ１０４を補間画像作
成部１０５からの出力に接続する。

【００３６】補間画像作成部１０５は、下位レイヤの第
１の復号画像と下位レイヤの第２の復号画像との補間画
像を、上記従来技術として説明した式(1)に従って計算
する。ただし、式(1)でB(x, y, t1)は第１の復号画像、
B(x, y, t2)は第２の復号画像、I(x, y, t3)は補間画像
であり、t1, t2, t3はそれぞれ第１の復号画像、第２の
復号画像及び補間画像の時間である。

【００３７】以上のようにして、画像を作成するので、
例えば図１０（ａ）の場合、斜線部では第２の復号画像
が使用されるため、選択領域外部の背景画素が現れ、網
点部では第１の復号画像が使用されるため、選択領域外
部の背景画素が現れ、それ以外の部分では第１の復号画
像と第２の復号画像の補間画像が現れる。

【００３８】このようにして作成された画像の上に、図
１の加重平均部１０６によって上位レイヤの復号画像を
重ねるため、合成された画像は図１０（ｂ）に示すよう
に、選択領域（斜線部分）周辺に残像がなく、歪みの少
ない画像が得られる。図１の加重平均部１０６は、上記
の補間画像と上位レイヤの復号画像とを加重平均によっ
て合成する。合成方法については、上記従来技術で述べ
たので、ここでは説明を省略する。

【００３９】上述の第１の画像合成装置においては、図
１に示す補間画像作成部１０５を設けたが、そのかわり
に第１の復号画像B(x, y, t1)と第２の復号画像B(x, y,
t2)のうち、上位レイヤの時間であるt3に時間的に近い
復号画像の画素値を用いるようにしても良い。

【００４０】その場合は、各画像のフレーム番号を用い
て、t3-t1 ＜ t1-t2の時は、 I(x, y, t3) = B(x, y, t1) とし、それ以外の時は、 I(x, y, t3) = B(x, y, t2) とする。

【００４１】ただし、t1, t2, t3は、それぞれ第１の復
号画像、第２の復号画像及び上位レイヤの復号画像の時
間である。

【００４２】次に、第２の画像合成装置の例を説明す
る。本例は、第１の画像合成装置において、下位レイヤ
の復号画像の動き情報を考慮して、より正確に画像を合
成する画像合成装置に関するものである。図２は動きパ
ラメータを推定し、２枚の復号画像とそれらに対応する
２枚の領域情報とを変形する装置を示すブロック図であ
る。

【００４３】図２において、動きパラメータ推定部２０
１では、下位レイヤにおける第１の復号画像から第２の
復号画像への動き情報を推定する。例えば、ブロック単
位の動ベクトルを求めたり、画像全体の動き（並行移
動、回転、拡大縮小など）を求め、動きパラメータとす
る。

【００４４】変形部２０２では、第１の復号画像、第２
の復号画像、第１の領域情報、第２の領域情報を、それ
ぞれ推定された動きパラメータによって、合成対象フレ
ームの時間的位置に基づき変形する。例えば、動きパラ
メータとして第１の復号画像から第２の復号画像への動
ベクトル(MVx, MVy)が求められているとする。ここで、
MVxは動ベクトルの水平成分、MVyは動ベクトルの垂直成
分である。

【００４５】このとき、第１の復号画像から補間画像へ
の動ベクトルを、 (t3-t1)/(t2-t1)(MVx, MVy) によって計算し、第１の復号画像をこの動ベクトルにて
シフトする。動きパラメータとして回転、拡大縮小など
を用いる場合は、単なるシフトではなく変形を伴う。

【００４６】図２においては、変形されたデータをそれ
ぞれa, b, c, dで表しているが、aは図１における第１
の復号画像、bは図１における第２の復号画像、cは図１
における第１の領域情報、dにおける図１の第２の領域
情報として、図１に示した画像合成装置に入力され、合
成画像が作成される。

【００４７】第２の画像合成装置では、２枚の復号画像
から動きパラメータを推定するようにしたが、予測符号
化の際には画像の各ブロックの動ベクトルが符号化デー
タに含まれているのが一般的であるので、これらの動ベ
クトルを利用しても良い。

【００４８】例えば、復号された動ベクトルの平均値
を、第１の復号画像から第２の復号画像への画像全体の
動ベクトルとしたり、或いは、復号された動ベクトルの
頻度分布を求め、最も頻度の高いベクトルを第１の復号
画像から第２の復号画像への画像全体の動ベクトルとし
ても良い。上記の処理は、水平方向・垂直方向で独立し
て行われる。

【００４９】次に、本発明の実施例を説明する。本実施
例は、領域情報を効率良く符号化する領域情報符号化装
置に関するものである。図３及び図４は本実施例のブロ
ック図であり、図３は符号化側、図４は復号側を示すも
のである。

【００５０】図３における領域情報近似部３０１は、領
域情報を複数の図形で近似する。図１１に近似の例を示
す。この例では、図形として矩形が用いられ、人物の領
域情報（斜線部）が２個の矩形で近似されている。矩形
１は人物の頭部を、矩形２は人物の胸部を表している。

【００５１】領域近似情報符号化部３０２は、上記の近
似された領域情報を符号化する部分である。図１１に示
すように、矩形で近似された場合には、各矩形の左上の
座標値と矩形の大きさとを固定長で符号化すれば良い。
或いは、楕円で近似された場合には、楕円の中心点の座
標、長軸の長さ及び短軸の長さを固定長で符号化すれば
良い。近似された領域情報と符号化されたデータとは、
選択部３０４に送られる。

【００５２】領域情報符号化部３０３は、上記従来技術
で述べた領域情報符号化部８０６と同様に、領域情報を
近似せず、８方向量子化符号を用いて符号化する。領域
情報と符号化されたデータとは、選択部３０４に送られ
る。

【００５３】選択部３０４は、領域近似情報符号化部３
０２の出力か、領域情報符号化部３０３の出力のいずれ
かを選択する。領域近似情報符号化部３０２の出力が選
択された時は、領域近似情報の符号化データを１ビット
の選択情報（例えば０）と共に、図示しない符号化デー
タ統合部に送り、領域近似情報を図示しない合成部に送
る。

【００５４】また、領域情報符号化部３０３の出力が選
択された時は、近似しない領域情報の符号化データを１
ビットの選択情報（例えば１）と共に、図示しない符号
化データ統合部に送り、近似しない領域情報を画像合成
部に送る。画像合成部は、上記第１の画像合成装置及び
第２の画像合成装置の各例で説明したものである。

【００５５】選択部３０４における選択手法としては、
例えば符号化データ量の小さい方を選択する手法、或い
は近似しない領域情報の符号化データ量がある閾値以内
の時は領域情報符号化部３０３の出力を選び、閾値を越
える時には領域近似情報符号化部３０２の出力を選ぶよ
うにする。このような選択を行うことにより、領域情報
の符号化歪みを抑えながら、符号化データ量を削減する
ことができる。

【００５６】次に、本発明の実施例の復号側（図４）に
ついて説明する。図４において、選択部４０１は、符号
化データに含まれる１ビットの選択情報をもとに、符号
化データが領域近似情報のものであるか、領域情報のも
のであるかを選択する。

【００５７】領域近似情報復号部４０２は、領域近似情
報を復号する。領域情報復号部４０３は、近似していな
い領域情報を復号する。スイッチ４０４は、選択部４０
１からの信号によってコントロールされ、合成部への出
力として、領域近似情報或いは近似していない領域情報
を選択する。

【００５８】以上のようにして、領域近似情報と近似し
ないもとの領域情報とを適応的に選択して符号化／復号
するので、領域情報が複雑で膨大なデータ量となる場合
には、領域近似情報の符号化が選択され、少ない情報量
で領域情報を符号化することができる。

【００５９】上記の例では、近似しない領域情報は、８
方向量子化符号によって符号化したが、さらに予測符号
化を組み合わせて効率良く符号化しても良い。８方向量
子化符号は、図１７に示すように、０〜７の値を持つ
が、予測符号化によって差分をとると、−７〜７となっ
てしまう。

【００６０】しかし、差分値が−４以下の時は８を加
え、差分値が４より大きい時は８を引くことにより、差
分値を−３〜４に抑えることができる。復号時には、前
値に差分値を加え、その結果が負の場合には８を加え、
７を越える場合には８を引くことにより、もとの８方向
量子化値を得ることができる。

【００６１】以下にその例を示す。 ８方向量子化値 1, 6, 2, 1, 3, ... 差分値 5, -4, -1, -2, ... 変換値 -3, 4, -1, 2, ... 復号値 1, 6, 2, 1, 3, ... 例えば、値６の前値との差分は５であるが、これから８
を引くことで−３となり、復号時には、前値１に復号値
−３に加えることで−２が得られるが、値が負であるた
め、これに８を加え、復号値６を得る。このような予測
符号化は、８方向量子化符号が巡回しているという性質
を利用したものである。

【００６２】本実施例においては、近似された領域情報
の符号化は、各画像で独立に行われているが、一般に動
画像はフレーム間の相関が高いため、前回の符号化結果
を利用して符号化効率を高めるようにしても良い。

【００６３】すなわち、近似された領域情報の符号化が
フレーム間で連続する場合、領域近似情報の差分のみを
符号化するようにする。例えば、領域が矩形で近似さ
れ、前フレームの矩形が左上の点：(10, 20)、大きさ：
(100, 150)で表され、現フレームの矩形が左上の点：(1
3, 18)、大きさ：(100, 152)で表れる場合は、現フレー
ムでは左上の差分値：(3, 2)、大きさの差分値：(0, 2)
を符号化する。

【００６４】領域の形状変化が小さい場合には、差分値
はいずれも０付近に集中するため、ハフマン符号化など
のエントロピー符号化を用いれば、領域情報の符号量が
大幅に削減できる。さらに、矩形が変化しない場合が多
い時には、現フレームにおいて1ビットの情報を矩形の
変化情報として符号化すれば良い。

【００６５】すなわち、矩形が変化しない時には、これ
を表す１ビットの情報（例えば０）のみを符号化し、矩
形が変化する時には、１ビットの情報（例えば１）と上
記の差分情報とを符号化する。

【００６６】次に、第４の画像合成装置の例を説明す
る。第４の画像合成装置は、領域情報から多値の重み情
報を作成する重み情報作成装置に関するものである。図
５は第４の画像合成装置のブロック図である。

【００６７】図５において、水平方向重み作成部５０１
は、領域情報を水平方向に走査して領域情報が１の部分
を求め、それに対応した重み関数を求める。具体的に
は、領域の左端の点の座標x0と領域の水平方向の長さN
とを求め、図１２（ａ）に示すような水平方向重み関数
を計算する。

【００６８】重み関数は直線を組み合わせて作成しても
良いし、直線と三角関数を組み合わせて作成しても良
い。後者の例として、三角関数部分の幅をWとする時、
N ＞ 2Wならば、 0≦x＜W の時 sin[(x+1/2)π/(2W)]*sin[(x+1/2)π/(2W)] W≦x＜N-W の時 1 N-W≦x＜N の時 sin[(x-N+2W+1/2)π/(2W)]*sin[(x-N+2W+1/2)π/(2W)] N ≦ 2Wならば、 sin2[(x+1/2)π/N]*sin[(x+1/2)π/N] を用いることができる。ただし、領域の左端の点x0は０
としている。

【００６９】垂直方向重み作成部５０２は、領域情報を
垂直方向に走査して領域情報が１の部分を求め、それに
対応した垂直方向重み関数を求める。具体的には、領域
の上端の点の座標y0と領域の垂直方向の長さMとを求
め、図１２（ｂ）に示すような垂直方向重み関数を計算
する。

【００７０】乗算器５０３は、水平方向重み作成部５０
１と垂直方向重み作成部５０２との出力を画素位置毎に
掛け合わせ、重み情報を作成する。このようにして重み
情報を作成すれば、領域情報の形に合わせた重み情報を
少ない演算量で求めることができる。

【００７１】次に、第５の画像合成装置の例を説明す
る。第５の画像合成装置は、下位レイヤ或いは上位レイ
ヤの予測符号化において、フレーム内符号化とフレーム
間予測符号化とを適応的に切替えるモード切替え方法に
関するものである。図６は第５の画像合成装置のブロッ
ク図である。

【００７２】図６において、平均値計算部６０１は、原
画像と領域情報とを入力とし、領域内部の画素値につい
て、画素値の平均を計算する。平均値は差分器６０３と
記憶部６０２とに入力される。差分器６０３は、記憶部
６０２に記憶された前回の平均値と平均値計算部６０１
から出力された今回の平均値との差を計算する。

【００７３】判定部６０４は、差分器６０３で計算され
た差分値の絶対値を、予め定められた閾値と比較し、モ
ード切替え情報を出力する。差分値の絶対値が閾値より
も大きい場合は、選択領域においてシーンチェンジがあ
ると判定し、常にフレーム内符号化を行うようにモード
切替え情報を発生する。

【００７４】このように、選択領域のシーンチェンジを
判定しながらモード切替えを行うことにより、例えば人
物が物影から現れたり、物体の表裏が反転したりする場
合にも、良好な符号化画像を得ることができる。

【００７５】この第５の画像合成装置は、下位レイヤの
符号化において、選択領域とそれ以外の領域とを分離し
て符号化する方式に応用することができる。その場合
は、領域情報を下位レイヤに入力するようにする。さら
に、第５の画像合成装置は、上位レイヤの選択領域のみ
の符号化に応用することもできる。

【００７６】次に、第６の画像合成装置の例を説明す
る。第６の画像合成装置は、下位レイヤの符号化におい
て、選択領域とそれ以外の領域とを分離して符号化する
場合のデータ量制御に関するものである。図７は第６の
画像合成装置のブロック図である。

【００７７】図７において、符号化部７０３は、選択領
域とそれ以外の領域とを分離して符号化する。領域判定
部７０１には、領域情報が入力され、符号化している領
域が選択領域内であるか選択領域外であるかを判定す
る。発生符号量算出部７０５では、この判定結果に基づ
き、各領域での発生符号量を算出する。

【００７８】目標符号量配分比算出部７０４では、各領
域に割り当てるフレーム単位の目標符号量の配分比を決
定する。配分比の決定方法については後述する。量子化
幅算出部７０２では、目標符号量に応じて量子化幅を決
定するが、この決定方法についは、従来法と同様であ
る。

【００７９】ここで、目標符号量配分比算出部７０４に
おける配分比決定方法について、説明する。まず、該当
フレームの目標符号量Biは次式を用いて計算される。Bi
=(使用可能符号量-前フレームまでの使用符号量)/残り
フレーム数この目標符号量Biをある比率で選択領域内と
選択領域外とに割り当てるのであるが、ここでは適当な
固定比R0と前フレーム複雑度比率Rpとを用いて、その比
率を決定する。

【００８０】前フレーム複雑度比率Rpは、次式で決定さ
れる。 Rp=(gen#bitF*avg#qF)/(gen#bitF*avg#qF+gen#bitB*avg
#qB) ここで、 gen#bitF：前フレーム選択領域内発生符号量 gen#bitB：前フレーム選択領域外発生符号量 avg#qF：前フレームの選択領域内平均量子化幅 avg#qB：前フレームの選択領域外平均量子化幅 である。

【００８１】選択領域を高画質にするには、量子化幅を
制御し、選択領域内の平均量子化幅が選択領域外の平均
量子化幅よりもある程度小さな状態を保ち、しかも動画
像シーケンス内での画像の変化にも追随することが望ま
しい。

【００８２】一般に、固定比R0による配分は、選択領域
内と選択領域外との平均量子化幅の関係をほぼ一定に保
つのに適し、前フレーム複雑度比率Rpによる配分は、動
画像シーケンス内での画像の変化に追随させるのに適す
る。

【００８３】そこで、目標符号量配分比Raを固定比R0と
前フレーム複雑度比率Rpとの平均とし、両者の長所を兼
ね備えた制御を行なう。すなわち、Ra=(R0+Rp)/2であ
る。

【００８４】例えば、選択領域における固定比R0と前フ
レーム複雑度比率Rpとが、動画像シーケンス全体におい
て、図１３における点線のようになったとする。このと
き、目標符号量配分比Raは、図１３における実線のよう
になり、固定比R0からあまり離れず、しかもある程度画
像の変化を反映することがわかる。

【００８５】このとき、選択領域外の固定比を(1-R0)、
前フレーム複雑度比率を(1-Rp)とすると、両者の平均で
ある目標符号量配分比(1-Ra)は、図１４における実線に
示すようになり、選択領域内と選択領域外との目標符号
量配分比を加えたものは1となる。

【００８６】このようにして、量子化幅を適切に制御す
ることができるが、フレームによっては発生符号量が目
標符号量Biを越える場合があるため、シーケンス全体の
ビットレートが所定のビットレートに収まらないことが
起こりうる。そのような場合には、次に述べるような方
法をとることができる。

【００８７】選択領域内の目標符号量配分比Raは、上述
したとおり、固定比R0と前フレーム複雑度比率Rpとの平
均とする。一方、選択領域外の目標符号量配分比は、選
択領域外の固定比(1-R0)と前フレーム複雑度比率(1-Rp)
との最小値Rmとする。

【００８８】このようにすると、選択領域外の目標符号
量配分比Rmの変化は、例えば図１５における実線に示す
ようになる。このとき、Ra+Rm≦1となることから、該当
フレームの目標符号量を小さくすることができる。すな
わち、背景領域の目標符号量を抑えることにより、動画
像シーケンス全体のビットレートを所定のビットレート
に収めることができる。

【００８９】

【発明の効果】本発明の画像符号化装置及び画像復号装
置によれば、領域情報のフレーム間差分に基づき、領域
形状の変化の有無を示す情報を付加することによって、
領域形状を効率良く可逆符号化／復号することができ
る。

【図面の簡単な説明】

【図１】第１の画像合成装置を説明するブロック図であ
る。

【図２】第２の画像合成装置を説明するブロック図であ
る。

【図３】本発明の実施例の符号化側を説明するブロック
図である。

【図４】本発明の実施例の復号側を説明するブロック図
である。

【図５】第４の画像合成装置を説明するブロック図であ
る。

【図６】第５の画像合成装置を説明するブロック図であ
る。

【図７】第６の画像合成装置を説明するブロック図であ
る。

【図８】従来の符号化装置及び復号装置を説明するブロ
ック図である。

【図９】従来の符号量制御部を説明するブロック図であ
る。

【図１０】第１の画像合成装置の効果を説明する図であ
る。

【図１１】本発明の実施例における領域情報を近似する
例を示す説明図である。

【図１２】第４の画像合成装置における重み情報の作成
方法例を示す説明図である。

【図１３】第６の画像合成装置における符号量制御方法
による選択領域の目標符号量比率を説明する図である。

【図１４】第６の画像合成装置における符号量制御方法
による選択領域外の目標符号量比率を説明する図であ
る。

【図１５】第６の画像合成装置の例における他の符号量
制御方法による選択領域外の目標符号量比率を説明する
図である。

【図１６】従来の動画像階層符号化の概念を説明する図
である。

【図１７】８方向量子化符号を説明する図である。

【図１８】従来の動画像階層符号化の問題点を説明する
図である。

【符号の説明】

１０１ 第１の領域抽出部 １０２ 第２の領域抽出部 １０３ コントローラ １０４ スイッチ １０５ 補間画像作成部 １０６ 加重平均部 ３０１ 領域情報近似部 ３０２ 領域近似情報符号化部 ３０３ 領域情報符号化部 ３０４ 選択部 ４０１ 選択部 ４０２ 領域近似情報復号部 ４０３ 領域情報復号部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 野村 敏男 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平８−116542（ＪＰ，Ａ) 角野、津田、ブン、栄藤，透明度情報 を領域表現に用いた動画像符号化，情報 処理学会研究報告 オーディオビジュア ル複合情報処理 95−ＡＶＭ−９，日 本，1995年 ７月14日，Ｖｏｌ．95，Ｎ ｏ．64，ｐ．１−８ 栄藤、ブン、角野，階層表現と多重テ ンプレートを用いた画像符号化，電子情 報通信学会技術研究報告，日本，1995年 ３月17日，Ｖｏｌ．94，Ｎｏ．549, ｐ．99−106 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 G06T 9/20 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 動画像シーケンス内の特定部品領域を階
   層的に符号化し下位レイヤ及び上位レイヤの符号化デー
   タを生成する動画像符号化手段と、前記特定部品領域の
   領域形状を表す領域情報を符号化する領域情報符号化手
   段とを備えた画像符号化装置であって、前記領域情報符
   号化手段は、領域情報を近似する領域情報近似手段と、
   近似された領域情報のフレーム間差分を求めるフレーム
   間差分データ算出手段と、前記差分データに基づいて、
   近似された領域形状の変化の有無を示す変化情報を符号
   化する変化情報符号化手段と、出力データを選択する選
   択手段を有し、近似しない領域情報の符号化データと近
   似された領域情報の符号化データを選択的に出力するこ
   とを特徴とする画像符号化装置。
2. 【請求項２】 動画像シーケンス内の特定部品領域を階
   層的に符号化した下位レイヤ及び上位レイヤの符号化デ
   ータを復号する動画像復号手段と、前記特定部品領域の
   領域形状を表す領域情報を符号化した符号化データを復
   号する領域情報復号手段とを備えた画像復号装置であっ
   て、前記領域情報復号手段は、近似しない領域情報の符
   号化データと近似された領域情報の符号化データを選択
   的に切り替えて入力する選択手段と、近似された領域形
   状のフレーム間の変化の有無を示す変化情報を復号する
   変化情報復号手段を有し、前記変化情報が近似された領
   域形状のフレーム間の変化が無いことを示す場合には、
   近似された領域情報として前フレームの領域情報を用い
   ることを特徴とする画像復号装置。