JP3247836B2 - 画像符号化装置及び画像復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する動画
像符号化装置及びこの動画像符号化装置で作成された符
号化データを復号する動画像復号装置に関するものであ
る。

【０００２】

【従来の技術】画像符号化において、異なる動画像シー
ケンスを重畳する方式が検討されている。

【０００３】例えば、文献「階層表現と多重テンプレー
トを用いた画像符号化」（信学技報ＩＥ９４−１５９，
ｐｐ９９−１０６ （１９９５））では、背景となる動
画像シーケンスと前景となる部品動画像の動画像シーケ
ンス（例えばクロマキー技術によって切り出された人物
画像や魚の映像など）を重畳して新たなシーケンスを作
成する手法が述べられている。

【０００４】また文献「画像内容に基づく時間階層符号
化」（”Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ
ｂａｓｅｄ ｏｎ ｉｍａｇｅ ｃｏｎｔｅｎｔ”，
ＩＳＯ／ＩＥＣ／ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｍ
ＰＥＧ９５／２１１（１９９５））では、フレームレー
トの低い動画像シーケンスにフレームレートの高い部品
動画像の動画像シーケンスを重畳して新たなシーケンス
を作成する手法が述べられている。

【０００５】この方式では図１０に示すように下位レイ
ヤでは低いフレームレートで予測符号化が行われ、上位
レイヤでは選択領域（斜線部）についてのみ高いフレー
ムレートで予測符号化が行われる。ただし、下位レイヤ
で符号化したフレームは上位レイヤでは符号化せず、下
位レイヤの復号画像をそのままコピーして用いる。ま
た、選択領域としては例えば人物部分など視聴者の注目
が集まる部分が選ばれているものとする。

【０００６】図８に従来手法のブロック図を示す。まず
従来手法の符号化側では、入力動画像は第１の駒落し部
８０１及び第２の駒落し部８０２によってフレーム間引
きされ、入力画像のフレームレート以下とされた後それ
ぞれ上位レイヤ符号化部８０３及び下位レイヤ符号化部
８０４に入力される。ここで上位レイヤのフレームレー
トは下位レイヤのフレームレート以上であるとする。

【０００７】下位レイヤ符号化部８０４では入力された
動画像全体が符号化される。符号化方式としては例えば
ＭＰＥＧやＨ．２６１などの動画像符号化国際標準化方
式が用いられる。下位レイヤ符号化部８０４ではまた、
下位レイヤの復号画像が作成され、予測符号化に利用さ
れると同時に重畳部８０５に入力される。

【０００８】図８の上位レイヤ符号化部８０３では入力
された動画像の選択領域のみが符号化される。ここでも
ＭＰＥＧやＨ．２６１などの動画像符号化国際標準化方
式が用いられるが、領域形状情報に基づいて選択領域の
みを符号化する。ただし下位レイヤで符号化されたフレ
ームは上位レイヤでは符号化されない。領域形状情報は
人物部などの選択領域の形状を示す情報であり、例えば
選択領域の位置で値１、それ以外の位置で値０をとる２
値画像である。上位レイヤ符号化部８０３ではまた、動
画像の選択領域のみが復号され、重畳部８０５に入力さ
れる。

【０００９】領域形状符号化部８０６では領域形状が８
方向量子化符号を利用して符号化される。８方向量子化
符号は図１１のように、次の点への方向を数値で示した
もので、デジタル図形を表現する際に一般的に使用され
るものである。

【００１０】重畳部８０５は下位レイヤフレームが符号
化されているフレーム位置では下位レイヤの復号画像を
出力する。下位レイヤフレームが符号化されていないフ
レーム位置では、対象フレームの前後２枚の符号化され
た下位レイヤの復号画像と対象フレームと同時刻の１枚
の上位レイヤ復号画像を用いて画像を作成し出力する。
ここで作成された画像は上位レイヤ符号化部８０３に入
力され、予測符号化に利用される。重畳部８０５におけ
る画像作成方法は以下の通りである。

【００１１】まず、２枚の下位レイヤの補間画像が作成
される。時間ｔにおける下位レイヤの復号画像をＢ
（ｘ，ｙ，ｔ）（ただし、ｘ，ｙは空間内の画素位置を
表す座標である）とし、２枚の下位レイヤの時間をそれ
ぞれｔ１，ｔ２、上位レイヤの時間をｔ３（ただし、ｔ
１＜ｔ３＜ｔ２である）とすると時間ｔ３における補間
画像Ｉ（ｘ，ｙ，ｔ３）は I(x,y,t3)＝[(t2-t3)B(x,y,t1)＋(t3-t1)B(x,y,t2)]／(t2-t1) (1) によって計算される。

【００１２】次に上で求めた補間画像Ｉに上位レイヤの
復号画像Ｅを重畳する。このために、領域形状情報Ｍ
（ｘ，ｙ，ｔ）から重畳のための重み情報Ｗ（ｘ，ｙ，
ｔ）を作成し、次式によって重畳画像Ｓを得る。

【００１３】 S(x,y,t)＝[1-W(x, y, t)]I(x, y, t)＋E(x, y, t)W(x, y, t) (2) 領域形状情報Ｍ（ｘ，ｙ，ｔ）は選択領域内で１、選択
領域外で０の値をとる２値画像であり、この画像に低域
通過フィルタを複数回施す事によって重み情報Ｗ（ｘ，
ｙ，ｔ）を得る事ができる。

【００１４】すなわち重み情報Ｗ（ｘ，ｙ，ｔ）は選択
領域内で１、選択領域外で０、選択領域の境界部で０〜
１の値をとる。以上が重畳部８０５における画像作成方
法の説明である。

【００１５】下位レイヤ符号化部８０４、上位レイヤ符
号化部８０３、領域形状符号化部８０６で符号化された
符号化データは、図示しない符号化データ統合部で統合
され、伝送あるいは蓄積される。

【００１６】次に従来手法の復号側では、符号化データ
が図示しない符号化データ分解部にて下位レイヤの符号
化データ、上位レイヤの符号化データ、領域形状の符号
化データに分解される。これらの符号化データは図８に
示すように下位レイヤ復号部８０８、上位レイヤ復号部
８０７及び領域形状復号部８０９によって復号される。
復号側の重畳部８１０は符号化側の重畳部８０５と同
一の装置からなり、下位レイヤ復号画像と上位レイヤ復
号画像を用い、符号化側の説明で述べたものと同一の方
法によって画像が重畳される。ここで重畳された動画像
はディスプレイに表示されると共に上位レイヤ復号部８
０７に入力され、上位レイヤの予測に利用される。

【００１７】ここでは下位レイヤと上位レイヤの両方を
復号する復号装置について述べたが、下位レイヤの復号
部のみを備えた復号装置ならば、上位レイヤ復号部８０
７、重畳部８１０が不要であり、少ないハードウエア規
模で符号化データの一部を再生する事ができる。

【００１８】

【発明が解決しようとする課題】従来の技術においては
（１）式のように２枚の下位レイヤ復号画像と１枚の上
位レイヤ復号画像から出力画像を得る際に２枚の下位レ
イヤの補間を行っているため、選択領域の位置が時間的
に変化する場合に選択領域周辺に大きな歪みが発生し、
画質を大きく劣化させるという問題がある。

【００１９】図１２はこの問題を説明するものである。
図１２（ａ）で画像Ａ、Ｃは下位レイヤの２枚の復号画
像、画像Ｂは上位レイヤの復号画像であり、表示時間順
はＡ、Ｂ、Ｃの順である。ただし、選択領域を斜線で示
している。また、上位レイヤでは選択領域のみが符号化
されるため選択領域外を破線で示している。選択領域が
動いているため、画像Ａと画像Ｃから求めた補間画像は
図１２（ｂ）の網点部のように２つの選択領域が重複し
たものになる。

【００２０】さらに画像Ｂを重み情報を用いて重畳する
と、出力画像は図１２（ｃ）に示すように３つの選択領
域が重複した画像となる。特に上位レイヤの選択領域周
辺（外側）に下位レイヤの選択領域が残像のようにあら
われ、画質が大きく劣化する。動画像全体としては下位
レイヤのみが表示されている時には上記の歪みがなく、
上位レイヤと下位レイヤの重畳画像が表示されている時
には上記の歪みが現われるため、フリッカ的歪みが発生
し非常に大きな画質劣化となる。

【００２１】本発明の目的はこれらの問題を解決し、符
号化後のデータ量を削減する一方復号画像の品質を劣化
させないような符号化装置、及び復号装置を提供するこ
とにある。

【００２２】

【課題を解決するための手段】本発明は、上記目的を達
成するために、 （１）動画像シーケンスの画素データを第１のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第１のフ
レームレートより高い第２のフレームレートで符号化す
るとともに、前記動画像シーケンスの特定領域の領域形
状を符号化した上位レイヤ符号化データとを入力とし、
下位レイヤ復号画像を出力するか、あるいは下位レイヤ
復号画像と上位レイヤ復号画像との重畳画像を出力する
動画像復号装置であって、前記下位レイヤ符号化データ
を前記第１のフレームレートで復号する下位レイヤ復号
部と、前記上位レイヤ符号化データを、画素データの符
号化データと領域形状の符号化データとに分流する分流
部と、前記分流部で分流された画素データの符号化デー
タを前記第２のフレームレートで復号する画素データ復
号部と、前記分流部で分流された領域形状の符号化デー
タを復号する領域形状復号部とを備え、前記領域形状の
符号化データは、上位レイヤフレームと時間的に同じフ
レーム位置に対応する下位レイヤフレームが存在しない
場合、そのフレーム位置の時間的に前後に存在する第１
及び第２の下位レイヤフレームにおける特定領域を示す
第１領域形状及び第２領域形状の符号化データを含んで
おり、前記第１領域形状及び前記第２領域形状と、前記
第１及び第２の下位レイヤフレームを用い、前記第１の
領域形状のみの領域に対しては前記第２の下位レイヤフ
レームの画素値を使用し、前記第２の領域形状のみの領
域に対しては前記第１の下位レイヤフレームの画素値を
使用して、前記存在しない下位レイヤフレームの合成を
行うことを特徴とする。 （２）動画像シーケンスの画素データを第１のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第１のフ
レームレートより高い第２のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第１のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第２のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第１及び第２の下位レイヤ
フレームにおける特定領域を示す第１領域形状及び第２
領域形状を、前記下位レイヤ復号部で得られた下位レイ
ヤ復号画像を領域分割することによって抽出し、前記第
１領域形状及び第２領域形状と、前記第１及び第２の下
位レイヤフレームを用い、前記第１の領域形状のみの領
域に対しては前記第２の下位レイヤフレームの画素値を
使用し、前記第２の領域形状のみの領域に対しては前記
第１の下位レイヤフレームの画素値を使用して、前記存
在しない下位レイヤフレームの合成を行うことを特徴と
する。 （３）動画像シーケンスの画素データを第１のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第１のフ
レームレートより高い第２のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第１のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第２のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第１及び第２の下位レイヤ
フレームにおける特定領域を示す第１領域形状及び第２
領域形状を、前記領域形状復号部で得られた領域形状か
らアフィン変換を用いて推定することによって抽出し、
前記第１領域形状及び第２領域形状と、前記第１及び第
２の下位レイヤフレームを用い、前記第１の領域形状の
みの領域に対しては前記第２の下位レイヤフレームの画
素値を使用し、前記第２の領域形状のみの領域に対して
は前記第１の下位レイヤフレームの画素値を使用して、
前記存在しない下位レイヤフレームの合成を行うことを
特徴とする。 （４）動画像シーケンスの画素データを第１のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第１のフ
レームレートより高い第２のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第１のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第２のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第１及び第２の下位レイヤ
フレームにおける特定領域を示す第１領域形状及び第２
領域形状を、前記領域形状復号部で得られた領域形状か
らブロックマッチングによる予測を用いて推定すること
によって抽出し、前記第１領域形状及び第２領域形状
と、前記第１及び第２の下位レイヤフレームを用い、前
記第１の領域形状のみの領域に対しては前記第２の下位
レイヤフレームの画素値を使用し、前記第２の領域形状
のみの領域に対しては前記第１の下位レイヤフレームの
画素値を使用して、前記存在しない下位レイヤフレーム
の合成を行うことを特徴とする。 （５）前記（１）乃至（４）の動画像復号装置におい
て、下位レイヤフレームの合成を行うか否かを示すフラ
グの符号化データを復号するフラグ復号部を備え、前記
フラグ復号部で復号されたフラグに基づいて、前記第１
領域形状及び前記第２領域形状と、前記第１及び第２の
下位レイヤフレームを用いて、前記存在しない下位レイ
ヤフレームの合成を行うか否かを判断し、該下位レイヤ
フレームの合成を行うことを特徴とする。 （６）前記（１）の動画像復号装置において、前記上位
レイヤ復号部は、さらに、上位レイヤフレームの時間的
に前に存在する第１の下位レイヤフレームにおける第１
領域形状を示す領域情報が符号化されているか否かを示
す第１のフラグの符号化データを復号する第１のフラグ
復号部と、上位レイヤフレームの時間的に後に存在する
第２の下位レイヤフレームにおける第２領域形状を示す
領域情報が符号化されているか否かを示す第２のフラグ
の符号化データを復号する第２のフラグ復号部とを備
え、前記第１及び第２のフラグ復号部で復号された第１
のフラグ及び第２のフラグに基づいて、第１の領域形状
と第２の領域形状が符号化されているか否かを判断し、
第１及び第２の領域形状がともに符号化されていない場
合には、前回の下位レイヤ合成時に使用した領域形状を
それぞれ今回の下位レイヤ合成時に用いる領域形状と
し、第２の領域形状だけが符号化されている場合には、
前回の下位レイヤ合成時に使用した第２の領域形状を今
回の下位レイヤ合成時に用いる第１の領域形状とし、前
記第１領域形状及び前記第２領域形状と、前記第１及び
第２の下位レイヤフレームを用いて、前記存在しない下
位レイヤフレームの合成を行うことを特徴とする。 （７）動画像シーケンスの画素データを第１のフレーム
レートで符号化する下位レイヤ符号化部と、前記動画像
シーケンスの特定領域の画素データを前記第１のフレー
ムレートより高い第２のフレームレートで符号化すると
ともに、前記動画像シーケンスの特定領域の領域形状を
符号化する上位レイヤ符号化部とを備えた動画像符号化
装置であって、前記上位レイヤ符号化部は、前記動画像
シーケンスの特定領域の画素データを前記第１のフレー
ムレートより高い第２のフレームレートで符号化する画
素データ符号化部と、前記動画像シーケンスの特定領域
の領域形状を符号化する領域形状符号化部と、前記画素
データ符号化部で符号化された画素データの符号化デー
タと、前記領域形状符号化部で符号化された領域形状の
符号化データとを多重化する多重化部とを有し、前記領
域形状符号化部は、上位レイヤフレームと時間的に同じ
フレーム位置に対応する下位レイヤフレームが存在しな
い場合、そのフレーム位置の時間的に前後に存在する第
１及び第２の下位レイヤフレームにおける特定領域を示
す第１領域形状及び第２領域形状を符号化することを特
徴とする。 （８）前記（７）の動画像符号化装置において、動画像
復号装置で下位レイヤフレームの合成を行うか否かを示
すフラグを符号化するフラグ符号化部を備えたことを特
徴とする。 （９）前記（７）の動画像符号化装置において、前記上
位レイヤ符号化部は、さらに、上位レイヤフレームの時
間的に前に存在する第１の下位レイヤフレームにおける
第１領域形状を示す領域情報を符号化したか否かを示す
第１のフラグを符号化する第１のフラグ符号化部と、上
位レイヤフレームの時間的に後に存在する第２の下位レ
イヤフレームにおける第２領域形状を示す領域情報を符
号化したか否かを示す第２のフラグを符号化する第２の
フラグ符号化部とを有することを特徴とする。

【００２３】

【発明の実施の形態】図１、図１４及び図１５は第１の
実施の形態を示すブロック図である。図１４で上位レイ
ヤ符号化部１４０３、重畳部１４０５、上位レイヤ復号
部１４０６、重畳部１４０８以外の各部は図８と同様の
働きをする。

【００２４】図１のスイッチ１０１、画素データ符号化
部１０２、領域形状符号化部１０３、画素データ復号部
１０４、領域情報復号部１０５及び多重化部１０６は、
図１４の上位レイヤ符号化部１４０３を構成する。ま
た、図１の第１の遅延部１０７、第２の遅延部１０８、
第１の領域抽出部１０９、第２の領域抽出部１１０、コ
ントローラ１１１、スイッチ１１２、補間画像作成部１
１３、加重平均部１１４、第３の遅延部１１５及び第４
の遅延部１１６は、図１４の重畳部１４０５あるいは重
畳部１４０８を構成する。なお、重畳部１４０８は重畳
部１４０５と同一の働きをする。

【００２５】以下、図１に従って第１の実施の形態を詳
細に説明する。

【００２６】スイッチ１０１は図示しないコントローラ
によって上位レイヤの画素値を符号化するモードと符号
化しないモードを切替える。すなわち、上位レイヤと同
じフレーム位置に対応する下位レイヤフレームが符号化
されている場合にはスイッチをオフに制御し、上位レイ
ヤの画素値を符号化しない。一方、上位レイヤと同じフ
レーム位置に対応する下位レイヤフレームが符号化され
ていない場合にはスイッチをオンに制御し、上位レイヤ
の画素値を符号化する。

【００２７】画素データ符号化部１０２はスイッチ１０
１がオンの場合に、上位レイヤの画素データを符号化す
る。符号化方式としては、ＭＰＥＧやＨ．２６１などの
国際標準化方式が用いられる。ただし、符号化の際には
領域形状が領域形状復号部１０５から図示しない信号線
を介して入力され、領域内の画素データのみが符号化さ
れる。

【００２８】領域形状符号化部１０３は、［従来の技
術］で述べた図８の領域形状符号化部８０６と同様の働
きによって領域形状を符号化する。

【００２９】画素データ復号部１０４は、画素データ符
号化部１０２で符号化された画素データを復号する。こ
こでも領域形状が領域形状復号部１０５から図示しない
信号線を介して入力され、復号に利用される。また、復
号された画素データは第３の遅延部１１５に入力される
と共に、図示しない信号線を介して画素データ符号化部
にフィードバックされ、予測に利用される。

【００３０】領域形状復号部１０５は、領域形状符号化
部１０３にて符号化された領域形状データを復号し、復
号データを第１の遅延部１０７に出力する。

【００３１】以上のように、本実施の形態の上位レイヤ
符号化部ではスイッチ１０１によって上位レイヤを符号
化する場合としない場合が制御される。次に本実施の形
態の重畳部を説明する。

【００３２】第１の遅延部１０７は領域形状データをａ
フレームだけ遅延させる。遅延された領域形状データは
加重平均部１１４に入力される。第２の遅延部１０８は
領域形状データをさらにｂフレームだけ遅延させる。遅
延された領域形状データは第１の領域抽出部１０９と第
２の領域抽出部１１０に入力される。これらの回路では
遅延をうけていない領域形状データも同時に入力されて
いる。ここで、信号線上の記号ｔ＋ａ，ｔ，ｔ−ｂは各
フレームの時刻を表している。また、ｔ，ａ，ｂは整数
である。

【００３３】第１の領域抽出部１０９は、第１の領域情
報及び第２の領域情報から第２の領域でありかつ第１の
領域でない領域を抽出する。図９（ａ）の場合、網点部
が抽出される。

【００３４】第１の領域抽出部１１０は、第１の領域情
報及び第２の領域情報から第１の領域でありかつ第２の
領域でない領域を抽出する。図９（ａ）の場合、斜線部
が抽出される。

【００３５】コントローラ１１１は、第１の領域抽出部
１０９及び第２の領域抽出部１１０の出力によりスイッ
チ１１２を制御する部分である。すなわち、注目画素位
置が第１の領域のみの場合にはスイッチ１１２をフレー
ム時刻（ｔ＋ａ）の復号画像側に接続し、注目画素位置
が第２の領域のみの場合にはスイッチ１１２をフレーム
時刻（ｔ−ｂ）の復号側に接続し、それ以外の場合には
スイッチ１１２を補間画像作成部１１３からの出力に接
続する。

【００３６】第３の遅延部１１５は上位レイヤの復号画
像データをａフレームだけ遅延させ、時刻ｔの復号画像
データを加重平均部１１４に入力する。第４の遅延部１
１６は下位レイヤの復号画像データを（ａ＋ｂ）フレー
ムだけ遅延させ、時刻（ｔ−ｂ）の復号画像を補間画像
作成部１１３に入力する。

【００３７】補間画像作成部１１３は、下位レイヤのフ
レーム時刻（ｔ−ｂ）の復号画像と下位レイヤの時刻
（ｔ＋ａ）の復号画像との補間画像を［従来の技術］で
述べた式（１）に従って計算する。ただし式（１）でＢ
（ｘ，ｙ，ｔ１）は第１の復号画像、Ｂ（ｘ，ｙ，ｔ
２）は第２の復号画像、Ｉ（ｘ，ｙ，ｔ３）は補間画像
であり、ｔ１，ｔ２，ｔ３はそれぞれ第１の復号画像、
第２の復号画像及び補間画像の時間である。従って図１
の記号を用いれば、ｔ１＝ｔ−ｂ，ｔ２＝ｔ＋ａ，ｔ３
＝ｔとなる。

【００３８】以上のようにスイッチ１１２の切替を用い
て下位レイヤ合成を行なうので、例えば図９（ａ）の場
合、斜線部では第２の復号画像（フレーム時刻ｔ＋ａ）
が使用されるため選択領域外部の背景画素があらわれ、
網点部では第１の復号画像（フレーム時刻ｔ−ｂ）が使
用されるため選択領域外部の背景画素があらわれ、それ
以外の部分では第１の復号画像と第２の復号画像の補間
画像があらわれる。このようにして合成された下位レイ
ヤの上に図１の加重平均部１１４によって上位レイヤの
復号画像を重ねるため、重畳された画像は図９（ｂ）の
ように選択領域（斜線部分）周辺に残像がなく、歪みの
少ない画像が得られる。図１の加重平均部１１４は、上
記の補間画像と上位レイヤの復号画像を加重平均によっ
て重畳する。重畳方法については［従来の技術］で述べ
たのでここでは説明を省略する。

【００３９】図１５は、図１４の復号装置中の上位レイ
ヤ復号部１４０６を構成するブロック図である。分流部
１５０１は上位レイヤ符号化データを画素データの符号
化データと領域形状の符号化データに分流する部分であ
る。スイッチ１５０４は下位レイヤが符号化されている
フレーム位置でオフとなり、上位レイヤだけが符号化さ
れているフレーム位置でオンとなる。画素データ復号部
１５０２は上位レイヤの画素データを復号し、復号画素
を重畳部１４０８に出力し、領域形状復号部１５０３は
領域形状符号化データを復号し、復号画素を重畳部１４
０８に出力する部分である。重畳部１４０８は重畳部１
４０５と同様の働きにより、本発明の手法によって下位
レイヤに上位レイヤを重畳する。

【００４０】次に本発明の第２の実施の形態について述
べる。この実施の形態は上位レイヤ符号化装置で領域形
状を符号化しないモードを設け、符号化ビット数を削減
するものである。領域形状が時間的にほとんどあるいは
全く変化しない場合に、本実施の形態の手法を用いれば
ビット数を大幅に削減できる。

【００４１】本実施の形態は図２、図１４及び図１６に
よってあらわされる。図１４は第１の実施の形態の説明
に用いた図であるが、第２の実施の形態の説明にも用い
る。ただし、図１４の上位レイヤ符号化部１４０３、上
位レイヤ復号部１４０６、重畳部１４０５及び重畳部１
４０８の働きは第１の実施の形態とは異なる。これら働
きの異なる部分について以下に説明する。

【００４２】図２は、第２の実施の形態における上位レ
イヤ符号化部と重畳部のブロック図である。スイッチ２
０１、画素データ符号化部２０３、領域形状符号化部２
０４、画素データ復号部２０５、領域形状復号部２０６
及び多重化部２０７については図１にてすでに述べたも
のと同様の働きをするので説明を省略する。

【００４３】スイッチ２０２とスイッチ２０８は図示し
ない制御部にて同時にオン又はオフするよう制御され
る。上位レイヤと同じフレーム位置に対応する下位レイ
ヤフレームが符号化されている場合にはスイッチをオン
に制御し、上位レイヤの領域形状を符号化する。一方、
上位レイヤと同じフレーム位置に対応する下位レイヤフ
レームが符号化されていない場合にはスイッチをオフに
制御し、上位レイヤの領域形状を符号化しない。

【００４４】第１の領域形状抽出部２０９では、復号装
置で得られるデータをもとに第１の領域形状を抽出す
る。同様に、第２の領域形状抽出部２１０では、復号装
置で得られるデータをもとに第２の領域形状を抽出す
る。復号装置で得られるデータとしては、下位レイヤの
復号画像、領域形状符号化モードがオン（スイッチ２０
２、スイッチ２０８がオン）の時の上位レイヤの領域形
状などがある。図２では明示していないが、これらのデ
ータが各々の領域形状抽出部に入力され、領域形状の抽
出に利用される。

【００４５】第１の領域抽出部２１１、第２の領域抽出
部２１２、コントローラ２１３、スイッチ２１４、補間
画像作成部２１５及び加重平均部２１６は図１にてすで
に述べたものと同様の働きをするので説明を省略する。
また、遅延部２１７は図１の第４の遅延部１１６と同様
の働きをする。

【００４６】図１６は第２の実施の形態における上位レ
イヤ復号部のブロック図である。この図において、１６
０１は分流部、１６０２は画素データ復号部、１６０３
は領域形状復号部、１６０４はスイッチ、１６０５はス
イッチである。

【００４７】この図と図１５との違いは、図１６ではス
イッチ１６０５を設けている点である。スイッチ１６０
５は、上位レイヤ復号時に同じフレーム位置に対応する
下位レイヤフレームの符号化データが存在しない時オフ
となる。また、上位レイヤで画素データがを符号化する
フレーム位置でオンとなる。

【００４８】以上のように第２の実施の形態では、上位
レイヤ符号化部にて上位レイヤと同じフレーム位置に対
応する下位レイヤフレームが符号化されていない場合に
はスイッチ２０２及びスイッチ２０８をオフに制御し、
上位レイヤの領域形状を符号化しないため、符号量を削
減することが可能となる。

【００４９】上述の第１の実施の形態及び第２の実施の
形態ではスイッチ１０１あるいはスイッチ２０１によっ
て画素データの符号化のオン／オフを切替えている。こ
の切替えは図１や図２に示していない制御部にて上位レ
イヤと同じフレーム位置に対応する下位レイヤフレーム
が符号化されているかどうかを判断して行なわれる。こ
の判断は符号化装置と復号装置で同様に行なうことがで
きる。しかしながら、少なくとも復号装置ではこのよう
な判断を行なう制御部を用いずに上記スイッチの切替え
を行なうことも可能である。そのためには図３に示すよ
うな第１のフラグ発生部３０１と第１のフラグ符号化部
３０２を符号化装置に設け、フラグによって上位レイヤ
符号化部３０３中のスイッチを切替えれば良い。ただ
し、図３は符号化装置と復号装置の一部を示したブロッ
ク図である。

【００５０】フラグ発生部３０１は上位レイヤと同じフ
レーム位置に対応する下位レイヤフレームが符号化され
ているかどうかを判断してフラグを発生する。第１のフ
ラグ符号化部３０２は第１のフラグを符号化し、符号化
データは図示しない多重化部にて符号化データに多重化
して伝送あるいは蓄積される。フラグの符号化方法とし
ては固定長符号化や、可変長符号化などが用いられる。

【００５１】復号装置における第１のフラグ復号部３０
４は符号化データから第１のフラグを復号し上位レイヤ
復号部３０５に出力する。上位レイヤ復号部に含まれる
スイッチ１５０４あるいはスイッチ１６０４の切替えに
際しては、上述した切替え判断を行なうことなく、復号
された第１のフラグにしたがって切替が行なわれる。

【００５２】次に、第２の実施の形態における領域形状
抽出部について説明する。ここでは復号装置で得られる
データをもとに第２の領域形状を抽出するが、復号装置
で得られるデータとして、下位レイヤの復号データや上
位レイヤの復号領域形状などを用いればよい。

【００５３】図４は、下位レイヤの復号データを用いて
領域形状を抽出する場合の重畳部のブロック図である。
第１の領域形状抽出部４０２には遅延部４０１にて遅延
された下位レイヤの第１の復号画像が入力され、第２の
領域形状抽出部４０３には下位レイヤの復号画像が遅延
なしに入力される。各領域形状抽出部は選択領域を抜き
出すように入力された復号画像を領域分割し、領域形状
を抽出する。領域分割の手法としては、微分演算を用い
たエッジ検出手法やモルフォロジカルセグメンテーショ
ンなどが用いられる。図４の他の部分は図２と同様の働
きをするので、ここでは説明を省略する。

【００５４】図５は、復号装置で得られるデータとして
上位レイヤの復号領域形状を用いる場合のブロック図で
ある。この図において、５０１は遅延部、５０２は第１
の領域形状抽出部、５０３は第２の領域形状抽出部、５
０４は第１の領域抽出部、５０５は第２の領域抽出部、
５０６はコントローラ、５０７はスイッチ、５０８は補
間画像作成部、５０９は加重平均部である。

【００５５】図５で、上位レイヤの領域形状が符号化さ
れた場合に、その復号データが第１の領域形状抽出部５
０２と第２の領域形状抽出部５０３に入力される。各領
域形状抽出部では復号された領域形状を記憶しておき、
下位レイヤフレームに対応する領域形状を抽出する。例
えば図１３に示すように、下位レイヤフレームの前後の
上位レイヤの復号領域形状１及び２から並行移動、回
転、拡大縮小などを表現するアフィン変換によって下位
レイヤフレーム位置での領域形状を抽出する方法が考え
られる。

【００５６】そのために、まず領域形状１から領域形状
２へのアフィン変換を求める。すなわち、領域形状１を
変換することによって領域形状２を近似するようなアフ
ィン変換パラメータを求める。次に領域形状１から下位
レイヤフレーム上へのアフィン変換を、変換係数を線形
内挿することによって求める。このアフィン変換を用い
て下位レイヤフレーム上での領域形状を求めることがで
きる。アフィン変換のかわりに、領域形状１から領域形
状２への予測をブロックマッチングにて行ない、その結
果を線形内挿することで下位レイヤフレーム上での領域
形状を求めてもよい。あるいは領域形状１又は２をその
まま下位レイヤフレーム上での領域形状として用いるこ
とも可能である。

【００５７】第２の実施の形態では下位レイヤが符号化
されないフレームで図２のスイッチ２０２をオフ、上位
レイヤの画素データを符号化するフレーム位置でスイッ
チ２０２をオンとしたが、これとは異なるコントロール
を行なってもよい。例えば領域形状の時間的変化を調
べ、ほとんど変化しない場合にはスイッチ２０２をオ
フ、それ以外ではオンとし、オフの場合の復号領域形状
データとしては直前に符号化・復号された領域形状デー
タのコピーを使用するという方法を用いてもよい。

【００５８】次に第３の実施の形態について説明する。
本実施の形態は、上位レイヤ復号時に上位レイヤのフレ
ーム位置に対応する下位レイヤの符号化データが存在し
ない場合に、第１及び第２の実施の形態で述べた下位レ
イヤフレームの合成を行なわないモードを設けることを
目的としている。例えば、領域形状が時間的にあまり変
化していない場合は［発明が解決しようとする課題］で
述べた問題点が無視できるため、下位レイヤフレームの
合成を行なう必要がない。領域形状が大きく変化する場
合でも、符号化装置及び復号装置にて処理量を増加させ
ないために下位レイヤフレームの合成を行なわないモー
ドを選択可能とする。このような目的のために、図６に
示すように符号化装置に第２のフラグ発生部６０１と第
２のフラグ符号化部６０２を設け、復号装置に第２のフ
ラグ復号部６０４を設ける。ただし、図６は符号化装置
と復号装置の一部を示したブロック図である。

【００５９】図６の第２のフラグ発生部６０１は下位レ
イヤフレームの合成を行なうかどうかを示すフラグを発
生する。重畳部６０３では第２のフラグに従って下位レ
イヤフレームの合成を行なう場合と行なわない場合を切
替える。第２のフラグ符号化部６０２は第２のフラグを
符号化し、符号化データは図示しない多重化部にて符号
化データに多重化して伝送あるいは蓄積される。フラグ
の符号化方法としては固定長符号化や、可変長符号化な
どが用いられる。

【００６０】復号装置における第２のフラグ復号部６０
４は符号化データから第２のフラグを復号し重畳部６０
５に出力する。重畳部６０５では復号された第２のフラ
グにしたがって下位レイヤを合成するか否かの切替が行
なわれる。

【００６１】第３の実施の形態において下位レイヤの合
成を行なわない場合には、下位レイヤにて符号化され、
復号された前後の下位レイヤフレームのうちいずれかを
合成された下位レイヤフレームのかわりに用いる。この
場合の回路構成を図７に示す。この図において、７０１
はスイッチ、７０２はスイッチ、７０３は画素データ符
号化部、７０４は領域形状符号化部、７０５は画素デー
タ復号部、７０６は領域形状復号部、７０７は多重化
部、７０８はスイッチ、７０９は下位レイヤ合成部、７
１０はスイッチ、７１１は加重平均部である。

【００６２】次に、図７の回路の動作について説明す
る。まず、下位レイヤの復号画像と、下位レイヤ合成部
７０９で合成された下位レイヤフレームがスイッチ７１
０にて切替えられ、加重平均部７１１に入力される。図
７の下位レイヤ合成部７０９では、第１、第２の実施の
形態で述べた方法に従って下位レイヤフレームが合成さ
れる。スイッチ７１０は図６で説明した第２のフラグに
従い、下位レイヤ合成がオンの時は下側に、オフの時は
上側に切替えられる。

【００６３】第３の実施の形態において下位レイヤの合
成に用いる領域形状の符号化方法としては、以下に述べ
るようなものを用いても良い。すなわち、下位レイヤ合
成を行なう上位レイヤのフレーム位置で、その前後のフ
レーム位置の下位レイヤにおける領域形状を、現在のフ
レーム位置で符号化する。この方法を用いた上位レイヤ
符号化部を図１７に、上位レイヤ復号部を図１８に示
す。

【００６４】図１７において、１７０１は画素データ符
号化部、１７０２は画素データ復号部、１７０３は第１
の遅延部、１７０４第２の遅延部、１７０５はスイッ
チ、１７０６はスイッチ、１７０７は領域形状符号化
部、１７０８は領域形状復号部、１７０９は第３のフラ
グ発生部、１７１０は第４のフラグ発生部、１７１１は
第３のフラグ符号化部、１７１２は第４のフラグ符号化
部、１７１３はコントローラ、１７１４は多重化部であ
る。

【００６５】図１７で画素データ符号化部１７０１及び
画素データ復号部１７０２は、図１の説明で述べたもの
と同様の働きをするのでこれらについての説明を省略す
る。図１７で領域形状は第１の遅延部１７０３でａフレ
ーム遅延され、さらに第２の遅延部１７０４でｂフレー
ム遅延される。

【００６６】第３のフラグ発生部１７０９、第４のフラ
グ発生部１７１０はそれぞれ第３のフラグ、第４のフラ
グを発生させる。第３のフラグはフレーム時刻ｔ＋ａに
おける領域形状（以後、領域形状２とする）を符号化す
るか否かを表し、第４のフラグはフレーム時刻ｔ−ｂに
おける領域形状（以後、領域形状１とする）を符号化す
るか否かを表す。コントローラ１７１３は、第３のフラ
グ及び第４のフラグの入力によってスイッチ１７０５及
びスイッチ１７０６を制御する。

【００６７】すなわち、第３のフラグが領域形状を符号
化することを表す場合にはスイッチ１７０５をオンと
し、そうでない場合にはスイッチ１７０５をオフとす
る。また、第４のフラグが領域形状を符号化することを
表す場合にはスイッチ１７０６をオンとし、そうでない
場合にはスイッチ１７０６をオフとする。第３のフラグ
符号化部及び第４のフラグ符号化部はそれぞれ第３のフ
ラグ及び第４のフラグの符号化を行なう。フラグの符号
化方法としては固定長符号化や、可変長符号化などが用
いられる。

【００６８】領域形状符号化部１７０７は、領域形状が
入力されたフレーム時刻にその領域形状を符号化し、符
号化データを出力する。領域形状復号部１７０８は領域
形状の符号化データを復号し、復号された領域形状を重
畳部に送る。ここで重畳部としては図１に示したような
装置を用いるが、図１の第１の遅延部１０７及び第２の
遅延部１０８は使用しない。領域形状１の復号データは
重畳部の第１の領域抽出部１０９及び第２の領域抽出部
１１０に入力され、同様に領域形状２の復号データも第
１の領域抽出部１０９及び第２の領域抽出部１１０に入
力される。これに対し、フレーム時刻ｔに対応する領域
形状の復号データは加重平均部１１４に入力される。

【００６９】スイッチ１７０５とスイッチ１７０６のオ
ン・オフの組合せは次の３通りに制御される。すなわち
両スイッチが共にオン、両スイッチが共にオフ、スイッ
チ１７０５がオンかつスイッチ１７０６がオフの３通り
である。下位レイヤの合成を初めておこなう場合には両
スイッチが共にオンに制御され、前後のフレーム位置の
領域形状、つまり領域形状１及び領域形状２が符号化・
復号され、復号された領域形状が第１の領域抽出部１０
９及び第２の領域抽出部１１０に入力される。領域形状
１と領域形状２として前回の下位レイヤ合成時と同じ領
域形状を用いる場合には両スイッチが共にオフに制御さ
れる。この場合は第１の領域抽出部１０９及び第２の領
域抽出部１１０に、図示しないメモリより前回の下位レ
イヤ合成時に使用した領域形状１と領域形状２が入力さ
れる。

【００７０】また、前回の下位レイヤ合成時に使用した
領域形状２を、今回の下位レイヤ合成時に領域形状１と
して用い、今回合成時の領域形状２としては新たな領域
形状を用いる場合にはスイッチ１７０５をオンかつスイ
ッチ１７０６をオフと制御する。この場合は第１の領域
抽出部１０９及び第２の領域抽出部１１０に、図示しな
いメモリより前回の下位レイヤ合成時に使用した領域形
状２を今回合成時の領域形状１として入力する。また、
今回新たに符号化・復号された領域形状２を第１の領域
抽出部１０９及び第２の領域抽出部１１０に入力する。

【００７１】図１７の画素データ復号部１７０２で復号
されたフレーム時刻ｔ＋ａの画素データは、図１の重畳
部中の第３の遅延部１１５でａフレーム遅延された後、
加重平均部１１４に入力される。図１７の多重化部１７
０８は画素データ、領域形状、第３のフラグ及び第４の
フラグの各々の符号化データを多重化し、上位レイヤの
符号化データとして出力する。

【００７２】次に、上述した上位レイヤ符号化データを
復号する上位レイヤ復号部を図１８を用いて説明する。
この図において、１８０１は分流部、１８０２は画素デ
ータ復号部、１８０３は領域形状復号部、１８０４は第
３のフラグ復号部、１８０５は第４のフラグ復号部、１
８０６は第１の遅延部、１８０７は第２の遅延部、１８
０８はスイッチ、１８０９はスイッチ、１８１０はコン
トローラである。

【００７３】図１８で、分流部１８０１は上位レイヤ符
号化データを、画素データ、領域形状、第３のフラグ及
び第４のフラグの各々の符号化データに分離する部分で
ある。画素データ復号部１８０２、領域形状復号部１８
０３、第１の遅延部１８０６、第２の遅延部１８０７、
スイッチ１８０８及びスイッチ１８０９は、図１７と同
様の働きをするので説明を省略する。

【００７４】図１８の第３のフラグ復号部及び第４のフ
ラグ復号部は、第３のフラグ及び第４のフラグをそれぞ
れ復号し、コントローラ１８１０に供給する。コントロ
ーラ１８１０は図１７のコントローラ１７１３と同様に
２つのスイッチを制御するが、これと同時に分流部１８
０１で領域形状の符号化データを取り出す制御も行な
う。すなわち第３のフラグが領域形状１が符号化された
ことを示している時は、上位レイヤ符号化データから領
域形状１のデータを分離し、そうでない場合は領域形状
１のデータは存在しないので上位レイヤ符号化データか
らこれを分離しないように制御する。

【００７５】第４のフラグについても分流部１８０１に
対して同様の制御がなされる。２つのスイッチのオン・
オフの組合せは図１７の上位レイヤ符号化部と同様、３
種類存在する。それぞれの組合せにおける動作は図１７
の説明で述べたものと同様である。

【００７６】このように、第３の実施の形態において下
位レイヤの合成に用いる領域形状の符号化方法として、
下位レイヤ合成を行なう上位レイヤのフレーム位置で、
その前後のフレーム位置の下位レイヤにおける領域形状
を、現在のフレーム位置で符号化する方法を用いること
ができる。

【００７７】これまで本発明の説明において、下位レイ
ヤフレームに上位レイヤフレームが重畳された画像は、
符号化装置では図１４に示す様に上位レイヤ符号化部に
フィードバックされ、上位レイヤの予測符号化に利用さ
れる。復号装置では上位レイヤの予測符号化に利用され
ると共にディスプレイなどに表示される。しかしなが
ら、重畳された画像は表示用のためにだけ使用しても良
い。

【００７８】すなわち、符号化装置では本実施の形態の
重畳部を持たず、上位レイヤの復号画像が直接上位レイ
ヤ符号化部にフィードバックされて予測符号化に利用さ
れる。復号装置では上位レイヤの復号画像は直接上位レ
イヤ復号部にフィードバックされて予測に利用されると
共に重畳部に入力され、重畳部の出力はディスプレイな
どに表示される。

【００７９】また、本発明の説明で領域形状の符号化は
全て８方向量子化符号による方法を用いて説明している
が、他の形状符号化手法を用いても良いことはもちろん
である。

【００８０】

【発明の効果】本発明の動画像符号化装置及び動画像復
号装置によれば、 （１）符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第１領域
形状と、時間的に後に存在する下位レイヤの第２領域形
状を上位レイヤにおいて符号化し、前記第１領域形状と
前記第２領域形状を用い、前記第１の領域形状のみの領
域に対しては前記第２の下位レイヤフレームの画素値を
使用し、前記第２の領域形状のみの領域に対しては前記
第１の下位レイヤフレームの画素値を使用して前記合成
を行なうことにより、領域形状が時間的に変化する場合
でも下位レイヤと上位レイヤの重畳画像に歪みがなく良
好な画像を得ることができる。 （２）符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第１領域
形状と、時間的に後に存在する下位レイヤの第２領域形
状の符号化を行なわず、前記第１領域形状と前記第２領
域形状を、下位レイヤ復号部で得られた下位レイヤ復号
画像を領域分割することによって抽出することで、上位
レイヤで領域形状の符号化を行なわないモードが導入さ
れ、ビット数を削減することができる。 （３）符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第１領域
形状と、時間的に後に存在する下位レイヤの第２領域形
状の符号化を行なわず、前記第１領域形状及び前記第２
領域形状を、領域形状復号部で得られた領域形状からア
フィン変換を用いて推定することによって抽出すること
で、ビット数を増やすことなく正確に領域形状を得るこ
とができる。 （４）符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第１領域
形状と、時間的に後に存在する下位レイヤの第２領域形
状の符号化を行なわず、前記第１領域形状及び前記第２
領域形状を、領域形状復号部で得られた領域形状からブ
ロックマッチングによる予測を用いて推定することによ
って抽出することで、ビット数を増やすことなく簡単に
領域形状を得ることができる。 （５）前記（１）〜（４）において、前記存在しない下
位レイヤフレームの合成を行うか否かを示すフラグを符
号化することによって、存在しない下位レイヤフレーム
の時間的に前または後に存在する下位レイヤフレームを
合成された下位レイヤフレームとして用いることがで
き、合成に必要な処理量を減らすことが可能となる。 （６）前記（１）において、前記第１領域形状及び第２
領域形状をそれぞれ符号化するか否かを示す第１及び第
２のフラグを符号化することによって、第１及び第２の
領域形状がともに符号化されていない場合には、前回の
下位レイヤ合成時に使用した領域形状をそれぞれ今回の
下位レイヤ合成時に用いる領域形状とし、第２の領域形
状だけが符号化されている場合には、前回の下位レイヤ
合成時に使用した第２の領域形状を今回の下位レイヤ合
成時に用いる第１の領域形状とすることができる。 （７）下位レイヤにて領域情報を符号化しないので、下
位レイヤで多くのビットを発生することがない。従っ
て、下位レイヤを伝送あるいは蓄積する比較的ビットレ
ートの低い伝送路やメモリでも大きな歪みを生ずること
なく、良好な下位レイヤ画像を伝送あるいは蓄積するこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】本発明の第２の実施の形態を示すブロック図で
ある。

【図３】本発明の第１のフラグを説明する図である。

【図４】本発明で下位レイヤの復号データを用いて領域
形状を抽出する場合のブロック図である。

【図５】本発明で上位レイヤの領域形状を用いて領域形
状を抽出する場合のブロック図である。

【図６】本発明の第３の実施の形態を説明する図であ
る。

【図７】本発明の第３の実施の形態の他の例を説明する
図である。

【図８】従来の符号化方式及び復号方式を説明するブロ
ック図である。

【図９】本発明の効果の一例を説明する図である。

【図１０】従来法の概念を示す図である。

【図１１】８方向量子化符号を説明する図である。

【図１２】従来法の問題点を説明する図である。

【図１３】本発明で上位レイヤの領域形状を用いて領域
形状を抽出する例を説明する図である。

【図１４】本発明の第１の実施の形態及び第２の実施の
形態を説明するブロック図である。

【図１５】本発明の第１の実施の形態を説明するブロッ
ク図である。

【図１６】本発明の第２の実施の形態を説明するブロッ
ク図である。

【図１７】本発明の上位レイヤ符号化部の例を示すブロ
ック図である。

【図１８】本発明の上位レイヤ復号部の例を示すブロッ
ク図である。

【符号の説明】

１０１ スイッチ １０２ 画素データ符号化部 １０３ 領域形状符号化部 １０４ 画素データ復号部 １０５ 領域形状復号部 １０６ 多重化部 １０７ 第１の遅延部 １０８ 第２の遅延部 １０９ 第１の領域抽出部 １１０ 第２の領域抽出部 １１１ コントローラ １１２ スイッチ １１３ 補間画像作成部 １１４ 加重平均部 １１５ 第３の遅延部 １１６ 第４の遅延部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 草尾 寛 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 渡部 秀一 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平８−130733（ＪＰ，Ａ) 特開 平７−38899（ＪＰ，Ａ) 特開 昭60−206287（ＪＰ，Ａ) 特開 昭60−128791（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ) 実用ファイル（ＰＡＴＯＬＩＳ) 特許ファイル（ＰＡＴＯＬＩＳ)

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 動画像シーケンスの画素データを第１の
   フレームレートで符号化した下位レイヤ符号化データ
   と、前記動画像シーケンスの特定領域の画素データを前
   記第１のフレームレートより高い第２のフレームレート
   で符号化するとともに、前記動画像シーケンスの特定領
   域の領域形状を符号化した上位レイヤ符号化データとを
   入力とし、 下位レイヤ復号画像を出力するか、あるいは下位レイヤ
   復号画像と上位レイヤ復号画像との重畳画像を出力する
   動画像復号装置であって、 前記下位レイヤ符号化データを前記第１のフレームレー
   トで復号する下位レイヤ復号部と、 前記上位レイヤ符号化データを、画素データの符号化デ
   ータと領域形状の符号化データとに分流する分流部と、 前記分流部で分流された画素データの符号化データを前
   記第２のフレームレートで復号する画素データ復号部
   と、 前記分流部で分流された領域形状の符号化データを復号
   する領域形状復号部とを備え、 前記領域形状の符号化データは、上位レイヤフレームと
   時間的に同じフレーム位置に対応する下位レイヤフレー
   ムが存在しない場合、そのフレーム位置の時間的に前後
   に存在する第１及び第２の下位レイヤフレームにおける
   特定領域を示す第１領域形状及び第２領域形状の符号化
   データを含んでおり、 前記第１領域形状及び前記第２領域形状と、前記第１及
   び第２の下位レイヤフレームを用い、前記第１の領域形
   状のみの領域に対しては前記第２の下位レイヤフレーム
   の画素値を使用し、前記第２の領域形状のみの領域に対
   しては前記第１の下位レイヤフレームの画素値を使用し
   て、前記存在しない下位レイヤフレームの合成を行うこ
   とを特徴とする動画像復号装置。
2. 【請求項２】 動画像シーケンスの画素データを第１の
   フレームレートで符号化した下位レイヤ符号化データ
   と、前記動画像シーケンスの特定領域の画素データを前
   記第１のフレームレートより高い第２のフレームレート
   で符号化するとともに、該特定領域の画素データを符号
   化するフレーム位置においてのみ、前記動画像シーケン
   スの特定領域の領域形状を符号化した上位レイヤ符号化
   データとを入力とし、 下位レイヤ復号画像を出力するか、あるいは下位レイヤ
   復号画像と上位レイヤ復号画像との重畳画像を出力する
   動画像復号装置であって、 前記下位レイヤ符号化データを前記第１のフレームレー
   トで復号する下位レイヤ復号部と、 前記上位レイヤ符号化データを、画素データの符号化デ
   ータと領域形状の符号化データとに分流する分流部と、 前記分流部で分流された画素データの符号化データを前
   記第２のフレームレートで復号する画素データ復号部
   と、 前記分流部で分流された領域形状の符号化データを復号
   する領域形状復号部とを備え、 上位レイヤフレームと時間的に同じフレーム位置に対応
   する下位レイヤフレームが存在しない場合、そのフレー
   ム位置の時間的に前後に存在する第１及び第２の下位レ
   イヤフレームにおける特定領域を示す第１領域形状及び
   第２領域形状を、前記下位レイヤ復号部で得られた下位
   レイヤ復号画像を領域分割することによって抽出し、 前記第１領域形状及び第２領域形状と、前記第１及び第
   ２の下位レイヤフレームを用い、前記第１の領域形状の
   みの領域に対しては前記第２の下位レイヤフレームの画
   素値を使用し、前記第２の領域形状のみの領域に対して
   は前記第１の下位レイヤフレームの画素値を使用して、
   前記存在しない下位レイヤフレームの合成を行うことを
   特徴とする動画像復号装置。
3. 【請求項３】 動画像シーケンスの画素データを第１の
   フレームレートで符号化した下位レイヤ符号化データ
   と、前記動画像シーケンスの特定領域の画素データを前
   記第１のフレームレートより高い第２のフレームレート
   で符号化するとともに、該特定領域の画素データを符号
   化するフレーム位置においてのみ、前記動画像シーケン
   スの特定領域の領域形状を符号化した上位レイヤ符号化
   データとを入力とし、 下位レイヤ復号画像を出力するか、あるいは下位レイヤ
   復号画像と上位レイヤ 復号画像との重畳画像を出力する
   動画像復号装置であって、 前記下位レイヤ符号化データを前記第１のフレームレー
   トで復号する下位レイヤ復号部と、 前記上位レイヤ符号化データを、画素データの符号化デ
   ータと領域形状の符号化データとに分流する分流部と、 前記分流部で分流された画素データの符号化データを前
   記第２のフレームレートで復号する画素データ復号部
   と、 前記分流部で分流された領域形状の符号化データを復号
   する領域形状復号部とを備え、 上位レイヤフレームと時間的に同じフレーム位置に対応
   する下位レイヤフレームが存在しない場合、そのフレー
   ム位置の時間的に前後に存在する第１及び第２の下位レ
   イヤフレームにおける特定領域を示す第１領域形状及び
   第２領域形状を、前記領域形状復号部で得られた領域形
   状からアフィン変換を用いて推定することによって抽出
   し、 前記第１領域形状及び第２領域形状と、前記第１及び第
   ２の下位レイヤフレームを用い、前記第１の領域形状の
   みの領域に対しては前記第２の下位レイヤフレームの画
   素値を使用し、前記第２の領域形状のみの領域に対して
   は前記第１の下位レイヤフレームの画素値を使用して、
   前記存在しない下位レイヤフレームの合成を行う ことを
   特徴とする動画像復号装置。
4. 【請求項４】 動画像シーケンスの画素データを第１の
   フレームレートで符号化した下位レイヤ符号化データ
   と、前記動画像シーケンスの特定領域の画素データを前
   記第１のフレームレートより高い第２のフレームレート
   で符号化するとともに、該特定領域の画素データを符号
   化するフレーム位置においてのみ、前記動画像シーケン
   スの特定領域の領域形状を符号化した上位レイヤ符号化
   データとを入力とし、 下位レイヤ復号画像を出力するか、あるいは下位レイヤ
   復号画像と上位レイヤ復号画像との重畳画像を出力する
   動画像復号装置であって、 前記下位レイヤ符号化データを前記第１のフレームレー
   トで復号する下位レイヤ復号部と、 前記上位レイヤ符号化データを、画素データの符号化デ
   ータと領域形状の符号化データとに分流する分流部と、 前記分流部で分流された画素データの符号化データを前
   記第２のフレームレートで復号する画素データ復号部
   と、 前記分流部で分流された領域形状の符号化データを復号
   する領域形状復号部とを備え、 上位レイヤフレームと時間的に同じフレーム位置に対応
   する下位レイヤフレームが存在しない場合、そのフレー
   ム位置の時間的に前後に存在する第１及び第２の下位レ
   イヤフレームにおける特定領域を示す第１領域形状及び
   第２領域形状を、前記領域形状復号部で得られた領域形
   状からブロックマッチングによる予測を用いて推定する
   ことによって抽出し、 前記第１領域形状及び第２領域形状と、前記第１及び第
   ２の下位レイヤフレームを用い、前記第１の領域形状の
   みの領域に対しては前記第２の下位レイヤフレームの画
   素値を使用し、前記第２の領域形状のみの領域に対して
   は前記第１の下位レイヤフレームの画素値を使用して、
   前記存在しない下位レイヤフレームの合成を行う ことを
   特徴とする動画像復号装置。
5. 【請求項５】 前記請求項１乃至４に記載の動画像復号
   装置において、 下位レイヤフレームの合成を行うか否かを示すフラグの
   符号化データを復号するフラグ復号部を備え、 前記フラグ復号部で復号されたフラグに基づいて、前記
   第１領域形状及び前記第２領域形状と、前記第１及び第
   ２の下位レイヤフレームを用いて、前記存在しない下位
   レイヤフレームの合成を行うか否かを判断し、該下位レ
   イヤフレームの合成を行うことを特徴とする動画像復号
   装置。
6. 【請求項６】 前記請求項１に記載の動画像復号装置に
   おいて、 前記上位レイヤ復号部は、さらに、上位レイヤフレーム
   の時間的に前に存在する第１の下位レイヤフレームにお
   ける第１領域形状を示す領域情報が符号化されているか
   否かを示す第１のフラグの符号化データを復号する第１
   のフラグ復号部と、 上位レイヤフレームの時間的に後に存在する第２の下位
   レイヤフレームにおける第２領域形状を示す領域情報が
   符号化されているか否かを示す第２のフラグの符号化デ
   ータを復号する第２のフラグ復号部とを備え、 前記第１及び第２のフラグ復号部で復号された第１のフ
   ラグ及び第２のフラグに基づいて、第１の領域形状と第
   ２の領域形状が符号化されているか否かを判断し、第１
   及び第２の領域形状がともに符号化されていない場合に
   は、前回の下位レイヤ合成時に使用した領域形状をそれ
   ぞれ今回の下位レイヤ合成時に用いる領域形状とし、第
   ２の領域形状だけが符号化されている場合には、前回の
   下位レイヤ合成時に使用した第２の領域形状を今回の下
   位レイヤ合成時に用いる第１の領域形状とし、 前記第１領域形状及び前記第２領域形状と、前記第１及
   び第２の下位レイヤフレームを用いて、前記存在しない
   下位レイヤフレームの合成を行うことを特徴とする動画
   像復号装置。
7. 【請求項７】 動画像シーケンスの画素データを第１の
   フレームレートで符号化する下位レイヤ符号化部と、 前記動画像シーケンスの特定領域の画素データを前記第
   １のフレームレートより高い第２のフレームレートで符
   号化するとともに、前記動画像シーケンスの特定領域の
   領域形状を符号化する上位レイヤ符号化部とを備えた動
   画像符号化装置であって、 前記上位レイヤ符号化部は、前記動画像シーケンスの特
   定領域の画素データを前記第１のフレームレートより高
   い第２のフレームレートで符号化する画素データ符号化
   部と、 前記動画像シーケンスの特定領域の領域形状を符号化す
   る領域形状符号化部と、 前記画素データ符号化部で符号化された画素データの符
   号化データと、前記領域形状符号化部で符号化された領
   域形状の符号化データとを多重化する多重化部とを有
   し、 前記領域形状符号化部は、上位レイヤフレームと時間的
   に同じフレーム位置に対応する下位レイヤフレームが存
   在しない場合、そのフレーム位置の時間的に前後に存在
   する第１及び第２の下位レイヤフレームにおける特定領
   域を示す第１領域形状及び第２領域形状を符号化するこ
   とを特徴とする動画像符号化装置。
8. 【請求項８】 前記請求項７に記載の動画像符号化装置
   において、 動画像復号装置で下位レイヤフレームの合成を行うか否
   かを示すフラグを符号化するフラグ符号化部を備えたこ
   とを特徴とする動画像符号化装置。
9. 【請求項９】 前記請求項７に記載の動画像符号化装置
   において、 前記上位レイヤ符号化部は、さらに、上位レイヤフレー
   ムの時間的に前に存在する第１の下位レイヤフレームに
   おける第１領域形状を示す領域情報を符号化したか否か
   を示す第１のフラグを符号化する第１のフラグ符号化部
   と、 上位レイヤフレームの時間的に後に存在する第２の下位
   レイヤフレームにおける第２領域形状を示す領域情報を
   符号化したか否かを示す第２のフラグを符号化する第２
   のフラグ符号化部とを有することを特徴とする動画像符
   号化装置。