JP3247836B2 - 画像符号化装置及び画像復号装置 - Google Patents
画像符号化装置及び画像復号装置Info
- Publication number
- JP3247836B2 JP3247836B2 JP12175296A JP12175296A JP3247836B2 JP 3247836 B2 JP3247836 B2 JP 3247836B2 JP 12175296 A JP12175296 A JP 12175296A JP 12175296 A JP12175296 A JP 12175296A JP 3247836 B2 JP3247836 B2 JP 3247836B2
- Authority
- JP
- Japan
- Prior art keywords
- lower layer
- shape
- frame
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に属し、画像データを高能率に符号化する動画
像符号化装置及びこの動画像符号化装置で作成された符
号化データを復号する動画像復号装置に関するものであ
る。
理の分野に属し、画像データを高能率に符号化する動画
像符号化装置及びこの動画像符号化装置で作成された符
号化データを復号する動画像復号装置に関するものであ
る。
【0002】
【従来の技術】画像符号化において、異なる動画像シー
ケンスを重畳する方式が検討されている。
ケンスを重畳する方式が検討されている。
【0003】例えば、文献「階層表現と多重テンプレー
トを用いた画像符号化」(信学技報IE94−159,
pp99−106 (1995))では、背景となる動
画像シーケンスと前景となる部品動画像の動画像シーケ
ンス(例えばクロマキー技術によって切り出された人物
画像や魚の映像など)を重畳して新たなシーケンスを作
成する手法が述べられている。
トを用いた画像符号化」(信学技報IE94−159,
pp99−106 (1995))では、背景となる動
画像シーケンスと前景となる部品動画像の動画像シーケ
ンス(例えばクロマキー技術によって切り出された人物
画像や魚の映像など)を重畳して新たなシーケンスを作
成する手法が述べられている。
【0004】また文献「画像内容に基づく時間階層符号
化」(”Temporal Scalability
based on image content”,
ISO/IEC/ JTC1/SC29/WG11 M
PEG95/211(1995))では、フレームレー
トの低い動画像シーケンスにフレームレートの高い部品
動画像の動画像シーケンスを重畳して新たなシーケンス
を作成する手法が述べられている。
化」(”Temporal Scalability
based on image content”,
ISO/IEC/ JTC1/SC29/WG11 M
PEG95/211(1995))では、フレームレー
トの低い動画像シーケンスにフレームレートの高い部品
動画像の動画像シーケンスを重畳して新たなシーケンス
を作成する手法が述べられている。
【0005】この方式では図10に示すように下位レイ
ヤでは低いフレームレートで予測符号化が行われ、上位
レイヤでは選択領域(斜線部)についてのみ高いフレー
ムレートで予測符号化が行われる。ただし、下位レイヤ
で符号化したフレームは上位レイヤでは符号化せず、下
位レイヤの復号画像をそのままコピーして用いる。ま
た、選択領域としては例えば人物部分など視聴者の注目
が集まる部分が選ばれているものとする。
ヤでは低いフレームレートで予測符号化が行われ、上位
レイヤでは選択領域(斜線部)についてのみ高いフレー
ムレートで予測符号化が行われる。ただし、下位レイヤ
で符号化したフレームは上位レイヤでは符号化せず、下
位レイヤの復号画像をそのままコピーして用いる。ま
た、選択領域としては例えば人物部分など視聴者の注目
が集まる部分が選ばれているものとする。
【0006】図8に従来手法のブロック図を示す。まず
従来手法の符号化側では、入力動画像は第1の駒落し部
801及び第2の駒落し部802によってフレーム間引
きされ、入力画像のフレームレート以下とされた後それ
ぞれ上位レイヤ符号化部803及び下位レイヤ符号化部
804に入力される。ここで上位レイヤのフレームレー
トは下位レイヤのフレームレート以上であるとする。
従来手法の符号化側では、入力動画像は第1の駒落し部
801及び第2の駒落し部802によってフレーム間引
きされ、入力画像のフレームレート以下とされた後それ
ぞれ上位レイヤ符号化部803及び下位レイヤ符号化部
804に入力される。ここで上位レイヤのフレームレー
トは下位レイヤのフレームレート以上であるとする。
【0007】下位レイヤ符号化部804では入力された
動画像全体が符号化される。符号化方式としては例えば
MPEGやH.261などの動画像符号化国際標準化方
式が用いられる。下位レイヤ符号化部804ではまた、
下位レイヤの復号画像が作成され、予測符号化に利用さ
れると同時に重畳部805に入力される。
動画像全体が符号化される。符号化方式としては例えば
MPEGやH.261などの動画像符号化国際標準化方
式が用いられる。下位レイヤ符号化部804ではまた、
下位レイヤの復号画像が作成され、予測符号化に利用さ
れると同時に重畳部805に入力される。
【0008】図8の上位レイヤ符号化部803では入力
された動画像の選択領域のみが符号化される。ここでも
MPEGやH.261などの動画像符号化国際標準化方
式が用いられるが、領域形状情報に基づいて選択領域の
みを符号化する。ただし下位レイヤで符号化されたフレ
ームは上位レイヤでは符号化されない。領域形状情報は
人物部などの選択領域の形状を示す情報であり、例えば
選択領域の位置で値1、それ以外の位置で値0をとる2
値画像である。上位レイヤ符号化部803ではまた、動
画像の選択領域のみが復号され、重畳部805に入力さ
れる。
された動画像の選択領域のみが符号化される。ここでも
MPEGやH.261などの動画像符号化国際標準化方
式が用いられるが、領域形状情報に基づいて選択領域の
みを符号化する。ただし下位レイヤで符号化されたフレ
ームは上位レイヤでは符号化されない。領域形状情報は
人物部などの選択領域の形状を示す情報であり、例えば
選択領域の位置で値1、それ以外の位置で値0をとる2
値画像である。上位レイヤ符号化部803ではまた、動
画像の選択領域のみが復号され、重畳部805に入力さ
れる。
【0009】領域形状符号化部806では領域形状が8
方向量子化符号を利用して符号化される。8方向量子化
符号は図11のように、次の点への方向を数値で示した
もので、デジタル図形を表現する際に一般的に使用され
るものである。
方向量子化符号を利用して符号化される。8方向量子化
符号は図11のように、次の点への方向を数値で示した
もので、デジタル図形を表現する際に一般的に使用され
るものである。
【0010】重畳部805は下位レイヤフレームが符号
化されているフレーム位置では下位レイヤの復号画像を
出力する。下位レイヤフレームが符号化されていないフ
レーム位置では、対象フレームの前後2枚の符号化され
た下位レイヤの復号画像と対象フレームと同時刻の1枚
の上位レイヤ復号画像を用いて画像を作成し出力する。
ここで作成された画像は上位レイヤ符号化部803に入
力され、予測符号化に利用される。重畳部805におけ
る画像作成方法は以下の通りである。
化されているフレーム位置では下位レイヤの復号画像を
出力する。下位レイヤフレームが符号化されていないフ
レーム位置では、対象フレームの前後2枚の符号化され
た下位レイヤの復号画像と対象フレームと同時刻の1枚
の上位レイヤ復号画像を用いて画像を作成し出力する。
ここで作成された画像は上位レイヤ符号化部803に入
力され、予測符号化に利用される。重畳部805におけ
る画像作成方法は以下の通りである。
【0011】まず、2枚の下位レイヤの補間画像が作成
される。時間tにおける下位レイヤの復号画像をB
(x,y,t)(ただし、x,yは空間内の画素位置を
表す座標である)とし、2枚の下位レイヤの時間をそれ
ぞれt1,t2、上位レイヤの時間をt3(ただし、t
1<t3<t2である)とすると時間t3における補間
画像I(x,y,t3)は I(x,y,t3)=[(t2-t3)B(x,y,t1)+(t3-t1)B(x,y,t2)]/(t2-t1) (1) によって計算される。
される。時間tにおける下位レイヤの復号画像をB
(x,y,t)(ただし、x,yは空間内の画素位置を
表す座標である)とし、2枚の下位レイヤの時間をそれ
ぞれt1,t2、上位レイヤの時間をt3(ただし、t
1<t3<t2である)とすると時間t3における補間
画像I(x,y,t3)は I(x,y,t3)=[(t2-t3)B(x,y,t1)+(t3-t1)B(x,y,t2)]/(t2-t1) (1) によって計算される。
【0012】次に上で求めた補間画像Iに上位レイヤの
復号画像Eを重畳する。このために、領域形状情報M
(x,y,t)から重畳のための重み情報W(x,y,
t)を作成し、次式によって重畳画像Sを得る。
復号画像Eを重畳する。このために、領域形状情報M
(x,y,t)から重畳のための重み情報W(x,y,
t)を作成し、次式によって重畳画像Sを得る。
【0013】 S(x,y,t)=[1-W(x, y, t)]I(x, y, t)+E(x, y, t)W(x, y, t) (2) 領域形状情報M(x,y,t)は選択領域内で1、選択
領域外で0の値をとる2値画像であり、この画像に低域
通過フィルタを複数回施す事によって重み情報W(x,
y,t)を得る事ができる。
領域外で0の値をとる2値画像であり、この画像に低域
通過フィルタを複数回施す事によって重み情報W(x,
y,t)を得る事ができる。
【0014】すなわち重み情報W(x,y,t)は選択
領域内で1、選択領域外で0、選択領域の境界部で0〜
1の値をとる。以上が重畳部805における画像作成方
法の説明である。
領域内で1、選択領域外で0、選択領域の境界部で0〜
1の値をとる。以上が重畳部805における画像作成方
法の説明である。
【0015】下位レイヤ符号化部804、上位レイヤ符
号化部803、領域形状符号化部806で符号化された
符号化データは、図示しない符号化データ統合部で統合
され、伝送あるいは蓄積される。
号化部803、領域形状符号化部806で符号化された
符号化データは、図示しない符号化データ統合部で統合
され、伝送あるいは蓄積される。
【0016】次に従来手法の復号側では、符号化データ
が図示しない符号化データ分解部にて下位レイヤの符号
化データ、上位レイヤの符号化データ、領域形状の符号
化データに分解される。これらの符号化データは図8に
示すように下位レイヤ復号部808、上位レイヤ復号部
807及び領域形状復号部809によって復号される。
復号側の重畳部810は符号化側の重畳部805と同
一の装置からなり、下位レイヤ復号画像と上位レイヤ復
号画像を用い、符号化側の説明で述べたものと同一の方
法によって画像が重畳される。ここで重畳された動画像
はディスプレイに表示されると共に上位レイヤ復号部8
07に入力され、上位レイヤの予測に利用される。
が図示しない符号化データ分解部にて下位レイヤの符号
化データ、上位レイヤの符号化データ、領域形状の符号
化データに分解される。これらの符号化データは図8に
示すように下位レイヤ復号部808、上位レイヤ復号部
807及び領域形状復号部809によって復号される。
復号側の重畳部810は符号化側の重畳部805と同
一の装置からなり、下位レイヤ復号画像と上位レイヤ復
号画像を用い、符号化側の説明で述べたものと同一の方
法によって画像が重畳される。ここで重畳された動画像
はディスプレイに表示されると共に上位レイヤ復号部8
07に入力され、上位レイヤの予測に利用される。
【0017】ここでは下位レイヤと上位レイヤの両方を
復号する復号装置について述べたが、下位レイヤの復号
部のみを備えた復号装置ならば、上位レイヤ復号部80
7、重畳部810が不要であり、少ないハードウエア規
模で符号化データの一部を再生する事ができる。
復号する復号装置について述べたが、下位レイヤの復号
部のみを備えた復号装置ならば、上位レイヤ復号部80
7、重畳部810が不要であり、少ないハードウエア規
模で符号化データの一部を再生する事ができる。
【0018】
【発明が解決しようとする課題】従来の技術においては
(1)式のように2枚の下位レイヤ復号画像と1枚の上
位レイヤ復号画像から出力画像を得る際に2枚の下位レ
イヤの補間を行っているため、選択領域の位置が時間的
に変化する場合に選択領域周辺に大きな歪みが発生し、
画質を大きく劣化させるという問題がある。
(1)式のように2枚の下位レイヤ復号画像と1枚の上
位レイヤ復号画像から出力画像を得る際に2枚の下位レ
イヤの補間を行っているため、選択領域の位置が時間的
に変化する場合に選択領域周辺に大きな歪みが発生し、
画質を大きく劣化させるという問題がある。
【0019】図12はこの問題を説明するものである。
図12(a)で画像A、Cは下位レイヤの2枚の復号画
像、画像Bは上位レイヤの復号画像であり、表示時間順
はA、B、Cの順である。ただし、選択領域を斜線で示
している。また、上位レイヤでは選択領域のみが符号化
されるため選択領域外を破線で示している。選択領域が
動いているため、画像Aと画像Cから求めた補間画像は
図12(b)の網点部のように2つの選択領域が重複し
たものになる。
図12(a)で画像A、Cは下位レイヤの2枚の復号画
像、画像Bは上位レイヤの復号画像であり、表示時間順
はA、B、Cの順である。ただし、選択領域を斜線で示
している。また、上位レイヤでは選択領域のみが符号化
されるため選択領域外を破線で示している。選択領域が
動いているため、画像Aと画像Cから求めた補間画像は
図12(b)の網点部のように2つの選択領域が重複し
たものになる。
【0020】さらに画像Bを重み情報を用いて重畳する
と、出力画像は図12(c)に示すように3つの選択領
域が重複した画像となる。特に上位レイヤの選択領域周
辺(外側)に下位レイヤの選択領域が残像のようにあら
われ、画質が大きく劣化する。動画像全体としては下位
レイヤのみが表示されている時には上記の歪みがなく、
上位レイヤと下位レイヤの重畳画像が表示されている時
には上記の歪みが現われるため、フリッカ的歪みが発生
し非常に大きな画質劣化となる。
と、出力画像は図12(c)に示すように3つの選択領
域が重複した画像となる。特に上位レイヤの選択領域周
辺(外側)に下位レイヤの選択領域が残像のようにあら
われ、画質が大きく劣化する。動画像全体としては下位
レイヤのみが表示されている時には上記の歪みがなく、
上位レイヤと下位レイヤの重畳画像が表示されている時
には上記の歪みが現われるため、フリッカ的歪みが発生
し非常に大きな画質劣化となる。
【0021】本発明の目的はこれらの問題を解決し、符
号化後のデータ量を削減する一方復号画像の品質を劣化
させないような符号化装置、及び復号装置を提供するこ
とにある。
号化後のデータ量を削減する一方復号画像の品質を劣化
させないような符号化装置、及び復号装置を提供するこ
とにある。
【0022】
【課題を解決するための手段】本発明は、上記目的を達
成するために、 (1)動画像シーケンスの画素データを第1のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第1のフ
レームレートより高い第2のフレームレートで符号化す
るとともに、前記動画像シーケンスの特定領域の領域形
状を符号化した上位レイヤ符号化データとを入力とし、
下位レイヤ復号画像を出力するか、あるいは下位レイヤ
復号画像と上位レイヤ復号画像との重畳画像を出力する
動画像復号装置であって、前記下位レイヤ符号化データ
を前記第1のフレームレートで復号する下位レイヤ復号
部と、前記上位レイヤ符号化データを、画素データの符
号化データと領域形状の符号化データとに分流する分流
部と、前記分流部で分流された画素データの符号化デー
タを前記第2のフレームレートで復号する画素データ復
号部と、前記分流部で分流された領域形状の符号化デー
タを復号する領域形状復号部とを備え、前記領域形状の
符号化データは、上位レイヤフレームと時間的に同じフ
レーム位置に対応する下位レイヤフレームが存在しない
場合、そのフレーム位置の時間的に前後に存在する第1
及び第2の下位レイヤフレームにおける特定領域を示す
第1領域形状及び第2領域形状の符号化データを含んで
おり、前記第1領域形状及び前記第2領域形状と、前記
第1及び第2の下位レイヤフレームを用い、前記第1の
領域形状のみの領域に対しては前記第2の下位レイヤフ
レームの画素値を使用し、前記第2の領域形状のみの領
域に対しては前記第1の下位レイヤフレームの画素値を
使用して、前記存在しない下位レイヤフレームの合成を
行うことを特徴とする。 (2)動画像シーケンスの画素データを第1のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第1のフ
レームレートより高い第2のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第1のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第2のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第1及び第2の下位レイヤ
フレームにおける特定領域を示す第1領域形状及び第2
領域形状を、前記下位レイヤ復号部で得られた下位レイ
ヤ復号画像を領域分割することによって抽出し、前記第
1領域形状及び第2領域形状と、前記第1及び第2の下
位レイヤフレームを用い、前記第1の領域形状のみの領
域に対しては前記第2の下位レイヤフレームの画素値を
使用し、前記第2の領域形状のみの領域に対しては前記
第1の下位レイヤフレームの画素値を使用して、前記存
在しない下位レイヤフレームの合成を行うことを特徴と
する。 (3)動画像シーケンスの画素データを第1のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第1のフ
レームレートより高い第2のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第1のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第2のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第1及び第2の下位レイヤ
フレームにおける特定領域を示す第1領域形状及び第2
領域形状を、前記領域形状復号部で得られた領域形状か
らアフィン変換を用いて推定することによって抽出し、
前記第1領域形状及び第2領域形状と、前記第1及び第
2の下位レイヤフレームを用い、前記第1の領域形状の
みの領域に対しては前記第2の下位レイヤフレームの画
素値を使用し、前記第2の領域形状のみの領域に対して
は前記第1の下位レイヤフレームの画素値を使用して、
前記存在しない下位レイヤフレームの合成を行うことを
特徴とする。 (4)動画像シーケンスの画素データを第1のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第1のフ
レームレートより高い第2のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第1のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第2のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第1及び第2の下位レイヤ
フレームにおける特定領域を示す第1領域形状及び第2
領域形状を、前記領域形状復号部で得られた領域形状か
らブロックマッチングによる予測を用いて推定すること
によって抽出し、前記第1領域形状及び第2領域形状
と、前記第1及び第2の下位レイヤフレームを用い、前
記第1の領域形状のみの領域に対しては前記第2の下位
レイヤフレームの画素値を使用し、前記第2の領域形状
のみの領域に対しては前記第1の下位レイヤフレームの
画素値を使用して、前記存在しない下位レイヤフレーム
の合成を行うことを特徴とする。 (5)前記(1)乃至(4)の動画像復号装置におい
て、下位レイヤフレームの合成を行うか否かを示すフラ
グの符号化データを復号するフラグ復号部を備え、前記
フラグ復号部で復号されたフラグに基づいて、前記第1
領域形状及び前記第2領域形状と、前記第1及び第2の
下位レイヤフレームを用いて、前記存在しない下位レイ
ヤフレームの合成を行うか否かを判断し、該下位レイヤ
フレームの合成を行うことを特徴とする。 (6)前記(1)の動画像復号装置において、前記上位
レイヤ復号部は、さらに、上位レイヤフレームの時間的
に前に存在する第1の下位レイヤフレームにおける第1
領域形状を示す領域情報が符号化されているか否かを示
す第1のフラグの符号化データを復号する第1のフラグ
復号部と、上位レイヤフレームの時間的に後に存在する
第2の下位レイヤフレームにおける第2領域形状を示す
領域情報が符号化されているか否かを示す第2のフラグ
の符号化データを復号する第2のフラグ復号部とを備
え、前記第1及び第2のフラグ復号部で復号された第1
のフラグ及び第2のフラグに基づいて、第1の領域形状
と第2の領域形状が符号化されているか否かを判断し、
第1及び第2の領域形状がともに符号化されていない場
合には、前回の下位レイヤ合成時に使用した領域形状を
それぞれ今回の下位レイヤ合成時に用いる領域形状と
し、第2の領域形状だけが符号化されている場合には、
前回の下位レイヤ合成時に使用した第2の領域形状を今
回の下位レイヤ合成時に用いる第1の領域形状とし、前
記第1領域形状及び前記第2領域形状と、前記第1及び
第2の下位レイヤフレームを用いて、前記存在しない下
位レイヤフレームの合成を行うことを特徴とする。 (7)動画像シーケンスの画素データを第1のフレーム
レートで符号化する下位レイヤ符号化部と、前記動画像
シーケンスの特定領域の画素データを前記第1のフレー
ムレートより高い第2のフレームレートで符号化すると
ともに、前記動画像シーケンスの特定領域の領域形状を
符号化する上位レイヤ符号化部とを備えた動画像符号化
装置であって、前記上位レイヤ符号化部は、前記動画像
シーケンスの特定領域の画素データを前記第1のフレー
ムレートより高い第2のフレームレートで符号化する画
素データ符号化部と、前記動画像シーケンスの特定領域
の領域形状を符号化する領域形状符号化部と、前記画素
データ符号化部で符号化された画素データの符号化デー
タと、前記領域形状符号化部で符号化された領域形状の
符号化データとを多重化する多重化部とを有し、前記領
域形状符号化部は、上位レイヤフレームと時間的に同じ
フレーム位置に対応する下位レイヤフレームが存在しな
い場合、そのフレーム位置の時間的に前後に存在する第
1及び第2の下位レイヤフレームにおける特定領域を示
す第1領域形状及び第2領域形状を符号化することを特
徴とする。 (8)前記(7)の動画像符号化装置において、動画像
復号装置で下位レイヤフレームの合成を行うか否かを示
すフラグを符号化するフラグ符号化部を備えたことを特
徴とする。 (9)前記(7)の動画像符号化装置において、前記上
位レイヤ符号化部は、さらに、上位レイヤフレームの時
間的に前に存在する第1の下位レイヤフレームにおける
第1領域形状を示す領域情報を符号化したか否かを示す
第1のフラグを符号化する第1のフラグ符号化部と、上
位レイヤフレームの時間的に後に存在する第2の下位レ
イヤフレームにおける第2領域形状を示す領域情報を符
号化したか否かを示す第2のフラグを符号化する第2の
フラグ符号化部とを有することを特徴とする。
成するために、 (1)動画像シーケンスの画素データを第1のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第1のフ
レームレートより高い第2のフレームレートで符号化す
るとともに、前記動画像シーケンスの特定領域の領域形
状を符号化した上位レイヤ符号化データとを入力とし、
下位レイヤ復号画像を出力するか、あるいは下位レイヤ
復号画像と上位レイヤ復号画像との重畳画像を出力する
動画像復号装置であって、前記下位レイヤ符号化データ
を前記第1のフレームレートで復号する下位レイヤ復号
部と、前記上位レイヤ符号化データを、画素データの符
号化データと領域形状の符号化データとに分流する分流
部と、前記分流部で分流された画素データの符号化デー
タを前記第2のフレームレートで復号する画素データ復
号部と、前記分流部で分流された領域形状の符号化デー
タを復号する領域形状復号部とを備え、前記領域形状の
符号化データは、上位レイヤフレームと時間的に同じフ
レーム位置に対応する下位レイヤフレームが存在しない
場合、そのフレーム位置の時間的に前後に存在する第1
及び第2の下位レイヤフレームにおける特定領域を示す
第1領域形状及び第2領域形状の符号化データを含んで
おり、前記第1領域形状及び前記第2領域形状と、前記
第1及び第2の下位レイヤフレームを用い、前記第1の
領域形状のみの領域に対しては前記第2の下位レイヤフ
レームの画素値を使用し、前記第2の領域形状のみの領
域に対しては前記第1の下位レイヤフレームの画素値を
使用して、前記存在しない下位レイヤフレームの合成を
行うことを特徴とする。 (2)動画像シーケンスの画素データを第1のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第1のフ
レームレートより高い第2のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第1のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第2のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第1及び第2の下位レイヤ
フレームにおける特定領域を示す第1領域形状及び第2
領域形状を、前記下位レイヤ復号部で得られた下位レイ
ヤ復号画像を領域分割することによって抽出し、前記第
1領域形状及び第2領域形状と、前記第1及び第2の下
位レイヤフレームを用い、前記第1の領域形状のみの領
域に対しては前記第2の下位レイヤフレームの画素値を
使用し、前記第2の領域形状のみの領域に対しては前記
第1の下位レイヤフレームの画素値を使用して、前記存
在しない下位レイヤフレームの合成を行うことを特徴と
する。 (3)動画像シーケンスの画素データを第1のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第1のフ
レームレートより高い第2のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第1のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第2のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第1及び第2の下位レイヤ
フレームにおける特定領域を示す第1領域形状及び第2
領域形状を、前記領域形状復号部で得られた領域形状か
らアフィン変換を用いて推定することによって抽出し、
前記第1領域形状及び第2領域形状と、前記第1及び第
2の下位レイヤフレームを用い、前記第1の領域形状の
みの領域に対しては前記第2の下位レイヤフレームの画
素値を使用し、前記第2の領域形状のみの領域に対して
は前記第1の下位レイヤフレームの画素値を使用して、
前記存在しない下位レイヤフレームの合成を行うことを
特徴とする。 (4)動画像シーケンスの画素データを第1のフレーム
レートで符号化した下位レイヤ符号化データと、前記動
画像シーケンスの特定領域の画素データを前記第1のフ
レームレートより高い第2のフレームレートで符号化す
るとともに、該特定領域の画素データを符号化するフレ
ーム位置においてのみ、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、下位レイヤ復号画像を出力するか、あるいは
下位レイヤ復号画像と上位レイヤ復号画像との重畳画像
を出力する動画像復号装置であって、前記下位レイヤ符
号化データを前記第1のフレームレートで復号する下位
レイヤ復号部と、前記上位レイヤ符号化データを、画素
データの符号化データと領域形状の符号化データとに分
流する分流部と、前記分流部で分流された画素データの
符号化データを前記第2のフレームレートで復号する画
素データ復号部と、前記分流部で分流された領域形状の
符号化データを復号する領域形状復号部とを備え、上位
レイヤフレームと時間的に同じフレーム位置に対応する
下位レイヤフレームが存在しない場合、そのフレーム位
置の時間的に前後に存在する第1及び第2の下位レイヤ
フレームにおける特定領域を示す第1領域形状及び第2
領域形状を、前記領域形状復号部で得られた領域形状か
らブロックマッチングによる予測を用いて推定すること
によって抽出し、前記第1領域形状及び第2領域形状
と、前記第1及び第2の下位レイヤフレームを用い、前
記第1の領域形状のみの領域に対しては前記第2の下位
レイヤフレームの画素値を使用し、前記第2の領域形状
のみの領域に対しては前記第1の下位レイヤフレームの
画素値を使用して、前記存在しない下位レイヤフレーム
の合成を行うことを特徴とする。 (5)前記(1)乃至(4)の動画像復号装置におい
て、下位レイヤフレームの合成を行うか否かを示すフラ
グの符号化データを復号するフラグ復号部を備え、前記
フラグ復号部で復号されたフラグに基づいて、前記第1
領域形状及び前記第2領域形状と、前記第1及び第2の
下位レイヤフレームを用いて、前記存在しない下位レイ
ヤフレームの合成を行うか否かを判断し、該下位レイヤ
フレームの合成を行うことを特徴とする。 (6)前記(1)の動画像復号装置において、前記上位
レイヤ復号部は、さらに、上位レイヤフレームの時間的
に前に存在する第1の下位レイヤフレームにおける第1
領域形状を示す領域情報が符号化されているか否かを示
す第1のフラグの符号化データを復号する第1のフラグ
復号部と、上位レイヤフレームの時間的に後に存在する
第2の下位レイヤフレームにおける第2領域形状を示す
領域情報が符号化されているか否かを示す第2のフラグ
の符号化データを復号する第2のフラグ復号部とを備
え、前記第1及び第2のフラグ復号部で復号された第1
のフラグ及び第2のフラグに基づいて、第1の領域形状
と第2の領域形状が符号化されているか否かを判断し、
第1及び第2の領域形状がともに符号化されていない場
合には、前回の下位レイヤ合成時に使用した領域形状を
それぞれ今回の下位レイヤ合成時に用いる領域形状と
し、第2の領域形状だけが符号化されている場合には、
前回の下位レイヤ合成時に使用した第2の領域形状を今
回の下位レイヤ合成時に用いる第1の領域形状とし、前
記第1領域形状及び前記第2領域形状と、前記第1及び
第2の下位レイヤフレームを用いて、前記存在しない下
位レイヤフレームの合成を行うことを特徴とする。 (7)動画像シーケンスの画素データを第1のフレーム
レートで符号化する下位レイヤ符号化部と、前記動画像
シーケンスの特定領域の画素データを前記第1のフレー
ムレートより高い第2のフレームレートで符号化すると
ともに、前記動画像シーケンスの特定領域の領域形状を
符号化する上位レイヤ符号化部とを備えた動画像符号化
装置であって、前記上位レイヤ符号化部は、前記動画像
シーケンスの特定領域の画素データを前記第1のフレー
ムレートより高い第2のフレームレートで符号化する画
素データ符号化部と、前記動画像シーケンスの特定領域
の領域形状を符号化する領域形状符号化部と、前記画素
データ符号化部で符号化された画素データの符号化デー
タと、前記領域形状符号化部で符号化された領域形状の
符号化データとを多重化する多重化部とを有し、前記領
域形状符号化部は、上位レイヤフレームと時間的に同じ
フレーム位置に対応する下位レイヤフレームが存在しな
い場合、そのフレーム位置の時間的に前後に存在する第
1及び第2の下位レイヤフレームにおける特定領域を示
す第1領域形状及び第2領域形状を符号化することを特
徴とする。 (8)前記(7)の動画像符号化装置において、動画像
復号装置で下位レイヤフレームの合成を行うか否かを示
すフラグを符号化するフラグ符号化部を備えたことを特
徴とする。 (9)前記(7)の動画像符号化装置において、前記上
位レイヤ符号化部は、さらに、上位レイヤフレームの時
間的に前に存在する第1の下位レイヤフレームにおける
第1領域形状を示す領域情報を符号化したか否かを示す
第1のフラグを符号化する第1のフラグ符号化部と、上
位レイヤフレームの時間的に後に存在する第2の下位レ
イヤフレームにおける第2領域形状を示す領域情報を符
号化したか否かを示す第2のフラグを符号化する第2の
フラグ符号化部とを有することを特徴とする。
【0023】
【発明の実施の形態】図1、図14及び図15は第1の
実施の形態を示すブロック図である。図14で上位レイ
ヤ符号化部1403、重畳部1405、上位レイヤ復号
部1406、重畳部1408以外の各部は図8と同様の
働きをする。
実施の形態を示すブロック図である。図14で上位レイ
ヤ符号化部1403、重畳部1405、上位レイヤ復号
部1406、重畳部1408以外の各部は図8と同様の
働きをする。
【0024】図1のスイッチ101、画素データ符号化
部102、領域形状符号化部103、画素データ復号部
104、領域情報復号部105及び多重化部106は、
図14の上位レイヤ符号化部1403を構成する。ま
た、図1の第1の遅延部107、第2の遅延部108、
第1の領域抽出部109、第2の領域抽出部110、コ
ントローラ111、スイッチ112、補間画像作成部1
13、加重平均部114、第3の遅延部115及び第4
の遅延部116は、図14の重畳部1405あるいは重
畳部1408を構成する。なお、重畳部1408は重畳
部1405と同一の働きをする。
部102、領域形状符号化部103、画素データ復号部
104、領域情報復号部105及び多重化部106は、
図14の上位レイヤ符号化部1403を構成する。ま
た、図1の第1の遅延部107、第2の遅延部108、
第1の領域抽出部109、第2の領域抽出部110、コ
ントローラ111、スイッチ112、補間画像作成部1
13、加重平均部114、第3の遅延部115及び第4
の遅延部116は、図14の重畳部1405あるいは重
畳部1408を構成する。なお、重畳部1408は重畳
部1405と同一の働きをする。
【0025】以下、図1に従って第1の実施の形態を詳
細に説明する。
細に説明する。
【0026】スイッチ101は図示しないコントローラ
によって上位レイヤの画素値を符号化するモードと符号
化しないモードを切替える。すなわち、上位レイヤと同
じフレーム位置に対応する下位レイヤフレームが符号化
されている場合にはスイッチをオフに制御し、上位レイ
ヤの画素値を符号化しない。一方、上位レイヤと同じフ
レーム位置に対応する下位レイヤフレームが符号化され
ていない場合にはスイッチをオンに制御し、上位レイヤ
の画素値を符号化する。
によって上位レイヤの画素値を符号化するモードと符号
化しないモードを切替える。すなわち、上位レイヤと同
じフレーム位置に対応する下位レイヤフレームが符号化
されている場合にはスイッチをオフに制御し、上位レイ
ヤの画素値を符号化しない。一方、上位レイヤと同じフ
レーム位置に対応する下位レイヤフレームが符号化され
ていない場合にはスイッチをオンに制御し、上位レイヤ
の画素値を符号化する。
【0027】画素データ符号化部102はスイッチ10
1がオンの場合に、上位レイヤの画素データを符号化す
る。符号化方式としては、MPEGやH.261などの
国際標準化方式が用いられる。ただし、符号化の際には
領域形状が領域形状復号部105から図示しない信号線
を介して入力され、領域内の画素データのみが符号化さ
れる。
1がオンの場合に、上位レイヤの画素データを符号化す
る。符号化方式としては、MPEGやH.261などの
国際標準化方式が用いられる。ただし、符号化の際には
領域形状が領域形状復号部105から図示しない信号線
を介して入力され、領域内の画素データのみが符号化さ
れる。
【0028】領域形状符号化部103は、[従来の技
術]で述べた図8の領域形状符号化部806と同様の働
きによって領域形状を符号化する。
術]で述べた図8の領域形状符号化部806と同様の働
きによって領域形状を符号化する。
【0029】画素データ復号部104は、画素データ符
号化部102で符号化された画素データを復号する。こ
こでも領域形状が領域形状復号部105から図示しない
信号線を介して入力され、復号に利用される。また、復
号された画素データは第3の遅延部115に入力される
と共に、図示しない信号線を介して画素データ符号化部
にフィードバックされ、予測に利用される。
号化部102で符号化された画素データを復号する。こ
こでも領域形状が領域形状復号部105から図示しない
信号線を介して入力され、復号に利用される。また、復
号された画素データは第3の遅延部115に入力される
と共に、図示しない信号線を介して画素データ符号化部
にフィードバックされ、予測に利用される。
【0030】領域形状復号部105は、領域形状符号化
部103にて符号化された領域形状データを復号し、復
号データを第1の遅延部107に出力する。
部103にて符号化された領域形状データを復号し、復
号データを第1の遅延部107に出力する。
【0031】以上のように、本実施の形態の上位レイヤ
符号化部ではスイッチ101によって上位レイヤを符号
化する場合としない場合が制御される。次に本実施の形
態の重畳部を説明する。
符号化部ではスイッチ101によって上位レイヤを符号
化する場合としない場合が制御される。次に本実施の形
態の重畳部を説明する。
【0032】第1の遅延部107は領域形状データをa
フレームだけ遅延させる。遅延された領域形状データは
加重平均部114に入力される。第2の遅延部108は
領域形状データをさらにbフレームだけ遅延させる。遅
延された領域形状データは第1の領域抽出部109と第
2の領域抽出部110に入力される。これらの回路では
遅延をうけていない領域形状データも同時に入力されて
いる。ここで、信号線上の記号t+a,t,t−bは各
フレームの時刻を表している。また、t,a,bは整数
である。
フレームだけ遅延させる。遅延された領域形状データは
加重平均部114に入力される。第2の遅延部108は
領域形状データをさらにbフレームだけ遅延させる。遅
延された領域形状データは第1の領域抽出部109と第
2の領域抽出部110に入力される。これらの回路では
遅延をうけていない領域形状データも同時に入力されて
いる。ここで、信号線上の記号t+a,t,t−bは各
フレームの時刻を表している。また、t,a,bは整数
である。
【0033】第1の領域抽出部109は、第1の領域情
報及び第2の領域情報から第2の領域でありかつ第1の
領域でない領域を抽出する。図9(a)の場合、網点部
が抽出される。
報及び第2の領域情報から第2の領域でありかつ第1の
領域でない領域を抽出する。図9(a)の場合、網点部
が抽出される。
【0034】第1の領域抽出部110は、第1の領域情
報及び第2の領域情報から第1の領域でありかつ第2の
領域でない領域を抽出する。図9(a)の場合、斜線部
が抽出される。
報及び第2の領域情報から第1の領域でありかつ第2の
領域でない領域を抽出する。図9(a)の場合、斜線部
が抽出される。
【0035】コントローラ111は、第1の領域抽出部
109及び第2の領域抽出部110の出力によりスイッ
チ112を制御する部分である。すなわち、注目画素位
置が第1の領域のみの場合にはスイッチ112をフレー
ム時刻(t+a)の復号画像側に接続し、注目画素位置
が第2の領域のみの場合にはスイッチ112をフレーム
時刻(t−b)の復号側に接続し、それ以外の場合には
スイッチ112を補間画像作成部113からの出力に接
続する。
109及び第2の領域抽出部110の出力によりスイッ
チ112を制御する部分である。すなわち、注目画素位
置が第1の領域のみの場合にはスイッチ112をフレー
ム時刻(t+a)の復号画像側に接続し、注目画素位置
が第2の領域のみの場合にはスイッチ112をフレーム
時刻(t−b)の復号側に接続し、それ以外の場合には
スイッチ112を補間画像作成部113からの出力に接
続する。
【0036】第3の遅延部115は上位レイヤの復号画
像データをaフレームだけ遅延させ、時刻tの復号画像
データを加重平均部114に入力する。第4の遅延部1
16は下位レイヤの復号画像データを(a+b)フレー
ムだけ遅延させ、時刻(t−b)の復号画像を補間画像
作成部113に入力する。
像データをaフレームだけ遅延させ、時刻tの復号画像
データを加重平均部114に入力する。第4の遅延部1
16は下位レイヤの復号画像データを(a+b)フレー
ムだけ遅延させ、時刻(t−b)の復号画像を補間画像
作成部113に入力する。
【0037】補間画像作成部113は、下位レイヤのフ
レーム時刻(t−b)の復号画像と下位レイヤの時刻
(t+a)の復号画像との補間画像を[従来の技術]で
述べた式(1)に従って計算する。ただし式(1)でB
(x,y,t1)は第1の復号画像、B(x,y,t
2)は第2の復号画像、I(x,y,t3)は補間画像
であり、t1,t2,t3はそれぞれ第1の復号画像、
第2の復号画像及び補間画像の時間である。従って図1
の記号を用いれば、t1=t−b,t2=t+a,t3
=tとなる。
レーム時刻(t−b)の復号画像と下位レイヤの時刻
(t+a)の復号画像との補間画像を[従来の技術]で
述べた式(1)に従って計算する。ただし式(1)でB
(x,y,t1)は第1の復号画像、B(x,y,t
2)は第2の復号画像、I(x,y,t3)は補間画像
であり、t1,t2,t3はそれぞれ第1の復号画像、
第2の復号画像及び補間画像の時間である。従って図1
の記号を用いれば、t1=t−b,t2=t+a,t3
=tとなる。
【0038】以上のようにスイッチ112の切替を用い
て下位レイヤ合成を行なうので、例えば図9(a)の場
合、斜線部では第2の復号画像(フレーム時刻t+a)
が使用されるため選択領域外部の背景画素があらわれ、
網点部では第1の復号画像(フレーム時刻t−b)が使
用されるため選択領域外部の背景画素があらわれ、それ
以外の部分では第1の復号画像と第2の復号画像の補間
画像があらわれる。このようにして合成された下位レイ
ヤの上に図1の加重平均部114によって上位レイヤの
復号画像を重ねるため、重畳された画像は図9(b)の
ように選択領域(斜線部分)周辺に残像がなく、歪みの
少ない画像が得られる。図1の加重平均部114は、上
記の補間画像と上位レイヤの復号画像を加重平均によっ
て重畳する。重畳方法については[従来の技術]で述べ
たのでここでは説明を省略する。
て下位レイヤ合成を行なうので、例えば図9(a)の場
合、斜線部では第2の復号画像(フレーム時刻t+a)
が使用されるため選択領域外部の背景画素があらわれ、
網点部では第1の復号画像(フレーム時刻t−b)が使
用されるため選択領域外部の背景画素があらわれ、それ
以外の部分では第1の復号画像と第2の復号画像の補間
画像があらわれる。このようにして合成された下位レイ
ヤの上に図1の加重平均部114によって上位レイヤの
復号画像を重ねるため、重畳された画像は図9(b)の
ように選択領域(斜線部分)周辺に残像がなく、歪みの
少ない画像が得られる。図1の加重平均部114は、上
記の補間画像と上位レイヤの復号画像を加重平均によっ
て重畳する。重畳方法については[従来の技術]で述べ
たのでここでは説明を省略する。
【0039】図15は、図14の復号装置中の上位レイ
ヤ復号部1406を構成するブロック図である。分流部
1501は上位レイヤ符号化データを画素データの符号
化データと領域形状の符号化データに分流する部分であ
る。スイッチ1504は下位レイヤが符号化されている
フレーム位置でオフとなり、上位レイヤだけが符号化さ
れているフレーム位置でオンとなる。画素データ復号部
1502は上位レイヤの画素データを復号し、復号画素
を重畳部1408に出力し、領域形状復号部1503は
領域形状符号化データを復号し、復号画素を重畳部14
08に出力する部分である。重畳部1408は重畳部1
405と同様の働きにより、本発明の手法によって下位
レイヤに上位レイヤを重畳する。
ヤ復号部1406を構成するブロック図である。分流部
1501は上位レイヤ符号化データを画素データの符号
化データと領域形状の符号化データに分流する部分であ
る。スイッチ1504は下位レイヤが符号化されている
フレーム位置でオフとなり、上位レイヤだけが符号化さ
れているフレーム位置でオンとなる。画素データ復号部
1502は上位レイヤの画素データを復号し、復号画素
を重畳部1408に出力し、領域形状復号部1503は
領域形状符号化データを復号し、復号画素を重畳部14
08に出力する部分である。重畳部1408は重畳部1
405と同様の働きにより、本発明の手法によって下位
レイヤに上位レイヤを重畳する。
【0040】次に本発明の第2の実施の形態について述
べる。この実施の形態は上位レイヤ符号化装置で領域形
状を符号化しないモードを設け、符号化ビット数を削減
するものである。領域形状が時間的にほとんどあるいは
全く変化しない場合に、本実施の形態の手法を用いれば
ビット数を大幅に削減できる。
べる。この実施の形態は上位レイヤ符号化装置で領域形
状を符号化しないモードを設け、符号化ビット数を削減
するものである。領域形状が時間的にほとんどあるいは
全く変化しない場合に、本実施の形態の手法を用いれば
ビット数を大幅に削減できる。
【0041】本実施の形態は図2、図14及び図16に
よってあらわされる。図14は第1の実施の形態の説明
に用いた図であるが、第2の実施の形態の説明にも用い
る。ただし、図14の上位レイヤ符号化部1403、上
位レイヤ復号部1406、重畳部1405及び重畳部1
408の働きは第1の実施の形態とは異なる。これら働
きの異なる部分について以下に説明する。
よってあらわされる。図14は第1の実施の形態の説明
に用いた図であるが、第2の実施の形態の説明にも用い
る。ただし、図14の上位レイヤ符号化部1403、上
位レイヤ復号部1406、重畳部1405及び重畳部1
408の働きは第1の実施の形態とは異なる。これら働
きの異なる部分について以下に説明する。
【0042】図2は、第2の実施の形態における上位レ
イヤ符号化部と重畳部のブロック図である。スイッチ2
01、画素データ符号化部203、領域形状符号化部2
04、画素データ復号部205、領域形状復号部206
及び多重化部207については図1にてすでに述べたも
のと同様の働きをするので説明を省略する。
イヤ符号化部と重畳部のブロック図である。スイッチ2
01、画素データ符号化部203、領域形状符号化部2
04、画素データ復号部205、領域形状復号部206
及び多重化部207については図1にてすでに述べたも
のと同様の働きをするので説明を省略する。
【0043】スイッチ202とスイッチ208は図示し
ない制御部にて同時にオン又はオフするよう制御され
る。上位レイヤと同じフレーム位置に対応する下位レイ
ヤフレームが符号化されている場合にはスイッチをオン
に制御し、上位レイヤの領域形状を符号化する。一方、
上位レイヤと同じフレーム位置に対応する下位レイヤフ
レームが符号化されていない場合にはスイッチをオフに
制御し、上位レイヤの領域形状を符号化しない。
ない制御部にて同時にオン又はオフするよう制御され
る。上位レイヤと同じフレーム位置に対応する下位レイ
ヤフレームが符号化されている場合にはスイッチをオン
に制御し、上位レイヤの領域形状を符号化する。一方、
上位レイヤと同じフレーム位置に対応する下位レイヤフ
レームが符号化されていない場合にはスイッチをオフに
制御し、上位レイヤの領域形状を符号化しない。
【0044】第1の領域形状抽出部209では、復号装
置で得られるデータをもとに第1の領域形状を抽出す
る。同様に、第2の領域形状抽出部210では、復号装
置で得られるデータをもとに第2の領域形状を抽出す
る。復号装置で得られるデータとしては、下位レイヤの
復号画像、領域形状符号化モードがオン(スイッチ20
2、スイッチ208がオン)の時の上位レイヤの領域形
状などがある。図2では明示していないが、これらのデ
ータが各々の領域形状抽出部に入力され、領域形状の抽
出に利用される。
置で得られるデータをもとに第1の領域形状を抽出す
る。同様に、第2の領域形状抽出部210では、復号装
置で得られるデータをもとに第2の領域形状を抽出す
る。復号装置で得られるデータとしては、下位レイヤの
復号画像、領域形状符号化モードがオン(スイッチ20
2、スイッチ208がオン)の時の上位レイヤの領域形
状などがある。図2では明示していないが、これらのデ
ータが各々の領域形状抽出部に入力され、領域形状の抽
出に利用される。
【0045】第1の領域抽出部211、第2の領域抽出
部212、コントローラ213、スイッチ214、補間
画像作成部215及び加重平均部216は図1にてすで
に述べたものと同様の働きをするので説明を省略する。
また、遅延部217は図1の第4の遅延部116と同様
の働きをする。
部212、コントローラ213、スイッチ214、補間
画像作成部215及び加重平均部216は図1にてすで
に述べたものと同様の働きをするので説明を省略する。
また、遅延部217は図1の第4の遅延部116と同様
の働きをする。
【0046】図16は第2の実施の形態における上位レ
イヤ復号部のブロック図である。この図において、16
01は分流部、1602は画素データ復号部、1603
は領域形状復号部、1604はスイッチ、1605はス
イッチである。
イヤ復号部のブロック図である。この図において、16
01は分流部、1602は画素データ復号部、1603
は領域形状復号部、1604はスイッチ、1605はス
イッチである。
【0047】この図と図15との違いは、図16ではス
イッチ1605を設けている点である。スイッチ160
5は、上位レイヤ復号時に同じフレーム位置に対応する
下位レイヤフレームの符号化データが存在しない時オフ
となる。また、上位レイヤで画素データがを符号化する
フレーム位置でオンとなる。
イッチ1605を設けている点である。スイッチ160
5は、上位レイヤ復号時に同じフレーム位置に対応する
下位レイヤフレームの符号化データが存在しない時オフ
となる。また、上位レイヤで画素データがを符号化する
フレーム位置でオンとなる。
【0048】以上のように第2の実施の形態では、上位
レイヤ符号化部にて上位レイヤと同じフレーム位置に対
応する下位レイヤフレームが符号化されていない場合に
はスイッチ202及びスイッチ208をオフに制御し、
上位レイヤの領域形状を符号化しないため、符号量を削
減することが可能となる。
レイヤ符号化部にて上位レイヤと同じフレーム位置に対
応する下位レイヤフレームが符号化されていない場合に
はスイッチ202及びスイッチ208をオフに制御し、
上位レイヤの領域形状を符号化しないため、符号量を削
減することが可能となる。
【0049】上述の第1の実施の形態及び第2の実施の
形態ではスイッチ101あるいはスイッチ201によっ
て画素データの符号化のオン/オフを切替えている。こ
の切替えは図1や図2に示していない制御部にて上位レ
イヤと同じフレーム位置に対応する下位レイヤフレーム
が符号化されているかどうかを判断して行なわれる。こ
の判断は符号化装置と復号装置で同様に行なうことがで
きる。しかしながら、少なくとも復号装置ではこのよう
な判断を行なう制御部を用いずに上記スイッチの切替え
を行なうことも可能である。そのためには図3に示すよ
うな第1のフラグ発生部301と第1のフラグ符号化部
302を符号化装置に設け、フラグによって上位レイヤ
符号化部303中のスイッチを切替えれば良い。ただ
し、図3は符号化装置と復号装置の一部を示したブロッ
ク図である。
形態ではスイッチ101あるいはスイッチ201によっ
て画素データの符号化のオン/オフを切替えている。こ
の切替えは図1や図2に示していない制御部にて上位レ
イヤと同じフレーム位置に対応する下位レイヤフレーム
が符号化されているかどうかを判断して行なわれる。こ
の判断は符号化装置と復号装置で同様に行なうことがで
きる。しかしながら、少なくとも復号装置ではこのよう
な判断を行なう制御部を用いずに上記スイッチの切替え
を行なうことも可能である。そのためには図3に示すよ
うな第1のフラグ発生部301と第1のフラグ符号化部
302を符号化装置に設け、フラグによって上位レイヤ
符号化部303中のスイッチを切替えれば良い。ただ
し、図3は符号化装置と復号装置の一部を示したブロッ
ク図である。
【0050】フラグ発生部301は上位レイヤと同じフ
レーム位置に対応する下位レイヤフレームが符号化され
ているかどうかを判断してフラグを発生する。第1のフ
ラグ符号化部302は第1のフラグを符号化し、符号化
データは図示しない多重化部にて符号化データに多重化
して伝送あるいは蓄積される。フラグの符号化方法とし
ては固定長符号化や、可変長符号化などが用いられる。
レーム位置に対応する下位レイヤフレームが符号化され
ているかどうかを判断してフラグを発生する。第1のフ
ラグ符号化部302は第1のフラグを符号化し、符号化
データは図示しない多重化部にて符号化データに多重化
して伝送あるいは蓄積される。フラグの符号化方法とし
ては固定長符号化や、可変長符号化などが用いられる。
【0051】復号装置における第1のフラグ復号部30
4は符号化データから第1のフラグを復号し上位レイヤ
復号部305に出力する。上位レイヤ復号部に含まれる
スイッチ1504あるいはスイッチ1604の切替えに
際しては、上述した切替え判断を行なうことなく、復号
された第1のフラグにしたがって切替が行なわれる。
4は符号化データから第1のフラグを復号し上位レイヤ
復号部305に出力する。上位レイヤ復号部に含まれる
スイッチ1504あるいはスイッチ1604の切替えに
際しては、上述した切替え判断を行なうことなく、復号
された第1のフラグにしたがって切替が行なわれる。
【0052】次に、第2の実施の形態における領域形状
抽出部について説明する。ここでは復号装置で得られる
データをもとに第2の領域形状を抽出するが、復号装置
で得られるデータとして、下位レイヤの復号データや上
位レイヤの復号領域形状などを用いればよい。
抽出部について説明する。ここでは復号装置で得られる
データをもとに第2の領域形状を抽出するが、復号装置
で得られるデータとして、下位レイヤの復号データや上
位レイヤの復号領域形状などを用いればよい。
【0053】図4は、下位レイヤの復号データを用いて
領域形状を抽出する場合の重畳部のブロック図である。
第1の領域形状抽出部402には遅延部401にて遅延
された下位レイヤの第1の復号画像が入力され、第2の
領域形状抽出部403には下位レイヤの復号画像が遅延
なしに入力される。各領域形状抽出部は選択領域を抜き
出すように入力された復号画像を領域分割し、領域形状
を抽出する。領域分割の手法としては、微分演算を用い
たエッジ検出手法やモルフォロジカルセグメンテーショ
ンなどが用いられる。図4の他の部分は図2と同様の働
きをするので、ここでは説明を省略する。
領域形状を抽出する場合の重畳部のブロック図である。
第1の領域形状抽出部402には遅延部401にて遅延
された下位レイヤの第1の復号画像が入力され、第2の
領域形状抽出部403には下位レイヤの復号画像が遅延
なしに入力される。各領域形状抽出部は選択領域を抜き
出すように入力された復号画像を領域分割し、領域形状
を抽出する。領域分割の手法としては、微分演算を用い
たエッジ検出手法やモルフォロジカルセグメンテーショ
ンなどが用いられる。図4の他の部分は図2と同様の働
きをするので、ここでは説明を省略する。
【0054】図5は、復号装置で得られるデータとして
上位レイヤの復号領域形状を用いる場合のブロック図で
ある。この図において、501は遅延部、502は第1
の領域形状抽出部、503は第2の領域形状抽出部、5
04は第1の領域抽出部、505は第2の領域抽出部、
506はコントローラ、507はスイッチ、508は補
間画像作成部、509は加重平均部である。
上位レイヤの復号領域形状を用いる場合のブロック図で
ある。この図において、501は遅延部、502は第1
の領域形状抽出部、503は第2の領域形状抽出部、5
04は第1の領域抽出部、505は第2の領域抽出部、
506はコントローラ、507はスイッチ、508は補
間画像作成部、509は加重平均部である。
【0055】図5で、上位レイヤの領域形状が符号化さ
れた場合に、その復号データが第1の領域形状抽出部5
02と第2の領域形状抽出部503に入力される。各領
域形状抽出部では復号された領域形状を記憶しておき、
下位レイヤフレームに対応する領域形状を抽出する。例
えば図13に示すように、下位レイヤフレームの前後の
上位レイヤの復号領域形状1及び2から並行移動、回
転、拡大縮小などを表現するアフィン変換によって下位
レイヤフレーム位置での領域形状を抽出する方法が考え
られる。
れた場合に、その復号データが第1の領域形状抽出部5
02と第2の領域形状抽出部503に入力される。各領
域形状抽出部では復号された領域形状を記憶しておき、
下位レイヤフレームに対応する領域形状を抽出する。例
えば図13に示すように、下位レイヤフレームの前後の
上位レイヤの復号領域形状1及び2から並行移動、回
転、拡大縮小などを表現するアフィン変換によって下位
レイヤフレーム位置での領域形状を抽出する方法が考え
られる。
【0056】そのために、まず領域形状1から領域形状
2へのアフィン変換を求める。すなわち、領域形状1を
変換することによって領域形状2を近似するようなアフ
ィン変換パラメータを求める。次に領域形状1から下位
レイヤフレーム上へのアフィン変換を、変換係数を線形
内挿することによって求める。このアフィン変換を用い
て下位レイヤフレーム上での領域形状を求めることがで
きる。アフィン変換のかわりに、領域形状1から領域形
状2への予測をブロックマッチングにて行ない、その結
果を線形内挿することで下位レイヤフレーム上での領域
形状を求めてもよい。あるいは領域形状1又は2をその
まま下位レイヤフレーム上での領域形状として用いるこ
とも可能である。
2へのアフィン変換を求める。すなわち、領域形状1を
変換することによって領域形状2を近似するようなアフ
ィン変換パラメータを求める。次に領域形状1から下位
レイヤフレーム上へのアフィン変換を、変換係数を線形
内挿することによって求める。このアフィン変換を用い
て下位レイヤフレーム上での領域形状を求めることがで
きる。アフィン変換のかわりに、領域形状1から領域形
状2への予測をブロックマッチングにて行ない、その結
果を線形内挿することで下位レイヤフレーム上での領域
形状を求めてもよい。あるいは領域形状1又は2をその
まま下位レイヤフレーム上での領域形状として用いるこ
とも可能である。
【0057】第2の実施の形態では下位レイヤが符号化
されないフレームで図2のスイッチ202をオフ、上位
レイヤの画素データを符号化するフレーム位置でスイッ
チ202をオンとしたが、これとは異なるコントロール
を行なってもよい。例えば領域形状の時間的変化を調
べ、ほとんど変化しない場合にはスイッチ202をオ
フ、それ以外ではオンとし、オフの場合の復号領域形状
データとしては直前に符号化・復号された領域形状デー
タのコピーを使用するという方法を用いてもよい。
されないフレームで図2のスイッチ202をオフ、上位
レイヤの画素データを符号化するフレーム位置でスイッ
チ202をオンとしたが、これとは異なるコントロール
を行なってもよい。例えば領域形状の時間的変化を調
べ、ほとんど変化しない場合にはスイッチ202をオ
フ、それ以外ではオンとし、オフの場合の復号領域形状
データとしては直前に符号化・復号された領域形状デー
タのコピーを使用するという方法を用いてもよい。
【0058】次に第3の実施の形態について説明する。
本実施の形態は、上位レイヤ復号時に上位レイヤのフレ
ーム位置に対応する下位レイヤの符号化データが存在し
ない場合に、第1及び第2の実施の形態で述べた下位レ
イヤフレームの合成を行なわないモードを設けることを
目的としている。例えば、領域形状が時間的にあまり変
化していない場合は[発明が解決しようとする課題]で
述べた問題点が無視できるため、下位レイヤフレームの
合成を行なう必要がない。領域形状が大きく変化する場
合でも、符号化装置及び復号装置にて処理量を増加させ
ないために下位レイヤフレームの合成を行なわないモー
ドを選択可能とする。このような目的のために、図6に
示すように符号化装置に第2のフラグ発生部601と第
2のフラグ符号化部602を設け、復号装置に第2のフ
ラグ復号部604を設ける。ただし、図6は符号化装置
と復号装置の一部を示したブロック図である。
本実施の形態は、上位レイヤ復号時に上位レイヤのフレ
ーム位置に対応する下位レイヤの符号化データが存在し
ない場合に、第1及び第2の実施の形態で述べた下位レ
イヤフレームの合成を行なわないモードを設けることを
目的としている。例えば、領域形状が時間的にあまり変
化していない場合は[発明が解決しようとする課題]で
述べた問題点が無視できるため、下位レイヤフレームの
合成を行なう必要がない。領域形状が大きく変化する場
合でも、符号化装置及び復号装置にて処理量を増加させ
ないために下位レイヤフレームの合成を行なわないモー
ドを選択可能とする。このような目的のために、図6に
示すように符号化装置に第2のフラグ発生部601と第
2のフラグ符号化部602を設け、復号装置に第2のフ
ラグ復号部604を設ける。ただし、図6は符号化装置
と復号装置の一部を示したブロック図である。
【0059】図6の第2のフラグ発生部601は下位レ
イヤフレームの合成を行なうかどうかを示すフラグを発
生する。重畳部603では第2のフラグに従って下位レ
イヤフレームの合成を行なう場合と行なわない場合を切
替える。第2のフラグ符号化部602は第2のフラグを
符号化し、符号化データは図示しない多重化部にて符号
化データに多重化して伝送あるいは蓄積される。フラグ
の符号化方法としては固定長符号化や、可変長符号化な
どが用いられる。
イヤフレームの合成を行なうかどうかを示すフラグを発
生する。重畳部603では第2のフラグに従って下位レ
イヤフレームの合成を行なう場合と行なわない場合を切
替える。第2のフラグ符号化部602は第2のフラグを
符号化し、符号化データは図示しない多重化部にて符号
化データに多重化して伝送あるいは蓄積される。フラグ
の符号化方法としては固定長符号化や、可変長符号化な
どが用いられる。
【0060】復号装置における第2のフラグ復号部60
4は符号化データから第2のフラグを復号し重畳部60
5に出力する。重畳部605では復号された第2のフラ
グにしたがって下位レイヤを合成するか否かの切替が行
なわれる。
4は符号化データから第2のフラグを復号し重畳部60
5に出力する。重畳部605では復号された第2のフラ
グにしたがって下位レイヤを合成するか否かの切替が行
なわれる。
【0061】第3の実施の形態において下位レイヤの合
成を行なわない場合には、下位レイヤにて符号化され、
復号された前後の下位レイヤフレームのうちいずれかを
合成された下位レイヤフレームのかわりに用いる。この
場合の回路構成を図7に示す。この図において、701
はスイッチ、702はスイッチ、703は画素データ符
号化部、704は領域形状符号化部、705は画素デー
タ復号部、706は領域形状復号部、707は多重化
部、708はスイッチ、709は下位レイヤ合成部、7
10はスイッチ、711は加重平均部である。
成を行なわない場合には、下位レイヤにて符号化され、
復号された前後の下位レイヤフレームのうちいずれかを
合成された下位レイヤフレームのかわりに用いる。この
場合の回路構成を図7に示す。この図において、701
はスイッチ、702はスイッチ、703は画素データ符
号化部、704は領域形状符号化部、705は画素デー
タ復号部、706は領域形状復号部、707は多重化
部、708はスイッチ、709は下位レイヤ合成部、7
10はスイッチ、711は加重平均部である。
【0062】次に、図7の回路の動作について説明す
る。まず、下位レイヤの復号画像と、下位レイヤ合成部
709で合成された下位レイヤフレームがスイッチ71
0にて切替えられ、加重平均部711に入力される。図
7の下位レイヤ合成部709では、第1、第2の実施の
形態で述べた方法に従って下位レイヤフレームが合成さ
れる。スイッチ710は図6で説明した第2のフラグに
従い、下位レイヤ合成がオンの時は下側に、オフの時は
上側に切替えられる。
る。まず、下位レイヤの復号画像と、下位レイヤ合成部
709で合成された下位レイヤフレームがスイッチ71
0にて切替えられ、加重平均部711に入力される。図
7の下位レイヤ合成部709では、第1、第2の実施の
形態で述べた方法に従って下位レイヤフレームが合成さ
れる。スイッチ710は図6で説明した第2のフラグに
従い、下位レイヤ合成がオンの時は下側に、オフの時は
上側に切替えられる。
【0063】第3の実施の形態において下位レイヤの合
成に用いる領域形状の符号化方法としては、以下に述べ
るようなものを用いても良い。すなわち、下位レイヤ合
成を行なう上位レイヤのフレーム位置で、その前後のフ
レーム位置の下位レイヤにおける領域形状を、現在のフ
レーム位置で符号化する。この方法を用いた上位レイヤ
符号化部を図17に、上位レイヤ復号部を図18に示
す。
成に用いる領域形状の符号化方法としては、以下に述べ
るようなものを用いても良い。すなわち、下位レイヤ合
成を行なう上位レイヤのフレーム位置で、その前後のフ
レーム位置の下位レイヤにおける領域形状を、現在のフ
レーム位置で符号化する。この方法を用いた上位レイヤ
符号化部を図17に、上位レイヤ復号部を図18に示
す。
【0064】図17において、1701は画素データ符
号化部、1702は画素データ復号部、1703は第1
の遅延部、1704第2の遅延部、1705はスイッ
チ、1706はスイッチ、1707は領域形状符号化
部、1708は領域形状復号部、1709は第3のフラ
グ発生部、1710は第4のフラグ発生部、1711は
第3のフラグ符号化部、1712は第4のフラグ符号化
部、1713はコントローラ、1714は多重化部であ
る。
号化部、1702は画素データ復号部、1703は第1
の遅延部、1704第2の遅延部、1705はスイッ
チ、1706はスイッチ、1707は領域形状符号化
部、1708は領域形状復号部、1709は第3のフラ
グ発生部、1710は第4のフラグ発生部、1711は
第3のフラグ符号化部、1712は第4のフラグ符号化
部、1713はコントローラ、1714は多重化部であ
る。
【0065】図17で画素データ符号化部1701及び
画素データ復号部1702は、図1の説明で述べたもの
と同様の働きをするのでこれらについての説明を省略す
る。図17で領域形状は第1の遅延部1703でaフレ
ーム遅延され、さらに第2の遅延部1704でbフレー
ム遅延される。
画素データ復号部1702は、図1の説明で述べたもの
と同様の働きをするのでこれらについての説明を省略す
る。図17で領域形状は第1の遅延部1703でaフレ
ーム遅延され、さらに第2の遅延部1704でbフレー
ム遅延される。
【0066】第3のフラグ発生部1709、第4のフラ
グ発生部1710はそれぞれ第3のフラグ、第4のフラ
グを発生させる。第3のフラグはフレーム時刻t+aに
おける領域形状(以後、領域形状2とする)を符号化す
るか否かを表し、第4のフラグはフレーム時刻t−bに
おける領域形状(以後、領域形状1とする)を符号化す
るか否かを表す。コントローラ1713は、第3のフラ
グ及び第4のフラグの入力によってスイッチ1705及
びスイッチ1706を制御する。
グ発生部1710はそれぞれ第3のフラグ、第4のフラ
グを発生させる。第3のフラグはフレーム時刻t+aに
おける領域形状(以後、領域形状2とする)を符号化す
るか否かを表し、第4のフラグはフレーム時刻t−bに
おける領域形状(以後、領域形状1とする)を符号化す
るか否かを表す。コントローラ1713は、第3のフラ
グ及び第4のフラグの入力によってスイッチ1705及
びスイッチ1706を制御する。
【0067】すなわち、第3のフラグが領域形状を符号
化することを表す場合にはスイッチ1705をオンと
し、そうでない場合にはスイッチ1705をオフとす
る。また、第4のフラグが領域形状を符号化することを
表す場合にはスイッチ1706をオンとし、そうでない
場合にはスイッチ1706をオフとする。第3のフラグ
符号化部及び第4のフラグ符号化部はそれぞれ第3のフ
ラグ及び第4のフラグの符号化を行なう。フラグの符号
化方法としては固定長符号化や、可変長符号化などが用
いられる。
化することを表す場合にはスイッチ1705をオンと
し、そうでない場合にはスイッチ1705をオフとす
る。また、第4のフラグが領域形状を符号化することを
表す場合にはスイッチ1706をオンとし、そうでない
場合にはスイッチ1706をオフとする。第3のフラグ
符号化部及び第4のフラグ符号化部はそれぞれ第3のフ
ラグ及び第4のフラグの符号化を行なう。フラグの符号
化方法としては固定長符号化や、可変長符号化などが用
いられる。
【0068】領域形状符号化部1707は、領域形状が
入力されたフレーム時刻にその領域形状を符号化し、符
号化データを出力する。領域形状復号部1708は領域
形状の符号化データを復号し、復号された領域形状を重
畳部に送る。ここで重畳部としては図1に示したような
装置を用いるが、図1の第1の遅延部107及び第2の
遅延部108は使用しない。領域形状1の復号データは
重畳部の第1の領域抽出部109及び第2の領域抽出部
110に入力され、同様に領域形状2の復号データも第
1の領域抽出部109及び第2の領域抽出部110に入
力される。これに対し、フレーム時刻tに対応する領域
形状の復号データは加重平均部114に入力される。
入力されたフレーム時刻にその領域形状を符号化し、符
号化データを出力する。領域形状復号部1708は領域
形状の符号化データを復号し、復号された領域形状を重
畳部に送る。ここで重畳部としては図1に示したような
装置を用いるが、図1の第1の遅延部107及び第2の
遅延部108は使用しない。領域形状1の復号データは
重畳部の第1の領域抽出部109及び第2の領域抽出部
110に入力され、同様に領域形状2の復号データも第
1の領域抽出部109及び第2の領域抽出部110に入
力される。これに対し、フレーム時刻tに対応する領域
形状の復号データは加重平均部114に入力される。
【0069】スイッチ1705とスイッチ1706のオ
ン・オフの組合せは次の3通りに制御される。すなわち
両スイッチが共にオン、両スイッチが共にオフ、スイッ
チ1705がオンかつスイッチ1706がオフの3通り
である。下位レイヤの合成を初めておこなう場合には両
スイッチが共にオンに制御され、前後のフレーム位置の
領域形状、つまり領域形状1及び領域形状2が符号化・
復号され、復号された領域形状が第1の領域抽出部10
9及び第2の領域抽出部110に入力される。領域形状
1と領域形状2として前回の下位レイヤ合成時と同じ領
域形状を用いる場合には両スイッチが共にオフに制御さ
れる。この場合は第1の領域抽出部109及び第2の領
域抽出部110に、図示しないメモリより前回の下位レ
イヤ合成時に使用した領域形状1と領域形状2が入力さ
れる。
ン・オフの組合せは次の3通りに制御される。すなわち
両スイッチが共にオン、両スイッチが共にオフ、スイッ
チ1705がオンかつスイッチ1706がオフの3通り
である。下位レイヤの合成を初めておこなう場合には両
スイッチが共にオンに制御され、前後のフレーム位置の
領域形状、つまり領域形状1及び領域形状2が符号化・
復号され、復号された領域形状が第1の領域抽出部10
9及び第2の領域抽出部110に入力される。領域形状
1と領域形状2として前回の下位レイヤ合成時と同じ領
域形状を用いる場合には両スイッチが共にオフに制御さ
れる。この場合は第1の領域抽出部109及び第2の領
域抽出部110に、図示しないメモリより前回の下位レ
イヤ合成時に使用した領域形状1と領域形状2が入力さ
れる。
【0070】また、前回の下位レイヤ合成時に使用した
領域形状2を、今回の下位レイヤ合成時に領域形状1と
して用い、今回合成時の領域形状2としては新たな領域
形状を用いる場合にはスイッチ1705をオンかつスイ
ッチ1706をオフと制御する。この場合は第1の領域
抽出部109及び第2の領域抽出部110に、図示しな
いメモリより前回の下位レイヤ合成時に使用した領域形
状2を今回合成時の領域形状1として入力する。また、
今回新たに符号化・復号された領域形状2を第1の領域
抽出部109及び第2の領域抽出部110に入力する。
領域形状2を、今回の下位レイヤ合成時に領域形状1と
して用い、今回合成時の領域形状2としては新たな領域
形状を用いる場合にはスイッチ1705をオンかつスイ
ッチ1706をオフと制御する。この場合は第1の領域
抽出部109及び第2の領域抽出部110に、図示しな
いメモリより前回の下位レイヤ合成時に使用した領域形
状2を今回合成時の領域形状1として入力する。また、
今回新たに符号化・復号された領域形状2を第1の領域
抽出部109及び第2の領域抽出部110に入力する。
【0071】図17の画素データ復号部1702で復号
されたフレーム時刻t+aの画素データは、図1の重畳
部中の第3の遅延部115でaフレーム遅延された後、
加重平均部114に入力される。図17の多重化部17
08は画素データ、領域形状、第3のフラグ及び第4の
フラグの各々の符号化データを多重化し、上位レイヤの
符号化データとして出力する。
されたフレーム時刻t+aの画素データは、図1の重畳
部中の第3の遅延部115でaフレーム遅延された後、
加重平均部114に入力される。図17の多重化部17
08は画素データ、領域形状、第3のフラグ及び第4の
フラグの各々の符号化データを多重化し、上位レイヤの
符号化データとして出力する。
【0072】次に、上述した上位レイヤ符号化データを
復号する上位レイヤ復号部を図18を用いて説明する。
この図において、1801は分流部、1802は画素デ
ータ復号部、1803は領域形状復号部、1804は第
3のフラグ復号部、1805は第4のフラグ復号部、1
806は第1の遅延部、1807は第2の遅延部、18
08はスイッチ、1809はスイッチ、1810はコン
トローラである。
復号する上位レイヤ復号部を図18を用いて説明する。
この図において、1801は分流部、1802は画素デ
ータ復号部、1803は領域形状復号部、1804は第
3のフラグ復号部、1805は第4のフラグ復号部、1
806は第1の遅延部、1807は第2の遅延部、18
08はスイッチ、1809はスイッチ、1810はコン
トローラである。
【0073】図18で、分流部1801は上位レイヤ符
号化データを、画素データ、領域形状、第3のフラグ及
び第4のフラグの各々の符号化データに分離する部分で
ある。画素データ復号部1802、領域形状復号部18
03、第1の遅延部1806、第2の遅延部1807、
スイッチ1808及びスイッチ1809は、図17と同
様の働きをするので説明を省略する。
号化データを、画素データ、領域形状、第3のフラグ及
び第4のフラグの各々の符号化データに分離する部分で
ある。画素データ復号部1802、領域形状復号部18
03、第1の遅延部1806、第2の遅延部1807、
スイッチ1808及びスイッチ1809は、図17と同
様の働きをするので説明を省略する。
【0074】図18の第3のフラグ復号部及び第4のフ
ラグ復号部は、第3のフラグ及び第4のフラグをそれぞ
れ復号し、コントローラ1810に供給する。コントロ
ーラ1810は図17のコントローラ1713と同様に
2つのスイッチを制御するが、これと同時に分流部18
01で領域形状の符号化データを取り出す制御も行な
う。すなわち第3のフラグが領域形状1が符号化された
ことを示している時は、上位レイヤ符号化データから領
域形状1のデータを分離し、そうでない場合は領域形状
1のデータは存在しないので上位レイヤ符号化データか
らこれを分離しないように制御する。
ラグ復号部は、第3のフラグ及び第4のフラグをそれぞ
れ復号し、コントローラ1810に供給する。コントロ
ーラ1810は図17のコントローラ1713と同様に
2つのスイッチを制御するが、これと同時に分流部18
01で領域形状の符号化データを取り出す制御も行な
う。すなわち第3のフラグが領域形状1が符号化された
ことを示している時は、上位レイヤ符号化データから領
域形状1のデータを分離し、そうでない場合は領域形状
1のデータは存在しないので上位レイヤ符号化データか
らこれを分離しないように制御する。
【0075】第4のフラグについても分流部1801に
対して同様の制御がなされる。2つのスイッチのオン・
オフの組合せは図17の上位レイヤ符号化部と同様、3
種類存在する。それぞれの組合せにおける動作は図17
の説明で述べたものと同様である。
対して同様の制御がなされる。2つのスイッチのオン・
オフの組合せは図17の上位レイヤ符号化部と同様、3
種類存在する。それぞれの組合せにおける動作は図17
の説明で述べたものと同様である。
【0076】このように、第3の実施の形態において下
位レイヤの合成に用いる領域形状の符号化方法として、
下位レイヤ合成を行なう上位レイヤのフレーム位置で、
その前後のフレーム位置の下位レイヤにおける領域形状
を、現在のフレーム位置で符号化する方法を用いること
ができる。
位レイヤの合成に用いる領域形状の符号化方法として、
下位レイヤ合成を行なう上位レイヤのフレーム位置で、
その前後のフレーム位置の下位レイヤにおける領域形状
を、現在のフレーム位置で符号化する方法を用いること
ができる。
【0077】これまで本発明の説明において、下位レイ
ヤフレームに上位レイヤフレームが重畳された画像は、
符号化装置では図14に示す様に上位レイヤ符号化部に
フィードバックされ、上位レイヤの予測符号化に利用さ
れる。復号装置では上位レイヤの予測符号化に利用され
ると共にディスプレイなどに表示される。しかしなが
ら、重畳された画像は表示用のためにだけ使用しても良
い。
ヤフレームに上位レイヤフレームが重畳された画像は、
符号化装置では図14に示す様に上位レイヤ符号化部に
フィードバックされ、上位レイヤの予測符号化に利用さ
れる。復号装置では上位レイヤの予測符号化に利用され
ると共にディスプレイなどに表示される。しかしなが
ら、重畳された画像は表示用のためにだけ使用しても良
い。
【0078】すなわち、符号化装置では本実施の形態の
重畳部を持たず、上位レイヤの復号画像が直接上位レイ
ヤ符号化部にフィードバックされて予測符号化に利用さ
れる。復号装置では上位レイヤの復号画像は直接上位レ
イヤ復号部にフィードバックされて予測に利用されると
共に重畳部に入力され、重畳部の出力はディスプレイな
どに表示される。
重畳部を持たず、上位レイヤの復号画像が直接上位レイ
ヤ符号化部にフィードバックされて予測符号化に利用さ
れる。復号装置では上位レイヤの復号画像は直接上位レ
イヤ復号部にフィードバックされて予測に利用されると
共に重畳部に入力され、重畳部の出力はディスプレイな
どに表示される。
【0079】また、本発明の説明で領域形状の符号化は
全て8方向量子化符号による方法を用いて説明している
が、他の形状符号化手法を用いても良いことはもちろん
である。
全て8方向量子化符号による方法を用いて説明している
が、他の形状符号化手法を用いても良いことはもちろん
である。
【0080】
【発明の効果】本発明の動画像符号化装置及び動画像復
号装置によれば、 (1)符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第1領域
形状と、時間的に後に存在する下位レイヤの第2領域形
状を上位レイヤにおいて符号化し、前記第1領域形状と
前記第2領域形状を用い、前記第1の領域形状のみの領
域に対しては前記第2の下位レイヤフレームの画素値を
使用し、前記第2の領域形状のみの領域に対しては前記
第1の下位レイヤフレームの画素値を使用して前記合成
を行なうことにより、領域形状が時間的に変化する場合
でも下位レイヤと上位レイヤの重畳画像に歪みがなく良
好な画像を得ることができる。 (2)符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第1領域
形状と、時間的に後に存在する下位レイヤの第2領域形
状の符号化を行なわず、前記第1領域形状と前記第2領
域形状を、下位レイヤ復号部で得られた下位レイヤ復号
画像を領域分割することによって抽出することで、上位
レイヤで領域形状の符号化を行なわないモードが導入さ
れ、ビット数を削減することができる。 (3)符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第1領域
形状と、時間的に後に存在する下位レイヤの第2領域形
状の符号化を行なわず、前記第1領域形状及び前記第2
領域形状を、領域形状復号部で得られた領域形状からア
フィン変換を用いて推定することによって抽出すること
で、ビット数を増やすことなく正確に領域形状を得るこ
とができる。 (4)符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第1領域
形状と、時間的に後に存在する下位レイヤの第2領域形
状の符号化を行なわず、前記第1領域形状及び前記第2
領域形状を、領域形状復号部で得られた領域形状からブ
ロックマッチングによる予測を用いて推定することによ
って抽出することで、ビット数を増やすことなく簡単に
領域形状を得ることができる。 (5)前記(1)〜(4)において、前記存在しない下
位レイヤフレームの合成を行うか否かを示すフラグを符
号化することによって、存在しない下位レイヤフレーム
の時間的に前または後に存在する下位レイヤフレームを
合成された下位レイヤフレームとして用いることがで
き、合成に必要な処理量を減らすことが可能となる。 (6)前記(1)において、前記第1領域形状及び第2
領域形状をそれぞれ符号化するか否かを示す第1及び第
2のフラグを符号化することによって、第1及び第2の
領域形状がともに符号化されていない場合には、前回の
下位レイヤ合成時に使用した領域形状をそれぞれ今回の
下位レイヤ合成時に用いる領域形状とし、第2の領域形
状だけが符号化されている場合には、前回の下位レイヤ
合成時に使用した第2の領域形状を今回の下位レイヤ合
成時に用いる第1の領域形状とすることができる。 (7)下位レイヤにて領域情報を符号化しないので、下
位レイヤで多くのビットを発生することがない。従っ
て、下位レイヤを伝送あるいは蓄積する比較的ビットレ
ートの低い伝送路やメモリでも大きな歪みを生ずること
なく、良好な下位レイヤ画像を伝送あるいは蓄積するこ
とができる。
号装置によれば、 (1)符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第1領域
形状と、時間的に後に存在する下位レイヤの第2領域形
状を上位レイヤにおいて符号化し、前記第1領域形状と
前記第2領域形状を用い、前記第1の領域形状のみの領
域に対しては前記第2の下位レイヤフレームの画素値を
使用し、前記第2の領域形状のみの領域に対しては前記
第1の下位レイヤフレームの画素値を使用して前記合成
を行なうことにより、領域形状が時間的に変化する場合
でも下位レイヤと上位レイヤの重畳画像に歪みがなく良
好な画像を得ることができる。 (2)符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第1領域
形状と、時間的に後に存在する下位レイヤの第2領域形
状の符号化を行なわず、前記第1領域形状と前記第2領
域形状を、下位レイヤ復号部で得られた下位レイヤ復号
画像を領域分割することによって抽出することで、上位
レイヤで領域形状の符号化を行なわないモードが導入さ
れ、ビット数を削減することができる。 (3)符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第1領域
形状と、時間的に後に存在する下位レイヤの第2領域形
状の符号化を行なわず、前記第1領域形状及び前記第2
領域形状を、領域形状復号部で得られた領域形状からア
フィン変換を用いて推定することによって抽出すること
で、ビット数を増やすことなく正確に領域形状を得るこ
とができる。 (4)符号化されていない下位レイヤフレームの合成を
行う際に、時間的に前に存在する下位レイヤの第1領域
形状と、時間的に後に存在する下位レイヤの第2領域形
状の符号化を行なわず、前記第1領域形状及び前記第2
領域形状を、領域形状復号部で得られた領域形状からブ
ロックマッチングによる予測を用いて推定することによ
って抽出することで、ビット数を増やすことなく簡単に
領域形状を得ることができる。 (5)前記(1)〜(4)において、前記存在しない下
位レイヤフレームの合成を行うか否かを示すフラグを符
号化することによって、存在しない下位レイヤフレーム
の時間的に前または後に存在する下位レイヤフレームを
合成された下位レイヤフレームとして用いることがで
き、合成に必要な処理量を減らすことが可能となる。 (6)前記(1)において、前記第1領域形状及び第2
領域形状をそれぞれ符号化するか否かを示す第1及び第
2のフラグを符号化することによって、第1及び第2の
領域形状がともに符号化されていない場合には、前回の
下位レイヤ合成時に使用した領域形状をそれぞれ今回の
下位レイヤ合成時に用いる領域形状とし、第2の領域形
状だけが符号化されている場合には、前回の下位レイヤ
合成時に使用した第2の領域形状を今回の下位レイヤ合
成時に用いる第1の領域形状とすることができる。 (7)下位レイヤにて領域情報を符号化しないので、下
位レイヤで多くのビットを発生することがない。従っ
て、下位レイヤを伝送あるいは蓄積する比較的ビットレ
ートの低い伝送路やメモリでも大きな歪みを生ずること
なく、良好な下位レイヤ画像を伝送あるいは蓄積するこ
とができる。
【図1】本発明の第1の実施の形態を示すブロック図で
ある。
ある。
【図2】本発明の第2の実施の形態を示すブロック図で
ある。
ある。
【図3】本発明の第1のフラグを説明する図である。
【図4】本発明で下位レイヤの復号データを用いて領域
形状を抽出する場合のブロック図である。
形状を抽出する場合のブロック図である。
【図5】本発明で上位レイヤの領域形状を用いて領域形
状を抽出する場合のブロック図である。
状を抽出する場合のブロック図である。
【図6】本発明の第3の実施の形態を説明する図であ
る。
る。
【図7】本発明の第3の実施の形態の他の例を説明する
図である。
図である。
【図8】従来の符号化方式及び復号方式を説明するブロ
ック図である。
ック図である。
【図9】本発明の効果の一例を説明する図である。
【図10】従来法の概念を示す図である。
【図11】8方向量子化符号を説明する図である。
【図12】従来法の問題点を説明する図である。
【図13】本発明で上位レイヤの領域形状を用いて領域
形状を抽出する例を説明する図である。
形状を抽出する例を説明する図である。
【図14】本発明の第1の実施の形態及び第2の実施の
形態を説明するブロック図である。
形態を説明するブロック図である。
【図15】本発明の第1の実施の形態を説明するブロッ
ク図である。
ク図である。
【図16】本発明の第2の実施の形態を説明するブロッ
ク図である。
ク図である。
【図17】本発明の上位レイヤ符号化部の例を示すブロ
ック図である。
ック図である。
【図18】本発明の上位レイヤ復号部の例を示すブロッ
ク図である。
ク図である。
101 スイッチ 102 画素データ符号化部 103 領域形状符号化部 104 画素データ復号部 105 領域形状復号部 106 多重化部 107 第1の遅延部 108 第2の遅延部 109 第1の領域抽出部 110 第2の領域抽出部 111 コントローラ 112 スイッチ 113 補間画像作成部 114 加重平均部 115 第3の遅延部 116 第4の遅延部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 草尾 寛 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (72)発明者 渡部 秀一 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 平8−130733(JP,A) 特開 平7−38899(JP,A) 特開 昭60−206287(JP,A) 特開 昭60−128791(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 INSPEC(DIALOG) JICSTファイル(JOIS) 実用ファイル(PATOLIS) 特許ファイル(PATOLIS)
Claims (9)
- 【請求項1】 動画像シーケンスの画素データを第1の
フレームレートで符号化した下位レイヤ符号化データ
と、前記動画像シーケンスの特定領域の画素データを前
記第1のフレームレートより高い第2のフレームレート
で符号化するとともに、前記動画像シーケンスの特定領
域の領域形状を符号化した上位レイヤ符号化データとを
入力とし、 下位レイヤ復号画像を出力するか、あるいは下位レイヤ
復号画像と上位レイヤ復号画像との重畳画像を出力する
動画像復号装置であって、 前記下位レイヤ符号化データを前記第1のフレームレー
トで復号する下位レイヤ復号部と、 前記上位レイヤ符号化データを、画素データの符号化デ
ータと領域形状の符号化データとに分流する分流部と、 前記分流部で分流された画素データの符号化データを前
記第2のフレームレートで復号する画素データ復号部
と、 前記分流部で分流された領域形状の符号化データを復号
する領域形状復号部とを備え、 前記領域形状の符号化データは、上位レイヤフレームと
時間的に同じフレーム位置に対応する下位レイヤフレー
ムが存在しない場合、そのフレーム位置の時間的に前後
に存在する第1及び第2の下位レイヤフレームにおける
特定領域を示す第1領域形状及び第2領域形状の符号化
データを含んでおり、 前記第1領域形状及び前記第2領域形状と、前記第1及
び第2の下位レイヤフレームを用い、前記第1の領域形
状のみの領域に対しては前記第2の下位レイヤフレーム
の画素値を使用し、前記第2の領域形状のみの領域に対
しては前記第1の下位レイヤフレームの画素値を使用し
て、前記存在しない下位レイヤフレームの合成を行うこ
とを特徴とする動画像復号装置。 - 【請求項2】 動画像シーケンスの画素データを第1の
フレームレートで符号化した下位レイヤ符号化データ
と、前記動画像シーケンスの特定領域の画素データを前
記第1のフレームレートより高い第2のフレームレート
で符号化するとともに、該特定領域の画素データを符号
化するフレーム位置においてのみ、前記動画像シーケン
スの特定領域の領域形状を符号化した上位レイヤ符号化
データとを入力とし、 下位レイヤ復号画像を出力するか、あるいは下位レイヤ
復号画像と上位レイヤ復号画像との重畳画像を出力する
動画像復号装置であって、 前記下位レイヤ符号化データを前記第1のフレームレー
トで復号する下位レイヤ復号部と、 前記上位レイヤ符号化データを、画素データの符号化デ
ータと領域形状の符号化データとに分流する分流部と、 前記分流部で分流された画素データの符号化データを前
記第2のフレームレートで復号する画素データ復号部
と、 前記分流部で分流された領域形状の符号化データを復号
する領域形状復号部とを備え、 上位レイヤフレームと時間的に同じフレーム位置に対応
する下位レイヤフレームが存在しない場合、そのフレー
ム位置の時間的に前後に存在する第1及び第2の下位レ
イヤフレームにおける特定領域を示す第1領域形状及び
第2領域形状を、前記下位レイヤ復号部で得られた下位
レイヤ復号画像を領域分割することによって抽出し、 前記第1領域形状及び第2領域形状と、前記第1及び第
2の下位レイヤフレームを用い、前記第1の領域形状の
みの領域に対しては前記第2の下位レイヤフレームの画
素値を使用し、前記第2の領域形状のみの領域に対して
は前記第1の下位レイヤフレームの画素値を使用して、
前記存在しない下位レイヤフレームの合成を行うことを
特徴とする動画像復号装置。 - 【請求項3】 動画像シーケンスの画素データを第1の
フレームレートで符号化した下位レイヤ符号化データ
と、前記動画像シーケンスの特定領域の画素データを前
記第1のフレームレートより高い第2のフレームレート
で符号化するとともに、該特定領域の画素データを符号
化するフレーム位置においてのみ、前記動画像シーケン
スの特定領域の領域形状を符号化した上位レイヤ符号化
データとを入力とし、 下位レイヤ復号画像を出力するか、あるいは下位レイヤ
復号画像と上位レイヤ 復号画像との重畳画像を出力する
動画像復号装置であって、 前記下位レイヤ符号化データを前記第1のフレームレー
トで復号する下位レイヤ復号部と、 前記上位レイヤ符号化データを、画素データの符号化デ
ータと領域形状の符号化データとに分流する分流部と、 前記分流部で分流された画素データの符号化データを前
記第2のフレームレートで復号する画素データ復号部
と、 前記分流部で分流された領域形状の符号化データを復号
する領域形状復号部とを備え、 上位レイヤフレームと時間的に同じフレーム位置に対応
する下位レイヤフレームが存在しない場合、そのフレー
ム位置の時間的に前後に存在する第1及び第2の下位レ
イヤフレームにおける特定領域を示す第1領域形状及び
第2領域形状を、前記領域形状復号部で得られた領域形
状からアフィン変換を用いて推定することによって抽出
し、 前記第1領域形状及び第2領域形状と、前記第1及び第
2の下位レイヤフレームを用い、前記第1の領域形状の
みの領域に対しては前記第2の下位レイヤフレームの画
素値を使用し、前記第2の領域形状のみの領域に対して
は前記第1の下位レイヤフレームの画素値を使用して、
前記存在しない下位レイヤフレームの合成を行う ことを
特徴とする動画像復号装置。 - 【請求項4】 動画像シーケンスの画素データを第1の
フレームレートで符号化した下位レイヤ符号化データ
と、前記動画像シーケンスの特定領域の画素データを前
記第1のフレームレートより高い第2のフレームレート
で符号化するとともに、該特定領域の画素データを符号
化するフレーム位置においてのみ、前記動画像シーケン
スの特定領域の領域形状を符号化した上位レイヤ符号化
データとを入力とし、 下位レイヤ復号画像を出力するか、あるいは下位レイヤ
復号画像と上位レイヤ復号画像との重畳画像を出力する
動画像復号装置であって、 前記下位レイヤ符号化データを前記第1のフレームレー
トで復号する下位レイヤ復号部と、 前記上位レイヤ符号化データを、画素データの符号化デ
ータと領域形状の符号化データとに分流する分流部と、 前記分流部で分流された画素データの符号化データを前
記第2のフレームレートで復号する画素データ復号部
と、 前記分流部で分流された領域形状の符号化データを復号
する領域形状復号部とを備え、 上位レイヤフレームと時間的に同じフレーム位置に対応
する下位レイヤフレームが存在しない場合、そのフレー
ム位置の時間的に前後に存在する第1及び第2の下位レ
イヤフレームにおける特定領域を示す第1領域形状及び
第2領域形状を、前記領域形状復号部で得られた領域形
状からブロックマッチングによる予測を用いて推定する
ことによって抽出し、 前記第1領域形状及び第2領域形状と、前記第1及び第
2の下位レイヤフレームを用い、前記第1の領域形状の
みの領域に対しては前記第2の下位レイヤフレームの画
素値を使用し、前記第2の領域形状のみの領域に対して
は前記第1の下位レイヤフレームの画素値を使用して、
前記存在しない下位レイヤフレームの合成を行う ことを
特徴とする動画像復号装置。 - 【請求項5】 前記請求項1乃至4に記載の動画像復号
装置において、 下位レイヤフレームの合成を行うか否かを示すフラグの
符号化データを復号するフラグ復号部を備え、 前記フラグ復号部で復号されたフラグに基づいて、前記
第1領域形状及び前記第2領域形状と、前記第1及び第
2の下位レイヤフレームを用いて、前記存在しない下位
レイヤフレームの合成を行うか否かを判断し、該下位レ
イヤフレームの合成を行うことを特徴とする動画像復号
装置。 - 【請求項6】 前記請求項1に記載の動画像復号装置に
おいて、 前記上位レイヤ復号部は、さらに、上位レイヤフレーム
の時間的に前に存在する第1の下位レイヤフレームにお
ける第1領域形状を示す領域情報が符号化されているか
否かを示す第1のフラグの符号化データを復号する第1
のフラグ復号部と、 上位レイヤフレームの時間的に後に存在する第2の下位
レイヤフレームにおける第2領域形状を示す領域情報が
符号化されているか否かを示す第2のフラグの符号化デ
ータを復号する第2のフラグ復号部とを備え、 前記第1及び第2のフラグ復号部で復号された第1のフ
ラグ及び第2のフラグに基づいて、第1の領域形状と第
2の領域形状が符号化されているか否かを判断し、第1
及び第2の領域形状がともに符号化されていない場合に
は、前回の下位レイヤ合成時に使用した領域形状をそれ
ぞれ今回の下位レイヤ合成時に用いる領域形状とし、第
2の領域形状だけが符号化されている場合には、前回の
下位レイヤ合成時に使用した第2の領域形状を今回の下
位レイヤ合成時に用いる第1の領域形状とし、 前記第1領域形状及び前記第2領域形状と、前記第1及
び第2の下位レイヤフレームを用いて、前記存在しない
下位レイヤフレームの合成を行うことを特徴とする動画
像復号装置。 - 【請求項7】 動画像シーケンスの画素データを第1の
フレームレートで符号化する下位レイヤ符号化部と、 前記動画像シーケンスの特定領域の画素データを前記第
1のフレームレートより高い第2のフレームレートで符
号化するとともに、前記動画像シーケンスの特定領域の
領域形状を符号化する上位レイヤ符号化部とを備えた動
画像符号化装置であって、 前記上位レイヤ符号化部は、前記動画像シーケンスの特
定領域の画素データを前記第1のフレームレートより高
い第2のフレームレートで符号化する画素データ符号化
部と、 前記動画像シーケンスの特定領域の領域形状を符号化す
る領域形状符号化部と、 前記画素データ符号化部で符号化された画素データの符
号化データと、前記領域形状符号化部で符号化された領
域形状の符号化データとを多重化する多重化部とを有
し、 前記領域形状符号化部は、上位レイヤフレームと時間的
に同じフレーム位置に対応する下位レイヤフレームが存
在しない場合、そのフレーム位置の時間的に前後に存在
する第1及び第2の下位レイヤフレームにおける特定領
域を示す第1領域形状及び第2領域形状を符号化するこ
とを特徴とする動画像符号化装置。 - 【請求項8】 前記請求項7に記載の動画像符号化装置
において、 動画像復号装置で下位レイヤフレームの合成を行うか否
かを示すフラグを符号化するフラグ符号化部を備えたこ
とを特徴とする動画像符号化装置。 - 【請求項9】 前記請求項7に記載の動画像符号化装置
において、 前記上位レイヤ符号化部は、さらに、上位レイヤフレー
ムの時間的に前に存在する第1の下位レイヤフレームに
おける第1領域形状を示す領域情報を符号化したか否か
を示す第1のフラグを符号化する第1のフラグ符号化部
と、 上位レイヤフレームの時間的に後に存在する第2の下位
レイヤフレームにおける第2領域形状を示す領域情報を
符号化したか否かを示す第2のフラグを符号化する第2
のフラグ符号化部とを有することを特徴とする動画像符
号化装置。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12175296A JP3247836B2 (ja) | 1996-05-16 | 1996-05-16 | 画像符号化装置及び画像復号装置 |
EP20030003822 EP1343328A3 (en) | 1996-02-07 | 1997-02-05 | Moving image encoding and decoding device |
US09/117,501 US6148030A (en) | 1996-02-07 | 1997-02-05 | Motion picture coding and decoding apparatus |
EP97902581A EP0880286B1 (en) | 1996-02-07 | 1997-02-05 | Moving image encoding and decoding device |
DE69733007T DE69733007T2 (de) | 1996-02-07 | 1997-02-05 | Vorrichtung zur codierung und decodierung von bewegtbildern |
PCT/JP1997/000276 WO1997029595A1 (en) | 1996-02-07 | 1997-02-05 | Moving image encoding and decoding device |
ES97902581T ES2241034T3 (es) | 1996-02-07 | 1997-02-05 | Dispositivo de codificacion de decodificacion de imagenes en movimiento. |
US09/663,352 US6324215B1 (en) | 1996-02-07 | 2000-09-15 | Motion picture coding and decoding apparatus |
US09/859,421 US6466622B2 (en) | 1996-02-07 | 2001-05-18 | Motion picture coding and decoding apparatus |
US10/232,404 US6678326B2 (en) | 1996-02-07 | 2002-09-03 | Motion picture coding and decoding apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12175296A JP3247836B2 (ja) | 1996-05-16 | 1996-05-16 | 画像符号化装置及び画像復号装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001233032A Division JP3866946B2 (ja) | 2001-08-01 | 2001-08-01 | 動画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09307906A JPH09307906A (ja) | 1997-11-28 |
JP3247836B2 true JP3247836B2 (ja) | 2002-01-21 |
Family
ID=14819018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12175296A Expired - Fee Related JP3247836B2 (ja) | 1996-02-07 | 1996-05-16 | 画像符号化装置及び画像復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3247836B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3224514B2 (ja) | 1996-08-21 | 2001-10-29 | シャープ株式会社 | 動画像符号化装置および動画像復号装置 |
KR100728222B1 (ko) * | 2005-03-25 | 2007-06-13 | 한국전자통신연구원 | 공간영역에서의 완전한 스케일러빌리티를 위한 계층적 부호화/복호화 방법 및 장치 |
KR100791295B1 (ko) * | 2006-01-12 | 2008-01-04 | 삼성전자주식회사 | 플래그 부호화 방법, 플래그 복호화 방법, 및 상기 방법을이용한 장치 |
KR100809298B1 (ko) * | 2006-06-22 | 2008-03-04 | 삼성전자주식회사 | 플래그 인코딩 방법, 플래그 디코딩 방법, 및 상기 방법을이용한 장치 |
-
1996
- 1996-05-16 JP JP12175296A patent/JP3247836B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09307906A (ja) | 1997-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6466622B2 (en) | Motion picture coding and decoding apparatus | |
US6167158A (en) | Object-based digital image predictive method | |
EP0909096B1 (en) | Picture encoder and picture decoder | |
JP3224514B2 (ja) | 動画像符号化装置および動画像復号装置 | |
WO1999038330A1 (en) | Moving picture coder and moving picture decoder | |
JP3247836B2 (ja) | 画像符号化装置及び画像復号装置 | |
JP3866946B2 (ja) | 動画像符号化装置 | |
JPH0937260A (ja) | 動画像符号化装置及び動画像復号装置 | |
JPH09326024A (ja) | 画像符号及び復号化方法とその装置 | |
JP3148751B2 (ja) | 動画像符号化装置および動画像復号装置 | |
JPH11285001A (ja) | 動画像符号化装置及び動画像復号装置 | |
JP3256434B2 (ja) | 画像データ符号化/復号装置及び方法 | |
JP3148752B2 (ja) | 動画像符号化装置 | |
JP3461807B2 (ja) | 動画像復号方法 | |
JP2002044671A (ja) | 動画像復号装置 | |
JP3526258B2 (ja) | 画像符号化装置及び画像復号装置 | |
JP2001160966A (ja) | 動画像符号化装置 | |
JP2002044657A (ja) | 画像復号化方法、画像復号化装置および画像復号化プログラム記録媒体 | |
JP2002142154A (ja) | 映像切換装置および映像切換方法 | |
JPH09121346A (ja) | 画像符号化装置及び画像復号装置 | |
JPH09219821A (ja) | 合成装置 | |
JP2000036962A (ja) | 画像符号化装置及び画像復号装置 | |
JP2000004444A (ja) | 画像符号化装置及び画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081102 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091102 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |