JPH09284775A - 客体単位の処理が可能な動映像の符号化／復号化方法及び符号化／復号化装置 - Google Patents
客体単位の処理が可能な動映像の符号化／復号化方法及び符号化／復号化装置Info
- Publication number
- JPH09284775A JPH09284775A JP10945096A JP10945096A JPH09284775A JP H09284775 A JPH09284775 A JP H09284775A JP 10945096 A JP10945096 A JP 10945096A JP 10945096 A JP10945096 A JP 10945096A JP H09284775 A JPH09284775 A JP H09284775A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- residual signal
- background
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 境界部分を明確にするのみならず、離散余弦
変換の有するエラーのむらも減らして復元映像の画質を
向上させる、客体単位の処理が可能な動映像の符号化／
復号化方法及び符号化／復号化装置を提供する。 【解決手段】 １フレーム分の映像を前景領域と背景領
域に分割し、前記二つの領域の境界を示すマスク情報を
生成する過程と、前記分割された二つの領域に対して別
途の動き評価を行い動きベクトルを形成し、前記各領域
の動きベトクルを用いて前記背景領域が動くか否かに応
じて以前の復元映像又は現在の復元映像に対して選択的
に動き補償を行い動き補償映像を生成する動き過程と、
前記１フレーム分の映像から前記動き補償映像を減算し
て残差信号を求める過程と、前記残差信号を可変ブロッ
クを単位として離散余弦変換してから量子化及び可変長
符号化を通じて符号化し、符号化された信号、前記マス
ク情報及び二つの領域に対する動きベクトルを多重化し
て出力する過程とを具備する。
変換の有するエラーのむらも減らして復元映像の画質を
向上させる、客体単位の処理が可能な動映像の符号化／
復号化方法及び符号化／復号化装置を提供する。 【解決手段】 １フレーム分の映像を前景領域と背景領
域に分割し、前記二つの領域の境界を示すマスク情報を
生成する過程と、前記分割された二つの領域に対して別
途の動き評価を行い動きベクトルを形成し、前記各領域
の動きベトクルを用いて前記背景領域が動くか否かに応
じて以前の復元映像又は現在の復元映像に対して選択的
に動き補償を行い動き補償映像を生成する動き過程と、
前記１フレーム分の映像から前記動き補償映像を減算し
て残差信号を求める過程と、前記残差信号を可変ブロッ
クを単位として離散余弦変換してから量子化及び可変長
符号化を通じて符号化し、符号化された信号、前記マス
ク情報及び二つの領域に対する動きベクトルを多重化し
て出力する過程とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は客体単位の処理が可
能な動映像の符号化／復号化方法及び符号化／復号化装
置に係り、特に１フレーム分の映像データを前景領域及
び背景領域に分けて符号化することにより選択的な再生
を可能にする動映像の符号化／復号化方法及び符号化／
復号化装置に関する。
能な動映像の符号化／復号化方法及び符号化／復号化装
置に係り、特に１フレーム分の映像データを前景領域及
び背景領域に分けて符号化することにより選択的な再生
を可能にする動映像の符号化／復号化方法及び符号化／
復号化装置に関する。
【０００２】
【従来の技術】現在、動映像関係の代表的な符号化標準
案としてはディジタル貯蔵媒体用の圧縮規格であるＭＰ
ＥＧ１、ディジタル放送用の圧縮規格であるＭＰＥＧ
２、Ｈ．２６１などがあり、これらのいずれもＭＣ−Ｄ
ＣＴ（Motion Compensated-Discrete Cosine Transfor
m）の構造を有しており、１６×１６または１６×８単
位の動き評価及び補償を行う。また、８×８単位の離散
余弦変換（ＤＣＴ）を通じて補償エラーに対する符号化
を行う。
案としてはディジタル貯蔵媒体用の圧縮規格であるＭＰ
ＥＧ１、ディジタル放送用の圧縮規格であるＭＰＥＧ
２、Ｈ．２６１などがあり、これらのいずれもＭＣ−Ｄ
ＣＴ（Motion Compensated-Discrete Cosine Transfor
m）の構造を有しており、１６×１６または１６×８単
位の動き評価及び補償を行う。また、８×８単位の離散
余弦変換（ＤＣＴ）を通じて補償エラーに対する符号化
を行う。
【０００３】しかしながら、このような標準案は次のよ
うな問題点を持つ。第一、前記標準案は映像の内容に問
わず映像を単純なる２次元の信号としてのみ処理する。
したがって、視感的に敏感な前景と背景との境界部分が
他の領域のように処理されるので画質の劣化が直ちに感
じられる。即ち、ＤＣＴのような処理時はこのような境
界が他の部分のように広く処理されて境界部分に劣化が
発生する。第二、固定されたブロックの単位に動き評価
を行うのでブロック内に他の動き成分のあるときは多い
動き補償エラーが発生する。第三、前景と背景などの映
像内の客体に対して全然考慮しないので符号化されたデ
ータから特定領域のみを抽出して復元する能力はない。
うな問題点を持つ。第一、前記標準案は映像の内容に問
わず映像を単純なる２次元の信号としてのみ処理する。
したがって、視感的に敏感な前景と背景との境界部分が
他の領域のように処理されるので画質の劣化が直ちに感
じられる。即ち、ＤＣＴのような処理時はこのような境
界が他の部分のように広く処理されて境界部分に劣化が
発生する。第二、固定されたブロックの単位に動き評価
を行うのでブロック内に他の動き成分のあるときは多い
動き補償エラーが発生する。第三、前景と背景などの映
像内の客体に対して全然考慮しないので符号化されたデ
ータから特定領域のみを抽出して復元する能力はない。
【０００４】
【発明が解決しようとする課題】したがって、本発明の
目的は前述した問題点を解消するために１フレーム分の
映像データを前景と背景とに分けて符号化するための客
体単位の処理が可能な動映像の符号化方法及び装置を提
供するにある。
目的は前述した問題点を解消するために１フレーム分の
映像データを前景と背景とに分けて符号化するための客
体単位の処理が可能な動映像の符号化方法及び装置を提
供するにある。
【０００５】本発明の他の目的は前景と背景とに分けて
符号化された１フレーム分の映像データから前景と背景
を選択的に再生するのみならず、再生の際、背景でより
視感的に敏感な前景で誤動作発生率を低減するための客
体単位の処理が可能な動映像の復号化方法及び装置を提
供するにある。
符号化された１フレーム分の映像データから前景と背景
を選択的に再生するのみならず、再生の際、背景でより
視感的に敏感な前景で誤動作発生率を低減するための客
体単位の処理が可能な動映像の復号化方法及び装置を提
供するにある。
【０００６】
【課題を解決するための手段】前記目的を達成するため
に本発明による客体単位の処理が可能な動映像の符号化
方法は、符号化しようとする１フレーム分のソース映像
を客体を示す前景領域とその他の領域を示す背景領域と
に分割し、前記二つの領域の境界を示すマスク情報を生
成するマスク生成過程と、前記分割された二つの領域に
対して別途に動き評価を行って動きベクトルを生成し、
前記各領域の動きベトクルを用いて前記背景領域が動く
か否かに応じて以前の復元映像または現在の復元映像に
対して選択的に動き補償を行って動き補償映像を生成す
る動き評価及び補償過程と、前記１フレーム分のソース
映像から前記動き補償映像を減算して残差信号を求める
残差信号生成過程と、前記残差信号を可変ブロックの単
位に離散余弦変換した後、量子化及び可変長符号化を通
じて符号化し、前記符号化された信号、前記マスク情報
及び二つの領域に対する動きベクトルを多重化して出力
する残差信号符号化過程とを具備することを特徴とす
る。
に本発明による客体単位の処理が可能な動映像の符号化
方法は、符号化しようとする１フレーム分のソース映像
を客体を示す前景領域とその他の領域を示す背景領域と
に分割し、前記二つの領域の境界を示すマスク情報を生
成するマスク生成過程と、前記分割された二つの領域に
対して別途に動き評価を行って動きベクトルを生成し、
前記各領域の動きベトクルを用いて前記背景領域が動く
か否かに応じて以前の復元映像または現在の復元映像に
対して選択的に動き補償を行って動き補償映像を生成す
る動き評価及び補償過程と、前記１フレーム分のソース
映像から前記動き補償映像を減算して残差信号を求める
残差信号生成過程と、前記残差信号を可変ブロックの単
位に離散余弦変換した後、量子化及び可変長符号化を通
じて符号化し、前記符号化された信号、前記マスク情報
及び二つの領域に対する動きベクトルを多重化して出力
する残差信号符号化過程とを具備することを特徴とす
る。
【０００７】また、前記動き評価及び補償過程では前記
前景領域に対しては可変ブロックの単位に動き評価を行
い、前記背景領域に対しては背景領域の複雑度に応じて
可変ブロックの単位の動き評価またはアファイン動き評
価を行うことが望ましい。
前景領域に対しては可変ブロックの単位に動き評価を行
い、前記背景領域に対しては背景領域の複雑度に応じて
可変ブロックの単位の動き評価またはアファイン動き評
価を行うことが望ましい。
【０００８】前記二つの領域の境界部分は４分割（quad
tree) 方式により符号化されることが望ましい。
tree) 方式により符号化されることが望ましい。
【０００９】前記目的を達成するために本発明による客
体単位の処理が可能な動き映像の符号化装置は、符号化
しようとする１フレーム分のソース映像を客体を示す前
景領域とその他の領域を示す背景領域とに分割し、前記
二つの領域の境界を示すマスク情報を生成する前景／背
景抽出器と、前記分割された二つの領域に対して別途に
動き評価を行って動きベクトルを生成する前景／背景動
き評価器と、前記各領域の動きベクトルを用いて前記背
景領域が動くか否かに応じて以前の復元映像または現在
の復元映像に対して選択的に動き補償を行って動き補償
映像を生成する動き補償器と、前記１フレーム分のソー
ス映像から前記動き補償領域を減算して残差信号を求め
る減算器と、前記残差信号を可変ブロックの単位に離散
余弦変換した後、量子化及び可変長符号化を通じて符号
化し、前記符号化された信号、前記マスク情報及び二つ
の領域に対する動きベクトルを多重化して出力する残差
信号符号化手段とを具備することを特徴とする。
体単位の処理が可能な動き映像の符号化装置は、符号化
しようとする１フレーム分のソース映像を客体を示す前
景領域とその他の領域を示す背景領域とに分割し、前記
二つの領域の境界を示すマスク情報を生成する前景／背
景抽出器と、前記分割された二つの領域に対して別途に
動き評価を行って動きベクトルを生成する前景／背景動
き評価器と、前記各領域の動きベクトルを用いて前記背
景領域が動くか否かに応じて以前の復元映像または現在
の復元映像に対して選択的に動き補償を行って動き補償
映像を生成する動き補償器と、前記１フレーム分のソー
ス映像から前記動き補償領域を減算して残差信号を求め
る減算器と、前記残差信号を可変ブロックの単位に離散
余弦変換した後、量子化及び可変長符号化を通じて符号
化し、前記符号化された信号、前記マスク情報及び二つ
の領域に対する動きベクトルを多重化して出力する残差
信号符号化手段とを具備することを特徴とする。
【００１０】前記他の目的を達成するために本発明は、
１フレーム分のソース映像を客体を示す前景領域とその
他の領域を示す背景領域とに分割し、残差信号を符号化
して生成されたビットストリームを元の動映像に復元す
るための客体単位の処理が可能な動映像の復号化方法に
おいて、前記ビットストリームから前記符号化された残
差信号を抽出して可変長復号化、逆量子化及び逆離散余
弦変換し、前記二つの領域に対する動きベクトルと前記
二つの領域を分けるマスク情報を復元する復号化過程
と、以前の復元映像に基づいて前記マスク情報により分
けられた二つの領域に対して別途に動き補償を行って動
き補償映像を生成し、前記復号化された残差信号と前記
動き補償映像を加算して現在の復元映像を生成する動き
補償過程と、前記動きベクトルに応じて前記以前の復元
映像または現在の復元映像を選択的に出力する選択出力
過程とを具備することを特徴とする。
１フレーム分のソース映像を客体を示す前景領域とその
他の領域を示す背景領域とに分割し、残差信号を符号化
して生成されたビットストリームを元の動映像に復元す
るための客体単位の処理が可能な動映像の復号化方法に
おいて、前記ビットストリームから前記符号化された残
差信号を抽出して可変長復号化、逆量子化及び逆離散余
弦変換し、前記二つの領域に対する動きベクトルと前記
二つの領域を分けるマスク情報を復元する復号化過程
と、以前の復元映像に基づいて前記マスク情報により分
けられた二つの領域に対して別途に動き補償を行って動
き補償映像を生成し、前記復号化された残差信号と前記
動き補償映像を加算して現在の復元映像を生成する動き
補償過程と、前記動きベクトルに応じて前記以前の復元
映像または現在の復元映像を選択的に出力する選択出力
過程とを具備することを特徴とする。
【００１１】前記他の目的を達成するために本発明によ
る客体単位の処理が可能な動き映像の復号化装置は、１
フレーム分のソース映像を客体を示す前景領域とその他
の領域を示す背景領域とに分割し、残差信号を符号化し
て生成されたビットストリームを元の動映像に復元する
ための客体単位の処理が可能な動映像の復号化装置にお
いて、前記ビットストリームから前記符号化された残差
信号を抽出して可変長復号化する可変長復号化器と、前
記可変長復号化された残差信号を逆量子化及び逆離散余
弦変換して前記残差信号を復号化する復号化器と、前記
二つの領域に対する動きベクトルと前記二つの領域を分
けるマスク情報を復元するマスク復元器と、以前の復元
映像に基づいて前記マスク情報により分けられた二つの
領域に対して別途に動き補償を行って動き補償領域を生
成する動き補償器と、前記復号化された残差信号と前記
動き補償映像を加算して現在の復元映像を生成する加算
器と、以前の復元映像を貯蔵する復元フレーム貯蔵器
と、前記動きベクトルに応じて前記以前の復元映像また
は現在の復元映像を選択的に出力する選択出力器とを具
備することを特徴とする。
る客体単位の処理が可能な動き映像の復号化装置は、１
フレーム分のソース映像を客体を示す前景領域とその他
の領域を示す背景領域とに分割し、残差信号を符号化し
て生成されたビットストリームを元の動映像に復元する
ための客体単位の処理が可能な動映像の復号化装置にお
いて、前記ビットストリームから前記符号化された残差
信号を抽出して可変長復号化する可変長復号化器と、前
記可変長復号化された残差信号を逆量子化及び逆離散余
弦変換して前記残差信号を復号化する復号化器と、前記
二つの領域に対する動きベクトルと前記二つの領域を分
けるマスク情報を復元するマスク復元器と、以前の復元
映像に基づいて前記マスク情報により分けられた二つの
領域に対して別途に動き補償を行って動き補償領域を生
成する動き補償器と、前記復号化された残差信号と前記
動き補償映像を加算して現在の復元映像を生成する加算
器と、以前の復元映像を貯蔵する復元フレーム貯蔵器
と、前記動きベクトルに応じて前記以前の復元映像また
は現在の復元映像を選択的に出力する選択出力器とを具
備することを特徴とする。
【００１２】
【発明の実施の形態】以下、添付した図面に基づき本発
明を詳細に説明する。
明を詳細に説明する。
【００１３】図１は本発明による客体単位の処理が可能
な動き映像の符号化装置を示すブロック図であって、本
発明による動映像の符号化装置はＭＣ−ＤＣＴの混合構
造を有する。
な動き映像の符号化装置を示すブロック図であって、本
発明による動映像の符号化装置はＭＣ−ＤＣＴの混合構
造を有する。
【００１４】図１に示した動映像の符号化装置は、ソー
ス映像の動きを１ピクセルの解像度に分割する動き分割
器１１、動き分割の結果を用いてそれぞれ最小ブロック
の解像度に映像を前景と背景領域とに分けて各領域に対
するマスクを生成する前景抽出器１２と背景抽出器１
４、前景抽出器１２と背景抽出器１４から抽出された前
景領域と背景領域に対して動き評価を行って動き情報を
生成する前景動き評価器１３と背景動き評価器１５、以
前フレームの復元映像（以下、以前の復元映像という）
に基づいて前景動き評価器１３と背景動き評価器１５で
評価された動き情報を用いて動き補償を行い動き映像を
生成する動き補償器１６、ソース映像と動き補償器１６
から出力される動き補償映像を減算して残差信号を出力
する減算器２２、減算器２２から出力される残差信号を
離散余弦変換及び量子化を通じて符号化する可変ブロッ
ク離散余弦変換器（ＤＣＴ）２３と量子化器２４、量子
化器２４で量子化された残差信号と、前景抽出器１２及
び背景抽出器１４から出力されるマスク情報と、前景動
き評価器１２及び背景動き評価器１４から出力される動
き情報とを用いてジグザグスキャンにより可変長符号化
する可変長符号化器（ＶＬＣ）２５、量子化された残差
信号に対して逆量子化及び逆離散余弦変換を行い復元さ
れた残差信号を出力する逆量子化器２１及び可変ブロッ
ク逆離散余弦変換器（ＩＤＣＴ）２０、動き補償器１６
から出力される動き補償映像と可変ブロック（ＩＤＣ
Ｔ）２０から出力される復元された残差信号を加算して
選択出力器（ＭＵＸ）１８に出力する加算器１９、背景
動き評価器１５から出力される背景動き情報に応じて復
元フレーム貯蔵器１７に貯蔵された以前の復元映像と加
算器１９から出力される動き補償された復元残差信号の
うち一つを選択的に出力して復元フレーム貯蔵器１７に
貯蔵するＭＵＸ１８より構成される。
ス映像の動きを１ピクセルの解像度に分割する動き分割
器１１、動き分割の結果を用いてそれぞれ最小ブロック
の解像度に映像を前景と背景領域とに分けて各領域に対
するマスクを生成する前景抽出器１２と背景抽出器１
４、前景抽出器１２と背景抽出器１４から抽出された前
景領域と背景領域に対して動き評価を行って動き情報を
生成する前景動き評価器１３と背景動き評価器１５、以
前フレームの復元映像（以下、以前の復元映像という）
に基づいて前景動き評価器１３と背景動き評価器１５で
評価された動き情報を用いて動き補償を行い動き映像を
生成する動き補償器１６、ソース映像と動き補償器１６
から出力される動き補償映像を減算して残差信号を出力
する減算器２２、減算器２２から出力される残差信号を
離散余弦変換及び量子化を通じて符号化する可変ブロッ
ク離散余弦変換器（ＤＣＴ）２３と量子化器２４、量子
化器２４で量子化された残差信号と、前景抽出器１２及
び背景抽出器１４から出力されるマスク情報と、前景動
き評価器１２及び背景動き評価器１４から出力される動
き情報とを用いてジグザグスキャンにより可変長符号化
する可変長符号化器（ＶＬＣ）２５、量子化された残差
信号に対して逆量子化及び逆離散余弦変換を行い復元さ
れた残差信号を出力する逆量子化器２１及び可変ブロッ
ク逆離散余弦変換器（ＩＤＣＴ）２０、動き補償器１６
から出力される動き補償映像と可変ブロック（ＩＤＣ
Ｔ）２０から出力される復元された残差信号を加算して
選択出力器（ＭＵＸ）１８に出力する加算器１９、背景
動き評価器１５から出力される背景動き情報に応じて復
元フレーム貯蔵器１７に貯蔵された以前の復元映像と加
算器１９から出力される動き補償された復元残差信号の
うち一つを選択的に出力して復元フレーム貯蔵器１７に
貯蔵するＭＵＸ１８より構成される。
【００１５】図２は本発明による客体単位の処理が可能
な動映像の復号化装置を示すブロック図であり、符号化
ビットストリームから符号化された残差信号を抽出して
可変長復号化する可変長復号化器（ＶＬＤ）５１、可変
長復号化された残差信号を逆量子化及び逆離散余弦変換
して前記残差信号を復号化する逆量子化器５４及び逆離
散余弦変換器５５、二つの領域に対する動きベクトルと
二つの領域を分けるマスク情報を復元するマスク復元器
５２、以前の復元映像に基づいてマスク情報により分け
られた二つの領域に対して別途に動き補償を行い動き補
償映像を生成する動き補償器５３、復号化された残差信
号と動き補償領域を加算して現在の復元映像を形成する
加算器５６、以前の復元映像を貯蔵する復元フレーム貯
蔵器５７、動きベクトルに応じて以前の復元映像または
現在の復元映像を選択的に出力する選択出力器（ＭＵ
Ｘ）５８より構成される。
な動映像の復号化装置を示すブロック図であり、符号化
ビットストリームから符号化された残差信号を抽出して
可変長復号化する可変長復号化器（ＶＬＤ）５１、可変
長復号化された残差信号を逆量子化及び逆離散余弦変換
して前記残差信号を復号化する逆量子化器５４及び逆離
散余弦変換器５５、二つの領域に対する動きベクトルと
二つの領域を分けるマスク情報を復元するマスク復元器
５２、以前の復元映像に基づいてマスク情報により分け
られた二つの領域に対して別途に動き補償を行い動き補
償映像を生成する動き補償器５３、復号化された残差信
号と動き補償領域を加算して現在の復元映像を形成する
加算器５６、以前の復元映像を貯蔵する復元フレーム貯
蔵器５７、動きベクトルに応じて以前の復元映像または
現在の復元映像を選択的に出力する選択出力器（ＭＵ
Ｘ）５８より構成される。
【００１６】次に、前記の構成に基づき本発明の作用及
び効果に対して説明すれば次の通りである。
び効果に対して説明すれば次の通りである。
【００１７】図１において、動き分割器１１ではソース
イメージシーケンス、即ち、１フレーム分のソース映像
の動きを１ピクセルの解像度に分割し、前景抽出器１２
と背景抽出器１４では動き分割の結果を用いてそれぞれ
最小ブロックの解像度に映像を前景と背景領域に分けて
各領域に対するマスクを生成する。ここで、背景は自ら
動かない領域を示し、背景は前景を除く残り領域を示
す。
イメージシーケンス、即ち、１フレーム分のソース映像
の動きを１ピクセルの解像度に分割し、前景抽出器１２
と背景抽出器１４では動き分割の結果を用いてそれぞれ
最小ブロックの解像度に映像を前景と背景領域に分けて
各領域に対するマスクを生成する。ここで、背景は自ら
動かない領域を示し、背景は前景を除く残り領域を示
す。
【００１８】前景動き評価器１３と背景動き評価器１５
ではそれぞれ前景抽出器１２と背景抽出器１４から抽出
された前景領域と背景領域に対して動き評価を行い動き
情報を生成する。この際、前景動き評価器１３では可変
ブロックの単位に動き評価が行われ、背景動き評価器１
５では可変ブロックの単位の動き評価と共に評価された
動き情報を用いてアファイン動き評価を行う。動き補償
器１６では復元フレーム貯蔵器１７に貯蔵された復元さ
れた以前の映像に基づき前景動き評価器１３と背景動き
評価器１５で評価された動き情報を用いて動き補償を行
い動き補償映像を生成する。
ではそれぞれ前景抽出器１２と背景抽出器１４から抽出
された前景領域と背景領域に対して動き評価を行い動き
情報を生成する。この際、前景動き評価器１３では可変
ブロックの単位に動き評価が行われ、背景動き評価器１
５では可変ブロックの単位の動き評価と共に評価された
動き情報を用いてアファイン動き評価を行う。動き補償
器１６では復元フレーム貯蔵器１７に貯蔵された復元さ
れた以前の映像に基づき前景動き評価器１３と背景動き
評価器１５で評価された動き情報を用いて動き補償を行
い動き補償映像を生成する。
【００１９】減算器２２はソース映像と動き補償器１６
から出力される動き補償映像を減算して残差信号を出力
する。
から出力される動き補償映像を減算して残差信号を出力
する。
【００２０】可変ブロック離散余弦変換器（ＤＣＴ）２
３と量子化器２４は減算器２２から出力される残差信号
を離散余弦変換及び量子化を通じて符号化し、可変長符
号化器（ＶＬＣ）２５は量子化器２４で量子化された残
差信号をジグザグスキャンなどにより可変長符号化し、
可変長符号化された信号と、前景抽出器１２及び背景抽
出器１４から出力されるマスク情報と、前景動き評価器
１２及び背景動き評価器１４から出力される動き情報と
を多重化した後、ディコーダ（図示せず）に出力する。
３と量子化器２４は減算器２２から出力される残差信号
を離散余弦変換及び量子化を通じて符号化し、可変長符
号化器（ＶＬＣ）２５は量子化器２４で量子化された残
差信号をジグザグスキャンなどにより可変長符号化し、
可変長符号化された信号と、前景抽出器１２及び背景抽
出器１４から出力されるマスク情報と、前景動き評価器
１２及び背景動き評価器１４から出力される動き情報と
を多重化した後、ディコーダ（図示せず）に出力する。
【００２１】一方、逆量子化器２１及び可変ブロック逆
離散余弦変換器（ＩＤＣＴ）２０は量子化された残差信
号に対して逆量子化及び逆離散余弦変換を行い復元され
た残差信号を出力する。この際、復元された残差信号に
は量子化及び逆量子化を通じて損失が発生されるので、
元の残差信号と同一でない。加算器１９は動き補償器１
６から出力される動き補償映像と可変ブロック（ＩＤＣ
Ｔ）２０から出力される復元された残差信号とを加算し
て現在フレームの復元映像（以下、現在の復元映像とい
う）を生成して選択出力器（ＭＵＸ）１８に出力する。
ＭＵＸ１８は背景動き評価器１５から出力される背景動
き情報に応じて復元フレーム貯蔵器１７に貯蔵された以
前の復元映像と加算器１９から出力される現在の復元映
像のうち一つを選択的に出力して復元フレーム貯蔵器１
７に貯蔵する。即ち、ＭＵＸ１８は背景領域に動きのな
い場合は、復元フレーム貯蔵器１７に貯蔵された以前の
復元映像を再び復元フレーム貯蔵器１７に出力し、動き
のある場合は加算器１９から出力される現在の復元映像
を復元フレーム貯蔵器１７に出力する。
離散余弦変換器（ＩＤＣＴ）２０は量子化された残差信
号に対して逆量子化及び逆離散余弦変換を行い復元され
た残差信号を出力する。この際、復元された残差信号に
は量子化及び逆量子化を通じて損失が発生されるので、
元の残差信号と同一でない。加算器１９は動き補償器１
６から出力される動き補償映像と可変ブロック（ＩＤＣ
Ｔ）２０から出力される復元された残差信号とを加算し
て現在フレームの復元映像（以下、現在の復元映像とい
う）を生成して選択出力器（ＭＵＸ）１８に出力する。
ＭＵＸ１８は背景動き評価器１５から出力される背景動
き情報に応じて復元フレーム貯蔵器１７に貯蔵された以
前の復元映像と加算器１９から出力される現在の復元映
像のうち一つを選択的に出力して復元フレーム貯蔵器１
７に貯蔵する。即ち、ＭＵＸ１８は背景領域に動きのな
い場合は、復元フレーム貯蔵器１７に貯蔵された以前の
復元映像を再び復元フレーム貯蔵器１７に出力し、動き
のある場合は加算器１９から出力される現在の復元映像
を復元フレーム貯蔵器１７に出力する。
【００２２】ここで、本発明による符号化過程をマスク
生成段階、動き評価及び補償段階、残差信号の生成段階
と残差信号の符号化段階に細分して説明する。
生成段階、動き評価及び補償段階、残差信号の生成段階
と残差信号の符号化段階に細分して説明する。
【００２３】先ず、マスク生成段階に対して説明する。
【００２４】本発明では映像を前景領域と背景領域とに
分け、各特性に応じて動き及び残差を処理するために一
つのフレームで各ピクセルが前景か背景かを示すマスク
を導入し、マスクの符号化のために４分割方式を用い
る。即ち、マスクは動き評価及び補償のための動きブロ
ックと残差符号化のための残差ブロックの大きさ決めに
用いられる。
分け、各特性に応じて動き及び残差を処理するために一
つのフレームで各ピクセルが前景か背景かを示すマスク
を導入し、マスクの符号化のために４分割方式を用い
る。即ち、マスクは動き評価及び補償のための動きブロ
ックと残差符号化のための残差ブロックの大きさ決めに
用いられる。
【００２５】マスクを生成するために解決すべき課題は
先ず動き分割器１１における動き分割過程である。動き
分割過程ではカメラの動きを抽出し、抽出されたアファ
イン動きモデルにより動き補償の行われる領域を背景領
域として定義する。反面、背景を除く領域は前景領域と
して定義する。映像の全般にかけた局部的な動きにより
カメラの動きが抽出しにくい場合には全ての映像を前景
領域として定義する。編集やその他の特定目的のために
別途の分割映像が提供される場合、各セグメントはアフ
ァイン動きモデルにより動きが補償されるかを判断し、
アファイン動きモデルが適用しにくい場合には可変ブロ
ックを単位とする遷移動きモデルを適用する。図３の
（Ａ）は動き分割により生成されたセグメントの例を示
す。
先ず動き分割器１１における動き分割過程である。動き
分割過程ではカメラの動きを抽出し、抽出されたアファ
イン動きモデルにより動き補償の行われる領域を背景領
域として定義する。反面、背景を除く領域は前景領域と
して定義する。映像の全般にかけた局部的な動きにより
カメラの動きが抽出しにくい場合には全ての映像を前景
領域として定義する。編集やその他の特定目的のために
別途の分割映像が提供される場合、各セグメントはアフ
ァイン動きモデルにより動きが補償されるかを判断し、
アファイン動きモデルが適用しにくい場合には可変ブロ
ックを単位とする遷移動きモデルを適用する。図３の
（Ａ）は動き分割により生成されたセグメントの例を示
す。
【００２６】動き分割を通じて生成されたセグメントに
ついては独立的に動き評価、補償及び残差符号化が行わ
れて分けられたビットストリームを発生する。したがっ
て、セグメントの輪郭線情報が符号化されているディコ
ーダ（図示せず）に伝送されなければならない。
ついては独立的に動き評価、補償及び残差符号化が行わ
れて分けられたビットストリームを発生する。したがっ
て、セグメントの輪郭線情報が符号化されているディコ
ーダ（図示せず）に伝送されなければならない。
【００２７】本発明においてセグメントの輪郭線情報、
即ち、マスクを符号化するために図３の（Ｂ）のように
４分割方式を採用する。この際、予め決めた最小大きさ
のブロックに前景と背景が同時にあるときは前景ブロッ
クとして定義する。ブロックの最小大きさに応じてセグ
メントに対する解像度を決めることができる。即ち、ブ
ロックの最小大きさを小さくすれば輪郭線をさらに正確
に表現できるが情報量が増え、ブロックの最小大きさを
大きくすれば情報量は減るが正確な輪郭線は表現できな
い。図３の（Ｃ）は最終的に生成されたマスクを示す。
即ち、マスクを符号化するために図３の（Ｂ）のように
４分割方式を採用する。この際、予め決めた最小大きさ
のブロックに前景と背景が同時にあるときは前景ブロッ
クとして定義する。ブロックの最小大きさに応じてセグ
メントに対する解像度を決めることができる。即ち、ブ
ロックの最小大きさを小さくすれば輪郭線をさらに正確
に表現できるが情報量が増え、ブロックの最小大きさを
大きくすれば情報量は減るが正確な輪郭線は表現できな
い。図３の（Ｃ）は最終的に生成されたマスクを示す。
【００２８】次に、動き評価及び補償段階について説明
する。
する。
【００２９】動き評価及び補償段階は映像圧縮において
時間の重複性を用いる方法である。１フレームで動き評
価及び補償は動きブロックの単位に行われるが、動き補
償エラーのための離散余弦変換及びジグザグスキャンな
どは残差ブロックの単位に行われる。ここで、動きブロ
ックの大きさと構成要素はマスクと動き評価で可変ブロ
ック単位のエラー分布分析により決められ、残差ブロッ
クの大きさと構成要素はマスクにより決められる。
時間の重複性を用いる方法である。１フレームで動き評
価及び補償は動きブロックの単位に行われるが、動き補
償エラーのための離散余弦変換及びジグザグスキャンな
どは残差ブロックの単位に行われる。ここで、動きブロ
ックの大きさと構成要素はマスクと動き評価で可変ブロ
ック単位のエラー分布分析により決められ、残差ブロッ
クの大きさと構成要素はマスクにより決められる。
【００３０】動き評価及び補償において動きブロックは
ブロック内に前景と背景ピクセルが混合されないように
構成されており、動き補償エラーと動きベクトルとのビ
ット発生量に鑑みて決められる。したがって、ブロック
内の動きの相異なる客体が発生する動き補償エラーを効
率よく減らせる。
ブロック内に前景と背景ピクセルが混合されないように
構成されており、動き補償エラーと動きベクトルとのビ
ット発生量に鑑みて決められる。したがって、ブロック
内の動きの相異なる客体が発生する動き補償エラーを効
率よく減らせる。
【００３１】本発明では動き評価及び補償を前景領域と
背景領域とに分けて処理する。大部分の前景は多数の複
合的な動きの結合により発生するので、一つの動きモデ
ルを用いて前景の全ての動きは評価しにくい。したがっ
て、前景領域では可変ブロックを単位として動きベクト
ルを生成する。反面、背景領域では大部分の動きはカメ
ラによる動きなので、背景の全ての領域についてアファ
イン動きモデルを用いて動き評価及び補償を行う。しか
しながら、背景領域の動きが極めて複雑であり多数のわ
ずかな動きが任意に発生すれば、アファイン動きモデル
が評価しにくい。この場合には前景でのように可変ブロ
ックの単位に動きベクトルを生成する。即ち、背景領域
については背景映像の種類に応じて背景に対する動き情
報のモデルを選択的に符号化することができる。動き評
価及び補償過程を前景領域と背景領域に分けて説明すれ
ば次の通りである。
背景領域とに分けて処理する。大部分の前景は多数の複
合的な動きの結合により発生するので、一つの動きモデ
ルを用いて前景の全ての動きは評価しにくい。したがっ
て、前景領域では可変ブロックを単位として動きベクト
ルを生成する。反面、背景領域では大部分の動きはカメ
ラによる動きなので、背景の全ての領域についてアファ
イン動きモデルを用いて動き評価及び補償を行う。しか
しながら、背景領域の動きが極めて複雑であり多数のわ
ずかな動きが任意に発生すれば、アファイン動きモデル
が評価しにくい。この場合には前景でのように可変ブロ
ックの単位に動きベクトルを生成する。即ち、背景領域
については背景映像の種類に応じて背景に対する動き情
報のモデルを選択的に符号化することができる。動き評
価及び補償過程を前景領域と背景領域に分けて説明すれ
ば次の通りである。
【００３２】先ず、前景動き評価及び補償段階を説明す
る。
る。
【００３３】前景の動き評価では可変ブロックの単位に
完全探索を通じて動きベクトルを生成する。可変ブロッ
クの動き評価のために４分割方式を採択する。可変ブロ
ックの動き評価は多数の動きが複雑的に存在する前景で
より精巧な動き評価により残差信号の量を減らすことに
より動き情報の増加を効率よく減らす。動き評価におい
ては最終的にブロックの大きさを決めるために最初のブ
ロックから始めて４分割方式でスプリットする。現在の
ｎ×ｎ大きさのブロックを（ｎ／２）×（ｎ／２）大き
さの四つのサブブロックにスプリットするかの判断は次
の処理過程により決める。
完全探索を通じて動きベクトルを生成する。可変ブロッ
クの動き評価のために４分割方式を採択する。可変ブロ
ックの動き評価は多数の動きが複雑的に存在する前景で
より精巧な動き評価により残差信号の量を減らすことに
より動き情報の増加を効率よく減らす。動き評価におい
ては最終的にブロックの大きさを決めるために最初のブ
ロックから始めて４分割方式でスプリットする。現在の
ｎ×ｎ大きさのブロックを（ｎ／２）×（ｎ／２）大き
さの四つのサブブロックにスプリットするかの判断は次
の処理過程により決める。
【００３４】 ｅｒｒｏｒ＝ＭＥ（０，ｎ，＆ｍｖ）； ｓｕｂ＿ｅｒｒｏｒ０＝ＭＥ（０，ｎ／２，＆ｍｖ０）； ｓｕｂ＿ｅｒｒｏｒ１＝ＭＥ（１，ｎ／２，＆ｍｖ１）； ｓｕｂ＿ｅｒｒｏｒ２＝ＭＥ（２，ｎ／２，＆ｍｖ２）； ｓｕｂ＿ｅｒｒｏｒ３＝ＭＥ（３，ｎ／２，＆ｍｖ３）； ｅｒｒｏｒ０＝ＭＣ（０，ｎ／２，ｍｖ）； ｅｒｒｏｒ１＝ＭＣ（１，ｎ／２，ｍｖ）； ｅｒｒｏｒ２＝ＭＣ（２，ｎ／２，ｍｖ）； ｅｒｒｏｒ３＝ＭＣ（３，ｎ／２，ｍｖ）； ｓｕｂ＿ｅｒｒｏｒ＝（ｅｒｒｏｒ０−ｓｕｂ＿ｅｒｒｏｒ０）2 ＋（ｅｒｒｏｒ１−ｓｕｂ＿ｅｒｒｏｒ１）2 ＋（ｅｒｒｏｒ２−ｓｕｂ＿ｅｒｒｏｒ２）2 ＋（ｅｒｒｏｒ３−ｓｕｂ＿ｅｒｒｏｒ３）2 ｉｆ（ｓｕｍ＿ｅｒｒｏｒ＞ＴＨ），ｒｅｔｕｒｎ（ｓｐｌｉｔ）； ｅｌｓｅ ｒｅｔｕｒｎ（ｓｔｏｐ）； 前記の過程においてＷ＝ＭＥ（ｘ，ｙ，ｚ）は動き評価
のための関数を示すものであり、ｘはインデックスであ
って正方形を４分割方式により細分化したとき、上部左
側の四角形を０、下部右側の四角形を１、下部左側の四
角形を２、下部右側の四角形を３と設定する。ｙは動き
評価時に用いられるブロックの大きさであり、ｚは動き
評価により生成された動き情報、即ち、動きベクトルで
ある。ここで、ｚは二つの動き成分、即ち、行軸成分、
列軸成分であり、ｚ＝（ｍｖrow，ｍｖcol ）のように
表現できる。Ｗは動き評価の過程において動き成分ｚを
生成するとき発生されたエラー値を示す。
のための関数を示すものであり、ｘはインデックスであ
って正方形を４分割方式により細分化したとき、上部左
側の四角形を０、下部右側の四角形を１、下部左側の四
角形を２、下部右側の四角形を３と設定する。ｙは動き
評価時に用いられるブロックの大きさであり、ｚは動き
評価により生成された動き情報、即ち、動きベクトルで
ある。ここで、ｚは二つの動き成分、即ち、行軸成分、
列軸成分であり、ｚ＝（ｍｖrow，ｍｖcol ）のように
表現できる。Ｗは動き評価の過程において動き成分ｚを
生成するとき発生されたエラー値を示す。
【００３５】Ｖ＝ＭＣ（ｘ，ｙ，ｚ）において、ｘ，
ｙ，ｚはＭＥの場合と同様であり、Ｖは動き情報ｚによ
り動き補償されたブロックと元映像とのエラーを示す。
ｙ，ｚはＭＥの場合と同様であり、Ｖは動き情報ｚによ
り動き補償されたブロックと元映像とのエラーを示す。
【００３６】前記処理過程において、“エラー”はｎ×
ｎブロックに対する動き評価を通じて動き情報“ｍｖ”
を生成して発生されたエラーを示す。そして、ｓｕｂ＿
ｅｒｒｏｒ０，ｓｕｂ＿ｅｒｒｏｒ１，ｓｕｂ＿ｅｒｒ
ｏｒ２，ｓｕｂ＿ｅｒｒｏｒ３はｎ×ｎブロックを４分
割方式により４等分した四つのｎ／２×ｎ／２ブロック
のうちそれぞれ自分のインデックスに当たるブロックに
対して動き評価を行って発生されたエラーを示す。そし
て、ｅｒｒｏｒ０，ｅｒｒｏｒ１，ｅｒｒｏｒ２，ｅｒ
ｒｏｒ３はｎ×ｎブロックを４分割方式により４等分し
た四つのｎ／２×ｎ／２ブロックのうちそれぞれ自分の
インデックスに当たるブロックに対してｎ×ｎブロック
に対する動き評価を通じて生成された動き情報ｍｖを適
用してそれぞれ生成されたエラーを示す。そして、ｓｕ
ｂ＿ｅｒｒｏｒはｅｒｒｏｒ０，ｅｒｒｏｒ１，ｅｒｒ
ｏｒ２，ｅｒｒｏｒ３をそれぞれｓｕｂ＿ｅｒｒｏｒ
０，ｓｕｂ＿ｅｒｒｏｒ１，ｓｕｂ＿ｅｒｒｏｒ２，ｓ
ｕｂ＿ｅｒｒｏｒ３との差を求めてから二乗して加算し
た値であり、この値が大きいほど４分割方式により四つ
の動き評価を行うことがエラーを最小化することであ
る。したがって、この値が予め決めた値（ここではＴ
Ｈ）以上の値を有すると、ｎ×ｎブロックを四つのｎ／
２×ｎ／２のブロックに分けて動き評価を行い、そうで
ない場合にはｎ×ｎブロックの動き評価のみを行う。
ｎブロックに対する動き評価を通じて動き情報“ｍｖ”
を生成して発生されたエラーを示す。そして、ｓｕｂ＿
ｅｒｒｏｒ０，ｓｕｂ＿ｅｒｒｏｒ１，ｓｕｂ＿ｅｒｒ
ｏｒ２，ｓｕｂ＿ｅｒｒｏｒ３はｎ×ｎブロックを４分
割方式により４等分した四つのｎ／２×ｎ／２ブロック
のうちそれぞれ自分のインデックスに当たるブロックに
対して動き評価を行って発生されたエラーを示す。そし
て、ｅｒｒｏｒ０，ｅｒｒｏｒ１，ｅｒｒｏｒ２，ｅｒ
ｒｏｒ３はｎ×ｎブロックを４分割方式により４等分し
た四つのｎ／２×ｎ／２ブロックのうちそれぞれ自分の
インデックスに当たるブロックに対してｎ×ｎブロック
に対する動き評価を通じて生成された動き情報ｍｖを適
用してそれぞれ生成されたエラーを示す。そして、ｓｕ
ｂ＿ｅｒｒｏｒはｅｒｒｏｒ０，ｅｒｒｏｒ１，ｅｒｒ
ｏｒ２，ｅｒｒｏｒ３をそれぞれｓｕｂ＿ｅｒｒｏｒ
０，ｓｕｂ＿ｅｒｒｏｒ１，ｓｕｂ＿ｅｒｒｏｒ２，ｓ
ｕｂ＿ｅｒｒｏｒ３との差を求めてから二乗して加算し
た値であり、この値が大きいほど４分割方式により四つ
の動き評価を行うことがエラーを最小化することであ
る。したがって、この値が予め決めた値（ここではＴ
Ｈ）以上の値を有すると、ｎ×ｎブロックを四つのｎ／
２×ｎ／２のブロックに分けて動き評価を行い、そうで
ない場合にはｎ×ｎブロックの動き評価のみを行う。
【００３７】次に、背景動き評価及び補償段階について
説明する。
説明する。
【００３８】背景領域の動きは大部分のカメラ動きによ
り発生される。背景領域に対する動き評価及び補償は次
の式（１）のようにアファイン動きモデルを用いて動き
に対する情報量を効率よくする。
り発生される。背景領域に対する動き評価及び補償は次
の式（１）のようにアファイン動きモデルを用いて動き
に対する情報量を効率よくする。
【００３９】
【数１】
【００４０】しかしながら、背景領域にカメラによる動
き以外の任意の方向に多数のわずかな動き成分が発生す
る場合もある。このような背景領域は大部分の前景での
ように一つの動きモデルを用いて全ての動きを補償する
ことができない。したがって、このような場合には背景
領域も前景のように可変ブロックに対する動き評価及び
補償を行うことにより安定した符号化を行う。
き以外の任意の方向に多数のわずかな動き成分が発生す
る場合もある。このような背景領域は大部分の前景での
ように一つの動きモデルを用いて全ての動きを補償する
ことができない。したがって、このような場合には背景
領域も前景のように可変ブロックに対する動き評価及び
補償を行うことにより安定した符号化を行う。
【００４１】背景領域に対するアファイン動きモデルを
適用するために本発明では可変ブロックに対して生成し
た動きベクトルを用いる。一つの可変ブロックに対して
完全探索を通じて差の和が所定のスレショルド値より小
さいときの動きベクトルを候補動きベクトルとすると
き、一つのブロックに対する動きベクトルは次のように
三つの種類に分けられる。 タイプ１： 候補動きベクトルの数が小さく、動き補償
エラーも小さい場合、 タイプ２： 候補動きベクトルの数が多い場合、 タイプ３： 候補動きベクトルの数がない場合、 タイプ１の動きベクトルは正確な動き情報と言えるが、
タイプ２とタイプ３の場合は正確な動き情報とは言えな
い。タイプ２は例え補償エラーは小さいが、実際の動き
を示す動きベクトルが選択しにくい。よって、タイプ２
の動き情報は上位ブロックの動きベクトルを適用して実
際の動きを示す動きベクトルを選択する。タイプ３は動
きが極めて複雑であり新たな物体の出現のような状況で
発生する。したがって、タイプ３のブロックではイント
ラモードに符号化するかを判断する。
適用するために本発明では可変ブロックに対して生成し
た動きベクトルを用いる。一つの可変ブロックに対して
完全探索を通じて差の和が所定のスレショルド値より小
さいときの動きベクトルを候補動きベクトルとすると
き、一つのブロックに対する動きベクトルは次のように
三つの種類に分けられる。 タイプ１： 候補動きベクトルの数が小さく、動き補償
エラーも小さい場合、 タイプ２： 候補動きベクトルの数が多い場合、 タイプ３： 候補動きベクトルの数がない場合、 タイプ１の動きベクトルは正確な動き情報と言えるが、
タイプ２とタイプ３の場合は正確な動き情報とは言えな
い。タイプ２は例え補償エラーは小さいが、実際の動き
を示す動きベクトルが選択しにくい。よって、タイプ２
の動き情報は上位ブロックの動きベクトルを適用して実
際の動きを示す動きベクトルを選択する。タイプ３は動
きが極めて複雑であり新たな物体の出現のような状況で
発生する。したがって、タイプ３のブロックではイント
ラモードに符号化するかを判断する。
【００４２】背景領域に対するアファイン動きモデルは
可変ブロックの単位に生成された動きベクトルのうちタ
イプ１に分類された動きベクトルのみを用いることによ
り、アファイン動きモデルに対する解像度を高める。動
き評価は次の式（２）〜（４）ような過程により処理さ
れる。
可変ブロックの単位に生成された動きベクトルのうちタ
イプ１に分類された動きベクトルのみを用いることによ
り、アファイン動きモデルに対する解像度を高める。動
き評価は次の式（２）〜（４）ような過程により処理さ
れる。
【００４３】
【数２】
【００４４】一方、Ｅを最小化するためにＥをａ0 ，ａ
1 ，ａ2 ，ａ3 ，ａ4 ，ａ5 にそれぞれ偏微分して０に
して整理すれば、次の式（５）〜（６）のようになる。
1 ，ａ2 ，ａ3 ，ａ4 ，ａ5 にそれぞれ偏微分して０に
して整理すれば、次の式（５）〜（６）のようになる。
【００４５】
【数３】
【００４６】この式（５）〜（６）により前記式（１）
のアファイン動きモデルが決められる。
のアファイン動きモデルが決められる。
【００４７】次の動き補償エラー、即ち残差信号生成段
階では１フレームのソース映像から動き補償映像を減算
して残差信号を求める。
階では１フレームのソース映像から動き補償映像を減算
して残差信号を求める。
【００４８】次に、残差信号の符号化段階について説明
する。
する。
【００４９】映像内の動く客体は動き評価及び補償を通
じて実際の動きと類似な領域に移動する。しかしなが
ら、動きモデルが実際の動きを完全に処理できないのみ
ならず新たな客体が表れる場合もあるので、動き評価及
び補償後は動き補償エラーを抽出してこれを符号化する
ことが必要する。本発明では可変ブロックを単位とする
離散余弦変換とジクザグスキャンを用いて動き補償エラ
ーを符号化する。
じて実際の動きと類似な領域に移動する。しかしなが
ら、動きモデルが実際の動きを完全に処理できないのみ
ならず新たな客体が表れる場合もあるので、動き評価及
び補償後は動き補償エラーを抽出してこれを符号化する
ことが必要する。本発明では可変ブロックを単位とする
離散余弦変換とジクザグスキャンを用いて動き補償エラ
ーを符号化する。
【００５０】可変ブロックを用いた補償エラーの符号化
のために先ず可変ブロックに対する情報が符号化されな
ければならない。しかしながら、本発明では図３の
（Ｂ）のように表現されるマスク情報をそのまま用いる
ので、可変ブロックによる別途のビット発生は不要であ
る。離散余弦変換は８×８以下のブロックでのみ行われ
る。したがって、残差ブロックの大きさが１６×１６の
場合は四つの８×８輝度ブロックとｃｂ，ｃｒ各々一つ
ずつの８×８ブロックに対して離散余弦変換が行われ
る。図４はこのような多様な大きさの残差ブロックに対
する離散余弦変換ブロックの例を示す。
のために先ず可変ブロックに対する情報が符号化されな
ければならない。しかしながら、本発明では図３の
（Ｂ）のように表現されるマスク情報をそのまま用いる
ので、可変ブロックによる別途のビット発生は不要であ
る。離散余弦変換は８×８以下のブロックでのみ行われ
る。したがって、残差ブロックの大きさが１６×１６の
場合は四つの８×８輝度ブロックとｃｂ，ｃｒ各々一つ
ずつの８×８ブロックに対して離散余弦変換が行われ
る。図４はこのような多様な大きさの残差ブロックに対
する離散余弦変換ブロックの例を示す。
【００５１】一方、一番目のフレームや場面変化のある
フレームの場合には動き処理を用いることよりは直接元
映像を符号化する。また、新たな領域が現れたり、複雑
な動きが発生する場合、動き補償エラーにもその領域に
対して大規模のエラーが多く発生することにより動き評
価及び補償を通じた動き補償エラーの符号化より元映像
を直接符号化することが画質とビット発生量面から有利
な場合がある。本発明では次の式（７）により動き処理
を行う場合、即ち、インタモード（inter mode）の場合
とそうでない場合、即ち、イントラモード（intra mod
e）とを判断している。
フレームの場合には動き処理を用いることよりは直接元
映像を符号化する。また、新たな領域が現れたり、複雑
な動きが発生する場合、動き補償エラーにもその領域に
対して大規模のエラーが多く発生することにより動き評
価及び補償を通じた動き補償エラーの符号化より元映像
を直接符号化することが画質とビット発生量面から有利
な場合がある。本発明では次の式（７）により動き処理
を行う場合、即ち、インタモード（inter mode）の場合
とそうでない場合、即ち、イントラモード（intra mod
e）とを判断している。
【００５２】
【数４】
【００５３】前記式（７）のＩi ，Ｐi はそれぞれ元映
像ブロックと動き補償エラーブロックを示す。即ち、前
記式４においてＩがＰより大きい場合はインタモード、
ＩがＰより小さい場合にはイントラモードを示す。
像ブロックと動き補償エラーブロックを示す。即ち、前
記式４においてＩがＰより大きい場合はインタモード、
ＩがＰより小さい場合にはイントラモードを示す。
【００５４】次に、動き補償エラーの離散余弦変換につ
いて説明する。
いて説明する。
【００５５】二次元のＮ×Ｎ離散余弦変換は次の式
（８）のように行われる。
（８）のように行われる。
【００５６】
【数５】
【００５７】前記式（８）のｕ，ｖ，ｘ，ｙは０，１，
２，．．，Ｎ−１の値を有し、ｘ，ｙはピクセル領域の
空間座標、ｕ，ｖは変換領域の座標を示し、Ｃ（ｕ），
Ｃ（ｖ）は次のようになる。
２，．．，Ｎ−１の値を有し、ｘ，ｙはピクセル領域の
空間座標、ｕ，ｖは変換領域の座標を示し、Ｃ（ｕ），
Ｃ（ｖ）は次のようになる。
【００５８】 Ｃ（ｕ），Ｃ（ｖ）＝１／（√２）、 ｕ，ｖ＝０の場合、 ＝０ 、 その他の場合 一方、逆離散余弦変換は次の式（９）のように定義され
る。
る。
【００５９】
【数６】
【００６０】次に、動き補償エラーの量子化及び逆量子
化について説明する。
化について説明する。
【００６１】量子化は離散余弦変換（ＤＣＴ）ブロック
の大きさがｎ×ｎであり、量子化ステップのサイズがｑ
の場合、イントラモードとインタモードに応じて次のよ
うに処理される。ここで、ｂｏａｒｄ［］［］はＤＣＴ
を通じて変換されたデータであり、ｑｂｏａｒ
ｄ［］［］は量子化されたデータである。量子化でＤＣ
値であるｂｏａｒｄ［０］［０］とＡＣ値である残りデ
ータ、即ち、ｂｏａｒｄ［ｉ］［ｊ］（ここで、ｉ＝
０，ｊ＝０の場合は除く）は相異なる方式で処理され
る。
の大きさがｎ×ｎであり、量子化ステップのサイズがｑ
の場合、イントラモードとインタモードに応じて次のよ
うに処理される。ここで、ｂｏａｒｄ［］［］はＤＣＴ
を通じて変換されたデータであり、ｑｂｏａｒ
ｄ［］［］は量子化されたデータである。量子化でＤＣ
値であるｂｏａｒｄ［０］［０］とＡＣ値である残りデ
ータ、即ち、ｂｏａｒｄ［ｉ］［ｊ］（ここで、ｉ＝
０，ｊ＝０の場合は除く）は相異なる方式で処理され
る。
【００６２】 イントラモードの場合、 ＤＣ：ｑｂｏａｒｄ［０］［０］＝ｂｏａｒｄ［０］［０］／ｎ ＡＣ：ｉｆ（ｂｏａｒｄ［ｉ］［ｊ］≧０） ｑｂｏａｒｄ［ｉ］［ｊ］＝ｂｏａｒｄ［ｉ］［ｊ］／２ｑ ｅｌｓｅ，ｑｂｏａｒｄ［ｉ］［ｊ］＝（ｂｏａｒｄ［ｉ］［ｊ］ ＋１）／２ｑ インタモードの場合、 ＤＣ：ｑｂｏａｒｄ［ｉ］［ｊ］＝ｂｏａｒｄ［ｉ］［ｊ］＊（８／ｎ） ＡＣ：ｉｆ（ｂｏａｒｄ［ｉ］［ｊ］≧０） ｑｂｏａｒｄ［ｉ］［ｊ］＝ｂｏａｒｄ［ｉ］［ｊ］／２ｑ ｅｌｓｅ，ｑｂｏａｒｄ［ｉ］［ｊ］＝（ｂｏａｒｄ［ｉ］［ｊ］ ＋１）／２ｑ 次に逆量子化について説明する。ここで、ｑｂｏａｒｄ
［］［］は量子化されたデータ、ｄｑｂｏａｒ
ｄ［］［］は逆量子化されたデータを示す。
［］［］は量子化されたデータ、ｄｑｂｏａｒ
ｄ［］［］は逆量子化されたデータを示す。
【００６３】 ＤＣ：イントラモードの場合、 ｄｑｂｏａｒｄ［０］［０］＝ｑｂｏａｒｄ［０］［０］* ｎ インタモードの場合、 ｄｑｂｏａｒｄ［ｉ］［ｊ］＝ｑｂｏａｒｄ［ｉ］［ｊ］* （８／ｎ） ＡＣ：ｉｆ（ｑｂｏａｒｄ［ｉ］［ｊ］！＝０） ｉｆ（ｑｓｔｅｐ％２＝１） ｑｂｏａｒｄ［ｉ］［ｊ］ ＝ｑｓｔｅｐ* （２* ａｂｓ（ｑｂｏａｒｄ［ｉ］［ｊ］＋１） ｅｌｅｓ， ｄｑｂｏａｒｄ［ｉ］［ｊ］ ＝ｑｓｔｅｐ* （２* ａｂｓ（ｑｂｏａｒｄ［ｉ］［ｊ］＋１）−１ ｅｌｅｓ，ｑｂｏａｒｄ［ｉ］［ｊ］＝０ 一方、離散余弦変換ブロックで可変ブロックに対するジ
グザグスキャンの順序は図５に示した通りである。
グザグスキャンの順序は図５に示した通りである。
【００６４】そして、図１に示した符号化装置により符
号化された映像を復号化する装置は図２の通りであり、
復号化過程は前記符号化過程の逆順なのでここでは詳細
な説明は省く。
号化された映像を復号化する装置は図２の通りであり、
復号化過程は前記符号化過程の逆順なのでここでは詳細
な説明は省く。
【００６５】図６は本発明によりａｋｉｙｏ，ｃｏｎｔ
ａｉｎｅｒ ｓｈｉｐ，ｈａｌｌｍｏｎｉｔｏｒ，ｍｏ
ｔｈｅｒ＆ｄｏｕｇｈｔｅｒというテスト映像を符号化
してから復元した結果である。
ａｉｎｅｒ ｓｈｉｐ，ｈａｌｌｍｏｎｉｔｏｒ，ｍｏ
ｔｈｅｒ＆ｄｏｕｇｈｔｅｒというテスト映像を符号化
してから復元した結果である。
【００６６】
【発明の効果】前述したように本発明による客体単位の
処理が可能な動映像の復号化／復号化方法及び符号化／
復号化装置では動き評価において動き情報と動き補償エ
ラーのトレードオフに鑑み、動きのない領域については
符号化を行わないことにより圧縮効率を高める。
処理が可能な動映像の復号化／復号化方法及び符号化／
復号化装置では動き評価において動き情報と動き補償エ
ラーのトレードオフに鑑み、動きのない領域については
符号化を行わないことにより圧縮効率を高める。
【００６７】また、視感的に最も敏感な部分である前景
と背景との境界を４分割方式による可変ブロックを用い
て符号化することにより境界部分を明確に復元し得るの
みならず、離散余弦変換の有するエラーのむら現象も減
らすので復元映像の画質を向上させる。
と背景との境界を４分割方式による可変ブロックを用い
て符号化することにより境界部分を明確に復元し得るの
みならず、離散余弦変換の有するエラーのむら現象も減
らすので復元映像の画質を向上させる。
【００６８】かつ、現在標準化されたＭＣ−ＤＣＴ方式
を採択することにより単なる構造を持ち、使用される応
用分野に応じて画質とビット発生量を適切に調節し得る
のみならず、符号化されたデータの構造を前景と背景の
分離構造とすることによりいずれか一側のみを選択的に
復元することができる。
を採択することにより単なる構造を持ち、使用される応
用分野に応じて画質とビット発生量を適切に調節し得る
のみならず、符号化されたデータの構造を前景と背景の
分離構造とすることによりいずれか一側のみを選択的に
復元することができる。
【図１】 本発明による客体単位の処理が可能な動映像
の符号化装置を示すブロック図である。
の符号化装置を示すブロック図である。
【図２】 本発明による客体単位の処理が可能な動映像
の復号化装置を示すブロック図である。
の復号化装置を示すブロック図である。
【図３】 客体単位の処理のためのマスクの生成と４分
割方式を用いた符号化方法の例を示す図面である。
割方式を用いた符号化方法の例を示す図面である。
【図４】 可変大きさのマクロブロックの例を示す図面
である。
である。
【図５】 可変大きさのブロックでジクザグスキャンの
順序を示す図面である。
順序を示す図面である。
【図６】 本発明により映像信号を符号化及び復号化を
行った場合、各テスト映像に対するＰＳＮＲを示す図面
である。
行った場合、各テスト映像に対するＰＳＮＲを示す図面
である。
Claims (8)
- 【請求項１】 符号化しようとする１フレーム分のソー
ス映像を客体を示す前景領域とその他の領域を示す背景
領域とに分割し、前記二つの領域の境界を示すマスク情
報を生成するマスク生成過程と、 前記分割された二つの領域に対して別途に動き評価を行
って動きベクトルを生成し、前記各領域の動きベトクル
を用いて前記背景領域が動くか否かに応じて以前の復元
映像または現在の復元映像に対して選択的に動き補償を
行って動き補償映像を生成する動き評価及び補償過程
と、 前記１フレーム分のソース映像から前記動き補償映像を
減算して残差信号を求める残差信号生成過程と、 前記残差信号を可変ブロックの単位に離散余弦変換した
後、量子化及び可変長符号化を通じて符号化し、前記符
号化された信号、前記マスク情報及び二つの領域に対す
る動きベクトルを多重化して出力する残差信号符号化過
程とを具備することを特徴とする客体単位の処理が可能
な動映像の符号化方法。 - 【請求項２】 前記動き評価及び補償過程では前記前景
領域に対しては可変ブロックの単位に動き評価を行い、
前記背景領域に対しては背景領域の複雑度に応じて可変
ブロックの単位の動き評価またはアファイン動き評価を
行うことを特徴とする請求項１に記載の客体単位の処理
が可能な動映像の符号化方法。 - 【請求項３】 前記二つの領域の境界部分は４分割方式
により符号化されることを特徴とする請求項２に記載の
客体単位の処理が可能な動映像の符号化方法。 - 【請求項４】 符号化しようとする１フレーム分のソー
ス映像を客体を示す前景領域とその他の領域を示す背景
領域とに分割し、前記二つの領域の境界を示すマスク情
報を生成する前景／背景抽出器と、 前記分割された二つの領域に対して別途に動き評価を行
って動きベクトルを生成する前景／背景動き評価器と、 前記各領域の動きベクトルを用いて前記背景領域が動く
か否かに応じて以前の復元映像または現在の復元映像に
対して選択的に動き補償を行って動き補償映像を生成す
る動き補償器と、 前記１フレーム分のソース映像から前記動き補償領域を
減算して残差信号を求める減算器と、 前記残差信号を可変ブロックの単位に離散余弦変換した
後、量子化及び可変長符号化を通じて符号化し、前記符
号化された信号、前記マスク情報及び二つの領域に対す
る動きベクトルを多重化して出力する残差信号符号化手
段とを具備することを特徴とする客体単位の処理が可能
な動映像の符号化装置。 - 【請求項５】 前記二つの領域の境界部分は４分割方式
により符号化されることを特徴とする請求項４に記載の
客体単位の処理が可能な動映像の符号化装置。 - 【請求項６】 １フレーム分のソース映像を客体を示す
前景領域とその他の領域を示す背景領域とに分割し、残
差信号を符号化して生成されたビットストリームを元の
動映像に復元するための客体単位の処理が可能な動映像
の復号化方法において、 前記ビットストリームから前記符号化された残差信号を
抽出して可変長復号化、逆量子化及び逆離散余弦変換
し、前記二つの領域に対する動きベクトルと前記二つの
領域を分割するマスク情報を復元する復号化過程と、 以前の復元映像に基づいて前記マスク情報により分けら
れた二つの領域に対して別途に動き補償を行って動き補
償映像を生成し、前記復号化された残差信号と前記動き
補償映像とを加算して現在の復元映像を生成する動き補
償過程と、 前記動きベクトルに応じて前記以前の復元映像または現
在の復元映像を選択的に出力する選択出力過程とを具備
することを特徴とする客体単位の処理が可能な動映像の
復号化方法。 - 【請求項７】 １フレーム分のソース映像を客体を示す
前景領域とその他の領域を示す背景領域とに分割し、残
差信号を符号化して生成されたビットストリームを元の
動映像に復元するための客体単位の処理が可能な動映像
の復号化装置において、 前記ビットストリームから前記符号化された残差信号を
抽出して可変長復号化する可変長復号化器と、 前記可変長復号化された残差信号を逆量子化及び逆離散
余弦変換して前記残差信号を復号化する復号化器と、 前記二つの領域に対する動きベクトルと前記二つの領域
を分けるマスク情報を復元するマスク復元器と、 以前の復元映像に基づいて前記マスク情報により分けら
れた二つの領域に対して別途に動き補償を行って動き補
償領域を生成する動き補償器と、 前記復号化された残差信号と前記動き補償映像とを加算
して現在の復元映像を生成する加算器と、 以前の復元映像を貯蔵する復元フレーム貯蔵器と、 前記動きベクトルに応じて前記以前の復元映像または現
在の復元映像を選択的に出力する選択出力器とを具備す
ることを特徴とする客体単位の処理が可能な動映像の復
号化装置。 - 【請求項８】 前記選択出力器では前記動きベクトルに
応じて動きがないと判断される領域に対しては前記以前
の復元映像を出力し、動きがあると判断される領域に対
しては前記現在の復元映像を出力することを特徴とする
請求項７に記載の客体単位の処理が可能な動映像の復号
化装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR19960009572 | 1996-03-30 | ||
| KR96P9572 | 1996-03-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09284775A true JPH09284775A (ja) | 1997-10-31 |
| JP4012267B2 JP4012267B2 (ja) | 2007-11-21 |
Family
ID=19454682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10945096A Expired - Fee Related JP4012267B2 (ja) | 1996-03-30 | 1996-04-30 | オブジェクト単位の処理が可能な動映像の符号化／復号化方法及び符号化／復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4012267B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013048465A (ja) * | 2006-06-27 | 2013-03-07 | Marvell World Trade Ltd | 動き補償画像レートコンバータに係るシステムおよび方法 |
| US9076267B2 (en) | 2011-07-19 | 2015-07-07 | Panasonic Intellectual Property Corporation Of America | Image coding device, integrated circuit thereof, and image coding method |
-
1996
- 1996-04-30 JP JP10945096A patent/JP4012267B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013048465A (ja) * | 2006-06-27 | 2013-03-07 | Marvell World Trade Ltd | 動き補償画像レートコンバータに係るシステムおよび方法 |
| US9076267B2 (en) | 2011-07-19 | 2015-07-07 | Panasonic Intellectual Property Corporation Of America | Image coding device, integrated circuit thereof, and image coding method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4012267B2 (ja) | 2007-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6330280B1 (en) | Method and apparatus for decoding enhancement and base layer image signals using a predicted image signal | |
| Sikora | The MPEG-4 video standard verification model | |
| KR100451326B1 (ko) | 화상 예측 복호화 방법 및 화상 예측 부호화 방법 | |
| JP3263807B2 (ja) | 画像符号化装置および画像符号化方法 | |
| US6349154B1 (en) | Method and Arrangement for creating a high-resolution still picture | |
| JP4703449B2 (ja) | 符号化方法 | |
| US20050002458A1 (en) | Spatial scalable compression | |
| JP3189258B2 (ja) | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 | |
| JP3413721B2 (ja) | 画像符号化方法及び装置、並びに画像復号方法及び装置 | |
| JP4226172B2 (ja) | 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法 | |
| JP2003533101A (ja) | 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ | |
| US20060133475A1 (en) | Video coding | |
| JPH06505136A (ja) | ビデオ信号をデコードする方法および装置 | |
| JP2001211455A (ja) | 画像符号化方法及び画像符号化装置 | |
| JPH1155672A (ja) | 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法 | |
| JP5015375B2 (ja) | 小画像を挿入するｍｐｅｇ標準に準拠した画像の符号化方法及び装置 | |
| JP2007036888A (ja) | 符号化方法 | |
| US20070025438A1 (en) | Elastic storage | |
| KR100403800B1 (ko) | 객체단위의처리가가능한동영상부호화/복호화방법및부호화/복호화장치 | |
| US6556714B2 (en) | Signal processing apparatus and method | |
| JP3344577B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法 | |
| JP4012267B2 (ja) | オブジェクト単位の処理が可能な動映像の符号化／復号化方法及び符号化／復号化装置 | |
| JP2001268581A (ja) | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 | |
| JP4133581B2 (ja) | テロップ合成装置、テロップ合成方法及びテロップ合成プログラム | |
| JP3344576B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040706 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040709 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050629 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050725 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050929 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060905 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070104 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070907 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |