JPH1056643A - 任意の対象物を収録している動画像の符号化及び復号化装置 - Google Patents
任意の対象物を収録している動画像の符号化及び復号化装置Info
- Publication number
- JPH1056643A JPH1056643A JP12993397A JP12993397A JPH1056643A JP H1056643 A JPH1056643 A JP H1056643A JP 12993397 A JP12993397 A JP 12993397A JP 12993397 A JP12993397 A JP 12993397A JP H1056643 A JPH1056643 A JP H1056643A
- Authority
- JP
- Japan
- Prior art keywords
- data
- mesh
- image
- motion
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 任意の対象物を収録している動き画像を符号
化及び復号化するための装置を提供する。 【解決手段】 受信される現画像データから現画像に入
っている対象物を抽出し、抽出された対象物の輪郭を示
す対象物輪郭データを出力する対象物抽出部を備える。
予測符号化部は現画像データ、既に貯蔵された基準画像
データ及び現画像データと基準画像のうち一つを分割す
るメッシュの制御点を用いた予測符号化を行い、制御点
に関連した動き情報、現画像と基準画像との差分データ
及び予測画像データを発生する。対象物差発生部は対象
物抽出手段からの対象物の輪郭データに基づき、予測符
号化手段からの差分データのうち対象物領域内の差分デ
ータを選択して符号化し、選択された差分データ及び符
号化された差分データを出力する。加算部は予測符号化
手段からの予測画像データと前記対象物差発生手段から
の選択された差分データを受信して加算し、その結果に
て生ずる画像データで前記予測符号化手段に既に貯蔵さ
れた基準画像データを更新する。
化及び復号化するための装置を提供する。 【解決手段】 受信される現画像データから現画像に入
っている対象物を抽出し、抽出された対象物の輪郭を示
す対象物輪郭データを出力する対象物抽出部を備える。
予測符号化部は現画像データ、既に貯蔵された基準画像
データ及び現画像データと基準画像のうち一つを分割す
るメッシュの制御点を用いた予測符号化を行い、制御点
に関連した動き情報、現画像と基準画像との差分データ
及び予測画像データを発生する。対象物差発生部は対象
物抽出手段からの対象物の輪郭データに基づき、予測符
号化手段からの差分データのうち対象物領域内の差分デ
ータを選択して符号化し、選択された差分データ及び符
号化された差分データを出力する。加算部は予測符号化
手段からの予測画像データと前記対象物差発生手段から
の選択された差分データを受信して加算し、その結果に
て生ずる画像データで前記予測符号化手段に既に貯蔵さ
れた基準画像データを更新する。
Description
【0001】
【発明の属する技術分野】本発明は任意の対象物を収録
している動き画像を符号化及び復号化するための装置に
関する。
している動き画像を符号化及び復号化するための装置に
関する。
【0002】
【従来の技術】近年、画像電話または画像会議システム
などにおける応用のため、極めて低いビット率にて動き
画像を伝送するための国際的な標準化作業が進んでい
る。動き画像を極めて低いビット率にて伝送するため、
動き画像内の意味のある物体のみを分割し、分割された
物体のみを伝送する対象物向きの符号化技法が幅広く研
究されている。そして、この対象物向きの符号化技法は
極めて低いビット率にて動き画像を伝送するための必須
の技術として認識されている。かかる動き画像の対象物
向きの符号化においては、対象物について時間軸相関性
を取り除くための動き予測技法が求められ、かつ符号化
効率を高めるためにさらに正確な動き予測技法を必要と
する。
などにおける応用のため、極めて低いビット率にて動き
画像を伝送するための国際的な標準化作業が進んでい
る。動き画像を極めて低いビット率にて伝送するため、
動き画像内の意味のある物体のみを分割し、分割された
物体のみを伝送する対象物向きの符号化技法が幅広く研
究されている。そして、この対象物向きの符号化技法は
極めて低いビット率にて動き画像を伝送するための必須
の技術として認識されている。かかる動き画像の対象物
向きの符号化においては、対象物について時間軸相関性
を取り除くための動き予測技法が求められ、かつ符号化
効率を高めるためにさらに正確な動き予測技法を必要と
する。
【0003】
【発明が解決しようとする課題】本発明は前述した問題
点を解決するために案出されたもので、その目的は画像
から抽出された任意の対象物をメッシュにて表現し、そ
の画像の動き予測符号化のためにメッシュの制御点を用
いる任意の対象物を収録している動き画像の符号化装置
を提供することである。
点を解決するために案出されたもので、その目的は画像
から抽出された任意の対象物をメッシュにて表現し、そ
の画像の動き予測符号化のためにメッシュの制御点を用
いる任意の対象物を収録している動き画像の符号化装置
を提供することである。
【0004】
【課題を解決するための手段】前述した目的を達成する
ため、本発明による対象物を収録している現画像のため
の動き画像符号化装置において、受信される現画像デー
タから現画像に入っている対象物を抽出し、抽出された
対象物の輪郭を示す対象物輪郭データを出力する対象物
抽出手段と、前記現画像データ、既に貯蔵された基準画
像データ及び現画像データと基準画像のうち一つを分割
するメッシュの制御点を用いた予測符号化を行い、制御
点に関連した動き情報、現画像と基準画像との差分デー
タ及び予測画像データを発生する予測符号化手段と、前
記対象物抽出手段からの対象物輪郭データに基づき、前
記予測符号化手段からの差分データのうち対象物領域内
の差分データを選択して符号化し、選択された差分デー
タ及び符号化された差分データを出力する対象物差発生
手段と、前記予測符号化手段からの予測画像データと前
記対象物差発生手段からの選択された差分データを受信
して加算し、その結果にて生ずる画像データで前記予測
符号化手段に既に貯蔵された基準画像データを更新する
加算手段とを含む。
ため、本発明による対象物を収録している現画像のため
の動き画像符号化装置において、受信される現画像デー
タから現画像に入っている対象物を抽出し、抽出された
対象物の輪郭を示す対象物輪郭データを出力する対象物
抽出手段と、前記現画像データ、既に貯蔵された基準画
像データ及び現画像データと基準画像のうち一つを分割
するメッシュの制御点を用いた予測符号化を行い、制御
点に関連した動き情報、現画像と基準画像との差分デー
タ及び予測画像データを発生する予測符号化手段と、前
記対象物抽出手段からの対象物輪郭データに基づき、前
記予測符号化手段からの差分データのうち対象物領域内
の差分データを選択して符号化し、選択された差分デー
タ及び符号化された差分データを出力する対象物差発生
手段と、前記予測符号化手段からの予測画像データと前
記対象物差発生手段からの選択された差分データを受信
して加算し、その結果にて生ずる画像データで前記予測
符号化手段に既に貯蔵された基準画像データを更新する
加算手段とを含む。
【0005】また、本発明の他の目的を達成するため、
対象物向きの動き画像符号化装置の出力のための動き画
像復号化装置において、受信される符号化された対象物
輪郭データを復号化し、現画像に入っている対象物の輪
郭を示す対象物輪郭データを復元する対象物輪郭復元手
段と、受信される符号化された差分データを復号化して
差分データを出力する差分データ復号化手段と、前記対
象物輪郭データ、既に貯蔵された基準画像データ、前記
対象物輪郭と前記基準画像のうち一つを分割するメッシ
ュの制御点、及び前記制御点に関連した動き情報を用い
た動き補償を行い、対象物輪郭データ及び予測画像デー
タを出力する動き補償復号化手段と、前記対象物輪郭デ
ータにより選択される予測画像データ及び差分データを
加算し、その結果から生ずる画像データで前記動き補償
復号化手段に貯蔵された既に貯蔵された基準画像データ
を更新する加算手段とを含む。
対象物向きの動き画像符号化装置の出力のための動き画
像復号化装置において、受信される符号化された対象物
輪郭データを復号化し、現画像に入っている対象物の輪
郭を示す対象物輪郭データを復元する対象物輪郭復元手
段と、受信される符号化された差分データを復号化して
差分データを出力する差分データ復号化手段と、前記対
象物輪郭データ、既に貯蔵された基準画像データ、前記
対象物輪郭と前記基準画像のうち一つを分割するメッシ
ュの制御点、及び前記制御点に関連した動き情報を用い
た動き補償を行い、対象物輪郭データ及び予測画像デー
タを出力する動き補償復号化手段と、前記対象物輪郭デ
ータにより選択される予測画像データ及び差分データを
加算し、その結果から生ずる画像データで前記動き補償
復号化手段に貯蔵された既に貯蔵された基準画像データ
を更新する加算手段とを含む。
【0006】
【発明の実施の形態】以下、添付した図面に基づき本発
明の望ましい一実施例を詳述する。図1は本発明の一実
施例による動き画像符号化装置を示す。同図において、
対象物抽出部10は外部からのディジタル画像データを
受信し、受信された画像データにより表現される現画像
から任意の対象物を抽出する。その後、対象物抽出部1
0は抽出された対象物の輪郭(contour)情報を示す対象
物輪郭データを発生し、対象物輪郭データは差分データ
符号化部20及び後述する図3の復号化装置に供給され
る。対象物輪郭データは対象物の輪郭を決定づける画素
または画素よりなるセグメントの空間的な位置を収録し
ている。対象物抽出部10は対象物輪郭データ及び受信
された現画像データをメッシュ生成部12に出力する。
メッシュ生成部12は対象物輪郭データに基づき現画像
から対象物領域を区分し、対象物領域内の画像について
規則メッシュ表現のための信号処理を行う。メッシュ生
成部12の詳細な構成及び動作を図2に基づき説明す
る。
明の望ましい一実施例を詳述する。図1は本発明の一実
施例による動き画像符号化装置を示す。同図において、
対象物抽出部10は外部からのディジタル画像データを
受信し、受信された画像データにより表現される現画像
から任意の対象物を抽出する。その後、対象物抽出部1
0は抽出された対象物の輪郭(contour)情報を示す対象
物輪郭データを発生し、対象物輪郭データは差分データ
符号化部20及び後述する図3の復号化装置に供給され
る。対象物輪郭データは対象物の輪郭を決定づける画素
または画素よりなるセグメントの空間的な位置を収録し
ている。対象物抽出部10は対象物輪郭データ及び受信
された現画像データをメッシュ生成部12に出力する。
メッシュ生成部12は対象物輪郭データに基づき現画像
から対象物領域を区分し、対象物領域内の画像について
規則メッシュ表現のための信号処理を行う。メッシュ生
成部12の詳細な構成及び動作を図2に基づき説明す
る。
【0007】メッシュ生成部12内のブロック形成器1
21は対象物抽出部10から出力される現画像データ及
び対象物輪郭データを受信する。ブロック形成器121
は受信された画像データにより表現される現画像を既に
設定されたサイズの画像ブロックに分割し、画像ブロッ
クを示す画像ブロックデータ及び対象物輪郭データはブ
ロック選択器123に供給する。ブロック選択器123
は対象物輪郭データに基づき現画像を構成する全体画像
ブロックのうち対象物領域内の画像データを収録してい
る画像ブロックを選択する。選択された画像ブロックを
示すデータ及び対象物輪郭データは対象物画像構成器1
25に出力される。この際、対象物領域に属さない画像
データのみを有する画像ブロックは選択されない。従っ
て、選択されない画像ブロックを示すデータは対象物画
像構成器125へ供給されなくなる。選択された画像ブ
ロックのデータを受信する対象物画像構成器125は選
択された画像ブロックを併合し、併合の結果から生じた
対象物画像を示すデータ及び対象物輪郭データをメッシ
ュ構成器127へ供給する。対象物画像データを受信す
るメッシュ構成器127は対象物画像を規則四角メッシ
ュまたは規則三角メッシュに分割する。
21は対象物抽出部10から出力される現画像データ及
び対象物輪郭データを受信する。ブロック形成器121
は受信された画像データにより表現される現画像を既に
設定されたサイズの画像ブロックに分割し、画像ブロッ
クを示す画像ブロックデータ及び対象物輪郭データはブ
ロック選択器123に供給する。ブロック選択器123
は対象物輪郭データに基づき現画像を構成する全体画像
ブロックのうち対象物領域内の画像データを収録してい
る画像ブロックを選択する。選択された画像ブロックを
示すデータ及び対象物輪郭データは対象物画像構成器1
25に出力される。この際、対象物領域に属さない画像
データのみを有する画像ブロックは選択されない。従っ
て、選択されない画像ブロックを示すデータは対象物画
像構成器125へ供給されなくなる。選択された画像ブ
ロックのデータを受信する対象物画像構成器125は選
択された画像ブロックを併合し、併合の結果から生じた
対象物画像を示すデータ及び対象物輪郭データをメッシ
ュ構成器127へ供給する。対象物画像データを受信す
るメッシュ構成器127は対象物画像を規則四角メッシ
ュまたは規則三角メッシュに分割する。
【0008】規則四角メッシュを用いて画像を分割する
よう設計された場合、メッシュ構成器127は対象物画
像をブロックサイズとは異なる既に設定されたサイズの
格子(grid) に分割される。ここで、格子はブロックよ
り小サイズを有する。その後、メッシュ構成器127は
分割により得られた格子の頂点のうち、対象物領域内に
入っている頂点を制御点として決定し、制御点を有する
格子を規則四角メッシュと決定する。メッシュ構成器1
27は規則四角メッシュの制御点に関連した画像データ
を収録している四角メッシュデータを図1に示した動き
推定及び補償部14へ出力する。ここで、各制御点に関
連した画像データは制御点の位置及びその位置における
グレー値、そしてその制御点に隣接する位置を有する画
素の位置及びグレー値を含む。また、メッシュ構成器1
27は現画像データを差値計算部18へ出力する。
よう設計された場合、メッシュ構成器127は対象物画
像をブロックサイズとは異なる既に設定されたサイズの
格子(grid) に分割される。ここで、格子はブロックよ
り小サイズを有する。その後、メッシュ構成器127は
分割により得られた格子の頂点のうち、対象物領域内に
入っている頂点を制御点として決定し、制御点を有する
格子を規則四角メッシュと決定する。メッシュ構成器1
27は規則四角メッシュの制御点に関連した画像データ
を収録している四角メッシュデータを図1に示した動き
推定及び補償部14へ出力する。ここで、各制御点に関
連した画像データは制御点の位置及びその位置における
グレー値、そしてその制御点に隣接する位置を有する画
素の位置及びグレー値を含む。また、メッシュ構成器1
27は現画像データを差値計算部18へ出力する。
【0009】規則三角メッシュを用いて画像を分割する
よう設計した場合、メッシュ構成器127は前述した過
程を通して得られたそれぞれの規則四角メッシュをその
メッシュ内における画像データの類似性に基づき二つの
規則三角メッシュに分割させる。各規則四角メッシュの
画像データの類似性を判断するため、メッシュ構成器1
27はその規則四角メッシュの45度対角線方向に位置
した二つの制御点に応ずる画素値間の差値と−45度対
角線方向に位置した二つの制御点に応ずる画素値間の差
値とをサイズ比較する。メッシュ構成器127は小さい
差値に応ずる対角方向に四角メッシュを分割し、その結
果各四角メッシュ毎に二つの規則三角メッシュが生成さ
れる。メッシュ構成器127は規則三角メッシュの制御
点に関連した画像データを収録している三角メッシュデ
ータを動き推定及び補償部14へ出力する。また、メッ
シュ構成器127は現画像データを差値計算部18へ出
力する。
よう設計した場合、メッシュ構成器127は前述した過
程を通して得られたそれぞれの規則四角メッシュをその
メッシュ内における画像データの類似性に基づき二つの
規則三角メッシュに分割させる。各規則四角メッシュの
画像データの類似性を判断するため、メッシュ構成器1
27はその規則四角メッシュの45度対角線方向に位置
した二つの制御点に応ずる画素値間の差値と−45度対
角線方向に位置した二つの制御点に応ずる画素値間の差
値とをサイズ比較する。メッシュ構成器127は小さい
差値に応ずる対角方向に四角メッシュを分割し、その結
果各四角メッシュ毎に二つの規則三角メッシュが生成さ
れる。メッシュ構成器127は規則三角メッシュの制御
点に関連した画像データを収録している三角メッシュデ
ータを動き推定及び補償部14へ出力する。また、メッ
シュ構成器127は現画像データを差値計算部18へ出
力する。
【0010】動き推定及び補償部14はメモリ16に貯
蔵された基準画像データとメッシュ生成部12から受信
される現画像内の対象物画像に関連したメッシュデータ
を用い、動き推定及び補償を行う。動き推定及び補償部
14は、まず各メッシュの制御点に関連した画像データ
とメモリ16に貯蔵された基準画像データをサイズ比較
する。それぞれの制御点は理想的な場合、一つの画素に
応ずる。すなわち、1画素の空間的な位置及びグレー値
に表現される。しかし、実際は画素対画素の比較のみで
は基準画像内で制御点と類似した画像データを有する位
置を正確に捜し出しにくい。従って、各制御点に関連し
た画像データはメッシュ構成器127に関連づけて説明
した通り、その制御点に応ずる画素及びその近傍の複数
個の画素に関連した画像データである。動き推定及び補
償部14は前述したデータサイズの比較結果に基づき、
制御点の画像データと最も類似した画像データを有する
基準画像内における位置を決定する。その後、動き推定
及び補償部14は制御点と基準画像内の対応位置間の動
きを示す動きベクトルを決定する。全ての制御点につい
て動きベクトルが決定されれば、動き推定及び補償部1
4は決定された動きベクトルを用いた映像ワーピングの
ような空間変換を行い、現画像に対する予測画像を生成
する。予測画像を示すデータは差値計算部18及び加算
部24へ出力され、全ての制御点に応ずる動きベクトル
を示す動き情報は図3の装置へ供給される。前述した空
間変換はディジタル映像処理に関連して公知なので、そ
の具体的な説明は省く。
蔵された基準画像データとメッシュ生成部12から受信
される現画像内の対象物画像に関連したメッシュデータ
を用い、動き推定及び補償を行う。動き推定及び補償部
14は、まず各メッシュの制御点に関連した画像データ
とメモリ16に貯蔵された基準画像データをサイズ比較
する。それぞれの制御点は理想的な場合、一つの画素に
応ずる。すなわち、1画素の空間的な位置及びグレー値
に表現される。しかし、実際は画素対画素の比較のみで
は基準画像内で制御点と類似した画像データを有する位
置を正確に捜し出しにくい。従って、各制御点に関連し
た画像データはメッシュ構成器127に関連づけて説明
した通り、その制御点に応ずる画素及びその近傍の複数
個の画素に関連した画像データである。動き推定及び補
償部14は前述したデータサイズの比較結果に基づき、
制御点の画像データと最も類似した画像データを有する
基準画像内における位置を決定する。その後、動き推定
及び補償部14は制御点と基準画像内の対応位置間の動
きを示す動きベクトルを決定する。全ての制御点につい
て動きベクトルが決定されれば、動き推定及び補償部1
4は決定された動きベクトルを用いた映像ワーピングの
ような空間変換を行い、現画像に対する予測画像を生成
する。予測画像を示すデータは差値計算部18及び加算
部24へ出力され、全ての制御点に応ずる動きベクトル
を示す動き情報は図3の装置へ供給される。前述した空
間変換はディジタル映像処理に関連して公知なので、そ
の具体的な説明は省く。
【0011】差値計算部18はメッシュ生成部12から
受信される現画像データと動き推定及び補償部14の予
測画像データとの差値を計算する。差値計算は現画像と
予測画像の応ずる位置を有する画素間になされ、その結
果から生ずる差値データは差分データ符号化部20へ出
力される。差分データ符号化部20は差値計算部18か
ら供給される差値データのうち、対象物抽出部10の対
象物輪郭データにより決定される対象物領域内の差値デ
ータを符号化させる。このように差分データ符号化部2
0により符号化されるデータを対象物領域内の差値デー
タに限定させれば、現画像内の対象物に関連した差値デ
ータのみ符号化されるので、差分データ符号化部20は
現画像についてさらに効率的な符号化を行える。また、
差分データ符号化部20は対象物抽出部10から受信さ
れる対象物輪郭データを符号化する。対象物領域内の差
値データ及び対象物輪郭データを符号化するために、差
分データ符号化部はDCTなどを含む公知の直交変換符
号化方法を用いる。符号化された対象物輪郭データ、符
号化された差値データ及び動き情報は伝送チャンネル
(図示せず)を通して後述する図3の復号化装置に伝送
されたり、図3の復号化装置で用いられる貯蔵媒体(図
示せず)に記録される。
受信される現画像データと動き推定及び補償部14の予
測画像データとの差値を計算する。差値計算は現画像と
予測画像の応ずる位置を有する画素間になされ、その結
果から生ずる差値データは差分データ符号化部20へ出
力される。差分データ符号化部20は差値計算部18か
ら供給される差値データのうち、対象物抽出部10の対
象物輪郭データにより決定される対象物領域内の差値デ
ータを符号化させる。このように差分データ符号化部2
0により符号化されるデータを対象物領域内の差値デー
タに限定させれば、現画像内の対象物に関連した差値デ
ータのみ符号化されるので、差分データ符号化部20は
現画像についてさらに効率的な符号化を行える。また、
差分データ符号化部20は対象物抽出部10から受信さ
れる対象物輪郭データを符号化する。対象物領域内の差
値データ及び対象物輪郭データを符号化するために、差
分データ符号化部はDCTなどを含む公知の直交変換符
号化方法を用いる。符号化された対象物輪郭データ、符
号化された差値データ及び動き情報は伝送チャンネル
(図示せず)を通して後述する図3の復号化装置に伝送
されたり、図3の復号化装置で用いられる貯蔵媒体(図
示せず)に記録される。
【0012】差分データ符号化部20から符号化された
差値データを受信する差分データ復号化部22は差分デ
ータ符号化部20による信号処理の逆過程を通して差値
データを復元する。加算部24は動き推定及び補償部1
4からの予測画像データと差分データ復号化部22の差
値データを加算し、加算された結果のデータをメモリ1
6へ出力する。加算部24から出力されるデータは現画
像について動き推定及び補償がなされた画像のデータで
あって、メモリ16に貯蔵され次の画像に対する動き推
定及び動き補償のための基準画像データとして使われ
る。
差値データを受信する差分データ復号化部22は差分デ
ータ符号化部20による信号処理の逆過程を通して差値
データを復元する。加算部24は動き推定及び補償部1
4からの予測画像データと差分データ復号化部22の差
値データを加算し、加算された結果のデータをメモリ1
6へ出力する。加算部24から出力されるデータは現画
像について動き推定及び補償がなされた画像のデータで
あって、メモリ16に貯蔵され次の画像に対する動き推
定及び動き補償のための基準画像データとして使われ
る。
【0013】図3に示した動き画像復号化装置は、図1
の装置により発生された符号化された差値データ、符号
化された対象物輪郭データ及び動き情報を受信する。対
象物輪郭復元部30は符号化された対象物輪郭データを
復号化し、対象物輪郭データはメッシュ生成部34へ出
力する。対象物輪郭データを受信するメッシュ生成部3
4は全画像サイズを既に設定されたサイズの格子に分割
し、分割により得られた格子の頂点のうち、対象物輪郭
データにより決定される対象物領域内に存する頂点を制
御点と決定し、制御点を有する格子を四角メッシュと決
定する。図1のメッシュ生成部12が四角メッシュを示
すメッシュデータを発生するよう設計された場合、メッ
シュ生成部34も四角メッシュを示すメッシュデータを
発生する。そして、図1のメッシュ生成部12が三角メ
ッシュに関連したメッシュデータを発生するよう設計さ
れた場合、メッシュ生成部34は三角メッシュに関連し
たメッシュデータを発生する。メッシュ生成部34は発
生されたメッシュデータを動き補償部38に供給し、対
象物輪郭データを加算部36へ供給する。
の装置により発生された符号化された差値データ、符号
化された対象物輪郭データ及び動き情報を受信する。対
象物輪郭復元部30は符号化された対象物輪郭データを
復号化し、対象物輪郭データはメッシュ生成部34へ出
力する。対象物輪郭データを受信するメッシュ生成部3
4は全画像サイズを既に設定されたサイズの格子に分割
し、分割により得られた格子の頂点のうち、対象物輪郭
データにより決定される対象物領域内に存する頂点を制
御点と決定し、制御点を有する格子を四角メッシュと決
定する。図1のメッシュ生成部12が四角メッシュを示
すメッシュデータを発生するよう設計された場合、メッ
シュ生成部34も四角メッシュを示すメッシュデータを
発生する。そして、図1のメッシュ生成部12が三角メ
ッシュに関連したメッシュデータを発生するよう設計さ
れた場合、メッシュ生成部34は三角メッシュに関連し
たメッシュデータを発生する。メッシュ生成部34は発
生されたメッシュデータを動き補償部38に供給し、対
象物輪郭データを加算部36へ供給する。
【0014】一方、差分データ復号化部32は図1の装
置により発生された符号化された差値データを復号化
し、この差値データは加算部36へ出力される。動き補
償部38はメッシュ生成部34のメッシュデータ及び図
1の装置により生成された動き情報を受信する。動き補
償部38は現画像に応ずるメッシュデータに入っている
制御点、動き情報に入っている全制御点に応ずる動きベ
クトル及びメモリ40に貯蔵された基準画像データを用
いて予測画像データを生成する。予測画像データを生成
するため、動き補償部38は各制御点に応ずる動きベク
トルを用いてその制御点に最も類似した基準画像内の位
置を捜し出し、その後映像ワーピングのような空間変換
を用いて現画像のための予測画像データを生成する。動
き補償部38は生成された予測画像データを加算部36
へ出力する。
置により発生された符号化された差値データを復号化
し、この差値データは加算部36へ出力される。動き補
償部38はメッシュ生成部34のメッシュデータ及び図
1の装置により生成された動き情報を受信する。動き補
償部38は現画像に応ずるメッシュデータに入っている
制御点、動き情報に入っている全制御点に応ずる動きベ
クトル及びメモリ40に貯蔵された基準画像データを用
いて予測画像データを生成する。予測画像データを生成
するため、動き補償部38は各制御点に応ずる動きベク
トルを用いてその制御点に最も類似した基準画像内の位
置を捜し出し、その後映像ワーピングのような空間変換
を用いて現画像のための予測画像データを生成する。動
き補償部38は生成された予測画像データを加算部36
へ出力する。
【0015】加算部36は動き補償部38からの予測画
像データと差分データ復号化部32からの差値データを
受信する。加算部36は全ての予測画像データのうちメ
ッシュ生成部34から供給される対象物輪郭データによ
り決定される対象物領域内の予測画像データのみをそれ
に応ずる差値データと加算する。こうして、現画像内の
対象物に対する画像データのみ復元されうる。加算部3
6の出力データはメモリ40に貯蔵されて次の画像の動
き補償のための基準画像データとして使われる。
像データと差分データ復号化部32からの差値データを
受信する。加算部36は全ての予測画像データのうちメ
ッシュ生成部34から供給される対象物輪郭データによ
り決定される対象物領域内の予測画像データのみをそれ
に応ずる差値データと加算する。こうして、現画像内の
対象物に対する画像データのみ復元されうる。加算部3
6の出力データはメモリ40に貯蔵されて次の画像の動
き補償のための基準画像データとして使われる。
【0016】図4は本発明の他の実施例による動き画像
符号化装置のブロック図である。図1のブロックと同様
な参照番号の図4のブロックは図1の対応ブロックと同
様な機能を行うもので、その具体的な説明は省く。前述
した図1の装置は現画像から得られたメッシュとメモリ
16に貯蔵された基準画像データを用いて予測画像デー
タを生成する。一方、図4の装置はメモリ48に貯蔵さ
れた基準画像データから得られたメッシュと外部から入
力される現画像データを用いて予測画像データを生成す
る。
符号化装置のブロック図である。図1のブロックと同様
な参照番号の図4のブロックは図1の対応ブロックと同
様な機能を行うもので、その具体的な説明は省く。前述
した図1の装置は現画像から得られたメッシュとメモリ
16に貯蔵された基準画像データを用いて予測画像デー
タを生成する。一方、図4の装置はメモリ48に貯蔵さ
れた基準画像データから得られたメッシュと外部から入
力される現画像データを用いて予測画像データを生成す
る。
【0017】外部からの現画像データは対象物抽出部1
0と動き推定及び補償部44に入力される。対象物抽出
部10は現画像データから対象物輪郭データを生成し、
対象物輪郭データは差分データ符号化部20に出力され
る。メッシュ生成部42はメモリ48に貯蔵された基準
画像データを読み出し、全ての基準画像を不規則メッシ
ュに分割させる。かかる分割のため、メッシュ生成部4
2は基準画像を規則四角メッシュに分割し、規則四角メ
ッシュを規則三角メッシュに再び分割する。メッシュ生
成部42による規則四角メッシュ及び規則三角メッシュ
の生成技法は図1のメッシュ生成部12による信号処理
と同様なので、その具体的な説明は省く。
0と動き推定及び補償部44に入力される。対象物抽出
部10は現画像データから対象物輪郭データを生成し、
対象物輪郭データは差分データ符号化部20に出力され
る。メッシュ生成部42はメモリ48に貯蔵された基準
画像データを読み出し、全ての基準画像を不規則メッシ
ュに分割させる。かかる分割のため、メッシュ生成部4
2は基準画像を規則四角メッシュに分割し、規則四角メ
ッシュを規則三角メッシュに再び分割する。メッシュ生
成部42による規則四角メッシュ及び規則三角メッシュ
の生成技法は図1のメッシュ生成部12による信号処理
と同様なので、その具体的な説明は省く。
【0018】メッシュ生成部42の他の機能は規則四角
メッシュまたは規則三角メッシュから不規則メッシュを
生成することである。不規則メッシュを生成する過程は
次の通りである。メッシュ生成部42は規則三角メッシ
ュの制御点のうち選択された一つを取り除き、制御点が
取り除かれた領域に対する三角形作り(trianglulation)
を行う。三角形作りにより新たに生成された三角メッシ
ュは不規則な三角形をなす。この制御点除去及び三角形
作りは残された制御点の個数が既に設定された値と同一
になるまで繰り返す。特定制御点の除去は制御点の支持
領域からその制御点を取り除いた時の画像描写(image d
escriptiveness) と取り除かれなかった時の画像描写間
の定量化された差値を用いる。ここで、支持領域は該当
制御点に隣り合う制御点及びその隣り合う制御点を連結
する線により囲繞された領域である。画像描写の定量化
された差値のうち最小の差値に応ずる制御点は画像の画
像描写に寄与するところが最も少ないため、取り除かれ
る。不規則メッシュ生成技法は、“SPIE's 1996 sympos
ium on Visual communications and Image Processing
”に発表されたKang W. Chun, Byungwoo Jean 及びJae
M. Jo の“Irregular Triangular Mesh Representatio
n Based on Adaptive Control Point Removal”との論
文に記載されている。メッシュ生成部42は最終的に生
成された不規則三角メッシュに対する情報、すなわち残
された制御点とその制御点により囲繞された不規則メッ
シュを示す不規則メッシュデータを動き推定及び補償部
44に出力する。また、メッシュ生成部42はメモリ4
8から読み取った基準画像データを差値計算部46に出
力する。
メッシュまたは規則三角メッシュから不規則メッシュを
生成することである。不規則メッシュを生成する過程は
次の通りである。メッシュ生成部42は規則三角メッシ
ュの制御点のうち選択された一つを取り除き、制御点が
取り除かれた領域に対する三角形作り(trianglulation)
を行う。三角形作りにより新たに生成された三角メッシ
ュは不規則な三角形をなす。この制御点除去及び三角形
作りは残された制御点の個数が既に設定された値と同一
になるまで繰り返す。特定制御点の除去は制御点の支持
領域からその制御点を取り除いた時の画像描写(image d
escriptiveness) と取り除かれなかった時の画像描写間
の定量化された差値を用いる。ここで、支持領域は該当
制御点に隣り合う制御点及びその隣り合う制御点を連結
する線により囲繞された領域である。画像描写の定量化
された差値のうち最小の差値に応ずる制御点は画像の画
像描写に寄与するところが最も少ないため、取り除かれ
る。不規則メッシュ生成技法は、“SPIE's 1996 sympos
ium on Visual communications and Image Processing
”に発表されたKang W. Chun, Byungwoo Jean 及びJae
M. Jo の“Irregular Triangular Mesh Representatio
n Based on Adaptive Control Point Removal”との論
文に記載されている。メッシュ生成部42は最終的に生
成された不規則三角メッシュに対する情報、すなわち残
された制御点とその制御点により囲繞された不規則メッ
シュを示す不規則メッシュデータを動き推定及び補償部
44に出力する。また、メッシュ生成部42はメモリ4
8から読み取った基準画像データを差値計算部46に出
力する。
【0019】動き推定及び補償部44は外部からの現画
像データ及びメッシュ生成部42の不規則メッシュデー
タを受信し、メモリ48に貯蔵された基準画像データを
読み取る。動き推定及び補償部44は不規則メッシュの
制御点と最も類似した画像データを有する現画像内の対
応位置を決定する。対応位置が決定されれば、動き推定
及び補償部44は制御点と対応位置間の動きベクトルを
生成し、空間変換を使用して現画像から予測画像を生成
する。予測画像データは差値計算部46及び加算器24
に供給され、動きベクトルを示す動き情報は対応する復
号化装置により使用できるように伝送チャンネルに伝達
したり貯蔵媒体に記録される。
像データ及びメッシュ生成部42の不規則メッシュデー
タを受信し、メモリ48に貯蔵された基準画像データを
読み取る。動き推定及び補償部44は不規則メッシュの
制御点と最も類似した画像データを有する現画像内の対
応位置を決定する。対応位置が決定されれば、動き推定
及び補償部44は制御点と対応位置間の動きベクトルを
生成し、空間変換を使用して現画像から予測画像を生成
する。予測画像データは差値計算部46及び加算器24
に供給され、動きベクトルを示す動き情報は対応する復
号化装置により使用できるように伝送チャンネルに伝達
したり貯蔵媒体に記録される。
【0020】差値計算部46はメッシュ生成部42から
受信される基準画像データと動き推定及び補償部44か
らの予測画像データ間の差値データを発生し、差値デー
タは差分データ符号化部20へ供給される。差分データ
符号化部20は対象物抽出部10から出力される対象物
輪郭データと差値計算部46からの差値データを符号化
する。差分データ符号化部20は図1の対応ブロックと
同様な方式で入力データを処理する。従って、差分デー
タ符号化部20から出力された符号化されたデータは対
象物領域内の差値データを符号化したデータ及び符号化
された対象物輪郭データを含む。符号化されたデータは
伝送チャンネル(図示せず)を通して受信器へ伝送され
たり、記録媒体(図示せず)に記録される。そして、符
号化されたデータのうち符号化された差値データは差分
データ復号化部22へ伝送される。
受信される基準画像データと動き推定及び補償部44か
らの予測画像データ間の差値データを発生し、差値デー
タは差分データ符号化部20へ供給される。差分データ
符号化部20は対象物抽出部10から出力される対象物
輪郭データと差値計算部46からの差値データを符号化
する。差分データ符号化部20は図1の対応ブロックと
同様な方式で入力データを処理する。従って、差分デー
タ符号化部20から出力された符号化されたデータは対
象物領域内の差値データを符号化したデータ及び符号化
された対象物輪郭データを含む。符号化されたデータは
伝送チャンネル(図示せず)を通して受信器へ伝送され
たり、記録媒体(図示せず)に記録される。そして、符
号化されたデータのうち符号化された差値データは差分
データ復号化部22へ伝送される。
【0021】差分データ復号化部22は差分データ符号
化部20で符号化された差値データを復号化し、差値デ
ータは加算部24に供給される。加算部24は動き推定
及び補償部44から供給される予測画像データと差分デ
ータ復号化部22の差値データを加算し、加算結果から
生ずるデータはメモリ48に貯蔵され、次の画像の動き
推定及び補償のための基準画像データとして使われる。
化部20で符号化された差値データを復号化し、差値デ
ータは加算部24に供給される。加算部24は動き推定
及び補償部44から供給される予測画像データと差分デ
ータ復号化部22の差値データを加算し、加算結果から
生ずるデータはメモリ48に貯蔵され、次の画像の動き
推定及び補償のための基準画像データとして使われる。
【0022】図5は図4の装置に応ずる復号化装置を示
す。図5に示されたブロックのうち、図3のブロックと
同様な参照番号を有するブロックは応ずる図3のブロッ
クと同様な機能を有するので、その具体的な説明は省
く。符号化された対象物輪郭データは対象物輪郭復元部
30に入力され、動き情報は動き補償部52に入力され
る。そして、符号化された差値データは差分データ復号
化部32に供給される。差分データ復号化部32は符号
化された差値データを復号化し、差値データは加算部5
6に出力される。対象物輪郭復元部30は符号化された
対象物輪郭データを復号化し、対象物輪郭データはメッ
シュ生成部51に出力される。メッシュ生成部51はメ
モリ54に貯蔵された基準画像データを読み取り、対象
物輪郭データにより決定される基準画像内の対象物領域
を図4のメッシュ生成部42と同様な信号処理を通して
不規則メッシュに分割させる。メッシュ生成部51から
出力されるメッシュデータは動き補償部52に供給さ
れ、動き補償部52はメッシュデータ、動き情報及びメ
モリ54に貯蔵された基準画像データを用いて予測画像
データを生成する。加算部56は予測画像データと差分
データ復号化部32から出力される差値データを加算
し、加算結果から生ずる現画像のデータはメモリ54に
貯蔵され次の動き補償のための基準画像データとして使
われる。
す。図5に示されたブロックのうち、図3のブロックと
同様な参照番号を有するブロックは応ずる図3のブロッ
クと同様な機能を有するので、その具体的な説明は省
く。符号化された対象物輪郭データは対象物輪郭復元部
30に入力され、動き情報は動き補償部52に入力され
る。そして、符号化された差値データは差分データ復号
化部32に供給される。差分データ復号化部32は符号
化された差値データを復号化し、差値データは加算部5
6に出力される。対象物輪郭復元部30は符号化された
対象物輪郭データを復号化し、対象物輪郭データはメッ
シュ生成部51に出力される。メッシュ生成部51はメ
モリ54に貯蔵された基準画像データを読み取り、対象
物輪郭データにより決定される基準画像内の対象物領域
を図4のメッシュ生成部42と同様な信号処理を通して
不規則メッシュに分割させる。メッシュ生成部51から
出力されるメッシュデータは動き補償部52に供給さ
れ、動き補償部52はメッシュデータ、動き情報及びメ
モリ54に貯蔵された基準画像データを用いて予測画像
データを生成する。加算部56は予測画像データと差分
データ復号化部32から出力される差値データを加算
し、加算結果から生ずる現画像のデータはメモリ54に
貯蔵され次の動き補償のための基準画像データとして使
われる。
【0023】
【発明の効果】以上述べたように、本発明による符号化
及び復号化装置は画像内に入っている任意の対象物によ
りメッシュ表現に基づいた動き推定及び動き補償を行う
ことにより、全画像に対する動き推定及び動き補償を行
う場合よりはるかに効果的な符号化が行える。したがっ
て、極めて低いビット率を求める応用に適合した装置を
設計しうる。
及び復号化装置は画像内に入っている任意の対象物によ
りメッシュ表現に基づいた動き推定及び動き補償を行う
ことにより、全画像に対する動き推定及び動き補償を行
う場合よりはるかに効果的な符号化が行える。したがっ
て、極めて低いビット率を求める応用に適合した装置を
設計しうる。
【図1】本発明の望ましい一実施例による動き画像符号
化装置を示したブロック図である。
化装置を示したブロック図である。
【図2】図1のメッシュ生成部の詳細ブロック図であ
る。
る。
【図3】図1の装置により符号化されたデータを復号化
する動き画像復号化装置を示したブロック図である。
する動き画像復号化装置を示したブロック図である。
【図4】本発明の他の実施例による動き画像符号化装置
を示したブロック図である。
を示したブロック図である。
【図5】図4の装置により符号化されたデータを復号化
する動き画像復号化装置を示したブロック図である。
する動き画像復号化装置を示したブロック図である。
10 対象物抽出部 12,34 メッシュ生成部 14,44 動き推定及び補償部 16,40,48,54 メモリ 18,46 差値計算部 20 差分データ符号化部 22 差分データ復号化部 24,36,56 加算部 38,52 動き補償部
Claims (18)
- 【請求項1】 対象物を収録している現画像のための動
き画像符号化装置において、 受信される現画像データから現画像に入っている対象物
を抽出し、抽出された対象物の輪郭を示す対象物輪郭デ
ータを出力する対象物抽出手段と、 前記現画像データ、既に貯蔵された基準画像データ及び
現画像データと基準画像のうち一つを分割するメッシュ
の制御点を用いた予測符号化を行い、制御点に関連した
動き情報、現画像と基準画像との差分データ及び予測画
像データを発生する予測符号化手段と、 前記対象物抽出手段からの対象物輪郭データに基づき、
前記予測符号化手段からの差分データのうち対象物領域
内の差分データを選択して符号化し、選択された差分デ
ータ及び符号化された差分データを出力する対象物差発
生手段と、 前記予測符号化手段からの予測画像データと前記対象物
差発生手段からの選択された差分データを受信して加算
し、その結果にて生ずる画像データで前記予測符号化手
段に既に貯蔵された基準画像データを更新する加算手段
とを含むことを特徴とする動き画像符号化装置。 - 【請求項2】 前記予測符号化手段は、 空間変換を用いる予測符号化を行って予測画像データを
発生することを特徴とする請求項1に記載の動き画像符
号化装置。 - 【請求項3】 前記予測符号化手段は、 基準画像データを貯蔵するメモリと、 前記対象物抽出手段からの対象物輪郭データに基づき、
全体の画像サイズを既に設定されたサイズに分割するメ
ッシュのうち現画像の対象物領域内に位置した頂点を制
御点として有する規則メッシュを決定し、決定された規
則メッシュを示すメッシュデータを出力するメッシュ生
成手段と、 前記メモリに貯蔵された基準画像データ及び前記メッシ
ュ生成手段から出力されるメッシュデータを用いて、前
記制御点の前記基準画像に対する動き推定による動き情
報及び前記制御点の動きの補償された予測画像データを
発生する動き推定及び補償手段と、 現画像データと予測画像データとの差分データを発生す
る差分データ発生手段とを含むことを特徴とする請求項
1に記載の動き画像符号化装置。 - 【請求項4】 前記メッシュ生成手段は、 受信される現画像データについて、現画像を分割する既
に設定されたサイズの複数個のブロックを示す画像ブロ
ックデータを出力するブロック形成部と、 前記ブロック形成部から出力される画像ブロックデータ
のうち、対象物輪郭データにより決定される対象物領域
の画像データを収録している画像ブロックデータを選択
し、選択された画像ブロックデータを出力するブロック
選択部と、 選択された画像ブロックデータによる画像ブロックを併
合して対象物画像を構成する対象物画像構成部と、 全体画像サイズを分割する複数個の格子の頂点のうち前
記対象物画像構成部により構成された対象物画像に入っ
ている頂点を制御点と決定し、制御点を有する格子を四
角メッシュと決定するメッシュ構成部とを含む請求項3
に記載の動き画像符号化装置。 - 【請求項5】 前記メッシュ構成部は、 規則四角メッシュから得られた規則三角メッシュを示す
メッシュデータを出力することを特徴とする請求項4に
記載の動き画像符号化装置。 - 【請求項6】 前記各規則三角メッシュは、 各規則四角メッシュの制御点間のデータ類似性に基づき
45度対角線方向または−45度対角線方向にメッシュ
を分割することにより得られることを特徴とする請求項
5に記載の動き画像符号化装置。 - 【請求項7】 前記予測符号化手段は、 基準画像データを貯蔵するメモリと、 前記メモリに貯蔵された基準画像データを用いて、基準
画像内に位置した頂点を制御点として有する不規則メッ
シュを決定し、決定された不規則メッシュを示すメッシ
ュデータを出力するメッシュ生成手段と、 前記現画像データ及び前記メッシュ生成手段から出力さ
れるメッシュデータを用いて、前記制御点の前記現画像
に対する動き推定による動き情報、及び前記制御点の動
きの補償された予測画像データを発生する動き推定及び
補償手段と、 基準画像データと予測画像データとの差分データを発生
する差分データ発生手段とを含むことを特徴とする請求
項1に記載の動き画像符号化装置。 - 【請求項8】 前記メッシュ生成手段は、 適応的な制御点除去に基づいた不規則三角メッシュ表現
技法により生成された不規則メッシュを示すメッシュデ
ータを発生することを特徴とする請求項7に記載の動き
画像符号化装置。 - 【請求項9】 前記対象物差発生手段は、選択された差
分データについて直交変換符号化を行うことを特徴とす
る請求項1に記載の動き画像符号化装置。 - 【請求項10】 前記対象物差発生手段は、 前記予測符号化手段からの差分データのうち対象物輪郭
データにより決定される対象物領域に属した差分データ
を選択し、選択された差分データ及び対象物輪郭データ
を符号化して符号化された差分データ及び符号化された
対象物輪郭データを出力する差分データ符号化部と、 前記差分データ符号化部から出力される符号化された差
分データを復号化して選択された差分データを出力する
差分データ復号化部とを含むことを特徴とする請求項1
に記載の動き画像符号化装置。 - 【請求項11】 対象物向きの動き画像符号化装置の出
力のための動き画像復号化装置において、 受信される符号化された対象物輪郭データを復号化し、
現画像に入っている対象物の輪郭を示す対象物輪郭デー
タを復元する対象物輪郭復元手段と、 受信される符号化された差分データを復号化して差分デ
ータを出力する差分データ復号化手段と、 前記対象物輪郭データ、既に貯蔵された基準画像デー
タ、前記対象物輪郭と前記基準画像のうち一つを分割す
るメッシュの制御点、及び前記制御点に関連した動き情
報を用いた動き補償を行い、対象物輪郭データ及び予測
画像データを出力する動き補償復号化手段と、 前記対象物輪郭データにより選択される予測画像データ
及び差分データを加算し、その結果から生ずる画像デー
タで前記動き補償復号化手段に貯蔵された既に貯蔵され
た基準画像データを更新する加算手段とを含むことを特
徴とする動き画像復号化装置。 - 【請求項12】 前記差分データ復号化手段は、符号化
された差分データについて直交変換復号化を行うことを
特徴とする請求項11に記載の動き画像復号化装置。 - 【請求項13】 前記動き補償復号化手段は、空間変換
を用いる動き補償を行って予測画像データを発生するこ
とを特徴とする請求項11に記載の動き画像復号化装
置。 - 【請求項14】 前記動き補償復号化手段は、 基準画像データを貯蔵するメモリと、 全画像サイズを既に設定されたサイズに分割するメッシ
ュのうち、対象物輪郭復元手段から出力する対象物輪郭
データに応じて決定される対象物領域内に存する頂点を
制御点として有するメッシュを決定し、決定されたメッ
シュを示すメッシュデータ及び対象物輪郭データを出力
するメッシュ生成手段と、 受信される動き情報、前記メモリに貯蔵された基準画像
データ、及び前記メッシュデータを用いて制御点の前記
基準画像に対する動きの補償された予測画像データを発
生する動き補償手段とを含むことを特徴とする請求項1
1に記載の動き画像復号化装置。 - 【請求項15】 前記メッシュ生成手段から出力される
メッシュデータは決定されたメッシュに属した頂点の位
置情報を収録していることを特徴とする請求項14に記
載の動き画像復号化装置。 - 【請求項16】 前記メッシュ生成手段は、規則四角メ
ッシュに関連したメッシュデータを出力する請求項14
に記載の動き画像復号化装置。 - 【請求項17】 前記動き補償復号化手段は、 基準画像データを貯蔵するメモリと、 前記メモリに貯蔵された基準画像データのうち前記対象
物輪郭データにより決定される対象物領域に属した基準
画像を分割するメッシュを決定し、決定されたメッシュ
を示すメッシュデータを出力するメッシュ生成手段と、 受信される動き補償、前記メモリに貯蔵された基準画像
データ、及び前記メッシュデータを用いて前記メッシュ
に属した制御点の前記基準画像に対する動きの補償され
た予測画像データを発生する動き補償手段とを含むこと
を特徴とする請求項11に記載の動き画像復号化装置。 - 【請求項18】 前記メッシュ生成手段は、対象物領域
に属した基準画像について適応的な制御点除去に基づき
不規則三角メッシュ表現技法により生成された不規則メ
ッシュを示すメッシュデータを発生することを特徴とす
る請求項17に記載の動き画像復号化装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR18612/1996 | 1996-05-29 | ||
KR1019960018612A KR100215451B1 (ko) | 1996-05-29 | 1996-05-29 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1056643A true JPH1056643A (ja) | 1998-02-24 |
Family
ID=37402254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12993397A Pending JPH1056643A (ja) | 1996-05-29 | 1997-05-20 | 任意の対象物を収録している動画像の符号化及び復号化装置 |
Country Status (7)
Country | Link |
---|---|
US (3) | US6038258A (ja) |
EP (3) | EP1715695A3 (ja) |
JP (1) | JPH1056643A (ja) |
KR (1) | KR100215451B1 (ja) |
CN (2) | CN1146242C (ja) |
DE (1) | DE69736852T2 (ja) |
ES (1) | ES2277350T3 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100215451B1 (ko) * | 1996-05-29 | 1999-08-16 | 윤종용 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
KR100535630B1 (ko) * | 1998-06-30 | 2006-06-23 | 주식회사 팬택앤큐리텔 | 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법 |
KR100620715B1 (ko) * | 1998-06-30 | 2007-04-25 | 주식회사 팬택앤큐리텔 | 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법 |
WO2000025232A1 (de) * | 1998-10-23 | 2000-05-04 | Siemens Aktiengesellschaft | Verfahren und anordnung zur codierung, decodierung und übertragung eines digitalisierten bildes |
US6351267B1 (en) * | 1998-12-10 | 2002-02-26 | Gizmoz Ltd | Fast transmission of graphic objects |
JP4126126B2 (ja) * | 1998-12-11 | 2008-07-30 | 株式会社日立製作所 | 送信システム、送信方法 |
JP3897476B2 (ja) * | 1999-02-15 | 2007-03-22 | キヤノン株式会社 | 画像処理装置及びその方法、コンピュータ可読メモリ |
KR100611999B1 (ko) | 1999-08-27 | 2006-08-11 | 삼성전자주식회사 | 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법 |
FR2802377B1 (fr) * | 1999-12-09 | 2002-03-08 | France Telecom | Procede d'estimation de mouvement entre deux images avec gestion des retournements de mailles et procede de codage correspondant |
US6909746B2 (en) | 2001-03-30 | 2005-06-21 | Koninklijke Philips Electronics N.V. | Fast robust data compression method and system |
US20040240543A1 (en) * | 2001-09-04 | 2004-12-02 | Faroudja Yves C. | Low bandwidth video compression |
CN1838774B (zh) * | 2001-11-30 | 2011-08-17 | 株式会社Ntt都科摩 | 移动图像编码设备及方法、移动图像解码设备及方法 |
FI114679B (fi) * | 2002-04-29 | 2004-11-30 | Nokia Corp | Satunnaisaloituspisteet videokoodauksessa |
US7373353B2 (en) * | 2002-05-10 | 2008-05-13 | International Business Machines Corporation | Reducing index size for multi-level grid indexes |
US7383275B2 (en) | 2002-05-10 | 2008-06-03 | International Business Machines Corporation | Methods to improve indexing of multidimensional databases |
US7143098B2 (en) * | 2002-05-10 | 2006-11-28 | International Business Machines Corporation | Systems, methods, and computer program products to reduce computer processing in grid cell size determination for indexing of multidimensional databases |
US7095786B1 (en) | 2003-01-11 | 2006-08-22 | Neo Magic Corp. | Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low |
JP2005184626A (ja) * | 2003-12-22 | 2005-07-07 | Canon Inc | 画像処理装置 |
US20050198008A1 (en) * | 2004-03-02 | 2005-09-08 | Adler David W. | Index exploitation for spatial data |
US7389283B2 (en) * | 2004-12-07 | 2008-06-17 | International Business Machines Corporation | Method for determining an optimal grid index specification for multidimensional data |
CN103118254B (zh) | 2005-09-26 | 2016-01-20 | 三菱电机株式会社 | 运动图像编码装置以及运动图像译码装置 |
JP5113077B2 (ja) * | 2005-12-19 | 2013-01-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 変形可能なメッシュを用いて画像の後処理を容易にする方法 |
KR20080107965A (ko) * | 2007-06-08 | 2008-12-11 | 삼성전자주식회사 | 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치 |
JP5230372B2 (ja) * | 2008-11-25 | 2013-07-10 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5558949B2 (ja) * | 2010-07-16 | 2014-07-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5661359B2 (ja) * | 2010-07-16 | 2015-01-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US9189884B2 (en) | 2012-11-13 | 2015-11-17 | Google Inc. | Using video to encode assets for swivel/360-degree spinners |
CN106331722B (zh) | 2015-07-03 | 2019-04-26 | 华为技术有限公司 | 图像预测方法和相关设备 |
CN111526361B (zh) | 2016-02-06 | 2022-05-13 | 华为技术有限公司 | 图像编解码方法及装置 |
KR102660416B1 (ko) | 2024-02-02 | 2024-04-23 | 박흥순 | 대형 철재 구조물 제작을 위한 철판 연속 가공 방법 및 시스템 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3037383B2 (ja) * | 1990-09-03 | 2000-04-24 | キヤノン株式会社 | 画像処理システム及びその方法 |
JP3405788B2 (ja) * | 1993-03-04 | 2003-05-12 | 株式会社東芝 | 動画像符号化装置と動画像復号化装置 |
DE69416717T2 (de) * | 1993-05-21 | 1999-10-07 | Nippon Telegraph And Telephone Corp., Tokio/Tokyo | Bewegtbildkoder und -dekoder |
JPH08297692A (ja) * | 1994-09-16 | 1996-11-12 | Mitsubishi Electric Corp | 光近接補正装置及び方法並びにパタン形成方法 |
KR0159575B1 (ko) * | 1994-10-31 | 1999-01-15 | 배순훈 | 영역 분할 부호화 방식의 인접 영역간 불연속 처리 장치 |
KR100235343B1 (ko) * | 1994-12-29 | 1999-12-15 | 전주범 | 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치 |
EP0721287A1 (en) * | 1995-01-09 | 1996-07-10 | Daewoo Electronics Co., Ltd | Method and apparatus for encoding a video signal |
US5635929A (en) * | 1995-02-13 | 1997-06-03 | Hughes Aircraft Company | Low bit rate video encoder and decoder |
JP3086396B2 (ja) * | 1995-03-10 | 2000-09-11 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
KR0159370B1 (ko) * | 1995-03-20 | 1999-01-15 | 배순훈 | 물체의 경계를 고려한 영상 부호화방법 및 장치 |
GB2300287B (en) * | 1995-04-27 | 2000-04-26 | Canon Kk | Method and apparatus for processing finite element meshing model |
US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
JP2701795B2 (ja) * | 1995-06-28 | 1998-01-21 | 日本電気株式会社 | プロセスシミュレーション方法 |
US5646867A (en) * | 1995-07-24 | 1997-07-08 | Motorola Inc. | Method and system for improved motion compensation |
JP2798120B2 (ja) * | 1995-08-04 | 1998-09-17 | 日本電気株式会社 | 動き補償フレーム間予測方法及び動き補償フレーム間予測装置 |
US5691769A (en) * | 1995-09-07 | 1997-11-25 | Daewoo Electronics Co, Ltd. | Apparatus for encoding a contour of an object |
KR100208375B1 (ko) * | 1995-12-27 | 1999-07-15 | 윤종용 | 동화상 부호화 방법 및 장치 |
JP2798035B2 (ja) * | 1996-01-17 | 1998-09-17 | 日本電気株式会社 | 適応動きベクトル補間による動き補償フレーム間予測方法 |
US5736987A (en) * | 1996-03-19 | 1998-04-07 | Microsoft Corporation | Compression of graphic data normals |
EP0836784B1 (en) * | 1996-05-06 | 2003-09-17 | Koninklijke Philips Electronics N.V. | Segmented video coding and decoding method and system |
KR100215451B1 (ko) * | 1996-05-29 | 1999-08-16 | 윤종용 | 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템 |
US5936671A (en) * | 1996-07-02 | 1999-08-10 | Sharp Laboratories Of America, Inc. | Object-based video processing using forward-tracking 2-D mesh layers |
US5907626A (en) * | 1996-08-02 | 1999-05-25 | Eastman Kodak Company | Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh |
US6047088A (en) * | 1996-12-16 | 2000-04-04 | Sharp Laboratories Of America, Inc. | 2D mesh geometry and motion vector compression |
US6148026A (en) * | 1997-01-08 | 2000-11-14 | At&T Corp. | Mesh node coding to enable object based functionalities within a motion compensated transform video coder |
US5818463A (en) * | 1997-02-13 | 1998-10-06 | Rockwell Science Center, Inc. | Data compression for animated three dimensional objects |
-
1996
- 1996-05-29 KR KR1019960018612A patent/KR100215451B1/ko not_active IP Right Cessation
-
1997
- 1997-05-20 JP JP12993397A patent/JPH1056643A/ja active Pending
- 1997-05-27 EP EP20060117952 patent/EP1715695A3/en not_active Withdrawn
- 1997-05-27 EP EP19970303590 patent/EP0810792B1/en not_active Expired - Lifetime
- 1997-05-27 EP EP20050000322 patent/EP1523196A3/en not_active Withdrawn
- 1997-05-27 DE DE1997636852 patent/DE69736852T2/de not_active Expired - Lifetime
- 1997-05-27 ES ES97303590T patent/ES2277350T3/es not_active Expired - Lifetime
- 1997-05-29 CN CNB991215907A patent/CN1146242C/zh not_active Expired - Fee Related
- 1997-05-29 CN CNB971129061A patent/CN1134988C/zh not_active Expired - Fee Related
- 1997-05-29 US US08/864,992 patent/US6038258A/en not_active Expired - Lifetime
-
2000
- 2000-02-16 US US09/504,934 patent/US6236680B1/en not_active Expired - Lifetime
-
2001
- 2001-04-26 US US09/842,405 patent/US6744817B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP0810792A2 (en) | 1997-12-03 |
EP0810792A3 (en) | 2000-12-13 |
KR970078652A (ko) | 1997-12-12 |
DE69736852T2 (de) | 2007-09-06 |
EP0810792B1 (en) | 2006-10-25 |
CN1146242C (zh) | 2004-04-14 |
US6038258A (en) | 2000-03-14 |
DE69736852D1 (de) | 2006-12-07 |
EP1523196A2 (en) | 2005-04-13 |
CN1134988C (zh) | 2004-01-14 |
CN1177259A (zh) | 1998-03-25 |
US6744817B2 (en) | 2004-06-01 |
US6236680B1 (en) | 2001-05-22 |
EP1715695A3 (en) | 2008-10-22 |
ES2277350T3 (es) | 2007-07-01 |
US20010014119A1 (en) | 2001-08-16 |
EP1715695A2 (en) | 2006-10-25 |
CN1254238A (zh) | 2000-05-24 |
KR100215451B1 (ko) | 1999-08-16 |
EP1523196A3 (en) | 2006-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH1056643A (ja) | 任意の対象物を収録している動画像の符号化及び復号化装置 | |
JP3277111B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
EP0614318B1 (en) | Video encoder and decoder | |
JPH08242453A (ja) | 動きベクトル推定装置 | |
EP2161937A1 (en) | Video encoding method, decoding method, device thereof, program thereof, and recording medium containing the program | |
US20090168889A1 (en) | Inter-frame predicted image synthesizing method | |
RU2509439C2 (ru) | Способ и устройство кодирования и декодирования, сигнал, носитель данных и продукты компьютерной программы | |
JPH08265781A (ja) | 動きベクトル特定方法及び装置 | |
CN105103546A (zh) | 编码多个输入图像的方法及装置、存放程序的存储介质 | |
JP3924032B2 (ja) | 輪郭線符号化方法及び輪郭線符号化装置 | |
JP3681784B2 (ja) | 映像信号符号化装置 | |
KR100490730B1 (ko) | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 | |
US6526178B1 (en) | Picture mapping apparatus and picture mapping method, and picture generation apparatus and picture generation method | |
CN115442617A (zh) | 一种基于视频编码的视频处理方法和装置 | |
JP3432039B2 (ja) | 画像符号化方法及びその装置 | |
JP2001224036A (ja) | 動画像符号化装置 | |
JP3032213B2 (ja) | 画像符号化装置及び画像復号化装置 | |
JP5809574B2 (ja) | 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム | |
CN105075256A (zh) | 编码多个输入图像的方法及装置、存放程序的存储介质 | |
JPH0537916A (ja) | 画像伝送装置 | |
JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
JP3171249B2 (ja) | 動画像符号化の動きベクトル探索方法 | |
JP3233186B2 (ja) | 動画像符号化・復号方法および装置 | |
JP6872412B2 (ja) | 映像符号化装置及びプログラム | |
JPH0775066A (ja) | 画像信号変換装置 |