JPH1056643A - 任意の対象物を収録している動画像の符号化及び復号化装置 - Google Patents

任意の対象物を収録している動画像の符号化及び復号化装置

Info

Publication number
JPH1056643A
JPH1056643A JP12993397A JP12993397A JPH1056643A JP H1056643 A JPH1056643 A JP H1056643A JP 12993397 A JP12993397 A JP 12993397A JP 12993397 A JP12993397 A JP 12993397A JP H1056643 A JPH1056643 A JP H1056643A
Authority
JP
Japan
Prior art keywords
data
mesh
image
motion
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP12993397A
Other languages
English (en)
Inventor
Kang-Wook Chun
▲こう▼ 旭 千
Byeung-Woo Jeon
炳 宇 全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH1056643A publication Critical patent/JPH1056643A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 任意の対象物を収録している動き画像を符号
化及び復号化するための装置を提供する。 【解決手段】 受信される現画像データから現画像に入
っている対象物を抽出し、抽出された対象物の輪郭を示
す対象物輪郭データを出力する対象物抽出部を備える。
予測符号化部は現画像データ、既に貯蔵された基準画像
データ及び現画像データと基準画像のうち一つを分割す
るメッシュの制御点を用いた予測符号化を行い、制御点
に関連した動き情報、現画像と基準画像との差分データ
及び予測画像データを発生する。対象物差発生部は対象
物抽出手段からの対象物の輪郭データに基づき、予測符
号化手段からの差分データのうち対象物領域内の差分デ
ータを選択して符号化し、選択された差分データ及び符
号化された差分データを出力する。加算部は予測符号化
手段からの予測画像データと前記対象物差発生手段から
の選択された差分データを受信して加算し、その結果に
て生ずる画像データで前記予測符号化手段に既に貯蔵さ
れた基準画像データを更新する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は任意の対象物を収録
している動き画像を符号化及び復号化するための装置に
関する。
【０００２】
【従来の技術】近年、画像電話または画像会議システム
などにおける応用のため、極めて低いビット率にて動き
画像を伝送するための国際的な標準化作業が進んでい
る。動き画像を極めて低いビット率にて伝送するため、
動き画像内の意味のある物体のみを分割し、分割された
物体のみを伝送する対象物向きの符号化技法が幅広く研
究されている。そして、この対象物向きの符号化技法は
極めて低いビット率にて動き画像を伝送するための必須
の技術として認識されている。かかる動き画像の対象物
向きの符号化においては、対象物について時間軸相関性
を取り除くための動き予測技法が求められ、かつ符号化
効率を高めるためにさらに正確な動き予測技法を必要と
する。
【０００３】
【発明が解決しようとする課題】本発明は前述した問題
点を解決するために案出されたもので、その目的は画像
から抽出された任意の対象物をメッシュにて表現し、そ
の画像の動き予測符号化のためにメッシュの制御点を用
いる任意の対象物を収録している動き画像の符号化装置
を提供することである。
【０００４】
【課題を解決するための手段】前述した目的を達成する
ため、本発明による対象物を収録している現画像のため
の動き画像符号化装置において、受信される現画像デー
タから現画像に入っている対象物を抽出し、抽出された
対象物の輪郭を示す対象物輪郭データを出力する対象物
抽出手段と、前記現画像データ、既に貯蔵された基準画
像データ及び現画像データと基準画像のうち一つを分割
するメッシュの制御点を用いた予測符号化を行い、制御
点に関連した動き情報、現画像と基準画像との差分デー
タ及び予測画像データを発生する予測符号化手段と、前
記対象物抽出手段からの対象物輪郭データに基づき、前
記予測符号化手段からの差分データのうち対象物領域内
の差分データを選択して符号化し、選択された差分デー
タ及び符号化された差分データを出力する対象物差発生
手段と、前記予測符号化手段からの予測画像データと前
記対象物差発生手段からの選択された差分データを受信
して加算し、その結果にて生ずる画像データで前記予測
符号化手段に既に貯蔵された基準画像データを更新する
加算手段とを含む。
【０００５】また、本発明の他の目的を達成するため、
対象物向きの動き画像符号化装置の出力のための動き画
像復号化装置において、受信される符号化された対象物
輪郭データを復号化し、現画像に入っている対象物の輪
郭を示す対象物輪郭データを復元する対象物輪郭復元手
段と、受信される符号化された差分データを復号化して
差分データを出力する差分データ復号化手段と、前記対
象物輪郭データ、既に貯蔵された基準画像データ、前記
対象物輪郭と前記基準画像のうち一つを分割するメッシ
ュの制御点、及び前記制御点に関連した動き情報を用い
た動き補償を行い、対象物輪郭データ及び予測画像デー
タを出力する動き補償復号化手段と、前記対象物輪郭デ
ータにより選択される予測画像データ及び差分データを
加算し、その結果から生ずる画像データで前記動き補償
復号化手段に貯蔵された既に貯蔵された基準画像データ
を更新する加算手段とを含む。
【０００６】
【発明の実施の形態】以下、添付した図面に基づき本発
明の望ましい一実施例を詳述する。図１は本発明の一実
施例による動き画像符号化装置を示す。同図において、
対象物抽出部１０は外部からのディジタル画像データを
受信し、受信された画像データにより表現される現画像
から任意の対象物を抽出する。その後、対象物抽出部１
０は抽出された対象物の輪郭（contour)情報を示す対象
物輪郭データを発生し、対象物輪郭データは差分データ
符号化部２０及び後述する図３の復号化装置に供給され
る。対象物輪郭データは対象物の輪郭を決定づける画素
または画素よりなるセグメントの空間的な位置を収録し
ている。対象物抽出部１０は対象物輪郭データ及び受信
された現画像データをメッシュ生成部１２に出力する。
メッシュ生成部１２は対象物輪郭データに基づき現画像
から対象物領域を区分し、対象物領域内の画像について
規則メッシュ表現のための信号処理を行う。メッシュ生
成部１２の詳細な構成及び動作を図２に基づき説明す
る。
【０００７】メッシュ生成部１２内のブロック形成器１
２１は対象物抽出部１０から出力される現画像データ及
び対象物輪郭データを受信する。ブロック形成器１２１
は受信された画像データにより表現される現画像を既に
設定されたサイズの画像ブロックに分割し、画像ブロッ
クを示す画像ブロックデータ及び対象物輪郭データはブ
ロック選択器１２３に供給する。ブロック選択器１２３
は対象物輪郭データに基づき現画像を構成する全体画像
ブロックのうち対象物領域内の画像データを収録してい
る画像ブロックを選択する。選択された画像ブロックを
示すデータ及び対象物輪郭データは対象物画像構成器１
２５に出力される。この際、対象物領域に属さない画像
データのみを有する画像ブロックは選択されない。従っ
て、選択されない画像ブロックを示すデータは対象物画
像構成器１２５へ供給されなくなる。選択された画像ブ
ロックのデータを受信する対象物画像構成器１２５は選
択された画像ブロックを併合し、併合の結果から生じた
対象物画像を示すデータ及び対象物輪郭データをメッシ
ュ構成器１２７へ供給する。対象物画像データを受信す
るメッシュ構成器１２７は対象物画像を規則四角メッシ
ュまたは規則三角メッシュに分割する。
【０００８】規則四角メッシュを用いて画像を分割する
よう設計された場合、メッシュ構成器１２７は対象物画
像をブロックサイズとは異なる既に設定されたサイズの
格子（grid) に分割される。ここで、格子はブロックよ
り小サイズを有する。その後、メッシュ構成器１２７は
分割により得られた格子の頂点のうち、対象物領域内に
入っている頂点を制御点として決定し、制御点を有する
格子を規則四角メッシュと決定する。メッシュ構成器１
２７は規則四角メッシュの制御点に関連した画像データ
を収録している四角メッシュデータを図１に示した動き
推定及び補償部１４へ出力する。ここで、各制御点に関
連した画像データは制御点の位置及びその位置における
グレー値、そしてその制御点に隣接する位置を有する画
素の位置及びグレー値を含む。また、メッシュ構成器１
２７は現画像データを差値計算部１８へ出力する。
【０００９】規則三角メッシュを用いて画像を分割する
よう設計した場合、メッシュ構成器１２７は前述した過
程を通して得られたそれぞれの規則四角メッシュをその
メッシュ内における画像データの類似性に基づき二つの
規則三角メッシュに分割させる。各規則四角メッシュの
画像データの類似性を判断するため、メッシュ構成器１
２７はその規則四角メッシュの４５度対角線方向に位置
した二つの制御点に応ずる画素値間の差値と−４５度対
角線方向に位置した二つの制御点に応ずる画素値間の差
値とをサイズ比較する。メッシュ構成器１２７は小さい
差値に応ずる対角方向に四角メッシュを分割し、その結
果各四角メッシュ毎に二つの規則三角メッシュが生成さ
れる。メッシュ構成器１２７は規則三角メッシュの制御
点に関連した画像データを収録している三角メッシュデ
ータを動き推定及び補償部１４へ出力する。また、メッ
シュ構成器１２７は現画像データを差値計算部１８へ出
力する。
【００１０】動き推定及び補償部１４はメモリ１６に貯
蔵された基準画像データとメッシュ生成部１２から受信
される現画像内の対象物画像に関連したメッシュデータ
を用い、動き推定及び補償を行う。動き推定及び補償部
１４は、まず各メッシュの制御点に関連した画像データ
とメモリ１６に貯蔵された基準画像データをサイズ比較
する。それぞれの制御点は理想的な場合、一つの画素に
応ずる。すなわち、１画素の空間的な位置及びグレー値
に表現される。しかし、実際は画素対画素の比較のみで
は基準画像内で制御点と類似した画像データを有する位
置を正確に捜し出しにくい。従って、各制御点に関連し
た画像データはメッシュ構成器１２７に関連づけて説明
した通り、その制御点に応ずる画素及びその近傍の複数
個の画素に関連した画像データである。動き推定及び補
償部１４は前述したデータサイズの比較結果に基づき、
制御点の画像データと最も類似した画像データを有する
基準画像内における位置を決定する。その後、動き推定
及び補償部１４は制御点と基準画像内の対応位置間の動
きを示す動きベクトルを決定する。全ての制御点につい
て動きベクトルが決定されれば、動き推定及び補償部１
４は決定された動きベクトルを用いた映像ワーピングの
ような空間変換を行い、現画像に対する予測画像を生成
する。予測画像を示すデータは差値計算部１８及び加算
部２４へ出力され、全ての制御点に応ずる動きベクトル
を示す動き情報は図３の装置へ供給される。前述した空
間変換はディジタル映像処理に関連して公知なので、そ
の具体的な説明は省く。
【００１１】差値計算部１８はメッシュ生成部１２から
受信される現画像データと動き推定及び補償部１４の予
測画像データとの差値を計算する。差値計算は現画像と
予測画像の応ずる位置を有する画素間になされ、その結
果から生ずる差値データは差分データ符号化部２０へ出
力される。差分データ符号化部２０は差値計算部１８か
ら供給される差値データのうち、対象物抽出部１０の対
象物輪郭データにより決定される対象物領域内の差値デ
ータを符号化させる。このように差分データ符号化部２
０により符号化されるデータを対象物領域内の差値デー
タに限定させれば、現画像内の対象物に関連した差値デ
ータのみ符号化されるので、差分データ符号化部２０は
現画像についてさらに効率的な符号化を行える。また、
差分データ符号化部２０は対象物抽出部１０から受信さ
れる対象物輪郭データを符号化する。対象物領域内の差
値データ及び対象物輪郭データを符号化するために、差
分データ符号化部はＤＣＴなどを含む公知の直交変換符
号化方法を用いる。符号化された対象物輪郭データ、符
号化された差値データ及び動き情報は伝送チャンネル
（図示せず）を通して後述する図３の復号化装置に伝送
されたり、図３の復号化装置で用いられる貯蔵媒体（図
示せず）に記録される。
【００１２】差分データ符号化部２０から符号化された
差値データを受信する差分データ復号化部２２は差分デ
ータ符号化部２０による信号処理の逆過程を通して差値
データを復元する。加算部２４は動き推定及び補償部１
４からの予測画像データと差分データ復号化部２２の差
値データを加算し、加算された結果のデータをメモリ１
６へ出力する。加算部２４から出力されるデータは現画
像について動き推定及び補償がなされた画像のデータで
あって、メモリ１６に貯蔵され次の画像に対する動き推
定及び動き補償のための基準画像データとして使われ
る。
【００１３】図３に示した動き画像復号化装置は、図１
の装置により発生された符号化された差値データ、符号
化された対象物輪郭データ及び動き情報を受信する。対
象物輪郭復元部３０は符号化された対象物輪郭データを
復号化し、対象物輪郭データはメッシュ生成部３４へ出
力する。対象物輪郭データを受信するメッシュ生成部３
４は全画像サイズを既に設定されたサイズの格子に分割
し、分割により得られた格子の頂点のうち、対象物輪郭
データにより決定される対象物領域内に存する頂点を制
御点と決定し、制御点を有する格子を四角メッシュと決
定する。図１のメッシュ生成部１２が四角メッシュを示
すメッシュデータを発生するよう設計された場合、メッ
シュ生成部３４も四角メッシュを示すメッシュデータを
発生する。そして、図１のメッシュ生成部１２が三角メ
ッシュに関連したメッシュデータを発生するよう設計さ
れた場合、メッシュ生成部３４は三角メッシュに関連し
たメッシュデータを発生する。メッシュ生成部３４は発
生されたメッシュデータを動き補償部３８に供給し、対
象物輪郭データを加算部３６へ供給する。
【００１４】一方、差分データ復号化部３２は図１の装
置により発生された符号化された差値データを復号化
し、この差値データは加算部３６へ出力される。動き補
償部３８はメッシュ生成部３４のメッシュデータ及び図
１の装置により生成された動き情報を受信する。動き補
償部３８は現画像に応ずるメッシュデータに入っている
制御点、動き情報に入っている全制御点に応ずる動きベ
クトル及びメモリ４０に貯蔵された基準画像データを用
いて予測画像データを生成する。予測画像データを生成
するため、動き補償部３８は各制御点に応ずる動きベク
トルを用いてその制御点に最も類似した基準画像内の位
置を捜し出し、その後映像ワーピングのような空間変換
を用いて現画像のための予測画像データを生成する。動
き補償部３８は生成された予測画像データを加算部３６
へ出力する。
【００１５】加算部３６は動き補償部３８からの予測画
像データと差分データ復号化部３２からの差値データを
受信する。加算部３６は全ての予測画像データのうちメ
ッシュ生成部３４から供給される対象物輪郭データによ
り決定される対象物領域内の予測画像データのみをそれ
に応ずる差値データと加算する。こうして、現画像内の
対象物に対する画像データのみ復元されうる。加算部３
６の出力データはメモリ４０に貯蔵されて次の画像の動
き補償のための基準画像データとして使われる。
【００１６】図４は本発明の他の実施例による動き画像
符号化装置のブロック図である。図１のブロックと同様
な参照番号の図４のブロックは図１の対応ブロックと同
様な機能を行うもので、その具体的な説明は省く。前述
した図１の装置は現画像から得られたメッシュとメモリ
１６に貯蔵された基準画像データを用いて予測画像デー
タを生成する。一方、図４の装置はメモリ４８に貯蔵さ
れた基準画像データから得られたメッシュと外部から入
力される現画像データを用いて予測画像データを生成す
る。
【００１７】外部からの現画像データは対象物抽出部１
０と動き推定及び補償部４４に入力される。対象物抽出
部１０は現画像データから対象物輪郭データを生成し、
対象物輪郭データは差分データ符号化部２０に出力され
る。メッシュ生成部４２はメモリ４８に貯蔵された基準
画像データを読み出し、全ての基準画像を不規則メッシ
ュに分割させる。かかる分割のため、メッシュ生成部４
２は基準画像を規則四角メッシュに分割し、規則四角メ
ッシュを規則三角メッシュに再び分割する。メッシュ生
成部４２による規則四角メッシュ及び規則三角メッシュ
の生成技法は図１のメッシュ生成部１２による信号処理
と同様なので、その具体的な説明は省く。
【００１８】メッシュ生成部４２の他の機能は規則四角
メッシュまたは規則三角メッシュから不規則メッシュを
生成することである。不規則メッシュを生成する過程は
次の通りである。メッシュ生成部４２は規則三角メッシ
ュの制御点のうち選択された一つを取り除き、制御点が
取り除かれた領域に対する三角形作り(trianglulation)
を行う。三角形作りにより新たに生成された三角メッシ
ュは不規則な三角形をなす。この制御点除去及び三角形
作りは残された制御点の個数が既に設定された値と同一
になるまで繰り返す。特定制御点の除去は制御点の支持
領域からその制御点を取り除いた時の画像描写(image d
escriptiveness) と取り除かれなかった時の画像描写間
の定量化された差値を用いる。ここで、支持領域は該当
制御点に隣り合う制御点及びその隣り合う制御点を連結
する線により囲繞された領域である。画像描写の定量化
された差値のうち最小の差値に応ずる制御点は画像の画
像描写に寄与するところが最も少ないため、取り除かれ
る。不規則メッシュ生成技法は、“SPIE's 1996 sympos
ium on Visual communications and Image Processing
”に発表されたKang W. Chun, Byungwoo Jean 及びJae
M. Jo の“Irregular Triangular Mesh Representatio
n Based on Adaptive Control Point Removal”との論
文に記載されている。メッシュ生成部４２は最終的に生
成された不規則三角メッシュに対する情報、すなわち残
された制御点とその制御点により囲繞された不規則メッ
シュを示す不規則メッシュデータを動き推定及び補償部
４４に出力する。また、メッシュ生成部４２はメモリ４
８から読み取った基準画像データを差値計算部４６に出
力する。
【００１９】動き推定及び補償部４４は外部からの現画
像データ及びメッシュ生成部４２の不規則メッシュデー
タを受信し、メモリ４８に貯蔵された基準画像データを
読み取る。動き推定及び補償部４４は不規則メッシュの
制御点と最も類似した画像データを有する現画像内の対
応位置を決定する。対応位置が決定されれば、動き推定
及び補償部４４は制御点と対応位置間の動きベクトルを
生成し、空間変換を使用して現画像から予測画像を生成
する。予測画像データは差値計算部４６及び加算器２４
に供給され、動きベクトルを示す動き情報は対応する復
号化装置により使用できるように伝送チャンネルに伝達
したり貯蔵媒体に記録される。
【００２０】差値計算部４６はメッシュ生成部４２から
受信される基準画像データと動き推定及び補償部４４か
らの予測画像データ間の差値データを発生し、差値デー
タは差分データ符号化部２０へ供給される。差分データ
符号化部２０は対象物抽出部１０から出力される対象物
輪郭データと差値計算部４６からの差値データを符号化
する。差分データ符号化部２０は図１の対応ブロックと
同様な方式で入力データを処理する。従って、差分デー
タ符号化部２０から出力された符号化されたデータは対
象物領域内の差値データを符号化したデータ及び符号化
された対象物輪郭データを含む。符号化されたデータは
伝送チャンネル（図示せず）を通して受信器へ伝送され
たり、記録媒体（図示せず）に記録される。そして、符
号化されたデータのうち符号化された差値データは差分
データ復号化部２２へ伝送される。
【００２１】差分データ復号化部２２は差分データ符号
化部２０で符号化された差値データを復号化し、差値デ
ータは加算部２４に供給される。加算部２４は動き推定
及び補償部４４から供給される予測画像データと差分デ
ータ復号化部２２の差値データを加算し、加算結果から
生ずるデータはメモリ４８に貯蔵され、次の画像の動き
推定及び補償のための基準画像データとして使われる。
【００２２】図５は図４の装置に応ずる復号化装置を示
す。図５に示されたブロックのうち、図３のブロックと
同様な参照番号を有するブロックは応ずる図３のブロッ
クと同様な機能を有するので、その具体的な説明は省
く。符号化された対象物輪郭データは対象物輪郭復元部
３０に入力され、動き情報は動き補償部５２に入力され
る。そして、符号化された差値データは差分データ復号
化部３２に供給される。差分データ復号化部３２は符号
化された差値データを復号化し、差値データは加算部５
６に出力される。対象物輪郭復元部３０は符号化された
対象物輪郭データを復号化し、対象物輪郭データはメッ
シュ生成部５１に出力される。メッシュ生成部５１はメ
モリ５４に貯蔵された基準画像データを読み取り、対象
物輪郭データにより決定される基準画像内の対象物領域
を図４のメッシュ生成部４２と同様な信号処理を通して
不規則メッシュに分割させる。メッシュ生成部５１から
出力されるメッシュデータは動き補償部５２に供給さ
れ、動き補償部５２はメッシュデータ、動き情報及びメ
モリ５４に貯蔵された基準画像データを用いて予測画像
データを生成する。加算部５６は予測画像データと差分
データ復号化部３２から出力される差値データを加算
し、加算結果から生ずる現画像のデータはメモリ５４に
貯蔵され次の動き補償のための基準画像データとして使
われる。
【００２３】
【発明の効果】以上述べたように、本発明による符号化
及び復号化装置は画像内に入っている任意の対象物によ
りメッシュ表現に基づいた動き推定及び動き補償を行う
ことにより、全画像に対する動き推定及び動き補償を行
う場合よりはるかに効果的な符号化が行える。したがっ
て、極めて低いビット率を求める応用に適合した装置を
設計しうる。
【図面の簡単な説明】
【図１】本発明の望ましい一実施例による動き画像符号
化装置を示したブロック図である。
【図２】図１のメッシュ生成部の詳細ブロック図であ
る。
【図３】図１の装置により符号化されたデータを復号化
する動き画像復号化装置を示したブロック図である。
【図４】本発明の他の実施例による動き画像符号化装置
を示したブロック図である。
【図５】図４の装置により符号化されたデータを復号化
する動き画像復号化装置を示したブロック図である。
【符号の説明】
１０ 対象物抽出部 １２，３４ メッシュ生成部 １４，４４ 動き推定及び補償部 １６，４０，４８，５４ メモリ １８，４６ 差値計算部 ２０ 差分データ符号化部 ２２ 差分データ復号化部 ２４，３６，５６ 加算部 ３８，５２ 動き補償部

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 対象物を収録している現画像のための動
    き画像符号化装置において、 受信される現画像データから現画像に入っている対象物
    を抽出し、抽出された対象物の輪郭を示す対象物輪郭デ
    ータを出力する対象物抽出手段と、 前記現画像データ、既に貯蔵された基準画像データ及び
    現画像データと基準画像のうち一つを分割するメッシュ
    の制御点を用いた予測符号化を行い、制御点に関連した
    動き情報、現画像と基準画像との差分データ及び予測画
    像データを発生する予測符号化手段と、 前記対象物抽出手段からの対象物輪郭データに基づき、
    前記予測符号化手段からの差分データのうち対象物領域
    内の差分データを選択して符号化し、選択された差分デ
    ータ及び符号化された差分データを出力する対象物差発
    生手段と、 前記予測符号化手段からの予測画像データと前記対象物
    差発生手段からの選択された差分データを受信して加算
    し、その結果にて生ずる画像データで前記予測符号化手
    段に既に貯蔵された基準画像データを更新する加算手段
    とを含むことを特徴とする動き画像符号化装置。
  2. 【請求項２】 前記予測符号化手段は、 空間変換を用いる予測符号化を行って予測画像データを
    発生することを特徴とする請求項１に記載の動き画像符
    号化装置。
  3. 【請求項３】 前記予測符号化手段は、 基準画像データを貯蔵するメモリと、 前記対象物抽出手段からの対象物輪郭データに基づき、
    全体の画像サイズを既に設定されたサイズに分割するメ
    ッシュのうち現画像の対象物領域内に位置した頂点を制
    御点として有する規則メッシュを決定し、決定された規
    則メッシュを示すメッシュデータを出力するメッシュ生
    成手段と、 前記メモリに貯蔵された基準画像データ及び前記メッシ
    ュ生成手段から出力されるメッシュデータを用いて、前
    記制御点の前記基準画像に対する動き推定による動き情
    報及び前記制御点の動きの補償された予測画像データを
    発生する動き推定及び補償手段と、 現画像データと予測画像データとの差分データを発生す
    る差分データ発生手段とを含むことを特徴とする請求項
    １に記載の動き画像符号化装置。
  4. 【請求項４】 前記メッシュ生成手段は、 受信される現画像データについて、現画像を分割する既
    に設定されたサイズの複数個のブロックを示す画像ブロ
    ックデータを出力するブロック形成部と、 前記ブロック形成部から出力される画像ブロックデータ
    のうち、対象物輪郭データにより決定される対象物領域
    の画像データを収録している画像ブロックデータを選択
    し、選択された画像ブロックデータを出力するブロック
    選択部と、 選択された画像ブロックデータによる画像ブロックを併
    合して対象物画像を構成する対象物画像構成部と、 全体画像サイズを分割する複数個の格子の頂点のうち前
    記対象物画像構成部により構成された対象物画像に入っ
    ている頂点を制御点と決定し、制御点を有する格子を四
    角メッシュと決定するメッシュ構成部とを含む請求項３
    に記載の動き画像符号化装置。
  5. 【請求項５】 前記メッシュ構成部は、 規則四角メッシュから得られた規則三角メッシュを示す
    メッシュデータを出力することを特徴とする請求項４に
    記載の動き画像符号化装置。
  6. 【請求項６】 前記各規則三角メッシュは、 各規則四角メッシュの制御点間のデータ類似性に基づき
    ４５度対角線方向または−４５度対角線方向にメッシュ
    を分割することにより得られることを特徴とする請求項
    ５に記載の動き画像符号化装置。
  7. 【請求項７】 前記予測符号化手段は、 基準画像データを貯蔵するメモリと、 前記メモリに貯蔵された基準画像データを用いて、基準
    画像内に位置した頂点を制御点として有する不規則メッ
    シュを決定し、決定された不規則メッシュを示すメッシ
    ュデータを出力するメッシュ生成手段と、 前記現画像データ及び前記メッシュ生成手段から出力さ
    れるメッシュデータを用いて、前記制御点の前記現画像
    に対する動き推定による動き情報、及び前記制御点の動
    きの補償された予測画像データを発生する動き推定及び
    補償手段と、 基準画像データと予測画像データとの差分データを発生
    する差分データ発生手段とを含むことを特徴とする請求
    項１に記載の動き画像符号化装置。
  8. 【請求項８】 前記メッシュ生成手段は、 適応的な制御点除去に基づいた不規則三角メッシュ表現
    技法により生成された不規則メッシュを示すメッシュデ
    ータを発生することを特徴とする請求項７に記載の動き
    画像符号化装置。
  9. 【請求項９】 前記対象物差発生手段は、選択された差
    分データについて直交変換符号化を行うことを特徴とす
    る請求項１に記載の動き画像符号化装置。
  10. 【請求項１０】 前記対象物差発生手段は、 前記予測符号化手段からの差分データのうち対象物輪郭
    データにより決定される対象物領域に属した差分データ
    を選択し、選択された差分データ及び対象物輪郭データ
    を符号化して符号化された差分データ及び符号化された
    対象物輪郭データを出力する差分データ符号化部と、 前記差分データ符号化部から出力される符号化された差
    分データを復号化して選択された差分データを出力する
    差分データ復号化部とを含むことを特徴とする請求項１
    に記載の動き画像符号化装置。
  11. 【請求項１１】 対象物向きの動き画像符号化装置の出
    力のための動き画像復号化装置において、 受信される符号化された対象物輪郭データを復号化し、
    現画像に入っている対象物の輪郭を示す対象物輪郭デー
    タを復元する対象物輪郭復元手段と、 受信される符号化された差分データを復号化して差分デ
    ータを出力する差分データ復号化手段と、 前記対象物輪郭データ、既に貯蔵された基準画像デー
    タ、前記対象物輪郭と前記基準画像のうち一つを分割す
    るメッシュの制御点、及び前記制御点に関連した動き情
    報を用いた動き補償を行い、対象物輪郭データ及び予測
    画像データを出力する動き補償復号化手段と、 前記対象物輪郭データにより選択される予測画像データ
    及び差分データを加算し、その結果から生ずる画像デー
    タで前記動き補償復号化手段に貯蔵された既に貯蔵され
    た基準画像データを更新する加算手段とを含むことを特
    徴とする動き画像復号化装置。
  12. 【請求項１２】 前記差分データ復号化手段は、符号化
    された差分データについて直交変換復号化を行うことを
    特徴とする請求項１１に記載の動き画像復号化装置。
  13. 【請求項１３】 前記動き補償復号化手段は、空間変換
    を用いる動き補償を行って予測画像データを発生するこ
    とを特徴とする請求項１１に記載の動き画像復号化装
    置。
  14. 【請求項１４】 前記動き補償復号化手段は、 基準画像データを貯蔵するメモリと、 全画像サイズを既に設定されたサイズに分割するメッシ
    ュのうち、対象物輪郭復元手段から出力する対象物輪郭
    データに応じて決定される対象物領域内に存する頂点を
    制御点として有するメッシュを決定し、決定されたメッ
    シュを示すメッシュデータ及び対象物輪郭データを出力
    するメッシュ生成手段と、 受信される動き情報、前記メモリに貯蔵された基準画像
    データ、及び前記メッシュデータを用いて制御点の前記
    基準画像に対する動きの補償された予測画像データを発
    生する動き補償手段とを含むことを特徴とする請求項１
    １に記載の動き画像復号化装置。
  15. 【請求項１５】 前記メッシュ生成手段から出力される
    メッシュデータは決定されたメッシュに属した頂点の位
    置情報を収録していることを特徴とする請求項１４に記
    載の動き画像復号化装置。
  16. 【請求項１６】 前記メッシュ生成手段は、規則四角メ
    ッシュに関連したメッシュデータを出力する請求項１４
    に記載の動き画像復号化装置。
  17. 【請求項１７】 前記動き補償復号化手段は、 基準画像データを貯蔵するメモリと、 前記メモリに貯蔵された基準画像データのうち前記対象
    物輪郭データにより決定される対象物領域に属した基準
    画像を分割するメッシュを決定し、決定されたメッシュ
    を示すメッシュデータを出力するメッシュ生成手段と、 受信される動き補償、前記メモリに貯蔵された基準画像
    データ、及び前記メッシュデータを用いて前記メッシュ
    に属した制御点の前記基準画像に対する動きの補償され
    た予測画像データを発生する動き補償手段とを含むこと
    を特徴とする請求項１１に記載の動き画像復号化装置。
  18. 【請求項１８】 前記メッシュ生成手段は、対象物領域
    に属した基準画像について適応的な制御点除去に基づき
    不規則三角メッシュ表現技法により生成された不規則メ
    ッシュを示すメッシュデータを発生することを特徴とす
    る請求項１７に記載の動き画像復号化装置。
JP12993397A 1996-05-29 1997-05-20 任意の対象物を収録している動画像の符号化及び復号化装置 Pending JPH1056643A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR18612/1996 1996-05-29
KR1019960018612A KR100215451B1 (ko) 1996-05-29 1996-05-29 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템

Publications (1)

Publication Number Publication Date
JPH1056643A true JPH1056643A (ja) 1998-02-24

Family

ID=37402254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12993397A Pending JPH1056643A (ja) 1996-05-29 1997-05-20 任意の対象物を収録している動画像の符号化及び復号化装置

Country Status (7)

Country Link
US (3) US6038258A (ja)
EP (3) EP1715695A3 (ja)
JP (1) JPH1056643A (ja)
KR (1) KR100215451B1 (ja)
CN (2) CN1146242C (ja)
DE (1) DE69736852T2 (ja)
ES (1) ES2277350T3 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
KR100535630B1 (ko) * 1998-06-30 2006-06-23 주식회사 팬택앤큐리텔 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR100620715B1 (ko) * 1998-06-30 2007-04-25 주식회사 팬택앤큐리텔 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
WO2000025232A1 (de) * 1998-10-23 2000-05-04 Siemens Aktiengesellschaft Verfahren und anordnung zur codierung, decodierung und übertragung eines digitalisierten bildes
US6351267B1 (en) * 1998-12-10 2002-02-26 Gizmoz Ltd Fast transmission of graphic objects
JP4126126B2 (ja) * 1998-12-11 2008-07-30 株式会社日立製作所 送信システム、送信方法
JP3897476B2 (ja) * 1999-02-15 2007-03-22 キヤノン株式会社 画像処理装置及びその方法、コンピュータ可読メモリ
KR100611999B1 (ko) 1999-08-27 2006-08-11 삼성전자주식회사 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법
FR2802377B1 (fr) * 1999-12-09 2002-03-08 France Telecom Procede d'estimation de mouvement entre deux images avec gestion des retournements de mailles et procede de codage correspondant
US6909746B2 (en) 2001-03-30 2005-06-21 Koninklijke Philips Electronics N.V. Fast robust data compression method and system
US20040240543A1 (en) * 2001-09-04 2004-12-02 Faroudja Yves C. Low bandwidth video compression
CN1838774B (zh) * 2001-11-30 2011-08-17 株式会社Ntt都科摩 移动图像编码设备及方法、移动图像解码设备及方法
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US7373353B2 (en) * 2002-05-10 2008-05-13 International Business Machines Corporation Reducing index size for multi-level grid indexes
US7383275B2 (en) 2002-05-10 2008-06-03 International Business Machines Corporation Methods to improve indexing of multidimensional databases
US7143098B2 (en) * 2002-05-10 2006-11-28 International Business Machines Corporation Systems, methods, and computer program products to reduce computer processing in grid cell size determination for indexing of multidimensional databases
US7095786B1 (en) 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
JP2005184626A (ja) * 2003-12-22 2005-07-07 Canon Inc 画像処理装置
US20050198008A1 (en) * 2004-03-02 2005-09-08 Adler David W. Index exploitation for spatial data
US7389283B2 (en) * 2004-12-07 2008-06-17 International Business Machines Corporation Method for determining an optimal grid index specification for multidimensional data
CN103118254B (zh) 2005-09-26 2016-01-20 三菱电机株式会社 运动图像编码装置以及运动图像译码装置
JP5113077B2 (ja) * 2005-12-19 2013-01-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 変形可能なメッシュを用いて画像の後処理を容易にする方法
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
JP5230372B2 (ja) * 2008-11-25 2013-07-10 キヤノン株式会社 画像処理装置、画像処理方法
JP5558949B2 (ja) * 2010-07-16 2014-07-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5661359B2 (ja) * 2010-07-16 2015-01-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9189884B2 (en) 2012-11-13 2015-11-17 Google Inc. Using video to encode assets for swivel/360-degree spinners
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN111526361B (zh) 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
KR102660416B1 (ko) 2024-02-02 2024-04-23 박흥순 대형 철재 구조물 제작을 위한 철판 연속 가공 방법 및 시스템

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3037383B2 (ja) * 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
JP3405788B2 (ja) * 1993-03-04 2003-05-12 株式会社東芝 動画像符号化装置と動画像復号化装置
DE69416717T2 (de) * 1993-05-21 1999-10-07 Nippon Telegraph And Telephone Corp., Tokio/Tokyo Bewegtbildkoder und -dekoder
JPH08297692A (ja) * 1994-09-16 1996-11-12 Mitsubishi Electric Corp 光近接補正装置及び方法並びにパタン形成方法
KR0159575B1 (ko) * 1994-10-31 1999-01-15 배순훈 영역 분할 부호화 방식의 인접 영역간 불연속 처리 장치
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
EP0721287A1 (en) * 1995-01-09 1996-07-10 Daewoo Electronics Co., Ltd Method and apparatus for encoding a video signal
US5635929A (en) * 1995-02-13 1997-06-03 Hughes Aircraft Company Low bit rate video encoder and decoder
JP3086396B2 (ja) * 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
KR0159370B1 (ko) * 1995-03-20 1999-01-15 배순훈 물체의 경계를 고려한 영상 부호화방법 및 장치
GB2300287B (en) * 1995-04-27 2000-04-26 Canon Kk Method and apparatus for processing finite element meshing model
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
JP2701795B2 (ja) * 1995-06-28 1998-01-21 日本電気株式会社 プロセスシミュレーション方法
US5646867A (en) * 1995-07-24 1997-07-08 Motorola Inc. Method and system for improved motion compensation
JP2798120B2 (ja) * 1995-08-04 1998-09-17 日本電気株式会社 動き補償フレーム間予測方法及び動き補償フレーム間予測装置
US5691769A (en) * 1995-09-07 1997-11-25 Daewoo Electronics Co, Ltd. Apparatus for encoding a contour of an object
KR100208375B1 (ko) * 1995-12-27 1999-07-15 윤종용 동화상 부호화 방법 및 장치
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US5736987A (en) * 1996-03-19 1998-04-07 Microsoft Corporation Compression of graphic data normals
EP0836784B1 (en) * 1996-05-06 2003-09-17 Koninklijke Philips Electronics N.V. Segmented video coding and decoding method and system
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
US5907626A (en) * 1996-08-02 1999-05-25 Eastman Kodak Company Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh
US6047088A (en) * 1996-12-16 2000-04-04 Sharp Laboratories Of America, Inc. 2D mesh geometry and motion vector compression
US6148026A (en) * 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects

Also Published As

Publication number Publication date
EP0810792A2 (en) 1997-12-03
EP0810792A3 (en) 2000-12-13
KR970078652A (ko) 1997-12-12
DE69736852T2 (de) 2007-09-06
EP0810792B1 (en) 2006-10-25
CN1146242C (zh) 2004-04-14
US6038258A (en) 2000-03-14
DE69736852D1 (de) 2006-12-07
EP1523196A2 (en) 2005-04-13
CN1134988C (zh) 2004-01-14
CN1177259A (zh) 1998-03-25
US6744817B2 (en) 2004-06-01
US6236680B1 (en) 2001-05-22
EP1715695A3 (en) 2008-10-22
ES2277350T3 (es) 2007-07-01
US20010014119A1 (en) 2001-08-16
EP1715695A2 (en) 2006-10-25
CN1254238A (zh) 2000-05-24
KR100215451B1 (ko) 1999-08-16
EP1523196A3 (en) 2006-01-18

Similar Documents

Publication Publication Date Title
JPH1056643A (ja) 任意の対象物を収録している動画像の符号化及び復号化装置
JP3277111B2 (ja) 動画像符号化装置および動画像復号化装置
EP0614318B1 (en) Video encoder and decoder
JPH08242453A (ja) 動きベクトル推定装置
EP2161937A1 (en) Video encoding method, decoding method, device thereof, program thereof, and recording medium containing the program
US20090168889A1 (en) Inter-frame predicted image synthesizing method
RU2509439C2 (ru) Способ и устройство кодирования и декодирования, сигнал, носитель данных и продукты компьютерной программы
JPH08265781A (ja) 動きベクトル特定方法及び装置
CN105103546A (zh) 编码多个输入图像的方法及装置、存放程序的存储介质
JP3924032B2 (ja) 輪郭線符号化方法及び輪郭線符号化装置
JP3681784B2 (ja) 映像信号符号化装置
KR100490730B1 (ko) 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법
US6526178B1 (en) Picture mapping apparatus and picture mapping method, and picture generation apparatus and picture generation method
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置
JP3432039B2 (ja) 画像符号化方法及びその装置
JP2001224036A (ja) 動画像符号化装置
JP3032213B2 (ja) 画像符号化装置及び画像復号化装置
JP5809574B2 (ja) 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
CN105075256A (zh) 编码多个输入图像的方法及装置、存放程序的存储介质
JPH0537916A (ja) 画像伝送装置
JP2980810B2 (ja) 動きベクトル探索方法と装置
JP3171249B2 (ja) 動画像符号化の動きベクトル探索方法
JP3233186B2 (ja) 動画像符号化・復号方法および装置
JP6872412B2 (ja) 映像符号化装置及びプログラム
JPH0775066A (ja) 画像信号変換装置