JPH09245190A - 適応的な制御点除去に基づいた映像の不規則三角形メッシュ表現方法 - Google Patents
適応的な制御点除去に基づいた映像の不規則三角形メッシュ表現方法Info
- Publication number
- JPH09245190A JPH09245190A JP11810096A JP11810096A JPH09245190A JP H09245190 A JPH09245190 A JP H09245190A JP 11810096 A JP11810096 A JP 11810096A JP 11810096 A JP11810096 A JP 11810096A JP H09245190 A JPH09245190 A JP H09245190A
- Authority
- JP
- Japan
- Prior art keywords
- mesh
- control point
- control points
- irregular
- triangular mesh
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 抵抗的な制御点除去による映像の不規則三角
形メッシュ表現のための方法の提供。 【解決手段】 既に設定された大きさの四角形の格子で
映像を分割する段階と、個別四角形の格子の四つの頂点
の画素データで映像に対する規則的三角形メッシュを生
成する段階と、規則的三角形メッシュの頂点となる制御
点の映像の手ざわり程度を計算する段階と、計算された
最低の手ざわり程度を有する制御点を取り除く段階と、
取り除かれた制御点に隣り合う制御点により囲繞され、
その取り除かれた制御点に関連して支持地域を隣り合う
制御点を頂点とする不規則三角形メッシュに分割する段
階と、分割以後に残された制御点の数が既に設定された
数に達するまで、残された制御点に関連した手ざわり程
度に基づき制御点の取り除き及び取り除かれた制御点に
関連した支持地域に隣り合う制御点を頂点とする不規則
三角形メッシュに分割する処理を繰り返して行う段階と
を含む。
形メッシュ表現のための方法の提供。 【解決手段】 既に設定された大きさの四角形の格子で
映像を分割する段階と、個別四角形の格子の四つの頂点
の画素データで映像に対する規則的三角形メッシュを生
成する段階と、規則的三角形メッシュの頂点となる制御
点の映像の手ざわり程度を計算する段階と、計算された
最低の手ざわり程度を有する制御点を取り除く段階と、
取り除かれた制御点に隣り合う制御点により囲繞され、
その取り除かれた制御点に関連して支持地域を隣り合う
制御点を頂点とする不規則三角形メッシュに分割する段
階と、分割以後に残された制御点の数が既に設定された
数に達するまで、残された制御点に関連した手ざわり程
度に基づき制御点の取り除き及び取り除かれた制御点に
関連した支持地域に隣り合う制御点を頂点とする不規則
三角形メッシュに分割する処理を繰り返して行う段階と
を含む。
Description
【０００１】
【発明の属する技術分野】本発明は三角形メッシュを用
いた映像表現方法に係り、特に適応的な制御点の取り除
きに基づいた映像の不規則三角形メッシュ表現のための
映像表現方法に関する。
いた映像表現方法に係り、特に適応的な制御点の取り除
きに基づいた映像の不規則三角形メッシュ表現のための
映像表現方法に関する。
【０００２】
【従来の技術】最近、低いビット率チャンネルを用いた
ビデオ通信のための要求が高まりつつある。低いビット
率の符号化においてビット率が減少される時動き情報が
占める比率は増加する。その結果、効率よい動き補償は
低いビット率応用における解決のキーの役割を果たす。
ブロックに基づいた動き補償及びＤＣＴ（ＭＣ−ＤＣ
Ｔ）に基づいたハイブリッド符号化体系は最も幅広く使
われている。ブロックに基づき動き補償が相対的に良好
な全体性能を供するにも関わらず、それは実際の対象体
運動を表現する動きモデルの不向きにより生じたブロッ
キングアーティファクト（blocking artifact)のような
幾つかの短所を有する。
ビデオ通信のための要求が高まりつつある。低いビット
率の符号化においてビット率が減少される時動き情報が
占める比率は増加する。その結果、効率よい動き補償は
低いビット率応用における解決のキーの役割を果たす。
ブロックに基づいた動き補償及びＤＣＴ（ＭＣ−ＤＣ
Ｔ）に基づいたハイブリッド符号化体系は最も幅広く使
われている。ブロックに基づき動き補償が相対的に良好
な全体性能を供するにも関わらず、それは実際の対象体
運動を表現する動きモデルの不向きにより生じたブロッ
キングアーティファクト（blocking artifact)のような
幾つかの短所を有する。
【０００３】かかる制限、すなわちブロックに基づいた
映像圧縮により課せられた制限を克服するため、幾つか
の新たな接近方法がＭＰＥＧ−４のような低いビット率
に関連して研究された。かかる研究の結果、映像ワーピ
ング（warping,または空間変換）のようなさらに複雑な
動きモデルを採用した多くの符号化方法が提案され、そ
の方法は次の参照文献に開示さている：［１］J.Nieweg
lowski,T.G.Campbell,and P.Haavisto "A novel video
coding scheme based on temporal predictionusingdig
ital image warping," IEEE Trans.Consumer Electroni
c,Vol.39,pp.141-150,Aug.1993; ［２］Y.Wang and O.L
ee, "Active mesh-a feature seeking and tracking i
mage sequence representation scheme, "IEEE Trans.
ImageProcessing, Vol.3, No.5,pp.610-624,Sept.1994;
［３］Y.Nakaya and H.Harashima, "Motion compensat
ion based on spatial transformations, "IEEE TransC
ircuit and Systems for video Technology, Vol.4,No.
3,pp.339-356,June 1994; ［４］G.J.Sullivan and R.
L.Baker,"Motion compensation for video compression
using control grid interpolation,"Proc.ICASSP ‘9
1,Toronto,Canada, pp. 2713-2716, May 1991;［５］J.
Nieweglowski and P.Haavisto, "Motionvector field r
econstruction for predictive video sequence codin
g, "International Workshop on Coding Technique for
Very low Bit-Rate Video, United Kingdom,paper No.
6.4, April 7-8, 1994.ワーピング予測において、一連
の制御点は映像フレーム上に置かれ、各制御点の変位は
伝送され予測されたフレームを各制御点の空間変換の使
用により再構成させうる。動き推定の二つの形態、すな
わち後方(backward)推定及び前方(forward) 推定が考え
られる。参照文献［１］の前方推定において、主要制御
点は以前フレーム上に置かれ、動きは現フレームに応ず
る位置を捜し出すことにより推定される。しかし、参照
文献［３］〜［５］の後方推定において、制御点は現フ
レームで定義され、その動きは以前フレームを参照す
る。前方推定はメッシュ構造に関する附加情報なしに不
規則メッシュ構造に適宜であるとの点において後方推定
に比べて便利である。不規則メッシュ情報の使用が予測
エラーを減らせる点も注目された。
映像圧縮により課せられた制限を克服するため、幾つか
の新たな接近方法がＭＰＥＧ−４のような低いビット率
に関連して研究された。かかる研究の結果、映像ワーピ
ング（warping,または空間変換）のようなさらに複雑な
動きモデルを採用した多くの符号化方法が提案され、そ
の方法は次の参照文献に開示さている：［１］J.Nieweg
lowski,T.G.Campbell,and P.Haavisto "A novel video
coding scheme based on temporal predictionusingdig
ital image warping," IEEE Trans.Consumer Electroni
c,Vol.39,pp.141-150,Aug.1993; ［２］Y.Wang and O.L
ee, "Active mesh-a feature seeking and tracking i
mage sequence representation scheme, "IEEE Trans.
ImageProcessing, Vol.3, No.5,pp.610-624,Sept.1994;
［３］Y.Nakaya and H.Harashima, "Motion compensat
ion based on spatial transformations, "IEEE TransC
ircuit and Systems for video Technology, Vol.4,No.
3,pp.339-356,June 1994; ［４］G.J.Sullivan and R.
L.Baker,"Motion compensation for video compression
using control grid interpolation,"Proc.ICASSP ‘9
1,Toronto,Canada, pp. 2713-2716, May 1991;［５］J.
Nieweglowski and P.Haavisto, "Motionvector field r
econstruction for predictive video sequence codin
g, "International Workshop on Coding Technique for
Very low Bit-Rate Video, United Kingdom,paper No.
6.4, April 7-8, 1994.ワーピング予測において、一連
の制御点は映像フレーム上に置かれ、各制御点の変位は
伝送され予測されたフレームを各制御点の空間変換の使
用により再構成させうる。動き推定の二つの形態、すな
わち後方(backward)推定及び前方(forward) 推定が考え
られる。参照文献［１］の前方推定において、主要制御
点は以前フレーム上に置かれ、動きは現フレームに応ず
る位置を捜し出すことにより推定される。しかし、参照
文献［３］〜［５］の後方推定において、制御点は現フ
レームで定義され、その動きは以前フレームを参照す
る。前方推定はメッシュ構造に関する附加情報なしに不
規則メッシュ構造に適宜であるとの点において後方推定
に比べて便利である。不規則メッシュ情報の使用が予測
エラーを減らせる点も注目された。
【０００４】伝統的に、不規則メッシュ発生アルゴリズ
ムは立体３次元対象物の模型を作るためにコンピュータ
グラフィックス分野においてかなり研究された。かかる
研究は次の参照文献に開示されている。［７］H.Hoppe,
T.DcRose,T.Duchamp,J.McDonald,and W.Stuetzle, "Mes
h optimization,"Computer Graphics(SIGGRAPH ‘93Pro
ceedings),Anaheim,Califonia,pp.19-26,Aug.1-6,1993;
［８］G.Turk, "Re-tiling polygonal surfaces,"Compu
ter Graphics(SIGGRAPH ‘92 Proceedings),Chicago,p
p.55-64,July 26-31,1992;［９］W.J. Schroeder,J.A.Z
arge,and W.E.Lorensen,"Computer Graphics(SIGGRAPH
‘92 Proceedings),Chicago,pp.65-70,July 26-31,199
2.最近、Ｗａｎｇなどは上記の参照文献［２］と［６］
Ouseb Lee and Yao Wang,"Non-uniform sampling and i
nterpolation over deformed meshes and its hierarch
ical extension."Proc.SPIE Visual Communications an
d Image Processings ‘95,Vol. 2501,pp.389-400,1995
において、各フレームが規則的な四角形メッシュ（ま
たはカッドツリー(quad-tree) 区画化［６］により発生
された四角形メッシュ）により初期表現される変形され
たメッシュ構造に挟み込まれた不均一制御点を用いた映
像シーケンス表現体系を提案した。元の規則的なメッシ
ュは各制御点が角のような最も近接した特徴点に移動さ
れるように変形される。Ｗａｎｇなどは不規則メッシュ
が均一な規則的なメッシュよりさらに正確にフレームを
表現できることを示した。しかし、この体系は固定され
た数の制御点を有する初期の規則的メッシュについてロ
ーカル特徴トラッキングアルゴリズムを用いるので、突
出特徴のない地域で制御点の有効位置を決定する問題点
がある。
ムは立体３次元対象物の模型を作るためにコンピュータ
グラフィックス分野においてかなり研究された。かかる
研究は次の参照文献に開示されている。［７］H.Hoppe,
T.DcRose,T.Duchamp,J.McDonald,and W.Stuetzle, "Mes
h optimization,"Computer Graphics(SIGGRAPH ‘93Pro
ceedings),Anaheim,Califonia,pp.19-26,Aug.1-6,1993;
［８］G.Turk, "Re-tiling polygonal surfaces,"Compu
ter Graphics(SIGGRAPH ‘92 Proceedings),Chicago,p
p.55-64,July 26-31,1992;［９］W.J. Schroeder,J.A.Z
arge,and W.E.Lorensen,"Computer Graphics(SIGGRAPH
‘92 Proceedings),Chicago,pp.65-70,July 26-31,199
2.最近、Ｗａｎｇなどは上記の参照文献［２］と［６］
Ouseb Lee and Yao Wang,"Non-uniform sampling and i
nterpolation over deformed meshes and its hierarch
ical extension."Proc.SPIE Visual Communications an
d Image Processings ‘95,Vol. 2501,pp.389-400,1995
において、各フレームが規則的な四角形メッシュ（ま
たはカッドツリー(quad-tree) 区画化［６］により発生
された四角形メッシュ）により初期表現される変形され
たメッシュ構造に挟み込まれた不均一制御点を用いた映
像シーケンス表現体系を提案した。元の規則的なメッシ
ュは各制御点が角のような最も近接した特徴点に移動さ
れるように変形される。Ｗａｎｇなどは不規則メッシュ
が均一な規則的なメッシュよりさらに正確にフレームを
表現できることを示した。しかし、この体系は固定され
た数の制御点を有する初期の規則的メッシュについてロ
ーカル特徴トラッキングアルゴリズムを用いるので、突
出特徴のない地域で制御点の有効位置を決定する問題点
がある。
【０００５】
【発明が解決しようとする課題】前述した問題点を解決
するための本発明の目的は、映像に存する角や隅のよう
な突出特徴を含む手ざわりが表現できる映像の不規則三
角形メッシュ表現方法を提供することである。
するための本発明の目的は、映像に存する角や隅のよう
な突出特徴を含む手ざわりが表現できる映像の不規則三
角形メッシュ表現方法を提供することである。
【０００６】
【課題を解決するための手段】前述した本発明の目的を
達成するために、映像分割を用いた映像表現方法は、四
角形の格子の頂点のそれぞれが映像内の個別画素となる
既に設定された大きさの四角形の格子を用いて映像を分
割する段階（ａ）と、段階（ａ）の区画化による個別四
角形の格子の四つの頂点に関連した画素データを用いて
映像に対する規則的三角形メッシュを生成する段階
（ｂ）と、段階（ｂ）で生成された規則的三角形メッシ
ュの頂点となる制御点のそれぞれに関連した映像の手ざ
わり程度を計算する段階（ｃ）と、段階（ｃ）で計算さ
れた手ざわり程度のうち最低の手ざわり程度を有する制
御点を取り除く段階（ｄ）と、取り除かれた制御点に隣
り合う制御点により囲繞され、その取り除かれた制御点
に関連して支持地域を前記隣り合う制御点を頂点とする
不規則三角形メッシュに分割する段階（ｅ）と、段階
（ｅ）の分割以後に残された制御点の数が既に設定され
た数に達するまで、前記残された制御点に関連した手ざ
わり程度に基づき制御点の取り除き及び取り除かれた制
御点に関連した支持地域に隣り合う制御点を頂点とする
不規則三角形メッシュに分割する処理を繰り返して行う
段階（ｆ）とを含む。
達成するために、映像分割を用いた映像表現方法は、四
角形の格子の頂点のそれぞれが映像内の個別画素となる
既に設定された大きさの四角形の格子を用いて映像を分
割する段階（ａ）と、段階（ａ）の区画化による個別四
角形の格子の四つの頂点に関連した画素データを用いて
映像に対する規則的三角形メッシュを生成する段階
（ｂ）と、段階（ｂ）で生成された規則的三角形メッシ
ュの頂点となる制御点のそれぞれに関連した映像の手ざ
わり程度を計算する段階（ｃ）と、段階（ｃ）で計算さ
れた手ざわり程度のうち最低の手ざわり程度を有する制
御点を取り除く段階（ｄ）と、取り除かれた制御点に隣
り合う制御点により囲繞され、その取り除かれた制御点
に関連して支持地域を前記隣り合う制御点を頂点とする
不規則三角形メッシュに分割する段階（ｅ）と、段階
（ｅ）の分割以後に残された制御点の数が既に設定され
た数に達するまで、前記残された制御点に関連した手ざ
わり程度に基づき制御点の取り除き及び取り除かれた制
御点に関連した支持地域に隣り合う制御点を頂点とする
不規則三角形メッシュに分割する処理を繰り返して行う
段階（ｆ）とを含む。
【０００７】
【発明の実施の形態】以下、添付した図面に基づき本発
明を具現した望ましい実施例をさらに詳しく説明する。
ワーピング予測（または空間変換）のための最も大事な
争点は角や隅のような突出特徴を有する地域に制御点を
どのように位置づけるかのことである。映像の内容、す
なわちやや変化を有する平らな地域では相対的に大きい
メッシュの少数で十分であり、高い手ざわりの領域では
小さいメッシュの多数が位置されるべきなので、不規則
的なメッシュ構造がさらに有利である点に鑑みて制御点
が適応的に位置されるべきである。本発明はこの争点に
焦点を合わせ、特に映像の不規則的なメッシュ表現に焦
点を合わせた。すなわち、本発明において、突出特徴に
鑑みて初期に均一に分布された制御点から相当減少され
た数の制御点が適宜に選択される不規則的な三角形メッ
シュ構造に基づいた新たな映像表現体系を提案する。
明を具現した望ましい実施例をさらに詳しく説明する。
ワーピング予測（または空間変換）のための最も大事な
争点は角や隅のような突出特徴を有する地域に制御点を
どのように位置づけるかのことである。映像の内容、す
なわちやや変化を有する平らな地域では相対的に大きい
メッシュの少数で十分であり、高い手ざわりの領域では
小さいメッシュの多数が位置されるべきなので、不規則
的なメッシュ構造がさらに有利である点に鑑みて制御点
が適応的に位置されるべきである。本発明はこの争点に
焦点を合わせ、特に映像の不規則的なメッシュ表現に焦
点を合わせた。すなわち、本発明において、突出特徴に
鑑みて初期に均一に分布された制御点から相当減少され
た数の制御点が適宜に選択される不規則的な三角形メッ
シュ構造に基づいた新たな映像表現体系を提案する。
【０００８】本発明で提案された適応的な制御点除去ア
ルゴリズムを用いた不規則三角形メッシュを有する新た
な映像表現体系は、初期には規則的な三角形メッシュか
ら初め、不規則三角形メッシュは選択された制御点を取
り除き続けることにより得られる。提案された体系は継
続される制御点除去において映像の包括的な特徴に鑑み
ることによりさらに優秀な映像表現性能を提供しうる。
ルゴリズムを用いた不規則三角形メッシュを有する新た
な映像表現体系は、初期には規則的な三角形メッシュか
ら初め、不規則三角形メッシュは選択された制御点を取
り除き続けることにより得られる。提案された体系は継
続される制御点除去において映像の包括的な特徴に鑑み
ることによりさらに優秀な映像表現性能を提供しうる。
【０００９】三角形メッシュ構造下で、映像は三角形メ
ッシュＴm が三つの頂点により明示されるＭ個の三角形
メッシュの集合
ッシュＴm が三つの頂点により明示されるＭ個の三角形
メッシュの集合
【００１０】
【数１２】
【００１１】により表現されると仮定する。頂点の位置
制御が三角形メッシュの変形と等価なので、頂点を制御
点を呼ぶ。総Ｎ個の制御点が集合
制御が三角形メッシュの変形と等価なので、頂点を制御
点を呼ぶ。総Ｎ個の制御点が集合
【００１２】
【外３】
【００１３】内のメッシュを整理するために使われると
仮定する。同一な制御点を共有する多数個の三角形メッ
シュが存し、三角形メッシュの部分集合をｎ番目の制御
点Ｐnに関連したメッシュを言及するＫn と示す。Ｋn
内におけるメッシュの個数はＪ n となることと仮定す
る。ｎ番目の制御点に直接に関連した制御点の個数もＪ
nとなる。その集合を
仮定する。同一な制御点を共有する多数個の三角形メッ
シュが存し、三角形メッシュの部分集合をｎ番目の制御
点Ｐnに関連したメッシュを言及するＫn と示す。Ｋn
内におけるメッシュの個数はＪ n となることと仮定す
る。ｎ番目の制御点に直接に関連した制御点の個数もＪ
nとなる。その集合を
【００１４】
【数１３】
【００１５】と示す。三角形メッシュＴm について、定
義域(domain)Ｄm は図１（Ａ）に示したように三角形メ
ッシュにより囲繞さた地域により定義される。また、図
１（Ｂ）におけるｎ番目の制御点ｐn に対する支持地域
Ｒn をその制御点Ｐn に関連した三角形メッシュの定義
域を併合することにより次の式（１）のように定義され
る。
義域(domain)Ｄm は図１（Ａ）に示したように三角形メ
ッシュにより囲繞さた地域により定義される。また、図
１（Ｂ）におけるｎ番目の制御点ｐn に対する支持地域
Ｒn をその制御点Ｐn に関連した三角形メッシュの定義
域を併合することにより次の式（１）のように定義され
る。
【００１６】
【数１４】
【００１７】各画素の空間位置はｐ＝（ｘ，ｙ）t によ
り明示され、ｐn ＝（ｘn ，ｙn ） t はｎ番目の制御点
の位置であり、各画素のグレー値はｇ（ｐ）で与えられ
る。制御点の最上の配置のため、取り除く制御点を選択
する際用いるメッシュ表現エラー基準を定義する。与え
られたメッシュ構造について、ｍ番目の三角形メッシュ
内のｐ＝（ｘ，ｙ）t の画素の補間されたグレー値
り明示され、ｐn ＝（ｘn ，ｙn ） t はｎ番目の制御点
の位置であり、各画素のグレー値はｇ（ｐ）で与えられ
る。制御点の最上の配置のため、取り除く制御点を選択
する際用いるメッシュ表現エラー基準を定義する。与え
られたメッシュ構造について、ｍ番目の三角形メッシュ
内のｐ＝（ｘ，ｙ）t の画素の補間されたグレー値
【００１８】
【外４】
【００１９】は次の式（２）のような１次多項式を用い
て計算される。
て計算される。
【００２０】
【数１５】
【００２１】ここで、ａ，ｂ及びｃはメッシュの三つの
制御点の三つの知られたグレー値を用いて独自に決定さ
れる。ｍ番目の三角形メッシュに対する表現エラーＩm
はその時次の式（３）のように定義される。
制御点の三つの知られたグレー値を用いて独自に決定さ
れる。ｍ番目の三角形メッシュに対する表現エラーＩm
はその時次の式（３）のように定義される。
【００２２】
【数１６】
【００２３】ここで、Ｎm は定義域Ｄm 内の画素点の個
数である。制御点に関連した表現エラーＡn はその制御
点に関連した三角形メッシュの表現エラーの平均であっ
て、次の式（４）のように定義される。
数である。制御点に関連した表現エラーＡn はその制御
点に関連した三角形メッシュの表現エラーの平均であっ
て、次の式（４）のように定義される。
【００２４】
【数１７】
【００２５】上記の三角形メッシュに関連した説明を用
いて本発明により提示された不規則三角形メッシュ表現
のための方法を説明すれば次の通りである。図２は提案
された不規則メッシュ表現アルゴリズムを全体的に説明
するためのフローチャートである。図２のフローチャー
トは初期メッシュ生成及び三角形メッシュ表現における
制御点に対する有効性を初期判断する段階２０１と、段
階２０２〜２０６より構成された制御点の数を減らすた
めのルーチンよりなる。このルーチンは平均表現エラー
の最初の変更を有する除去さるべき制御点の選択のため
の段階２０２、選択された制御点の除去のための段階２
０３、除去された制御点に関連した支持地域の三角形に
分割するための段階２０４、除去された制御点に関連し
た平均表現エラーの変更の更新のための段階２０５及び
反復中断条件の検査のための段階２０６よりなり、この
ルーチンの遂行により制御点のさらに少数の不規則三角
形メッシュの新たな集合
いて本発明により提示された不規則三角形メッシュ表現
のための方法を説明すれば次の通りである。図２は提案
された不規則メッシュ表現アルゴリズムを全体的に説明
するためのフローチャートである。図２のフローチャー
トは初期メッシュ生成及び三角形メッシュ表現における
制御点に対する有効性を初期判断する段階２０１と、段
階２０２〜２０６より構成された制御点の数を減らすた
めのルーチンよりなる。このルーチンは平均表現エラー
の最初の変更を有する除去さるべき制御点の選択のため
の段階２０２、選択された制御点の除去のための段階２
０３、除去された制御点に関連した支持地域の三角形に
分割するための段階２０４、除去された制御点に関連し
た平均表現エラーの変更の更新のための段階２０５及び
反復中断条件の検査のための段階２０６よりなり、この
ルーチンの遂行により制御点のさらに少数の不規則三角
形メッシュの新たな集合
【００２６】
【外５】
【００２７】が形成される。各段階をさらに詳しく説明
すれば次の通りである。段階２０１の初期メッシュ生成
に関連して、映像は規則的に分布された制御点を有する
規則的三角形メッシュの集合により初期表現される。初
期三角形メッシュの表現のために初期制御点の集合は図
３（Ａ）に示したように、映像内のｒ×ｒサイズの規則
的四角形格子の頂点の集合で選択される。望ましくは、
初期制御点は与えられた映像フレームに対する既に設定
された間隔の画素サンプリングにより得られる。各初期
制御点は水平及び垂直方向の両方に四つの隣り合う制御
点を有する。初期制御点の集合及び規則的な四角形メッ
シュを有し、各四角形成分を二つの三角形成分に分割し
て初期三角形メッシュが得られる。四角形格子を分割す
るための二つの異なる方向、すなわち４５°及び−４５
°方向が図３（Ｂ）に示したように存する。次のような
四つの点Ｐ1 〜Ｐ4 においてグレーレベルのローカル類
似性に基づき四角形成分のための分離規準を定義する。
図３（Ｂ）に示したようなＰ1 ，Ｐ2 ，Ｐ3 及びＰ4 を
四角形の格子の四つの制御点とし、ｇ（ｐ1 ），ｇ（ｐ
2 ），ｇ（ｐ3 ）及びｇ（ｐ4 ）をそのグレーレベルと
すれば、｜Δｇ｜45＝｜ｇ（ｐ1 ）−ｇ（ｐ4 ）｜と｜
Δｇ｜-45 ＝｜ｇ（ｐ2 ）−ｇ（ｐ2 ）｜と定義された
類似性を測定することにより良好な格子区画を捜しう
る。｜Δｇ｜45が｜Δｇ｜-45 より少なければ、四角形
メッシュは４５°方向で分割され、そうでなければ四角
形メッシュは−４５°方向で分割される。映像の初期三
角形メッシュ表現は一例は図３（Ｃ）に示した。
すれば次の通りである。段階２０１の初期メッシュ生成
に関連して、映像は規則的に分布された制御点を有する
規則的三角形メッシュの集合により初期表現される。初
期三角形メッシュの表現のために初期制御点の集合は図
３（Ａ）に示したように、映像内のｒ×ｒサイズの規則
的四角形格子の頂点の集合で選択される。望ましくは、
初期制御点は与えられた映像フレームに対する既に設定
された間隔の画素サンプリングにより得られる。各初期
制御点は水平及び垂直方向の両方に四つの隣り合う制御
点を有する。初期制御点の集合及び規則的な四角形メッ
シュを有し、各四角形成分を二つの三角形成分に分割し
て初期三角形メッシュが得られる。四角形格子を分割す
るための二つの異なる方向、すなわち４５°及び−４５
°方向が図３（Ｂ）に示したように存する。次のような
四つの点Ｐ1 〜Ｐ4 においてグレーレベルのローカル類
似性に基づき四角形成分のための分離規準を定義する。
図３（Ｂ）に示したようなＰ1 ，Ｐ2 ，Ｐ3 及びＰ4 を
四角形の格子の四つの制御点とし、ｇ（ｐ1 ），ｇ（ｐ
2 ），ｇ（ｐ3 ）及びｇ（ｐ4 ）をそのグレーレベルと
すれば、｜Δｇ｜45＝｜ｇ（ｐ1 ）−ｇ（ｐ4 ）｜と｜
Δｇ｜-45 ＝｜ｇ（ｐ2 ）−ｇ（ｐ2 ）｜と定義された
類似性を測定することにより良好な格子区画を捜しう
る。｜Δｇ｜45が｜Δｇ｜-45 より少なければ、四角形
メッシュは４５°方向で分割され、そうでなければ四角
形メッシュは−４５°方向で分割される。映像の初期三
角形メッシュ表現は一例は図３（Ｃ）に示した。
【００２８】初期制御点の集合及び初期三角形メッシュ
が与えられれば、不規則三角形メッシュ発生アルゴリズ
ムの目標は映像の空間的特徴に適合した最小数の制御点
を有するメッシュが集合を捜す。不規則三角形メッシュ
の集合
が与えられれば、不規則三角形メッシュ発生アルゴリズ
ムの目標は映像の空間的特徴に適合した最小数の制御点
を有するメッシュが集合を捜す。不規則三角形メッシュ
の集合
【００２９】
【外６】
【００３０】は制御点の初期集合からの制御点の除去と
選択された支持地域を繰り返して三角形作りにより決定
される。映像の手ざわりに最小に寄与する、すなわち映
像のメッシュ表現に最小に寄与する制御点を選択するた
めにメッシュ表現における制御点の有効性は次の式
（５）を用いて制御点に関連した平均表現エラーの差を
測定することにより定量化される。
選択された支持地域を繰り返して三角形作りにより決定
される。映像の手ざわりに最小に寄与する、すなわち映
像のメッシュ表現に最小に寄与する制御点を選択するた
めにメッシュ表現における制御点の有効性は次の式
（５）を用いて制御点に関連した平均表現エラーの差を
測定することにより定量化される。
【００３１】
【数１８】
【００３２】ここで、Ｋ’n は支持地域Ｒn について再
三角形作りをした以後に再発生された三角形メッシュの
インデックス集合であり、Ｊ’n は再発生された三角形
メッシュの個数である。支持地域Ｒn に対する再三角形
作り処理の詳細な説明は段階２０４の説明でなされた。
式（５）を用いた制御点の有効性計算は規則的な三角形
メッシュに関連した全ての初期制御点について行われ
る。
三角形作りをした以後に再発生された三角形メッシュの
インデックス集合であり、Ｊ’n は再発生された三角形
メッシュの個数である。支持地域Ｒn に対する再三角形
作り処理の詳細な説明は段階２０４の説明でなされた。
式（５）を用いた制御点の有効性計算は規則的な三角形
メッシュに関連した全ての初期制御点について行われ
る。
【００３３】初期メッシュの集合、初期制御点及び各制
御点に対する式（５）の平均表現エラーの変形が与えら
れれば、段階２０２で式（５）の制御点の平均表現エラ
ーの変更が検査され、初期制御点のうち最小の平均表現
エラーの変更（または差）を有する初期制御点が選択さ
れる。段階２０３において選択された初期制御点と、そ
の初期制御点と隣り合う制御点との間の連結リングが取
り除かれる。選択された初期制御点Ｐn 及びＰn を取り
除いた後のＰn に対する支持地域Ｒn を図４（Ａ）及び
図４（Ｂ）にそれぞれ示した。図４（Ｂ）からわかるよ
うに、初期制御点Ｐn が取り除かれた以後は隣り合う制
御点により輪郭づけた多角形はこれ以上三角形メッシュ
の形態を満たさない。したがって、三角形メッシュ形態
を保つために三角形作りが段階２０４により選択された
支持地域について行われる。
御点に対する式（５）の平均表現エラーの変形が与えら
れれば、段階２０２で式（５）の制御点の平均表現エラ
ーの変更が検査され、初期制御点のうち最小の平均表現
エラーの変更（または差）を有する初期制御点が選択さ
れる。段階２０３において選択された初期制御点と、そ
の初期制御点と隣り合う制御点との間の連結リングが取
り除かれる。選択された初期制御点Ｐn 及びＰn を取り
除いた後のＰn に対する支持地域Ｒn を図４（Ａ）及び
図４（Ｂ）にそれぞれ示した。図４（Ｂ）からわかるよ
うに、初期制御点Ｐn が取り除かれた以後は隣り合う制
御点により輪郭づけた多角形はこれ以上三角形メッシュ
の形態を満たさない。したがって、三角形メッシュ形態
を保つために三角形作りが段階２０４により選択された
支持地域について行われる。
【００３４】段階２０４の三角形作り処理は点Ｐn に関
連した制御点の集合である
連した制御点の集合である
【００３５】
【外７】
【００３６】における隣り合う制御点間の関係を決定す
ることにより支持地域Ｒn 内に新たな三角形メッシュの
集合である
ることにより支持地域Ｒn 内に新たな三角形メッシュの
集合である
【００３７】
【数１９】
【００３８】を創出する。元の三角形メッシュ構造を保
つため、新たな三角形メッシュはその全ての角が支持地
域Ｒn 内に位置しなければならない拘束を満たすべきで
ある。この拘束を“三角形作り拘束”と呼ぶ。一回に一
つの三角形メッシュを発生する三角形作りアルゴリズム
を設計した。提案されたアルゴリズムはそれぞれの新た
な三角形メッシュが後続する三角形作り処理に対するそ
の次の影響に鑑みなく発生される。集合
つため、新たな三角形メッシュはその全ての角が支持地
域Ｒn 内に位置しなければならない拘束を満たすべきで
ある。この拘束を“三角形作り拘束”と呼ぶ。一回に一
つの三角形メッシュを発生する三角形作りアルゴリズム
を設計した。提案されたアルゴリズムはそれぞれの新た
な三角形メッシュが後続する三角形作り処理に対するそ
の次の影響に鑑みなく発生される。集合
【００３９】
【外８】
【００４０】と表現される制御点Ｐn に連結された制御
点は時計方向に走査され、そのインデックスは整列され
たインデックス 集合Ｊn ＝｛１，２，・・・，ｊ，・
・・，Ｊn ｝内で順序づけられる。その後、全ての連続
する三つの制御点Ｐj-1 ，Ｐj及びＰj+1 により定義さ
れ、三角形作り拘束を満たす各三角形メッシュについ
て、式（３）の表現エラーが計算され、最小表現エラー
を有する三角形メッシュは新たな三角形メッシュで選択
される。新たな三角形メッシュの定義域はその時地域Ｒ
n から抽出され、減少された制御点の集合
点は時計方向に走査され、そのインデックスは整列され
たインデックス 集合Ｊn ＝｛１，２，・・・，ｊ，・
・・，Ｊn ｝内で順序づけられる。その後、全ての連続
する三つの制御点Ｐj-1 ，Ｐj及びＰj+1 により定義さ
れ、三角形作り拘束を満たす各三角形メッシュについ
て、式（３）の表現エラーが計算され、最小表現エラー
を有する三角形メッシュは新たな三角形メッシュで選択
される。新たな三角形メッシュの定義域はその時地域Ｒ
n から抽出され、減少された制御点の集合
【００４１】
【外９】
【００４２】を有する変形された支持地域Ｒ’n に残さ
れる。三角形作り処理は一つの三角形メッシュがその地
域について残されるまで地域Ｒ’n について繰り返され
る。取り除かれた制御点に関連した支持地域Ｒn に対す
る三角形作りの一例を図４（Ｃ）に示した。提案された
三角形作りアルゴリズムの擬似（ｐｓｅｕｄｏ）コード
は次のように与えられる。
れる。三角形作り処理は一つの三角形メッシュがその地
域について残されるまで地域Ｒ’n について繰り返され
る。取り除かれた制御点に関連した支持地域Ｒn に対す
る三角形作りの一例を図４（Ｃ）に示した。提案された
三角形作りアルゴリズムの擬似（ｐｓｅｕｄｏ）コード
は次のように与えられる。
【００４３】
【数２０】
【００４４】新たな三角形メッシュが段階２０４の選択
された地域の三角形作りにより再び発生するので、段階
２０５において、新たな三角形メッシュに関連して制御
点に対する規準値、すなわち平均表現エラーの差は後続
く生ずる制御点除去処理のために更新される。しかし、
取り除かれた制御点に隣り合わない制御点、すなわち取
り除かれた制御点に連結されない制御点については、そ
の規準値の更新がなされない。かかる更新は前述した段
階２０１で説明されたことと同様な方式で行われるので
その具体的な説明は省く。
された地域の三角形作りにより再び発生するので、段階
２０５において、新たな三角形メッシュに関連して制御
点に対する規準値、すなわち平均表現エラーの差は後続
く生ずる制御点除去処理のために更新される。しかし、
取り除かれた制御点に隣り合わない制御点、すなわち取
り除かれた制御点に連結されない制御点については、そ
の規準値の更新がなされない。かかる更新は前述した段
階２０１で説明されたことと同様な方式で行われるので
その具体的な説明は省く。
【００４５】段階２０６において、映像に対する残され
た制御点の数が既に設定された数に達したか否かが判断
される。残された制御点の数が既に設定された数と同一
ならば終了され、そうでなければ制御点に関連した更新
された平均表現エラーの差に基づき制御点除去処理が繰
り返して行われる。提案された映像表現体系の性能は次
の式（６）のように定義されたＰＳＮＲにより測定され
た客観的な品質の項目で５１２×５１２サイズのレナ(L
ena)及びペッパ（Pepper) の単色映像を用いて調べられ
た。
た制御点の数が既に設定された数に達したか否かが判断
される。残された制御点の数が既に設定された数と同一
ならば終了され、そうでなければ制御点に関連した更新
された平均表現エラーの差に基づき制御点除去処理が繰
り返して行われる。提案された映像表現体系の性能は次
の式（６）のように定義されたＰＳＮＲにより測定され
た客観的な品質の項目で５１２×５１２サイズのレナ(L
ena)及びペッパ（Pepper) の単色映像を用いて調べられ
た。
【００４６】
【数２１】
【００４７】ここで、ｇは元の画素のグレー値であり、
【００４８】
【外１０】
【００４９】は再構成された映像に対するグレー値であ
り、Ｌは映像内の画素の数である。与えられた不規則メ
ッシュを有する映像の再構成によりもたらした表現エラ
ーに基づいたメッシュ表現体系の性能を評価した。再構
成された映像は式（２）で定義された制御点のグレー値
の１次多項式を用いて得られる。提案された体系の実施
のため、初期制御点の集合（または同等に初期三角形メ
ッシュの集合）が映像から選択され、制御点はその時制
御点の除去アルゴリズムを適用することにより減少され
る。ｒを水平及び垂直方向の両方における初期制御点の
分解能、そしてＮを制御点の数とすれば、初期制御点が
相異なる分解能及び制御点の除去アルゴリズムを適用し
た次に残される制御点の相異なる数を有するように得ら
れた再構成された映像のＰＳＮＲを示す表１及び表２に
示したようなｒ及びＮの多様な値のための幾つかの結果
を得た。
り、Ｌは映像内の画素の数である。与えられた不規則メ
ッシュを有する映像の再構成によりもたらした表現エラ
ーに基づいたメッシュ表現体系の性能を評価した。再構
成された映像は式（２）で定義された制御点のグレー値
の１次多項式を用いて得られる。提案された体系の実施
のため、初期制御点の集合（または同等に初期三角形メ
ッシュの集合）が映像から選択され、制御点はその時制
御点の除去アルゴリズムを適用することにより減少され
る。ｒを水平及び垂直方向の両方における初期制御点の
分解能、そしてＮを制御点の数とすれば、初期制御点が
相異なる分解能及び制御点の除去アルゴリズムを適用し
た次に残される制御点の相異なる数を有するように得ら
れた再構成された映像のＰＳＮＲを示す表１及び表２に
示したようなｒ及びＮの多様な値のための幾つかの結果
を得た。
【００５０】提案された不規則メッシュ表現体系が極め
て少ない制御点を有する場合も規則三角形メッシュより
性能が優秀であることを確認できた。同一数の制御点が
使われる場合、表現性能は初期規則メッシュの分解能が
減少される時増加する。図５及び図６は既存の規則的な
ものと新たに提案された不規則三角形メッシュ表現間の
主観的な視覚的品質比較を示す。ｒ＝８、Ｎ＝４２２４
の場合の規則的メッシュ表現された映像及び規則的メッ
シュにより再構成された映像は図５（Ａ）及び図５
（Ｂ）にそれぞれ示した。そして、ｒ＝４、Ｎ＝２０８
０の場合の不規則メッシュ表現された映像及び不規則メ
ッシュにより再構成された映像は図５（Ｃ）及び図５
（Ｄ）にそれぞれ示した。図６（Ａ）及び図６（Ｂ）は
ｒ＝８、Ｎ＝４２２４の場合の規則的メッシュ表現され
た映像及び規則的メッシュにより再構成された映像をそ
れぞれ示し、図６（Ｃ）及び図６（Ｄ）はｒ＝４、Ｎ＝
２０８０の場合の不規則メッシュ表現された映像及び不
規則メッシュにより再構成された映像をそれぞれ示す。
図示したように、不規則メッシュのサイズはさらに小さ
く、制御点は角のような突出した特徴を保有した地域に
さらに集中され、再構成された映像の主観的な品質はか
かる領域で規則的メッシュの場合と比較する際相当改善
される。
て少ない制御点を有する場合も規則三角形メッシュより
性能が優秀であることを確認できた。同一数の制御点が
使われる場合、表現性能は初期規則メッシュの分解能が
減少される時増加する。図５及び図６は既存の規則的な
ものと新たに提案された不規則三角形メッシュ表現間の
主観的な視覚的品質比較を示す。ｒ＝８、Ｎ＝４２２４
の場合の規則的メッシュ表現された映像及び規則的メッ
シュにより再構成された映像は図５（Ａ）及び図５
（Ｂ）にそれぞれ示した。そして、ｒ＝４、Ｎ＝２０８
０の場合の不規則メッシュ表現された映像及び不規則メ
ッシュにより再構成された映像は図５（Ｃ）及び図５
（Ｄ）にそれぞれ示した。図６（Ａ）及び図６（Ｂ）は
ｒ＝８、Ｎ＝４２２４の場合の規則的メッシュ表現され
た映像及び規則的メッシュにより再構成された映像をそ
れぞれ示し、図６（Ｃ）及び図６（Ｄ）はｒ＝４、Ｎ＝
２０８０の場合の不規則メッシュ表現された映像及び不
規則メッシュにより再構成された映像をそれぞれ示す。
図示したように、不規則メッシュのサイズはさらに小さ
く、制御点は角のような突出した特徴を保有した地域に
さらに集中され、再構成された映像の主観的な品質はか
かる領域で規則的メッシュの場合と比較する際相当改善
される。
【００５１】
【表１】
【００５２】
【表２】
【００５３】
【発明の効果】以上述べたように、不規則四角形メッシ
ュを有する映像を表現するためのアルゴリズムを提案し
た。映像のための不規則メッシュは制御点の表現エラー
を測定することにより初期規則的なメッシュに対する連
続する制御点除去アルゴリズムの適用により設計され
た。提案された体系は連続する制御点除去処理において
映像の包括的な特徴に鑑みるので、映像の包括的な特徴
が活用でき、さらに良好な表現性能を提供する。コンピ
ュータシミュレーションは提案された体系が規則的なメ
ッシュ表現体系に比べて改善された表現性能を、特に角
のように突出した特徴を保有した地域で提案する。提案
された不規則メッシュ表現が映像ワーピング（または空
間変換）に基づいた動き補償アルゴリズムと容易に統合
できて低いビット率ビデオ符号化応用のための更に優秀
な予測性能を提供できる。
ュを有する映像を表現するためのアルゴリズムを提案し
た。映像のための不規則メッシュは制御点の表現エラー
を測定することにより初期規則的なメッシュに対する連
続する制御点除去アルゴリズムの適用により設計され
た。提案された体系は連続する制御点除去処理において
映像の包括的な特徴に鑑みるので、映像の包括的な特徴
が活用でき、さらに良好な表現性能を提供する。コンピ
ュータシミュレーションは提案された体系が規則的なメ
ッシュ表現体系に比べて改善された表現性能を、特に角
のように突出した特徴を保有した地域で提案する。提案
された不規則メッシュ表現が映像ワーピング（または空
間変換）に基づいた動き補償アルゴリズムと容易に統合
できて低いビット率ビデオ符号化応用のための更に優秀
な予測性能を提供できる。
【図１】（Ａ）は三角形メッシュＴm の定義域を、
（Ｂ）は制御点Ｐn の支持地域をそれぞれ示す図であ
る。
（Ｂ）は制御点Ｐn の支持地域をそれぞれ示す図であ
る。
【図２】提案された不規則メッシュ表現アルゴリズムを
全体的に説明するためのフローチャートである。
全体的に説明するためのフローチャートである。
【図３】初期三角形メッシュ発生の一例であって、
（Ａ）は規則的な四角形メッシュ、（Ｂ）は二つの異な
る分解を、（Ｃ）は初期三角形メッシュを示す図であ
る。
（Ａ）は規則的な四角形メッシュ、（Ｂ）は二つの異な
る分解を、（Ｃ）は初期三角形メッシュを示す図であ
る。
【図４】三角形に分けた処理の一例であって、（Ａ）は
選択された制御点、（Ｂ）は選択された制御点の除去、
（Ｃ）は三角形に分けた処理の反復を示す図である。
選択された制御点、（Ｂ）は選択された制御点の除去、
（Ｃ）は三角形に分けた処理の反復を示す図である。
【図５】（Ａ）〜（Ｄ）は既存の規則的なものと新たに
提案された不規則三角形メッシュ表現間の主観的な視覚
的品質比較を示す図ある。
提案された不規則三角形メッシュ表現間の主観的な視覚
的品質比較を示す図ある。
【図６】（Ａ）〜（Ｄ）は既存の規則的なものと新たに
提案された不規則三角形メッシュ表現間の主観的な視覚
的品質比較を示す図ある。
提案された不規則三角形メッシュ表現間の主観的な視覚
的品質比較を示す図ある。
２０１ 初期メッシュ生成及び制御点の有効性判断 ２０２ 除去さるべき制御点の選択 ２０３ 選択された制御点の除去 ２０４ 三角形に分割 ２０５ 制御点の有効性の更新 ２０６ 残りの制御点の数＞所定数
Claims (13)
- 【請求項１】 映像分割を用いた映像表現方法におい
て、 四角形の格子の頂点のそれぞれが映像内の個別画素とな
る既に設定された大きさの四角形の格子を用いて映像を
分割する段階（ａ）と、 段階（ａ）の区画化による個別四角形の格子の四つの頂
点に関連した画素データを用いて映像に対する規則的三
角形メッシュを生成する段階（ｂ）と、 段階（ｂ）で生成された規則的三角形メッシュの頂点と
なる制御点のそれぞれに関連した映像の手ざわり程度を
計算する段階（ｃ）と、 段階（ｃ）で計算された手ざわり程度のうち最低の手ざ
わり程度を有する制御点を取り除く段階（ｄ）と、 取り除かれた制御点に隣り合う制御点により囲繞され、
その取り除かれた制御点に関連して支持地域を前記隣り
合う制御点を頂点とする不規則三角形メッシュに分割す
る段階（ｅ）と、 段階（ｅ）の分割以後に残された制御点の数が既に設定
された数に達するまで、前記残された制御点に関連した
手ざわり程度に基づき制御点の取り除き及び取り除かれ
た制御点に関連した支持地域に隣り合う制御点を頂点と
する不規則三角形メッシュに分割する処理を繰り返して
行う段階（ｆ）とを含む映像表現方法。 - 【請求項２】 前記段階（ｂ）は個別四角形の格子内の
画素データの分布に基づきその四角形の格子を二つの規
則的三角形メッシュに分割することを特徴とする請求項
１に記載の映像表現方法。 - 【請求項３】 前記段階（ｂ）は個別四角形の格子の四
つの頂点による一つの対角線上に置かれた頂点の画素デ
ータ値間の差を計算する段階（ｂ１）と、 前記個別四角形の格子の他の一つの対角線上に置かれた
頂点の画素データ値間の差を計算する段階（ｂ２）と、 前記段階（ｂ１）及び（ｂ２）により計算された差の大
きさ比較に基づき該当個別四角形の格子を二つの規則的
な三角形メッシュに分割する段階（ｂ３）とを含む請求
項１に記載の映像表現方法。 - 【請求項４】 前記段階（ｃ）は制御点のそれぞれを取
り除く段階（ｃ１）と、 段階（ｃ１）で取り除かれた制御点に個別的に関連する
支持地域のそれぞれを、既に設定された条件を満たす三
角形メッシュ構造に表現されるように三角形作りする段
階（ｃ２）と、 各制御点の取り除き以前の三角形メッシュを用いて取り
除かれる各制御点に関連した第１表現エラーを計算する
段階（ｃ３）と、 段階（ｃ２）の三角形作りにより得られた各制御点に関
連した新たな三角形メッシュを用いて取り除かれたその
制御点に関連した第２表現エラーを計算する段階（ｃ
４）と、 制御点のそれぞれに対応する第１表現エラー及び第２表
現エラーの差に基づき各制御点に関連した手ざわり程度
を決定する段階（ｃ５）とを含む請求項１に記載の映像
表現方法。 - 【請求項５】 前記第１表現エラーは制御点ｎの取り除
き以前状態で定義される次の式、 【数１】 により計算され、 ここで、Ｋn は取り除かれる制御点ｎに関連したメッシ
ュの数、Ｔm はＫn に属するメッシュの一つ、Ｊn は取
り除かれる制御点ｎに隣り合う制御点の数であり、 三角形メッシュＴm の表現エラーＩm は次の式、 【数２】 で示され、 ここで、Ｎm は定義域Ｄm 内の画素点の数、ｐは定義域
Ｄm 内の画素位置、ｇ（ｐ）は定義域Ｄm 内の各画素の
グレー値、ａ，ｂ及びｃは三角形メッシュＴmの三つの
制御点に該当する画素値により決定された値、そして 【数３】 であることを特徴とする請求項４に記載の映像表現方
法。 - 【請求項６】 前記第２表現エラーは制御点ｎの取り除
き以後の状態で各項が定義される次の式、 【数４】 より計算され、 ここで、Ｋ’n は取り除かれる制御点ｎに関連したメッ
シュの数、Ｔm はＫ’ n に属するメッシュの一つ、Ｊ’
n は取り除かれる制御点ｎに隣り合う制御点の数であ
り、 三角形メッシュＴm の表現エラーＩm は次の式、 【数５】 で示され、 ここで、Ｎm は定義域Ｄm 内の画素点の数、ｐは定義域
Ｄm 内の画素位置、ｇ（ｐ）は定義域Ｄm 内の各画素の
グレー値、ａ，ｂ及びｃは三角形メッシュＴmの三つの
制御点に該当する画素値により決定された値、そして 【数６】 であることを特徴とする請求項４に記載の映像表現方
法。 - 【請求項７】 前記段階（ｃ２）は前記支持地域の境界
上で連続し、前記支持地域内で三角形メッシュを形成で
きる三つの制御点によりその形が決定される三角形メッ
シュを生成することを特徴とする請求項４に記載の映像
表現方法。 - 【請求項８】 前記段階（ｃ２）は取り除かれた制御点
に隣り合う制御点を頂点とする全ての可能な不規則三角
形メッシュを生成する段階（ｃａ１）と、 段階（ｃａ１）で生成された不規則三角形メッシュに個
別的に応ずる第３表現エラーを計算する段階（ｃａ２）
と、 段階（ｃａ２）で計算された第３表現エラーのうち最小
の表現エラー値に応ずる不規則三角形メッシュを前記支
持地域から抽出し、この抽出により残された新たな支持
地域を生成する段階（ｃａ３）と、 段階（ｃａ３）で生成された新たな支持地域について全
ての可能な不規則三角形メッシュの生成と、この生成さ
れた三角形メッシュに対する第３表現エラーの計算及び
最小の第３表現エラーに応ずる不規則三角形メッシュの
抽出を前記元の支持地域が三角形メッシュ構造に完全に
表現されるまで繰り返す段階（ｃａ４）と、 段階（ｃａ４）による各制御点の取り除きにより最終的
に決定された新たな三角形メッシュに関連した第２表現
エラーと各制御点の取り除き以前の三角形メッシュに関
連した第１表現エラーを用いて、前記映像内の全ての制
御点に対する手ざわり程度を計算する段階（ｃａ５）と
を含む請求項４に記載の映像表現方法。 - 【請求項９】 前記段階（ｃａ５）は、 前記映像内の各制御点ｎについて、第１表現エラーＡn
と第２表現エラーＡ’ n により定義され、Ｋn は支持地
域Ｒn について再び三角形作りをする以前の三角形メッ
シュのインデックス集合であり、Ｊn はその時の三角形
メッシュの数、Ｋ’n は支持地域Ｒn について再び三角
形作りをした以後の再発生した三角形メッシュのインデ
ックス集合であり、Ｊ’n は再発生した三角形メッシュ
の数であり、 Ｉm は各メッシュの第３表現エラーとなる次の式、 【数７】 を用いて制御点ｎに関連した手ざわり程度ΔＡn を計算
することを特徴とする請求項８に記載の映像表現方法。 - 【請求項１０】 前記段階（ｃａ２）は定義域Ｄm はｍ
番目の不規則三角形メッシュにより囲繞された地域と定
義され、Ｎm は定義域Ｄm 内の画素点の個数、ｇ（ｐ）
はｍ番目不規則三角形メッシュ内のｎ番目の制御点のグ
レー値、 【外１】 はｍ番目の三角形メッシュ内の位置ｐ＝（ｘ，ｙ）t の
画素の補間されたグレー値であり、 【数８】 であり、ここでａ，ｂ及びｃはｍ番目の不規則三角形メ
ッシュの三つの制御点の三つの知られたグレー値を用い
て独自に決定された値である次の式、 【数９】 を用いて前記段階（ｃａ１）で生成された不規則三角形
メッシュのそれぞれに対する第３表現エラーを計算する
請求項８に記載の映像表現方法。 - 【請求項１１】 前記段階（ｅ）は、 取り除かれた制御点に隣り合う制御点を頂点とする全て
の可能な不規則三角形メッシュを生成する段階（ｅ１）
と、 段階（ｅ１）で生成された不規則三角形メッシュに個別
的に応ずる第１表現エラーを計算する段階（ｅ２）と、 段階（ｅ２）で計算された第１表現エラーのうち最小の
表現エラー値に応ずる不規則三角形メッシュを前記支持
地域から抽出し、この抽出により残された新たな支持地
域を生成する段階（ｅ３）と、 段階（ｅ３）で生成された新たな支持地域について全て
の可能な不規則三角形メッシュを生成し、この生成され
た三角形メッシュに対する第１表現エラーの計算及び最
小の表現エラーに応ずる不規則三角形メッシュの抽出を
前記元の支持地域が三角形メッシュ構造に完全に表現さ
れるまで繰り返す段階（ｅ４）とを含む請求項１に記載
の映像表現方法。 - 【請求項１２】 前記段階（ｅ２）は、定義域Ｄm はｍ
番目の不規則三角形メッシュにより囲繞された地域と定
義され、Ｎm は定義域Ｄm 内の画素点の個数、ｇ（ｐ）
はｍ番目の不規則三角形メッシュ内のｎ番目の制御点の
グレー値、 【外２】 はｍ番目の三角形メッシュ内の位置ｐ＝（ｘ，ｙ）t の
画素の補間されたグレー値であり、 【数１０】 であり、ここでａ，ｂ及びｃはｍ番目の不規則三角形メ
ッシュの三つの制御点の三つの知られたグレー値を用い
て独自に決定された値である次の式、 【数１１】 を用いて前記段階（ｃａ１）で生成された不規則三角形
メッシュのそれぞれに対する第１表現エラーを計算する
請求項１１に記載の映像表現方法。 - 【請求項１３】 前記段階（ｆ）は制御点が取り除かれ
る時毎に残される制御点に関連した手ざわり程度を更新
する段階（ｆ１）と、 段階（ｆ１）により更新された手ざわり程度を用いて残
される制御点のうち最低の手ざわり程度を有する制御点
を決定する段階（ｆ２）とをさらに含む請求項１に記載
の映像表現方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR19950027745 | 1995-08-30 | ||
| KR27745/1995 | 1996-01-22 | ||
| KR1019960001327A KR100209885B1 (ko) | 1995-08-30 | 1996-01-22 | 적응적 제어점제거에 근거한 영상의 불규칙 삼각형메쉬 표현을 위한 방법 |
| KR1327/1996 | 1996-01-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09245190A true JPH09245190A (ja) | 1997-09-19 |
| JP2815571B2 JP2815571B2 (ja) | 1998-10-27 |
Family
ID=26631239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11810096A Expired - Fee Related JP2815571B2 (ja) | 1995-08-30 | 1996-05-13 | 適応的な制御点除去に基づいた映像の不規則三角形メッシュ表現方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5923777A (ja) |
| JP (1) | JP2815571B2 (ja) |
| KR (1) | KR100209885B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8643897B2 (en) | 2011-01-06 | 2014-02-04 | Seiko Epson Corporation | Image processing device, image processing method, and image processing program |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6148026A (en) * | 1997-01-08 | 2000-11-14 | At&T Corp. | Mesh node coding to enable object based functionalities within a motion compensated transform video coder |
| KR100611999B1 (ko) | 1999-08-27 | 2006-08-11 | 삼성전자주식회사 | 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법 |
| US6631202B2 (en) * | 2000-12-08 | 2003-10-07 | Landmark Graphics Corporation | Method for aligning a lattice of points in response to features in a digital image |
| KR100473704B1 (ko) * | 2002-02-27 | 2005-03-08 | 이상욱 | 3차원 메쉬 영상의 점진적 부호화 방법 |
| GB2400780B (en) * | 2003-04-17 | 2006-07-12 | Research In Motion Ltd | System and method of converting edge record based graphics to polygon based graphics |
| CN101383047B (zh) * | 2007-09-03 | 2011-05-04 | 鸿富锦精密工业（深圳）有限公司 | 曲面网格化方法 |
| TWI386864B (zh) * | 2007-09-14 | 2013-02-21 | Hon Hai Prec Ind Co Ltd | 曲面網格化方法 |
| US8269762B2 (en) * | 2008-10-08 | 2012-09-18 | Microsoft Corporation | Almost rectangular triangulations |
| CN101719187B (zh) * | 2009-12-23 | 2011-08-24 | 西北工业大学 | 带孔薄壁旋转曲面结构的孔洞优化设计方法 |
| JP5558949B2 (ja) * | 2010-07-16 | 2014-07-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5661359B2 (ja) * | 2010-07-16 | 2015-01-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| CN103918009A (zh) * | 2011-11-07 | 2014-07-09 | 汤姆逊许可公司 | 预测位置编码 |
| CN108717493B (zh) * | 2018-05-21 | 2022-03-01 | 杭州电子科技大学 | 一种面向结构化四边网格生成的二维区域自动分解方法 |
| CN110223390B (zh) * | 2019-06-12 | 2023-02-17 | 辽宁工程技术大学 | 一种基于直线体素遍历原理的多段线嵌入tin算法 |
| BR112021026125A2 (pt) * | 2019-07-16 | 2022-05-10 | Bodidata Inc | Sistemas e métodos para melhorar a cobertura e a eficiência do escaneamento de radar |
| CN114147969B (zh) * | 2021-11-16 | 2024-04-16 | 深圳市创必得科技有限公司 | 模型预处理环形纹理消隐方法、装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU7313491A (en) * | 1990-02-16 | 1991-09-03 | Silicon Graphics, Inc. | Method and apparatus for providing a visually improved image by converting a three-dimensional quadrilateral to a pair of triangles in a computer system |
| US5440674A (en) * | 1991-07-31 | 1995-08-08 | Park; Joon Y. | Mesh generation with quasi-equilateral triangulation for finite element analyses |
| JP2762000B2 (ja) * | 1992-06-25 | 1998-06-04 | 株式会社日立製作所 | 曲面生成方法および曲面生成装置 |
| WO1995006291A1 (en) * | 1993-08-27 | 1995-03-02 | Apple Computer, Inc. | System and method for generating smooth low degree polynomial spline surfaces over irregular meshes |
| US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
-
1996
- 1996-01-22 KR KR1019960001327A patent/KR100209885B1/ko not_active IP Right Cessation
- 1996-05-13 JP JP11810096A patent/JP2815571B2/ja not_active Expired - Fee Related
- 1996-08-30 US US08/705,644 patent/US5923777A/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8643897B2 (en) | 2011-01-06 | 2014-02-04 | Seiko Epson Corporation | Image processing device, image processing method, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2815571B2 (ja) | 1998-10-27 |
| KR100209885B1 (ko) | 1999-07-15 |
| US5923777A (en) | 1999-07-13 |
| KR970014400A (ko) | 1997-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2815571B2 (ja) | 適応的な制御点除去に基づいた映像の不規則三角形メッシュ表現方法 | |
| US9652830B2 (en) | Method and apparatus for performing hierarchical super-resolution of an input image | |
| JP7268598B2 (ja) | 情報処理装置および方法 | |
| AU2011239142B2 (en) | Method and apparatus for performing interpolation based on transform and inverse transform | |
| US6111988A (en) | Fractal representation of data | |
| JP5226845B2 (ja) | 幾何学的画像表現および圧縮に係る方法、コンピュータ可読媒体、圧縮器 | |
| JP7425899B2 (ja) | 点群の符号化及び復号方法 | |
| JPH06326987A (ja) | データ圧縮を伴った画像を表現する方法及び装置 | |
| JPH10313456A (ja) | 信号適応フィルタリング方法及び信号適応フィルター | |
| CN103037214A (zh) | 视频压缩方法 | |
| JP2003274403A (ja) | 喪失データ回復方法、喪失領域予測装置、プログラムおよび媒体 | |
| CN111586410B (zh) | 视频编码方法、解码方法及其相关装置 | |
| KR100314098B1 (ko) | 주위화소값의적응임계치를이용한이진영상보간방법 | |
| JP2001197507A (ja) | 階層的符号化を使用した画像圧縮／伸張システムにおいて画像を処理する方法及び装置 | |
| JP3867346B2 (ja) | 画像信号処理装置及び方法並びに予測パラメータの学習装置及び方法 | |
| CN112509107A (zh) | 一种点云属性重着色方法、装置及编码器 | |
| CN113240788A (zh) | 三维数据的传输和接收方法、设备和计算机可读存储介质 | |
| JPH0746595A (ja) | 動画像符号化器および復号化器 | |
| Chun et al. | Irregular triangular mesh representation based on adaptive control point removal | |
| CN112565756B (zh) | 基于量化策略的含云遥感图像压缩方法 | |
| JP7185467B2 (ja) | 画像復号装置、画像符号化装置、画像処理システム及びプログラム | |
| JP2010087673A (ja) | 画像処理システムおよび画像処理プログラム | |
| JPH07107294A (ja) | 画像符号化装置 | |
| JPH11136674A (ja) | 画像符号化方法及び記憶媒体 | |
| JPH0837664A (ja) | 動画像符号化／復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080814 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080814 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090814 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090814 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100814 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |