JPH09251554A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH09251554A JPH09251554A JP6042996A JP6042996A JPH09251554A JP H09251554 A JPH09251554 A JP H09251554A JP 6042996 A JP6042996 A JP 6042996A JP 6042996 A JP6042996 A JP 6042996A JP H09251554 A JPH09251554 A JP H09251554A
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- space
- unit
- spatiotemporal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 ビットストリームをすべて復号しなくても内
容が判明し、検索や再利用に都合のよい、時間空間方向
の拡大縮小に自在な、矩形以外の映像の存在形態を許容
できる、映像の表現が可能な画像処理装置を提供する。 【解決手段】 まず、時空間領域分割部11が、カメラ
10からの時空間画像を意味あるボクセルのクラスタ
(部品画像)に分割する。次に、時空間テクスチャ記述
部12が、分割された各部品画像の輪郭を包含する領域
の時空間的テクスチャをフラクタル係数で近似して表現
する。それにより時空間テクスチャの時間時方向への拡
大縮小が自在な表現が可能となる。また、時空間輪郭記
述部13が、分割された各部品画像の時空間的輪郭を多
角形近似等の手法によって記述する。それにより、輪郭
の時空間方向への拡大縮小が自在となり、各々の部品の
形状が定義されるので、全体の画像が矩形以外の形態を
とる事が許容可能となる。
容が判明し、検索や再利用に都合のよい、時間空間方向
の拡大縮小に自在な、矩形以外の映像の存在形態を許容
できる、映像の表現が可能な画像処理装置を提供する。 【解決手段】 まず、時空間領域分割部11が、カメラ
10からの時空間画像を意味あるボクセルのクラスタ
(部品画像)に分割する。次に、時空間テクスチャ記述
部12が、分割された各部品画像の輪郭を包含する領域
の時空間的テクスチャをフラクタル係数で近似して表現
する。それにより時空間テクスチャの時間時方向への拡
大縮小が自在な表現が可能となる。また、時空間輪郭記
述部13が、分割された各部品画像の時空間的輪郭を多
角形近似等の手法によって記述する。それにより、輪郭
の時空間方向への拡大縮小が自在となり、各々の部品の
形状が定義されるので、全体の画像が矩形以外の形態を
とる事が許容可能となる。
Description
【0001】
【発明の属する技術分野】本発明は、カメラで撮像され
た画素単位の映像を、時空間の領域分割の技術を用いて
時空間における領域ごとに再表現する映像記述方式を採
用した画像処理装置に関するものである。
た画素単位の映像を、時空間の領域分割の技術を用いて
時空間における領域ごとに再表現する映像記述方式を採
用した画像処理装置に関するものである。
【0002】
【従来の技術】従来の技術による映像記述方式として
は、画像をカメラで撮像された画素単位で記述(符号
化)を行うものがある。これは、映像をフレーム毎に幾
つかの重なりあわない矩形のマクロブロックに分割して
DCT(Discrete Cosine Trans
form)を施しフレーム内の圧縮を図り、時間軸方向
は異なるフレーム間の動きベクトルなどを用いてマクロ
ブロックがどの位置に移動するかを推定し、推定された
ものと実際の値の差分を符号化するものである。標準方
式H.26XやMPEG−1、MPEG−2がこれにあ
たる。
は、画像をカメラで撮像された画素単位で記述(符号
化)を行うものがある。これは、映像をフレーム毎に幾
つかの重なりあわない矩形のマクロブロックに分割して
DCT(Discrete Cosine Trans
form)を施しフレーム内の圧縮を図り、時間軸方向
は異なるフレーム間の動きベクトルなどを用いてマクロ
ブロックがどの位置に移動するかを推定し、推定された
ものと実際の値の差分を符号化するものである。標準方
式H.26XやMPEG−1、MPEG−2がこれにあ
たる。
【0003】
【発明が解決しようとする課題】しかしながら、上記従
来の技術による映像記述方式では、以下のような問題が
あった。
来の技術による映像記述方式では、以下のような問題が
あった。
【0004】(1)意味を持たないマクロブロック単位
で符号化するため、すべてのビットストリームを復号し
ないと内容が何かわからない。
で符号化するため、すべてのビットストリームを復号し
ないと内容が何かわからない。
【0005】(2)検索や再利用などに不向きな表現法
になっている。
になっている。
【0006】(3)画素単位での表現であるため、時間
方向、空間方向への拡大縮小が自在でない。
方向、空間方向への拡大縮小が自在でない。
【0007】(4)映像の存在形態は唯一、矩形であ
り、例えばブルーバックに人物が写っている映像など本
来は人物のみ保存したいのにもかかわらず、余分なブル
ーの背景も一緒に保存しなくてはならず、情報量の観点
からして映像をより冗長な存在形態にならしめている。
り、例えばブルーバックに人物が写っている映像など本
来は人物のみ保存したいのにもかかわらず、余分なブル
ーの背景も一緒に保存しなくてはならず、情報量の観点
からして映像をより冗長な存在形態にならしめている。
【0008】本発明は、以上の問題点を解決するための
ものであり、ビットストリームをすべて復号しなくても
内容が判明し、ひいては、検索や再利用に都合のよい、
時間空間方向の拡大縮小に自在な、矩形以外の映像の存
在形態を許容できる、映像の表現が可能な画像処理装置
を提供する事を目的とする。
ものであり、ビットストリームをすべて復号しなくても
内容が判明し、ひいては、検索や再利用に都合のよい、
時間空間方向の拡大縮小に自在な、矩形以外の映像の存
在形態を許容できる、映像の表現が可能な画像処理装置
を提供する事を目的とする。
【0009】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明の画像処理装置は、映像を時空間において
領域分割する時空間領域分割手段と、前記時空間領域分
割手段によって領域分割された映像の個々の要素のテク
スチャをフラクタルの係数で近似する時空間テクスチャ
記述手段と、前記時空間領域分割手段によって領域分割
された映像の個々の要素の輪郭を抽出する時空間輪郭抽
出手段と、を有することを最も主要な特徴とする。
めに、本発明の画像処理装置は、映像を時空間において
領域分割する時空間領域分割手段と、前記時空間領域分
割手段によって領域分割された映像の個々の要素のテク
スチャをフラクタルの係数で近似する時空間テクスチャ
記述手段と、前記時空間領域分割手段によって領域分割
された映像の個々の要素の輪郭を抽出する時空間輪郭抽
出手段と、を有することを最も主要な特徴とする。
【0010】従来の技術が画像の内容に全く無関係なブ
ロック内での情報量圧縮を実現したものであるのに対
し、本発明は映像を時空間画像としてCGにおけるボク
セル表現のようにとらえ、テクスチャと形状を別々に表
現するところが従来の技術と異なる。
ロック内での情報量圧縮を実現したものであるのに対
し、本発明は映像を時空間画像としてCGにおけるボク
セル表現のようにとらえ、テクスチャと形状を別々に表
現するところが従来の技術と異なる。
【0011】ここで、CGにおけるボクセル表現とは以
下のものである。CGでは「ポリゴン」、「サーフェ
ス」などいろいろな3次元物体の記述の仕方があるが、
「ボクセル」もCGの表現の一種である。具体例として
は、CTスキャンで時系列でとった人体の断面図からC
G空間上で人体を再構成(再表現)しようとするときな
どに用いられている。通常、ピクセル(pixel)が
2次元座標空間の一点を表すのに対して、ボクセル(b
oxel)は3次元座標空間の一点を表す。その意味
で、ピクセルもボクセルを次元の相違はあるものの、同
じ様な表現ということができる。
下のものである。CGでは「ポリゴン」、「サーフェ
ス」などいろいろな3次元物体の記述の仕方があるが、
「ボクセル」もCGの表現の一種である。具体例として
は、CTスキャンで時系列でとった人体の断面図からC
G空間上で人体を再構成(再表現)しようとするときな
どに用いられている。通常、ピクセル(pixel)が
2次元座標空間の一点を表すのに対して、ボクセル(b
oxel)は3次元座標空間の一点を表す。その意味
で、ピクセルもボクセルを次元の相違はあるものの、同
じ様な表現ということができる。
【0012】時空間領域分割手段は、計算機による特徴
量(カット点など)や人手によって意味ある部分への分
割するもので、時空間画像を意味あるボクセルのクラス
タ(部品画像)に分割することを可能とする。
量(カット点など)や人手によって意味ある部分への分
割するもので、時空間画像を意味あるボクセルのクラス
タ(部品画像)に分割することを可能とする。
【0013】時空間テクスチャ記述手段は、前記時空間
領域分割手段で分割された各々の部品画像の輪郭を包含
する領域の時空間的テクスチャをフラクタルの係数で近
似するなどして表現する。それによって、時空間テクス
チャの時間時方向へ拡大縮小する自在な表現を可能とす
る。
領域分割手段で分割された各々の部品画像の輪郭を包含
する領域の時空間的テクスチャをフラクタルの係数で近
似するなどして表現する。それによって、時空間テクス
チャの時間時方向へ拡大縮小する自在な表現を可能とす
る。
【0014】時空間輪郭抽出手段は、前記時空間領域分
割手段で分割された各々の部品画像の時空間的輪郭を多
角形近似等の手法によって記述する。それによって、輪
郭を時空間方向へ自在に拡大縮小することを可能とす
る。また、この手段によって各々の部品の形状を定義す
ることで、全体の画像が矩形以外の形態をとるのを許容
する事を可能とする。
割手段で分割された各々の部品画像の時空間的輪郭を多
角形近似等の手法によって記述する。それによって、輪
郭を時空間方向へ自在に拡大縮小することを可能とす
る。また、この手段によって各々の部品の形状を定義す
ることで、全体の画像が矩形以外の形態をとるのを許容
する事を可能とする。
【0015】以上の各手段によって、本発明は、映像の
内容ごとに映像を分割して表現することを可能とし、ひ
いては検索や再利用に都合のよい表現を提供可能とし、
時間空間方向の拡大縮小が自在であり、矩形以外の映像
の存在形態を許容するという目的を達成する。つまり、
従来の技術のピクセルベースの表現ではなくて、意味の
あるピクセルの塊を基本とした時空間領域ベースの映像
表現を用いることで、ビットストリームをすべて復号し
なくても内容が判明し、ひいては、検索や再利用に都合
のよい、時間空間方向の拡大縮小に自在な、矩形以外の
映像の存在形態を許容できる、映像の表現方式を用いた
画像処理装置を提供する。
内容ごとに映像を分割して表現することを可能とし、ひ
いては検索や再利用に都合のよい表現を提供可能とし、
時間空間方向の拡大縮小が自在であり、矩形以外の映像
の存在形態を許容するという目的を達成する。つまり、
従来の技術のピクセルベースの表現ではなくて、意味の
あるピクセルの塊を基本とした時空間領域ベースの映像
表現を用いることで、ビットストリームをすべて復号し
なくても内容が判明し、ひいては、検索や再利用に都合
のよい、時間空間方向の拡大縮小に自在な、矩形以外の
映像の存在形態を許容できる、映像の表現方式を用いた
画像処理装置を提供する。
【0016】
【発明の実施の形態】以下に、本発明の実施の形態を、
図面により詳しく説明する。
図面により詳しく説明する。
【0017】図1は本発明の一実施形態例の全体の構成
を示すもので、10はカメラ、11は時空間領域分割
部、12は時空間テクスチャ記述部、13は時空間輪郭
記述部である。時空間領域分割部11は、クラスタリン
グ部14、ラベリング部15を有する。時空間テクスチ
ャ記述部12は、ドメインプール決定部16、3次元フ
ラクタル係数決定部17を有する。時空間輪郭記述部1
3は、キーフレーム決定部18、多角形近似部19を有
している。
を示すもので、10はカメラ、11は時空間領域分割
部、12は時空間テクスチャ記述部、13は時空間輪郭
記述部である。時空間領域分割部11は、クラスタリン
グ部14、ラベリング部15を有する。時空間テクスチ
ャ記述部12は、ドメインプール決定部16、3次元フ
ラクタル係数決定部17を有する。時空間輪郭記述部1
3は、キーフレーム決定部18、多角形近似部19を有
している。
【0018】図2は、本発明の時空間テクスチャと時空
間輪郭の概念を示すものである。
間輪郭の概念を示すものである。
【0019】図3は、本発明の時空間テクスチャ記述部
12の中の3次元フラクタル係数決定部に関するもので
あり、(a)は3次元フラクタル係数決定部17の詳細
を示すもので、(b)は3次元フラクタルにおけるレン
ジキューブ、ドメインキューブ、の概念図を示すもので
あり、31はドメインキューブ走査部、32はドメイン
キューブ縮小部、33はピクセルシャッフル部、34は
ルミナンススケーリング部、35はレンジキューブ分割
部、36は最小値判定部、37はレンジキューブ、38
はドメインキューブ、39はショット映像である。
12の中の3次元フラクタル係数決定部に関するもので
あり、(a)は3次元フラクタル係数決定部17の詳細
を示すもので、(b)は3次元フラクタルにおけるレン
ジキューブ、ドメインキューブ、の概念図を示すもので
あり、31はドメインキューブ走査部、32はドメイン
キューブ縮小部、33はピクセルシャッフル部、34は
ルミナンススケーリング部、35はレンジキューブ分割
部、36は最小値判定部、37はレンジキューブ、38
はドメインキューブ、39はショット映像である。
【0020】図4は、本発明の時空間テクスチャ記述部
12の中のドメインキューブ決定部16に関するもので
ある。
12の中のドメインキューブ決定部16に関するもので
ある。
【0021】図5は、本発明の時空間輪郭記述部13に
関するもので、(a)は多角形近似部19の概念図、
(b)はキーフレーム決定部18の概念を示すものであ
る。
関するもので、(a)は多角形近似部19の概念図、
(b)はキーフレーム決定部18の概念を示すものであ
る。
【0022】最初に本発明の全体の構成を説明する。図
1に示すように、カメラ10で撮像された時系列の映像
は、時空間領域分割部11にて人手あるいは計算機によ
る映像の特徴量(カット点など)によって領域分割され
る。領域分割された各々の領域は、時空間テクスチャ記
述部12によってその時空間テクスチャが、時空間輪郭
記述部13によってその時空間輪郭が、記述される。こ
うして、すべての画素がクラスタ化され、時空間テクス
チャと時空間輪郭によって記述される。
1に示すように、カメラ10で撮像された時系列の映像
は、時空間領域分割部11にて人手あるいは計算機によ
る映像の特徴量(カット点など)によって領域分割され
る。領域分割された各々の領域は、時空間テクスチャ記
述部12によってその時空間テクスチャが、時空間輪郭
記述部13によってその時空間輪郭が、記述される。こ
うして、すべての画素がクラスタ化され、時空間テクス
チャと時空間輪郭によって記述される。
【0023】ここで、図2に示すように、通常、領域の
境界部分の近似は困難であることから、テクスチャに関
しては欲する領域を包含する新たな領域を想定し、これ
を時空間テクスチャで近似する。一方、時空間輪郭は、
元の領域の輪郭のものを参照して近似される。最後に、
近似された時空間テクスチャを時空間輪郭が切り出す形
で時空間クラスタが再現される。
境界部分の近似は困難であることから、テクスチャに関
しては欲する領域を包含する新たな領域を想定し、これ
を時空間テクスチャで近似する。一方、時空間輪郭は、
元の領域の輪郭のものを参照して近似される。最後に、
近似された時空間テクスチャを時空間輪郭が切り出す形
で時空間クラスタが再現される。
【0024】具体的には、図1の時空間領域分割部11
のクラスタリング部14にて計算機もしくは人手を介し
て元の映像を分割し、ラベリング部15によって、分割
された各々の部品映像に識別するための番号がふられ
る。次に、領域分割された映像は、時空間テクスチャ部
12のドメインプール決定部16によってドメインキュ
ーブならびにレンジキューブ走査の範囲を決定し、その
領域内だけで3次元フラクタル係数部17によって3次
元フラクタル係数が前記領域のテクスチャを現す係数と
して算出される。
のクラスタリング部14にて計算機もしくは人手を介し
て元の映像を分割し、ラベリング部15によって、分割
された各々の部品映像に識別するための番号がふられ
る。次に、領域分割された映像は、時空間テクスチャ部
12のドメインプール決定部16によってドメインキュ
ーブならびにレンジキューブ走査の範囲を決定し、その
領域内だけで3次元フラクタル係数部17によって3次
元フラクタル係数が前記領域のテクスチャを現す係数と
して算出される。
【0025】ここで、3次元フラクタル係数であるが、
後に説明する図3(a)の右側に示した、(Dx,D
y,Dz,num,α、β、Rx,Ry,Rz)のこと
を指す。意味並びに物理量(単位)を以下に示す。
後に説明する図3(a)の右側に示した、(Dx,D
y,Dz,num,α、β、Rx,Ry,Rz)のこと
を指す。意味並びに物理量(単位)を以下に示す。
【0026】・Dx,Dy,Dz:ドメインキューブの
位置座標。単位は無い。
位置座標。単位は無い。
【0027】・num:ピクセルシャッフルの番号。8
通り。単位は無い。
通り。単位は無い。
【0028】・α、β:ルミナンススケーリングの値。
レンジキューブと任意のドメインキューブの間の変換係
数。最少二乗法などで求められる。単位は無い。
レンジキューブと任意のドメインキューブの間の変換係
数。最少二乗法などで求められる。単位は無い。
【0029】・Rx,Ry,Rz:レンジキューブの位
置座標。単位は無い。
置座標。単位は無い。
【0030】図3(b)は、3次元フラクタルの概念図
を示す。あるショット映像39はレンジキューブ37と
いう重ならない小さな立方体に分割される。ドメインキ
ューブは通常レンジキューブの2倍の拡大比をもつ立方
体で、これは基本的にドメインプール(ドメインキュー
ブが走査しうる範囲)内を順次走査して行く。レンジキ
ューブのサイズはあらかじめ与えられ、一辺4画素、8
画素、16画素などがある。ドメインキューブのサイズ
はレンジキューブの2倍である。
を示す。あるショット映像39はレンジキューブ37と
いう重ならない小さな立方体に分割される。ドメインキ
ューブは通常レンジキューブの2倍の拡大比をもつ立方
体で、これは基本的にドメインプール(ドメインキュー
ブが走査しうる範囲)内を順次走査して行く。レンジキ
ューブのサイズはあらかじめ与えられ、一辺4画素、8
画素、16画素などがある。ドメインキューブのサイズ
はレンジキューブの2倍である。
【0031】図4にドメインプール決定部16の詳細を
示す。ただし、便宜上2次元のもので示してある。最初
に元の領域のXYT方向(空間時間方向)の大きさの最
大値並びに最大値を与える座標を記録する。次に、時空
間クラスタのXYT方向の最大値からなる直方体を含む
直方体の領域を最小の数のレンジキューブでうめられる
ようにレンジキューブの配置を決定する(領域拡張
(1))。その中から、元の領域を含むレンジキューブ
のみ選択する。さらに選択されたレンジキューブの外側
にもう一回りレンジキューブを選択する(領域拡張
(2))。これは、順次走査されるドメインキューブの
中心が元の領域の輪郭付近にもくるように配慮するもの
である。さらに、ドメインプールの大きさをW×H×T
としてこの立体の中に入る領域のみを最終的に有効なド
メインプールとする。
示す。ただし、便宜上2次元のもので示してある。最初
に元の領域のXYT方向(空間時間方向)の大きさの最
大値並びに最大値を与える座標を記録する。次に、時空
間クラスタのXYT方向の最大値からなる直方体を含む
直方体の領域を最小の数のレンジキューブでうめられる
ようにレンジキューブの配置を決定する(領域拡張
(1))。その中から、元の領域を含むレンジキューブ
のみ選択する。さらに選択されたレンジキューブの外側
にもう一回りレンジキューブを選択する(領域拡張
(2))。これは、順次走査されるドメインキューブの
中心が元の領域の輪郭付近にもくるように配慮するもの
である。さらに、ドメインプールの大きさをW×H×T
としてこの立体の中に入る領域のみを最終的に有効なド
メインプールとする。
【0032】ドメインキプールの領域が決定されると、
3次元フラクタル係数決定部17によってフラクタル係
数が決定される。図3(a)に3次元フラクタル係数決
定部17の詳細を示す。まず、レンジキューブ分割部3
5によってあるレンジキューブがドメインプールから選
択される。レンジキューブ分割部35は、レンジキュー
ブの先頭の座標(Rx,Ry,Rz)を控える。その各
々のレンジキューブに対してドメインキューブがドメイ
ンプール内を走査する。ドメインキューブ走査部31は
ドメインキューブの先頭の座標(Dx,Dy,Dz)を
控える。走査の範囲は通常レンジキューブの中から一定
の場所とする(すなわち、すべてのドメインプール内を
走査するわけではない)。ドメインキューブ内の画素は
ドメインキューブ縮小部32によって2分の1の大きさ
に縮小される。縮小されたドメインキューブ内の画素値
は元のドメインキューブの4つの画素の平均値を縮小さ
れたドメインキューブの1つの値とする。さらに、ピク
セルシャッフル部33によって鏡像、回転の8種類の画
素の再配置処理が施される。ピクセルシャッフル部33
は何番目にの再配置か(num)を控える。その各々の
再配置された縮小ドメインキューブに対して、ルミナン
ススケーリング部34によってレンジキューブに近似す
るように最小2乗法などによってルミナンススケール
(α、β)が算出される。このように係数Dx,Dy,
Dz、num、α、βで近似された縮小ドメインキュー
ブと元のレンジキューブとの類似度が最小値判定部35
によって判定され、最小の誤差の係数列が選択される。
以上のようにして時空間テクスチャが表現される。
3次元フラクタル係数決定部17によってフラクタル係
数が決定される。図3(a)に3次元フラクタル係数決
定部17の詳細を示す。まず、レンジキューブ分割部3
5によってあるレンジキューブがドメインプールから選
択される。レンジキューブ分割部35は、レンジキュー
ブの先頭の座標(Rx,Ry,Rz)を控える。その各
々のレンジキューブに対してドメインキューブがドメイ
ンプール内を走査する。ドメインキューブ走査部31は
ドメインキューブの先頭の座標(Dx,Dy,Dz)を
控える。走査の範囲は通常レンジキューブの中から一定
の場所とする(すなわち、すべてのドメインプール内を
走査するわけではない)。ドメインキューブ内の画素は
ドメインキューブ縮小部32によって2分の1の大きさ
に縮小される。縮小されたドメインキューブ内の画素値
は元のドメインキューブの4つの画素の平均値を縮小さ
れたドメインキューブの1つの値とする。さらに、ピク
セルシャッフル部33によって鏡像、回転の8種類の画
素の再配置処理が施される。ピクセルシャッフル部33
は何番目にの再配置か(num)を控える。その各々の
再配置された縮小ドメインキューブに対して、ルミナン
ススケーリング部34によってレンジキューブに近似す
るように最小2乗法などによってルミナンススケール
(α、β)が算出される。このように係数Dx,Dy,
Dz、num、α、βで近似された縮小ドメインキュー
ブと元のレンジキューブとの類似度が最小値判定部35
によって判定され、最小の誤差の係数列が選択される。
以上のようにして時空間テクスチャが表現される。
【0033】時空間領域分割部11で選られた各々の領
域は時空間輪郭記述部12によってその輪郭(形状)が
記述される。まず、キーフレーム決定部18によって時
間的に変化の大きい輪郭を持つフレームが選択される。
そのフレームに対して、多角形近似部19で輪郭の多角
形近似がなされる。
域は時空間輪郭記述部12によってその輪郭(形状)が
記述される。まず、キーフレーム決定部18によって時
間的に変化の大きい輪郭を持つフレームが選択される。
そのフレームに対して、多角形近似部19で輪郭の多角
形近似がなされる。
【0034】図5に時空間領域分割部11の概念を示
す。まず、図5(b)にキーフレーム決定部18の例を
示す。この例では、時空間におけるy−t画像の一断面
を示しているが、領域の変化の大きいところは時空間断
面の傾きによって決定される。図5(a)に多角形近似
部19の例を示す。まず、元の図形の一番長い弦ABを
探す。これに垂直な線と元の輪郭の交点をそれぞれC,
Dとする。弦AC,CB,BD,DAに対して垂線と元
の輪郭との交点を順次決定し、それがあるしきい値εよ
りも小さければ収束とみなす。εより大きければ同様の
処理を収束するまで繰りかえす。このようにして時空間
輪郭が記述される。時空間輪郭係数としては、キーフレ
ームの番号Kn、任意のキーフレームにおける時空間ク
ラスタのx−y断面上に近似された輪郭の頂点座標Pn
(x,y)が抽出される。以下に意味と物理量をまとめ
て記す。
す。まず、図5(b)にキーフレーム決定部18の例を
示す。この例では、時空間におけるy−t画像の一断面
を示しているが、領域の変化の大きいところは時空間断
面の傾きによって決定される。図5(a)に多角形近似
部19の例を示す。まず、元の図形の一番長い弦ABを
探す。これに垂直な線と元の輪郭の交点をそれぞれC,
Dとする。弦AC,CB,BD,DAに対して垂線と元
の輪郭との交点を順次決定し、それがあるしきい値εよ
りも小さければ収束とみなす。εより大きければ同様の
処理を収束するまで繰りかえす。このようにして時空間
輪郭が記述される。時空間輪郭係数としては、キーフレ
ームの番号Kn、任意のキーフレームにおける時空間ク
ラスタのx−y断面上に近似された輪郭の頂点座標Pn
(x,y)が抽出される。以下に意味と物理量をまとめ
て記す。
【0035】・Kn:キーフレームの番号。単位は無
い。
い。
【0036】・Pn(x,y):任意のキーフレームに
おける多角形の頂点座標。単位は無い。
おける多角形の頂点座標。単位は無い。
【0037】
【発明の効果】本発明は、全映像ストリームを復号しな
くても内容が把握でき、検索や再利用に都合のよい表現
形式を提供できるという効果がある。また、境界を多角
形近似し、テクスチャを時間空間周波数と無関係な関数
系であるフラクタル近似で表現することで、復号時に任
意の大きさで再現することができ、時間空間方向への拡
大縮小が自在であるという効果が得られる。また、矩形
以外の映像の存在形態を許容することができるという効
果が得られる。
くても内容が把握でき、検索や再利用に都合のよい表現
形式を提供できるという効果がある。また、境界を多角
形近似し、テクスチャを時間空間周波数と無関係な関数
系であるフラクタル近似で表現することで、復号時に任
意の大きさで再現することができ、時間空間方向への拡
大縮小が自在であるという効果が得られる。また、矩形
以外の映像の存在形態を許容することができるという効
果が得られる。
【図1】本発明の一実施形態例の全体の構成を示す図で
ある。
ある。
【図2】本発明の一実施形態例における時空間テクスチ
ャと時空間輪郭の概念を示す図である。
ャと時空間輪郭の概念を示す図である。
【図3】(a)、(b)は、本発明の一実施形態例にお
ける時空間テクスチャ記述部の中の3次元フラクタル係
数決定部の詳細を説明する図である。
ける時空間テクスチャ記述部の中の3次元フラクタル係
数決定部の詳細を説明する図である。
【図4】本発明の一実施形態例における時空間テクスチ
ャ記述部の中のドメインプール決定部の詳細を説明する
図である。
ャ記述部の中のドメインプール決定部の詳細を説明する
図である。
【図5】本発明の一実施形態例における時空間輪郭記述
部の詳細を説明する図である。
部の詳細を説明する図である。
11…時空間領域分割部 12…時空間テクスチャ記述部 13…時空間輪郭記述部 14…クラスタリング部 15…ラベリング部 16…ドメインプール決定部 17…3次元フラクタル係数決定部 18…キーフレーム決定部 19…多角形近似部 31…ドメインキューブ走査部 32…ドメインキューブ縮小部 33…ピクセルシャッフル部 34…ルミナンススケーリング部 35…レンジキューブ分割部 36…最小値判定部 37…レンジキューブ 38…ドメインキューブ 39…ショット映像
Claims (3)
- 【請求項1】 映像を時空間において領域分割する時空
間領域分割手段と、 前記時空間領域分割手段によって領域分割された映像の
個々の要素のテクスチャをフラクタルの係数で近似する
時空間テクスチャ記述手段と、 前記時空間領域分割手段によって領域分割された映像の
個々の要素の輪郭を抽出する時空間輪郭抽出手段と、 を有することを特徴とする画像処理装置。 - 【請求項2】 前記時空間テクスチャ記述手段は、 当該要素を包含する新たな領域を決定する手段と、 前記新たな領域内だけでフラクタルの係数を算出する手
段と、 を有することを特徴とする請求項1記載の画像処理装
置。 - 【請求項3】 前記時空間輪郭抽出手段は、 時空間領域分割手段によって領域分割された映像の個々
の要素の輪郭を多角形近似して輪郭の抽出を行う手段
と、 を有することを特徴とする請求項1または請求項2記載
の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6042996A JPH09251554A (ja) | 1996-03-18 | 1996-03-18 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6042996A JPH09251554A (ja) | 1996-03-18 | 1996-03-18 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09251554A true JPH09251554A (ja) | 1997-09-22 |
Family
ID=13141992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6042996A Pending JPH09251554A (ja) | 1996-03-18 | 1996-03-18 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH09251554A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000046750A1 (en) * | 1999-02-05 | 2000-08-10 | Samsung Electronics Co., Ltd. | Image texture retrieving method and apparatus thereof |
WO2001004842A1 (en) * | 1999-07-09 | 2001-01-18 | Electronics And Telecommunications Research Institute | Texture description method and texture-based retrieval method in frequency domain |
KR100706414B1 (ko) * | 1999-09-16 | 2007-04-10 | 주식회사 팬택앤큐리텔 | 텍스쳐 검색 장치 및 그 방법 |
CN1316430C (zh) * | 2003-03-28 | 2007-05-16 | 松下电器产业株式会社 | 处理图像的装置和方法 |
JP2013206244A (ja) * | 2012-03-29 | 2013-10-07 | Fujifilm Corp | 二次元画像生成装置ならびにその動作制御方法および動作制御プログラム |
-
1996
- 1996-03-18 JP JP6042996A patent/JPH09251554A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000046750A1 (en) * | 1999-02-05 | 2000-08-10 | Samsung Electronics Co., Ltd. | Image texture retrieving method and apparatus thereof |
US6624821B1 (en) | 1999-02-05 | 2003-09-23 | Samsung Electronics Co., Ltd. | Image texture retrieving method and apparatus thereof |
AU775858B2 (en) * | 1999-02-05 | 2004-08-19 | Regents Of The University Of California, The | Image texture retrieving method and apparatus thereof |
US7027065B2 (en) | 1999-02-05 | 2006-04-11 | Samsung Electronics Co., Ltd. | Method for image texture describing |
US7199803B2 (en) | 1999-02-05 | 2007-04-03 | Samsung Electronics Corporation | Method and apparatus for image texture describing |
CN100405399C (zh) * | 1999-02-05 | 2008-07-23 | 三星电子株式会社 | 图像纹理恢复方法及其装置 |
WO2001004842A1 (en) * | 1999-07-09 | 2001-01-18 | Electronics And Telecommunications Research Institute | Texture description method and texture-based retrieval method in frequency domain |
US6803919B1 (en) | 1999-07-09 | 2004-10-12 | Electronics And Telecommunications Research Institute | Extracting texture feature values of an image as texture descriptor in a texture description method and a texture-based retrieval method in frequency domain |
KR100706414B1 (ko) * | 1999-09-16 | 2007-04-10 | 주식회사 팬택앤큐리텔 | 텍스쳐 검색 장치 및 그 방법 |
CN1316430C (zh) * | 2003-03-28 | 2007-05-16 | 松下电器产业株式会社 | 处理图像的装置和方法 |
US7356192B2 (en) | 2003-03-28 | 2008-04-08 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for processing an image |
JP2013206244A (ja) * | 2012-03-29 | 2013-10-07 | Fujifilm Corp | 二次元画像生成装置ならびにその動作制御方法および動作制御プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6011872A (en) | Method of generalized content-scalable shape representation and coding | |
O'Connell | Object-adaptive vertex-based shape coding method | |
EP1016286B1 (en) | Method for generating sprites for object-based coding systems using masks and rounding average | |
US5694331A (en) | Method for expressing and restoring image data | |
US6295381B1 (en) | Coding apparatus and decoding apparatus of image data and corresponding shape data at different resolutions | |
Lee et al. | A layered video object coding system using sprite and affine motion model | |
US6738424B1 (en) | Scene model generation from video for use in video processing | |
JP2008011552A (ja) | オブジェクトベースのビデオ圧縮プロセス | |
US6687411B1 (en) | Image coding/decoding method and recording medium having program for this method recorded thereon | |
CN111432210A (zh) | 一种基于填充的点云属性压缩方法 | |
JP3760049B2 (ja) | 任意形状符号化方法 | |
JP3530125B2 (ja) | 構造化ポリゴン・メッシュ・データの形成方法および装置、記憶媒体 | |
US20070274687A1 (en) | Video Signal Encoder, A Video Signal Processor, A Video Signal Distribution System And Methods Of Operation Therefor | |
JPH09251554A (ja) | 画像処理装置 | |
Chung et al. | Improved image compression using S-tree and shading approach | |
CN117242480A (zh) | 使用几何信息和语义信息的曼哈顿布局估计 | |
WO2011157593A1 (en) | Method for coding and decoding a video picture | |
WO2001049028A1 (en) | Scene model generation from video for use in video processing | |
KR20190110042A (ko) | 비디오 신호 처리 방법 및 장치 | |
KR20190113651A (ko) | 비디오 신호 처리 방법 및 장치 | |
Park et al. | Depth compression of 3D object represented by layered depth image | |
US20230306684A1 (en) | Patch generation for dynamic mesh coding | |
Erol et al. | Video object summarization in the MPEG-4 compressed domain | |
Jinzenji et al. | Graphical Video Representation for Scalability | |
JP2024509988A (ja) | チャートベースのメッシュ圧縮の方法、装置およびコンピュータプログラム |