JP4151158B2 - シーン記述生成装置及び方法 - Google Patents
シーン記述生成装置及び方法 Download PDFInfo
- Publication number
- JP4151158B2 JP4151158B2 JP16722599A JP16722599A JP4151158B2 JP 4151158 B2 JP4151158 B2 JP 4151158B2 JP 16722599 A JP16722599 A JP 16722599A JP 16722599 A JP16722599 A JP 16722599A JP 4151158 B2 JP4151158 B2 JP 4151158B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- scene description
- texture
- position information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
Description
【発明の属する技術分野】
本発明は、静止画像信号、動画像信号及びグラフィックデータなどを、画面中に配置して新しいシーンを記述するシーン記述生成装置及び方法に関する。
【0002】
【従来の技術】
静止画像信号、動画像信号及びグラフィックデータなどを画面中に配置して新しいシーンを記述するシーン記述技術の概要を図19に示す。入力された画像やグラフィックデータをそのまま表示するのではなく、1以上の入力データを結合させたシーンを表示するためには、どのようにシーンを構成するかを表す付加的な情報が必要になる。この情報をシーン記述(情報)と呼ぶ。シーン記述(情報)は、オブジェクトと呼ばれる入力となる部品をシーン中に配置するためのものである。図19では、オブジェクトA02及びオブジェクトA03を、シーン記述(情報)A00に基づいて表示することにより、シーンA04を得ている。図19では二次元のシーン記述を例にしているが、三次元のシーンを記述し、二次元の表示装置へ表示する際に二次元へ投影する場合もある。シーン記述により1以上のオブジェクトを結合したシーンを表現する場合には、入力となる静止画像や動画像等の画面A01の全体を使用する場合もあるが、シーン中で使用したい一部分をオブジェクトA02として分離することも望まれる。この分離作業をセグメンテーションと呼ぶ。
【0003】
図20に、図19のセグメンテーションとシーン記述作成を行う従来の編集システムの構成を示す。入力画像もしくはグラフィックデータに対する画像処理とシーン記述生成のための処理は独立した過程で行われる。まず画像処理部B00では、入力画像やグラフィックデータB01をセグメンテーション器B02がオブジェクトB04へ変換する。セグメンテーションは、特定の色成分を持つ背景を分離するクロマキーと呼ばれる手法や、明度勾配によりオブジェクトの輪郭を切り抜く方法や、手動による輪郭の指定など様々な方法で行われている。セグメンテーションされたオブジェクトは、例えばISO14496-2で規定されている符号化方法を使用し、破線で示す符号化器B03によって符号化されることがある。一方、シーン記述処理部B05では、シーン記述生成器B06が、どのようなシーンを構成したいかという指定に基づいてシーン記述B07を生成する。シーン記述としては、例えばISO14496-1で規定されているいわゆるMPEG-4 Systemsのシーン記述や、ISO14772-1で規定されているVRML(Virtual Reality Modeling Language)、インターネットで広く使用されているHTML(HyperText Markup Language)、ISO13522-5で規定されているMHEG(Multimedia and Hypermedia information coding Expert Group)等、多くの種類が存在する。
【0004】
ISO14496-1で規定されているMPEG-4 Systemsのシーン記述を例にとり、図21〜図23を用いてシーン記述の構造、内容及び具体例を説明する。図21は、シーン記述の構造を示している。また、図22はシーン記述の内容を示している。また、図23はシーンの具体例を示している。シーン記述は、ノードと呼ばれる基本的な記述単位により表現される。ノードは、オブジェクトや光源、物体表面特性の記述などを行う単位であり、ノードの特性や属性を表すためにフィールドと呼ばれるデータを含んでいる。例えば図21中のTransform2Dノードは二次元の座標変換を指定可能なノードで、図22に示すtranslationフィールドを含み、例えば平行移動のように配置位置を指定している。フィールドには他のノードを指定することが可能なフィールドも存在し、シーン記述の構成はツリー構造を成す。オブジェクトをシーン中に配置するには、オブジェクトを表すノードを、属性を表すノードとともに図22に示すようにグループ化し、配置位置を表すノードによりさらにグループ化する。図22のシーン記述の内容についての詳細は以下の通りである。先ず、“Group{”がシーン全体のグルーピングノードであり、“children”がグルーピングされる子ノードの記述開始を示す。また、“Transform2D”は座標変換を指定するグルーピングノードである。さらに、“translation x1 y1”は配置位置を指示し、以下、“children[”は配置される子ノードの記述開始、“Shape{”はオブジェクトをシーンに取り込むことを指示する。そして、“geometry Bitmap{}”はテクスチャ画像をそのまま表示させる物体であり、“appearance Appearnce{”は物体の表面特性を指定し、“texture Image Texture {url}”は画像オブジェクトを指定する。このシーン記述の内容にしたがって画像オブジェクトを図23に示すように配置する。つまり、Shapeノードが表しているオブジェクトは、その親ノードであるTransform2Dノードによって指定された平行移動を適用されて、シーン中に配置される。図23に具体例を示す。図23において、入力画像中のオブジェクトはオブジェクトを内包する矩形領域毎、図20に示したセグメンテーション器B02によりセグメンテーションされる。このオブジェクトB04は、シーン記述生成器B06によって生成されたシーン記述B07中の指定に基づいてシーン中に配置される。
【0005】
次にISO14496-2で規定されているMPEG-4 Videoを例にとり、画像オブジェクトの符号化方法を説明する。図24は、入力画像D00中の楕円形のオブジェクトD01と背景のオブジェクトD03をセグメンテーションして符号化する場合を示している。まず、オブジェクトD01を符号化する場合、オブジェクトD01を内包する領域D02を設定する。MPEG-4 Videoでは、矩形領域が使われる。矩形領域の外側は符号化されない。符号化は小ブロック単位で行われる。以下、このブロックを符号化ブロックと呼ぶ。符号化ブロックD05のように符号化ブロック内部にオブジェクトのデータが含まれていない場合、その符号化ブロックは「符号化対象データ無し」を意味するフラグのみを符号化すればよい。符号化ブロックD06のようにオブジェクト内と外の双方を含む符号化ブロックでは、オブジェクト外の画素値は任意の値に設定して符号化して良い。オブジェクトD01の形状(輪郭)が別に符号化されるのでデコード時にオブジェクト外のデータは無視されるからである。一方、背景D03もオブジェクトである。背景のオブジェクトD03を符号化する場合にも同様に、オブジェクトを内包する矩形領域D04を設定するが、これは入力画像の画枠全体となる。符号化方法はオブジェクトD01の場合と同様である。つまり、斜線部分が符合化したいオブジェクトであり、ここでは入力画像の画枠全体が矩形領域となる。符号化ブロックD07内に、オブジェクトの内外のデータを含む場合は、オブジェクト外は任意の値に設定して符号化してよい。また、符号化ブロックD08内にオブジェクトのデータが無ければ、「符号化データ無し」を意味するフラグのみを符号化すればよい。
【0006】
MPEG-4 Video等のような画像オブジェクトをシーン中に配置する場合、図25に示すようにシーンの座標中におけるオブジェクトの配置位置を指定する。配置位置はシーン記述中に記述される。配置位置の指定は二次元座標、三次元座標を設定する方法の他に、「画像左下に配置」といったような整列制約により指定されることもある。オブジェクトの位置の基準として、図25ではオブジェクトを内包する矩形領域の中心を使用しているが、オブジェクトの重心やオブジェクトを内包する領域の左上などを基準にする場合もある。すなわち、オブジェクトの配置は、オブジェクトの基準位置を配置することによって行われる。
【0007】
しかし、入力動画像やグラフィックデータ中のオブジェクトが変形した場合、シーン記述によって配置されたオブジェクトがシーン中で移動してしまうという問題があった。図25のフレーム1では、入力画像からセグメンテーションされたオブジェクトを、オブジェクトを内包する矩形領域の中心が配置位置aとなるように配置するシーン記述を作成している。フレーム2においてオブジェクトが変形すると、そのオブジェクトを内包する矩形領域も変化し、従って本来の入力画像やグラフィックデータ中では移動していなかったオブジェクトが、記述されたシーン中では不要な移動を生じてしまう、という問題が生じる。記述されたシーン中でも、本来の入力画像やグラフィックデータ中で移動していない部分は、シーン中でも移動せずに表示することが望まれていた。さらに、オブジェクトが入力画像やグラフィックデータ中で移動した場合には、シーン記述によって記述されるシーン中にその移動を反映してオブジェクトを配置したいという要求に、従来技術では応えられなかった。つまり、記述されたシーン中でも、本来の入力画像上と同様に望ましい位置に配置するために、配置位置を図中bのように変更することが望まれていたが従来技術ではできなかった。
【0008】
また、シーン記述では画像やグラフィックデータをオブジェクトとして取り込むのではなく、テクスチャとして使用し、シーン中の他の物体表面に張り付ける、というように使用されることも多い。図26は、画像オブジェクトを立方体の表面に張り付ける例を示している。ISO14496-1で規定されているMPEG-4 Systemsのシーン記述を例に取ると、画像をテクスチャとして使用する場合、画像は二次元テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされる。これをテクスチャマップと呼ぶ。オブジェクトの表面にテクスチャを張り付ける場合は、テクスチャマップ中のどの部分を使用するか、テクスチャ座標で指定を行う。図26のように立方体もしくは直方体にテクスチャを貼り付ける場合は、立方体もしくは直方体の各面独立にテクスチャマップのs-t両方向の0から1に相当する領域が貼り付けられる。しかし、セグメンテーションされたオブジェクトを使用している場合、図26のフレーム2のようにオブジェクトが変形し、オブジェクトを内包する領域も変形してしまうと、テクスチャ画像の画枠が変化してしまう。テクスチャ画像の画枠が変わっても、画枠全体を0から1とするテクスチャマップが使用されるため、貼り付けられたテクスチャは入力画像中の変化とは異なる変形を受けてしまうという問題があり、記述されたシーン中でも本来の入力画像やグラフィックデータと同様に表示される事が望まれていた。
【0009】
【発明が解決しようとする課題】
ところで、静止画像信号、動画像信号やグラフィックデータなどをセグメンテーションしたオブジェクトを、画面中に配置して新しいシーンを記述する場合、上述したように、画像やグラフィックデータ中のオブジェクトの変形により、以下のような問題点が生じた。
【0010】
先ず、第1の問題は、オブジェクトが変形し、オブジェクトを内包する領域も変形すると、シーン記述で記述されたシーン中で、オブジェクトに不要な移動が生じてしまうことである。また入力画像やグラフィックデータ中でのオブジェクトの移動をシーン中のオブジェクトの移動に反映させることが出来ないことである。
【0011】
第2の問題は、セグメンテーションした画像やグラフィックデータをテクスチャとしてシーン記述で使用する場合、オブジェクトが変形し、オブジェクトを内包する領域も変形すると、シーン記述で記述されたシーン中へ貼り付けるテクスチャが歪んでしまうことである。また入力画像やグラフィックデータ中でのオブジェクトの移動をテクスチャの移動に反映させることが出来ないことである。
【0012】
そこで本発明の目的は、上記の問題点を解決し、入力画像やグラフィックデータ上でのオブジェクトが変形してもシーン記述で記述されたシーン中で不要な移動や歪みを生じさせず、また入力画像やグラフィックデータ中でのオブジェクトの移動をシーン中のオブジェクトの移動やテクスチャの移動に反映させることが可能な、シーン記述生成装置及び方法の提供である。
【0013】
【課題を解決するための手段】
本発明に係るシーン記述生成装置は、上記課題を解決するために、入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出手段と、上記オブジェクト抽出手段により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成手段とを備える。
【0015】
本発明に係るシーン記述生成方法は、上記課題を解決するために、入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出工程と、上記オブジェクト抽出工程により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成工程とを備える。
【0021】
このように、本発明では、静止画像信号・動画像信号やグラフィックデータなどからオブジェクト抽出手段及び工程でセグメンテーションしたオブジェクトを、画面中に配置して新しいシーンを記述する場合、上記オブジェクト抽出手段となるセグメンテーション器がオブジェクトを内包する領域の入力画像やグラフィックデータ中における位置情報を出力する。シーン記述生成手段及び工程は、出力された位置情報に基づいてオブジェクトの配置位置を決定することにより、オブジェクトを内包する領域が変形・移動してもシーン記述により記述されるシーン中では望ましい位置にオブジェクトを配置することが可能となる。また、セグメンテーションしたオブジェクトをテクスチャとしてシーン記述で使用する場合にも、セグメンテーション器から出力された位置情報に基づいてテクスチャ座標を変換したシーン記述を生成することにより、シーン中で貼り付けるテクスチャの歪みを回避し、またオブジェクトの移動をテクスチャに反映させる事を可能とする。もしくは、テクスチャを貼り付ける対象の物体の大きさか、テクスチャ位置を変更することによってテクスチャの歪みを回避可能とする。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。この実施の形態では、入力画像から画像オブジェクトを抽出すると共に、シーン記述を生成する編集システムをいくつかの実施例として挙げる。これら編集システムは、以下に、ハードウェアの構成として示すが、本発明のシーン記述生成方法、オブジェクト抽出方法をプログラムとしてコンピュータに実行させることによっても実現できるのはもちろんである。また、後述する位置情報や、シーン記述を記録媒体に記録して持ち運び可能とすることにより、手軽に編集システムを構築することも可能となる。
【0025】
先ず、本発明の第1の実施例を、図1〜図3を用いて説明する。入力画像に対する画像処理部100と、この画像処理部100で作成された位置情報を用いてシーンを記述するシーン記述処理部105とを備えてなる。画像処理とシーン記述処理は独立した過程で行われるものではない。詳細は後述するが、画像処理部100のセグメンテーション器102が出力した位置情報108を、シーン記述処理部105のシーン記述生成器106が利用する。
【0026】
画像処理部100では、入力画像101を入力とし、セグメンテーション器102が画像オブジェクト104へセグメンテーションする。セグメンテーションは、特定の色成分を持つ背景を分離するクロマキーと呼ばれる手法や、明度勾配によりオブジェクトの輪郭を切り抜く方法や、手動による輪郭の指定などどのような方法で行われても良い。本発明におけるセグメンテーション器102は、オブジェクトを内包する矩形領域の幅と高さおよび矩形領域の入力画像中の位置を位置情報108として出力する。セグメンテーションされた画像オブジェクトは、MPEG-4画像符号化器103によって符号化されることがある。ISO14496-2で規定されているMPEG-4 videoでは、入力画像の1フレームに相当する画像オブジェクト毎に、オブジェクトを内包する矩形領域の幅と高さおよび矩形領域の左上の位置を符号化することになっているため、セグメンテーション装置はそれらの値を画像符号化器に渡すだけではなく、位置情報108としてシーン記述生成でも利用できるように出力すればよい。一方、MPEG-4シーン記述生成器106は、多くの場合どのようなシーンを構成したいかという指定に基づいて、ISO14496-1に規定されたMPEG-4 Systemsのシーン記述107を生成する。この時、MPEG-4シーン記述生成器106は、セグメンテーション器102から出力された位置情報108を参照し、シーン中のオブジェクト配置位置を決める。位置情報108を参照することにより、オブジェクトが変形した場合にも、シーン記述で記述されたシーン中でオブジェクトに不要な移動が起こることを回避できる。また、後述するが、画像をテクスチャとして使用する場合には、位置情報を参照してテクスチャ座標変換を行う。
【0027】
図2には入力画像から画像オブジェクトをセグメンテーションしたときに生成する位置情報の具体例を示す。位置情報として、オブジェクトを内包する矩形領域の横方向サイズvop_widthと縦方向サイズvop_heightおよび入力画像中の領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refを用いる。連続する入力画像のフレーム1からフレーム2において、オブジェクトは入力画像中で移動し、かつ変形することによってオブジェクトを内包する領域のサイズも変化している。矩形領域の横方向サイズ変化分をΔw、縦方向サイズ変化分をΔhとする。これらの値はオブジェクトの変形により生じる変化分であり、位置情報から以下のように算出できる。
【0028】
Δw=vop_width2−vop_width1
Δh=vop_height2−vop_height1
また、オブジェクトを内包する領域位置の横方向の移動分をΔh_ref、縦方向の移動分をΔv_refとする。これらの値はオブジェクトの変形と移動双方によって生じる変化分であり、位置情報から以下のように算出できる。
【0029】
Δh_ref=vop_horizontal_mc_spatial_ref2−vop_horizontal_mc_spatial_ref1
Δv_ref=vop_vertical_mc_spatial_ref2−vop_vertical_mc_spatial_ref1
オブジェクトをシーン中に配置する場合、従来の技術で述べたように、シーン中の同じ配置位置にオブジェクトを配置し続けると、シーン中のオブジェクトは、入力画像では存在しなかった不要な移動を生じてしまう。この問題を回避するために、第1の実施例におけるシーン記述生成器106は、セグメンテーション器102が出力した位置情報108を参照してシーン中の配置位置を変更することにより、オブジェクトをシーン中の望ましい位置に配置する。
【0030】
次に、図3には位置情報を参照したシーン中への画像オブジェクトの配置を表す。図3の(a)は入力画像中でのオブジェクトの移動分をシーン中でも反映させて配置したい場合を示す。また、図3の(b)には移動成分を取り除いて配置したい場合を示している。
【0031】
まず、図3の(a)に示す、入力画像中のオブジェクトの移動を反映したい場合、オブジェクトの変形による矩形領域の変形の影響を取り除かなければならない。従来の技術では、入力画像中のオブジェクトの移動成分が未知であったため、実現することが出来なかった。上記第1の実施例では、フレーム2のオブジェクトを配置するシーン2中におけるオブジェクトの配置位置(X2,Y2)を、フレーム1のオブジェクトを配置していたシーン1中の配置位置(X1,Y1)から、式1aおよび1bで示したように変更する。
【0032】
X2=X1+Sx×ΔX ---(1a)
Y2=Y1-Sy×ΔY ---(1b)
式1aおよび1b中のSxおよびSyは、オブジェクトをシーン中に配置する際に行う拡大・縮少処理のための係数であり、任意の値を設定できる。なお、MPEG-4 videoにおける縦方向の座標軸yと、MPEG-4 Systemsにおける二次元座標の縦方向座標軸Yは向きが逆であるために、式1b右辺の第二項の符号が、式1aとは逆になっている。また、矩形領域の位置はMPEG-4 videoでは矩形領域左上の座標が用いられるが、MPEG-4 Systemsのシーン記述では矩形領域の中心が用いられる。ΔXおよびΔYは、入力画像中における矩形領域の移動量からオブジェクトの変形に起因する矩形領域変形の影響を差し引いたもので、式2aおよび2bのように表せる。
【0033】
ΔX=Δh_ref + (Δw/2) ---(2a)
ΔY=Δv_ref + (Δh/2) ---(2b)
一方、図3の(b)に示すように入力画像中のオブジェクトの移動を取り除き、シーン中の特定の位置にオブジェクトを配置したい場合には以下のようになる。従来の技術では、オブジェクトの変形に伴ってオブジェクトを内包する矩形領域が変形する影響により、シーン中に配置したオブジェクトには不要な移動が生じてしまうという問題があった。本発明では、位置情報中のオブジェクトを内包する矩形領域のサイズを使用することで、不要な移動を取り除く事ができる。図3の(b)に示すように、オブジェクトの下端を合わせてシーン中に配置したい場合は、式1bにおける変化分ΔYを式3aのように設定し、上端を合わせて配置したい場合は式3bのように設定すればよい。また、オブジェクトの左端を合わせてシーン中に配置したい場合は、式1aにおける変化分ΔXを式3cのように設定し、上端を合わせて配置したい場合は式3dのように設定すればよい。
【0034】
ΔY=-Δh/2 ---(3a)
ΔY= Δh/2 ---(3b)
ΔX= Δh/2 ---(3c)
ΔX=-Δh/2 ---(3d)
いずれも、オブジェクト変形に伴う矩形領域変形が、シーン記述で記述されるシーン中の配置に及ぼす影響を、位置情報を用いて補正することにより、シーン中での不要なオブジェクトの移動を取り除くことが可能になっている。
【0035】
本発明の位置情報を参照するシーン記述生成方法によれば、上記の入力画像中の移動を反映したり、移動成分を取り除いたりしてシーン中に配置する他にも、矩形領域のサイズに基づいて式1aおよび式1b中のSxおよびSyを調整するというような位置情報の利用方法も可能である。
【0036】
ISO14496-1で規定されているMPEG-4 Systemsのシーン記述では、時間とともにシーン記述の内容を変更するアップデート機能や、シーン記述中の任意のノードの任意のフィールド値を変更するアニメーションと呼ばれる機能が存在する。従って、シーン中のオブジェクト配置位置は、上記のアップデート機能やアニメーション機能によって、シーン全体を変更しなくとも、必要な配置位置の変更のみ行うことができる。また、Scriptと呼ばれるプログラマブルな動作をシーン記述中に埋め込む方法や、シーン記述の外部からシーン記述の内容を直接書き換える方法などでも実現可能である。
【0037】
なお、図2,図3では二次元のシーン記述に基づいて二次元のシーンを表示する例を示しているが、三次元のシーンを記述し、二次元の表示装置へ表示する際に二次元へ投影する場合にも、本発明は適用可能である。三次元座標中にオブジェクトを配置する場合には、オブジェクトを含む平面上で式1aおよび1bの平行移動を行ってから三次元座標中に配置するのと等価となるように、オブジェクトの配置位置を決定すればよい。
【0038】
次に、本発明の第2の実施例を、新たに図4〜図12を用いて説明する。上記第1の実施例では、画像オブジェクトをシーン中に直接配置する場合を示した。第2の実施例では、セグメンテーションされた画像をテクスチャとしてシーン内で使用する。システムの構成は上記図1に示したのと同様である。
【0039】
このシステムの中、シーン記述処理部105のMPEG-4シーン記述生成器106は、多くの場合どのようなシーンを構成したいかという指定に基づいて、ISO14496-1に規定されたMPEG-4 Systemsのシーン記述107を生成する。この時、MPEG-4シーン記述生成器106は、セグメンテーション器102が出力した位置情報108を参照し、シーン中の物体表面に張り付けるテクスチャとして使用する、セグメンテーションされた画像のテクスチャ座標を設定する。位置情報108を参照することにより、オブジェクトが変形した場合にも、シーン記述で記述されたシーン中へ貼り付けるテクスチャが歪んでしまうことを回避できる。さらに、入力画像中のオブジェクトの移動をテクスチャに反映させることは従来技術では出来なかったが、本発明では位置情報108を参照することにより実現される。
【0040】
図4は入力画像のセグメンテーションと位置情報の概念を示す図である。図5〜図8はセグメンテーションされた画像をテクスチャとして使用する場合のテクスチャマップとテクスチャ座標の設定について示している。
【0041】
図4において位置情報として、オブジェクトを内包する矩形領域の横方向サイズvop_widthと縦方向サイズvop_heightおよび入力画像中の領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refを用いるのは上記図2で説明したのと同様である。ここでも、連続する入力画像のフレーム1からフレーム2において、オブジェクトは入力画像中で移動し、かつ変形することによってオブジェクトを内包する領域のサイズも変化している。矩形領域の横方向サイズ変化分をΔw、縦方向サイズ変化分をΔhとする。これらの値はオブジェクトの変形により生じる変化分であり、位置情報から上述したのと同様に、
Δw=vop_width2−vop_width1
Δh=vop_height2−vop_height1
として求められる。
【0042】
また、オブジェクトを内包する領域位置の横方向の移動分をΔh_ref、縦方向の移動分をΔv_refとしたとき、これらの値はオブジェクトの変形と移動双方によって生じる変化分であり、位置情報から上述したとおり以下のように算出できる。
【0043】
Δh_ref=vop_horizontal_mc_spatial_ref2−vop_horizontal_mc_spatial_ref1
Δv_ref=vop_vertical_mc_spatial_ref2−vop_vertical_mc_spatial_ref1
従来の技術では、セグメンテーションされた画像は二次元テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされる。これをテクスチャマップと呼ぶ。フレーム1のテクスチャマップをシーン1中の物体表面に貼り付ける様子を図5に示す。しかし、これでは、入力画像中でオブジェクトが変形した場合にも、オブジェクトを内包する矩形領域が、テクスチャ座標系であるs-t座標の0から1の範囲にあるとみなされ、シーン中で貼り付けたテクスチャは歪みが生じてしまう。図6に示すように、フレーム2でのオブジェクトがフレーム1から変形したときにも、オブジェクトを内包する矩形領域が、s-t座標の0から1の範囲にあるとみなされるので、テスクチャを貼り付けたシーン2中の物体には歪みが生じてしまう。
【0044】
そこで、この第2の実施例のシステム中のシーン記述生成器106は、セグメンテーション器102が出力した位置情報108を参照してテクスチャマップに適用するテクスチャ座標を変換することにより、歪みの無いテクスチャの貼り付けを可能にする。なお、テクスチャマップ自体を変換するのではなく、テクスチャ座標を変換するのは、MPEG-4 Systemsにおけるシーン記述中のTextureTransformと呼ばれるノードが、テクスチャ座標の拡大 縮少および平行移動の機能を有しているためであり、他のシーン記述を使用する場合には、テクスチャ座標に対してテクスチャマップ自体を変換しても構わない。
【0045】
まず、入力画像中のオブジェクト変形に伴ってオブジェクトを内包する領域が変形した場合にも歪みの無いテクスチャをシーン中に貼り付けるために、図7に示すようにテクスチャ座標の横方向s軸をvop_width1/vop_width2倍し、縦方向t軸をvop_height1/vop_height2倍する。これらの値がオブジェクトのサイズ変化率の逆数となっているのはテクスチャ座標を変換しているためであり、テクスチャマップが相対的にオブジェクトのサイズ変化率と同等の拡大縮少を受けたのと等価である。この処理により、入力画像中におけるオブジェクト変形をテクスチャマップに反映させることができ、結果としてシーン中の物体表面に貼り付けられるテクスチャの歪みを回避することができる。なお、図7においてはテクスチャ画像の左下を前フレームのテクスチャ画像の左下と合わせる場合を示したが、これはMPEG-4 Systemsにおけるシーン記述中のTextureTransformと呼ばれるノードの座標軸拡大・縮少を行う際に指定するcenterというフィールドの値を、(t,s)=(0,0)に設定した例であり、他の位置を合わせてもよい。例えばcenterの値を(0, 1.0)に設定すると、軸の拡大・縮少は画像の左上の位置を合わせるように行われ、centerの値を(0.5, 0.5)に設定すれば、前フレームのテクスチャ画像と中心が合うように拡大・縮少される。
【0046】
一方、入力画像中のオブジェクトの移動を反映して、シーン中にテクスチャを貼り付けたい場合も考えられる。この第2の実施例では、位置情報108を参照することにより、移動を反映させることが可能である。図8に示したように、テクスチャ座標をテクスチャマップに対して横方向のs軸方向にΔs、縦方向のt軸方向にΔt平行移動する。
【0047】
Δs = -Δh_ref/vop_width2 ---(4a)
Δt = (Δv_ref+Δh)/vop_height2 ---(4b)
Δh_refとΔv_refは、それぞれオブジェクトを内包する領域の左上座標の横方向と縦方向の座標変化であり、Δhは、上記領域の縦方向のサイズ変化である。式4aおよび4bの右辺分母の項数が異なるのは、オブジェクトを内包する領域の位置が領域左上の点を基準に表されるのに対し、テクスチャ座標の原点は初期状態ではテクスチャマップの左下にあたるためである。前述したテクスチャ座標の拡大 縮少による歪みの回避と組み合わせて使用する場合は、さらにs軸とt軸の拡大・縮少をおこなう。MPEG-4 Systemsにおけるシーン記述中のテクスチャ座標変換は、平行移動の後に拡大・縮少が行われるため、式4aおよび4b右辺の分母は、フレーム2における矩形領域サイズを使用して、縦軸横軸を0から1の範囲に正規化している。なお、図8の式4aおよび4bでは、平行移動の後に上記centerの値を(0,0)に設定して、テクスチャ座標の横方向s軸をvop_width1/vop_width2倍し、縦方向t軸をvop_height1/vop_height2倍している。
【0048】
以上に説明したように、この第2の実施例では位置情報を参照してシーン記述中のテクスチャ座標を変換することにより、従来の技術で問題となっていたテクスチャの歪みを解決するとともに、従来の技術では不可能であった入力画像中の移動を反映したテクスチャの貼り付けが可能となる。
【0049】
オブジェクトが変形した場合にテクスチャが歪むという問題点を解決するために、上記のようにテクスチャ座標を変換する他に、テクスチャを貼り付ける物体の大きさを変更する方法もある。図9は、物体の大きさを変更することによってテクスチャの歪みを回避する場合を示している。テクスチャ座標を変換した上記の例と同様に、オブジェクトのサイズが変化した場合にも、テクスチャマップはテクスチャ座標中の0から1の範囲にあるとみなされる。そこで、テクスチャを貼り付ける対象の物体のサイズを、入力画像中でのオブジェクトのサイズ変更と同様の割合で拡大・縮少することで、テクスチャの歪みを無くすことができる。なお、物体のサイズは、貼り付けるテクスチャのs軸およびt軸に相当する方向に対して、それぞれ横方向および縦方向の入力画像中のオブジェクトのサイズ変化率を乗じることで設定する。
【0050】
さらに、オブジェクトが変形した場合にテクスチャが歪むという問題点を解決するために、上記のようにテクスチャ座標を変換する、もしくはテクスチャを貼り付ける物体の大きさを変更する他に、物体に貼り付けるテクスチャの位置を変更する方法もある。
【0051】
図10〜図12は、シーン中の三つの頂点から成る物体にテクスチャを貼り付ける例を示している。以下、この物体をポリゴンと呼ぶ。ポリゴンにテクスチャを貼り付けるには、テクスチャマップ中のどの位置のテクスチャを使用するかを頂点毎に指定する。図10中では、テクスチャマップ中の三点A、B、Cの位置を指定することにより、テクスチャの位置指定を行っている。
【0052】
しかし、上記図4に示したようにオブジェクトが変形した場合にも、テクスチャマップはテクスチャ座標中の0から1の範囲にあるとみなされるため、A、B、Cの位置が同じなままであれば、貼り付けられるテクスチャには図11に示すように歪みが生じてしまう。そこで本発明では、A、B、Cのテクスチャ座標中における位置を、入力画像中でのオブジェクトのサイズ変更と同様の割合で、図12に示すようにA'、B'、C'と移動することで、テクスチャの歪みを無くすことができる。A'、B'、C'のs座標およびt座標は、それぞれ横方向および縦方向の入力画像中のオブジェクトのサイズ変化率を乗じることで設定する。さらに入力画像中のオブジェクトの移動を反映してテクスチャを貼り付けたい場合には、A'、B'、C'のテクスチャ座標中における位置を平行移動すればよく、上記したテクスチャ座標変換での平行移動と等価の効果がある。
【0053】
上記のように、テクスチャ座標を変換する、もしくはテクスチャを貼り付ける物体の大きさを変更する、もしくは物体に貼り付けるテクスチャの位置を変更することにより、オブジェクトが変形した場合にテクスチャが歪むという従来技術の問題点を解決できる。これは、本発明が入力画像中のオブジェクトの位置情報を使用できることにより可能となっている。
【0054】
次に、本発明の第3の実施例を、新たに図13〜図16を用いて説明する。この編集システムは、図13に示すように、入力画像601に対する画像処理部600と、この画像処理部600から出力された画像オブジェクト604から位置情報608を検出する位置情報検出器609と、位置情報検出器609が検出した位置情報608を基にシーン記述607を出力するシーン記述処理部605とを備えてなる。
【0055】
画像処理部600では、入力画像601を入力とし、セグメンテーション器602が画像オブジェクトをセグメンテーションし、この画像オブジェクトをMPEG-4画像符号化器603が符号化して画像オブジェクト604を出力する。
【0056】
位置情報検出器609は、画像オブジェクトデータを入力とし、入力画像中のオブジェクト位置情報を抽出する。
【0057】
シーン記述処理部605では、位置情報検出器609が上記画像オブジェクト604から検出した位置情報608を入力としてMPEG-4シーン記述生成器606にシーン記述607を生成させる。MPEG-4シーン記述生成器606は、オブジェクト位置情報を参照し、シーン中のオブジェクト配置位置を決める。
【0058】
つまり、上記第1および第2の実施例との違いは、画像処理部600内部のセグメンテーション器602が位置情報を出力する代わりに、位置情報検出器609が画像オブジェクトのデータ604を入力として位置情報608を検出する点である。実施例1および2のように位置情報を出力可能なセグメンテーション器102ではないセグメンテーション器によって既にセグメントされ、符号化されている画像オブジェクトを使用する場合にも有効となる。
【0059】
MPEG-4画像符号化器603でのMPEG-4video符号化により得られる画像オブジェクトの符号化データ構造について図14〜図16を用いて説明する。図14は入力画像系列中のオブジェクトを内包する矩形領域を示す図である。図15は画像オブジェクトを示す図である。図16は画像オブジェクトの符号化データのフォーマット図である。
【0060】
図14に示した入力画像系列のフレーム中の図15に示した画像オブジェクトに相当するデータをVideoObjectPlaneと呼ぶ。位置情報として、第1の実施例および第2の実施例で述べたオブジェクトを内包する矩形領域のサイズと座標が、VideoObjectPlane毎に図16に示すように画像オブジェクトデータ中に符号化されている。従って、位置情報検出器609は画像オブジェクトの符号化データを入力とし、位置情報608を検出することができる。シーン記述生成器606の動作は、第1の実施例および第2の実施例と同様である。
【0061】
なお、画像オブジェクトの符号化方法は、MPEG-4 videoに限らない。位置情報も共に符号化可能な符号化方式ならば、本発明を適用できる。また、第1の実施例および第2の実施例で述べた位置情報を出力するセグメンテーション器102と併用することも可能である。例えば入力画像中におけるオブジェクトの位置はセグメンテーション器102が出力し、矩形領域のサイズは第3の実施例の位置情報検出器609が抽出することも可能である。
【0062】
次に、本発明の第4の実施例を、新たに図17を用いて説明する。このシステムにおいてセグメンテーションとシーン記述作成を行うシステムの構成は上記図1又は上記図13に示したとの同様に構成できる。
【0063】
この第4の実施例では、入力された画像をオブジェクトへセグメンテーションし、セグメンテーションされたオブジェクトをシーン中で使用するシーン記述を生成する際に、入力画像中のオブジェクトが変形する度にシーン中の配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変更することを回避する目的で、セグメンテーション器102又は602はオブジェクトを内包する領域を、複数フレーム分のオブジェクトを全て内包する領域に設定する。
【0064】
図17は、複数フレームで共通の矩形領域を設定する様子を示している。あるオブジェクトについて、フレームnからフレームn+kまでの全てのフレームでオブジェクトが内包される領域を決定し、決定した領域をフレームnからフレームn+kまでの全てのフレームで共通に使用する。なお、セグメンテーションされた画像オブジェクトを符号化する場合には、上記のように決定した領域を使用して符号化する。オブジェクトを内包する領域が変形・移動しないため、フレームnからフレームn+kまでの間はシーン中のオブジェクト配置位置を変更しなくても、シーン中に配置されたオブジェクトは本来の入力画像中には無かった不要な移動を生じてしまうことはなくなる。また、セグメンテーションされた画像をテクスチャとして使用する場合にも、オブジェクトを内包する領域が変形・移動しないため、テクスチャが歪むことはなく、従来の技術での問題点を回避することが可能である。フレームnからフレームn+kまでの間はシーン中のオブジェクト配置位置を変更しなくても良いため、上記第1の実施例から第3の実施例で参照した位置情報108又は608は、フレームnからフレームn+kまでの間は変更する必要が無い。さらに、フレームnからフレームn+kまでの間は、シーン記述中のオブジェクトの配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変換する必要も無くなる。
【0065】
この第4の実施例において矩形領域を決定する際に、入力画像系列全てにおいて共通な矩形領域を設定すれば、シーン中のオブジェクト配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変換する必要は全く無くなり、第1の実施例から第3の実施例における位置情報も更新する必要を無くすことができる。
【0066】
次に、本発明の第5の実施例を、図18を用いて説明する。このシステムにおいてもセグメンテーションとシーン記述作成を行うシステムの構成は上記図1又は上記図13に示したとの同様に構成できる。
【0067】
この第5実施例では、入力された画像をオブジェクトへセグメンテーションし、セグメンテーションされたオブジェクトをシーン中で使用するシーン記述を生成する際に、入力画像中のオブジェクトが変形もしくは移動する度にシーン中の配置位置やテクスチャ座標もしくはテクスチャを貼り付ける対象物体のサイズあるいは貼り付けるテクスチャの位置等を変更することを回避する目的で、セグメンテーション器はオブジェクトを内包する領域を、入力画像の画枠全体に設定する。
【0068】
図18は、オブジェクトを内包する領域を入力画像の画枠全体に設定する様子を示している。オブジェクトは入力画像の一部であるから、入力画像の画枠内に必ず内包されることは自明である。領域を入力画像の画枠全体に設定すれば、領域の位置情報が全く変化しないことも自明である。従って、位置情報を更新する必要は全く無くなる。また、オブジェクトを内包する領域が変化しないため、シーン中のオブジェクト配置位置を変更しなくても、シーン中に配置されたオブジェクトは本来の入力画像中には無かった不要な移動を生じることはない。また、セグメンテーションされた画像をテクスチャとして使用する場合にも、オブジェクトを内包する領域が変形・移動しないため、テクスチャが歪むことはなく、従来の技術での問題点を回避することが可能である。シーン中のオブジェクト配置位置を変更しなくても良いため、上記第1の実施例から第3の実施例で参照した位置情報は更新する必要がない。さらに、矩形領域左上のx座標vop_horizontal_mc_spatial_refとy座標vop_vertical_mc_spatial_refは、ともに0であることが自明であり、矩形領域のサイズvop_widthおよびvop_heightはともに入力画像の画枠の幅と高さに等しい。従って、これらが既知であるとみなせる場合は、位置情報が不要となり、セグメンテーションとシーン記述作成を行うシステムの構成は、従来の技術の構成と同じにすることができる。
【0069】
なお、セグメンテーションした画像オブジェクトをMPEG-4 video符号化方式で符号化する場合には、上述したとおり、オブジェクトを内包する矩形領域中で、オブジェクトのデータが存在しない符号化ブロックは、「符号化データ無し」を意味するフラグのみを符号化すればよいため、オブジェクトを内包する領域を画枠全体に設定することによる符号化ビット量の増加は微少である。
【0070】
本発明において、オブジェクトの符号化方法は、MPEG-4 videoの符号化方法に限らない。他の符号化方法を用いても、本発明は同様に有効である。また、特に符号化しなくてもよい。入力は画像に限らずCG(Computer Graphics)等のグラフィックデータでもよい。シーン記述をセグメンテーション器の入力として使用し、その一部をセグメンテーションして新たなオブジェクトを作成したり、新たなシーン記述中にそのオブジェクトを配置する場合にも本発明は有効である。三次元のシーン記述をセグメンテーション機の入力として使用し、その一部をセグメンテーションして新たな三次元オブジェクトを作成したり、新たなシーン記述中にそのオブジェクトを配置する場合にも、位置情報を三次元に拡張することで本発明は有効である。シーン記述はMEPG-4 Systemsのシーン記述に限らない。他のシーン記述においても、位置情報に基づいて配置位置やテクスチャ座標もしくは対象物体のサイズあるいはるテクスチャ位置等の補正が行えれば、本発明による同様の効果が得られる。位置情報は、領域のサイズと位置そのものでなくとも、同様の情報を含んでいればよい。例えば、領域の位置は、領域の中心でも左上でも、同様の情報を含んでいれば任意の位置で良い。シーン記述の種類によっては、領域は矩形でなくてもよく、オブジェクトの重心を位置情報として使用できる。従って、第1の実施例で述べたオブジェクト配置位置の更新式と第2実施例で述べたテクスチャ座標変換式は、位置情報の表しかたやシーン記述の種類によって異なり、同等の効果を表す式で置き換えられる。
【0071】
また、位置情報は、変化があった時のみ出力すればよい。MPEG-4 videoの符号化方法ではフレーム間の時間間隔が一定でないことも許されており、どの時間に表示すべきフレームでの位置情報であるかが分かるように出力されていればよい。入力画像が動画像ではなく静止画像や時間変化しないグラフィックデータであっても、シーン記述中の配置位置を決定する際に、本発明の位置情報を参照することは有効である。位置情報が入力画像やグラフィックデータ中の位置とサイズのどちらか一方のみしか得られない場合にも、本発明におけるシーン記述生成器は得られた位置情報のみを参照することにより、配置位置の限定的な補正を行うことができる。例えば入力画像やグラフィックデータ中の位置は得られない場合でも、オブジェクトを内包する領域のサイズを位置情報として参照可能な場合は、式3aから式3dで示したようにオブジェクトのシーン中の配置位置を決定すれば、シーン中での不要なオブジェクトの移動を取り除くことが可能になっている。
【0072】
【発明の効果】
本発明によれば、セグメンテーション器がオブジェクトを内包する領域の画像やグラフィックデータ中の位置情報を出力し、一方でシーン記述生成器は、出力された位置情報に基づいてオブジェクトの配置位置を決定することにより、オブジェクトをシーン中で望ましい位置に配置することを可能とした。また、セグメンテーションしたオブジェクトをテクスチャとしてシーン記述で使用する場合にも、セグメンテーション器から出力された位置情報に基づいてテクスチャ座標を変換したシーン記述を生成することにより、シーン中で貼り付けるテクスチャの歪みを回避し、オブジェクトの移動をテクスチャに反映させることも可能とした。もしくは、テクスチャを貼り付ける対象の物体の大きさを変更したり、物体に貼り付けるテクスチャ位置を変更することによってもテクスチャの歪みを回避可能とした。
【図面の簡単な説明】
【図1】本発明の第1の実施例となる編集システムの構成を示すブロック図である。
【図2】入力画像から画像オブジェクトをセグメンテーションしたときに生成する位置情報の具体例を示す図である。
【図3】位置情報を参照したシーン中への画像オブジェクトの配置を表す図である。
【図4】本発明の第2の実施例となる編集システムにおける、入力画像のセグメンテーションと位置情報の概念を示す図である。
【図5】フレーム1のテクスチャマップをシーン1中の物体表面に貼り付けた様子を示す図である。
【図6】フレーム1から変形したフレーム2に対して生じるテクスチャの歪みを示す図である。
【図7】この第2の実施例における、テクスチャ座標軸を拡大・縮小してからテクスチャマップに適用する具体例を示す図である。
【図8】テクスチャ座標軸を平行移動してからテクスチャマップに適用する具体例を示す図である。
【図9】対象の物体サイズを変更してからテクスチャを貼り付ける具体例を示す図である。
【図10】物体に貼り付けるテクスチャの位置を変更する方法を説明するための図である。
【図11】オブジェクトが変形した場合における、テクスチャを貼り付けた物体のシーン中の歪みを示す図である。
【図12】テクスチャの歪みを無くした具体例を示す図である。
【図13】本発明の第3の実施例となる編集システムの構成を示すブロック図である。
【図14】入力画像系列中のオブジェクトを内包する矩形領域を示す図である。
【図15】画像オブジェクトを示す図である。
【図16】画像オブジェクトの符号化データのフォーマット図である。
【図17】本発明の第4の実施例の概念を示す図である。
【図18】本発明の第5の実施例の概念を示す図である。
【図19】静止画像信号、動画像信号及びグラフィックデータなどを画面中に配置して新しいシーンを記述するシーン記述技術の概要を示す図である。
【図20】セグメンテーションとシーン記述作成を行う従来の編集システムの構成を示す図である。
【図21】シーン記述の構造を示す図である。
【図22】シーン記述の内容を示している図である。
【図23】シーンの具体例を示す図である。
【図24】入力画像D00中の楕円形のオブジェクトD01と背景のオブジェクトD03をセグメンテーションして符号化する具体例を示す図である。
【図25】 MPEG-4 Video等のような画像オブジェクトをシーン中に配置する場合の課題を説明するための図である。
【図26】画像オブジェクトを立方体の表面に張り付ける具体例を示す図である。
【符号の説明】
100 画像処理部、101 入力画像、102 セグメンテーション器、103 MPEG-4画像符号化器、104 画像オブジェクト、105 シーン記述処理部、106 MPEG-4シーン記述生成器、107 シーン記述
Claims (9)
- 入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出手段と、
上記オブジェクト抽出手段により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成手段と
を備えることを特徴とするシーン記述生成装置。 - 上記オブジェクト抽出手段は、上記オブジェクトの位置情報としてオブジェクトを内包する領域の幅と高さ及び領域の位置を出力することを特徴とする請求項1記載のシーン記述生成装置。
- 上記オブジェクト抽出手段で抽出されたオブジェクトを符号化するオブジェクト符号化手段を備えることを特徴とする請求項1記載のシーン記述生成装置。
- 上記シーン記述生成手段は、上記オブジェクトが変形した場合、上記オブジェクトの位置情報を参照し、入力画像中の移動を反映した上記シーン記述情報を生成することを特徴とする請求項1記載のシーン記述生成装置。
- 上記シーン記述生成手段は、上記オブジェクトが変形した場合、上記オブジェクトの位置情報を参照し、入力画像中の移動成分を取り除いた上記シーン記述情報を生成することを特徴とする請求項1記載のシーン記述生成装置。
- 上記オブジェクト抽出手段で抽出されたオブジェクトをテクスチャとしてシーン中で使用するとき、上記シーン記述生成手段は上記オブジェクト抽出手段により出力された上記位置情報に基づいてシーン中の物体に貼り付けるテクスチャマップとテスクチャ座標の変換を決定し、この決定に応じて上記シーン記述情報を生成することを特徴とする請求項1記載のシーン記述生成装置。
- 上記オブジェクト抽出手段で抽出されたオブジェクトをテクスチャとしてシーン中で使用するとき、上記シーン記述生成手段は上記オブジェクト抽出手段により出力された上記位置情報に基づいて上記テクスチャを貼り付けるシーン中の物体の大きさを決定し、この決定に応じた上記シーン記述生成情報を生成することを特徴とする請求項1記載のシーン記述生成装置。
- 上記オブジェクト抽出手段で抽出されたオブジェクトをテクスチャとしてシーン中で使用するとき、上記シーン記述生成手段は上記オブジェクト抽出手段により出力された上記位置情報に基づいて物体に貼り付ける上記テクスチャ位置の指定を決定し、この決定に応じた上記シーン記述生成情報を生成することを特徴とする請求項1記載のシーン記述生成装置。
- 入力画像からオブジェクトを抽出するときにオブジェクトの位置情報を出力するオブジェクト抽出工程と、
上記オブジェクト抽出工程により出力された上記位置情報に基づいてシーン中でのオブジェクトの配置位置に関するシーン記述情報を生成するシーン記述生成工程と
を備えることを特徴とするシーン記述生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16722599A JP4151158B2 (ja) | 1999-06-14 | 1999-06-14 | シーン記述生成装置及び方法 |
US09/592,008 US6621939B1 (en) | 1999-06-14 | 2000-06-12 | Scene description generating apparatus and method, object extracting method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16722599A JP4151158B2 (ja) | 1999-06-14 | 1999-06-14 | シーン記述生成装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000358192A JP2000358192A (ja) | 2000-12-26 |
JP2000358192A5 JP2000358192A5 (ja) | 2006-04-27 |
JP4151158B2 true JP4151158B2 (ja) | 2008-09-17 |
Family
ID=15845776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16722599A Expired - Lifetime JP4151158B2 (ja) | 1999-06-14 | 1999-06-14 | シーン記述生成装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6621939B1 (ja) |
JP (1) | JP4151158B2 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1010318A4 (en) | 1997-02-14 | 2001-01-31 | Univ Columbia | OBJECT-BASED AUDIOVISUAL TERMINAL AND BINARY TRAIN STRUCTURE |
GB9712724D0 (en) * | 1997-06-18 | 1997-08-20 | Holmes Steven | Method and apparatus for interaction with broadcast television content |
US7199836B1 (en) * | 1998-02-13 | 2007-04-03 | The Trustees Of Columbia University In The City Of New York | Object-based audio-visual terminal and bitstream structure |
AU3267700A (en) | 1999-03-18 | 2000-10-09 | 602531 British Columbia Ltd. | Data entry for personal computing devices |
US7293231B1 (en) * | 1999-03-18 | 2007-11-06 | British Columbia Ltd. | Data entry for personal computing devices |
CA2323856A1 (en) * | 2000-10-18 | 2002-04-18 | 602531 British Columbia Ltd. | Method, system and media for entering data in a personal computing device |
FI109635B (fi) * | 2001-02-01 | 2002-09-13 | Hantro Products Oy | Menetelmä ja laite videokuvan jälkikäsittelemiseksi |
FR2825556A1 (fr) * | 2001-05-31 | 2002-12-06 | Koninkl Philips Electronics Nv | Generation d'une description dans un langage de balisage d'une structure d'un contenu multimedia |
WO2002103562A1 (en) * | 2001-06-19 | 2002-12-27 | Whoi-Yul Kim | Method of extracting shape variation descriptor for retrieving image sequence |
US7216288B2 (en) * | 2001-06-27 | 2007-05-08 | International Business Machines Corporation | Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system |
KR100478934B1 (ko) * | 2002-10-22 | 2005-03-28 | 한국전자통신연구원 | 객체기반 엠팩-4 컨텐츠 편집/저작과 검색 장치 및 방법 |
US7142602B2 (en) * | 2003-05-21 | 2006-11-28 | Mitsubishi Electric Research Laboratories, Inc. | Method for segmenting 3D objects from compressed videos |
EP1503299A1 (en) * | 2003-07-31 | 2005-02-02 | Alcatel | A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents |
US8552984B2 (en) * | 2005-01-13 | 2013-10-08 | 602531 British Columbia Ltd. | Method, system, apparatus and computer-readable media for directing input associated with keyboard-type device |
KR100679124B1 (ko) | 2005-01-27 | 2007-02-05 | 한양대학교 산학협력단 | 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체 |
KR100610689B1 (ko) * | 2005-06-24 | 2006-08-09 | 엔에이치엔(주) | 3차원 화면에 동영상을 삽입하는 방법 및 이를 위한 기록매체 |
JP2007102734A (ja) * | 2005-10-07 | 2007-04-19 | Konami Digital Entertainment:Kk | 画像処理装置、画像処理方法及びプログラム |
US7911467B2 (en) * | 2005-12-30 | 2011-03-22 | Hooked Wireless, Inc. | Method and system for displaying animation with an embedded system graphics API |
US20090136218A1 (en) * | 2006-08-14 | 2009-05-28 | Vmedia Research, Inc. | Multimedia presentation format |
KR101445074B1 (ko) * | 2007-10-24 | 2014-09-29 | 삼성전자주식회사 | 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치 |
JP2010074772A (ja) * | 2008-09-22 | 2010-04-02 | Sony Corp | 映像表示装置、及び映像表示方法 |
US8340504B2 (en) * | 2011-04-26 | 2012-12-25 | Sony Computer Entertainment Europe Limited | Entertainment device and method |
WO2013084234A1 (en) * | 2011-12-05 | 2013-06-13 | Rotary View Ltd. | System and method for generating a stereoscopic 3d presentation from picture sequence emanating from single lens source |
KR102069538B1 (ko) * | 2012-07-12 | 2020-03-23 | 삼성전자주식회사 | 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법 |
US10228819B2 (en) | 2013-02-04 | 2019-03-12 | 602531 British Cilumbia Ltd. | Method, system, and apparatus for executing an action related to user selection |
US10438631B2 (en) | 2014-02-05 | 2019-10-08 | Snap Inc. | Method for real-time video processing involving retouching of an object in the video |
US10116901B2 (en) | 2015-03-18 | 2018-10-30 | Avatar Merger Sub II, LLC | Background modification in video conferencing |
US20210105451A1 (en) * | 2019-12-23 | 2021-04-08 | Intel Corporation | Scene construction using object-based immersive media |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08279054A (ja) * | 1995-04-07 | 1996-10-22 | Hitachi Ltd | 映像生成/表示システム |
JP3812985B2 (ja) * | 1997-04-04 | 2006-08-23 | 富士通株式会社 | 自動監視装置 |
US6124864A (en) * | 1997-04-07 | 2000-09-26 | Synapix, Inc. | Adaptive modeling and segmentation of visual image streams |
JP3382173B2 (ja) * | 1998-03-10 | 2003-03-04 | 株式会社ハイニックスセミコンダクター | 飛越し走査方式の映像信号に対するvop境界矩形の設定方法及び装置 |
EP0954181B1 (en) * | 1998-04-28 | 2007-12-26 | Canon Kabushiki Kaisha | Data processing apparatus and method |
-
1999
- 1999-06-14 JP JP16722599A patent/JP4151158B2/ja not_active Expired - Lifetime
-
2000
- 2000-06-12 US US09/592,008 patent/US6621939B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6621939B1 (en) | 2003-09-16 |
JP2000358192A (ja) | 2000-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4151158B2 (ja) | シーン記述生成装置及び方法 | |
US6047088A (en) | 2D mesh geometry and motion vector compression | |
Tekalp et al. | Face and 2-D mesh animation in MPEG-4 | |
JP3177221B2 (ja) | 興味深いシーンのイメージを表示するための方法及び装置 | |
US6285794B1 (en) | Compression and editing of movies by multi-image morphing | |
US20050063596A1 (en) | Encoding of geometric modeled images | |
KR20140120240A (ko) | 웹 페이지를 통한 고속의 사실적 3d 렌더링에 의한 오브젝트 커스터마이즈 방법 | |
WO2005024728A1 (ja) | 形態変形装置、物体動作符号化装置および物体動作復号化装置 | |
JP3104638B2 (ja) | 3次元画像作成装置 | |
US20230260215A1 (en) | Data stream, devices and methods for volumetric video data | |
KR19990077605A (ko) | 화상복호/합성방법및화상복호/합성장치 | |
JP3720864B2 (ja) | 画像処理方法および装置 | |
US20110012914A1 (en) | Image processing device and image processing method | |
KR100822948B1 (ko) | 벡터 그래픽을 활용한 애니메이션의 개선된 중간 영상 생성시스템 | |
JP3955177B2 (ja) | グラフィックシーンの動画化のためのデータを作成する方法及び装置 | |
JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JP3268665B2 (ja) | コンピュータ・グラフィックス制作装置 | |
WO2020012071A1 (en) | A method, an apparatus and a computer program product for volumetric video coding | |
KR100512567B1 (ko) | 얼굴 애니메이션을 위한 디에스엠 복원 방법 | |
JP2002023905A (ja) | 対話式シーンのユーザアクションを不変変換処理する方法と装置 | |
JP2002312810A (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JPH04306782A (ja) | 画像合成器 | |
KR20050103297A (ko) | 디스플레이용 그래픽 애니메이션의 기술 관리 방법 및 이방법의 구현을 위한 수신기 및 시스템 | |
CN116797702A (zh) | Svg的处理方法、装置、存储介质及电子设备 | |
KR101438447B1 (ko) | 3차원 자막 표시 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060310 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4151158 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |