JP2001145020A - 画像編集装置及び方法 - Google Patents
画像編集装置及び方法Info
- Publication number
- JP2001145020A JP2001145020A JP32319499A JP32319499A JP2001145020A JP 2001145020 A JP2001145020 A JP 2001145020A JP 32319499 A JP32319499 A JP 32319499A JP 32319499 A JP32319499 A JP 32319499A JP 2001145020 A JP2001145020 A JP 2001145020A
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- shape
- texture
- shape data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000000926 separation method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】シェイプデータとテクスチャデータの組からな
る画像の加工、編集、表示等において、効率的な処理を
可能とする。 【解決手段】シェイプ復号化部１０２はシェイプのビッ
トストリームデータを復号してシェイプデータを得る。
テクスチャ復号化部１０４はテクスチャ野ビットストリ
ームを復号化してテクスチャデータを得る。シェイプ加
工部１０６は、ユーザ操作に基づいてシェイプデータを
変更する。そして、テクスチャ変更部１０７は、シェイ
プの加工操作の終了指示により、シェイプ加工部１０６
で加えられたシェイプデータの更新に応じて対応するテ
クスチャデータを変更する。
る画像の加工、編集、表示等において、効率的な処理を
可能とする。 【解決手段】シェイプ復号化部１０２はシェイプのビッ
トストリームデータを復号してシェイプデータを得る。
テクスチャ復号化部１０４はテクスチャ野ビットストリ
ームを復号化してテクスチャデータを得る。シェイプ加
工部１０６は、ユーザ操作に基づいてシェイプデータを
変更する。そして、テクスチャ変更部１０７は、シェイ
プの加工操作の終了指示により、シェイプ加工部１０６
で加えられたシェイプデータの更新に応じて対応するテ
クスチャデータを変更する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像中の対象に編
集操作を加える画像編集装置及び方法に関するものであ
る。
集操作を加える画像編集装置及び方法に関するものであ
る。
【０００２】
【従来の技術】近年、動画像を画像の内容に対応したオ
ブジェクトという単位の合成で構成される画像と捕らえ
る考えに注目が集められている。ＭＰＥＧ−４と呼ばれ
る動画の符号化方式は、オブジェクト単位の符号化が可
能であることを特徴としており、現在標準化作業が進行
中である。
ブジェクトという単位の合成で構成される画像と捕らえ
る考えに注目が集められている。ＭＰＥＧ−４と呼ばれ
る動画の符号化方式は、オブジェクト単位の符号化が可
能であることを特徴としており、現在標準化作業が進行
中である。
【０００３】ここで、オブジェクトは任意の形状を取り
得るので、オブジェクトの形状情報を表すシェイプと呼
ばれるデータと、当該オブジェクトの表面パターン等を
表すテクスチャと呼ばれるデータの組合わせで構成され
る。
得るので、オブジェクトの形状情報を表すシェイプと呼
ばれるデータと、当該オブジェクトの表面パターン等を
表すテクスチャと呼ばれるデータの組合わせで構成され
る。
【０００４】画像の編集作業の例としては、時間順所の
人れ替え、色合いの調整、別画像の挿入など、さまざま
なものがあるが、フレーム単位の編集作業が主である。
オブジェクト単位の編集例としては、ブルーバックによ
るオブジェクト抽出が知られている。これは予めブルー
の背景をスタジオセットなどで用意しておき、スイッチ
ャーでブルーの部分とそうでない部分に分離するもので
ある。
人れ替え、色合いの調整、別画像の挿入など、さまざま
なものがあるが、フレーム単位の編集作業が主である。
オブジェクト単位の編集例としては、ブルーバックによ
るオブジェクト抽出が知られている。これは予めブルー
の背景をスタジオセットなどで用意しておき、スイッチ
ャーでブルーの部分とそうでない部分に分離するもので
ある。
【０００５】
【発明が解決しようとする課題】しかしながら、ブルー
バックにより抽出したオブジェクトに対し、再度加工を
加える場合は、再度ブルーバックを利用するといったこ
とは困難である。つまり、オブジェクトの再加工性とい
う点においては、満足いく編集機とは言い難い。
バックにより抽出したオブジェクトに対し、再度加工を
加える場合は、再度ブルーバックを利用するといったこ
とは困難である。つまり、オブジェクトの再加工性とい
う点においては、満足いく編集機とは言い難い。
【０００６】一方、オブジェクト単位の編集における問
題点は、シェイプとテクスチャの２種類のデータを常に
組にして処理をしなければならないという点にある。持
にテクスチャの処理は負荷が大きいため、加工・編集中
の表示の遅れが大きくなるという問題があった。
題点は、シェイプとテクスチャの２種類のデータを常に
組にして処理をしなければならないという点にある。持
にテクスチャの処理は負荷が大きいため、加工・編集中
の表示の遅れが大きくなるという問題があった。
【０００７】本発明は上記問題に鑑みてなされたもので
あり、シェイプデータとテクスチャデータの組からなる
動画像の加工時の処理速度の低下を抑制し、加工後の画
像を速やかに表示或いは記録させることを可能とするこ
とを目的とする。
あり、シェイプデータとテクスチャデータの組からなる
動画像の加工時の処理速度の低下を抑制し、加工後の画
像を速やかに表示或いは記録させることを可能とするこ
とを目的とする。
【０００８】
【課題を解決するための手段】上記の目的を達成するた
めの本発明の画像編集装置は例えば以下の構成を備え
る。すなわち、シェイプデータとテクスチャデータを含
んでなるオブジェクト画像データを編集する画像編集装
置であって、ユーザ操作に基づいてシェイプデータを変
更する第１更新手段と、前記第１変更手段によるシェイ
プデータへの変更を反映して表示する第１表示手段と、
前記第１変更手段によるシェイプデータの変更を伴わな
い所定操作により、前記第１更新手段によるシェイプデ
ータの更新に応じて対応するテクスチャデータを更新す
る第２更新手段とを備える。
めの本発明の画像編集装置は例えば以下の構成を備え
る。すなわち、シェイプデータとテクスチャデータを含
んでなるオブジェクト画像データを編集する画像編集装
置であって、ユーザ操作に基づいてシェイプデータを変
更する第１更新手段と、前記第１変更手段によるシェイ
プデータへの変更を反映して表示する第１表示手段と、
前記第１変更手段によるシェイプデータの変更を伴わな
い所定操作により、前記第１更新手段によるシェイプデ
ータの更新に応じて対応するテクスチャデータを更新す
る第２更新手段とを備える。
【０００９】また、上記の目的を達成するための本発明
の画像編集装置は例えば以下の構成を備える。すなわ
ち、記憶装置から圧縮符号化されたビットストリームを
読み出す読出手段と、前記読出手段で読み出したビット
ストリームをオブジェクト単位で、少なくともシェイプ
情報のビットストリームとテクスチャ情報のビットスト
リームに分離する分離手段と、各オブジェクト毎に、前
記分離手段で分離した各ビットストリームを復号してシ
ェイプデータ及びテクスチャデータを生成する復号化手
段と、前記復号化手段によって得られたシェイプデータ
をユーザの加工操作指示に基づいて加工する加工手段
と、加工操作指示以外の所定の指示により、前記加工手
段による前記シェイプデータの加工に応じて前記テクス
チャデータを変更する変更手段と、前記加工手段で加工
されたシェイプデータと前記変更手段で変更されたテク
スチャデータを再符号化する再符号化手段と、前記再符
号化手段で再符号化したビットストリームと前記分離手
段で得られたビットストリームを比較し、変更部分のス
トリームを更新して記憶装置に書き込む書込手段とを備
える。更に、上記の目的を達成するための本発明の他の
態様による画像ＹＥＮ愁訴内は、例えば以下の構成を備
える。すなわち、シェイプデータとテクスチャデータと
を含んでなる画像データを入力する入力手段と、前記画
像データから前記シェイプデータと前記テクスチャデー
タとを分離する分離手段と、前記分離手段によって分離
された前記シェイプデータを加工するシェイプ加工手段
と、前記シェイプ加工手段の処理終了後に、前記シェイ
プ加工手段の加工結果に応じて前記テクスチャデータを
加工するテクスチャ加工手段とを備える。
の画像編集装置は例えば以下の構成を備える。すなわ
ち、記憶装置から圧縮符号化されたビットストリームを
読み出す読出手段と、前記読出手段で読み出したビット
ストリームをオブジェクト単位で、少なくともシェイプ
情報のビットストリームとテクスチャ情報のビットスト
リームに分離する分離手段と、各オブジェクト毎に、前
記分離手段で分離した各ビットストリームを復号してシ
ェイプデータ及びテクスチャデータを生成する復号化手
段と、前記復号化手段によって得られたシェイプデータ
をユーザの加工操作指示に基づいて加工する加工手段
と、加工操作指示以外の所定の指示により、前記加工手
段による前記シェイプデータの加工に応じて前記テクス
チャデータを変更する変更手段と、前記加工手段で加工
されたシェイプデータと前記変更手段で変更されたテク
スチャデータを再符号化する再符号化手段と、前記再符
号化手段で再符号化したビットストリームと前記分離手
段で得られたビットストリームを比較し、変更部分のス
トリームを更新して記憶装置に書き込む書込手段とを備
える。更に、上記の目的を達成するための本発明の他の
態様による画像ＹＥＮ愁訴内は、例えば以下の構成を備
える。すなわち、シェイプデータとテクスチャデータと
を含んでなる画像データを入力する入力手段と、前記画
像データから前記シェイプデータと前記テクスチャデー
タとを分離する分離手段と、前記分離手段によって分離
された前記シェイプデータを加工するシェイプ加工手段
と、前記シェイプ加工手段の処理終了後に、前記シェイ
プ加工手段の加工結果に応じて前記テクスチャデータを
加工するテクスチャ加工手段とを備える。
【００１０】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。
明の好適な実施形態を説明する。
【００１１】＜第１の実施形態＞各画像オブジェクト
は、ビデオオブジェクトプレーン（以下ＶＯＰ）と呼ば
れる単位で構成され、これら複数のＶＯＰを合成するこ
とにより、動画像の生成が行われる。
は、ビデオオブジェクトプレーン（以下ＶＯＰ）と呼ば
れる単位で構成され、これら複数のＶＯＰを合成するこ
とにより、動画像の生成が行われる。
【００１２】図９は多重化された画像のビットストリー
ムのデコーダの構成を示すブロック図である。図９にお
いて、入力されたビットストリームは分離部９０１で各
ＶＯＰのストリームに分離される。そして、ＶＯＰ復号
化部９０２において、ＶＯＰ毎に復号化される。復号化
されたビデオオブジェクトは、合成部９０３によってフ
レーム単位の連続した動画像に再構成される。
ムのデコーダの構成を示すブロック図である。図９にお
いて、入力されたビットストリームは分離部９０１で各
ＶＯＰのストリームに分離される。そして、ＶＯＰ復号
化部９０２において、ＶＯＰ毎に復号化される。復号化
されたビデオオブジェクトは、合成部９０３によってフ
レーム単位の連続した動画像に再構成される。
【００１３】図１は、第１の実施形態による画像編集装
置の全体構成を示すブロック図である。図１は、図９に
示したデコーダにおけるＶＯＰ復号化部９０２の一つを
示している。分離部９０１で分離された１つのＶＯＰの
ビットストリームは、分離部１０１で、さらにシェイ
プ、動き、テクスチャのビットストリームに分離され
る。シェイプは２値または多値の形状情報であり、シェ
イプ復号化部１０２で復号される。動きに関するビット
ストリームは、時間軸方向の相関を利用した符号化を利
用している場合の動き量を示すデータであり、動き復号
化部１０３によって復号される。動き補償部１０５は、
時間的に前に復号化されているＶＯＰ（ＶＯＰメモリ１
１０に格納される）と現在の復号化されたシェイプ、動
きデータから、動き補償を行い、完全な形状情報が得ら
れることになる。
置の全体構成を示すブロック図である。図１は、図９に
示したデコーダにおけるＶＯＰ復号化部９０２の一つを
示している。分離部９０１で分離された１つのＶＯＰの
ビットストリームは、分離部１０１で、さらにシェイ
プ、動き、テクスチャのビットストリームに分離され
る。シェイプは２値または多値の形状情報であり、シェ
イプ復号化部１０２で復号される。動きに関するビット
ストリームは、時間軸方向の相関を利用した符号化を利
用している場合の動き量を示すデータであり、動き復号
化部１０３によって復号される。動き補償部１０５は、
時間的に前に復号化されているＶＯＰ（ＶＯＰメモリ１
１０に格納される）と現在の復号化されたシェイプ、動
きデータから、動き補償を行い、完全な形状情報が得ら
れることになる。
【００１４】テクスチャ復号化部１０４ではテクスチャ
の復号を行う。そして、ＶＯＰ再構成部１０９では、上
述のシェイプとテクスチャの情報をもとに、ＶＯＰの再
構成を行う。シェイプに加工を加えない場合は、テクス
チャ変更部１０７はなにもせず、動きの変更部１０８も
何の処理を加えることなく、動き情報をＶＯＰ再構成部
１０９に送る。
の復号を行う。そして、ＶＯＰ再構成部１０９では、上
述のシェイプとテクスチャの情報をもとに、ＶＯＰの再
構成を行う。シェイプに加工を加えない場合は、テクス
チャ変更部１０７はなにもせず、動きの変更部１０８も
何の処理を加えることなく、動き情報をＶＯＰ再構成部
１０９に送る。
【００１５】シェイプ加工部１０６にてシェイプに加工
を加えた場合は、シェイプの変更に伴い、動き変更部１
０８で動きの変更を行うとともに、テクスチャ変更部１
０７でテクスチャの変更を行い、その後、ＶＯＰ再構成
部１０９でＶＯＰの再構成を行う。
を加えた場合は、シェイプの変更に伴い、動き変更部１
０８で動きの変更を行うとともに、テクスチャ変更部１
０７でテクスチャの変更を行い、その後、ＶＯＰ再構成
部１０９でＶＯＰの再構成を行う。
【００１６】次に、シェイプ加工時の一連の流れを図２
を用いて説明する。図２は、第１の実施形態による画像
編集処理の手順を示すフローチャートである。シェイプ
加工の要求が来るまでは、そのままデコードした結果の
画像を表示し続ける（ステップＳ２０１、Ｓ２０２）。
図３の３０１ａから３０３ａはこの画面を表している。
シェイプ加工の要求が発生すると、それまで表示してい
た画像を形状データ（以下、シェイプデータともいう）
に切り替える（ステップＳ２０２、Ｓ２０３）。図５は
シェイプデータを表示した例を示す図である。この例で
は背景以外に左側の人物、右側の人物、後ろのボードの
３つのオブジェクトの合成となっている。
を用いて説明する。図２は、第１の実施形態による画像
編集処理の手順を示すフローチャートである。シェイプ
加工の要求が来るまでは、そのままデコードした結果の
画像を表示し続ける（ステップＳ２０１、Ｓ２０２）。
図３の３０１ａから３０３ａはこの画面を表している。
シェイプ加工の要求が発生すると、それまで表示してい
た画像を形状データ（以下、シェイプデータともいう）
に切り替える（ステップＳ２０２、Ｓ２０３）。図５は
シェイプデータを表示した例を示す図である。この例で
は背景以外に左側の人物、右側の人物、後ろのボードの
３つのオブジェクトの合成となっている。
【００１７】図６は図５に示したオブジェクトのシェイ
プを別々に表した図である。これら３つのオブジェクト
のシェイプを１つの画面上で区別可能にするには何らか
の識別情報が必要となる。オブジェクトの識別例として
は、それぞれを色分けする、オブジェクトの持つ情報を
テキストデータで表示する、オブジェクトを点滅させ
る、などの識別方法が考えられる。このように複数のオ
ブジェクトを識別可能に表示した状態で、加工したいオ
ブジェクトを選択し（ステップＳ２０４）、形状データ
の変更を行う（ステップＳ２０５）。
プを別々に表した図である。これら３つのオブジェクト
のシェイプを１つの画面上で区別可能にするには何らか
の識別情報が必要となる。オブジェクトの識別例として
は、それぞれを色分けする、オブジェクトの持つ情報を
テキストデータで表示する、オブジェクトを点滅させ
る、などの識別方法が考えられる。このように複数のオ
ブジェクトを識別可能に表示した状態で、加工したいオ
ブジェクトを選択し（ステップＳ２０４）、形状データ
の変更を行う（ステップＳ２０５）。
【００１８】図７は、選択状態にあるシェイプを識別可
能に表示する表示例を示す図である。また、図８は形状
データの加工操作を行うための操作用リモコンを示す図
である。図７と図８を用いて、第１の実施形態による形
状データ変更の操作例を説明する。
能に表示する表示例を示す図である。また、図８は形状
データの加工操作を行うための操作用リモコンを示す図
である。図７と図８を用いて、第１の実施形態による形
状データ変更の操作例を説明する。
【００１９】リモコンボタン８０１を押すことにより、
シェイプ加工の要求が発生し（ステップＳ２０２）、画
面上の表示は図７のように形状データの表示モード（ス
テップＳ２０３）となる。図７では太線部分が別の色で
示された加工対象の形状データを意味している。リモコ
ンボタン８０２、８０３を操作することで、加工対象の
オブジェクトを選択し（ステップＳ２０４）、リモコン
ボタン８０４〜８０７を操作することで選択状態にある
オブジェクトを加工する。
シェイプ加工の要求が発生し（ステップＳ２０２）、画
面上の表示は図７のように形状データの表示モード（ス
テップＳ２０３）となる。図７では太線部分が別の色で
示された加工対象の形状データを意味している。リモコ
ンボタン８０２、８０３を操作することで、加工対象の
オブジェクトを選択し（ステップＳ２０４）、リモコン
ボタン８０４〜８０７を操作することで選択状態にある
オブジェクトを加工する。
【００２０】例えば、リモコンのボタン８０２を押す毎
に加工対象は、図７の７０１→７０２→７０３→７０４
のように変化し、リモコンボタン８０３を押す毎に加工
対象は７０４→７０３→７０２→７０１のように変化す
る。ここで、例えば、加工対象を７０２と決めて、リモ
コンボタン８０６を押すと、加工対象７０２の形状デー
タは消去される。また、リモコンボタン８０７を押す
と、加工対象７０２の形状データのみが表示され、その
サイズは最大となる。
に加工対象は、図７の７０１→７０２→７０３→７０４
のように変化し、リモコンボタン８０３を押す毎に加工
対象は７０４→７０３→７０２→７０１のように変化す
る。ここで、例えば、加工対象を７０２と決めて、リモ
コンボタン８０６を押すと、加工対象７０２の形状デー
タは消去される。また、リモコンボタン８０７を押す
と、加工対象７０２の形状データのみが表示され、その
サイズは最大となる。
【００２１】図４の４０２ｃは、７０２の形状データが
消去された様子を示している。加工対象を７０３と決め
て、リモコンボタン８０４を押すと、７０３の形状デー
タが拡大される。一方、リモコンボタン８０５を押す
と、７０３の形状データは縮小される。図４の４０３ｂ
は、７０３の形状データが拡大された様子を示してい
る。
消去された様子を示している。加工対象を７０３と決め
て、リモコンボタン８０４を押すと、７０３の形状デー
タが拡大される。一方、リモコンボタン８０５を押す
と、７０３の形状データは縮小される。図４の４０３ｂ
は、７０３の形状データが拡大された様子を示してい
る。
【００２２】変更結果が満足行くまで、図２のステップ
Ｓ２０３からＳ２０６を繰り返し、図８のリモコンボタ
ン８０１を押すと、変更後の形状データが決定する。形
状データの変更が決定されると、テクスチャデータの変
更（ステップＳ２０７）が行われる。テクスチャデータ
変更後の画面表示を図４の４０３ａに示す。
Ｓ２０３からＳ２０６を繰り返し、図８のリモコンボタ
ン８０１を押すと、変更後の形状データが決定する。形
状データの変更が決定されると、テクスチャデータの変
更（ステップＳ２０７）が行われる。テクスチャデータ
変更後の画面表示を図４の４０３ａに示す。
【００２３】また、本実施形態では、形状データ加工の
操作をリモコンを例に説明したが、コンピュータに接続
されたモニタを見ながら操作する場合は、リモコンボタ
ンの代わりにキーボードやマウスによって操作してもよ
い。
操作をリモコンを例に説明したが、コンピュータに接続
されたモニタを見ながら操作する場合は、リモコンボタ
ンの代わりにキーボードやマウスによって操作してもよ
い。
【００２４】＜第２の実施形態＞次に第２の実施形態に
ついて詳細に説明する。本実施形態はオブジェクト対応
の動画像のビットストリーム編集に関するものである。
ついて詳細に説明する。本実施形態はオブジェクト対応
の動画像のビットストリーム編集に関するものである。
【００２５】図１０は、第２の実施形態における画像編
集装置の全体構成を示すブロック図である。ハードディ
スク等の一時記憶装置から、各ビットストリームを読み
出し、加工・編集後、再度一時記憶装置に書き込みを行
う処理を示している。
集装置の全体構成を示すブロック図である。ハードディ
スク等の一時記憶装置から、各ビットストリームを読み
出し、加工・編集後、再度一時記憶装置に書き込みを行
う処理を示している。
【００２６】シェイプ復号化部１００２からＶＯＰメモ
リ１０１０は、第１の実施形態におけるシェイプ復号化
部１０２からＶＯＰメモリ１１０に対応している。
リ１０１０は、第１の実施形態におけるシェイプ復号化
部１０２からＶＯＰメモリ１１０に対応している。
【００２７】第１の実施形態と同様に、シェイプ加工部
１００６では、その加工内容により、動き変更部１００
８もしくはテクスチャ変更部１００７あるいはそれらの
両方の処理を必要とする。これらの処理を行った後、Ｖ
ＯＰ再横成部１００９においてＶＯＰの再構成がなさ
れ、フレーム間処理のためのＶＯＰメモリ１０１０への
データ格納が行われるとともに、画像生成部１０１１に
おいて画像を表示するための処理が行われる。
１００６では、その加工内容により、動き変更部１００
８もしくはテクスチャ変更部１００７あるいはそれらの
両方の処理を必要とする。これらの処理を行った後、Ｖ
ＯＰ再横成部１００９においてＶＯＰの再構成がなさ
れ、フレーム間処理のためのＶＯＰメモリ１０１０への
データ格納が行われるとともに、画像生成部１０１１に
おいて画像を表示するための処理が行われる。
【００２８】なお、図１０では１つのＶＯＰに対する処
理のみを説明しているが、画像が複数のＶＯＰからなる
場合は、表示の際にこれらを合成する必要がある。
理のみを説明しているが、画像が複数のＶＯＰからなる
場合は、表示の際にこれらを合成する必要がある。
【００２９】シェイプの加工に伴って生じたシェイプデ
ータの更新は、部分符号化部１０１２において、その部
分に対する再符号化により行う。そして、部分書換え部
１０１５では元々のビットストリームとの比較を行い、
変更部分のストリームのみを更新する。
ータの更新は、部分符号化部１０１２において、その部
分に対する再符号化により行う。そして、部分書換え部
１０１５では元々のビットストリームとの比較を行い、
変更部分のストリームのみを更新する。
【００３０】また、シェイプ加工部１００６におけるシ
ェイプの加工に伴って、動き変更部１００８で動きの変
更が生じた場合は、当該変更部分を部分符号化部１０１
３で再符号化し、部分書換え部１０１６で元々のビット
ストリームとの比較を行い、変更部分のストリームのみ
を更新する。
ェイプの加工に伴って、動き変更部１００８で動きの変
更が生じた場合は、当該変更部分を部分符号化部１０１
３で再符号化し、部分書換え部１０１６で元々のビット
ストリームとの比較を行い、変更部分のストリームのみ
を更新する。
【００３１】シェイプ加工部１００６によるシェイプの
加工に伴って、テクスチャ変更部１００７でテクスチャ
の変更が生じた場合は、変更部分を部分符号化部１０１
４で再符号化し、部分書換え部１０１７で元々のビット
ストリームとの比較を行い、変更部分のストリームのみ
を更新する。シェイプ加工部１００６におけるシェイプ
の変更に応じてテクスチャの変更を随時行う必要はな
く、シェイプの変更が確定した時点で、テクスチャの変
更を行えばよい。これらのタイミングに関しては、後ほ
ど説明する。
加工に伴って、テクスチャ変更部１００７でテクスチャ
の変更が生じた場合は、変更部分を部分符号化部１０１
４で再符号化し、部分書換え部１０１７で元々のビット
ストリームとの比較を行い、変更部分のストリームのみ
を更新する。シェイプ加工部１００６におけるシェイプ
の変更に応じてテクスチャの変更を随時行う必要はな
く、シェイプの変更が確定した時点で、テクスチャの変
更を行えばよい。これらのタイミングに関しては、後ほ
ど説明する。
【００３２】次に図１１を用いて第２の実施形態による
画像編集処理を説明する。図１１は、第２の実施形態に
よる画像編集処理の手順を説明するフローチャートであ
る。まず、編集前の画像を表示するために、シェイプ復
号化（ステップＳ１１０１）、テクスチャ復号化（ステ
ップＳ１１０２）を行い、それらを画面上に表示する
（ステップＳ１１０３）。
画像編集処理を説明する。図１１は、第２の実施形態に
よる画像編集処理の手順を説明するフローチャートであ
る。まず、編集前の画像を表示するために、シェイプ復
号化（ステップＳ１１０１）、テクスチャ復号化（ステ
ップＳ１１０２）を行い、それらを画面上に表示する
（ステップＳ１１０３）。
【００３３】操作者は表示画像の確認をし、シェイプ加
工をするかどうかを指示する（ステップＳ１１０４）。
シェイプの加工を行うと指示された場合は、まず、シェ
イプの表示を行う（ステップＳ１１０５）。そして、表
示されたシェイプに対し、マウス等の入力装置により加
工を加える（ステップＳ１１０６）。加工作業中は、上
記ステップＳ１１０５とＳ１１０６を繰り返し、テクス
チャデータには変更を加えない。これは、テクスチャデ
ータの生成に伴う処理時間を削減するためである。
工をするかどうかを指示する（ステップＳ１１０４）。
シェイプの加工を行うと指示された場合は、まず、シェ
イプの表示を行う（ステップＳ１１０５）。そして、表
示されたシェイプに対し、マウス等の入力装置により加
工を加える（ステップＳ１１０６）。加工作業中は、上
記ステップＳ１１０５とＳ１１０６を繰り返し、テクス
チャデータには変更を加えない。これは、テクスチャデ
ータの生成に伴う処理時間を削減するためである。
【００３４】加工操作の終了指示等により加工終了と判
断すると（ステップＳ１１０７）、シェイプの変更部分
の符号化を行い（ステップＳ１１０８）、次に元のビッ
トストリームとの比較で、変更されている部分の書換え
を行う（ステップＳ１１０９）。また、シェイプの変更
に伴って、テクスチャの変更部分が生じた場合は、その
部分を符号化する（ステップＳ１１１０）。テクスチャ
データもシェイプと同様、ビットストリームの部分書換
えを行う（ステップＳ１１１１）。そして、ステップＳ
１１０１に戻り、再度、シェイプの復号化を行い、次い
でテクスチャの復号化を行い（ステップＳ１１０２）、
表示画像を再生（ステップＳ１１０３）する。
断すると（ステップＳ１１０７）、シェイプの変更部分
の符号化を行い（ステップＳ１１０８）、次に元のビッ
トストリームとの比較で、変更されている部分の書換え
を行う（ステップＳ１１０９）。また、シェイプの変更
に伴って、テクスチャの変更部分が生じた場合は、その
部分を符号化する（ステップＳ１１１０）。テクスチャ
データもシェイプと同様、ビットストリームの部分書換
えを行う（ステップＳ１１１１）。そして、ステップＳ
１１０１に戻り、再度、シェイプの復号化を行い、次い
でテクスチャの復号化を行い（ステップＳ１１０２）、
表示画像を再生（ステップＳ１１０３）する。
【００３５】図１２は画面表示の一例を示す図である。
１２０１ｂから１２０４ｂは、各時間におけるデコード
されたテクスチャデータを示している。テクスチャデー
タは矩形であり（ここではフレームサイズと同じ）、オ
ブジェクトの外部の画素はパディングと呼ばれる処理で
データが埋め込まれている。オブジェクトの外部と内部
の識別データが１２０１ｃから１２０４ｃのシェイプで
ある。したがって、図１１のステップＳ１１０１では、
１２０１ｃから１２０４ｃまでのシェイプデータが得ら
れ、ステップＳ１１０２では、１２０１ｂから１２０４
ｂまでのテクスチャデータが得られる。また、ステップ
Ｓ１１０３においては、シェイプデータとテクスチャデ
ータの組合わせによる１２０１ａから１２０４ａまでの
表示画像データが得られる。
１２０１ｂから１２０４ｂは、各時間におけるデコード
されたテクスチャデータを示している。テクスチャデー
タは矩形であり（ここではフレームサイズと同じ）、オ
ブジェクトの外部の画素はパディングと呼ばれる処理で
データが埋め込まれている。オブジェクトの外部と内部
の識別データが１２０１ｃから１２０４ｃのシェイプで
ある。したがって、図１１のステップＳ１１０１では、
１２０１ｃから１２０４ｃまでのシェイプデータが得ら
れ、ステップＳ１１０２では、１２０１ｂから１２０４
ｂまでのテクスチャデータが得られる。また、ステップ
Ｓ１１０３においては、シェイプデータとテクスチャデ
ータの組合わせによる１２０１ａから１２０４ａまでの
表示画像データが得られる。
【００３６】図１３はシェイプを加工した後の画面表示
例を示す図である。１３０１ｃは１２０１ｃを縮小、１
３０３ｃと１３０４ｃは１２０３ｃと１２０４ｃをそれ
ぞれ拡大したものである。シェイプの加工が終了するま
では、画面上のテクスチャデータや表示画像データは、
１２０１ｂから１２０４ｂおよび１２０１ａから１２０
４ａのままである。加工処理が終了した段階で、１２０
１ｂから１２０４ｂのテクスチャデータが１３０１ｂか
ら１３０４ｂに更新される。同時に１２０１ａから１２
０４ａの表示画像は１３０１ａから１３０４ａに更新さ
れる。
例を示す図である。１３０１ｃは１２０１ｃを縮小、１
３０３ｃと１３０４ｃは１２０３ｃと１２０４ｃをそれ
ぞれ拡大したものである。シェイプの加工が終了するま
では、画面上のテクスチャデータや表示画像データは、
１２０１ｂから１２０４ｂおよび１２０１ａから１２０
４ａのままである。加工処理が終了した段階で、１２０
１ｂから１２０４ｂのテクスチャデータが１３０１ｂか
ら１３０４ｂに更新される。同時に１２０１ａから１２
０４ａの表示画像は１３０１ａから１３０４ａに更新さ
れる。
【００３７】ただし、最初から最後まで表示画像による
確認をせずに、シェイプの加工のみで処理を行う場合
は、図１４のようなフローチャートとなる。すなわち、
シェイプを復号化した（ステップＳ１４０１）後は、シ
ェイプの表示（ステップＳ１４０２）とシェイプの加工
（ステップＳ１４０３）を繰り返し、加工終了が指示さ
れると（ステップＳ１４０４）、初めてテクスチャの復
号化が行われる（ステップＳ１４０５）。そして、シェ
イプに関しては、変更部分の符号化（ステップＳ１４０
６）と、それに伴うビットストリームの部分書換えを行
い（ステップＳ１４０７）、テクスチャに関しては変更
部分の再符号化（ステップＳ１４０８）と、それに伴う
ビットストリームの部分書換え（ステップＳ１４０９）
を行って処理を終える。このときの画面表示は、シェイ
プの加工前が図１２の１２０１ｃから１２０４ｃのみ、
シェイプの加工後も図１３の１３０１ｃから１３０４ｃ
のみとなる。
確認をせずに、シェイプの加工のみで処理を行う場合
は、図１４のようなフローチャートとなる。すなわち、
シェイプを復号化した（ステップＳ１４０１）後は、シ
ェイプの表示（ステップＳ１４０２）とシェイプの加工
（ステップＳ１４０３）を繰り返し、加工終了が指示さ
れると（ステップＳ１４０４）、初めてテクスチャの復
号化が行われる（ステップＳ１４０５）。そして、シェ
イプに関しては、変更部分の符号化（ステップＳ１４０
６）と、それに伴うビットストリームの部分書換えを行
い（ステップＳ１４０７）、テクスチャに関しては変更
部分の再符号化（ステップＳ１４０８）と、それに伴う
ビットストリームの部分書換え（ステップＳ１４０９）
を行って処理を終える。このときの画面表示は、シェイ
プの加工前が図１２の１２０１ｃから１２０４ｃのみ、
シェイプの加工後も図１３の１３０１ｃから１３０４ｃ
のみとなる。
【００３８】なお、図１１や図１４に示す処理手順で
は、シェイプの加工を終了するまでは、再符号化を行わ
なかったが、処理速度の能力が許せば、図１５のように
シェイプの加工をする毎にシェイプとテクスチャの再符
号化を行うことも可能である。シェイプの復号化（Ｓ１
５０１）からシェイプの加工（ステップＳ１５０５）ま
では、図１１と同様であるが、シェイプの加工と同時
に、テクスチャの変更（ステップＳ１５０６）、シェイ
プの変更部分の符号化（ステップＳ１５０７）および変
更部分のビットストリームの書換え（ステップＳ１５０
８）、テクスチャの変更部分の符号化（ステップＳ１５
０９）および変更部分のビットストリームの書換え（ス
テップＳ１５１０）を行う。その後、最初の処理に戻
り、表示画面の確認が終わるまで、この処理を繰り返
す。
は、シェイプの加工を終了するまでは、再符号化を行わ
なかったが、処理速度の能力が許せば、図１５のように
シェイプの加工をする毎にシェイプとテクスチャの再符
号化を行うことも可能である。シェイプの復号化（Ｓ１
５０１）からシェイプの加工（ステップＳ１５０５）ま
では、図１１と同様であるが、シェイプの加工と同時
に、テクスチャの変更（ステップＳ１５０６）、シェイ
プの変更部分の符号化（ステップＳ１５０７）および変
更部分のビットストリームの書換え（ステップＳ１５０
８）、テクスチャの変更部分の符号化（ステップＳ１５
０９）および変更部分のビットストリームの書換え（ス
テップＳ１５１０）を行う。その後、最初の処理に戻
り、表示画面の確認が終わるまで、この処理を繰り返
す。
【００３９】図１５の場合は、随時シェイプとテクスチ
ャを組で処理することになるため、処理量は図１４の場
合に比べて、かなり大きい。一般にシェイプの符号化・
復号化はテクスチャの符号化・復号化に比べて、処理時
間が短い。図１６および図１７はシェイプとテクスチャ
の復号時間の違いを説明する図である。画像を表示する
ためには、シェイプとテクスチャの両方が復号化されて
いる必要があるので、画像１の表示可能な最短時間はテ
クスチャ１のデコードが終わったＴT1のタイミングであ
り、画像２の表示可能な最短時間はテクスチャ２のデコ
ードが終わったＴT2のタイミングである。シェイプの表
示のみを考える場合は、表示可能な最短時間はシェイプ
１のデコードが終わったタイミングＴS1であり、シェイ
プ２は同様にＴS2のタイミングである。したがって１つ
のフレーム当たりの短縮可能な時間は（ＴTi−Ｔsi）で
あり、１つのシーケンスがＮフレームとすると、総短縮
時間Ｔsumは、
ャを組で処理することになるため、処理量は図１４の場
合に比べて、かなり大きい。一般にシェイプの符号化・
復号化はテクスチャの符号化・復号化に比べて、処理時
間が短い。図１６および図１７はシェイプとテクスチャ
の復号時間の違いを説明する図である。画像を表示する
ためには、シェイプとテクスチャの両方が復号化されて
いる必要があるので、画像１の表示可能な最短時間はテ
クスチャ１のデコードが終わったＴT1のタイミングであ
り、画像２の表示可能な最短時間はテクスチャ２のデコ
ードが終わったＴT2のタイミングである。シェイプの表
示のみを考える場合は、表示可能な最短時間はシェイプ
１のデコードが終わったタイミングＴS1であり、シェイ
プ２は同様にＴS2のタイミングである。したがって１つ
のフレーム当たりの短縮可能な時間は（ＴTi−Ｔsi）で
あり、１つのシーケンスがＮフレームとすると、総短縮
時間Ｔsumは、
【００４０】
【数１】 となる。ＣＰＵの処理能力に応じて、図１５のようなハ
イスペックな処理から図１４のようなシンプルスペック
の処理まで、適応的に変化させることも可能である。た
とえば、すべてのテクスチャをデコードするのではな
く、フレーム内符号化（Ｉフレーム）された画像だけは
表示する等の処理も可能である。
イスペックな処理から図１４のようなシンプルスペック
の処理まで、適応的に変化させることも可能である。た
とえば、すべてのテクスチャをデコードするのではな
く、フレーム内符号化（Ｉフレーム）された画像だけは
表示する等の処理も可能である。
【００４１】なお、本発明は、複数の機器（例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。
【００４２】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。
【００４３】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００４４】
【発明の効果】以上の説明から明らかなように、本発明
によれば、シェイプデータとテクスチャデータの組から
なる画像の加工、編集、表示等において、シェイプデー
タの加工を行った後、テクスチャデータの加工を行うよ
うに制御されるので、加工時の処理速度の低下が抑制さ
れ、加工後の画像を速やかに表示・記録させる効果が得
られる。また、効率的な画像編集を可能とする効果が得
られる。
によれば、シェイプデータとテクスチャデータの組から
なる画像の加工、編集、表示等において、シェイプデー
タの加工を行った後、テクスチャデータの加工を行うよ
うに制御されるので、加工時の処理速度の低下が抑制さ
れ、加工後の画像を速やかに表示・記録させる効果が得
られる。また、効率的な画像編集を可能とする効果が得
られる。
【図１】第１の実施形態による画像編集装置の全体構成
を示すブロック図である。
を示すブロック図である。
【図２】第１の実施形態による画像編集処理の手順を示
すフローチャートである。
すフローチャートである。
【図３】表示画像と各ビデオオブジェクト毎のシェイプ
の一例を示す図である。
の一例を示す図である。
【図４】表示画像とシェイプの加工例を示す図である。
【図５】シェイプデータを表示した例を示す図である。
【図６】図５に示したオブジェクトのシェイプを別々に
表した図である。
表した図である。
【図７】選択状態にあるシェイプを識別可能に表示する
表示例を示す図である。
表示例を示す図である。
【図８】形状データの加工操作を行うための操作用リモ
コンを示す図である。
コンを示す図である。
【図９】多重化された画像のビットストリームのデコー
ダの構成を示すブロック図である。
ダの構成を示すブロック図である。
【図１０】第２の実施形態における画像編集装置の全体
構成を示すブロック図である。
構成を示すブロック図である。
【図１１】第２の実施形態による画像編集処理の手順を
説明するフローチャートである。
説明するフローチャートである。
【図１２】画面表示の一例を示す図である。
【図１３】シェイプを加工した後の画面表示例を示す図
である。
である。
【図１４】第２の実施形態におけるシンプルスペックの
処理手順を示すフローチャートである。
処理手順を示すフローチャートである。
【図１５】第２の実施形態におけるハイスペックの処理
手順を示すフローチャートである。
手順を示すフローチャートである。
【図１６】テクスチャを画面表示する際のタイミング図
である。
である。
【図１７】シェイプのみ画面表示する際のタイミング図
である。
である。
Claims (24)
- 【請求項１】 シェイプデータとテクスチャデータを含
んでなるオブジェクト画像データを編集する画像編集装
置であって、 ユーザ操作に基づいてシェイプデータを変更する第１更
新手段と、 前記第１変更手段によるシェイプデータへの変更を反映
して表示する第１表示手段と、 前記第１変更手段によるシェイプデータの変更を伴わな
い所定操作により、前記第１更新手段によるシェイプデ
ータの更新に応じて対応するテクスチャデータを更新す
る第２更新手段とを備えることを特徴とする画像編集装
置。 - 【請求項２】 前記第１更新手段で更新されたシェイプ
データと前記第２更新手段で更新されたテクスチャデー
タとに基づいて画像を表示する第２表示手段を更に備え
ることを特徴とする請求項１に記載の画像編集装置。 - 【請求項３】 前記第１更新手段は、シェイプデータの
変更操作の開始と終了を指示する指示手段を含み、 前記第２更新手段における前記所定操作は、前記指示手
段による編集操作の終了指示であることを特徴とする請
求項１に記載の画像編集装置。 - 【請求項４】 オブジェクト画像データから、シェイプ
データとテクスチャデータを抽出して前記第１及び第２
更新手段に提供する抽出手段を更に備えることを特徴と
する請求項１に記載の画像編集装置。 - 【請求項５】 オブジェクト画像データが複数存在する
場合に、所望の１つを選択する選択手段を更に備え、 前記抽出手段は、前記選択手段によって選択されたオブ
ジェクト画像データからシェイプデータとテクスチャデ
ータを抽出することを特徴とする請求項１に記載の画像
編集装置。 - 【請求項６】 記憶装置から圧縮符号化されたビットス
トリームを読み出す読出手段と、 前記読出手段で読み出したビットストリームをオブジェ
クト単位で、少なくともシェイプ情報のビットストリー
ムとテクスチャ情報のビットストリームに分離する分離
手段と、 各オブジェクト毎に、前記分離手段で分離した各ビット
ストリームを復号してシェイプデータ及びテクスチャデ
ータを生成する復号化手段と、 前記復号化手段によって得られたシェイプデータをユー
ザの加工操作指示に基づいて加工する加工手段と、 加工操作指示以外の所定の指示により、前記加工手段に
よる前記シェイプデータの加工に応じて前記テクスチャ
データを変更する変更手段と、 前記加工手段で加工されたシェイプデータと前記変更手
段で変更されたテクスチャデータを再符号化する再符号
化手段と、 前記再符号化手段で再符号化したビットストリームと前
記分離手段で得られたビットストリームを比較し、変更
部分のストリームを更新して記憶装置に書き込む書込手
段とを備えることを特徴とする画像編集装置。 - 【請求項７】 シェイプデータの加工の開始と終了を入
力デバイスからの操作で設定する手段を更に備え、前記
変更手段における所定の指示は、シェイプデータの加工
の終了指示であることを特徴とする請求項６に記載の画
像編集装置。 - 【請求項８】 シェイプデータとテクスチャデータを含
んでなるオブジェクト画像データを編集する画像編集方
法であって、 ユーザ操作に基づいてシェイプデータを変更する第１更
新工程と、 前記第１変更工程によるシェイプデータへの変更を反映
して表示する第１表示工程と、 前記第１変更工程によるシェイプデータの変更を伴わな
い所定操作により、前記第１更新工程によるシェイプデ
ータの更新に応じて対応するテクスチャデータを更新す
る第２更新工程とを備えることを特徴とする画像編集方
法。 - 【請求項９】 前記第１更新工程で更新されたシェイプ
データと前記第２更新工程で更新されたテクスチャデー
タとに基づいて画像を表示する第２表示工程を更に備え
ることを特徴とする請求項８に記載の画像編集方法。 - 【請求項１０】 前記第１更新工程は、シェイプデータ
の変更操作の開始と終了を指示する指示工程を含み、 前記第２更新工程における前記所定操作は、前記指示工
程による編集操作の終了指示であることを特徴とする請
求項８に記載の画像編集方法。 - 【請求項１１】 オブジェクト画像データから、シェイ
プデータとテクスチャデータを抽出して前記第１及び第
２更新工程に提供する抽出工程を更に備えることを特徴
とする請求項８に記載の画像編集方法。 - 【請求項１２】 オブジェクト画像データが複数存在す
る場合に、所望の１つを選択する選択工程を更に備え、 前記抽出工程は、前記選択工程によって選択されたオブ
ジェクト画像データからシェイプデータとテクスチャデ
ータを抽出することを特徴とする請求項８に記載の画像
編集方法。 - 【請求項１３】 記憶装置から圧縮符号化されたビット
ストリームを読み出す読出工程と、 前記読出工程で読み出したビットストリームをオブジェ
クト単位で、少なくともシェイプ情報のビットストリー
ムとテクスチャ情報のビットストリームに分離する分離
工程と、 各オブジェクト毎に、前記分離工程で分離した各ビット
ストリームを復号してシェイプデータ及びテクスチャデ
ータを生成する復号化工程と、 前記復号化工程によって得られたシェイプデータをユー
ザの加工操作指示に基づいて加工する加工工程と、 加工操作指示以外の所定の指示により、前記加工工程に
よる前記シェイプデータの加工に応じて前記テクスチャ
データを変更する変更工程と、 前記加工工程で加工されたシェイプデータと前記変更工
程で変更されたテクスチャデータを再符号化する再符号
化工程と、 前記再符号化工程で再符号化したビットストリームと前
記分離工程で得られたビットストリームを比較し、変更
部分のストリームを更新して記憶装置に書き込む書込工
程とを備えることを特徴とする画像編集方法。 - 【請求項１４】 シェイプデータの加工の開始と終了を
入力デバイスからの操作で設定する工程を更に備え、前
記変更工程における所定の指示は、シェイプデータの加
工の終了指示であることを特徴とする請求項１３に記載
の画像編集方法。 - 【請求項１５】 シェイプデータとテクスチャデータを
含んでなるオブジェクト画像データの編集をコンピュー
タに実現させるための制御プログラムを格納する記憶媒
体であって、該制御プログラムが、 ユーザ操作に基づいてシェイプデータを変更する第１更
新工程のコードと、 前記第１変更工程によるシェイプデータへの変更を反映
して表示する第１表示工程のコードと、 前記第１変更工程によるシェイプデータの変更を伴わな
い所定操作により、前記第１更新工程によるシェイプデ
ータの更新に応じて対応するテクスチャデータを更新す
る第２更新工程のコードとを備えることを特徴とする記
憶媒体。 - 【請求項１６】 シェイプデータとテクスチャデータを
含んでなるオブジェクト画像データの編集をコンピュー
タに実現させるための制御プログラムを格納する記憶媒
体であって、該制御プログラムが、 記憶装置から圧縮符号化されたビットストリームを読み
出す読出工程のコードと、 前記読出工程で読み出したビットストリームをオブジェ
クト単位で、少なくともシェイプ情報のビットストリー
ムとテクスチャ情報のビットストリームに分離する分離
工程のコードと、 各オブジェクト毎に、前記分離工程で分離した各ビット
ストリームを復号してシェイプデータ及びテクスチャデ
ータを生成する復号化工程コードと、 前記復号化工程によって得られたシェイプデータをユー
ザの加工操作指示に基づいて加工する加工工程のコード
と、 加工操作指示以外の所定の指示により、前記加工工程に
よる前記シェイプデータの加工に応じて前記テクスチャ
データを変更する変更工程のコードと、 前記加工工程で加工されたシェイプデータと前記変更工
程で変更されたテクスチャデータを再符号化する再符号
化工程のコードと、 前記再符号化工程で再符号化したビットストリームと前
記分離工程で得られたビットストリームを比較し、変更
部分のストリームを更新して記憶装置に書き込む書込工
程のコードとを備えることを特徴とする記憶媒体。 - 【請求項１７】 シェイプデータとテクスチャデータと
を含んでなる画像データを入力する入力手段と、 前記画像データから前記シェイプデータと前記テクスチ
ャデータとを分離する分離手段と、 前記分離手段によって分離された前記シェイプデータを
加工するシェイプ加工手段と、 前記シェイプ加工手段の処理終了後に、前記シェイプ加
工手段の加工結果に応じて前記テクスチャデータを加工
するテクスチャ加工手段とを備えることを特徴とする画
像編集装置。 - 【請求項１８】 前記シェイプ加工手段により加工され
たシェイプデータを表示する表示手段を更に備えること
を特徴とする請求項１７に記載の画像編集装置。 - 【請求項１９】 前記シェイプ加工手段により加工され
たシェイプデータと前記テクスチャ加工手段により加工
されたテクスチャデータとに基づいて画像を表示する表
示手段を更に備えることを特徴とする請求項１７に記載
の画像編集装置。 - 【請求項２０】 前記入力手段によって入力された前記
画像データを構成するシェイプデータとテクスチャデー
タとは符号化されており、前記分離手段は前記符号化さ
れたシェイプデータとテクスチャデータとを復号化する
復号化手段を更に備えることを特徴とする請求項１７に
記載の画像編集装置。 - 【請求項２１】 前記入力手段によって入力された前記
画像データは１画面を構成する複数のオブジェクトの1
つの画像データであることを特徴とする請求項１７乃至
２０のいずれかに記載の画像編集装置。 - 【請求項２２】 前記シェイプ加工手段によって加工さ
れたシェイプデータと、前記テクスチャ加工手段によっ
て加工されたテクスチャデータを符号化する符号化手段
を更に備えることを特徴とする請求項１７乃至２１のい
ずれかに記載の画像編集装置。 - 【請求項２３】 シェイプデータとテクスチャデータと
を含んでなる画像データを入力する入力工程と、 前記画像データから前記シェイプデータと前記テクスチ
ャデータとを分離する分離工程と、 前記分離工程によって分離された前記シェイプデータを
加工するシェイプ加工工程と、 前記シェイプ加工工程の処理終了後に、前記シェイプ加
工工程の加工結果に応じて前記テクスチャデータを加工
するテクスチャ加工工程とを備えることを特徴とする画
像編集装置。 - 【請求項２４】 シェイプデータとテクスチャデータと
を含んでなる画像データの編集をコンピュータに実現さ
せるための制御プログラムを格納する記憶媒体であっ
て、該制御プログラムが、 シェイプデータとテクスチャデータとを含んでなる画像
データを入力する入力工程のコードと、 前記画像データから前記シェイプデータと前記テクスチ
ャデータとを分離する分離工程のコードと、 前記分離工程によって分離された前記シェイプデータを
加工するシェイプ加工工程のコードと、 前記シェイプ加工工程の処理終了後に、前記シェイプ加
工工程の加工結果に応じて前記テクスチャデータを加工
するテクスチャ加工工程のコードとを備えることを特徴
とする記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32319499A JP2001145020A (ja) | 1999-11-12 | 1999-11-12 | 画像編集装置及び方法 |
| US09/708,623 US7058128B1 (en) | 1999-11-12 | 2000-11-09 | Image editing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32319499A JP2001145020A (ja) | 1999-11-12 | 1999-11-12 | 画像編集装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001145020A true JP2001145020A (ja) | 2001-05-25 |
Family
ID=18152114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32319499A Withdrawn JP2001145020A (ja) | 1999-11-12 | 1999-11-12 | 画像編集装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7058128B1 (ja) |
| JP (1) | JP2001145020A (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050100098A1 (en) * | 2003-10-23 | 2005-05-12 | Gong-Sheng Lin | Highly integrated mpeg-4 video decoding unit |
| TWI331317B (en) * | 2006-12-22 | 2010-10-01 | Ind Tech Res Inst | Method and system for image editing |
| JP5464819B2 (ja) * | 2008-04-30 | 2014-04-09 | キヤノン株式会社 | 動画像処理装置および方法、プログラム |
| US20120083339A1 (en) * | 2010-08-24 | 2012-04-05 | Janos Stone | Systems and methods for transforming and/or generating a tangible physical structure based on user input information |
| US20120050315A1 (en) * | 2010-08-24 | 2012-03-01 | Janos Stone | Systems and methods for transforming and/or generating a tangible physical structure based on user input information |
| US9092692B2 (en) * | 2012-09-13 | 2015-07-28 | Los Alamos National Security, Llc | Object detection approach using generative sparse, hierarchical networks with top-down and lateral connections for combining texture/color detection and shape/contour detection |
| US9152888B2 (en) | 2012-09-13 | 2015-10-06 | Los Alamos National Security, Llc | System and method for automated object detection in an image |
| US9152881B2 (en) | 2012-09-13 | 2015-10-06 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6035070A (en) * | 1996-09-24 | 2000-03-07 | Moon; Joo-Hee | Encoder/decoder for coding/decoding gray scale shape data and method thereof |
| US5790196A (en) * | 1997-02-14 | 1998-08-04 | Mitsubishi Electric Information Technology Center America, Inc. | Adaptive video coding method |
| US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
| WO1998046006A2 (en) * | 1997-04-07 | 1998-10-15 | At & T Corp. | System and method for interfacing mpeg-coded audiovisual objects permitting adaptive control |
| US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
| US6483874B1 (en) * | 1999-01-27 | 2002-11-19 | General Instrument Corporation | Efficient motion estimation for an arbitrarily-shaped object |
-
1999
- 1999-11-12 JP JP32319499A patent/JP2001145020A/ja not_active Withdrawn
-
2000
- 2000-11-09 US US09/708,623 patent/US7058128B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7058128B1 (en) | 2006-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4556146B2 (ja) | 情報処理装置および方法、プログラム、並びに情報処理システム | |
| US8848034B2 (en) | Image processing apparatus, control method thereof, and program | |
| KR101906686B1 (ko) | 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체 | |
| JP2001507541A (ja) | スプライトベースによるビデオ符号化システム | |
| US20060139321A1 (en) | Display status modifying apparatus and method, display status modifying program and storage medium storing the same, picture providing apparatus and method, picture providing program and storage medium storing the same, and picture providing system | |
| US6956902B2 (en) | Method and apparatus for a multi-user video navigation system | |
| JP4475643B2 (ja) | 画像符号化装置及び方法 | |
| US7382927B2 (en) | System for constructing mosaic images | |
| JP3223962B2 (ja) | 画像復号化方法 | |
| CN102714747A (zh) | 立体视频图形覆盖 | |
| JP6588801B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2001145020A (ja) | 画像編集装置及び方法 | |
| JP5294688B2 (ja) | 動画像圧縮符号化装置 | |
| JP4634410B2 (ja) | 映像再生装置，映像再生方法および字幕重畳装置 | |
| JP2008124932A (ja) | ノンリニア編集装置およびそのプログラム、ならびに、ノンリニア編集装置におけるデータ差し替え方法 | |
| JP2009111762A (ja) | 画像符号化装置及び画像復号装置 | |
| JP4154799B2 (ja) | 圧縮動画像編集装置および記憶媒体 | |
| JP2004120134A (ja) | 画像表示装置及びその制御方法 | |
| JP5520890B2 (ja) | 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造 | |
| WO2017169293A1 (ja) | 映像処理装置、映像処理システム、映像処理方法、及び映像出力装置 | |
| JP6834039B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、及び、プログラム | |
| KR100573435B1 (ko) | 셋톱장치의 사용자 인터페이스 처리를 위한 서버기반사용자 인터페이스 관리시스템 | |
| JP6656335B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、及び、プログラム | |
| JP2005303738A (ja) | 画像処理装置 | |
| JP6419297B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070206 |