JP2000152234A - データ処理装置及びその方法、及びデータ処理システム - Google Patents

Abstract

(57)【要約】 【課題】 複数の画像情報（オブジェクト）毎に符号化
された符号化データは、そのプロファイル・レベルに適
合した復号器でなければ復号することはできなかった。 【解決手段】 プロファイル・レベル調整部205におい
て、MPEG4規格による符号化データに含まれるオブジェ
クト数を、復号器207のプロファイル・レベルに基づいて
変更することにより、復号器207において復号可能とす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化された複数
の画像情報により１つの画像を構成するデータ列を処理
するデータ処理装置及びその方法、及びデータ処理シス
テムに関する。

【０００２】

【従来の技術】近年、動画像の新しい符号化方式とし
て、MPEG4(Moving Picture Experts Group Phase4)規格
の標準化が進められている。従来のMPEG2規格に代表さ
れる動画像の符号化方式においては、フレームあるいは
フィールドを単位とした符号化を行なっていたが、動画
像の映像や音声を構成するコンテンツ(人物や建物，
声，音，背景等)の再利用や編集を実現するために、MPE
G4規格では映像データやオーディオ・データをオブジェ
クト（物体）として扱うことを特徴とする。さらに、映
像データに含まれる物体も独立して符号化され、それぞ
れもオブジェクトとして扱うことができる。

【０００３】図17にMPEG4規格に基づく符号化器の機能
ブロック図を示し、図18に該符号化器による符号化デー
タを復号する復号器の機能ブロック図を示す。図17にお
いて、入力された画像データはオブジェクト定義器1001
によって各オブジェクトに分割され、分割されたオブジ
ェクト毎に最適な符号化を行なう、それぞれのオブジェ
クト符号化器1002〜1004によって符号化する。また、各
オブジェクトを復号側で配置するための情報を、配置情
報符号化器1011で符号化する。こうして得られた符号化
データを、多重化器1005によって多重化して１つの符号
化データとして出力する。

【０００４】該符号化データが図18に示す復号器に入力
されると、まず分離器1006によって多重化を解かれ、各
オブジェクトの符号化データを得る。得られた符号化デ
ータは各オブジェクトに対応した復号器1007〜1009によ
って復号される。同時に、配置情報復号器1012は各オブ
ジェクトの配置情報を復号する。オブジェクト復号器10
07〜1009の出力は、オブジェクト配置情報に従って合成
器1010によって合成され、画像として表示される。

【０００５】このようにMPEG4規格によれば、動画像内
のオブジェクトを個別に扱うことで、復号側ではさまざ
まなオブジェクトを自由に配置することができる。ま
た、放送やコンテンツ作成会社等においても、事前にオ
ブジェクトの符号化データを生成しておくことにより、
有限なコンテンツから非常に多くの動画像データを生成
することが可能になった。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
たようにMPEG4規格の符号化方式においては、不特定数
のオブジェクトを扱うため、特に復号側では、全てのオ
ブジェクトの復号に対応するのに十分な復号手段の数を
確定することができず、従って、装置やシステムを構築
するのが非常に困難であった。

【０００７】そのため、標準化されたMPEG4規格におい
ては、プロファイル及びレベルの概念を規定し、符号化
データや符号化器／復号器の設計にあたって仕様を決定
することができるように、プロファイル及びレベルから
なる符号化仕様として、オブジェクト数やビットレート
の上限値を設けている。図20に、プロファイル・レベル
毎の各要件の上限を規定するプロファイル表の一例を示
す。

【０００８】図20のプロファイル表に示されるようにMP
EG4規格においては、プロファイルに応じて符号化に使
用する手段（ツール）の組み合わせが異なり、さらにレ
ベルにより、扱う画像の符号化データの量が段階的に分
けられている。ここで、扱えるオブジェクト数の最大値
とビットレートの最大値はいずれも該符号化仕様におけ
る上限を表すものであり、それ以下の値であれば、該符
号化仕様に含まれる。例えば、Coreプロファイルで使用
可能なツールを用い、オブジェクト数が6個で、300kbps
で符号化するのであれば、該符号化データ（符号化器）
はレベル2に相当する。

【０００９】ここで、MPEG4符号化データのビットスト
リーム例を図19に示す。上述したプロファイルとレベル
は、ビットストリームの中のprofile_and_level_indica
tion（図中PLI）という符号で表される。MPEG4において
は、オブジェクトの配置情報をシステム記述言語で表し
て符号化しており、便宜上、この情報を先頭に記載す
る。実際には、適宜ほかの符号化結果とともに多重化さ
れている。

【００１０】MPEG4符号化データは、符号化効率の向
上、及び編集操作性の向上の観点から階層化されてい
る。図19に示すように、動画像の符号化データの先頭に
は、識別のためのvisual_object_sequence_start_code
（図中VOSSC）があり、それに各ビジュアルオブジェク
トの符号化データが続き、最後に、符号化データの後端
を示すvisual_object_sequence_end_code（図中VOSEC）
がある。ここでビジュアルオブジェクトとしては、撮影
された動画像のほかに、CGデータ等も定義される。

【００１１】ビジュアルオブジェクトの詳細としては、
先頭に識別のためのvisual_object_start_code（図中Vi
sual Object SC）があり、続いて前述のPLIがある。そ
れ以降、ビジュアルオブジェクトの情報を表す符号であ
るis_visual_object_identifier（図中IVOI），visual_
object_verid（図中VOVID），visual_object_priority
（図中VOPRI），visual_object_type（図中VOTYPE）な
どが続き、ビジュアルオブジェクトのヘッダ情報を構成
している。ここで、visual_object_type(VOTYPE)は例え
ば、該画像が撮像された動画像である場合は"0001"であ
り、これに続いて動画像の符号化データの魂を表すビデ
オオブジェクト(VO)データが続く。

【００１２】ビデオオブジェクトデータは、それぞれの
オブジェクトを表す符号化データであり、スケーラビリ
ティを実現するためのビデオオブジェクトレイヤデータ
(VOL)と、動画像の1フレームに相当するビデオオブジェ
クトプレーンデータ(VOP)がある。それぞれのヘッダ部
分には、サイズを表す符号video_object_layer_width
（図中VOL_width），video_object_layer_height（図中
VOL_height）及びvideo_object_plane_width（図中VOP_
width），video_object_plane_height（図中VOP_heigh
t）を備える。

【００１３】このビットストリームを復号する復号器に
おいては、PLI符号を参照することによって、復号が可
能か否かを判定することができる。即ち、以下のような
場合には復号が行なえない。

【００１４】例えば、Coreプロファイル・レベル1の復
号器では、Coreプロファイル・レベル2のデータであっ
て、ビットレート等の上限を超える符号化データは復号
できない。

【００１５】また、Simpleプロファイル・レベル1であ
って、オブジェクトを4つ含む画像の符号化データを2つ
合成することにより、Simpleプロファイル・レベル2の
符号化データを生成することが考えられる。しかしなが
らこの場合、レベル2のオブジェクト最大数は4であるた
め、MPEG4のいずれのプロファイルやレベルにも所属し
ない符号化データが生成されてしまうことになる。従っ
て、このような符号化データを復号することはできな
い。

【００１６】また、例えばSimpleプロファイル48kbpsと
8kbpsの2つの符号化データ（それぞれのオブジェクト数
は2）を多重化して新しいビットストリームを生成する
と、そのビットレートが64kbpsに収まらない場合があ
る。このような場合にはレベルを2にする必要があり、
即ち、レベル1の復号器では復号できない。

【００１７】以上のように、復号器の符号化仕様（プロ
ファイル及びレベル）が、符号化データの符号化仕様
（プロファイル及びレベル）を十分に包含できない場合
には、該符号化データを復号することはできなかった。

【００１８】本発明は上述した問題を解決するためにな
されたものであり、複数の画像情報（オブジェクト）毎
に符号化された符号化データを、任意の符号化仕様の復
号器で復号可能とするデータ処理装置及びその方法、及
びデータ処理システムを提供することを目的とする。

【００１９】また、符号化データに含まれるオブジェク
ト数を調整可能なデータ処理装置及びその方法、及びデ
ータ処理システムを提供することを目的とする。

【００２０】

【課題を解決するための手段】上記目的を達成するため
の一手段として、本発明のデータ処理装置は以下の構成
を備える。

【００２１】即ち、符号化された複数の画像情報により
１つの画像を構成するデータ列を処理するデータ処理装
置であって、前記データ列中の画像情報の数を変更する
変更手段を有することを特徴とする。

【００２２】例えば、前記変更手段は、前記データ列中
の画像情報の数を検出する検出手段を備え、前記検出手
段によって検出された画像情報の数が所定数よりも多い
場合に、画像情報数を減らすことを特徴とする。

【００２３】また、上記目的を達成するための一手段と
して、本発明のデータ処理システムは以下の構成を備え
る。

【００２４】即ち、複数の画像情報をそれぞれ符号化し
て１つの画像を構成するデータ列を生成する符号化手段
と、前記データ列中の画像情報の数を変更する変更手段
と、該変更された前記データ列を復号する復号手段と、
を有することを特徴とする。

【００２５】例えば、前記変更手段は、前記データ列中
の画像情報の数を検出する検出手段を備え、前記検出手
段によって検出された画像情報の数が前記復号手段にお
いて復号可能な画像情報数よりも多い場合に、前記デー
タ列中の画像情報数を減らすことを特徴とする。

【００２６】また、上記目的を達成するための一手法と
して、本発明のデータ処理方法は以下の工程を備える。

【００２７】即ち、符号化された複数の画像情報により
１つの画像を構成するデータ列を処理するデータ処理方
法であって、前記データ列中の画像情報の数を変更する
ことを特徴とする。

【００２８】例えば、前記データ列中の画像情報の数を
検出する検出工程と、該検出された画像情報の数が所定
数よりも多い場合に、画像情報数を減らす減数工程と、
を有することを特徴とする。

【００２９】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて図面を参照して詳細に説明する。

【００３０】＜第1実施形態＞図1は、本実施形態におけ
る動画像処理装置の概要構成を示すブロック図である。
本実施形態においては、動画像符号化方式としてMPEG4
符号化方式を用いた場合について説明する。尚、本実施
形態における符号化方式はMPEG4に限らず、画像内の複
数のオブジェクトを各々符号化することができれば、ど
のような方式であってもよい。

【００３１】図1において、201は符号化器であり、動画
像を取り込んでMPEG4符号化方式のCoreプロファイル・
レベル2による符号化を行なう。202は記憶装置であり、
符号化された動画像データを蓄積する。記憶装置202は
磁気ディスクや光磁気ディスク等で構成されており、本
装置に着脱可能であるため、他装置においても読み込む
ことができる。203は送信器であり、LANや通信回線への
送信や、さらには放送等を行う。204は受信器であり、
送信器203から出力された符号化データを受信する。205
は本発明を適用したプロファイル・レベル調整部であ
る。206はプロファイル・レベル調整部205の出力を蓄積
する記憶装置である。207は復号器であり、MPEG4符号化
方式のCoreプロファイル・レベル1による符号化データ
を復号可能とする。208は復号器207で復号された動画像
を表示する表示器である。尚、上述したように符号化器
201はCoreプロファイル・レベル2による符号化を行なう
が、説明を容易にするため、384kbpsのビットレートで
符号化するものとする。

【００３２】図15に、符号化する画像の構成例を示す。
同図における各符号は、それぞれオブジェクトを示す。
即ち、オブジェクト2000は背景、オブジェクト2001は空
中を移動する気球、オブジェクト2002は小鳥をそれぞれ
表し、また、オブジェクト2003，2004は人間を表す。

【００３３】図3の(a)は、図15の画像を符号化した際の
ビットストリームを示す図であり、先頭にオブジェクト
2000〜2004の画面上での位置情報を表すオブジェクト配
置情報αが存在する。オブジェクト配置情報αは、実際
にはシーン構成情報を記述するBIFS(Binary Format for
Scene description)言語によって符号化されて、別途
多重化されている。そして、オブジェクト配置情報αに
続いて、VOSSC符号、ビジュアルオブジェクトデータα-
1，α-2，α-3、及びVOSEC符号が存在する。図3(a)に示
す符号化データは、記憶装置202に蓄積されるか、又は
送信器203を介して送出される。

【００３４】この符号化データは、記憶装置202や受信
器204を介して本発明の特徴であるところのプロファイ
ル・レベル調整部205に入力される。プロファイル・レ
ベル調整部205には、復号器207の状態も入力されてい
る。

【００３５】図2は、プロファイル・レベル調整部205の
詳細構成を示すブロック図である。同図において、1は
図3(a)に示す符号化データである。2は分離器であり、
符号化データ1を、配置情報やヘッダ情報を表す符号化
データと、各オブジェクトを表す符号化データとに分離
する。3は分離された配置情報やヘッダ情報を表す符号
化データを格納するヘッダメモリである。4〜8は符号メ
モリであり、オブジェクト毎に符号化データを格納す
る。9はプロファイル・レベル抽出器であり、符号化デ
ータ1からPLI符号を抽出し、プロファイルとレベルに関
する情報を抽出する。10はオブジェクト計数器であり、
符号化データ1に含まれるオブジェクトの数を計数す
る。

【００３６】11は復号器状態受信器であり、復号器207
の符号化仕様（プロファイル・レベル）やその他の状況
を獲得する。12はプロファイル・レベル入力器であり、
不図示の端末等により任意のプロファイルやレベルの設
定を行なう。13はプロファイル・レベル判定器であり、
プロファイル・レベル抽出器9及びオブジェクト計数器1
0の出力と、復号器状態受信器11またはプロファイル・
レベル入力器12から入力されるプロファイル・レベル情
報とを比較して、オブジェクト数の調整の必要性の有無
を判定する。

【００３７】14は符号長比較器であり、符号化データ1
が入力される際に各オブジェクトの符号長を計数して比
較することにより、オブジェクトの符号長順を決定す
る。15はヘッダ変更器であり、ヘッダメモリ3に格納さ
れたヘッダ情報の内容を、プロファイル・レベル判定器
13、符号長比較器14の出力に基づいて変更する。16は多
重化器であり、ヘッダ変更器15の出力と、符号長比較器
14の比較結果に基づいて、符号メモリ4〜8から読み出さ
れる符号化データを多重化する。17はプロファイル・レ
ベル調整の結果として出力される符号化データである。

【００３８】以下、上述した構成からなるプロファイル
・レベル調整部205における処理について、詳細に説明
する。

【００３９】符号化データ1は、分離器2とプロファイル
・レベル抽出器9、オブジェクト計数器10、符号長比較
器14に入力される。分離器2は、符号化データ1を配置情
報やヘッダ情報を表す符号化データと、各オブジェクト
を表す符号化データとに分離し、それぞれの符号化デー
タはヘッダメモリ3と、符号メモリ4〜8に格納される。
例えば、ヘッダメモリ3には、図3(a)に示すオブジェク
ト配置情報α，VOSSC符号，Visual Object SC符号，vis
ual_object_start_code符号，VOデータAの直前までの各
符号，及び図19に示したVOLやVOPのヘッダ情報等が格納
される。また、符号メモリ4〜8には、各オブジェクト毎
にヘッダ情報が取り除かれたVOLデータ及びVOPデータが
格納される。これらはヘッダを除去した部分がわかるよ
うに、個別に格納されている。例えば、図15に示す画像
においてオブジェクトは5つあるので、オブジェクト200
0〜2004の符号化データ（図3(a)中のVOデータA〜E）
は、それぞれ符号メモリ4〜8に格納される。

【００４０】同時に、オブジェクト計数器10は、符号化
データ1に含まれているオブジェクトの数を計数する。
そして符号長比較器14は、各オブジェクトの符号長を計
数する。

【００４１】プロファイル・レベル抽出器9は、符号化
データ1からPLI_αを抽出し、復号して符号化データ1の
プロファイル及びレベルに関する情報を抽出する。そし
て、抽出と同時に復号器状態受信器11を動作させ、復号
器207において復号可能なプロファイルやレベル等の情
報を獲得する。これらの情報は、プロファイル・レベル
入力器12を介してユーザによって設定することも可能で
ある。

【００４２】プロファイル・レベル判定器13は、上述し
たようにして獲得されたプロファイル及びレベル情報
と、プロファイル・レベル抽出器9の抽出結果とを比較
し、獲得されたプロファイル及びレベルが、符号化デー
タ1から抽出されたプロファイル及びレベルよりも上位
または同じであれば、ヘッダ変更器１５は動作させず、
ヘッダメモリ3、符号メモリ4〜8の内容を入力された符
号化データを順に読み出し、多重化器16で多重化して符
号化データ17を生成する。即ち、この場合の符号化デー
タ17の内容は、符号化データ1の内容と同じである。

【００４３】一方、プロファイル・レベル判定器13にお
ける比較の結果、獲得されたプロファイル及びレベル
が、符号化データ1から抽出されたプロファイル及びレ
ベルよりも下位あれば、オブジェクト計数器10から符号
化データ1に含まれるオブジェクトの数を入力し、該オ
ブジェクト数を、復号器状態受信器11やプロファイル・
レベル入力器12で獲得されたプロファイル及びレベルか
ら判定される復号可能なオブジェクト数と比較する。

【００４４】そして、オブジェクト計数器10で得られた
オブジェクト数が復号可能なオブジェクト数以下であれ
ば、上述した、獲得されたプロファイル及びレベルが符
号化データ1よりも上位または同じである場合と同様
に、符号化データ17を生成する。

【００４５】一方、オブジェクト計数器10で得られたオ
ブジェクト数が復号可能なオブジェクト数よりも大きけ
れば、復号可能なオブジェクト数を符号長比較器14に入
力し、符号長比較機能を動作させる。符号長比較器14に
おいては、符号化データ1が有する複数のオブジェクト
を、符号長の大きい順に、復号すべきオブジェクトとし
て設定する。即ち、符号長の大きいオブジェクトから順
次、復号可能となるようにする。例えば図3(a)において
は、各ビデオオブジェクトの符号長が、VOデータA，VO
データD，VOデータC，VOデータE，VOデータBの順である
とする。ここで復号器207においては、Coreプロファイ
ル・レベル1による復号を行なうため、オブジェクト数
が4つまでは復号が可能である。従って図3(a)の場合に
は、4つのオブジェクト、即ち、VOデータBを除く4つの
オブジェクトが復号可能であることが分かる。従って、
符号長比較器14は、VOデータBが格納されている符号メ
モリ5の読み出しを不可とし、それ以外の符号メモリ4，
6，7，8を読み出し可能とする。

【００４６】そしてプロファイル・レベル判定器13はヘ
ッダ変更器15を動作させ、PLIの内容を復号器207に合わ
せて変更して符号化し、符号長比較器14による比較結果
に基づいて、復号器207において復号されない（廃棄さ
れる）オブジェクト(この場合、VOデータB)に関するヘ
ッダ情報を削除する。即ち、符号化データ1のヘッダ情
報を、復号器207における復号能力、または入力された
プロファイル及びレベルに適合した内容に置換える。そ
して更にオブジェクト配置情報αから、廃棄されたオブ
ジェクト(VOデータB)に対応するオブジェクト2002に関
する配置情報を削除して、新たなオブジェクト配置情報
βを生成する。

【００４７】そして、ヘッダ変更器15及び符号メモリ
4，6，7，8の内容を、入力された順に読み出し、多重化
器16で多重化して符号化データ17を生成する。この時の
符号化データ17のビットストリームを、図3(b)に示す。
図3(b)によれば、新たに生成されたオブジェクト配置情
報βに続いて、VOSSC符号、ビジュアルオブジェクトデ
ータβ-1，β-2，β-3、及びVOSEC符号が存在する。こ
のビジュアルオブジェクトデータβ-1，β-2，β-3は、
図3(a)に示す元のビジュアルオブジェクトデータα-1，
α-2，α-3に対して、オブジェクト数の調整を施したも
のである。例えばビジュアルオブジェクトデータβ-1
は、Visual Object SC符号に続き、復号器207に適した
プロファイル・レベルを表すPLI_β、及び、オブジェク
ト2002に関する符号化データ(VOデータB)が削除された
符号により構成されている。

【００４８】このようにして得られた符号化データ17
は、記憶装置206に格納されたり、又は復号器207で復号
されて表示器208で表示される。図16に、符号化データ1
7を復号して表示した画像を示す。同図によれば、図15
に示す符号化対象画像において小鳥を示していたオブジ
ェクト2002が、削除されていることが分かる。

【００４９】尚、符号長比較器14においては、符号化デ
ータ1から直接符号長を計数するとして説明したが、符
号メモリ4〜8に格納された符号化データに基づいて符号
長を計数しても良い。

【００５０】以上説明したように本実施形態によれば、
符号器と復号器において符号化仕様（プロファイルやレ
ベル）が異なる場合においても、符号化データの復号が
可能になる。また、符号長の最も短いオフジェクトデー
タを破棄することにより、破棄するオブジェクトの選択
を容易とし、復号後の画像に与える影響を極力抑制する
ことが可能になる。

【００５１】さらに、復号器207で復号可能なオブジェ
クト数が、符号化データ1の符号化仕様で規定されてい
る数よりも少ない場合においても、復号器状態受信器11
によって実際に復号可能なオブジェクト数を獲得するこ
とによって、同様な効果が得られる。

【００５２】加えて、復号器207の符号化仕様以上のビ
ットレートの符号化仕様を有する符号化データが入力さ
れた場合でも、ビットレートを下げるようにオブジェク
トを破棄することによって、復号器207における復号が
可能となる。

【００５３】＜第2実施形態＞以下、本発明に係る第2実
施形態について説明する。

【００５４】尚、第2実施形態における動画像処理装置
の概要構成は、上述した第1実施形態の図1と同様である
ため、説明を省略する。

【００５５】図4は、第2実施形態におけるプロファイル
・レベル調整部205の詳細構成を示すブロック図であ
る。図4において、第1実施形態の図2と同様の構成には
同一番号を付し、説明を省略する。第2実施形態におい
ては、動画像符号化方式としてMPEG4符号化方式を用い
た場合について説明するが、画像内の複数のオブジェク
トを各々符号化することができれば、どのような符号化
方式でも適用可能である。

【００５６】図4において、18はヘッダメモリ3から各オ
ブジェクトのサイズを抽出して比較するサイズ比較器で
ある。

【００５７】第1実施形態と同様に、符号化データ1は分
離器2とプロファイル・レベル抽出器9，オブジェクト計
数器10，及び符号長比較器14に入力され、各符号化デー
タがヘッダメモリ3，符号メモリ4〜8に格納される。同
時に、オブジェクト計数器10は符号化データに含まれて
いるオブジェクトの数を計数する。

【００５８】サイズ比較器18は、各オブジェクトごとの
サイズを抽出する。ここで、各オブジェクトのサイズ
は、図19に示した符号化データのビットストリーム構成
に示すVOL_width，VOL-heightの各符号を抽出し、復号
することによって得られる。

【００５９】そして第1実施形態と同様に、プロファイ
ル・レベル抽出器9は符号化データ1からプロファイルと
レベルに関する情報を抽出し、同時に復号器状態受信器
11から復号器207のプロファイル及びレベル等の情報を
獲得するか、又はプロファイル・レベル入力器12からユ
ーザによってプロファイル及びレベルが設定される。

【００６０】プロファイル・レベル判定器13は、上述し
たようにして獲得されたプロファイル及びレベル情報
と、プロファイル・レベル抽出器9の抽出結果とを比較
し、獲得されたプロファイル及びレベルが符号化データ
1から抽出されたプロファイル及びレベルよりも上位ま
たは同じであれば、ヘッダ変更器15は動作させず、符号
化データ1と同様の符号化データ17を生成する。

【００６１】一方、プロファイル・レベル判定器13にお
ける比較の結果、獲得されたプロファイル及びレベル
が、符号化データ1から抽出されたプロファイル及びレ
ベルよりも下位あれば、オブジェクト計数器10から符号
化データ1に含まれるオブジェクトの数を入力し、該オ
ブジェクト数を、復号器状態受信器11やプロファイル・
レベル入力器12で獲得されたプロファイル及びレベルか
ら判定される復号可能なオブジェクト数と比較する。

【００６２】そして、オブジェクト計数器10で得られた
オブジェクト数が復号可能なオブジェクト数以下であれ
ば、上述した、獲得されたプロファイル及びレベルが符
号化データ1よりも上位または同じである場合と同様
に、符号化データ17を生成する。

【００６３】一方、オブジェクト計数器10で得られたオ
ブジェクト数が復号可能なオブジェクト数よりも大きけ
れば、復号可能なオブジェクト数をサイズ比較器18に入
力し、サイズ比較機能を動作させる。サイズ比較器18に
おいては、符号化データ1が有する複数のオブジェクト
を、サイズの大きい順に、復号すべきオブジェクトとし
て設定する。即ち、サイズの大きいオブジェクトから順
次、復号可能となるようにする。例えば図15における各
オブジェクトのサイズは、オブジェクト2000，2004，20
01，2003，2002の順に大きい。ここで復号器207におい
ては、Coreプロファイル・レベル1による復号を行なう
ため、オブジェクト数が4つまでは復号が可能である。
従って図15に示す画像の場合には、もっとも小さいオブ
ジェクト2002を除けば、残り4つのオブジェクトが復号
可能であることが分かる。従って、サイズ比較器18は、
オブジェクト2002の符号化データが格納されている符号
メモリ5の読み出しを不可とし、それ以外の符号メモリ
4，6，7，8を読み出し可能とする。

【００６４】そして第1実施形態と同様に、プロファイ
ル・レベル判定器13はヘッダ変更器15を動作させ、PLI
の内容を復号器207に合わせて変更して符号化し、更
に、サイズ比較器18による比較結果に基づいて、復号器
207において復号されない（廃棄される）オブジェクト
(この場合、オブジェクト2002)に関するヘッダ情報を削
除する。そして更にオブジェクト配置情報αから、廃棄
されたオブジェクト2002に関する配置情報を削除して、
新たなオブジェクト配置情報βを生成する。

【００６５】そして、ヘッダ変更器15及び符号メモリ
4，6，7，8の内容を、入力された順に読み出し、多重化
器16で多重化して符号化データ17を生成する。この時の
符号化データ17のビットストリームは、図3(b)に示す通
りである。

【００６６】このようにして得られた符号化データ17
は、記憶装置206に格納されたり、又は復号器207で復号
されて、図16に示すような画像として表示器208に表示
される。

【００６７】また、サイズ比較器18においては、符号化
データ1のVOL_width，VOL_height符号に基づいてオブジ
ェクトのサイズを抽出するとして説明したが、VOP_widt
h，VOP_height符号により抽出しても構わないし、実際
に形状(マスク)情報を表す符号化データを復号して得ら
れた形状(マスク)情報に基づいて、オブジェクトサイズ
を抽出しても良い。

【００６８】以上説明したように第2実施形態によれ
ば、符号器と復号器において符号化仕様が異なる場合に
おいても、符号化データの復号が可能になる。また、オ
ブジェクトサイズの最も小さいオフジェクトデータを破
棄することにより、破棄するオブジェクトの選択を容易
とし、復号後の画像に与える影響を極力抑制することが
可能になる。

【００６９】尚、第1及び第2実施形態においては、1つ
のオブジェクトを廃棄する例について説明したが、もち
ろん2つ以上のオブジェクトを廃棄することも可能であ
る。また、廃棄するオブジェクトを、ユーザが直接指定
可能なように構成することも可能である。

【００７０】また、プロファイル・レベル入力器12によ
って、予め画像のオブジェクト毎に廃棄の順番を設定し
ておくことも可能である。

【００７１】＜第3実施形態＞以下、本発明に係る第3実
施形態について説明する。

【００７２】尚、第3実施形態における動画像処理装置
の概要構成は、上述した第1実施形態の図1と同様である
ため、説明を省略する。

【００７３】図5は、第3実施形態におけるプロファイル
・レベル調整部205の詳細構成を示すブロック図であ
る。図5において、第1実施形態の図2と同様の構成には
同一番号を付し、説明を省略する。第3実施形態におい
ては、動画像符号化方式としてMPEG4符号化方式を用い
た場合について説明するが、画像内の複数のオブジェク
トを各々符号化することができれば、どのような符号化
方式でも適用可能である。

【００７４】図5において、20はオブジェクト選択指示
器であり、複数のオブジェクトを表示し、ユーザによっ
て任意のオブジェクトの選択及び指示が入力される。21
はオブジェクト選択器であり、オブジェクト選択指示器
20からの指示と、プロファイル・レベル判定器13におけ
る判定結果に基づいて、実際に処理対象となるオブジェ
クトの符号化データを選択するオブジェクト選択器であ
る。22，24はセレクタであり、オブジェクト選択器21に
よって制御され、入出力を切り替える。23は複数のオブ
ジェクトを統合するオブジェクト統合器である。25は入
力される符号化データを多重化する多重化器である。

【００７５】上述した第1実施形態と同様に、符号化デ
ータ1は、分離器2とプロファイル・レベル抽出器9、オ
ブジェクト計数器10に入力される。分離器2は、符号化
データ1を配置情報やヘッダ情報を表す符号化データ
と、各オブジェクトを表す符号化データとに分離し、そ
れぞれの符号化データはヘッダメモリ3と、符号メモリ4
〜8に格納される。同時に、オブジェクト計数器10は、
符号化データ1に含まれているオブジェクトの数を計数
する。

【００７６】そして第1実施形態と同様に、プロファイ
ル・レベル抽出器9は符号化データ1からプロファイルと
レベルに関する情報を抽出し、同時に復号器状態受信器
11から復号器207のプロファイル及びレベル等の情報を
獲得するか、又はプロファイル・レベル入力器12からユ
ーザによってプロファイル及びレベルが設定される。

【００７７】プロファイル・レベル判定器13は、上述し
たようにして獲得されたプロファイル及びレベル情報
と、プロファイル・レベル抽出器９の抽出結果とを比較
し、獲得されたプロファイル及びレベルが符号化データ
1から抽出されたプロファイル及びレベルよりも上位ま
たは同じであれば、オブジェクト選択器21はセレクタ22
及び24を直結する経路を選択する。即ち、符号化データ
がオブジェクト統合器23を通過しないようにする。そし
て、ヘッダ変更器15を動作させずに、ヘッダメモリ3、
符号メモリ4〜8に格納された符号化データを入力された
順に読み出して多重化器25で多重化することにより、符
号化データ1と同様の符号化データ26を生成する。

【００７８】一方、プロファイル・レベル判定器13にお
ける比較の結果、獲得されたプロファイル及びレベル
が、符号化データ1から抽出されたプロファイル及びレ
ベルよりも下位あれば、オブジェクト計数器10から符号
化データ1に含まれるオブジェクトの数を入力し、該オ
ブジェクト数を、復号器状態受信器11やプロファイル・
レベル入力器12で獲得されたプロファイル及びレベルか
ら判定される復号可能なオブジェクト数と比較する。

【００７９】そして、オブジェクト計数器10で得られた
オブジェクト数が復号可能なオブジェクト数以下であれ
ば、上述した、獲得されたプロファイル及びレベルが符
号化データ1よりも上位または同じである場合と同様
に、符号化データ26を生成する。

【００８０】一方、オブジェクト計数器10で得られたオ
ブジェクト数が復号可能なオブジェクト数よりも大きけ
れば、復号可能なオブジェクト数をオブジェクト選択器
21に入力する。オブジェクト選択器21は、各オブジェク
トの状態（例えば図15に示す画像）や、各オブジェクト
に関する情報、及び統合するオブジェクト数等の情報
を、オブジェクト選択指示器20に表示する。ユーザはこ
れらの情報に従って、統合処理を行うオブジェクトを選
定し、その指示をオブジェクト選択指示器20に与える。

【００８１】ここで、第3実施形態における復号器207は
Coreプロファイル・レベル1による復号を行なうため、
復号可能なオブジェクト数は4つまでである。従って、
例えば図15に示す画像は5つのオブジェクトを有するた
め、そのうちの2つを統合して1つのオブジェクトとする
ことにより、復号器207において復号可能な符号化デー
タを得ることができる。以下、図15に示す画像において
オブジェクト2003とオブジェクト2004を統合することを
ユーザが指示した場合を例として、以下に説明する。

【００８２】ユーザにより、オブジェクト選択指示器20
を介して統合対象のオブジェクトが指示されると、プロ
ファイル・レベル判定器13はヘッダ変更器15を動作さ
せ、PLIの内容を復号器207に合わせて変更して、更にオ
ブジェクト選択器21による選択結果に基づいて、統合し
て得られる新たなオブジェクトに関するヘッダ情報の生
成、及び統合により廃棄されるオブジェクトに関するヘ
ッダ情報の削除を行なう。具体的には、オブジェクト20
03及び2004のオブジェクト配置情報に基づいて、統合結
果として得られる新たなオブジェクトの配置情報を生成
し、元のオブジェクト2003及び2004のオブジェクト配置
情報を削除する。そして、オブジェクト2003及び2004の
ヘッダ情報に基づいて、統合して得られるオブジェクト
の大きさやその他の情報をヘッダ情報として生成し、元
のオブジェクト2003及び2004のヘッダ情報を削除する。

【００８３】オブジェクト選択器21は、オブジェクト20
03及び2004の符号化データに関してはオブジェクト統合
器23において後述する統合処理を行い、その他の符号化
データに関してはオブジェクト統合器23を介さないよう
に、セレクタ22，24の入出力を制御する。

【００８４】そして、ヘッダ変更器15及びオブジェクト
2000〜2002の符号化データを格納した符号メモリ4，5，
6の内容を入力された順に読み出し、セレクタ22，24を
介して多重化器25で多重化する。一方、統合対象である
オブジェクト2003，2004の符号データを格納した符号メ
モリ7，8の内容は、セレクタ22を介してオブジェクト統
合器23に入力される。

【００８５】図6は、オブジェクト統合器23の詳細構成
を示すブロック図である。同図において、50，51は符号
メモリであり、統合するオブジェクトの符号化データを
それぞれ格納する。52，54はセレクタであり、オブジェ
クト毎に入出力を切り替える。53はオブジェクト復号器
であり、符号化データを復号し、オブジェクトの画像を
再生する。55，56はフレームメモリであり、再生された
画像をオブジェクト毎に格納する。57は合成器であり、
ヘッダメモリ3に格納されている統合対象のオブジェク
トの配置情報に従って、オブジェクトを合成する。58は
オブジェクト符号化器であり、合成して得られた画像デ
ータを符号化して出力する。

【００８６】以下、オブジェクト統合器23の動作につい
て詳細に説明する。符号メモリ50，51には、それぞれ統
合対象であるオブジェクト2003，2004の符号化データが
格納される。まず、セレクタ52は符号メモリ50側の入力
を選択し、セレクタ54はフレームメモリ55側の出力を選
択する。その後、符号メモリ50から符号化データが読み
出され、オブジェクト復号器53で復号された後、セレク
タ54を介してフレームメモリ55にオブジェクト2003の画
像情報が書き込まれる。このオブジェクト2003の画像デ
ータは、カラー画像を表す画像データと形状を表すマス
ク情報からなる。続いて、セレクタ52，54の入出力をそ
れぞれ他方側に切り替えて同様の処理を行なうことによ
り、オブジェクト2004の画像情報をフレームメモリ56に
格納する。

【００８７】合成器57は、ヘッダメモリ3からオブジェ
クト2003，2004の位置情報及びサイズ情報を取得して、
統合後の新たなオブジェクトのサイズ、該新たなオブジ
ェクト内における元のオブジェクト2003，2004のそれぞ
れの相対位置を求めることができる。そして、フレーム
メモリ55,56の情報を読み出し、カラー画像情報とマス
ク情報のそれぞれを合成する。カラー画像情報の合成結
果を図9に示し、マスク情報の合成結果を図10に示す。
これらのカラー画像情報及びマスク情報は、オブジェク
ト符号化器58においてMPEG4のオブジェクト符号化方式
に従って符号化された後、オブジェクト統合器23から出
力される。

【００８８】オブジェクト統合器23から出力された符号
化データは、セレクタ24を介して多重化器25で他の符号
化データに多重化され、符号化データ26を得る。図7
に、符号化データ26のビットストリームを示す。図7は
即ち、図3(a)に示す符号化データ1に対して、第3実施形
態の統合処理を施した結果を示す。図7によれば、統合
結果として新たに得られたオブジェクトの配置情報を含
むオブジェクト配置情報γに続いて、VOSSC符号、ビジ
ュアルオブジェクトデータγ-1，γ-2，γ-3、及びVOSE
C符号が存在する。このビジュアルオブジェクトデータ
γ-1，γ-2，γ-3は、図3(a)に示す元のビジュアルオブ
ジェクトデータα-1，α-2，α-3に対して、オブジェク
トの統合調整を施したものである。例えばビジュアルオ
ブジェクトデータγ-1は、Visual Object SC符号に続
き、復号器207に適したプロファイル・レベルを表すPLI
_γ、オブジェクト2000〜2002の各符号化データであるV
OデータA，VOデータB，VOデータC、及びオブジェクト20
03及び2004を統合して得られた符号化データVOデータG
により構成されている。

【００８９】このようにして得られた符号化データ26
は、記憶装置206に格納されたり、又は復号器207で復号
されて図15に示す画像として復元され、表示器208に表
示される。

【００９０】尚、第3実施形態においては、オブジェク
ト選択指示器20によって、ユーザが画像内における統合
対象オブジェクトを選択指示する例について説明した
が、本発明はもちろんこの例に限定されるものではな
い。例えば、まずオブジェクト選択指示器20によって画
像のオブジェクト毎に、予め統合の順番を設定してお
く。そして、復号器207で復号可能なオブジェクト数が
該画像のオブジェクト数が下回り、オブジェクト統合の
必要が生じた場合に、該設定された順番に従って自動的
にオブジェクト統合を行なうように構成することも可能
である。

【００９１】以上説明したように第3実施形態によれ
ば、符号器と復号器においてプロファイルやレベルが異
なる場合においても、符号化データの復号が可能にな
る。また、オブジェクトを統合して復号することによっ
て、復号後のオブジェクトの喪失を防ぐことができる。

【００９２】さらに、オブジェクト選択指示器20とオブ
ジェクト選択器21に代えて、オブジェクト統合器を第1
及び第2実施形態で示した符号長比較器14やサイズ比較
器18等を備えることにより、符号長の短いオブジェクト
順や、サイズの小さいオブジェクト順に統合処理を行な
うことが可能である。

【００９３】＜＜変形例＞＞図8は、第3実施形態におけ
るオブジェクト統合器23の変形構成例を示すブロック図
である。図8において、図6と同様の構成には同一番号を
付し、説明を省略する。図8においては、符号長カウン
タ59を更に設けることを特徴とする。符号長カウンタ59
により統合前の各オブジェクトの符号化データの符号長
を計数し、オブジェクト符号化器58の出力の符号長が該
係数結果と同じになるように、オフジェクト符号化器58
のパラメータ（例えば量子化パラメータ等）を調整す
る。これにより、全体の符号長を増やすことなく、オブ
ジェクト合成を行なうことが可能となる。

【００９４】＜第4実施形態＞以下、本発明に係る第4実
施形態について説明する。第4実施形態においては、上
述した第3実施形態と同様に、オブジェクトの統合処理
を行なうことを特徴とする。尚、第4実施形態における
動画像処理装置の概要構成、及びプロファイル・レベル
調整部205の詳細構成は、上述した第1及び第3実施形態
における図1及び図5と同様であるため、説明を省略す
る。

【００９５】図11は、第4実施形態におけるオブジェク
ト統合器23の詳細構成を示すブロック図である。図11に
おいて、第3実施形態の図6と同様の構成には同一番号を
付し、説明を省略する。

【００９６】図11において、60，61は分離器であり、入
力された符号化データを、形状を表すマスク情報に関す
る符号化データと、カラー画像情報を表す符号化データ
とに分離して出力する。62，63，64，65は符号メモリで
あり、符号メモリ62，64はカラー画像情報を表す符号化
データを、符号メモリ63，65はマスク情報に関する符号
化データを、それぞれのオブジェクト毎に格納する。66
はカラー画像情報を表す符号化データを符号化データの
ままで合成するカラー画像情報符号合成器である。67は
マスク情報を表す符号化データを合成するマスク情報符
号合成器である。

【００９７】以下、第4実施形態におけるオブジェクト
統合器23の動作について詳細に説明する。第3実施形態
と同様に、まず符号メモリ50，51にオブジェクト2003，
2004の符号化データがそれぞれ格納される。符号メモリ
50に格納されたオブジェクト2003の符号化データは、フ
レーム単位（VOP単位）で読み出され、分離器60でカラ
ー画像情報符号化データとマスク情報符号化データとに
分離され、それぞれの符号化データは符号メモリ62，63
に格納される。同様に、オブジェクト2004のカラー画像
情報符号化データ及びマスク情報符号化データは、それ
ぞれ符号メモリ64，65に格納される。

【００９８】この後、カラー画像情報符号合成器66は、
符号メモリ62，64からカラー画像情報符号化データをそ
れぞれ読み出す。また、第3実施形態と同様に、ヘッダ
メモリ3からオブジェクト2003，2004の位置情報及びサ
イズ情報を取得して、統合後の新たなオブジェクトのサ
イズ、該新たなオブジェクト内における元のオブジェク
ト2003，2004のそれぞれの相対位置を求める。即ちカラ
ー画像情報符号合成器66においては、これらのカラー画
像情報符号化データを統合した後に復号すると、図9に
示す様な画像が1つのオブジェクトとして得られること
を想定した合成を行なう。

【００９９】ここでMPEG4符号化方式においては、スラ
イスというデータ構造を持っており、複数のマクロブロ
ックを主走査方向に連続する1つの魂として定義するこ
とができる。図9に示すオブジェクトに対してスライス
構造を適用した例を図12に示す。図12においては、太枠
で囲まれた領域が1つのスライスとして定義され、各ス
ライス毎に先頭のマクロブロックをハッチングにより示
している。

【０１００】カラー画像情報符号合成器66は、図12に示
すように、統合結果として得られる画像の左上に相当す
るマクロブロックのデータから順に、右方向（主走査方
向）に読み出しを行う。即ち、まずオブジェクト2003の
符号化データのうち、先頭スライスの先頭マクロブロッ
クに相当する符号化データが符号メモリ62から読み出さ
れる。そして、スライスのヘッダ情報を付加した後、先
頭マクロブロックの符号化データをそのまま出力し、次
に右方向のマクロブロックの読み出し及び出力を、当該
スライスの間順次繰り返す。

【０１０１】尚、オブジェクト2003，2004の間の新たに
データが発生した部分に関しても新たなスライスとして
考える。この部分はマスク情報によって復号されても表
示されない部分であるため、適当な画素を補填する。即
ち、これらの部分はオブジェクトを含む最後のマクロブ
ロックのDC成分のみで構成されるとする。するとDC差分
は0であり、AC係数も全て0であるため、符号は発生しな
い。

【０１０２】そして、オブジェクト2004の境界におい
て、新たなスライスが開始されたとして、図12において
ハッチングで示されたマクロブロックを新たなスライス
の先頭とし、スライスのヘッダ情報を付加する。この場
合、先頭のマクロブロックのアドレスは相対アドレスで
あるため、前のオブジェクトを含むマクロブロックから
の相対アドレスに変換する。尚、マクロブロックが他の
マクロブロックを参照してDC等の予測を行っていれば、
その部分は再符号化し、その後は順次右方向に、マクロ
ブロックの符号データをそのまま出力していく。即ち、
オブジェクトの境界でスライスヘッダを付加し、スライ
ス先頭のマクロブロックの予測を、初期化した状態の符
号に置き換える。こうして得られた符号は、多重化器68
に出力される。

【０１０３】カラー画像情報符号合成器66の動作と並行
して、マスク情報符号合成器67においては、符号メモリ
63，65からマスク情報符号化データをそれぞれ読み出
す。そして、ヘッダメモリ3からオブジェクト2003，200
4の位置情報及びサイズ情報を取得して、統合後の新た
なオブジェクトのサイズ、該新たなオブジェクト内にお
ける元のオブジェクト2003，2004のそれぞれの相対位置
を求める。そして、入力されたマスク情報符号化データ
を復号し、合成することによって、図10に示すマスク画
像を得る。このマスク画像を、MPEG4の形状情報符号化
方式である算術符号化方式により符号化する。こうして
得られた符号は、多重化器68に出力される。

【０１０４】但し、マスク情報の符号化としては、MPEG
4における算術符号化方式に限らない。例えば、マスク
情報符号化データの合成結果においては、オブジェクト
境界間における0ランが長くなるだけであるので、ファ
クシミリ装置において使用される0ランを符号化する方
式等を適用することにより、マスク情報符号合成器67に
おいて復号を行なうことなく、0ラン長を表す符号を置
換えるだけで合成が行える。一般に、マスク情報を算術
符号化方式又はその他の符号化方式により符号化した際
に、その符号長の変化は僅かである。

【０１０５】多重化器68においては、統合されたカラー
画像情報に関する符号化データと、マスク情報符号化デ
ータとを多重化して、1つのオブジェクトの符号化デー
タとする。以降の処理は上述した第3実施形態と同様で
あり、多重化器25において他の符号化データと多重化さ
れて出力される。

【０１０６】以上説明したように第4実施形態によれ
ば、符号器と復号器においてプロファイルやレベルが異
なる場合においても、符号化データの復号が可能にな
る。また、オブジェクトを符号化データのままで統合す
ることによって、ヘッダ情報を僅かに付加するのみで、
復号後のオブジェクトの喪失を防ぐことができる。

【０１０７】更に、第4実施形態におけるオブジェクト
統合処理において、新たに付加されるヘッダは僅かな演
算によって得られ、また、符号の変更もスライスの先頭
ブロックに限定されるため、第3実施形態に示した復号
・再符号化によるオブジェクト統合処理に比べて高速化
が図れる。

【０１０８】＜第5実施形態＞以下、本発明に係る第5実
施形態について説明する。第5実施形態においては、上
述した第3実施形態と同様に、オブジェクトの統合処理
を行なうことを特徴とする。尚、第5実施形態における
動画像処理装置の概要構成は、上述した第1実施形態の
図1と同様であるため、説明を省略する。

【０１０９】図13は、第5実施形態におけるプロファイ
ル・レベル調整部205の詳細構成を示すブロック図であ
る。図13において、第3実施形態の図5と同様の構成には
同一番号を付し、説明を省略する。第5実施形態におい
ては、動画像符号化方式としてMPEG4符号化方式を用い
た場合について説明するが、画像内の複数のオブジェク
トを各々符号化することができれば、どのような符号化
方式でも適用可能である。

【０１１０】図13において、70はオブジェクト配置情報
判定器であり、統合対象となるオブジェクトを決定す
る。

【０１１１】プロファイル・レベル判定器13においては
第3実施形態と同様に、復号器207のプロファイル及びレ
ベル情報と、符号化データ1のプロファイル・レベルと
を比較するが、ここで、復号器207のプロファイル及び
レベルが符号化データ1のプロファイル及びレベルより
も上位または同じであっても、また、下位であって
も、、オブジェクト計数器10で得られたオブジェクト数
が復号器207において復号可能なオブジェクト数以下で
あれば、第3実施形態と同様の手順で符号化データ26を
生成する。

【０１１２】一方、オブジェクト計数器10で得られたオ
ブジェクト数が、復号器207において復号可能なオブジ
ェクト数よりも大きければ、復号可能なオブジェクト数
をオブジェクト配置情報判定器70に入力する。ここで、
第3実施形態と同様に、復号器207において復号可能なオ
ブジェクト数は4つまでである。従って、図15に示す5つ
のオブジェクトを有する画像において、2つのオブジェ
クトを統合することにより、復号可能な符号化データを
得ることができる。

【０１１３】オブジェクト配置情報判定器70において
は、ヘッダメモリ3から各オブジェクトの位置情報及び
サイズ情報を抽出し、統合する2つのオブジェクトを下
記の条件に基づいて決定する。尚、上記条件は、(1)，
(2)の順に優先とする。

【０１１４】（1）一方のオブジェクトが他方のオブジ
ェクトに包含されている （2）両オブジェクト間の距離が最も短い 図15に示す画像においては、オブジェクト2001〜2004
が、オブジェクト2000に含まれている。従って、オブジ
ェクト配置情報判定器70においては、オブジェクト2000
とオブジェクト2001を統合対象として決定する。

【０１１５】統合対象オブジェクトが決定されると、第
3実施例と同様にプロファイル・レベル判定器13はヘッ
ダ変更器15を動作させ、PLIの内容を復号器207に合わせ
て変更して符号化し、更にオブジェクト配置情報判定器
70による判定結果に基づいて、統合して得られる新たな
オブジェクトに関するヘッダ情報の生成、及び統合によ
り廃棄されるオブジェクトに関するヘッダ情報の削除を
行なう。具体的には、オブジェクト2000及び2001のオブ
ジェクト配置情報に基づいて、統合結果として得られる
新たなオブジェクトの配置情報を生成し、元のオブジェ
クト2000及び2001のオブジェクト配置情報を削除する。
そして、オブジェクト2000及び2001のヘッダ情報に基づ
いて、統合して得られるオブジェクトの大きさやその他
の情報をヘッダ情報として生成し、元のオブジェクト20
00及び2001のヘッダ情報を削除する。

【０１１６】オブジェクト配置判定器70は、オブジェク
ト2000及び2001の符号化データに関してはオブジェクト
統合器23において統合処理を行い、その他の符号化デー
タに関してはオブジェクト統合器23を介さないように、
セレクタ22，24の入出力を制御する。

【０１１７】そして、ヘッダ変更器15及びオブジェクト
2002〜2004の符号化データを格納した符号メモリ6，7，
8の内容を入力された順に読み出し、セレクタ22，24を
介して多重化器25に入力される。一方、統合対象である
オブジェクト2000，2001の符号データを格納した符号メ
モリ4，5の内容は、セレクタ22を介してオブジェクト統
合器23で統合された後、多重化器25に入力される。そし
て多重化器25でこれらの符号化データを多重化すること
により、符号化データ26が得られる。尚、オブジェクト
統合器23における統合処理は、上述した第3実施形態又
は第4実施形態と同様に実現される。

【０１１８】ここで、図14に、第5実施形態における符
号化データ26のビットストリームを示す。図14は即ち、
図3(a)に示す符号化データ1に対して、第5実施形態の統
合処理を施した結果を示す。図14によれば、統合結果と
して新たに得られたオブジェクトの配置情報を含むオブ
ジェクト配置情報δに続いて、VOSSC符号、ビジュアル
オブジェクトデータδ-1，δ-2，δ-3、及びVOSEC符号
が存在する。このビジュアルオブジェクトデータδ-1，
δ-2，δ-3は、図3(a)に示す元のビジュアルオブジェク
トデータα-1，α-2，α-3に対して、オブジェクトの統
合調整を施したものである。例えばビジュアルオブジェ
クトデータδ-1は、Visual Object SC符号に続き、復号
器207に適したプロファイル・レベルを表すPLI_δ、オ
ブジェクト2000及び2001を統合して得られた符号化デー
タVOデータH、オブジェクト2002〜2004の各符号化デー
タであるVOデータC，VOデータD，VOデータEにより構成
されている。

【０１１９】このようにして得られた符号化データ26
は、記憶装置206に格納されたり、又は復号器207で復号
されて図15に示す画像として復元され、表示器208に表
示される。

【０１２０】尚、上述した第1又は第2実施形態と同様
に、各オブジェクトの符号長やオブジェクトサイズ等
を、第5実施形態における統合オブジェクトの判定条件
に加えても良い。

【０１２１】以上説明したように第5実施形態によれ
ば、符号器と復号器においてプロファイルやレベルが異
なる場合においても、符号化データの復号が可能にな
る。

【０１２２】また、オブジェクトの位置関係に基づいて
統合することによって、統合によって変化してしまう符
号量を最小限に抑制しつつ、復号後のオブジェクトの喪
失を防ぐことができる。

【０１２３】尚、第5実施形態においてはオブジェクト
の位置関係に基づいて統合するオブジェクトを決定する
例について説明したが、上述した第1及び第2実施形態に
おいても、廃棄するオブジェクトをオブジェクトの位置
関係に基づいて選択することも可能である。

【０１２４】尚、第3乃至第5実施形態においては、2つ
のオブジェクトを統合して1つのオブジェクトを生成す
る例について説明したが、もちろん3つ以上のオブジェ
クトを統合したり、または、2組以上の統合を行なうこ
とも可能である。

【０１２５】尚、上述した第1乃至第5実施形態における
符号メモリ4〜8やヘッダメモリ3の構成は図2に示す例に
限定されず、より多くの符号メモリを設けても構わない
し、１つのメモリを複数領域に分割して使用したり、磁
気ディスク等の記憶媒体を使用してもちろん構わない。

【０１２６】また、廃棄又は統合対象となるオブジェク
トの選択についても、オブジェクトのサイズや符号長、
位置関係、ユーザによる指示等、複数の条件を組み合わ
せて決定しても良い。

【０１２７】また、本発明を画像編集装置に適用すれ
ば、編集処理によってオブジェクトの数が変化しても、
その出力を任意のプロファイルやレベルに適合させるこ
とが可能となる。

【０１２８】＜他の実施形態＞なお、本発明は、複数の
機器（例えばホストコンピュータ，インタフェイス機
器，リーダ，プリンタなど）から構成されるシステムに
適用しても、一つの機器からなる装置（例えば、複写
機，ファクシミリ装置など）に適用してもよい。

【０１２９】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【０１３０】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【０１３１】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【０１３２】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【０１３３】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。本発明を上記記憶
媒体に適用する場合、その記憶媒体には、先に説明した
フローチャートに対応するプログラムコードを格納する
ことになる。

【０１３４】

【発明の効果】以上説明したように本発明によれば、複
数の画像情報（オブジェクト）毎に符号化された符号化
データを、任意仕様の復号器で復号することが可能とな
る。

【０１３５】また、符号化データに含まれるオブジェク
ト数を調整することが可能となる。

【図面の簡単な説明】

【図1】本発明を適用した動画像処理装置の構成を示す
ブロック図、

【図2】第1実施形態におけるプロファイル・レベル調整
部の構成を示すブロック図、

【図3】動画像の符号化データの構成例を示す図、

【図4】第2実施形態におけるプロファイル・レベル調整
部の構成を示すブロック図、

【図5】第3実施形態におけるプロファイル・レベル調整
部の構成を示すブロック図、

【図6】第3実施形態におけるオブジェクト統合器の構成
を示すブロック図、

【図7】第3実施形態における統合後の符号化データの構
成例を示す図、

【図8】第3実施形態の変形例におけるオブジェクト統合
器の構成を示すブロック図、

【図9】第3実施形態におけるカラー画像情報の合成例を
示す図、

【図10】第3実施形態におけるマスク情報の合成例を示
す図、

【図11】第4実施形態におけるオブジェクト統合器の構
成を示すブロック図、

【図12】第4実施形態におけるカラー画像情報のスライ
ス構造を示す図、

【図13】第5実施形態におけるプロファイル・レベル調
整部の構成を示すブロック図、

【図14】第5実施形態における統合後の動画像符号化デ
ータの構成例を示す図、

【図15】符号化データの表す画像の構成例を示す図、

【図16】符号化データの表す画像の構成例を示す図、

【図17】MPEG4規格による符号化器の構成例を示す図、

【図18】MPEG4規格による復号器の構成例を示す図、

【図19】MPEG4規格による動画像符号化データの構成例
を示す図、

【図20】MPEG4規格によるプロファイル表、である。

【符号の説明】

1，17，26 符号化データ 2，60，61，1006 分離器 3 ヘッダメモリ 4，5，6，7，8，50，51，62，63，64，65 符号メモリ 9 プロファイル・レベル抽出器 10 オブジェクト計数器 11 復号器状態受信器 12 プロファイル・レベル入力器 13 プロファイル・レベル判定器 14 符号長比較器 15 ヘッダ変更器 16，25，68，1005 多重化器 18 サイズ比較器 20 オブジェクト選択指示器 21 オブジェクト選択器 22，24，52，54 セレクタ 23 オブジェクト統合器 53，1007，1008，1009 オブジェクト復号器 55，56 フレームメモリ 57，1010 合成器 58，1002，1003，1004 オブジェクト符号化器 59 符号長カウンタ 66 カラー画像情報符号合成器 67 マスク情報符号合成器 70 オブジェクト配置情報判定器 201 符号化器 202，206 記憶装置 203 送信器 204 受信器 205 プロファイル・レベル調整部 207 復号器 208 表示器 1001 オブジェクト定義器 1011 配置情報符号化器 1012 配置情報復号器 2000，2001，2002，2003，2004 オブジェクト

フロントページの続き Ｆターム(参考） 5B057 BA23 CA01 CA16 CA18 CB01 CB16 CB18 CE08 CG07 5C057 AA06 AA07 CA01 CE10 EL01 EM00 GF07 GG01 GH00 5C059 KK22 KK36 MA00 MB01 MB11 MB12 MB21 ME11 PP04 PP28 PP29 SS01 SS06 SS20 SS26 TA60 TB18 TC18 TC25 TD11 UA02 UA05 UA35 5C078 AA09 BA44 BA57 CA14 DA06 DA07 9A001 EE04 HH27 JZ19

Claims (27)

【特許請求の範囲】
1. 【請求項１】 符号化された複数の画像情報により１つ
   の画像を構成するデータ列を処理するデータ処理装置で
   あって、 前記データ列中の画像情報の数を変更する変更手段を有
   することを特徴とするデータ処理装置。
2. 【請求項２】 前記変更手段は、前記データ列中の画像
   情報の数を検出する検出手段を備え、前記検出手段によ
   って検出された画像情報の数が所定数よりも多い場合
   に、画像情報数を減らすことを特徴とする請求項１記載
   のデータ処理装置。
3. 【請求項３】 前記変更手段は、画像情報を廃棄するこ
   とにより画像情報数を減らすことを特徴とする請求項２
   記載のデータ処理装置。
4. 【請求項４】 前記変更手段は、前記データ列中の画像
   情報毎の符号長を監視する符号長監視手段を備え、該符
   号長の短い画像情報から順次廃棄することを特徴とする
   請求項３記載のデータ処理装置。
5. 【請求項５】 前記変更手段は、前記データ列中の画像
   情報毎のサイズを監視するサイズ監視手段を備え、該サ
   イズの小さい画像情報から順次廃棄することを特徴とす
   る請求項３記載のデータ処理装置。
6. 【請求項６】 前記変更手段は、複数の画像情報を統合
   することにより画像情報数を減らすことを特徴とする請
   求項２記載のデータ処理装置。
7. 【請求項７】 前記変更手段は、前記データ列中におい
   て複数の画像情報を選択する選択手段と、 該選択された複数の画像情報を統合する統合手段と、を
   有することを特徴とする請求項６記載のデータ処理装
   置。
8. 【請求項８】 前記選択手段は、ユーザによるマニュア
   ル選択を行なうことを特徴とする請求項７記載のデータ
   処理装置。
9. 【請求項９】 前記統合手段は、 前記選択手段により選択された複数の画像情報を復号す
   る復号手段と、 該復号された複数の画像情報を合成する合成手段と、 該合成された画像情報を符号化する符号化手段と、を有
   することを特徴とする請求項７記載のデータ処理装置。
10. 【請求項１０】 更に、前記選択手段により選択された
    画像情報の符号長を計数する計数手段を備え、 前記符号化手段は、該計数手段による計数結果に基づい
    て、符号化パラメータを制御することを特徴とする請求
    項９記載のデータ処理装置。
11. 【請求項１１】 前記統合手段は、前記選択手段により
    選択された複数の画像情報をそれぞれ色情報とマスク情
    報とに分離する分離手段と、 該分離された色情報を合成する色情報合成手段と、 該分離されたマスク情報を合成するマスク情報合成手段
    と、 合成された色情報及びマスク情報を多重化する多重化手
    段と、を有することを特徴とする請求項７記載のデータ
    処理装置。
12. 【請求項１２】 前記選択手段は、前記画像情報の位置
    に基づいて複数の画像情報を選択することを特徴とする
    請求項７記載のデータ処理装置。
13. 【請求項１３】 前記選択手段は、互いに包含関係にあ
    る複数の画像情報を選択することを特徴とする請求項１
    ２記載のデータ処理装置。
14. 【請求項１４】 前記選択手段は、互いの距離が所定値
    以下である複数の画像情報を選択することを特徴とする
    請求項１２記載のデータ処理装置。
15. 【請求項１５】 前記変更手段は、前記データ列中の画
    像情報毎の符号長を監視する符号長監視手段を備え、該
    符号長の短い画像情報から順次統合することを特徴とす
    る請求項６記載のデータ処理装置。
16. 【請求項１６】 前記変更手段は、前記データ列中の画
    像情報毎のサイズを監視するサイズ監視手段を備え、該
    サイズの小さい画像情報から順次統合することを特徴と
    する請求項６記載のデータ処理装置。
17. 【請求項１７】 前記変更手段は、前記データ列中の画
    像情報毎に優先順位を付加する順位付加手段を備え、該
    優先順位に基づいて画像情報を廃棄することを特徴とす
    る請求項３記載のデータ処理装置。
18. 【請求項１８】 前記変更手段は、前記データ列中の画
    像情報毎に優先順位を付加する順位付加手段を備え、該
    優先順位に基づいて画像情報を統合することを特徴とす
    る請求項６記載のデータ処理装置。
19. 【請求項１９】 前記所定数は、前記データ列の出力仕
    様に基づく復号可能な画像情報の数であることを特徴と
    する請求項２記載のデータ処理装置。
20. 【請求項２０】 前記データ列はMPEG4規格に基づいて
    符号化されており、前記出力仕様は、MPEG4規格に準じ
    る符号化仕様であることを特徴とする請求項１９記載の
    データ処理装置。
21. 【請求項２１】 複数の画像情報をそれぞれ符号化して
    １つの画像を構成するデータ列を生成する符号化手段
    と、 前記データ列中の画像情報の数を変更する変更手段と、 該変更された前記データ列を復号する復号手段と、を有
    することを特徴とするデータ処理システム。
22. 【請求項２２】 前記変更手段は、前記データ列中の画
    像情報の数を検出する検出手段を備え、前記検出手段に
    よって検出された画像情報の数が前記復号手段において
    復号可能な画像情報数よりも多い場合に、前記データ列
    中の画像情報数を減らすことを特徴とする請求項２１記
    載のデータ処理システム。
23. 【請求項２３】 符号化された複数の画像情報により１
    つの画像を構成するデータ列を処理するデータ処理方法
    であって、 前記データ列中の画像情報の数を変更することを特徴と
    するデータ処理方法。
24. 【請求項２４】 前記データ列中の画像情報の数を検出
    する検出工程と、該検出された画像情報の数が所定数よ
    りも多い場合に、画像情報数を減らす減数工程と、を有
    することを特徴とする請求項２３記載のデータ処理方
    法。
25. 【請求項２５】 前記減数工程においては、画像情報を
    廃棄することにより画像情報数を減らすことを特徴とす
    る請求項２４記載のデータ処理方法。
26. 【請求項２６】 前記減数工程においては、画像情報を
    統合することにより画像情報数を減らすことを特徴とす
    る請求項２４記載のデータ処理方法。
27. 【請求項２７】 符号化された複数の画像情報により１
    つの画像を構成するデータ列を処理するデータ処理のプ
    ログラムコードが記録された記録媒体であって、該プロ
    グラムは、 前記データ列中の画像情報の数を検出する検出工程のコ
    ードと、 該検出された画像情報の数が所定数よりも多い場合に、
    画像情報数を減らす減数工程のコードと、を含むことを
    特徴とする記録媒体。