JP4355881B2 - 動画像符号化方式 - Google Patents
動画像符号化方式 Download PDFInfo
- Publication number
- JP4355881B2 JP4355881B2 JP2000340625A JP2000340625A JP4355881B2 JP 4355881 B2 JP4355881 B2 JP 4355881B2 JP 2000340625 A JP2000340625 A JP 2000340625A JP 2000340625 A JP2000340625 A JP 2000340625A JP 4355881 B2 JP4355881 B2 JP 4355881B2
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- information
- encoding
- master
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
- H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化方式に関し、特に複数のオブジェクトを符号化する動画像符号化方式における符号量制御方式の改良に関する。
【０００２】
【従来の技術】
従来、この種の動画像符号化方式は、例えば特開平１１−２２５３２９号公報に示されるように、複数のオブジェクトからなる動画像を決められた符号量に収まるように制御して符号化する目的で用いられている。
【０００３】
図１１は、複数のオブジェクトからなる動画像を符号化する従来の動画像符号化手段の一例を示すブロック図である。まず、図１１の構成について説明する。
【０００４】
符号化手段１０００へは第１オブジェクトデータが入力され、その第１の出力は第１オブジェクト符号列を出力し、第２の出力（第１オブジェクト発生符号量）は減算手段１００３へ接続される。符号化手段１００１へは第２オブジェクトデータと減算手段１００３の出力が入力され、その第１の出力は第２オブジェクト符号列を出力し、第２の出力（第２オブジェクト発生符号量）と第３の出力（第２オブジェクト符号化情報）とは全VOP（ビデオオブジェクトプレーン）目標符号量決定手段１００２へ接続される。全VOP目標符号量決定手段１００２へは単位時間許容符号量と符号化手段１００１の第２の出力と第３の出力とが入力され、その出力（全VOP目標符号量）は減算手段１００３へ接続される。減算手段１００３へは、全VOP目標符号量決定手段１００２の出力と符号化手段１０００の第２の出力とが入力され、その出力（第２オブジェクトVOP目標符号量）は符号化手段１００１へ接続される。
【０００５】
次に、図１１に示す符号化手段の動作について説明する。
【０００６】
第１オブジェクトデータは、符号化手段１０００において符号化され、各VOP毎に符号化が行われる。そして、符号化結果である第１オブジェクト符号列を出力する。また、この符号化で生じた各VOPの符号量を第１オブジェクト発生符号量として出力する。
【０００７】
全VOP目標符号量決定手段１００２では、符号化手段１００１で過去のVOPの符号化で求まった符号化情報と発生符号量と外部から与えられる許容符号量とに基づいて、全VOPの符号化に要する符号量の目標値である全VOP目標符号量を算出し、出力する。許容符号量は、全オブジェクトの合計符号量の上限を与える符号量であり、例えば帯域であったり、記録媒体の記録可能な容量であったりする。符号化情報は、例えば量子化ステップの平均値が考えられる。
【０００８】
また、全VOP目標符号量は、各オブジェクトのVOPを符号化した際に発生する符号量の合計値に対する目標値である。全VOP目標符号量の決定法としては、例えばMPEG−２のTM−５（Test Model 5）が考えられる。この場合、過去の発生符号量と量子化ステップの平均値とから、I、P、Bの各ピクチャタイプに対する複雑度を表す指標を算出し、GOV（Group of VOP）に割り当て可能な符号量を求まった複雑度に応じて配分し、各VOPの目標符号量を算出する。
【０００９】
全VOP目標符号量決定手段１００２から出力される全VOP目標符号量は減算手段１００３へ入力される。減算手段１００３では、全VOP目標符号量決定手段１００２から出力される符号量から、第１オブジェクトの対応するVOPの符号化に要した符号量である第１オブジェクト発生符号量を減じ、第２オブジェクトのVOPの符号化に要する符号量の目標値である第２オブジェクトVOP目標符号量を算出する。
【００１０】
第２オブジェクトVOP目標符号量は、符号化手段１００１へ入力される。符号化手段１００１では、第２オブジェクトの各VOPを、減算手段１００３から出力される第２オブジェクトVOP目標符号量になるように制御して符号化し、第２オブジェクト符号列を生成し、出力する。また、符号化で実際に生じた符号量を表す第２オブジェクト発生符号量と符号化情報を全VOP目標符号量決定手段１００２へ出力する。
【００１１】
以上、図１１の符号化手段の動作について説明してきたが、特開平１１−２２５３２９号公報では、背景画像の更新情報が第１オブジェクトであり、符号化手段１０００では、JPEGなどの静止画符号化を行う方式を開示している。この方式では、まず、背景画像を静止画像として符号化して伝送あるいは蓄積し、次に前景オブジェクトと背景の更新情報を符号化して伝送あるいは蓄積する。すなわち、背景画像の更新情報を符号化手段１０００において静止画符号化し、これによって生じる符号量を全VOP目標符号量から引いた値で前景オブジェクトを符号化する。この際、背景の更新情報の符号化によって生じる符号量は、全VOP目標符号量に比べると十分小さいと仮定している。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像符号化方式では、次のような問題がある。
【００１３】
第１の問題点は、第２オブジェクトの符号化制御によって求まるVOP目標符号量を全VOPに割り当てる符号量の目標値として、それから第１オブジェクトの符号化によって実際に生じた符号量を減じることで第２オブジェクトのVOPの符号化の目標値を決定しているということである。
【００１４】
第１オブジェクトの符号化に要する符号量が大きくなると、第２オブジェクトに割り当てられる符号量が減少し、復号画質の大幅な劣化を招く。特に、全VOP目標符号量決定手段１００２において算出される全VOP目標符号量よりも第１オブジェクト発生符号量が大きい場合には、第２オブジェクトVOP目標符号量はマイナスとなってしまい、第２オブジェクトのVOPは符号化できなくなってしまう。
【００１５】
第２の問題点は、第１オブジェクトと第２オブジェクトとの関係を入れ替えることができないということである。
【００１６】
動画像シーケンスの途中で、第１オブジェクトと第２オブジェクトの役割を逆転させて符号化した方がよい場合であっても、従来の符号化手段ではこの関係を入れ替えることができない。前述の符号化方式は、第１オブジェクトのVOPをまず符号化し、残りの符号量で第２オブジェクトを符号化する、第１オブジェクトがマスタで第２オブジェクトがスレーブの関係にある符号化手段と見なすことができるが、この関係は固定である。このため、例えば前景オブジェクトの大きさが急激に小さくなっていく場合など、背景と前景の符号化の主従関係を変えた方がよい場合であっても、この切り替えを動的に行うことはできない。
【００１７】
本発明の目的は、主となるオブジェクトのVOPの発生符号量が一時的に増大した場合でも、他のオブジェクトの符号化への影響を軽減し、復号画像全体の画質を高画質に保つことができる動画像符号化方式を提供することにある。また、オブジェクト間の符号化の主従関係を動的に変更できる動画像符号化方式を提供することにある。
【００１８】
【課題を解決するための手段】
本発明による動画像符号化方式は、入力される第１オブジェクトデータを、単位時間の許容符号量を表す単位時間許容符号量の範囲内で符号化し、第１オブジェクト符号列を生成して出力するとともに、第1オブジェクト発生符号量を出力する第１オブジェクト符号化手段と、第１オブジェクト発生符号量を記憶する符号量履歴記憶手段と、符号量履歴記憶手段から出力される第１オブジェクト発生符号量を、単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を単位時間許容符号量から減じて他オブジェクト単位時間許容符号量を算出する他オブジェクト許容符号量算出手段と、入力される第２オブジェクトVOP（ビデオオブジェクトプレーン）目標符号量に従って符号化制御を行って第２オブジェクトデータの各VOPを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト符号化情報と、第２オブジェクト発生符号量とを出力する第２オブジェクト符号化手段と、第２オブジェクト符号化情報と、第２オブジェクト発生符号量とに基づいて、単位時間の長さを有する時間軸上の区間に含まれる各VOPに、他オブジェクト単位時間許容符号量を配分し、第２オブジェクトの各VOPを符号化する際の符号量の目標値となる第２オブジェクトVOP目標符号量を算出する第２オブジェクトVOP目標符号量決定手段とを有することを特徴とする。
【００１９】
この動画像符号化手段では、第１オブジェクトの発生符号量を単位時間内で積算し、これを単位時間の全体の許容符号量から差し引いて、第２オブジェクトの符号化に用いることができる符号量を算出する。そして、これを配分して、第２オブジェクトの各VOPに割り当てる符号量を決定する。
【００２０】
従って、第１オブジェクトの発生符号量が特定のVOPで増加した場合であっても、それが第２オブジェクトの符号化に与える影響を単位時間内に均等に分散させることができ、第２オブジェクトの符号量の極端な変動を抑えることができる。
【００２１】
本発明による動画像符号化方式は、他オブジェクト許容符号量算出手段において加算される第１オブジェクト発生符号量に対応する区間と、第２オブジェクトVOP目標符号量決定手段において第２オブジェクトVOP目標符号量の算出対象となる区間とが、時間軸上で一致する。
【００２２】
これにより、第１オブジェクトと第２オブジェクトの符号化の間に遅延が生じるものの、第１オブジェクト、第２オブジェクトの発生符号量の合計は、単位時間毎に許容符号量に一致する符号化を実現できる。
【００２３】
本発明による動画像符号化方式は、他オブジェクト許容符号量算出手段において加算される第１オブジェクト発生符号量に対応する区間は、第２オブジェクトVOP目標符号量決定手段において第２オブジェクトVOP目標符号量の算出対象となる区間よりも、時間軸上で単位時間以上早いことを特徴とする。
【００２４】
すなわち、他オブジェクト許容符号量算出手段で算出される他オブジェクト単位時間許容符号量は、この算出に用いた第１オブジェクトと同時刻ではなく、単位時間以上後の単位時間内に含まれる第２オブジェクトの符号化の制御に用いられる。これにより、第２オブジェクトの符号化に遅延が生じない符号化を実現できる。
【００２５】
本発明による動画像符号化方式は、複数のオブジェクトを符号化する動画像符号化方式であって、入力される第１オブジェクト第１符号化情報と入力される第２オブジェクト第１符号化情報と入力される優先度情報とを用いてマスタとなるべきオブジェクトを決定し、どのオブジェクトがマスタであるかを表す情報であるマスタオブジェクト情報を出力するマスタオブジェクト決定手段と、第１オブジェクトがマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、単位時間の許容符号量を表す単位時間許容符号量の範囲内で第１オブジェクトデータを符号化し、第１オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第１符号化情報と、第1オブジェクト第１発生符号量とを出力し、かつ、第１オブジェクト以外がマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、入力される第１オブジェクトVOP目標符号量に従って符号化制御を行って第１オブジェクトデータの各VOPを符号化し、第１オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第２符号化情報と、第１オブジェクト第２発生符号量とを出力する第１オブジェクト符号化手段と、第１オブジェクト第２符号化情報と、第1オブジェクト第２発生符号量とに基づいて、単位時間の長さを有する時間軸上の区間に含まれる各VOPに、入力される第１の他オブジェクト単位時間許容符号量を配分し、第１オブジェクトの各VOPを符号化する際の符号量の目標値となる第１オブジェクトVOP目標符号量を算出する第１オブジェクトVOP目標符号量決定手段と、第１オブジェクト第１発生符号量情報を記憶する第１の符号量履歴記憶手段と、第１の符号量履歴記憶手段から出力される第１オブジェクト第１発生符号量を、単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を単位時間許容符号量から減じて第２の他オブジェクト単位時間許容符号量を算出する第１の他オブジェクト許容符号量算出手段と、第２オブジェクトがマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、単位時間の許容符号量を表す単位時間許容符号量の範囲内で第２オブジェクトデータを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト第１符号化情報と、第２オブジェクト第１発生符号量とを出力し、かつ、第２オブジェクト以外がマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、入力される第２オブジェクトVOP目標符号量に従って符号化制御を行って第２オブジェクトデータの各VOPを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト第２符号化情報と、第２オブジェクト第２発生符号量とを出力する第２オブジェクト符号化手段と、第２オブジェクト第２符号化情報と、第２オブジェクト第２発生符号量とに基づいて、単位時間の長さを有する時間軸上の区間に含まれる各VOPに、入力される第２の他オブジェクト単位時間許容符号量を配分し、第２オブジェクトの各VOPを符号化する際の符号量の目標値となる第２オブジェクトVOP目標符号量を算出する第２オブジェクトVOP目標符号量決定手段と、第２オブジェクト第１発生符号量情報を記憶する第２の符号量履歴記憶手段と、第２の符号量履歴記憶手段から出力される第２オブジェクト第１発生符号量を、単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を単位時間許容符号量から減じて第１の他オブジェクト単位時間許容符号量を算出する第２の他オブジェクト許容符号量算出手段とを有することを特徴とする。
【００２６】
マスタオブジェクト決定手段から出力されるマスタオブジェクト情報によって、符号化手段と符号化手段の主従関係を切り替えることができる。これにより、オブジェクトの面積の変化などによってオブジェクトの重要度が変化した場合であっても、動的に符号化手段の主従関係を制御することで、全体の復号画質を確保することができる。
【００２７】
本発明による動画像符号化方式は、第１の他オブジェクト許容符号量算出手段において加算される第１オブジェクト第１発生符号量に対応する区間と、第２オブジェクトVOP目標符号量決定手段において第２オブジェクトVOP目標符号量の算出対象となる区間とが、時間軸上で一致し、第２の他オブジェクト許容符号量算出手段において加算される第２オブジェクト第１発生符号量に対応する区間と、第１オブジェクトVOP目標符号量決定手段において第１オブジェクトVOP目標符号量の算出対象となる区間とが、時間軸上で一致することを特徴とする。
【００２８】
これにより、第１オブジェクトと第２オブジェクトの符号化の間に遅延が生じるものの、第１オブジェクト、第２オブジェクトの発生符号量の合計は、単位時間毎に許容符号量に一致する符号化を実現できる。
【００２９】
本発明による動画像符号化方式は、第１の他オブジェクト許容符号量算出手段において加算される第１オブジェクト第１発生符号量に対応する区間は、第２オブジェクトVOP目標符号量決定手段において第２オブジェクトVOP目標符号量の算出対象となる区間よりも、時間軸上で単位時間以上早く、第２の他オブジェクト許容符号量算出手段において加算される第２オブジェクト第１発生符号量に対応する区間は、第１オブジェクトVOP目標符号量決定手段において第１オブジェクトVOP目標符号量の算出対象となる区間よりも、時間軸上で単位時間以上早いことを特徴とする。
【００３０】
すなわち、他オブジェクト許容符号量算出手段で算出される他オブジェクト単位時間許容符号量は、この算出に用いた第１オブジェクトと同時刻ではなく、単位時間以上後の単位時間内に含まれる第２オブジェクトの符号化の制御に用いられる。また、他オブジェクト許容符号量算出手段で算出される他オブジェクト単位時間許容符号量は、この算出に用いた第２オブジェクトと同時刻ではなく、単位時間以上後の単位時間内に含まれる第１オブジェクトの符号化の制御に用いられる。これにより、第１オブジェクトと第２オブジェクトの符号化に時間差が生じない符号化を実現できる。
【００３１】
本発明による動画像符号化方式は、第１オブジェクト符号化手段は、マスタオブジェクト情報に従って、スイッチを制御するための信号である第１オブジェクトスイッチ制御信号を出力する第１オブジェクトスイッチ制御手段と、第１オブジェクトスイッチ制御信号に従って出力先を選択し、選択した出力先に第１オブジェクトデータを出力する第１オブジェクト入力スイッチ手段と、第１オブジェクトがマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、単位時間許容符号量の範囲内で第１オブジェクト入力スイッチ手段の一方から出力される第１オブジェクトデータを符号化し、第１オブジェクト第１符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクトマスタ符号化情報と、第1オブジェクト第１発生符号量とを出力する第１オブジェクトマスタ符号化手段と、第１オブジェクト第１符号列を一時的に蓄積する第1オブジェクト出力蓄積手段と、第１オブジェクト入力スイッチ手段の他方の出力から出力される第１オブジェクトデータを一時的に蓄積する第１オブジェクト入力蓄積手段と、第１オブジェクト以外がマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、入力される第１オブジェクトVOP目標符号量に従って符号化制御を行い、第１オブジェクト入力蓄積手段から出力される第１オブジェクトデータの各VOPを符号化し、第１オブジェクト第２符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第２符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクトスレーブ符号化情報と、第１オブジェクト第２発生符号量とを出力する第１オブジェクトスレーブ符号化手段と、第１オブジェクトスイッチ制御信号に従って、第1オブジェクト出力蓄積手段から出力される第１オブジェクト第１符号列又は第１オブジェクト第２符号列のいずれか一方を選択し、第１オブジェクト符号列として出力する第１オブジェクト出力スイッチ手段と、第１オブジェクトスイッチ制御信号に従って、第１オブジェクトマスタ符号化情報と第１オブジェクトスレーブ符号化情報とのいずれか一方を選択し、第１オブジェクト第１符号化情報として出力する第１オブジェクト符号化情報スイッチ手段とを有することを特徴とし、第２オブジェクト符号化手段も、第１オブジェクト符号化手段が備える各手段と同等の手段を有することを特徴とする。
【００３２】
第１オブジェクトがマスタオブジェクトの場合は、マスタ符号化手段で符号化し、そうでない場合はスレーブ符号化手段で符号化するように各スイッチ手段を制御する。また、第１オブジェクトがマスタオブジェクトでなくなる場合は、マスタオブジェクト情報が変化してから単位時間内は、マスタ符号化手段、スレーブ符号化手段は両方とも符号化を行わない。逆に、第１オブジェクトがマスタオブジェクトになる場合は、マスタオブジェクト情報が変化してから単位時間内は、マスタ符号化手段、スレーブ符号化手段の両方で符号化を行う。このようにすることで、遅延を累積させることなく、第１オブジェクト、第２オブジェクトを符号化できる。
【００３３】
本発明による動画像符号化方式は、複数のオブジェクトを符号化する動画像符号化方式であって、入力されるマスタオブジェクト符号化情報と入力されるスレーブオブジェクト第１符号化情報と入力される優先度情報とを用いてマスタとなるべきオブジェクトを決定し、どのオブジェクトがマスタであるかを表す情報であるマスタオブジェクト情報を出力するマスタオブジェクト決定手段と、マスタオブジェクト情報に従って、スイッチを制御するための信号であるスイッチ制御信号を出力するスイッチ制御手段と、スイッチ制御信号に従って、第１オブジェクトデータと第２オブジェクトデータとをそれぞれマスタオブジェクトデータとスレーブオブジェクトデータとして出力するか、あるいは、第１オブジェクトデータと第２オブジェクトデータとをそれぞれスレーブオブジェクトデータとマスタオブジェクトデータとして出力する入力スイッチ手段と、スレーブオブジェクトデータを一時的に蓄積する入力蓄積手段と、マスタオブジェクトデータを単位時間の許容符号量を表す単位時間許容符号量の範囲内で符号化し、マスタオブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含むマスタオブジェクト符号化情報と、マスタオブジェクト発生符号量とを出力するマスタオブジェクト符号化手段と、マスタオブジェクト発生符号量を記憶する符号量履歴記憶手段と、符号量履歴記憶手段から出力されるマスタオブジェクト発生符号量を、単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を単位時間許容符号量から減じて他オブジェクト単位時間許容符号量を算出する他オブジェクト許容符号量算出手段と、入力されるスレーブオブジェクトVOP目標符号量に従って符号化制御を行って入力蓄積手段から出力されるスレーブオブジェクトデータの各VOPを符号化し、スレーブオブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含むスレーブオブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含むスレーブオブジェクト第２符号化情報と、スレーブオブジェクト発生符号量とを出力するスレーブオブジェクト符号化手段と、スレーブオブジェクト第２符号化情報と、スレーブオブジェクト発生符号量とに基づいて、単位時間の長さを有する時間軸上の区間に含まれる各VOPに、他オブジェクト単位時間許容符号量を配分し、スレーブオブジェクトの各VOPを符号化する際の符号量の目標値となるスレーブオブジェクトVOP目標符号量を算出するスレーブオブジェクトVOP目標符号量決定手段と、マスタオブジェクト符号列を一時的に蓄積する出力蓄積手段と、スイッチ情報に従って、出力蓄積手段から出力されるマスタオブジェクト符号列とスレーブオブジェクト符号列とを、それぞれ第１オブジェクト符号列と第２オブジェクト符号列として出力するか、あるいは、出力蓄積手段から出力されるマスタオブジェクト符号列とスレーブオブジェクト符号列とを、それぞれ第２オブジェクト符号列と第１オブジェクト符号列として出力する出力スイッチ手段とを有することを特徴とする。
【００３４】
第１オブジェクトがマスタオブジェクトの場合は、マスタとなる符号化手段で符号化し、そうでない場合はスレーブとなる符号化手段で符号化するように各スイッチ手段を制御する。また、第１オブジェクトがマスタオブジェクトでなくなる場合は、マスタオブジェクト情報が変化してから単位時間内は、両方の符号化手段で第２オブジェクトを符号化し、逆に、第１オブジェクトがマスタオブジェクトになる場合は、マスタオブジェクト情報が変化してから単位時間内は、両方の符号化手段で第１オブジェクトを符号化する。このようにすることで、遅延を累積させることなく、第１オブジェクト、第２オブジェクトを符号化できる。
【００３５】
本発明による動画像符号化方式は、他オブジェクト単位時間許容符号量をマスタオブジェクト以外のオブジェクトに配分し、マスタオブジェクト以外のオブジェクトVOP目標符号量決定手段へ出力する他オブジェクト許容符号量配分手段をさらに具備することを特徴とする。
【００３６】
これにより、２つのオブジェクトだけではなく、３つ以上のオブジェクトを符号化する場合にも、本発明の動画像符号化方式を拡張できる。
【００３７】
【発明の実施の形態】
次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。
【００３８】
図１を参照すると、本発明の一実施の形態としての動画像符号化手段が示されている。まず、図１の符号化手段の構成について説明する。
【００３９】
符号化手段１０１へは第１オブジェクトデータと単位時間許容符号量とが入力され、その第１の出力（符号列）は第１オブジェクト符号列を出力し、第２の出力（発生符号量）は符号量履歴記憶手段１０３へ接続される。符号量履歴記憶手段１０３へは符号化手段１０１の第２の出力が入力され、その出力（発生符号量）は他オブジェクト許容符号量算出手段１０４へ接続される。他オブジェクト許容符号量算出手段１０４へは、単位時間許容符号量と、符号量履歴記憶手段１０３の出力とが入力され、その出力（他オブジェクト単位時間許容符号量）は、VOP目標符号量決定手段１０５へ接続される。符号化手段１０２へは第２オブジェクトデータとVOP目標符号量決定手段１０５の出力とが入力され、その第１の出力（符号列）は第２オブジェクト符号列を出力し、第２の出力（発生符号量）と第３の出力（符号化情報）はVOP目標符号量決定手段１０５へ接続される。VOP目標符号量決定手段１０５へは、他オブジェクト許容符号量算出手段１０４の出力と、符号化手段１０２の第２の出力と第３の出力とが入力され、その出力（VOP目標符号量）は符号化手段１０２へ接続される。
【００４０】
次に、図１の符号化手段の動作について説明する。
【００４１】
第１オブジェクトデータは、第１オブジェクトのビデオオブジェクトプレーン（VOP）からなるシーケンスであり、符号化手段１０１へ入力される。ここでVOPは、形状情報を持つ画像オブジェクトの各駒（フレーム）を表す。もちろん、インタレース画像の場合は、フィールド単位でVOPを構成してもよい。形状情報は、各画素がオブジェクトに含まれるか否かを表すデータである。ただし、形状が画面サイズと同じ長方形の場合には、形状情報は含まなくてもよい。また、形状情報は２値でなく、オブジェクトの画素値の混合比率を表す値であってもよい。
【００４２】
符号化手段１０１では、第１オブジェクトデータを符号化して符号列を生成し、第１オブジェクト符号列として出力する。また、符号化によって生じた符号量（発生符号量）を出力する。この符号化方式としては、例えばMPEG-４の方式を用いることができる。第１オブジェクトの符号化は、他のオブジェクト（図１の場合は第２オブジェクト）の符号化に比べると制約は少なく、基本的には、単位時間ごとの符号量が、入力される単位時間許容符号量を超えない範囲であれば、どのように符号化してもよい。
【００４３】
ここで、単位時間とは、符号量制御の基本となる時間である。まず、この単位時間ごとに符号量を割り当て、これをより細分化することによって符号化制御を行う。そして、単位時間許容符号量とは、単位時間に含まれるVOPに割り当てることが可能な符号量の総量を表す。単位時間としては、例えばGOV（Group of VOP）に対応する時間をとることが考えられる。毎秒ｎ枚のVOPからなるオブジェクトの符号化でN枚のVOPで１GOVを構成する場合、１GOVが含まれるN/n秒が単位時間になる。そして、rｂｐｓで符号化する場合には、単位時間許容符号量はNr/n ビットとなる。
【００４４】
このように、画面を構成するオブジェクトのうち、重要なオブジェクトを第１オブジェクトとして優先的に符号化する。例えば、第１オブジェクトは量子化幅固定で画質重視の符号化を行い、残りの割り当て可能な符号量で他のオブジェクトを符号化する。これにより、重要なオブジェクトの画質を劣化させずに符号化できる。
【００４５】
符号化手段１０１から出力される第１オブジェクトの発生符号量は、符号量履歴記憶手段１０３に入力され、一時的に記憶された後、他オブジェクト許容符号量算出手段１０４へ入力される。他オブジェクト許容符号量算出手段１０４では、単位時間に含まれる第１オブジェクトの各VOPを符号化して発生した符号量を符号量履歴記憶手段１０３から読み出し、これを合計することで、単位時間に第１オブジェクトの符号化で発生した符号量の合計を算出する。次に、算出された符号量の合計値を他方から入力される単位時間許容符号量から差し引くことで、第１オブジェクト以外のオブジェクトの符号化に用いることができる符号量を算出する。そして、これを他オブジェクト単位時間許容符号量として出力する。
【００４６】
一方、第２オブジェクトデータは、第２オブジェクトのVOPからなるシーケンスであり、符号化手段１０２へ入力される。符号化手段１０２では、第２オブジェクトデータを符号化して符号列を生成し、第２オブジェクト符号列として出力する。また、符号化によって生じた符号量を発生符号量として出力し、量子化情報や動き情報、アクティビティ情報、符号化誤差情報などを符号化情報として出力する。第２オブジェクトの符号化においては、各VOPの発生符号量が、VOP目標符号量決定手段１０５から出力されるVOP目標符号量になるように符号化制御を行う。この符号化方式としても、例えばMPEG-4の方式を用いることができる。
【００４７】
VOP目標符号量決定手段１０５では、他オブジェクト許容符号量算出手段１０４から出力される他オブジェクト単位時間許容符号量と、符号化手段１０２から出力される符号化情報と発生符号量とから、第２オブジェクトの各VOPの符号化に用いることができる符号量であるVOP目標符号量を決定し、符号化手段１０２へ出力する。この決定法としては、例えばMPEG−２のTM−５（Test
Model 5）を用いることができる。この場合、符号化手段１０２から出力される符号量情報は量子化ステップ情報を含み、この平均値と発生符号量との積として求まる複雑度指標をピクチャタイプごとに求め、この複雑度指標とGOV内でこれから符号化するVOPの枚数に応じて符号量を分配し、第２オブジェクトの各VOPの目標符号量を決定する。あるいは、MPEG−４のVM（Verification Model）のような符号量制御方法を用いてもよい。
【００４８】
次に、単位時間をGOVに相当する時間とした場合の、上述の符号化における符号量割り当てについて、式等を用いて詳細に説明する。
【００４９】
第１オブジェクトデータのGOV内のVOP数をN1、第２オブジェクトデータのGOV内のVOP数をN2とする。ここで、N1とN2は同じであってもよいし、異なっていてもよい。ただし、単位時間は、全てのオブジェクトで共通とする。また、第１オブジェクトの各VOPでの発生符号量をb1(i) (i=0、 …、N1−1)とし、第２フレームの各VOPでの発生符号量をb2(j) (j=0、…、N2−1)とする。このとき、第１オブジェクトのGOV全体での発生符号量（これをR1とする）は
【００５０】
【数１】
【００５１】
となる。よって、単位時間許容符号量をRとすると、他オブジェクト単位時間許容符号量（これをR2とする）は、
【００５２】
【数２】
【００５３】
となる。図１の場合は、符号化するオブジェクトの数が２つであるため、他オブジェクト単位時間許容符号量はそのまま第２オブジェクトの許容符号量となる。
【００５４】
第２オブジェクトの符号化では、R2の符号量をGOVに含まれるN2枚の各VOPに割り当てて符号化する。初めのJ（=1、2、…、N2−1）枚のVOPの符号化が完了すると、残りのVOPに割り当てることができる符号量の総量は、
【００５５】
【数３】
【００５６】
となる。そこで、残りのN2−J枚のVOPの符号化では、これを配分してVOP目標符号量を決定する。これをJ=1、２、…、N2−１に対して繰り返し、各VOPの符号量を算出する。
【００５７】
上述の符号化では、単位時間に含まれる第１オブジェクトの符号化が終わった時点で、その単位時間内で第１オブジェクトの符号化で費やした符号量を算出し、単位時間許容符号量から差し引いて第２オブジェクトの単位時間の符号化で割り当て可能な符号量を決定する。
【００５８】
次に、第１オブジェクトの符号化と第２オブジェクトの符号化の時間軸上での関係について図を用いて述べる。ここでも単位時間を１GOVとしているが、必ずしもそれに限らなくてもよい。
【００５９】
図２は、第１オブジェクトデータ、第２オブジェクトデータの符号化が行われる時刻の関係を示した図である。図において、第１オブジェクト、第２オブジェクトのGOVのシーケンスをそれぞれGOV1（ｉ）、GOV2（ｉ）（ｉ=0、1、2、…）で表している。図からわかるように、第２オブジェクトは、第１オブジェクトよりも単位時間以上遅れて符号化される。このため、伝送路に送出する際にオブジェクト間の同期をとる必要がある場合は、第１オブジェクト符号列を一時的に蓄えるバッファを用意し、同期をとるようにする。
【００６０】
次に発生符号量について考えると、ｍ番目のGOVでの第１オブジェクト、第２オブジェクトの発生符号量をそれぞれR1（ｍ）、R2（ｍ）で表すことにすると、各オブジェクトのGOV単位での発生符号量は表１のようになる。これより、第２オブジェクトの符号化には遅延が生じるものの、発生符号量のオブジェクト間での総和はGOVごとに正確に単位時間許容符号量に一致する。
【００６１】
【表１】
【００６２】
以上、２つのオブジェクトを符号化する際の符号化手段を図１を用いて説明してきたが、これを３つ以上のオブジェクトの場合に拡張することもできる。この場合、他オブジェクト許容符号量算出手段１０４の後に他オブジェクト単位時間許容符号量を複数のオブジェクトに分配するための許容符号量分配手段を新たに設ければよい。そして、第１オブジェクト以外の各オブジェクトに対し、図１のVOP目標符号量決定手段１０５と同等の手段と、符号化手段１０２と同等の手段を用意し、許容符号量分配手段によって分配された結果を、各オブジェクトのVOP目標符号量決定手段に送出するようにすればよい。
【００６３】
許容符号量分配手段における他オブジェクト単位時間許容符号量の分配方法については、例えば、各オブジェクトの形状情報から面積を求め、この面積の比率に応じて比例配分する方法がある。ただし、形状情報が２値でない場合は、まず２値化してから面積を算出する。あるいは、オブジェクトの重要性を考慮してこれを重み付けする方法、オブジェクトの動き情報やアクティビティ情報を用いてオブジェクトが注目される度合いを表す指標を算出し、これに基づいて比例配分する方法などが考えられる。
【００６４】
上述の通り、本発明の第１の実施の形態では、第１オブジェクトの発生符号量が特定のVOPで増加した場合であっても、それが第２オブジェクトの符号化に与える影響を単位時間内に均等に分散させることができる。これにより、第２オブジェクトの符号量の極端な変動を抑えることができ、第１オブジェクトと第２オブジェクトを復号し、合成してできる画像の画質を改善できる。
【００６５】
次に、本発明の第２の実施の形態について説明する。
【００６６】
今までは、符号化に単位時間の遅延が許される場合について述べたが、ここでは、遅延が許されない場合の符号化方法について述べる。
【００６７】
符号化手段の構成は図１と同様であり、各手段の動作も基本的には同様である。ただし、入力時に第１オブジェクトと第２オブジェクトとで時間差は生じていないものとする。この場合、他オブジェクト許容符号量算出手段１０４から出力される他オブジェクト単位時間許容符号量を用いて符号化制御するのは、第１オブジェクトと同時刻のGOVではなく、それよりも遅れたGOVである。すなわち、 GOV1（ｉ）の符号化の結果求まった他オブジェクト単位時間許容符号量を用いて符号化するのは、 GOV2（ｉ＋ｋ）（ｋ＞０）である。
【００６８】
すなわち、第1の実施の形態では、遅延を許すかわりに
【００６９】
【数４】
【００７０】
の関係が成り立っていたのに対し、第２の実施の形態では、
【００７１】
【数５】
【００７２】
が成り立つように制御する。ただし、このままでは、始めのｋ個のGOVは、第２オブジェクトの発生符号量が定まらないことになるため、この期間については予め定めた符号量で符号化する。
【００７３】
第１オブジェクトの符号化と第２オブジェクトの符号化の時間軸上での関係を図で表したものが図３である。図に示す通り、第１オブジェクトと第２オブジェクトの符号化の間には時間差は生じていない。
【００７４】
一方、発生符号量は表２のようになる。表２では、例としてｋ＝１の場合の各GOVにおける発生符号量を示している。第２オブジェクトの最初のGOVの符号化制御では、予め定めた値R0を用いる。表２からわかる通り、GOVごとにオブジェクト間で合計するとその合計値は変動する。しかし、より長い時間で平均をとれば、基本的には許容符号量に収まっていることになる。この変動分は、符号列を蓄積するためのバッファを用意し、一旦このバッファに符号列を蓄積した後、タイミングを調整しながら符号列を伝送路に送出することにより吸収できる。
【００７５】
【表２】
【００７６】
以上述べたように、第２の実施の形態では、GOV単位で見ると符号量のオブジェクト間での総和にばらつきが生じるものの、それほど遅延を生じさせずに符号化することが可能となる。
【００７７】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を第１の実施の形態と同様にして構築できる。
【００７８】
次に、本発明の第３の実施の形態について説明する。
【００７９】
図４を参照すると、本発明の一実施の形態としての動画像符号化手段が示されている。まず、図４に示される符号化手段の構成について説明する。
【００８０】
符号化手段２０１へは第１オブジェクトデータと単位時間許容符号量とマスタオブジェクト決定手段２０６の出力とVOP目標符号量決定手段２０５の出力とが入力され、符号化手段２０１の第１の出力（符号列）は第１オブジェクト符号列を出力し、第２の出力（第１発生符号量）は符号量履歴記憶手段１０３へ接続され、第３の出力（第１符号化情報）はマスタオブジェクト決定手段２０６へ接続され、第４の出力（第２発生符号量）と第５の出力（第２符号化情報）はVOP目標符号量決定手段２０５へ接続される。
【００８１】
符号量履歴記憶手段１０３へは符号化手段２０１の第２の出力が入力され、その出力（発生符号量）は他オブジェクト許容符号量算出手段１０４へ接続される。
【００８２】
他オブジェクト許容符号量算出手段１０４へは、単位時間許容符号量と、符号量履歴記憶手段１０３の出力とが入力され、その出力（他オブジェクト単位時間許容符号量）は、VOP目標符号量決定手段１０５へ接続される。
【００８３】
符号化手段２０２へは第２オブジェクトデータと単位時間許容符号量とマスタオブジェクト決定手段２０６の出力とVOP目標符号量決定手段１０５の出力とが入力され、符号化手段２０２の第１の出力（符号列）は第２オブジェクト符号列を出力し、第２の出力（第１発生符号量）は符号量履歴記憶手段２０３へ接続され、第３の出力（第１符号化情報）はマスタオブジェクト決定手段２０６へ接続され、第４の出力（第２発生符号量）と第５の出力（第２符号化情報）はVOP目標符号量決定手段１０５へ接続される。
【００８４】
VOP目標符号量決定手段１０５へは、他オブジェクト許容符号量算出手段１０４の出力と、符号化手段２０２の第４の出力と第５の出力とが入力され、VOP目標符号量決定手段１０５の出力（VOP目標符号量）は符号化手段２０２へ接続される。
【００８５】
符号量履歴記憶手段２０３へは符号化手段２０２の第２の出力が入力され、その出力（発生符号量）は他オブジェクト許容符号量算出手段２０４へ接続される。
【００８６】
他オブジェクト許容符号量算出手段２０４へは、単位時間許容符号量と、符号量履歴記憶手段２０３の出力とが入力され、その出力（他オブジェクト単位時間許容符号量）は、VOP目標符号量決定手段２０５へ接続される。
【００８７】
VOP目標符号量決定手段２０５へは、他オブジェクト許容符号量算出手段２０４の出力と、符号化手段２０１の第４の出力と第５の出力とが入力され、VOP目標符号量決定手段２０５の出力（VOP目標符号量）は符号化手段２０１へ接続される。
【００８８】
マスタオブジェクト決定手段２０６へは、優先度情報と符号化手段２０１の第３の出力と符号化手段２０２の第３の出力とが入力され、その出力（マスタオブジェクト情報）は、符号化手段２０１と符号化手段２０２へ接続される。
【００８９】
次に、図４の符号化手段の動作について説明する。
【００９０】
まず、オブジェクト間の優先度を示す優先度情報がマスタオブジェクト決定手段２０６へ入力される。この結果に基づき、第１オブジェクトと第２オブジェクトのどちらがマスタオブジェクトになるかを示す情報であるマスタオブジェクト情報を出力する。
【００９１】
符号化手段２０１と符号化手段２０２で符号化が始まった後には、符号化手段２０１から出力される第１符号化情報と、符号化手段２０２から出力される第１符号化情報もマスタオブジェクト決定手段２０６へ入力され、マスタオブジェクトの決定に用いられる。ここで符号化情報は、オブジェクトのサイズ情報や動き情報やアクティビティ情報や量子化情報や符号化誤差情報等を含む情報であり、このうちの少なくとも一つは含まれる。ただし、外部から入力される優先度情報のみによってマスタオブジェクトを決定することも可能であり、この場合、符号化手段２０１、２０２から出力される第１符号化情報は、マスタオブジェクト決定手段２０６へ入力されなくてもよい。
【００９２】
マスタオブジェクトの決定法としては、例えば、各オブジェクトのサイズの大小によって決定する方法や、サイズとオブジェクトの重要性とを考慮して決定する方法や、あるいは、オブジェクトの動き情報やアクティビティ情報を用いてオブジェクトが注目される度合いを表す指標を算出し、これに基づいて決定する方法などが考えられる。
【００９３】
ただし、符号化手段２０１、２０２から出力される第１符号化情報は、時刻がずれている可能性があるため、マスタオブジェクト決定手段２０６はこれらを一時的に記憶する記憶手段を内部に有している。そして、マスタオブジェクトの決定には、同一時刻のVOPに対する第１符号化情報を用いるようにする。
【００９４】
マスタオブジェクト決定手段から出力されるマスタオブジェクト情報によって、図４の符号化手段の動作が変わる。以下では、まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明し、次に、第１オブジェクトがマスタオブジェクトでない場合の定常状態の動作について説明し、最後にマスタオブジェクト情報が変化する際の動作について説明する。
【００９５】
まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明する。この場合には、図４の符号化手段の動作は、図１の符号化手段の動作とほぼ同様になる。符号化手段２０１における符号化では、VOP目標符号量決定手段２０５から出力されるVOP目標符号量は用いず、単位時間許容符号量に従って第１オブジェクトを符号化する。そして、得られた符号列を第１オブジェクト符号列として出力し、発生符号量を第１発生符号量として符号量履歴記憶手段１０３へ出力し、符号化情報を第１符号化情報として、マスタオブジェクト決定手段２０６へ出力する。一方、第２発生符号量と第２符号化情報は出力しない。なお、このような符号化手段の動作を、以下では単に、マスタとしての動作と呼ぶことにする。
【００９６】
符号量履歴記憶手段１０３、他オブジェクト許容符号量算出手段１０４、VOP目標符号量決定手段１０５の動作は、図１の符号化手段の対応する手段の動作と同様である。
【００９７】
一方、符号化手段２０２は単位時間許容符号量は用いず、VOP目標符号量決定手段１０５から出力されるVOP目標符号量に従って各VOPを符号化する。そして、得られた符号列を第２オブジェクト符号列として出力し、符号化情報と発生符号量をそれぞれ第２符号化情報、第２発生符号量としてVOP目標符号量決定手段１０５へ出力する。また、符号化情報を第１符号化情報として、マスタオブジェクト決定手段２０６に出力する。第１符号化情報と第２符号化情報とは、必ずしも同じものである必要はないが、同じものであってもよい。一方、第１発生符号量は出力しない。なお、このような符号化手段の動作を、以下では単に、スレーブとしての動作と呼ぶことにする。
【００９８】
他の手段、すなわち、符号量履歴記憶手段２０３、他オブジェクト許容符号量算出手段２０４、VOP目標符号量決定手段２０５は動作しない。
【００９９】
次に、第１オブジェクトはマスタオブジェクトでない場合の定常状態の動作について説明する。この場合には、図４の符号化手段の動作は、前述の第１オブジェクトと第２オブジェクトの役割を入れ替えたものとなる。
【０１００】
すなわち、符号化手段２０２は、第１オブジェクトがマスタオブジェクトである場合の符号化手段２０１と同様の動作をし、第２オブジェクトを符号化して符号列を生成し、第２オブジェクト符号列として出力する。同時に発生符号量を第１発生符号量として符号量履歴記憶手段２０３へ出力する。また、符号化情報を第１符号化情報として、マスタオブジェクト決定手段２０６へ出力する。
【０１０１】
符号量履歴記憶手段２０３は、第１オブジェクトがマスタオブジェクトである場合の符号量履歴記憶手段１０３と同様に動作し、符号化手段２０２から出力される第１発生符号量を一時的に記憶する。
【０１０２】
他オブジェクト許容符号量算出手段２０４は、第１オブジェクトがマスタオブジェクトである場合の他オブジェクト許容符号量算出手段１０４と同様に動作し、単位時間に含まれる第２オブジェクトの各VOPを符号化して発生した符号量を符号量履歴記憶手段２０３から読み出し、合計し、得られる合計値を単位時間許容符号量から差し引くことにより、他オブジェクト単位時間許容符号量を算出する。そして、これをVOP目標符号量決定手段２０５へ出力する。
【０１０３】
VOP目標符号量決定手段２０５は、第１オブジェクトがマスタオブジェクトである場合のVOP目標符号量決定手段１０５と同様に動作し、他オブジェクト許容符号量算出手段２０４から出力される第１の他オブジェクト単位時間許容符号量と、符号化手段２０１から出力される第２符号化情報と第２発生符号量とから、VOP目標符号量を算出し、符号化手段２０１へ出力する。
【０１０４】
符号化手段２０１は、第１オブジェクトがマスタオブジェクトである場合の符号化手段２０２と同様の動作をし、第１オブジェクトをVOP目標符号量決定手段２０５から出力されるVOP目標符号量に従って符号化し、符号列を生成して第１オブジェクト符号列として出力する。同時に符号化情報を第１符号化情報としてマスタオブジェクト決定手段２０６へ出力し、発生符号量と符号化情報をそれぞれ第２発生符号量、第２符号化情報として、VOP目標符号量決定手段２０５へ出力する。
【０１０５】
他の手段、すなわち、符号量履歴記憶手段１０３、他オブジェクト許容符号量算出手段１０４、VOP目標符号量決定手段１０５は動作しない。
【０１０６】
次に、マスタオブジェクト情報が変化する際の動作について説明する。ここでは、オブジェクト単位で見たときに、符号化の並列実行等は行わず、単位時間内に符号化するオブジェクトデータは、単位時間分であるとする。
【０１０７】
マスタオブジェクト以外のオブジェクトは、マスタオブジェクトよりも単位時間の長さ以上遅れて符号化されている。このため、マスタオブジェクト以外のオブジェクトの符号化がマスタオブジェクト切り替え時点に到達するまで、マスタオブジェクトだったオブジェクトの符号化手段は符号化を停止する。そして、マスタオブジェクト以外のオブジェクトの符号化がマスタオブジェクト切り替え時点に達すると、マスタオブジェクト決定手段２０６から出力されるマスタオブジェクト情報に従って、それらのうちの一つがマスタオブジェクトになる。次に、マスタオブジェクトになったオブジェクトの符号化手段は単位時間符号化する。その間、他のオブジェクトの符号化手段は停止している。その後、単位時間遅れて、他のオブジェクトの符号化が再開される。
【０１０８】
上述の、マスタオブジェクト情報と、符号化手段２０１、符号化手段２０２で符号化されるGOVの時間軸の関係を例示したものが図５である。ここでは、単位時間を１GOVとしている。
【０１０９】
図５の一番上のグラフは、マスタオブジェクト情報を表しており、ここでは、レベルが低い場合、第１オブジェクトがマスタオブジェクトであることを表し、レベルが高い場合、第２オブジェクトがマスタオブジェクトであることを表している。これより、時刻T１より前と、時刻T2より後は第１オブジェクトがマスタオブジェクトであり、時刻T1とT2の間は第２オブジェクトがマスタオブジェクトであることがわかる。GOVのシーケンス番号で言えば、０から２までと６以降は第１オブジェクトがマスタオブジェクトであり、３から５までは第２オブジェクトがマスタオブジェクトである。
【０１１０】
時刻T1までは符号化手段２０１がマスタであるため、第２オブジェクトは第１オブジェクトよりも１GOV遅れて符号化される。
【０１１１】
時刻T1において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が入れ替わる。ただし、この時点では、まだ、GOV2(２)の符号化は行われていないため、切り替わった後すぐに主従関係が入れ替わるのではなく、符号化手段２０２において、GOV２（２）の符号化が終了した時点、すなわち時刻T3で切り替わる。
【０１１２】
時刻T3からは、符号化手段２０２がマスタになり、第１オブジェクトは第２オブジェクトよりも1GOV遅れて符号化される。
【０１１３】
時刻T2において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が入れ替わる。時刻T1の場合と同様に、すぐに切り替わるわけではなく、GOV１（５）の符号化が終わる時刻T4において切り替わる。
【０１１４】
以後は再び符号化手段２０１がマスタとなり、符号化が行われ、第２オブジェクトは第１オブジェクトよりも１GOV遅れて符号化される。
【０１１５】
以上からわかる通り、この方式では、マスタオブジェクトの切り替わりが起こるたびに、遅延が累積する。このため、リアルタイムでの符号化には適用できないが、オブジェクトデータを蓄積媒体から読み込んで符号化するなど、オフラインの符号化に適用できる。
【０１１６】
各GOVにおける発生符号量を示したものが表３である。これより、遅延が生じるものの、発生符号量のオブジェクト間での総和はGOVごとに正確に単位時間許容符号量に一致することがわかる。
【０１１７】
【表３】
【０１１８】
本発明の第３の実施の形態では、マスタオブジェクト決定手段から出力されるマスタオブジェクト情報に従って、マスタオブジェクトとなるオブジェクトを動的に切り替えることができる。よって、オブジェクトの面積の変化などによってオブジェクトの重要度が変化した場合であっても、動的に制御を行うことで、全体の復号画質を確保することができる。
【０１１９】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を構築することができる。この場合、各オブジェクトに対しても、図４のVOP目標符号量決定手段２０５と同等の手段と、符号量履歴記憶手段１０３と同等の手段と、他オブジェクト許容符号量算出手段１０４と同等の手段を用意する。そして、各オブジェクトに対する他オブジェクト許容符号量算出手段の後に他オブジェクト単位時間許容符号量を複数のオブジェクトに分配するための許容符号量分配手段を新たに設ければよい。さらに、マスタオブジェクト情報をこの許容符号量分配手段にも入力するようにする。
【０１２０】
許容符号量分配手段によって分配された結果は、マスタオブジェクトでない各オブジェクトのVOP目標符号量決定手段に送出するようにする。これにより、３つ以上のオブジェクトの場合も符号化できる。なお、許容符号量分配手段における符号量の分配には、第１の実施の形態の場合と同様の方式を用いることができる。
【０１２１】
次に、本発明の第４の実施の形態について説明する。第３の実施の形態では、符号化に遅延の累積が許されることを仮定したが、以下では遅延は累積が許されない場合の符号化方法について述べる。
【０１２２】
符号化手段の構成は図４と同じであり、各手段の動作も、マスタオブジェクトが切り替わる時点を除けば基本的には同じである。ただし、第２の実施の形態と同様、入力時に第１オブジェクトと第２オブジェクトとで時間差は生じていないものとする。この場合、他オブジェクト許容符号量算出手段１０４から出力される他オブジェクト単位時間許容符号量を用いて符号化を制御するのは、この算出に用いた第１オブジェクトと同時刻のGOVではなく、それよりも遅れたGOVである。同様に、他オブジェクト許容符号量算出手段２０４から出力される他オブジェクト単位時間許容符号量を用いて符号化を制御するのは、この算出に用いた第２オブジェクトと同時刻のGOVではなく、それよりも遅れたGOVとなる。
【０１２３】
一方、マスタオブジェクトが切り替わる時点では、符号化手段２０１、２０２の両方がVOP目標符号量決定手段２０５、１０５から出力されるVOP目標符号量に従って動作する、すなわち、スレーブとして動作する時点が生じる。この場合の動作については、以下の具体例によって詳しく説明する。
【０１２４】
次に、マスタオブジェクト情報によって、マスタオブジェクトが切り替わる場合の符号化手段の動作について具体例を用いて説明する。
【０１２５】
マスタオブジェクト情報と、符号化手段２０１、符号化手段２０２で符号化されるGOVの時間軸の関係を例示したものが図６である。ここでは、単位時間を１GOVとしている。また、図６の一番上のグラフは、マスタオブジェクト情報を表しており、マスタオブジェクトとレベルの関係は図５の場合と同様である。
【０１２６】
時刻T1までは符号化手段２０１がマスタとして動作する。よって、第２オブジェクトの符号化制御に用いる単位時間許容符号量の算出には、第１オブジェクトの１つ前のGOVにおける発生符号量が用いられる。ただし、最初のGOV、すなわち、GOV2(0)の符号化の際は、符号化手段２０２もマスタとして動作する。
【０１２７】
時刻T1において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が入れ替わる。ただし、マスタオブジェクト情報の値が変化した後すぐに主従関係が入れ替わるのではなく、時刻T3で切り替わる。時刻T１からT3の間は、両符号化手段ともスレーブとして動作する状態となる。すなわち、GOV２（３）の符号化はGOV１（２）の発生符号量に応じて制御され、GOV１（３）の符号化は、後述するように、GOV２（０）の発生符号量に応じて制御される。
【０１２８】
時刻T3からは、符号化手段２０２がマスタとして動作するようになり、第１オブジェクトの符号化制御に用いる単位時間許容符号量の算出には、第２オブジェクトの１つ前のGOVの発生符号量が用いられる。ただし、主従関係が切り替わった直後であるGOV１（４）の符号化では、符号化手段２０１もマスタとして動作する。
【０１２９】
時刻T2において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が再び入れ替わる。時刻T1の場合と同様に、すぐに切り替わるわけではなく、時刻T4において切り替わる。そして、時刻T2と時刻T4の間は両符号化手段ともスレーブとして動作する状態となる。この間、GOV１（６）の符号化はGOV２（５）の発生符号量に応じて制御され、GOV２（６）の符号化は、後述するように、GOV１（４）の発生符号量に応じて制御される。
【０１３０】
以後は再び符号化手段２０１がマスタとして動作するようになり、符号化が行われ、第２オブジェクトの符号化制御に用いる単位時間許容符号量の算出には、第１オブジェクトの１つ前のGOVの発生符号量が用いられる。ただし、主従関係が切り替わった直後であるGOV２（７）の符号化では、符号化手段２０２もマスタとして動作する。
【０１３１】
次に、各GOVでの発生符号量について説明する。各GOVにおける発生符号量を示したものが表４である。
【０１３２】
【表４】
【０１３３】
時刻Ｔ1より前は、符号化手段２０１はマスタとして動作し、符号化手段２０２はスレーブとして動作するため、
【０１３４】
【数６】
【０１３５】
の関係が成り立っている。ただし、m=0のときは、両符号化手段ともマスタとして動作している。
【０１３６】
マスタオブジェクトの切り替わる時刻Ｔ1から時刻Ｔ3の間は、トータルの許容符号量の制約を満たすために、符号化手段２０１もスレーブとして動作する。すなわち、発生符号量がＲ−Ｒ2（0）となるように制御して符号化する。これにより、マスタオブジェクトが切り替わっても発生符号量は許容符号量の制約を満たす。
【０１３７】
時刻Ｔ3から時刻Ｔ2の間は、符号化手段２０１はスレーブとして動作し、符号化手段２０２はマスタとして動作する。よって、切り替わり直後のm=4を除き、
【０１３８】
【数７】
【０１３９】
の関係が成り立っている。m=4のときは、m=0のときと同様、両符号化手段ともマスタとして動作している。
【０１４０】
マスタオブジェクトの切り替わる時刻Ｔ2から時刻Ｔ4の間は、トータルの許容符号量の制約を満たすために、符号化手段２０２もスレーブとして動作する。すなわち、発生符号量がＲ−Ｒ1（4）となるように制御して符号化する。
【０１４１】
時刻T4以降は、再び、符号化手段２０１はマスタとして動作し、符号化手段２０２はスレーブとして動作するようになる。よって、切り替わり直後のm=7を除き、
【０１４２】
【数８】
【０１４３】
を満たしている。m=７のときは、m=0のときと同様、両符号化手段ともマスタとして動作している。
【０１４４】
このように、GOVごとにオブジェクト間で合計するとその合計値は変動する。しかし、第２の実施の形態の場合と同様に、より長い時間で平均をとれば、基本的には許容符号量に収まっていることになる。この変動分は、符号列を蓄積するためのバッファを用意し、一旦このバッファに符号列を蓄積した後、タイミングを調整しながら符号列を伝送路に送出することにより吸収できる。
【０１４５】
以上述べた本発明の第４の実施の形態では、マスタオブジェクトを切り替える場合でも、遅延を生じさせることなく符号化可能な符号化方式を与える。
【０１４６】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を第３の実施例と同様にして構築できる。
【０１４７】
次に、本発明の第５の実施の形態について述べる。
【０１４８】
符号化手段全体の構成は図４と同じである。ただし、符号化手段２０１の構成は、図７のようになっている。次に、図７の構成について説明する。
【０１４９】
スイッチ制御部３１５へはマスタオブジェクト情報が入力され、その出力（スイッチ制御情報）は、スイッチ手段３０３〜３０５へ出力される。スイッチ手段３０３へは、第１オブジェクトデータとスイッチ制御部３１５の出力が入力され、その第１の出力（オブジェクトデータ）は入力バッファ３１１へ接続され、第２の出力（オブジェクトデータ）はマスタ符号化手段３０１へ接続される。マスタ符号化手段３０１へは、スイッチ手段３０３の第２の出力とマスタオブジェクト情報と、単位時間許容符号量とが入力され、その第１の出力（第１符号列）は出力バッファ３１０へ接続され、第２の出力は第1発生符号量を出力し、第３の出力（マスタ符号化情報）は、スイッチ手段３０５へ接続される。出力バッファ３１０へは、マスタ符号化手段３０１の第1の出力が入力され、その出力（第1符号列）はスイッチ手段３０４へ接続される。入力バッファ３１１へはスイッチ手段３０３の第1の出力が接続され、その出力（オブジェクトデータ）は、スレーブ符号化手段３０２へ接続される。スレーブ符号化手段３０２へは、入力バッファ３１１の出力とマスタオブジェクト情報とVOP目標符号量とが入力され、その第１の出力（第２符号列）はスイッチ手段３０４へ接続され、第２の出力は第２発生符号量を出力し、第３の出力は、第２符号化情報を出力し、第４の出力（スレーブ符号化情報）は、スイッチ手段３０５へ接続される。スイッチ手段３０４へはスレーブ符号化手段３０２の第1の出力と出力バッファ３１０の出力とスイッチ制御部３１５の出力とが入力され、その出力（符号列）は第１オブジェクト符号列を出力する。スイッチ手段３０５へは、マスタ符号化手段の第３の出力とスレーブ符号化手段の第４の出力とスイッチ制御部３１５の出力とが入力され、その出力は第1符号化情報を出力する。
【０１５０】
次に図７の符号化手段の動作について説明する。
【０１５１】
スイッチ制御部３１５では、入力されるマスタオブジェクト情報に従って、スイッチを制御するためのスイッチ情報を出力する。このスイッチ情報によって、スイッチが切り替わり、符号化手段２０１の動作は変わる。以下では、まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明し、次に、第１オブジェクトはマスタオブジェクトでない場合の定常状態の動作について説明し、最後にマスタオブジェクト情報が変化する場合の動作について説明する。
【０１５２】
まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明する。この場合は、マスタ符号化手段３０１を用いて第１オブジェクトを符号化するように各スイッチ手段を制御する。すなわちスイッチ手段３０３は、出力先をマスタ符号化手段３０１に設定する。一方、スイッチ手段３０４は、入力先を出力バッファ３１０に設定する。スイッチ手段３０５は、入力先をマスタ符号化手段３０１に設定する。
【０１５３】
上述のように接続された場合、第１オブジェクトデータは、スイッチ手段３０３を経由してマスタ符号化手段３０１へ入力される。マスタ符号化手段はマスタオブジェクト情報が、第１オブジェクトがマスタオブジェクトであることを示しているときに動作するようになっている。マスタ符号化手段３０１の動作は、基本的に、図１の符号化手段１０１と同様であり、単位時間許容符号量の範囲内で第１オブジェクトを符号化し、得られた符号列を第１符号列として、出力バッファ３１０へ出力する。これと同時に発生符号量を符号化手段２０１の外部へ第１発生符号量として出力し、符号化情報を、スイッチ手段３０５を経由して第１符号化情報として符号化手段２０１の外部へ出力する。
【０１５４】
出力バッファ３１０では、第１符号列は単位時間だけ蓄積される。例えば、単位時間が１GOVである場合には、１GOV分出力バッファ３１０に蓄積される。この結果、出力バッファ３１０の入力と出力とでは、この単位時間分の遅延が生じ、出力される符号列はスイッチ手段３０４を経由して、第１オブジェクト符号列として出力される。
【０１５５】
次に、第１オブジェクトはマスタオブジェクトでない場合の定常状態の動作について説明する。この場合は、スレーブ符号化手段３０２を用いて第１オブジェクトを符号化するように、各スイッチ手段を制御する。すなわち、スイッチ手段３０３は、出力先を入力バッファ３１１に設定する。一方、スイッチ手段３０４は、入力先をスレーブ符号化手段３０２に設定する。スイッチ手段３０５は、入力先をスレーブ符号化手段３０２に設定する。
【０１５６】
上述のように接続された場合、第１オブジェクトデータは、スイッチ手段３０３を経由して入力バッファ３１１へ入力される。ここで第１オブジェクトデータは単位時間だけ蓄積される。例えば、単位時間が１GOVである場合には、１GOV分入力バッファ３１１に蓄積される。この結果、入力バッファ３１１の入力と出力とでは、この単位時間分の遅延が生じ、出力されるオブジェクトデータはスレーブ符号化手段３０２へ入力される。
【０１５７】
スレーブ符号化手段３０２は、マスタオブジェクト情報の切り替わりの時を除けば、マスタオブジェクト情報が、第１オブジェクトがマスタオブジェクトでないことを示しているときに動作するようになっている。スレーブ符号化手段３０２の動作は、基本的に、図１の符号化手段１０２と同様であり、各VOPの発生符号量が入力されるVOP目標符号量になるように符号化制御して第１オブジェクトデータを符号化する。得られた符号列を第２符号列としてスイッチ手段３０４へ出力する。これと同時に発生符号量を第２発生符号量として出力し、符号化情報を第２符号化情報として符号化手段２０１の外部へ出力する。また、符号化情報は、第１符号化情報として、スイッチ手段３０５を経由して外部へ出力される。ここで、第１符号化情報と第２符号化情報は同じでもよいが、異なっていてもよい。
【０１５８】
次に、マスタオブジェクト情報が変化する場合の動作について説明する。
【０１５９】
マスタオブジェクトであった第1オブジェクトがマスタオブジェクトでなくなる場合、スイッチ手段３０３は、スイッチ制御情報が切り替わると同時に、出力先をマスタ符号化手段３０１から入力バッファ３１１へ切り替える。また、スイッチ手段３０５は、スイッチ制御情報の切り替わってから単位時間内の任意の時刻に、入力先をマスタ符号化手段３０１から、スレーブ符号化手段３０２へ切り替える。
【０１６０】
一方、スイッチ手段３０４は、スイッチ制御情報が切り替わった後、単位時間だけ遅れて、入力先を出力バッファ３１０から、スレーブ符号化手段３０２へ切り替える。この結果、スイッチ制御情報が切り替わった後、単位時間は、出力バッファ３１０に蓄積されたデータを第１オブジェクト符号列として出力し、それが終わった後に切り替わり、スレーブ符号化手段３０２からの出力を第１オブジェクト符号列として出力する。
【０１６１】
マスタ符号化手段３０１は、マスタオブジェクト情報が変化すると符号化を停止する。一方、スレーブ符号化手段３０２は、マスタオブジェクト情報が変化すると、単位時間だけ待った後、符号化を開始する。
【０１６２】
逆に、マスタオブジェクトでなかった第1オブジェクトがマスタオブジェクトになる場合、スイッチ手段３０３は、スイッチ制御情報が切り替わると同時に、出力先を入力バッファ３１１からマスタ符号化手段３０１へ切り替える。また、スイッチ手段３０５も、スイッチ制御情報の切り替わりと同時に、入力先をスレーブ符号化手段３０２から、マスタ符号化手段３０１へ切り替える。
【０１６３】
一方、スイッチ手段３０４は、スイッチ制御情報が切り替わった後、単位時間だけ遅れて、入力先をスレーブ符号化手段３０２から、出力バッファ３１０へ切り替える。この結果、スイッチ制御情報が切り替わった後、単位時間は、スレーブ符号化手段３０２からの出力を第１オブジェクト符号列として出力し、それが終わった後に切り替わり、出力バッファ３１０からの出力を第１オブジェクト符号列として出力する。
【０１６４】
スレーブ符号化手段３０２は、マスタオブジェクト情報が変化すると、単位時間は符号化を続け、その後、符号化を停止する。一方、マスタ符号化手段３０１は、マスタオブジェクト情報が変化すると符号化を開始する。
【０１６５】
以上、符号化手段２０１の構成と動作について説明したが、符号化手段２０２も図７と同様の構成をしており、同様の動作をする。ただし、マスタ符号化手段とスレーブ符号化手段で行う符号化の方式は、符号化手段２０１のものと異なっていてもよい。例えば、前景オブジェクト（第１オブジェクト）に対してMPEG-4の符号化を用い、背景オブジェクト（第２オブジェクト）に対してMPEG-2の符号化を用いるといったことも可能である。
【０１６６】
次に、マスタオブジェクト情報が変化する場合の、第５の実施の形態である符号化手段の動作を、具体例を用いて説明する。
【０１６７】
マスタオブジェクト情報と、符号化手段２０１、２０２のマスタ符号化手段、スレーブ符号化手段で符号化されるGOVと入力バッファに入力されるGOVと、出力バッファから出力されるGOVの時間軸の関係を例示したものが図８である。ここでは、単位時間を１GOVとしている。また、図８の一番上のグラフは、マスタオブジェクト情報を表しており、マスタオブジェクトとレベルの関係は図５の場合と同様である。これより、時刻T１より前と、時刻T2より後は第１オブジェクトがマスタオブジェクトであり、時刻T1とT2の間は第２オブジェクトがマスタオブジェクトであることがわかる。GOVの番号で言えば、０から２までと６以降は第１オブジェクトがマスタオブジェクトであり、３から５までは第２オブジェクトがマスタオブジェクトである。
【０１６８】
時刻T1までは第１オブジェクトがマスタオブジェクトであるため、第１オブジェクトはマスタ符号化手段で符号化され、第２オブジェクトはスレーブ符号化手段で符号化されている。そして、第２オブジェクトは入力バッファで１GOVの間蓄積されるため、その符号化は第１オブジェクトよりも１GOV遅れている。
【０１６９】
時刻T1において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が切り替わる。切り替わった後、１GOVの間、すなわちT3までは、符号化手段２０２では、マスタ符号化手段とスレーブ符号化手段の両方が動作する。すなわち、スレーブ符号化手段でGOV2(２)を符号化すると同時に、マスタ符号化手段でGOV2(３)を同時に符号化する。
【０１７０】
一方、符号化手段２０１では、時刻T1から時刻T3までは、マスタ符号化手段とスレーブ符号化手段の両方とも動作しない。時刻T3になった時点でスレーブ符号化手段が符号化を開始する。この結果、第１オブジェクトの符号化は第２オブジェクトよりも１GOV遅れることになる。
【０１７１】
時刻T3から時刻T2までは、第２オブジェクトがマスタオブジェクトであるため、第２オブジェクトはマスタ符号化手段で符号化され、第１オブジェクトはスレーブ符号化手段で符号化されている。そして、第１オブジェクトは入力バッファで１GOVの間蓄積されるため、その符号化は第２オブジェクトよりも１GOV遅れている。
【０１７２】
時刻T2において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が切り替わる。切り替わった後、１GOVの間、すなわちT4までは、符号化手段２０１では、マスタ符号化手段とスレーブ符号化手段の両方が動作する。すなわち、スレーブ符号化手段でGOV1(５)を符号化すると同時に、マスタ符号化手段でGOV1(６)を同時に符号化する。
【０１７３】
一方、符号化手段２０２では、時刻T2から時刻T4までは、マスタ符号化手段とスレーブ符号化手段の両方とも動作しない。時刻T4になった時点でスレーブ符号化手段が符号化を開始する。この結果、第２オブジェクトの符号化は第１オブジェクトよりも１GOV遅れることになる。
【０１７４】
以後は再び第１オブジェクトがマスタオブジェクトとなり、符号化が行われ、第２オブジェクトは第１オブジェクトよりも１GOV遅れて符号化される。
【０１７５】
なお、上述の通り、時刻T１からT３の符号化手段２０２、時刻T2からT４の符号化手段２０１のように、マスタ符号化手段とスレーブ符号化手段の両方が同時に動作する時間がある。もし、クローズドGOVとして符号化している場合は問題ないが、そうでない場合は、前後のGOV間で、動き補償に依存性が生じ、符号化できないという問題が生じる。しかしながら、この場合も、マスタオブジェクトが切り替わる場合はクローズドGOVになるようにすることで、符号化できるようになる。あるいは、そうでなくても、符号化するVOPの順番を並び替えて符号化し、前後の両方のGOVで参照されるVOPについては、両方の符号化手段から参照できるようにすれば、この場合であっても符号化できるようになる。
【０１７６】
以上述べた通り、この方式では、マスタオブジェクトの切り替わりが起こっても、遅延が累積しないため、ある程度の遅延が許される場合は、オンラインの符号化としても用いることができる。
【０１７７】
なお、各GOVにおける発生符号量は表３と同じであり、発生符号量のオブジェクト間での総和はGOVごとに正確に単位時間許容符号量に一致する。
【０１７８】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を第４の実施例と同様にして構築できる。
【０１７９】
次に、本発明の第６の実施の形態について述べる。
【０１８０】
図９を参照すると、本発明の一実施の形態としての動画像符号化手段が示されている。まず、図９の符号化手段の構成について説明する。
【０１８１】
図９の構成は、図１の符号化手段と比較すると、符号化手段１０１と符号化手段１０２をそれぞれ符号化手段４０１と符号化手段４０２で置き換え、マスタオブジェクト決定手段４２５、スイッチ制御部４２６、入力バッファ４２１、出力バッファ４２０、スイッチ手段４１０、スイッチ手段４１１を新たに設けた点が異なる。
【０１８２】
マスタオブジェクト決定手段４２５へは、優先度情報と、符号化手段４０１の第３の出力と、符号化手段４０２の第４の出力とが入力され、その出力（マスタオブジェクト情報）は、スイッチ制御手段４２６へ接続される。スイッチ制御部４２６へは、マスタオブジェクト決定手段４２５の出力が入力され、その出力（スイッチ制御情報）は、スイッチ手段４１０、４１１へ接続される。
【０１８３】
スイッチ手段４１０へは、スイッチ制御部４２６の出力と第１のオブジェクトデータと第２のオブジェクトデータとが入力され、その第１の出力（マスタオブジェクトデータ）は符号化手段４０１へ接続され、第２の出力（スレーブオブジェクトデータ）は入力バッファ４２１へ接続される。
【０１８４】
符号化手段４０１へは、スイッチ手段４１０の第１の出力と、単位時間許容符号量とが入力され、その第１の出力（符号列）は出力バッファ４２０へ接続され、第２の出力（発生符号量）は符号量履歴記憶手段１０３へ接続され、第３の出力（符号化情報）は、マスタオブジェクト決定手段４２５へ接続される。出力バッファ４２０へは、符号化手段４０１の第１の出力が入力され、その出力（符号列）は、スイッチ手段４１１へ接続される。
【０１８５】
入力バッファ４２１へはスイッチ手段４１０の第２の出力が入力され、その出力（スレーブオブジェクトデータ）は符号化手段４０２へ接続される。符号化手段４０２へは、入力バッファ４２１の出力が入力され、その第１の出力（符号列）はスイッチ手段４１１へ接続され、第２の出力（発生符号量）はVOP目標符号量決定手段１０５へ接続され、第３の出力（符号化情報）は、VOP目標符号量決定手段１０５へ接続され、第４の出力（符号化情報）はマスタオブジェクト決定手段４２５へ接続される。
【０１８６】
スイッチ手段４１１へは、スイッチ制御部４２６の出力と、出力バッファ４２０の出力と、符号化手段４０２の第１の出力とが入力され、その第１の出力は第１オブジェクト符号列を出力し、第２の出力は第２オブジェクト符号列を出力する。
【０１８７】
それ以外の各手段の接続関係は、図１の符号化手段と同様である。
【０１８８】
次に、図９の動画像符号化手段の動作について説明する。
【０１８９】
マスタオブジェクト決定手段４２５の動作は、図４のマスタオブジェクト決定手段２０６と同様である。すなわち、入力される優先度情報と符号化手段４０１から出力される符号化情報と、符号化手段４０２から出力される第１符号化情報に基づいて、マスタオブジェクトを決定し、どのオブジェクトがマスタオブジェクトであるかを示す情報をマスタオブジェクト情報としてスイッチ制御部４２６へ出力する。
【０１９０】
スイッチ制御部４２６の動作は、図７のスイッチ制御部３１５の動作と同様であり、入力されるマスタオブジェクト情報に従って、スイッチを制御するためのスイッチ制御情報を出力する。以下では、まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明し、次に、第１オブジェクトはマスタオブジェクトでない場合の定常状態の動作について説明し、最後にマスタオブジェクト情報が変化する場合の動作について説明する。
【０１９１】
まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明する。この場合、符号化手段４０１を用いて第１オブジェクトを符号化し、符号化手段４０２を用いて第２オブジェクトを符号化するようにスイッチ手段４１０を制御する。すなわち、第１オブジェクトデータの入力を符号化手段４０１への出力に接続し、第２オブジェクトデータの入力を入力バッファ４２１への出力に接続する。
【０１９２】
また、符号化手段４０１での符号化で生成された符号列が第１オブジェクト符号列となるようにし、符号化手段４０２での符号化で生成された符号列が第２オブジェクト符号列となるようにスイッチ手段４１１を制御する。すなわち、出力バッファ４２０からの入力を第１オブジェクト符号列への出力に接続し、符号化手段４０２からの入力を第２オブジェクト符号列への出力に接続する。
【０１９３】
このように接続された場合、第１オブジェクトデータは、スイッチ手段４１０を経由して符号化手段４０１へ入力される。符号化手段４０１の動作は、図１の符号化手段１０１の動作と同様であり、入力される単位時間許容符号量に収まる範囲で入力されるオブジェクトデータを符号化し、得られた符号列を出力バッファ４２０へ出力するとともに、発生符号量を符号化記憶手段１０３へ出力する。さらに、符号化情報をマスタオブジェクト決定手段４２５へ出力する。
【０１９４】
符号化手段４０１から出力された符号列は出力バッファ４２０へ入力される。ここで単位時間だけ符号列は蓄積される。例えば、単位時間が１GOVである場合には、１GOV分出力バッファ４２０に蓄積される。この結果、出力バッファ４２０の入力と出力とでは、この単位時間分の遅延が生じる。出力バッファ４２０から出力される符号列はスイッチ手段４１１を経由して、第１オブジェクト符号列として出力される。
【０１９５】
一方、第２オブジェクトデータは、スイッチ手段４１０を経由して入力バッファ４２１へ入力される。出力バッファ４２０の場合と同様に、ここで単位時間だけオブジェクトデータは蓄積される。これにより、入力バッファ４２１の入力と出力の間にも、単位時間分の遅延が生じる。
【０１９６】
入力バッファ４２１から出力されるオブジェクトデータは符号化手段４０２へ入力される。符号化手段４０２の動作は、図１の符号化手段１０２の動作と同様であり、VOP目標符号量決定手段１０５から出力されるVOP目標符号量に従って符号化制御を行い、入力バッファ４２１から入力されるオブジェクトデータを符号化し、得られる符号列を出力する。また、発生符号量をVOP目標符号量決定手段１０５へ出力し、第２符号化情報をVOP目標符号量決定手段１０５へ出力し、第１符号化情報をマスタオブジェクト決定手段４２５へ出力する。符号化手段４０２から出力される符号列は、スイッチ手段４１１を経由して、第２オブジェクト符号列として出力される。
【０１９７】
それ以外の各手段の動作は、図１の場合と同様である。
【０１９８】
次に、第２オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明する。この場合、符号化手段４０１を用いて第２オブジェクトを符号化し、符号化手段４０２を用いて第１オブジェクトを符号化するようにスイッチ手段４１０を制御する。すなわち、第１オブジェクトデータの入力を入力バッファ４２１に接続し、第２オブジェクトデータの入力を符号化手段４０１への出力に接続する。
【０１９９】
また、符号化手段４０１での符号化で生成された符号列が第２オブジェクト符号列となるようにし、符号化手段４０２での符号化で生成された符号列が第１オブジェクト符号列となるようにスイッチ手段４１１を制御する。すなわち、出力バッファ４２０からの入力を第２オブジェクト符号列への出力に接続し、符号化手段４０２からの入力を第１オブジェクト符号列への出力に接続する。
【０２００】
このように接続された場合、第２オブジェクトデータは、スイッチ手段４１０を経由して符号化手段４０１へ入力され、符号化される。生成された符号列は出力バッファ４２０へ出力され、ここで単位時間分の遅延が生じた後、スイッチ手段４１１を経由して、第２オブジェクト符号列として出力される。
【０２０１】
一方、第１オブジェクトデータは、スイッチ手段４１０を経由して入力バッファ４２１へ入力され、ここで単位時間分の遅延が生じた後、符号化手段４０２へ入力され、符号化される。生成された符号列はスイッチ手段４１１を経由して第１オブジェクト符号列として出力される。
【０２０２】
それ以外の部分の動作は、図１の場合と同様である。
【０２０３】
次に、マスタオブジェクト情報が変化する場合の動作について説明する。
【０２０４】
マスタオブジェクトであった第1オブジェクトがマスタオブジェクトでなくなる場合、スイッチ手段４１０は、スイッチ制御情報が切り替わると同時に切り替える。すなわち、第１オブジェクトデータの入力を入力バッファ４２１への出力に接続し、第２オブジェクトデータの入力を符号化手段４０１への出力に接続するように、スイッチを切り替える。
【０２０５】
また、スイッチ手段４１１は、スイッチ制御信号の切り替わってから単位時間だけ経過した後、切り替える。すなわち、出力バッファ４２０からの入力を第２オブジェクト符号列への出力に接続し、符号化手段４０２からの入力を第１オブジェクト符号列への出力に接続する。
【０２０６】
この結果、スイッチ制御信号が変化してから単位時間の間は、符号化手段４０１と符号化手段４０２の両方で第２オブジェクトが符号化される。
【０２０７】
マスタオブジェクトでなかった第１オブジェクトがマスタオブジェクトになる場合、スイッチ手段４１０は、スイッチ制御情報が切り替わると同時に、切り替える。すなわち、第１オブジェクトデータの入力を符号化手段４０１への出力に接続し、第２オブジェクトデータの入力を入力バッファ４２１への出力に接続するように、スイッチを切り替える。
【０２０８】
また、スイッチ手段４１１は、スイッチ制御信号の切り替わってから単位時間だけ経過した後、切り替える。すなわち、出力バッファ４２０からの入力を第１オブジェクト符号列への出力に接続し、符号化手段４０２からの入力を第２オブジェクト符号列への出力に接続する。
【０２０９】
この結果、スイッチ制御信号が変化してから単位時間の間は、符号化手段４０１と符号化手段４０２の両方で第１オブジェクトが符号化される。
【０２１０】
次に、マスタオブジェクト情報が変化する場合の、第６の実施の形態である符号化手段の動作を、具体例を用いて説明する。
【０２１１】
マスタオブジェクト情報と、符号化手段２０１と符号化手段２０２で符号化されるGOVと入力バッファ４２１に入力されるGOVと、出力バッファ４２０から出力されるGOVの時間軸の関係を例示したものが図１０である。ここでは、単位時間を１GOVとしている。また、図１０の一番上のグラフは、マスタオブジェクト情報を表しており、マスタオブジェクトとレベルの関係は図５の場合と同様である。これより、時刻T１より前と、時刻T2より後は第１オブジェクトがマスタオブジェクトであり、時刻T1とT2の間は第２オブジェクトがマスタオブジェクトであることがわかる。GOVの番号で言えば、０から２までと６以降は第１オブジェクトがマスタオブジェクトであり、３から５までは第２オブジェクトがマスタオブジェクトである。
【０２１２】
時刻T1までは第１オブジェクトがマスタオブジェクトであるため、第１オブジェクトは符号化手段４０１で符号化され、第２オブジェクトは符号化手段４０２で符号化されている。そして、第２オブジェクトは入力バッファ４２１で１GOVの間蓄積されるため、その符号化は第１オブジェクトよりも１GOV遅れている。
【０２１３】
時刻T1において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が切り替わる。切り替わった後、１GOVの間、すなわちT3までは、符号化手段４０１、符号化手段４０２では、ともに第２オブジェクトデータが符号化される。すなわち、符号化手段４０２でGOV2(２)を符号化すると同時に、符号化手段４０１でGOV2(３)を同時に符号化する。
【０２１４】
時刻T3から時刻T2までは、第２オブジェクトがマスタオブジェクトであり、符号化手段４０１で符号化され、一方第１オブジェクトは符号化手段４０２で符号化されている。そして、第１オブジェクトは入力バッファ４２１で１GOVの間蓄積されるため、その符号化は第２オブジェクトよりも１GOV遅れている。
【０２１５】
時刻T2において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が切り替わる。切り替わった後、１GOVの間、すなわちT4までは、符号化手段４０１、符号化手段４０２では、ともに第１オブジェクトデータが符号化される。すなわち、符号化手段４０２でGOV1(５)を符号化すると同時に、マスタ符号化手段４０１でGOV1(６)を同時に符号化する。
【０２１６】
以後は再び第１オブジェクトがマスタオブジェクトとなり、符号化が行われ、第２オブジェクトは第１オブジェクトよりも１GOV遅れて符号化される。
【０２１７】
なお、上述の通り、時刻T１からT３の間、時刻T2からT４の間のように、符号化手段４０１と符号化手段４０２とで、同一のオブジェクトが符号化される時間がある。もし、クローズドGOVとして符号化している場合は問題ないが、そうでない場合は、前後のGOV間で、動き補償に依存性が生じ、符号化できないという問題が生じる。しかしながら、この場合も、第５の実施例の場合と同様に対処すれば、符号化できるようになる。
【０２１８】
以上からわかる通り、本発明の第６の実施の形態でも、マスタオブジェクトの切り替わりが起こっても、遅延が累積しないため、ある程度の遅延が許される場合は、オンラインの符号化としても用いることができる。さらに、図７のように、各符号化手段でマスタとスレーブの両方の符号化手段を持つ必要はなく、簡易な構成で同等の処理が実現できる。
【０２１９】
なお、符号化手段４０１と符号化手段４０２は、複数の符号化手段を用意しており、マスタオブジェクト決定手段４２５の出力が、符号化手段４０１、符号化手段４０２へも入力されるようになっており、入力されるオブジェクトの種類に従って、その中のうちの適切な符号化手段を選択するようになっていてもよい。これにより、第５の実施例と等価な動作をする符号化手段を構成できる。
【０２２０】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を第１の実施例と同様にして構築できる。ただし、この場合、スイッチ手段４１０、スイッチ手段４１１は、複数のオブジェクトののうち、任意の２つを入れ替えることができるようになっているものとする。
【０２２１】
以上、本発明の動画像符号化方式の実施の形態について説明してきたが、最後に、上述の方式を実現するプログラムを記録した記録媒体の実施の形態について説明する。本発明の符号化方式、復号方式を実現するためのプログラムを記録した記録媒体は、上述の方式をコンピュータが読み取り実行可能なプログラム言語によってプログラムし、当該プログラムをＣＤ−ＲＯＭやＦＤ、不揮発性メモリカードなどの記録媒体に記録することによって実現できる。
【０２２２】
【発明の効果】
以上説明したように、本発明においては、次のような効果を奏する。
【０２２３】
第１の効果は、主となるオブジェクトのVOPの発生符号量が一時的に増大した場合でも、他のオブジェクトの符号化への影響を軽減し、復号画像全体の画質を高画質に保つことができることにある。
【０２２４】
その理由は、主となるオブジェクトの発生符号量が特定のVOPで増加した場合であっても、それが他のオブジェクトの符号化に与える影響を単位時間内に均等に分散させることができるためである。これにより、他のオブジェクトの符号量の極端な変動を抑えることができる。
【０２２５】
第２の効果は、オブジェクト間の符号化の主従関係を、画像内容に応じて動的に変更できることにある。
【０２２６】
その理由は、マスタオブジェクト決定手段から出力される情報に従って、主となるオブジェクトを動的に切り替えられる機構を設けたためである。よって、オブジェクトの面積の変化などによってオブジェクトの重要度が変化した場合であっても、動的に制御を行うことで、全体の復号画質を確保することができる。
【図面の簡単な説明】
【図１】本発明による動画像符号化手段の実施の形態を表すブロック図である。
【図２】図１の動画像符号化手段において、符号化手段１０１と符号化手段１０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図３】図１の動画像符号化手段において、の符号化手段１０１と符号化手段１０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図４】本発明による動画像符号化手段の実施の形態を表すブロック図である。
【図５】図４の動画像符号化手段において、マスタオブジェクト決定手段２０６から出力される信号と、符号化手段２０１、符号化手段２０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図６】図４の動画像符号化手段において、マスタオブジェクト決定手段２０６から出力される信号と、符号化手段２０１、符号化手段２０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図７】図４の動画像符号化手段における符号化手段２０１の実施の形態を表すブロック図である。
【図８】図４の動画像符号化手段において、マスタオブジェクト決定手段２０６から出力される信号と、符号化手段２０１、符号化手段２０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図９】本発明による動画像符号化手段の実施の形態を表すブロック図である。
【図１０】図９の動画像符号化手段において、マスタオブジェクト決定手段４２５から出力される信号と、符号化手段４０１、符号化手段４０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図１１】従来技術による動画像符号化手段を表すブロック図である。
【符号の説明】
１０１ 符号化手段
１０２ 符号化手段
１０３ 符号量履歴記憶手段
１０４ 他オブジェクト許容符号量算出手段
１０５ VOP目標符号量決定手段
２０１ 符号化手段
２０２ 符号化手段
２０３ 符号量履歴記憶手段
２０４ 他オブジェクト許容符号量算出手段
２０５ VOP目標符号量決定手段
２０６ マスタオブジェクト決定手段
３０１ マスタ符号化手段
３０２ スレーブ符号化手段
３０３ スイッチ手段
３０４ スイッチ手段
３０５ スイッチ手段
３１０ 出力バッファ
３１１ 入力バッファ
３１５ スイッチ制御部
４０１ 符号化手段
４０２ 符号化手段
４１０ スイッチ手段
４１１ スイッチ手段
４２０ 出力バッファ
４２１ 入力バッファ
４２５ マスタオブジェクト決定手段
４２６ スイッチ制御部
【発明の属する技術分野】
本発明は、動画像符号化方式に関し、特に複数のオブジェクトを符号化する動画像符号化方式における符号量制御方式の改良に関する。
【０００２】
【従来の技術】
従来、この種の動画像符号化方式は、例えば特開平１１−２２５３２９号公報に示されるように、複数のオブジェクトからなる動画像を決められた符号量に収まるように制御して符号化する目的で用いられている。
【０００３】
図１１は、複数のオブジェクトからなる動画像を符号化する従来の動画像符号化手段の一例を示すブロック図である。まず、図１１の構成について説明する。
【０００４】
符号化手段１０００へは第１オブジェクトデータが入力され、その第１の出力は第１オブジェクト符号列を出力し、第２の出力（第１オブジェクト発生符号量）は減算手段１００３へ接続される。符号化手段１００１へは第２オブジェクトデータと減算手段１００３の出力が入力され、その第１の出力は第２オブジェクト符号列を出力し、第２の出力（第２オブジェクト発生符号量）と第３の出力（第２オブジェクト符号化情報）とは全VOP（ビデオオブジェクトプレーン）目標符号量決定手段１００２へ接続される。全VOP目標符号量決定手段１００２へは単位時間許容符号量と符号化手段１００１の第２の出力と第３の出力とが入力され、その出力（全VOP目標符号量）は減算手段１００３へ接続される。減算手段１００３へは、全VOP目標符号量決定手段１００２の出力と符号化手段１０００の第２の出力とが入力され、その出力（第２オブジェクトVOP目標符号量）は符号化手段１００１へ接続される。
【０００５】
次に、図１１に示す符号化手段の動作について説明する。
【０００６】
第１オブジェクトデータは、符号化手段１０００において符号化され、各VOP毎に符号化が行われる。そして、符号化結果である第１オブジェクト符号列を出力する。また、この符号化で生じた各VOPの符号量を第１オブジェクト発生符号量として出力する。
【０００７】
全VOP目標符号量決定手段１００２では、符号化手段１００１で過去のVOPの符号化で求まった符号化情報と発生符号量と外部から与えられる許容符号量とに基づいて、全VOPの符号化に要する符号量の目標値である全VOP目標符号量を算出し、出力する。許容符号量は、全オブジェクトの合計符号量の上限を与える符号量であり、例えば帯域であったり、記録媒体の記録可能な容量であったりする。符号化情報は、例えば量子化ステップの平均値が考えられる。
【０００８】
また、全VOP目標符号量は、各オブジェクトのVOPを符号化した際に発生する符号量の合計値に対する目標値である。全VOP目標符号量の決定法としては、例えばMPEG−２のTM−５（Test Model 5）が考えられる。この場合、過去の発生符号量と量子化ステップの平均値とから、I、P、Bの各ピクチャタイプに対する複雑度を表す指標を算出し、GOV（Group of VOP）に割り当て可能な符号量を求まった複雑度に応じて配分し、各VOPの目標符号量を算出する。
【０００９】
全VOP目標符号量決定手段１００２から出力される全VOP目標符号量は減算手段１００３へ入力される。減算手段１００３では、全VOP目標符号量決定手段１００２から出力される符号量から、第１オブジェクトの対応するVOPの符号化に要した符号量である第１オブジェクト発生符号量を減じ、第２オブジェクトのVOPの符号化に要する符号量の目標値である第２オブジェクトVOP目標符号量を算出する。
【００１０】
第２オブジェクトVOP目標符号量は、符号化手段１００１へ入力される。符号化手段１００１では、第２オブジェクトの各VOPを、減算手段１００３から出力される第２オブジェクトVOP目標符号量になるように制御して符号化し、第２オブジェクト符号列を生成し、出力する。また、符号化で実際に生じた符号量を表す第２オブジェクト発生符号量と符号化情報を全VOP目標符号量決定手段１００２へ出力する。
【００１１】
以上、図１１の符号化手段の動作について説明してきたが、特開平１１−２２５３２９号公報では、背景画像の更新情報が第１オブジェクトであり、符号化手段１０００では、JPEGなどの静止画符号化を行う方式を開示している。この方式では、まず、背景画像を静止画像として符号化して伝送あるいは蓄積し、次に前景オブジェクトと背景の更新情報を符号化して伝送あるいは蓄積する。すなわち、背景画像の更新情報を符号化手段１０００において静止画符号化し、これによって生じる符号量を全VOP目標符号量から引いた値で前景オブジェクトを符号化する。この際、背景の更新情報の符号化によって生じる符号量は、全VOP目標符号量に比べると十分小さいと仮定している。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像符号化方式では、次のような問題がある。
【００１３】
第１の問題点は、第２オブジェクトの符号化制御によって求まるVOP目標符号量を全VOPに割り当てる符号量の目標値として、それから第１オブジェクトの符号化によって実際に生じた符号量を減じることで第２オブジェクトのVOPの符号化の目標値を決定しているということである。
【００１４】
第１オブジェクトの符号化に要する符号量が大きくなると、第２オブジェクトに割り当てられる符号量が減少し、復号画質の大幅な劣化を招く。特に、全VOP目標符号量決定手段１００２において算出される全VOP目標符号量よりも第１オブジェクト発生符号量が大きい場合には、第２オブジェクトVOP目標符号量はマイナスとなってしまい、第２オブジェクトのVOPは符号化できなくなってしまう。
【００１５】
第２の問題点は、第１オブジェクトと第２オブジェクトとの関係を入れ替えることができないということである。
【００１６】
動画像シーケンスの途中で、第１オブジェクトと第２オブジェクトの役割を逆転させて符号化した方がよい場合であっても、従来の符号化手段ではこの関係を入れ替えることができない。前述の符号化方式は、第１オブジェクトのVOPをまず符号化し、残りの符号量で第２オブジェクトを符号化する、第１オブジェクトがマスタで第２オブジェクトがスレーブの関係にある符号化手段と見なすことができるが、この関係は固定である。このため、例えば前景オブジェクトの大きさが急激に小さくなっていく場合など、背景と前景の符号化の主従関係を変えた方がよい場合であっても、この切り替えを動的に行うことはできない。
【００１７】
本発明の目的は、主となるオブジェクトのVOPの発生符号量が一時的に増大した場合でも、他のオブジェクトの符号化への影響を軽減し、復号画像全体の画質を高画質に保つことができる動画像符号化方式を提供することにある。また、オブジェクト間の符号化の主従関係を動的に変更できる動画像符号化方式を提供することにある。
【００１８】
【課題を解決するための手段】
本発明による動画像符号化方式は、入力される第１オブジェクトデータを、単位時間の許容符号量を表す単位時間許容符号量の範囲内で符号化し、第１オブジェクト符号列を生成して出力するとともに、第1オブジェクト発生符号量を出力する第１オブジェクト符号化手段と、第１オブジェクト発生符号量を記憶する符号量履歴記憶手段と、符号量履歴記憶手段から出力される第１オブジェクト発生符号量を、単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を単位時間許容符号量から減じて他オブジェクト単位時間許容符号量を算出する他オブジェクト許容符号量算出手段と、入力される第２オブジェクトVOP（ビデオオブジェクトプレーン）目標符号量に従って符号化制御を行って第２オブジェクトデータの各VOPを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト符号化情報と、第２オブジェクト発生符号量とを出力する第２オブジェクト符号化手段と、第２オブジェクト符号化情報と、第２オブジェクト発生符号量とに基づいて、単位時間の長さを有する時間軸上の区間に含まれる各VOPに、他オブジェクト単位時間許容符号量を配分し、第２オブジェクトの各VOPを符号化する際の符号量の目標値となる第２オブジェクトVOP目標符号量を算出する第２オブジェクトVOP目標符号量決定手段とを有することを特徴とする。
【００１９】
この動画像符号化手段では、第１オブジェクトの発生符号量を単位時間内で積算し、これを単位時間の全体の許容符号量から差し引いて、第２オブジェクトの符号化に用いることができる符号量を算出する。そして、これを配分して、第２オブジェクトの各VOPに割り当てる符号量を決定する。
【００２０】
従って、第１オブジェクトの発生符号量が特定のVOPで増加した場合であっても、それが第２オブジェクトの符号化に与える影響を単位時間内に均等に分散させることができ、第２オブジェクトの符号量の極端な変動を抑えることができる。
【００２１】
本発明による動画像符号化方式は、他オブジェクト許容符号量算出手段において加算される第１オブジェクト発生符号量に対応する区間と、第２オブジェクトVOP目標符号量決定手段において第２オブジェクトVOP目標符号量の算出対象となる区間とが、時間軸上で一致する。
【００２２】
これにより、第１オブジェクトと第２オブジェクトの符号化の間に遅延が生じるものの、第１オブジェクト、第２オブジェクトの発生符号量の合計は、単位時間毎に許容符号量に一致する符号化を実現できる。
【００２３】
本発明による動画像符号化方式は、他オブジェクト許容符号量算出手段において加算される第１オブジェクト発生符号量に対応する区間は、第２オブジェクトVOP目標符号量決定手段において第２オブジェクトVOP目標符号量の算出対象となる区間よりも、時間軸上で単位時間以上早いことを特徴とする。
【００２４】
すなわち、他オブジェクト許容符号量算出手段で算出される他オブジェクト単位時間許容符号量は、この算出に用いた第１オブジェクトと同時刻ではなく、単位時間以上後の単位時間内に含まれる第２オブジェクトの符号化の制御に用いられる。これにより、第２オブジェクトの符号化に遅延が生じない符号化を実現できる。
【００２５】
本発明による動画像符号化方式は、複数のオブジェクトを符号化する動画像符号化方式であって、入力される第１オブジェクト第１符号化情報と入力される第２オブジェクト第１符号化情報と入力される優先度情報とを用いてマスタとなるべきオブジェクトを決定し、どのオブジェクトがマスタであるかを表す情報であるマスタオブジェクト情報を出力するマスタオブジェクト決定手段と、第１オブジェクトがマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、単位時間の許容符号量を表す単位時間許容符号量の範囲内で第１オブジェクトデータを符号化し、第１オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第１符号化情報と、第1オブジェクト第１発生符号量とを出力し、かつ、第１オブジェクト以外がマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、入力される第１オブジェクトVOP目標符号量に従って符号化制御を行って第１オブジェクトデータの各VOPを符号化し、第１オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第２符号化情報と、第１オブジェクト第２発生符号量とを出力する第１オブジェクト符号化手段と、第１オブジェクト第２符号化情報と、第1オブジェクト第２発生符号量とに基づいて、単位時間の長さを有する時間軸上の区間に含まれる各VOPに、入力される第１の他オブジェクト単位時間許容符号量を配分し、第１オブジェクトの各VOPを符号化する際の符号量の目標値となる第１オブジェクトVOP目標符号量を算出する第１オブジェクトVOP目標符号量決定手段と、第１オブジェクト第１発生符号量情報を記憶する第１の符号量履歴記憶手段と、第１の符号量履歴記憶手段から出力される第１オブジェクト第１発生符号量を、単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を単位時間許容符号量から減じて第２の他オブジェクト単位時間許容符号量を算出する第１の他オブジェクト許容符号量算出手段と、第２オブジェクトがマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、単位時間の許容符号量を表す単位時間許容符号量の範囲内で第２オブジェクトデータを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト第１符号化情報と、第２オブジェクト第１発生符号量とを出力し、かつ、第２オブジェクト以外がマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、入力される第２オブジェクトVOP目標符号量に従って符号化制御を行って第２オブジェクトデータの各VOPを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト第２符号化情報と、第２オブジェクト第２発生符号量とを出力する第２オブジェクト符号化手段と、第２オブジェクト第２符号化情報と、第２オブジェクト第２発生符号量とに基づいて、単位時間の長さを有する時間軸上の区間に含まれる各VOPに、入力される第２の他オブジェクト単位時間許容符号量を配分し、第２オブジェクトの各VOPを符号化する際の符号量の目標値となる第２オブジェクトVOP目標符号量を算出する第２オブジェクトVOP目標符号量決定手段と、第２オブジェクト第１発生符号量情報を記憶する第２の符号量履歴記憶手段と、第２の符号量履歴記憶手段から出力される第２オブジェクト第１発生符号量を、単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を単位時間許容符号量から減じて第１の他オブジェクト単位時間許容符号量を算出する第２の他オブジェクト許容符号量算出手段とを有することを特徴とする。
【００２６】
マスタオブジェクト決定手段から出力されるマスタオブジェクト情報によって、符号化手段と符号化手段の主従関係を切り替えることができる。これにより、オブジェクトの面積の変化などによってオブジェクトの重要度が変化した場合であっても、動的に符号化手段の主従関係を制御することで、全体の復号画質を確保することができる。
【００２７】
本発明による動画像符号化方式は、第１の他オブジェクト許容符号量算出手段において加算される第１オブジェクト第１発生符号量に対応する区間と、第２オブジェクトVOP目標符号量決定手段において第２オブジェクトVOP目標符号量の算出対象となる区間とが、時間軸上で一致し、第２の他オブジェクト許容符号量算出手段において加算される第２オブジェクト第１発生符号量に対応する区間と、第１オブジェクトVOP目標符号量決定手段において第１オブジェクトVOP目標符号量の算出対象となる区間とが、時間軸上で一致することを特徴とする。
【００２８】
これにより、第１オブジェクトと第２オブジェクトの符号化の間に遅延が生じるものの、第１オブジェクト、第２オブジェクトの発生符号量の合計は、単位時間毎に許容符号量に一致する符号化を実現できる。
【００２９】
本発明による動画像符号化方式は、第１の他オブジェクト許容符号量算出手段において加算される第１オブジェクト第１発生符号量に対応する区間は、第２オブジェクトVOP目標符号量決定手段において第２オブジェクトVOP目標符号量の算出対象となる区間よりも、時間軸上で単位時間以上早く、第２の他オブジェクト許容符号量算出手段において加算される第２オブジェクト第１発生符号量に対応する区間は、第１オブジェクトVOP目標符号量決定手段において第１オブジェクトVOP目標符号量の算出対象となる区間よりも、時間軸上で単位時間以上早いことを特徴とする。
【００３０】
すなわち、他オブジェクト許容符号量算出手段で算出される他オブジェクト単位時間許容符号量は、この算出に用いた第１オブジェクトと同時刻ではなく、単位時間以上後の単位時間内に含まれる第２オブジェクトの符号化の制御に用いられる。また、他オブジェクト許容符号量算出手段で算出される他オブジェクト単位時間許容符号量は、この算出に用いた第２オブジェクトと同時刻ではなく、単位時間以上後の単位時間内に含まれる第１オブジェクトの符号化の制御に用いられる。これにより、第１オブジェクトと第２オブジェクトの符号化に時間差が生じない符号化を実現できる。
【００３１】
本発明による動画像符号化方式は、第１オブジェクト符号化手段は、マスタオブジェクト情報に従って、スイッチを制御するための信号である第１オブジェクトスイッチ制御信号を出力する第１オブジェクトスイッチ制御手段と、第１オブジェクトスイッチ制御信号に従って出力先を選択し、選択した出力先に第１オブジェクトデータを出力する第１オブジェクト入力スイッチ手段と、第１オブジェクトがマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、単位時間許容符号量の範囲内で第１オブジェクト入力スイッチ手段の一方から出力される第１オブジェクトデータを符号化し、第１オブジェクト第１符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクトマスタ符号化情報と、第1オブジェクト第１発生符号量とを出力する第１オブジェクトマスタ符号化手段と、第１オブジェクト第１符号列を一時的に蓄積する第1オブジェクト出力蓄積手段と、第１オブジェクト入力スイッチ手段の他方の出力から出力される第１オブジェクトデータを一時的に蓄積する第１オブジェクト入力蓄積手段と、第１オブジェクト以外がマスタオブジェクトであることをマスタオブジェクト情報が示しているときは、入力される第１オブジェクトVOP目標符号量に従って符号化制御を行い、第１オブジェクト入力蓄積手段から出力される第１オブジェクトデータの各VOPを符号化し、第１オブジェクト第２符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第２符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクトスレーブ符号化情報と、第１オブジェクト第２発生符号量とを出力する第１オブジェクトスレーブ符号化手段と、第１オブジェクトスイッチ制御信号に従って、第1オブジェクト出力蓄積手段から出力される第１オブジェクト第１符号列又は第１オブジェクト第２符号列のいずれか一方を選択し、第１オブジェクト符号列として出力する第１オブジェクト出力スイッチ手段と、第１オブジェクトスイッチ制御信号に従って、第１オブジェクトマスタ符号化情報と第１オブジェクトスレーブ符号化情報とのいずれか一方を選択し、第１オブジェクト第１符号化情報として出力する第１オブジェクト符号化情報スイッチ手段とを有することを特徴とし、第２オブジェクト符号化手段も、第１オブジェクト符号化手段が備える各手段と同等の手段を有することを特徴とする。
【００３２】
第１オブジェクトがマスタオブジェクトの場合は、マスタ符号化手段で符号化し、そうでない場合はスレーブ符号化手段で符号化するように各スイッチ手段を制御する。また、第１オブジェクトがマスタオブジェクトでなくなる場合は、マスタオブジェクト情報が変化してから単位時間内は、マスタ符号化手段、スレーブ符号化手段は両方とも符号化を行わない。逆に、第１オブジェクトがマスタオブジェクトになる場合は、マスタオブジェクト情報が変化してから単位時間内は、マスタ符号化手段、スレーブ符号化手段の両方で符号化を行う。このようにすることで、遅延を累積させることなく、第１オブジェクト、第２オブジェクトを符号化できる。
【００３３】
本発明による動画像符号化方式は、複数のオブジェクトを符号化する動画像符号化方式であって、入力されるマスタオブジェクト符号化情報と入力されるスレーブオブジェクト第１符号化情報と入力される優先度情報とを用いてマスタとなるべきオブジェクトを決定し、どのオブジェクトがマスタであるかを表す情報であるマスタオブジェクト情報を出力するマスタオブジェクト決定手段と、マスタオブジェクト情報に従って、スイッチを制御するための信号であるスイッチ制御信号を出力するスイッチ制御手段と、スイッチ制御信号に従って、第１オブジェクトデータと第２オブジェクトデータとをそれぞれマスタオブジェクトデータとスレーブオブジェクトデータとして出力するか、あるいは、第１オブジェクトデータと第２オブジェクトデータとをそれぞれスレーブオブジェクトデータとマスタオブジェクトデータとして出力する入力スイッチ手段と、スレーブオブジェクトデータを一時的に蓄積する入力蓄積手段と、マスタオブジェクトデータを単位時間の許容符号量を表す単位時間許容符号量の範囲内で符号化し、マスタオブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含むマスタオブジェクト符号化情報と、マスタオブジェクト発生符号量とを出力するマスタオブジェクト符号化手段と、マスタオブジェクト発生符号量を記憶する符号量履歴記憶手段と、符号量履歴記憶手段から出力されるマスタオブジェクト発生符号量を、単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を単位時間許容符号量から減じて他オブジェクト単位時間許容符号量を算出する他オブジェクト許容符号量算出手段と、入力されるスレーブオブジェクトVOP目標符号量に従って符号化制御を行って入力蓄積手段から出力されるスレーブオブジェクトデータの各VOPを符号化し、スレーブオブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含むスレーブオブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含むスレーブオブジェクト第２符号化情報と、スレーブオブジェクト発生符号量とを出力するスレーブオブジェクト符号化手段と、スレーブオブジェクト第２符号化情報と、スレーブオブジェクト発生符号量とに基づいて、単位時間の長さを有する時間軸上の区間に含まれる各VOPに、他オブジェクト単位時間許容符号量を配分し、スレーブオブジェクトの各VOPを符号化する際の符号量の目標値となるスレーブオブジェクトVOP目標符号量を算出するスレーブオブジェクトVOP目標符号量決定手段と、マスタオブジェクト符号列を一時的に蓄積する出力蓄積手段と、スイッチ情報に従って、出力蓄積手段から出力されるマスタオブジェクト符号列とスレーブオブジェクト符号列とを、それぞれ第１オブジェクト符号列と第２オブジェクト符号列として出力するか、あるいは、出力蓄積手段から出力されるマスタオブジェクト符号列とスレーブオブジェクト符号列とを、それぞれ第２オブジェクト符号列と第１オブジェクト符号列として出力する出力スイッチ手段とを有することを特徴とする。
【００３４】
第１オブジェクトがマスタオブジェクトの場合は、マスタとなる符号化手段で符号化し、そうでない場合はスレーブとなる符号化手段で符号化するように各スイッチ手段を制御する。また、第１オブジェクトがマスタオブジェクトでなくなる場合は、マスタオブジェクト情報が変化してから単位時間内は、両方の符号化手段で第２オブジェクトを符号化し、逆に、第１オブジェクトがマスタオブジェクトになる場合は、マスタオブジェクト情報が変化してから単位時間内は、両方の符号化手段で第１オブジェクトを符号化する。このようにすることで、遅延を累積させることなく、第１オブジェクト、第２オブジェクトを符号化できる。
【００３５】
本発明による動画像符号化方式は、他オブジェクト単位時間許容符号量をマスタオブジェクト以外のオブジェクトに配分し、マスタオブジェクト以外のオブジェクトVOP目標符号量決定手段へ出力する他オブジェクト許容符号量配分手段をさらに具備することを特徴とする。
【００３６】
これにより、２つのオブジェクトだけではなく、３つ以上のオブジェクトを符号化する場合にも、本発明の動画像符号化方式を拡張できる。
【００３７】
【発明の実施の形態】
次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。
【００３８】
図１を参照すると、本発明の一実施の形態としての動画像符号化手段が示されている。まず、図１の符号化手段の構成について説明する。
【００３９】
符号化手段１０１へは第１オブジェクトデータと単位時間許容符号量とが入力され、その第１の出力（符号列）は第１オブジェクト符号列を出力し、第２の出力（発生符号量）は符号量履歴記憶手段１０３へ接続される。符号量履歴記憶手段１０３へは符号化手段１０１の第２の出力が入力され、その出力（発生符号量）は他オブジェクト許容符号量算出手段１０４へ接続される。他オブジェクト許容符号量算出手段１０４へは、単位時間許容符号量と、符号量履歴記憶手段１０３の出力とが入力され、その出力（他オブジェクト単位時間許容符号量）は、VOP目標符号量決定手段１０５へ接続される。符号化手段１０２へは第２オブジェクトデータとVOP目標符号量決定手段１０５の出力とが入力され、その第１の出力（符号列）は第２オブジェクト符号列を出力し、第２の出力（発生符号量）と第３の出力（符号化情報）はVOP目標符号量決定手段１０５へ接続される。VOP目標符号量決定手段１０５へは、他オブジェクト許容符号量算出手段１０４の出力と、符号化手段１０２の第２の出力と第３の出力とが入力され、その出力（VOP目標符号量）は符号化手段１０２へ接続される。
【００４０】
次に、図１の符号化手段の動作について説明する。
【００４１】
第１オブジェクトデータは、第１オブジェクトのビデオオブジェクトプレーン（VOP）からなるシーケンスであり、符号化手段１０１へ入力される。ここでVOPは、形状情報を持つ画像オブジェクトの各駒（フレーム）を表す。もちろん、インタレース画像の場合は、フィールド単位でVOPを構成してもよい。形状情報は、各画素がオブジェクトに含まれるか否かを表すデータである。ただし、形状が画面サイズと同じ長方形の場合には、形状情報は含まなくてもよい。また、形状情報は２値でなく、オブジェクトの画素値の混合比率を表す値であってもよい。
【００４２】
符号化手段１０１では、第１オブジェクトデータを符号化して符号列を生成し、第１オブジェクト符号列として出力する。また、符号化によって生じた符号量（発生符号量）を出力する。この符号化方式としては、例えばMPEG-４の方式を用いることができる。第１オブジェクトの符号化は、他のオブジェクト（図１の場合は第２オブジェクト）の符号化に比べると制約は少なく、基本的には、単位時間ごとの符号量が、入力される単位時間許容符号量を超えない範囲であれば、どのように符号化してもよい。
【００４３】
ここで、単位時間とは、符号量制御の基本となる時間である。まず、この単位時間ごとに符号量を割り当て、これをより細分化することによって符号化制御を行う。そして、単位時間許容符号量とは、単位時間に含まれるVOPに割り当てることが可能な符号量の総量を表す。単位時間としては、例えばGOV（Group of VOP）に対応する時間をとることが考えられる。毎秒ｎ枚のVOPからなるオブジェクトの符号化でN枚のVOPで１GOVを構成する場合、１GOVが含まれるN/n秒が単位時間になる。そして、rｂｐｓで符号化する場合には、単位時間許容符号量はNr/n ビットとなる。
【００４４】
このように、画面を構成するオブジェクトのうち、重要なオブジェクトを第１オブジェクトとして優先的に符号化する。例えば、第１オブジェクトは量子化幅固定で画質重視の符号化を行い、残りの割り当て可能な符号量で他のオブジェクトを符号化する。これにより、重要なオブジェクトの画質を劣化させずに符号化できる。
【００４５】
符号化手段１０１から出力される第１オブジェクトの発生符号量は、符号量履歴記憶手段１０３に入力され、一時的に記憶された後、他オブジェクト許容符号量算出手段１０４へ入力される。他オブジェクト許容符号量算出手段１０４では、単位時間に含まれる第１オブジェクトの各VOPを符号化して発生した符号量を符号量履歴記憶手段１０３から読み出し、これを合計することで、単位時間に第１オブジェクトの符号化で発生した符号量の合計を算出する。次に、算出された符号量の合計値を他方から入力される単位時間許容符号量から差し引くことで、第１オブジェクト以外のオブジェクトの符号化に用いることができる符号量を算出する。そして、これを他オブジェクト単位時間許容符号量として出力する。
【００４６】
一方、第２オブジェクトデータは、第２オブジェクトのVOPからなるシーケンスであり、符号化手段１０２へ入力される。符号化手段１０２では、第２オブジェクトデータを符号化して符号列を生成し、第２オブジェクト符号列として出力する。また、符号化によって生じた符号量を発生符号量として出力し、量子化情報や動き情報、アクティビティ情報、符号化誤差情報などを符号化情報として出力する。第２オブジェクトの符号化においては、各VOPの発生符号量が、VOP目標符号量決定手段１０５から出力されるVOP目標符号量になるように符号化制御を行う。この符号化方式としても、例えばMPEG-4の方式を用いることができる。
【００４７】
VOP目標符号量決定手段１０５では、他オブジェクト許容符号量算出手段１０４から出力される他オブジェクト単位時間許容符号量と、符号化手段１０２から出力される符号化情報と発生符号量とから、第２オブジェクトの各VOPの符号化に用いることができる符号量であるVOP目標符号量を決定し、符号化手段１０２へ出力する。この決定法としては、例えばMPEG−２のTM−５（Test
Model 5）を用いることができる。この場合、符号化手段１０２から出力される符号量情報は量子化ステップ情報を含み、この平均値と発生符号量との積として求まる複雑度指標をピクチャタイプごとに求め、この複雑度指標とGOV内でこれから符号化するVOPの枚数に応じて符号量を分配し、第２オブジェクトの各VOPの目標符号量を決定する。あるいは、MPEG−４のVM（Verification Model）のような符号量制御方法を用いてもよい。
【００４８】
次に、単位時間をGOVに相当する時間とした場合の、上述の符号化における符号量割り当てについて、式等を用いて詳細に説明する。
【００４９】
第１オブジェクトデータのGOV内のVOP数をN1、第２オブジェクトデータのGOV内のVOP数をN2とする。ここで、N1とN2は同じであってもよいし、異なっていてもよい。ただし、単位時間は、全てのオブジェクトで共通とする。また、第１オブジェクトの各VOPでの発生符号量をb1(i) (i=0、 …、N1−1)とし、第２フレームの各VOPでの発生符号量をb2(j) (j=0、…、N2−1)とする。このとき、第１オブジェクトのGOV全体での発生符号量（これをR1とする）は
【００５０】
【数１】
となる。よって、単位時間許容符号量をRとすると、他オブジェクト単位時間許容符号量（これをR2とする）は、
【００５２】
【数２】
となる。図１の場合は、符号化するオブジェクトの数が２つであるため、他オブジェクト単位時間許容符号量はそのまま第２オブジェクトの許容符号量となる。
【００５４】
第２オブジェクトの符号化では、R2の符号量をGOVに含まれるN2枚の各VOPに割り当てて符号化する。初めのJ（=1、2、…、N2−1）枚のVOPの符号化が完了すると、残りのVOPに割り当てることができる符号量の総量は、
【００５５】
【数３】
となる。そこで、残りのN2−J枚のVOPの符号化では、これを配分してVOP目標符号量を決定する。これをJ=1、２、…、N2−１に対して繰り返し、各VOPの符号量を算出する。
【００５７】
上述の符号化では、単位時間に含まれる第１オブジェクトの符号化が終わった時点で、その単位時間内で第１オブジェクトの符号化で費やした符号量を算出し、単位時間許容符号量から差し引いて第２オブジェクトの単位時間の符号化で割り当て可能な符号量を決定する。
【００５８】
次に、第１オブジェクトの符号化と第２オブジェクトの符号化の時間軸上での関係について図を用いて述べる。ここでも単位時間を１GOVとしているが、必ずしもそれに限らなくてもよい。
【００５９】
図２は、第１オブジェクトデータ、第２オブジェクトデータの符号化が行われる時刻の関係を示した図である。図において、第１オブジェクト、第２オブジェクトのGOVのシーケンスをそれぞれGOV1（ｉ）、GOV2（ｉ）（ｉ=0、1、2、…）で表している。図からわかるように、第２オブジェクトは、第１オブジェクトよりも単位時間以上遅れて符号化される。このため、伝送路に送出する際にオブジェクト間の同期をとる必要がある場合は、第１オブジェクト符号列を一時的に蓄えるバッファを用意し、同期をとるようにする。
【００６０】
次に発生符号量について考えると、ｍ番目のGOVでの第１オブジェクト、第２オブジェクトの発生符号量をそれぞれR1（ｍ）、R2（ｍ）で表すことにすると、各オブジェクトのGOV単位での発生符号量は表１のようになる。これより、第２オブジェクトの符号化には遅延が生じるものの、発生符号量のオブジェクト間での総和はGOVごとに正確に単位時間許容符号量に一致する。
【００６１】
【表１】
以上、２つのオブジェクトを符号化する際の符号化手段を図１を用いて説明してきたが、これを３つ以上のオブジェクトの場合に拡張することもできる。この場合、他オブジェクト許容符号量算出手段１０４の後に他オブジェクト単位時間許容符号量を複数のオブジェクトに分配するための許容符号量分配手段を新たに設ければよい。そして、第１オブジェクト以外の各オブジェクトに対し、図１のVOP目標符号量決定手段１０５と同等の手段と、符号化手段１０２と同等の手段を用意し、許容符号量分配手段によって分配された結果を、各オブジェクトのVOP目標符号量決定手段に送出するようにすればよい。
【００６３】
許容符号量分配手段における他オブジェクト単位時間許容符号量の分配方法については、例えば、各オブジェクトの形状情報から面積を求め、この面積の比率に応じて比例配分する方法がある。ただし、形状情報が２値でない場合は、まず２値化してから面積を算出する。あるいは、オブジェクトの重要性を考慮してこれを重み付けする方法、オブジェクトの動き情報やアクティビティ情報を用いてオブジェクトが注目される度合いを表す指標を算出し、これに基づいて比例配分する方法などが考えられる。
【００６４】
上述の通り、本発明の第１の実施の形態では、第１オブジェクトの発生符号量が特定のVOPで増加した場合であっても、それが第２オブジェクトの符号化に与える影響を単位時間内に均等に分散させることができる。これにより、第２オブジェクトの符号量の極端な変動を抑えることができ、第１オブジェクトと第２オブジェクトを復号し、合成してできる画像の画質を改善できる。
【００６５】
次に、本発明の第２の実施の形態について説明する。
【００６６】
今までは、符号化に単位時間の遅延が許される場合について述べたが、ここでは、遅延が許されない場合の符号化方法について述べる。
【００６７】
符号化手段の構成は図１と同様であり、各手段の動作も基本的には同様である。ただし、入力時に第１オブジェクトと第２オブジェクトとで時間差は生じていないものとする。この場合、他オブジェクト許容符号量算出手段１０４から出力される他オブジェクト単位時間許容符号量を用いて符号化制御するのは、第１オブジェクトと同時刻のGOVではなく、それよりも遅れたGOVである。すなわち、 GOV1（ｉ）の符号化の結果求まった他オブジェクト単位時間許容符号量を用いて符号化するのは、 GOV2（ｉ＋ｋ）（ｋ＞０）である。
【００６８】
すなわち、第1の実施の形態では、遅延を許すかわりに
【００６９】
【数４】
の関係が成り立っていたのに対し、第２の実施の形態では、
【００７１】
【数５】
が成り立つように制御する。ただし、このままでは、始めのｋ個のGOVは、第２オブジェクトの発生符号量が定まらないことになるため、この期間については予め定めた符号量で符号化する。
【００７３】
第１オブジェクトの符号化と第２オブジェクトの符号化の時間軸上での関係を図で表したものが図３である。図に示す通り、第１オブジェクトと第２オブジェクトの符号化の間には時間差は生じていない。
【００７４】
一方、発生符号量は表２のようになる。表２では、例としてｋ＝１の場合の各GOVにおける発生符号量を示している。第２オブジェクトの最初のGOVの符号化制御では、予め定めた値R0を用いる。表２からわかる通り、GOVごとにオブジェクト間で合計するとその合計値は変動する。しかし、より長い時間で平均をとれば、基本的には許容符号量に収まっていることになる。この変動分は、符号列を蓄積するためのバッファを用意し、一旦このバッファに符号列を蓄積した後、タイミングを調整しながら符号列を伝送路に送出することにより吸収できる。
【００７５】
【表２】
以上述べたように、第２の実施の形態では、GOV単位で見ると符号量のオブジェクト間での総和にばらつきが生じるものの、それほど遅延を生じさせずに符号化することが可能となる。
【００７７】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を第１の実施の形態と同様にして構築できる。
【００７８】
次に、本発明の第３の実施の形態について説明する。
【００７９】
図４を参照すると、本発明の一実施の形態としての動画像符号化手段が示されている。まず、図４に示される符号化手段の構成について説明する。
【００８０】
符号化手段２０１へは第１オブジェクトデータと単位時間許容符号量とマスタオブジェクト決定手段２０６の出力とVOP目標符号量決定手段２０５の出力とが入力され、符号化手段２０１の第１の出力（符号列）は第１オブジェクト符号列を出力し、第２の出力（第１発生符号量）は符号量履歴記憶手段１０３へ接続され、第３の出力（第１符号化情報）はマスタオブジェクト決定手段２０６へ接続され、第４の出力（第２発生符号量）と第５の出力（第２符号化情報）はVOP目標符号量決定手段２０５へ接続される。
【００８１】
符号量履歴記憶手段１０３へは符号化手段２０１の第２の出力が入力され、その出力（発生符号量）は他オブジェクト許容符号量算出手段１０４へ接続される。
【００８２】
他オブジェクト許容符号量算出手段１０４へは、単位時間許容符号量と、符号量履歴記憶手段１０３の出力とが入力され、その出力（他オブジェクト単位時間許容符号量）は、VOP目標符号量決定手段１０５へ接続される。
【００８３】
符号化手段２０２へは第２オブジェクトデータと単位時間許容符号量とマスタオブジェクト決定手段２０６の出力とVOP目標符号量決定手段１０５の出力とが入力され、符号化手段２０２の第１の出力（符号列）は第２オブジェクト符号列を出力し、第２の出力（第１発生符号量）は符号量履歴記憶手段２０３へ接続され、第３の出力（第１符号化情報）はマスタオブジェクト決定手段２０６へ接続され、第４の出力（第２発生符号量）と第５の出力（第２符号化情報）はVOP目標符号量決定手段１０５へ接続される。
【００８４】
VOP目標符号量決定手段１０５へは、他オブジェクト許容符号量算出手段１０４の出力と、符号化手段２０２の第４の出力と第５の出力とが入力され、VOP目標符号量決定手段１０５の出力（VOP目標符号量）は符号化手段２０２へ接続される。
【００８５】
符号量履歴記憶手段２０３へは符号化手段２０２の第２の出力が入力され、その出力（発生符号量）は他オブジェクト許容符号量算出手段２０４へ接続される。
【００８６】
他オブジェクト許容符号量算出手段２０４へは、単位時間許容符号量と、符号量履歴記憶手段２０３の出力とが入力され、その出力（他オブジェクト単位時間許容符号量）は、VOP目標符号量決定手段２０５へ接続される。
【００８７】
VOP目標符号量決定手段２０５へは、他オブジェクト許容符号量算出手段２０４の出力と、符号化手段２０１の第４の出力と第５の出力とが入力され、VOP目標符号量決定手段２０５の出力（VOP目標符号量）は符号化手段２０１へ接続される。
【００８８】
マスタオブジェクト決定手段２０６へは、優先度情報と符号化手段２０１の第３の出力と符号化手段２０２の第３の出力とが入力され、その出力（マスタオブジェクト情報）は、符号化手段２０１と符号化手段２０２へ接続される。
【００８９】
次に、図４の符号化手段の動作について説明する。
【００９０】
まず、オブジェクト間の優先度を示す優先度情報がマスタオブジェクト決定手段２０６へ入力される。この結果に基づき、第１オブジェクトと第２オブジェクトのどちらがマスタオブジェクトになるかを示す情報であるマスタオブジェクト情報を出力する。
【００９１】
符号化手段２０１と符号化手段２０２で符号化が始まった後には、符号化手段２０１から出力される第１符号化情報と、符号化手段２０２から出力される第１符号化情報もマスタオブジェクト決定手段２０６へ入力され、マスタオブジェクトの決定に用いられる。ここで符号化情報は、オブジェクトのサイズ情報や動き情報やアクティビティ情報や量子化情報や符号化誤差情報等を含む情報であり、このうちの少なくとも一つは含まれる。ただし、外部から入力される優先度情報のみによってマスタオブジェクトを決定することも可能であり、この場合、符号化手段２０１、２０２から出力される第１符号化情報は、マスタオブジェクト決定手段２０６へ入力されなくてもよい。
【００９２】
マスタオブジェクトの決定法としては、例えば、各オブジェクトのサイズの大小によって決定する方法や、サイズとオブジェクトの重要性とを考慮して決定する方法や、あるいは、オブジェクトの動き情報やアクティビティ情報を用いてオブジェクトが注目される度合いを表す指標を算出し、これに基づいて決定する方法などが考えられる。
【００９３】
ただし、符号化手段２０１、２０２から出力される第１符号化情報は、時刻がずれている可能性があるため、マスタオブジェクト決定手段２０６はこれらを一時的に記憶する記憶手段を内部に有している。そして、マスタオブジェクトの決定には、同一時刻のVOPに対する第１符号化情報を用いるようにする。
【００９４】
マスタオブジェクト決定手段から出力されるマスタオブジェクト情報によって、図４の符号化手段の動作が変わる。以下では、まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明し、次に、第１オブジェクトがマスタオブジェクトでない場合の定常状態の動作について説明し、最後にマスタオブジェクト情報が変化する際の動作について説明する。
【００９５】
まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明する。この場合には、図４の符号化手段の動作は、図１の符号化手段の動作とほぼ同様になる。符号化手段２０１における符号化では、VOP目標符号量決定手段２０５から出力されるVOP目標符号量は用いず、単位時間許容符号量に従って第１オブジェクトを符号化する。そして、得られた符号列を第１オブジェクト符号列として出力し、発生符号量を第１発生符号量として符号量履歴記憶手段１０３へ出力し、符号化情報を第１符号化情報として、マスタオブジェクト決定手段２０６へ出力する。一方、第２発生符号量と第２符号化情報は出力しない。なお、このような符号化手段の動作を、以下では単に、マスタとしての動作と呼ぶことにする。
【００９６】
符号量履歴記憶手段１０３、他オブジェクト許容符号量算出手段１０４、VOP目標符号量決定手段１０５の動作は、図１の符号化手段の対応する手段の動作と同様である。
【００９７】
一方、符号化手段２０２は単位時間許容符号量は用いず、VOP目標符号量決定手段１０５から出力されるVOP目標符号量に従って各VOPを符号化する。そして、得られた符号列を第２オブジェクト符号列として出力し、符号化情報と発生符号量をそれぞれ第２符号化情報、第２発生符号量としてVOP目標符号量決定手段１０５へ出力する。また、符号化情報を第１符号化情報として、マスタオブジェクト決定手段２０６に出力する。第１符号化情報と第２符号化情報とは、必ずしも同じものである必要はないが、同じものであってもよい。一方、第１発生符号量は出力しない。なお、このような符号化手段の動作を、以下では単に、スレーブとしての動作と呼ぶことにする。
【００９８】
他の手段、すなわち、符号量履歴記憶手段２０３、他オブジェクト許容符号量算出手段２０４、VOP目標符号量決定手段２０５は動作しない。
【００９９】
次に、第１オブジェクトはマスタオブジェクトでない場合の定常状態の動作について説明する。この場合には、図４の符号化手段の動作は、前述の第１オブジェクトと第２オブジェクトの役割を入れ替えたものとなる。
【０１００】
すなわち、符号化手段２０２は、第１オブジェクトがマスタオブジェクトである場合の符号化手段２０１と同様の動作をし、第２オブジェクトを符号化して符号列を生成し、第２オブジェクト符号列として出力する。同時に発生符号量を第１発生符号量として符号量履歴記憶手段２０３へ出力する。また、符号化情報を第１符号化情報として、マスタオブジェクト決定手段２０６へ出力する。
【０１０１】
符号量履歴記憶手段２０３は、第１オブジェクトがマスタオブジェクトである場合の符号量履歴記憶手段１０３と同様に動作し、符号化手段２０２から出力される第１発生符号量を一時的に記憶する。
【０１０２】
他オブジェクト許容符号量算出手段２０４は、第１オブジェクトがマスタオブジェクトである場合の他オブジェクト許容符号量算出手段１０４と同様に動作し、単位時間に含まれる第２オブジェクトの各VOPを符号化して発生した符号量を符号量履歴記憶手段２０３から読み出し、合計し、得られる合計値を単位時間許容符号量から差し引くことにより、他オブジェクト単位時間許容符号量を算出する。そして、これをVOP目標符号量決定手段２０５へ出力する。
【０１０３】
VOP目標符号量決定手段２０５は、第１オブジェクトがマスタオブジェクトである場合のVOP目標符号量決定手段１０５と同様に動作し、他オブジェクト許容符号量算出手段２０４から出力される第１の他オブジェクト単位時間許容符号量と、符号化手段２０１から出力される第２符号化情報と第２発生符号量とから、VOP目標符号量を算出し、符号化手段２０１へ出力する。
【０１０４】
符号化手段２０１は、第１オブジェクトがマスタオブジェクトである場合の符号化手段２０２と同様の動作をし、第１オブジェクトをVOP目標符号量決定手段２０５から出力されるVOP目標符号量に従って符号化し、符号列を生成して第１オブジェクト符号列として出力する。同時に符号化情報を第１符号化情報としてマスタオブジェクト決定手段２０６へ出力し、発生符号量と符号化情報をそれぞれ第２発生符号量、第２符号化情報として、VOP目標符号量決定手段２０５へ出力する。
【０１０５】
他の手段、すなわち、符号量履歴記憶手段１０３、他オブジェクト許容符号量算出手段１０４、VOP目標符号量決定手段１０５は動作しない。
【０１０６】
次に、マスタオブジェクト情報が変化する際の動作について説明する。ここでは、オブジェクト単位で見たときに、符号化の並列実行等は行わず、単位時間内に符号化するオブジェクトデータは、単位時間分であるとする。
【０１０７】
マスタオブジェクト以外のオブジェクトは、マスタオブジェクトよりも単位時間の長さ以上遅れて符号化されている。このため、マスタオブジェクト以外のオブジェクトの符号化がマスタオブジェクト切り替え時点に到達するまで、マスタオブジェクトだったオブジェクトの符号化手段は符号化を停止する。そして、マスタオブジェクト以外のオブジェクトの符号化がマスタオブジェクト切り替え時点に達すると、マスタオブジェクト決定手段２０６から出力されるマスタオブジェクト情報に従って、それらのうちの一つがマスタオブジェクトになる。次に、マスタオブジェクトになったオブジェクトの符号化手段は単位時間符号化する。その間、他のオブジェクトの符号化手段は停止している。その後、単位時間遅れて、他のオブジェクトの符号化が再開される。
【０１０８】
上述の、マスタオブジェクト情報と、符号化手段２０１、符号化手段２０２で符号化されるGOVの時間軸の関係を例示したものが図５である。ここでは、単位時間を１GOVとしている。
【０１０９】
図５の一番上のグラフは、マスタオブジェクト情報を表しており、ここでは、レベルが低い場合、第１オブジェクトがマスタオブジェクトであることを表し、レベルが高い場合、第２オブジェクトがマスタオブジェクトであることを表している。これより、時刻T１より前と、時刻T2より後は第１オブジェクトがマスタオブジェクトであり、時刻T1とT2の間は第２オブジェクトがマスタオブジェクトであることがわかる。GOVのシーケンス番号で言えば、０から２までと６以降は第１オブジェクトがマスタオブジェクトであり、３から５までは第２オブジェクトがマスタオブジェクトである。
【０１１０】
時刻T1までは符号化手段２０１がマスタであるため、第２オブジェクトは第１オブジェクトよりも１GOV遅れて符号化される。
【０１１１】
時刻T1において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が入れ替わる。ただし、この時点では、まだ、GOV2(２)の符号化は行われていないため、切り替わった後すぐに主従関係が入れ替わるのではなく、符号化手段２０２において、GOV２（２）の符号化が終了した時点、すなわち時刻T3で切り替わる。
【０１１２】
時刻T3からは、符号化手段２０２がマスタになり、第１オブジェクトは第２オブジェクトよりも1GOV遅れて符号化される。
【０１１３】
時刻T2において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が入れ替わる。時刻T1の場合と同様に、すぐに切り替わるわけではなく、GOV１（５）の符号化が終わる時刻T4において切り替わる。
【０１１４】
以後は再び符号化手段２０１がマスタとなり、符号化が行われ、第２オブジェクトは第１オブジェクトよりも１GOV遅れて符号化される。
【０１１５】
以上からわかる通り、この方式では、マスタオブジェクトの切り替わりが起こるたびに、遅延が累積する。このため、リアルタイムでの符号化には適用できないが、オブジェクトデータを蓄積媒体から読み込んで符号化するなど、オフラインの符号化に適用できる。
【０１１６】
各GOVにおける発生符号量を示したものが表３である。これより、遅延が生じるものの、発生符号量のオブジェクト間での総和はGOVごとに正確に単位時間許容符号量に一致することがわかる。
【０１１７】
【表３】
本発明の第３の実施の形態では、マスタオブジェクト決定手段から出力されるマスタオブジェクト情報に従って、マスタオブジェクトとなるオブジェクトを動的に切り替えることができる。よって、オブジェクトの面積の変化などによってオブジェクトの重要度が変化した場合であっても、動的に制御を行うことで、全体の復号画質を確保することができる。
【０１１９】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を構築することができる。この場合、各オブジェクトに対しても、図４のVOP目標符号量決定手段２０５と同等の手段と、符号量履歴記憶手段１０３と同等の手段と、他オブジェクト許容符号量算出手段１０４と同等の手段を用意する。そして、各オブジェクトに対する他オブジェクト許容符号量算出手段の後に他オブジェクト単位時間許容符号量を複数のオブジェクトに分配するための許容符号量分配手段を新たに設ければよい。さらに、マスタオブジェクト情報をこの許容符号量分配手段にも入力するようにする。
【０１２０】
許容符号量分配手段によって分配された結果は、マスタオブジェクトでない各オブジェクトのVOP目標符号量決定手段に送出するようにする。これにより、３つ以上のオブジェクトの場合も符号化できる。なお、許容符号量分配手段における符号量の分配には、第１の実施の形態の場合と同様の方式を用いることができる。
【０１２１】
次に、本発明の第４の実施の形態について説明する。第３の実施の形態では、符号化に遅延の累積が許されることを仮定したが、以下では遅延は累積が許されない場合の符号化方法について述べる。
【０１２２】
符号化手段の構成は図４と同じであり、各手段の動作も、マスタオブジェクトが切り替わる時点を除けば基本的には同じである。ただし、第２の実施の形態と同様、入力時に第１オブジェクトと第２オブジェクトとで時間差は生じていないものとする。この場合、他オブジェクト許容符号量算出手段１０４から出力される他オブジェクト単位時間許容符号量を用いて符号化を制御するのは、この算出に用いた第１オブジェクトと同時刻のGOVではなく、それよりも遅れたGOVである。同様に、他オブジェクト許容符号量算出手段２０４から出力される他オブジェクト単位時間許容符号量を用いて符号化を制御するのは、この算出に用いた第２オブジェクトと同時刻のGOVではなく、それよりも遅れたGOVとなる。
【０１２３】
一方、マスタオブジェクトが切り替わる時点では、符号化手段２０１、２０２の両方がVOP目標符号量決定手段２０５、１０５から出力されるVOP目標符号量に従って動作する、すなわち、スレーブとして動作する時点が生じる。この場合の動作については、以下の具体例によって詳しく説明する。
【０１２４】
次に、マスタオブジェクト情報によって、マスタオブジェクトが切り替わる場合の符号化手段の動作について具体例を用いて説明する。
【０１２５】
マスタオブジェクト情報と、符号化手段２０１、符号化手段２０２で符号化されるGOVの時間軸の関係を例示したものが図６である。ここでは、単位時間を１GOVとしている。また、図６の一番上のグラフは、マスタオブジェクト情報を表しており、マスタオブジェクトとレベルの関係は図５の場合と同様である。
【０１２６】
時刻T1までは符号化手段２０１がマスタとして動作する。よって、第２オブジェクトの符号化制御に用いる単位時間許容符号量の算出には、第１オブジェクトの１つ前のGOVにおける発生符号量が用いられる。ただし、最初のGOV、すなわち、GOV2(0)の符号化の際は、符号化手段２０２もマスタとして動作する。
【０１２７】
時刻T1において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が入れ替わる。ただし、マスタオブジェクト情報の値が変化した後すぐに主従関係が入れ替わるのではなく、時刻T3で切り替わる。時刻T１からT3の間は、両符号化手段ともスレーブとして動作する状態となる。すなわち、GOV２（３）の符号化はGOV１（２）の発生符号量に応じて制御され、GOV１（３）の符号化は、後述するように、GOV２（０）の発生符号量に応じて制御される。
【０１２８】
時刻T3からは、符号化手段２０２がマスタとして動作するようになり、第１オブジェクトの符号化制御に用いる単位時間許容符号量の算出には、第２オブジェクトの１つ前のGOVの発生符号量が用いられる。ただし、主従関係が切り替わった直後であるGOV１（４）の符号化では、符号化手段２０１もマスタとして動作する。
【０１２９】
時刻T2において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が再び入れ替わる。時刻T1の場合と同様に、すぐに切り替わるわけではなく、時刻T4において切り替わる。そして、時刻T2と時刻T4の間は両符号化手段ともスレーブとして動作する状態となる。この間、GOV１（６）の符号化はGOV２（５）の発生符号量に応じて制御され、GOV２（６）の符号化は、後述するように、GOV１（４）の発生符号量に応じて制御される。
【０１３０】
以後は再び符号化手段２０１がマスタとして動作するようになり、符号化が行われ、第２オブジェクトの符号化制御に用いる単位時間許容符号量の算出には、第１オブジェクトの１つ前のGOVの発生符号量が用いられる。ただし、主従関係が切り替わった直後であるGOV２（７）の符号化では、符号化手段２０２もマスタとして動作する。
【０１３１】
次に、各GOVでの発生符号量について説明する。各GOVにおける発生符号量を示したものが表４である。
【０１３２】
【表４】
時刻Ｔ1より前は、符号化手段２０１はマスタとして動作し、符号化手段２０２はスレーブとして動作するため、
【０１３４】
【数６】
の関係が成り立っている。ただし、m=0のときは、両符号化手段ともマスタとして動作している。
【０１３６】
マスタオブジェクトの切り替わる時刻Ｔ1から時刻Ｔ3の間は、トータルの許容符号量の制約を満たすために、符号化手段２０１もスレーブとして動作する。すなわち、発生符号量がＲ−Ｒ2（0）となるように制御して符号化する。これにより、マスタオブジェクトが切り替わっても発生符号量は許容符号量の制約を満たす。
【０１３７】
時刻Ｔ3から時刻Ｔ2の間は、符号化手段２０１はスレーブとして動作し、符号化手段２０２はマスタとして動作する。よって、切り替わり直後のm=4を除き、
【０１３８】
【数７】
の関係が成り立っている。m=4のときは、m=0のときと同様、両符号化手段ともマスタとして動作している。
【０１４０】
マスタオブジェクトの切り替わる時刻Ｔ2から時刻Ｔ4の間は、トータルの許容符号量の制約を満たすために、符号化手段２０２もスレーブとして動作する。すなわち、発生符号量がＲ−Ｒ1（4）となるように制御して符号化する。
【０１４１】
時刻T4以降は、再び、符号化手段２０１はマスタとして動作し、符号化手段２０２はスレーブとして動作するようになる。よって、切り替わり直後のm=7を除き、
【０１４２】
【数８】
を満たしている。m=７のときは、m=0のときと同様、両符号化手段ともマスタとして動作している。
【０１４４】
このように、GOVごとにオブジェクト間で合計するとその合計値は変動する。しかし、第２の実施の形態の場合と同様に、より長い時間で平均をとれば、基本的には許容符号量に収まっていることになる。この変動分は、符号列を蓄積するためのバッファを用意し、一旦このバッファに符号列を蓄積した後、タイミングを調整しながら符号列を伝送路に送出することにより吸収できる。
【０１４５】
以上述べた本発明の第４の実施の形態では、マスタオブジェクトを切り替える場合でも、遅延を生じさせることなく符号化可能な符号化方式を与える。
【０１４６】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を第３の実施例と同様にして構築できる。
【０１４７】
次に、本発明の第５の実施の形態について述べる。
【０１４８】
符号化手段全体の構成は図４と同じである。ただし、符号化手段２０１の構成は、図７のようになっている。次に、図７の構成について説明する。
【０１４９】
スイッチ制御部３１５へはマスタオブジェクト情報が入力され、その出力（スイッチ制御情報）は、スイッチ手段３０３〜３０５へ出力される。スイッチ手段３０３へは、第１オブジェクトデータとスイッチ制御部３１５の出力が入力され、その第１の出力（オブジェクトデータ）は入力バッファ３１１へ接続され、第２の出力（オブジェクトデータ）はマスタ符号化手段３０１へ接続される。マスタ符号化手段３０１へは、スイッチ手段３０３の第２の出力とマスタオブジェクト情報と、単位時間許容符号量とが入力され、その第１の出力（第１符号列）は出力バッファ３１０へ接続され、第２の出力は第1発生符号量を出力し、第３の出力（マスタ符号化情報）は、スイッチ手段３０５へ接続される。出力バッファ３１０へは、マスタ符号化手段３０１の第1の出力が入力され、その出力（第1符号列）はスイッチ手段３０４へ接続される。入力バッファ３１１へはスイッチ手段３０３の第1の出力が接続され、その出力（オブジェクトデータ）は、スレーブ符号化手段３０２へ接続される。スレーブ符号化手段３０２へは、入力バッファ３１１の出力とマスタオブジェクト情報とVOP目標符号量とが入力され、その第１の出力（第２符号列）はスイッチ手段３０４へ接続され、第２の出力は第２発生符号量を出力し、第３の出力は、第２符号化情報を出力し、第４の出力（スレーブ符号化情報）は、スイッチ手段３０５へ接続される。スイッチ手段３０４へはスレーブ符号化手段３０２の第1の出力と出力バッファ３１０の出力とスイッチ制御部３１５の出力とが入力され、その出力（符号列）は第１オブジェクト符号列を出力する。スイッチ手段３０５へは、マスタ符号化手段の第３の出力とスレーブ符号化手段の第４の出力とスイッチ制御部３１５の出力とが入力され、その出力は第1符号化情報を出力する。
【０１５０】
次に図７の符号化手段の動作について説明する。
【０１５１】
スイッチ制御部３１５では、入力されるマスタオブジェクト情報に従って、スイッチを制御するためのスイッチ情報を出力する。このスイッチ情報によって、スイッチが切り替わり、符号化手段２０１の動作は変わる。以下では、まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明し、次に、第１オブジェクトはマスタオブジェクトでない場合の定常状態の動作について説明し、最後にマスタオブジェクト情報が変化する場合の動作について説明する。
【０１５２】
まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明する。この場合は、マスタ符号化手段３０１を用いて第１オブジェクトを符号化するように各スイッチ手段を制御する。すなわちスイッチ手段３０３は、出力先をマスタ符号化手段３０１に設定する。一方、スイッチ手段３０４は、入力先を出力バッファ３１０に設定する。スイッチ手段３０５は、入力先をマスタ符号化手段３０１に設定する。
【０１５３】
上述のように接続された場合、第１オブジェクトデータは、スイッチ手段３０３を経由してマスタ符号化手段３０１へ入力される。マスタ符号化手段はマスタオブジェクト情報が、第１オブジェクトがマスタオブジェクトであることを示しているときに動作するようになっている。マスタ符号化手段３０１の動作は、基本的に、図１の符号化手段１０１と同様であり、単位時間許容符号量の範囲内で第１オブジェクトを符号化し、得られた符号列を第１符号列として、出力バッファ３１０へ出力する。これと同時に発生符号量を符号化手段２０１の外部へ第１発生符号量として出力し、符号化情報を、スイッチ手段３０５を経由して第１符号化情報として符号化手段２０１の外部へ出力する。
【０１５４】
出力バッファ３１０では、第１符号列は単位時間だけ蓄積される。例えば、単位時間が１GOVである場合には、１GOV分出力バッファ３１０に蓄積される。この結果、出力バッファ３１０の入力と出力とでは、この単位時間分の遅延が生じ、出力される符号列はスイッチ手段３０４を経由して、第１オブジェクト符号列として出力される。
【０１５５】
次に、第１オブジェクトはマスタオブジェクトでない場合の定常状態の動作について説明する。この場合は、スレーブ符号化手段３０２を用いて第１オブジェクトを符号化するように、各スイッチ手段を制御する。すなわち、スイッチ手段３０３は、出力先を入力バッファ３１１に設定する。一方、スイッチ手段３０４は、入力先をスレーブ符号化手段３０２に設定する。スイッチ手段３０５は、入力先をスレーブ符号化手段３０２に設定する。
【０１５６】
上述のように接続された場合、第１オブジェクトデータは、スイッチ手段３０３を経由して入力バッファ３１１へ入力される。ここで第１オブジェクトデータは単位時間だけ蓄積される。例えば、単位時間が１GOVである場合には、１GOV分入力バッファ３１１に蓄積される。この結果、入力バッファ３１１の入力と出力とでは、この単位時間分の遅延が生じ、出力されるオブジェクトデータはスレーブ符号化手段３０２へ入力される。
【０１５７】
スレーブ符号化手段３０２は、マスタオブジェクト情報の切り替わりの時を除けば、マスタオブジェクト情報が、第１オブジェクトがマスタオブジェクトでないことを示しているときに動作するようになっている。スレーブ符号化手段３０２の動作は、基本的に、図１の符号化手段１０２と同様であり、各VOPの発生符号量が入力されるVOP目標符号量になるように符号化制御して第１オブジェクトデータを符号化する。得られた符号列を第２符号列としてスイッチ手段３０４へ出力する。これと同時に発生符号量を第２発生符号量として出力し、符号化情報を第２符号化情報として符号化手段２０１の外部へ出力する。また、符号化情報は、第１符号化情報として、スイッチ手段３０５を経由して外部へ出力される。ここで、第１符号化情報と第２符号化情報は同じでもよいが、異なっていてもよい。
【０１５８】
次に、マスタオブジェクト情報が変化する場合の動作について説明する。
【０１５９】
マスタオブジェクトであった第1オブジェクトがマスタオブジェクトでなくなる場合、スイッチ手段３０３は、スイッチ制御情報が切り替わると同時に、出力先をマスタ符号化手段３０１から入力バッファ３１１へ切り替える。また、スイッチ手段３０５は、スイッチ制御情報の切り替わってから単位時間内の任意の時刻に、入力先をマスタ符号化手段３０１から、スレーブ符号化手段３０２へ切り替える。
【０１６０】
一方、スイッチ手段３０４は、スイッチ制御情報が切り替わった後、単位時間だけ遅れて、入力先を出力バッファ３１０から、スレーブ符号化手段３０２へ切り替える。この結果、スイッチ制御情報が切り替わった後、単位時間は、出力バッファ３１０に蓄積されたデータを第１オブジェクト符号列として出力し、それが終わった後に切り替わり、スレーブ符号化手段３０２からの出力を第１オブジェクト符号列として出力する。
【０１６１】
マスタ符号化手段３０１は、マスタオブジェクト情報が変化すると符号化を停止する。一方、スレーブ符号化手段３０２は、マスタオブジェクト情報が変化すると、単位時間だけ待った後、符号化を開始する。
【０１６２】
逆に、マスタオブジェクトでなかった第1オブジェクトがマスタオブジェクトになる場合、スイッチ手段３０３は、スイッチ制御情報が切り替わると同時に、出力先を入力バッファ３１１からマスタ符号化手段３０１へ切り替える。また、スイッチ手段３０５も、スイッチ制御情報の切り替わりと同時に、入力先をスレーブ符号化手段３０２から、マスタ符号化手段３０１へ切り替える。
【０１６３】
一方、スイッチ手段３０４は、スイッチ制御情報が切り替わった後、単位時間だけ遅れて、入力先をスレーブ符号化手段３０２から、出力バッファ３１０へ切り替える。この結果、スイッチ制御情報が切り替わった後、単位時間は、スレーブ符号化手段３０２からの出力を第１オブジェクト符号列として出力し、それが終わった後に切り替わり、出力バッファ３１０からの出力を第１オブジェクト符号列として出力する。
【０１６４】
スレーブ符号化手段３０２は、マスタオブジェクト情報が変化すると、単位時間は符号化を続け、その後、符号化を停止する。一方、マスタ符号化手段３０１は、マスタオブジェクト情報が変化すると符号化を開始する。
【０１６５】
以上、符号化手段２０１の構成と動作について説明したが、符号化手段２０２も図７と同様の構成をしており、同様の動作をする。ただし、マスタ符号化手段とスレーブ符号化手段で行う符号化の方式は、符号化手段２０１のものと異なっていてもよい。例えば、前景オブジェクト（第１オブジェクト）に対してMPEG-4の符号化を用い、背景オブジェクト（第２オブジェクト）に対してMPEG-2の符号化を用いるといったことも可能である。
【０１６６】
次に、マスタオブジェクト情報が変化する場合の、第５の実施の形態である符号化手段の動作を、具体例を用いて説明する。
【０１６７】
マスタオブジェクト情報と、符号化手段２０１、２０２のマスタ符号化手段、スレーブ符号化手段で符号化されるGOVと入力バッファに入力されるGOVと、出力バッファから出力されるGOVの時間軸の関係を例示したものが図８である。ここでは、単位時間を１GOVとしている。また、図８の一番上のグラフは、マスタオブジェクト情報を表しており、マスタオブジェクトとレベルの関係は図５の場合と同様である。これより、時刻T１より前と、時刻T2より後は第１オブジェクトがマスタオブジェクトであり、時刻T1とT2の間は第２オブジェクトがマスタオブジェクトであることがわかる。GOVの番号で言えば、０から２までと６以降は第１オブジェクトがマスタオブジェクトであり、３から５までは第２オブジェクトがマスタオブジェクトである。
【０１６８】
時刻T1までは第１オブジェクトがマスタオブジェクトであるため、第１オブジェクトはマスタ符号化手段で符号化され、第２オブジェクトはスレーブ符号化手段で符号化されている。そして、第２オブジェクトは入力バッファで１GOVの間蓄積されるため、その符号化は第１オブジェクトよりも１GOV遅れている。
【０１６９】
時刻T1において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が切り替わる。切り替わった後、１GOVの間、すなわちT3までは、符号化手段２０２では、マスタ符号化手段とスレーブ符号化手段の両方が動作する。すなわち、スレーブ符号化手段でGOV2(２)を符号化すると同時に、マスタ符号化手段でGOV2(３)を同時に符号化する。
【０１７０】
一方、符号化手段２０１では、時刻T1から時刻T3までは、マスタ符号化手段とスレーブ符号化手段の両方とも動作しない。時刻T3になった時点でスレーブ符号化手段が符号化を開始する。この結果、第１オブジェクトの符号化は第２オブジェクトよりも１GOV遅れることになる。
【０１７１】
時刻T3から時刻T2までは、第２オブジェクトがマスタオブジェクトであるため、第２オブジェクトはマスタ符号化手段で符号化され、第１オブジェクトはスレーブ符号化手段で符号化されている。そして、第１オブジェクトは入力バッファで１GOVの間蓄積されるため、その符号化は第２オブジェクトよりも１GOV遅れている。
【０１７２】
時刻T2において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が切り替わる。切り替わった後、１GOVの間、すなわちT4までは、符号化手段２０１では、マスタ符号化手段とスレーブ符号化手段の両方が動作する。すなわち、スレーブ符号化手段でGOV1(５)を符号化すると同時に、マスタ符号化手段でGOV1(６)を同時に符号化する。
【０１７３】
一方、符号化手段２０２では、時刻T2から時刻T4までは、マスタ符号化手段とスレーブ符号化手段の両方とも動作しない。時刻T4になった時点でスレーブ符号化手段が符号化を開始する。この結果、第２オブジェクトの符号化は第１オブジェクトよりも１GOV遅れることになる。
【０１７４】
以後は再び第１オブジェクトがマスタオブジェクトとなり、符号化が行われ、第２オブジェクトは第１オブジェクトよりも１GOV遅れて符号化される。
【０１７５】
なお、上述の通り、時刻T１からT３の符号化手段２０２、時刻T2からT４の符号化手段２０１のように、マスタ符号化手段とスレーブ符号化手段の両方が同時に動作する時間がある。もし、クローズドGOVとして符号化している場合は問題ないが、そうでない場合は、前後のGOV間で、動き補償に依存性が生じ、符号化できないという問題が生じる。しかしながら、この場合も、マスタオブジェクトが切り替わる場合はクローズドGOVになるようにすることで、符号化できるようになる。あるいは、そうでなくても、符号化するVOPの順番を並び替えて符号化し、前後の両方のGOVで参照されるVOPについては、両方の符号化手段から参照できるようにすれば、この場合であっても符号化できるようになる。
【０１７６】
以上述べた通り、この方式では、マスタオブジェクトの切り替わりが起こっても、遅延が累積しないため、ある程度の遅延が許される場合は、オンラインの符号化としても用いることができる。
【０１７７】
なお、各GOVにおける発生符号量は表３と同じであり、発生符号量のオブジェクト間での総和はGOVごとに正確に単位時間許容符号量に一致する。
【０１７８】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を第４の実施例と同様にして構築できる。
【０１７９】
次に、本発明の第６の実施の形態について述べる。
【０１８０】
図９を参照すると、本発明の一実施の形態としての動画像符号化手段が示されている。まず、図９の符号化手段の構成について説明する。
【０１８１】
図９の構成は、図１の符号化手段と比較すると、符号化手段１０１と符号化手段１０２をそれぞれ符号化手段４０１と符号化手段４０２で置き換え、マスタオブジェクト決定手段４２５、スイッチ制御部４２６、入力バッファ４２１、出力バッファ４２０、スイッチ手段４１０、スイッチ手段４１１を新たに設けた点が異なる。
【０１８２】
マスタオブジェクト決定手段４２５へは、優先度情報と、符号化手段４０１の第３の出力と、符号化手段４０２の第４の出力とが入力され、その出力（マスタオブジェクト情報）は、スイッチ制御手段４２６へ接続される。スイッチ制御部４２６へは、マスタオブジェクト決定手段４２５の出力が入力され、その出力（スイッチ制御情報）は、スイッチ手段４１０、４１１へ接続される。
【０１８３】
スイッチ手段４１０へは、スイッチ制御部４２６の出力と第１のオブジェクトデータと第２のオブジェクトデータとが入力され、その第１の出力（マスタオブジェクトデータ）は符号化手段４０１へ接続され、第２の出力（スレーブオブジェクトデータ）は入力バッファ４２１へ接続される。
【０１８４】
符号化手段４０１へは、スイッチ手段４１０の第１の出力と、単位時間許容符号量とが入力され、その第１の出力（符号列）は出力バッファ４２０へ接続され、第２の出力（発生符号量）は符号量履歴記憶手段１０３へ接続され、第３の出力（符号化情報）は、マスタオブジェクト決定手段４２５へ接続される。出力バッファ４２０へは、符号化手段４０１の第１の出力が入力され、その出力（符号列）は、スイッチ手段４１１へ接続される。
【０１８５】
入力バッファ４２１へはスイッチ手段４１０の第２の出力が入力され、その出力（スレーブオブジェクトデータ）は符号化手段４０２へ接続される。符号化手段４０２へは、入力バッファ４２１の出力が入力され、その第１の出力（符号列）はスイッチ手段４１１へ接続され、第２の出力（発生符号量）はVOP目標符号量決定手段１０５へ接続され、第３の出力（符号化情報）は、VOP目標符号量決定手段１０５へ接続され、第４の出力（符号化情報）はマスタオブジェクト決定手段４２５へ接続される。
【０１８６】
スイッチ手段４１１へは、スイッチ制御部４２６の出力と、出力バッファ４２０の出力と、符号化手段４０２の第１の出力とが入力され、その第１の出力は第１オブジェクト符号列を出力し、第２の出力は第２オブジェクト符号列を出力する。
【０１８７】
それ以外の各手段の接続関係は、図１の符号化手段と同様である。
【０１８８】
次に、図９の動画像符号化手段の動作について説明する。
【０１８９】
マスタオブジェクト決定手段４２５の動作は、図４のマスタオブジェクト決定手段２０６と同様である。すなわち、入力される優先度情報と符号化手段４０１から出力される符号化情報と、符号化手段４０２から出力される第１符号化情報に基づいて、マスタオブジェクトを決定し、どのオブジェクトがマスタオブジェクトであるかを示す情報をマスタオブジェクト情報としてスイッチ制御部４２６へ出力する。
【０１９０】
スイッチ制御部４２６の動作は、図７のスイッチ制御部３１５の動作と同様であり、入力されるマスタオブジェクト情報に従って、スイッチを制御するためのスイッチ制御情報を出力する。以下では、まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明し、次に、第１オブジェクトはマスタオブジェクトでない場合の定常状態の動作について説明し、最後にマスタオブジェクト情報が変化する場合の動作について説明する。
【０１９１】
まず、第１オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明する。この場合、符号化手段４０１を用いて第１オブジェクトを符号化し、符号化手段４０２を用いて第２オブジェクトを符号化するようにスイッチ手段４１０を制御する。すなわち、第１オブジェクトデータの入力を符号化手段４０１への出力に接続し、第２オブジェクトデータの入力を入力バッファ４２１への出力に接続する。
【０１９２】
また、符号化手段４０１での符号化で生成された符号列が第１オブジェクト符号列となるようにし、符号化手段４０２での符号化で生成された符号列が第２オブジェクト符号列となるようにスイッチ手段４１１を制御する。すなわち、出力バッファ４２０からの入力を第１オブジェクト符号列への出力に接続し、符号化手段４０２からの入力を第２オブジェクト符号列への出力に接続する。
【０１９３】
このように接続された場合、第１オブジェクトデータは、スイッチ手段４１０を経由して符号化手段４０１へ入力される。符号化手段４０１の動作は、図１の符号化手段１０１の動作と同様であり、入力される単位時間許容符号量に収まる範囲で入力されるオブジェクトデータを符号化し、得られた符号列を出力バッファ４２０へ出力するとともに、発生符号量を符号化記憶手段１０３へ出力する。さらに、符号化情報をマスタオブジェクト決定手段４２５へ出力する。
【０１９４】
符号化手段４０１から出力された符号列は出力バッファ４２０へ入力される。ここで単位時間だけ符号列は蓄積される。例えば、単位時間が１GOVである場合には、１GOV分出力バッファ４２０に蓄積される。この結果、出力バッファ４２０の入力と出力とでは、この単位時間分の遅延が生じる。出力バッファ４２０から出力される符号列はスイッチ手段４１１を経由して、第１オブジェクト符号列として出力される。
【０１９５】
一方、第２オブジェクトデータは、スイッチ手段４１０を経由して入力バッファ４２１へ入力される。出力バッファ４２０の場合と同様に、ここで単位時間だけオブジェクトデータは蓄積される。これにより、入力バッファ４２１の入力と出力の間にも、単位時間分の遅延が生じる。
【０１９６】
入力バッファ４２１から出力されるオブジェクトデータは符号化手段４０２へ入力される。符号化手段４０２の動作は、図１の符号化手段１０２の動作と同様であり、VOP目標符号量決定手段１０５から出力されるVOP目標符号量に従って符号化制御を行い、入力バッファ４２１から入力されるオブジェクトデータを符号化し、得られる符号列を出力する。また、発生符号量をVOP目標符号量決定手段１０５へ出力し、第２符号化情報をVOP目標符号量決定手段１０５へ出力し、第１符号化情報をマスタオブジェクト決定手段４２５へ出力する。符号化手段４０２から出力される符号列は、スイッチ手段４１１を経由して、第２オブジェクト符号列として出力される。
【０１９７】
それ以外の各手段の動作は、図１の場合と同様である。
【０１９８】
次に、第２オブジェクトがマスタオブジェクトである場合の定常状態の動作について説明する。この場合、符号化手段４０１を用いて第２オブジェクトを符号化し、符号化手段４０２を用いて第１オブジェクトを符号化するようにスイッチ手段４１０を制御する。すなわち、第１オブジェクトデータの入力を入力バッファ４２１に接続し、第２オブジェクトデータの入力を符号化手段４０１への出力に接続する。
【０１９９】
また、符号化手段４０１での符号化で生成された符号列が第２オブジェクト符号列となるようにし、符号化手段４０２での符号化で生成された符号列が第１オブジェクト符号列となるようにスイッチ手段４１１を制御する。すなわち、出力バッファ４２０からの入力を第２オブジェクト符号列への出力に接続し、符号化手段４０２からの入力を第１オブジェクト符号列への出力に接続する。
【０２００】
このように接続された場合、第２オブジェクトデータは、スイッチ手段４１０を経由して符号化手段４０１へ入力され、符号化される。生成された符号列は出力バッファ４２０へ出力され、ここで単位時間分の遅延が生じた後、スイッチ手段４１１を経由して、第２オブジェクト符号列として出力される。
【０２０１】
一方、第１オブジェクトデータは、スイッチ手段４１０を経由して入力バッファ４２１へ入力され、ここで単位時間分の遅延が生じた後、符号化手段４０２へ入力され、符号化される。生成された符号列はスイッチ手段４１１を経由して第１オブジェクト符号列として出力される。
【０２０２】
それ以外の部分の動作は、図１の場合と同様である。
【０２０３】
次に、マスタオブジェクト情報が変化する場合の動作について説明する。
【０２０４】
マスタオブジェクトであった第1オブジェクトがマスタオブジェクトでなくなる場合、スイッチ手段４１０は、スイッチ制御情報が切り替わると同時に切り替える。すなわち、第１オブジェクトデータの入力を入力バッファ４２１への出力に接続し、第２オブジェクトデータの入力を符号化手段４０１への出力に接続するように、スイッチを切り替える。
【０２０５】
また、スイッチ手段４１１は、スイッチ制御信号の切り替わってから単位時間だけ経過した後、切り替える。すなわち、出力バッファ４２０からの入力を第２オブジェクト符号列への出力に接続し、符号化手段４０２からの入力を第１オブジェクト符号列への出力に接続する。
【０２０６】
この結果、スイッチ制御信号が変化してから単位時間の間は、符号化手段４０１と符号化手段４０２の両方で第２オブジェクトが符号化される。
【０２０７】
マスタオブジェクトでなかった第１オブジェクトがマスタオブジェクトになる場合、スイッチ手段４１０は、スイッチ制御情報が切り替わると同時に、切り替える。すなわち、第１オブジェクトデータの入力を符号化手段４０１への出力に接続し、第２オブジェクトデータの入力を入力バッファ４２１への出力に接続するように、スイッチを切り替える。
【０２０８】
また、スイッチ手段４１１は、スイッチ制御信号の切り替わってから単位時間だけ経過した後、切り替える。すなわち、出力バッファ４２０からの入力を第１オブジェクト符号列への出力に接続し、符号化手段４０２からの入力を第２オブジェクト符号列への出力に接続する。
【０２０９】
この結果、スイッチ制御信号が変化してから単位時間の間は、符号化手段４０１と符号化手段４０２の両方で第１オブジェクトが符号化される。
【０２１０】
次に、マスタオブジェクト情報が変化する場合の、第６の実施の形態である符号化手段の動作を、具体例を用いて説明する。
【０２１１】
マスタオブジェクト情報と、符号化手段２０１と符号化手段２０２で符号化されるGOVと入力バッファ４２１に入力されるGOVと、出力バッファ４２０から出力されるGOVの時間軸の関係を例示したものが図１０である。ここでは、単位時間を１GOVとしている。また、図１０の一番上のグラフは、マスタオブジェクト情報を表しており、マスタオブジェクトとレベルの関係は図５の場合と同様である。これより、時刻T１より前と、時刻T2より後は第１オブジェクトがマスタオブジェクトであり、時刻T1とT2の間は第２オブジェクトがマスタオブジェクトであることがわかる。GOVの番号で言えば、０から２までと６以降は第１オブジェクトがマスタオブジェクトであり、３から５までは第２オブジェクトがマスタオブジェクトである。
【０２１２】
時刻T1までは第１オブジェクトがマスタオブジェクトであるため、第１オブジェクトは符号化手段４０１で符号化され、第２オブジェクトは符号化手段４０２で符号化されている。そして、第２オブジェクトは入力バッファ４２１で１GOVの間蓄積されるため、その符号化は第１オブジェクトよりも１GOV遅れている。
【０２１３】
時刻T1において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が切り替わる。切り替わった後、１GOVの間、すなわちT3までは、符号化手段４０１、符号化手段４０２では、ともに第２オブジェクトデータが符号化される。すなわち、符号化手段４０２でGOV2(２)を符号化すると同時に、符号化手段４０１でGOV2(３)を同時に符号化する。
【０２１４】
時刻T3から時刻T2までは、第２オブジェクトがマスタオブジェクトであり、符号化手段４０１で符号化され、一方第１オブジェクトは符号化手段４０２で符号化されている。そして、第１オブジェクトは入力バッファ４２１で１GOVの間蓄積されるため、その符号化は第２オブジェクトよりも１GOV遅れている。
【０２１５】
時刻T2において、マスタオブジェクト情報の値が変化し、ここで第１オブジェクトと第２オブジェクトの主従関係が切り替わる。切り替わった後、１GOVの間、すなわちT4までは、符号化手段４０１、符号化手段４０２では、ともに第１オブジェクトデータが符号化される。すなわち、符号化手段４０２でGOV1(５)を符号化すると同時に、マスタ符号化手段４０１でGOV1(６)を同時に符号化する。
【０２１６】
以後は再び第１オブジェクトがマスタオブジェクトとなり、符号化が行われ、第２オブジェクトは第１オブジェクトよりも１GOV遅れて符号化される。
【０２１７】
なお、上述の通り、時刻T１からT３の間、時刻T2からT４の間のように、符号化手段４０１と符号化手段４０２とで、同一のオブジェクトが符号化される時間がある。もし、クローズドGOVとして符号化している場合は問題ないが、そうでない場合は、前後のGOV間で、動き補償に依存性が生じ、符号化できないという問題が生じる。しかしながら、この場合も、第５の実施例の場合と同様に対処すれば、符号化できるようになる。
【０２１８】
以上からわかる通り、本発明の第６の実施の形態でも、マスタオブジェクトの切り替わりが起こっても、遅延が累積しないため、ある程度の遅延が許される場合は、オンラインの符号化としても用いることができる。さらに、図７のように、各符号化手段でマスタとスレーブの両方の符号化手段を持つ必要はなく、簡易な構成で同等の処理が実現できる。
【０２１９】
なお、符号化手段４０１と符号化手段４０２は、複数の符号化手段を用意しており、マスタオブジェクト決定手段４２５の出力が、符号化手段４０１、符号化手段４０２へも入力されるようになっており、入力されるオブジェクトの種類に従って、その中のうちの適切な符号化手段を選択するようになっていてもよい。これにより、第５の実施例と等価な動作をする符号化手段を構成できる。
【０２２０】
なお、この場合も、３つ以上のオブジェクトに対する符号化手段を第１の実施例と同様にして構築できる。ただし、この場合、スイッチ手段４１０、スイッチ手段４１１は、複数のオブジェクトののうち、任意の２つを入れ替えることができるようになっているものとする。
【０２２１】
以上、本発明の動画像符号化方式の実施の形態について説明してきたが、最後に、上述の方式を実現するプログラムを記録した記録媒体の実施の形態について説明する。本発明の符号化方式、復号方式を実現するためのプログラムを記録した記録媒体は、上述の方式をコンピュータが読み取り実行可能なプログラム言語によってプログラムし、当該プログラムをＣＤ−ＲＯＭやＦＤ、不揮発性メモリカードなどの記録媒体に記録することによって実現できる。
【０２２２】
【発明の効果】
以上説明したように、本発明においては、次のような効果を奏する。
【０２２３】
第１の効果は、主となるオブジェクトのVOPの発生符号量が一時的に増大した場合でも、他のオブジェクトの符号化への影響を軽減し、復号画像全体の画質を高画質に保つことができることにある。
【０２２４】
その理由は、主となるオブジェクトの発生符号量が特定のVOPで増加した場合であっても、それが他のオブジェクトの符号化に与える影響を単位時間内に均等に分散させることができるためである。これにより、他のオブジェクトの符号量の極端な変動を抑えることができる。
【０２２５】
第２の効果は、オブジェクト間の符号化の主従関係を、画像内容に応じて動的に変更できることにある。
【０２２６】
その理由は、マスタオブジェクト決定手段から出力される情報に従って、主となるオブジェクトを動的に切り替えられる機構を設けたためである。よって、オブジェクトの面積の変化などによってオブジェクトの重要度が変化した場合であっても、動的に制御を行うことで、全体の復号画質を確保することができる。
【図面の簡単な説明】
【図１】本発明による動画像符号化手段の実施の形態を表すブロック図である。
【図２】図１の動画像符号化手段において、符号化手段１０１と符号化手段１０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図３】図１の動画像符号化手段において、の符号化手段１０１と符号化手段１０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図４】本発明による動画像符号化手段の実施の形態を表すブロック図である。
【図５】図４の動画像符号化手段において、マスタオブジェクト決定手段２０６から出力される信号と、符号化手段２０１、符号化手段２０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図６】図４の動画像符号化手段において、マスタオブジェクト決定手段２０６から出力される信号と、符号化手段２０１、符号化手段２０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図７】図４の動画像符号化手段における符号化手段２０１の実施の形態を表すブロック図である。
【図８】図４の動画像符号化手段において、マスタオブジェクト決定手段２０６から出力される信号と、符号化手段２０１、符号化手段２０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図９】本発明による動画像符号化手段の実施の形態を表すブロック図である。
【図１０】図９の動画像符号化手段において、マスタオブジェクト決定手段４２５から出力される信号と、符号化手段４０１、符号化手段４０２において符号化されるオブジェクトの時間軸上での関係を示した図である。
【図１１】従来技術による動画像符号化手段を表すブロック図である。
【符号の説明】
１０１ 符号化手段
１０２ 符号化手段
１０３ 符号量履歴記憶手段
１０４ 他オブジェクト許容符号量算出手段
１０５ VOP目標符号量決定手段
２０１ 符号化手段
２０２ 符号化手段
２０３ 符号量履歴記憶手段
２０４ 他オブジェクト許容符号量算出手段
２０５ VOP目標符号量決定手段
２０６ マスタオブジェクト決定手段
３０１ マスタ符号化手段
３０２ スレーブ符号化手段
３０３ スイッチ手段
３０４ スイッチ手段
３０５ スイッチ手段
３１０ 出力バッファ
３１１ 入力バッファ
３１５ スイッチ制御部
４０１ 符号化手段
４０２ 符号化手段
４１０ スイッチ手段
４１１ スイッチ手段
４２０ 出力バッファ
４２１ 入力バッファ
４２５ マスタオブジェクト決定手段
４２６ スイッチ制御部
Claims (10)
- 複数のオブジェクトを符号化する動画像符号化方式であって、
入力される第１オブジェクトデータを，単位時間の許容符号量を表す単位時間許容符号量の範囲内で符号化し、第１オブジェクト符号列を生成して出力するとともに、第1オブジェクト発生符号量を出力する第１オブジェクト符号化手段と、
前記第１オブジェクト発生符号量を記憶する符号量履歴記憶手段と、
前記符号量履歴記憶手段から出力される前記第１オブジェクト発生符号量を、前記単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を前記単位時間許容符号量から減じて他オブジェクト単位時間許容符号量を算出する他オブジェクト許容符号量算出手段と、
入力される第２オブジェクトVOP（ビデオオブジェクトプレーン）目標符号量に従って符号化制御を行って第２オブジェクトデータの各VOPを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクト符号化情報と、
第２オブジェクト発生符号量とを出力する第２オブジェクト符号化手段と
前記第２オブジェクト符号化情報と、前記第２オブジェクト発生符号量とに基づいて、前記単位時間の長さを有する時間軸上の区間に含まれる各VOPに、前記他オブジェクト単位時間許容符号量を配分し、第２オブジェクトの各VOPを符号化する際の符号量の目標値となる前記第２オブジェクトVOP目標符号量を算出する第２オブジェクトVOP目標符号量決定手段とを有することを特徴とする動画像符号化方式。 - 前記他オブジェクト許容符号量算出手段において加算される前記第１オブジェクト発生符号量に対応する前記区間と、前記第２オブジェクトVOP目標符号量決定手段において前記第２オブジェクトVOP目標符号量の算出対象となる前記区間とが、時間軸上で一致することを特徴とする請求項１に記載の動画像符号化方式。
- 前記他オブジェクト許容符号量算出手段において加算される前記第１オブジェクト発生符号量に対応する前記区間は、前記第２オブジェクトVOP目標符号量決定手段において前記第２オブジェクトVOP目標符号量の算出対象となる前記区間よりも、時間軸上で前記単位時間以上早いことを特徴とする請求項１に記載の動画像符号化方式。
- 複数のオブジェクトを符号化する動画像符号化方式であって、
入力される第１オブジェクト第１符号化情報と、入力される第２オブジェクト第１符号化情報と、入力される優先度情報とを用いてマスタとなるべきオブジェクトを決定し、どのオブジェクトがマスタであるかを表す情報であるマスタオブジェクト情報を出力するマスタオブジェクト決定手段と、
第１オブジェクトがマスタオブジェクトであることを前記マスタオブジェクト情報が示しているときは、単位時間の許容符号量を表す単位時間許容符号量の範囲内で第１オブジェクトデータを符号化し、第１オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記第１オブジェクト第１符号化情報と、第1オブジェクト第１発生符号量とを出力し、かつ、
第１オブジェクト以外がマスタオブジェクトであることを前記マスタオブジェクト情報が示しているときは、入力される第１オブジェクトVOP目標符号量に従って符号化制御を行って前記第１オブジェクトデータの各VOPを符号化し、第１オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記第１オブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクト第２符号化情報と、第１オブジェクト第２発生符号量とを出力する第１オブジェクト符号化手段と、
前記第１オブジェクト第２符号化情報と、前記第1オブジェクト第２発生符号量とに基づいて、前記単位時間の長さを有する時間軸上の区間に含まれる各VOPに、入力される第１の他オブジェクト単位時間許容符号量を配分し、第１オブジェクトの各VOPを符号化する際の符号量の目標値となる前記第１オブジェクトVOP目標符号量を算出する第１オブジェクトVOP目標符号量決定手段と、
前記第１オブジェクト第１発生符号量情報を記憶する第１の符号量履歴記憶手段と、
前記第１の符号量履歴記憶手段から出力される前記第１オブジェクト第１発生符号量を、前記単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を前記単位時間許容符号量から減じて第２の他オブジェクト単位時間許容符号量を算出する第１の他オブジェクト許容符号量算出手段と、
第２オブジェクトがマスタオブジェクトであることを前記マスタオブジェクト情報が示しているときは、前記単位時間許容符号量の範囲内で第２オブジェクトデータを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記第２オブジェクト第１符号化情報と、第２オブジェクト第１発生符号量とを出力し、かつ、
第２オブジェクト以外がマスタオブジェクトであることを前記マスタオブジェクト情報が示しているときは、入力される第２オブジェクトVOP目標符号量に従って符号化制御を行って前記第２オブジェクトデータの各VOPを符号化し、第２オブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記第２オブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記第２オブジェクト第２符号化情報と、第２オブジェクト第２発生符号量とを出力する第２オブジェクト符号化手段と、
前記第２オブジェクト第２符号化情報と、前記第２オブジェクト第２発生符号量とに基づいて、前記単位時間の長さを有する時間軸上の区間に含まれる各VOPに、入力される前記第２の他オブジェクト単位時間許容符号量を配分し、第２オブジェクトの各VOPを符号化する際の符号量の目標値となる前記第２オブジェクトVOP目標符号量を算出する第２オブジェクトVOP目標符号量決定手段と、
前記第２オブジェクト第１発生符号量情報を記憶する第２の符号量履歴記憶手段と、
前記第２の符号量履歴記憶手段から出力される前記第２オブジェクト第１発生符号量を、前記単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を前記単位時間許容符号量から減じて前記第１の他オブジェクト単位時間許容符号量を算出する第２の他オブジェクト許容符号量算出手段とを有することを特徴とする動画像符号化方式。 - 前記第１の他オブジェクト許容符号量算出手段において加算される前記第１オブジェクト第１発生符号量に対応する前記区間と、前記第２オブジェクトVOP目標符号量決定手段において前記第２オブジェクトVOP目標符号量の算出対象となる前記区間とが、時間軸上で一致し、
前記第２の他オブジェクト許容符号量算出手段において加算される前記第２オブジェクト第１発生符号量に対応する前記区間と、前記第１オブジェクトVOP目標符号量決定手段において前記第１オブジェクトVOP目標符号量の算出対象となる前記区間とが、時間軸上で一致することを特徴とする請求項４に記載の動画像符号化方式。 - 前記第１の他オブジェクト許容符号量算出手段において加算される前記第１オブジェクト第１発生符号量に対応する前記区間は、前記第２オブジェクトVOP目標符号量決定手段において前記第２オブジェクトVOP目標符号量の算出対象となる前記区間よりも、時間軸上で前記単位時間以上早く、
前記第２の他オブジェクト許容符号量算出手段において加算される前記第２オブジェクト第１発生符号量に対応する前記区間は、前記第１オブジェクトVOP目標符号量決定手段において前記第１オブジェクトVOP目標符号量の算出対象となる前記区間よりも、時間軸上で前記単位時間以上早いことを特徴とする請求項４に記載の動画像符号化方式。 - 前記第１オブジェクト符号化手段は、
前記マスタオブジェクト情報に従って、スイッチを制御するための信号である第１オブジェクトスイッチ制御信号を出力する第１オブジェクトスイッチ制御手段と、
前記第１オブジェクトスイッチ制御信号に従って出力先を選択し、選択した出力先に前記第１オブジェクトデータを出力する第１オブジェクト入力スイッチ手段と、
第１オブジェクトがマスタオブジェクトであることを前記マスタオブジェクト情報が示しているときは、前記単位時間許容符号量の範囲内で前記第１オブジェクト入力スイッチ手段の一方から出力される前記第１オブジェクトデータを符号化し、第１オブジェクト第１符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクトマスタ符号化情報と、前記第1オブジェクト第１発生符号量とを出力する第１オブジェクトマスタ符号化手段と、
前記第１オブジェクト第１符号列を一時的に蓄積する第1オブジェクト出力蓄積手段と、
前記第１オブジェクト入力スイッチ手段の他方の出力から出力される前記第１オブジェクトデータを一時的に蓄積する第１オブジェクト入力蓄積手段と、
第１オブジェクト以外がマスタオブジェクトであることを前記マスタオブジェクト情報が示しているときは、前記第１オブジェクトVOP目標符号量に従って符号化制御を行い、前記第１オブジェクト入力蓄積手段から出力される前記第１オブジェクトデータの各VOPを符号化し、第１オブジェクト第２符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記第１オブジェクト第２符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第１オブジェクトスレーブ符号化情報と、前記第１オブジェクト第２発生符号量とを出力する第１オブジェクトスレーブ符号化手段と、
前記第１オブジェクトスイッチ制御信号に従って、前記第1オブジェクト出力蓄積手段から出力される第１オブジェクト第１符号列又は前記第１オブジェクト第２符号列のいずれか一方を選択し、前記第１オブジェクト符号列として出力する第１オブジェクト出力スイッチ手段と、
前記第１オブジェクトスイッチ制御信号に従って、前記第１オブジェクトマスタ符号化情報と前記第１オブジェクトスレーブ符号化情報とのいずれか一方を選択し、前記第１オブジェクト第１符号化情報として出力する第１オブジェクト符号化情報スイッチ手段とを有することを特徴とし、
前記第２オブジェクト符号化手段は、
前記マスタオブジェクト情報に従って、スイッチを制御するための信号である第２オブジェクトスイッチ制御信号を出力する第２オブジェクトスイッチ制御手段と、
前記第２オブジェクトスイッチ制御信号に従って出力先を選択し、選択した出力先に前記第２オブジェクトデータを出力する第２オブジェクト入力スイッチ手段と、
第２オブジェクトがマスタオブジェクトであることを前記マスタオブジェクト情報が示しているときは、前記単位時間許容符号量の範囲内で前記第２オブジェクト入力スイッチ手段の一方から出力される前記第２オブジェクトデータを符号化し、第２オブジェクト第１符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクトマスタ符号化情報と、前記第２オブジェクト第１発生符号量を出力する第２オブジェクトマスタ符号化手段と、
前記第２オブジェクト第１符号列を一時的に蓄積する第２オブジェクト出力蓄積手段と、
前記第２オブジェクト入力スイッチ手段の他方の出力から出力される前記第２オブジェクトデータを一時的に蓄積する第２オブジェクト入力蓄積手段と、
第２オブジェクト以外がマスタオブジェクトであることを前記マスタオブジェクト情報が示しているときは、前記第２オブジェクトVOP目標符号量に従って符号化制御を行い、前記第２オブジェクト入力蓄積手段から出力される前記第２オブジェクトデータの各VOPを符号化し、第２オブジェクト第２符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記第２オブジェクト第２符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む第２オブジェクトスレーブ符号化情報と、前記第２オブジェクト第２発生符号量とを出力する第２オブジェクトスレーブ符号化手段と、
前記第２オブジェクトスイッチ制御信号に従って、前記第２オブジェクト出力蓄積手段から出力される第２オブジェクト第１符号列又は前記第２オブジェクト第２符号列のいずれか一方を選択し、前記第２オブジェクト符号列として出力する第２オブジェクト出力スイッチ手段と、
前記第２オブジェクトスイッチ制御信号に従って、前記第２オブジェクトマスタ符号化情報と前記第２オブジェクトスレーブ符号化情報とのいずれか一方を選択し、前記第２オブジェクト第１符号化情報として出力する第２オブジェクト符号化情報スイッチ手段とを有することを特徴とする請求項５に記載の動画像符号化方式。 - 複数のオブジェクトを符号化する動画像符号化方式であって、
入力されるマスタオブジェクト符号化情報と入力されるスレーブオブジェクト第１符号化情報と入力される優先度情報とを用いてマスタとなるべきオブジェクトを決定し、どのオブジェクトがマスタであるかを表す情報であるマスタオブジェクト情報を出力するマスタオブジェクト決定手段と、
前記マスタオブジェクト情報に従って、スイッチを制御するための信号であるスイッチ制御信号を出力するスイッチ制御手段と、
前記スイッチ制御信号に従って、第１オブジェクトデータと第２オブジェクトデータとをそれぞれマスタオブジェクトデータとスレーブオブジェクトデータとして出力するか、あるいは、第１オブジェクトデータと第２オブジェクトデータとをそれぞれスレーブオブジェクトデータとマスタオブジェクトデータとして出力する入力スイッチ手段と、
前記スレーブオブジェクトデータを一時的に蓄積する入力蓄積手段と、
前記マスタオブジェクトデータを単位時間の許容符号量を表す単位時間許容符号量の範囲内で符号化し、マスタオブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記マスタオブジェクト符号化情報と、マスタオブジェクト発生符号量とを出力するマスタオブジェクト符号化手段と、
前記マスタオブジェクト発生符号量を記憶する符号量履歴記憶手段と、
前記符号量履歴記憶手段から出力される前記マスタオブジェクト発生符号量を、前記単位時間の長さを有する時間軸上の区間内で加算し、得られた加算値を前記単位時間許容符号量から減じて他オブジェクト単位時間許容符号量を算出する他オブジェクト許容符号量算出手段と、
入力されるスレーブオブジェクトVOP目標符号量に従って符号化制御を行って前記入力蓄積手段から出力される前記スレーブオブジェクトデータの各VOPを符号化し、スレーブオブジェクト符号列を生成して出力するとともに、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含む前記スレーブオブジェクト第１符号化情報と、量子化情報又は動き情報又はアクティビティ情報又は符号化誤差情報又はオブジェクトのサイズ情報のいずれか少なくとも一つを含むスレーブオブジェクト第２符号化情報と、スレーブオブジェクト発生符号量とを出力するスレーブオブジェクト符号化手段と
前記スレーブオブジェクト第２符号化情報と、前記スレーブオブジェクト発生符号量とに基づいて、前記単位時間の長さを有する時間軸上の区間に含まれる各VOPに、前記他オブジェクト単位時間許容符号量を配分し、スレーブオブジェクトの各VOPを符号化する際の符号量の目標値となる前記スレーブオブジェクトVOP目標符号量を算出するスレーブオブジェクトVOP目標符号量決定手段と、
前記マスタオブジェクト符号列を一時的に蓄積する出力蓄積手段と、
前記スイッチ情報に従って、前記出力蓄積手段から出力される前記マスタオブジェクト符号列と前記スレーブオブジェクト符号列とを、それぞれ第１オブジェクト符号列と第２オブジェクト符号列として出力するか、あるいは、出力蓄積手段から出力されるマスタオブジェクト符号列とスレーブオブジェクト符号列とを、それぞれ第２オブジェクト符号列と第１オブジェクト符号列として出力する出力スイッチ手段とを有することを特徴とする動画像符号化方式。 - 前記他オブジェクト単位時間許容符号量をマスタオブジェクト以外のオブジェクトに配分し、マスタオブジェクト以外のオブジェクトVOP目標符号量決定手段へ出力する他オブジェクト許容符号量配分手段をさらに具備することを特徴とする、請求項１から請求項８に記載の動画像符号化方式。
- 請求項１から請求項９に記載の動画像符号化方式をコンピュータに実行させる命令を含むプログラムを格納したことを特徴とする記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000340625A JP4355881B2 (ja) | 2000-11-08 | 2000-11-08 | 動画像符号化方式 |
| US09/986,045 US6782050B2 (en) | 2000-11-08 | 2001-11-07 | Moving image encoding device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000340625A JP4355881B2 (ja) | 2000-11-08 | 2000-11-08 | 動画像符号化方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002152732A JP2002152732A (ja) | 2002-05-24 |
| JP4355881B2 true JP4355881B2 (ja) | 2009-11-04 |
Family
ID=18815501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000340625A Expired - Fee Related JP4355881B2 (ja) | 2000-11-08 | 2000-11-08 | 動画像符号化方式 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6782050B2 (ja) |
| JP (1) | JP4355881B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005004487A1 (ja) * | 2003-06-30 | 2005-01-13 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化装置及び画像符号化方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3085465B2 (ja) * | 1989-10-31 | 2000-09-11 | オリンパス光学工業株式会社 | 画像データの符号化装置および符号化方法 |
| KR19990042668A (ko) * | 1997-11-27 | 1999-06-15 | 정선종 | 다중 비디오 전송을 위한 비디오 부호화 장치 및 방법 |
| JP4261630B2 (ja) | 1998-02-04 | 2009-04-30 | キヤノン株式会社 | 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体 |
-
2000
- 2000-11-08 JP JP2000340625A patent/JP4355881B2/ja not_active Expired - Fee Related
-
2001
- 2001-11-07 US US09/986,045 patent/US6782050B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020080876A1 (en) | 2002-06-27 |
| US6782050B2 (en) | 2004-08-24 |
| JP2002152732A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103621085B (zh) | 降低视频解码中的延迟的方法和计算*** | |
| US7620104B2 (en) | Video coding system | |
| JP3818679B2 (ja) | 一連の画像を表わすディジタル信号を符号化する方法および装置 | |
| US7460041B2 (en) | Arithmetic decoding system and apparatus based on an adaptive content | |
| JP4358215B2 (ja) | 動画像符号化装置及びその方法 | |
| CN103416057A (zh) | 图像编码设备、图像编码方法和程序及图像解码设备、图像解码方法和程序 | |
| JP2012182816A (ja) | マルチプロセッサアーキテクチュア並びにピクチュアベースの先読みウィンドウを具備したデジタルビデオエンコーダのためのパラレルレートコントロール | |
| JP2008523720A5 (ja) | ||
| JP2003018603A (ja) | 動画像符号化方法及び装置 | |
| JP2001346201A (ja) | 画像符号化装置とその方法、画像復号化装置とその方法、画像記録装置、画像伝送装置 | |
| EP1833256A1 (en) | Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device | |
| GB2337392A (en) | Encoder and encoding method | |
| JP4632049B2 (ja) | 動画像符号化方法及び装置 | |
| JP2006203910A (ja) | 同期化イーサネット（登録商標）システムにおいてジッターなしにデータを伝送する方法 | |
| JP2010016467A (ja) | 画像符号化装置及び画像符号化方法 | |
| US7480332B2 (en) | Bit rate control method and apparatus for MPEG-4 video coding | |
| JP2005006239A (ja) | 画像処理装置および画像処理方法 | |
| JP2006148409A (ja) | フレームレート変換方法 | |
| WO2001037565A1 (en) | Method and apparatus for controlling moving picture synthesis | |
| KR20170126934A (ko) | 컨텐츠-적응적 b-픽쳐 패턴 비디오 인코딩 | |
| JP4355881B2 (ja) | 動画像符号化方式 | |
| JP2012244437A (ja) | 画像処理装置、画像処理方法 | |
| WO2003073759A1 (fr) | Appareil de transmission d'images et procede de transmission d'images | |
| JP2002199392A (ja) | 映像符号化方法および装置 | |
| US20100272170A1 (en) | Image encoding apparatus, image encoding method and medium on which image encoding program is recorded |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041116 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041116 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060123 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071010 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090721 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130814 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |