JP5052220B2 - 動画像符号化装置 - Google Patents

動画像符号化装置 Download PDF

Info

Publication number
JP5052220B2
JP5052220B2 JP2007161657A JP2007161657A JP5052220B2 JP 5052220 B2 JP5052220 B2 JP 5052220B2 JP 2007161657 A JP2007161657 A JP 2007161657A JP 2007161657 A JP2007161657 A JP 2007161657A JP 5052220 B2 JP5052220 B2 JP 5052220B2
Authority
JP
Japan
Prior art keywords
stream
data
moving image
multiplexing
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007161657A
Other languages
English (en)
Other versions
JP2009004897A (ja
Inventor
博 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007161657A priority Critical patent/JP5052220B2/ja
Priority to US12/136,949 priority patent/US8873641B2/en
Priority to CNA2008101098001A priority patent/CN101330623A/zh
Publication of JP2009004897A publication Critical patent/JP2009004897A/ja
Application granted granted Critical
Publication of JP5052220B2 publication Critical patent/JP5052220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像データの符号化を行う動画像符号化装置に関する。
従来、例えば、デジタルコンテンツである映画等の１つのタイトルは、複数のチャプタにより構成されている。また、これらチャプタの実体は、符号化された動画像データと音声データ等が多重化されたストリームである。
従って、１つのタイトルを構成する各ストリームを生成する際には、ストリーム間で動画像が途切れずにシームレスに再生されるように、その生成の際の符号化処理を制御する必要がある。
ここで、動画像データを符号化する符号化装置では、例えばＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファと呼ばれる仮想バッファを想定し、復号化装置のバッファにおけるデータ占有量の推移をシミュレーションすることができる。
また、このバッファシミュレーションの結果により、復号化装置のバッファがオーバーフローおよびアンダーフローをしないように、符号化処理を制御する。
図５は、シームレス接続がなされていない２つのストリームの仮想バッファにおける占有量の推移の一例を示す模式図である。
図５に示す例では、先行ストリーム１１０１の各ピクチャが所定の間隔で仮想バッファから引抜かれている。また、最後のピクチャＢ１３が復号化され、その後に、後続ストリーム１１０２の仮想バッファへの蓄積が開始されている。なお、上記所定の間隔は、各ストリームのフレームレートの逆数であり、例えば１／６０秒である。
この場合、図に示すように、先行ストリーム１１０１の最後のピクチャＢ１３のデコード画像と、後続ストリーム１１０２の最初のピクチャＩ２のデコード画像との間に途切れが発生することになる。
図６は、シームレス接続がなされている２つのストリームの仮想バッファにおける占有量の推移の一例を示す模式図である。
図６に示すように、後続ストリームの復号化開始時期を早めることで、ピクチャＢ１３のデコード画像とピクチャＩ２のデコード画像との間に途切れが生じず、シームレス再生が可能となる。
このように、先行ストリームと後続ストリームとがシームレスに再生されるように、符号化装置において後続ストリームを生成する場合、先行ストリーム１１０１についての最後の仮想バッファ量を考慮する必要がある。
これは、後続ストリーム１１０２の仮想バッファへの蓄積が開始される時点での仮想バッファ量はゼロではなく、上記の最後の仮想バッファ量を始点として蓄積されることになるからである。
図６に示すように、先行ストリーム１１０１についての最後の仮想バッファ量をＳ0とする。この場合、時刻ｔ1から後続ストリーム１１０２の蓄積が開始され仮想バッファ量はＳ0から増加する。その後、時刻ｔ3においてピクチャＢ１３が仮想バッファから引き抜かれることで、仮想バッファ量はＳ1となる。
このＳ1は、蓄積量の始点となるＳ0と、時刻ｔ3−時刻ｔ1により求まる蓄積時間と、蓄積量の増加角θと、ピクチャＢ１３の符号量とにより求めることができる。なお、増加角θは後続ストリーム１１０２のビットレートによって決定される値である。
その後、時刻ｔ4においてピクチャＩ２が仮想バッファから引抜かれる。このとき、ピクチャＩ２の符号量は、仮想バッファがアンダーフローしない量である必要がある。
そこで、符号化装置は、ピクチャＩ２を生成する際に、後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ10に応じて、ピクチャＩ２の符号量を決定する。
なお、後続ストリーム１１０２についての仮想バッファ量の初期値とは、図６に示すように、後続ストリーム１１０２に含まれる画像ストリームのデータが最初に仮想バッファから引抜かれる時点（ｔ4）の仮想バッファ量である。つまり、図６ではＳ10である。
この初期値Ｓ10は、具体的には、先に求めた時刻ｔ3の時点の蓄積量Ｓ1と、時刻ｔ4−時刻ｔ3により求まる蓄積時間と、増加角θとにより求められる。
符号化装置では、このようにして求めた初期値Ｓ10から、必要に応じて所定のマージン量を減算し、その減算後の値以下になるように、ピクチャＩ２の符号量を決定する。さらに、その符号量になるようにピクチャＩ２に対応する動画像データを符号化する。
ここで、上述の時刻ｔ3、時刻ｔ4、およびθの各値は予め決定されている値である。そのため、符号化装置は、仮想バッファ量の初期値Ｓ10を決定するためには、時刻ｔ1とＳ0とを取得すればよい。
図７は、従来の動画像符号化装置の機能的な構成の一例を示す機能ブロック図である。
図７に示す、従来の動画像符号化装置２００は、入力信号から音声ストリームを生成する音声符号化部２０１と、入力信号から画像ストリームを生成する画像符号化部２０２と、音声ストリームと画像ストリームとを多重化する多重化部２０３とを備える。
また、画像符号化部２０２から出力される仮想バッファの蓄積量を示す情報を仮想バッファ情報２０４として保持している。
多重化部２０３は、先行ストリーム１１０１についての最後の仮想バッファ量Ｓ0、および、後続ストリーム１１０２に含まれる画像ストリームの開始時刻である時刻ｔ1を画像符号化部２０２に通知する。
この開始時刻ｔ1としては、例えば、図６に示すように、後続ストリーム１１０２において画像ストリームに先行して音声ストリームが存在する場合、先行ストリーム１１０１の最後のピクチャＢ１３が仮想バッファから引抜かれる時刻ｔ0に、その音声ストリームの符号量に相当する時間が加算された値が与えられる。
または、画像符号化部２０２は、開始時刻ｔ1に対応する所定の値を情報として有しており、多重化部２０３から開始時刻ｔ1を与えられることなく、この所定の値を開始時刻ｔ1としてバッファシミュレーションに用いる。
画像符号化部２０２は、後続ストリーム１１０２に含まれることになる画像ストリームを生成する前に、開始時刻ｔ1と、仮想バッファ量Ｓ0とを用いて、バッファシミュレーションを行い、後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ10を決定する。さらに、当該初期値に従って符号化処理を制御する。
このような、ストリームのシームレス接続に関する技術も開示されている（例えば、特許文献１参照）。
特許第３６７５４６４号公報
ここで、後続ストリーム１１０２についての多重化処理の開始時期は、先行ストリーム１１０１の終端より早めることはできない。すなわち、先行ストリーム１１０１の多重化処理終了後にのみ、後続ストリーム１１０２についての多重化処理の開始が可能となる。
そのため、先行ストリーム１１０１の出力の終了から後続ストリーム１１０２の出力の開始までには、実際には多重化処理のための時間が必要である。
また、先行ストリーム１１０１の終端部分および、後続ストリーム１１０２の開始部分に、多重化ストリームの終端処理および開始処理のための制御情報を含む特殊情報を付加する場合がある。
図８は、後続ストリーム１１０２に含まれる画像ストリームの開始時期の違いを示す模式図である。
図８の（ｉ）において、先行ストリーム１１０１および後続ストリーム１１０２には特殊情報が含まれていない。また、（ｉｉ）では、先行ストリーム１１０１に特殊情報１２０３が含まれており、後続ストリーム１１０２には特殊情報１２０４が含まれている。
そのため、後続ストリーム１１０２に含まれる画像ストリームの開始時期が、（ｉ）の場合と比較するとＤ0だけ遅れることになる。
また、同様に（ｉｉｉ）では、先行ストリーム１１０１および後続ストリーム１１０２の間に、多重化に要する時間が存在する。そのため、後続ストリーム１１０２に含まれる画像ストリームの開始時期が（ｉ）の場合と比較するとＤ0だけ遅れることになる。
このように、多重化に要する時間および多重化ストリームに付加された特殊情報の分だけ、後続ストリーム１１０２に含まれる画像ストリームの開始時期が遅れることになる。
しかし、上記従来の技術ではこれらの点を考慮していないため、誤って画像ストリームの開始時期を早めに設定することになる。
これにより、仮想バッファにおけるバッファ占有量の遷移が正しいものではなくなり、後続ストリーム１１０２についてのバッファ量の初期値を誤って算出することになる。
図９は、誤ったバッファ占有量の遷移と正しいバッファ占有量の遷移とを示す模式図である。
図９に示すように、従来の技術によれば、先行ストリーム１１０１と後続ストリーム１１０２とが（ｉ）のような状態にあることを想定している。そのため、後続ストリーム１１０２に含まれる画像ストリームの開始時刻は、ｔ1となり、この条件でバッファシミュレーションした結果、仮想バッファ量の初期値は、Ｓ10となる。
しかし、実際には、（ｉｉ）のように、先行ストリーム１１０１および後続ストリーム１１０２に、特殊情報１２０３および１２０４が存在することなどを起因として開始時刻がｔ1より遅くなる。
具体的には、本例においては図に示すように開始時刻はｔ2となり、正しいバッファ占有量は誤ったバッファ占有量よりも低い値で推移する、その結果、仮想バッファ量の初期値はＳ11となる。
つまり、従来の技術によれば、仮想バッファ量の初期値は、正しい値であるＳ11よりも大きな値であるＳ10となる。さらに、このＳ10に基づいて後続ストリーム１１０２における第１ピクチャの符号量が決定される。
このように、誤った初期値に基づいて第１ピクチャの符号量が決定された場合、図に示すように、第１ピクチャが仮想バッファから引抜かれた時点（ｔ4）でアンダーフローを生じる可能性がある。
つまり、上記従来の技術によれば、復号化装置においてバッファにアンダーフローを生じさせる規格違反のストリームが生成される可能性がある。
なお、このような特殊情報に換えて、図８の（ｉｉｉ）に示すように、先行ストリーム１１０１と後続ストリーム１１０２との間に、多重化に要する時間が存在することのみによっても同様に、後続ストリーム１１０２に含まれる画像ストリームの仮想バッファへの蓄積開始時刻の遅延が生じることになる。
本発明は、上記従来の課題を考慮し、シームレスに再生可能な複数のストリームを生成する動画像符号化装置であって、復号化装置のバッファにアンダーフローを生じさせないストリームを生成する動画像符号化装置を提供することを目的とする。
上記従来の課題を解決するために、本発明の動画像符号化装置は、入力される音声データおよび動画像データの符号化を行う動画像符号化装置であって、前記音声データを符号化し、音声ストリームを出力する音声符号化部と、符号化された前記動画像データを復号化する際における仮想的なデータ占有量の推移を示すバッファシミュレーションの結果に基づいて、前記動画像データを符号化し、画像ストリームを出力する画像符号化部と、前記音声ストリーム、前記画像ストリームおよび他の情報を多重化することにより、多重化ストリームを生成する多重化部と、を備え、前記画像符号化部は、前記画像符号化部において第１動画像データに後続する第２動画像データを符号化する場合、前記多重化部における多重化処理の処理時間を考慮した前記バッファシミュレーションを実行し、前記多重化部は、前記画像符号化部において第１動画像データに後続する第２動画像データを符号化する場合、（ａ）バッファシミュレーションにおける前記データ占有量が最初に増加する開始時刻を、前記第２動画像データ、前記第２動画像データに対応する音声ストリームおよび他の情報の多重化が終了した時刻と設定し、（ｂ）前記開始時刻における前記データ占有量を前記第１動画像データの符号化が終了した時点におけるデータ占有量と設定し、（ｃ）設定した前記データ占有量および前記開始時刻を前記画像符号化部に出力し、前記画像符号化部は、前記第２動画像データを符号化する際、前記多重化部が出力するデータ占有量および開始時刻に基づいてバッファシミュレーションを実行する。
また、本発明の動画像符号化装置において、前記多重化部は、前記第２動画像データ、前記第２動画像データに対応する音声ストリームおよび他の情報の多重化にかかる時間および、前記他の情報を生成する際に必要となる時間に基づいて、前記開始時刻を設定するとしてもよい。
また、本発明の動画像符号化装置は、画像ストリームと他の情報とが多重化された、先行ストリームと後続ストリームとがシームレスに再生されるように前記後続ストリームを生成する際に、その発生符号量と出力先への転送符号量とにより規定される仮想バッファの占有量に応じて符号化処理の制御を行う動画像符号化装置であって、前記後続ストリームについての仮想バッファ量の初期値を決定する際に、前記先行ストリームについての最後の仮想バッファ量に加え、多重化に伴い発生する遅延量を用いて前記初期値を決定するとしてもよい。
本発明の動画像符号化装置は、このように、多重化に伴い発生する遅延量を考慮して後続ストリームについての仮想バッファ量の初期値を決定する。これにより、従来よりも現実に即したバッファシミュレーションを行うことができる。そのため、本発明の動画像符号化装置は、復号化装置のバッファにアンダーフローを生じさせることなく、かつ、シームレスに再生可能な複数のストリームを生成することができる。
また、前記動画像符号化装置は、前記遅延量である、前記後続ストリームを生成する際の多重化に要する時間を用いて前記初期値を決定するとしてもよい。
また、前記動画像符号化装置は、前記先行ストリームおよび前記後続ストリームの少なくとも一方に、前記先行ストリームの終端処理または前記後続ストリームの開始処理のための制御情報を含む特殊情報をさらに多重化し、前記遅延量である前記特殊情報の符号量を用いて前記初期値を決定するとしてもよい。
このように、本発明の動画像符号化装置は、多重化に要する時間、または特殊情報の符号量、もしくはこれら両方を用いて後続ストリームについての仮想バッファ量の初期値を決定することができる。
また、当該初期値の決定に際し、前記動画像符号化装置は、前記後続ストリームに含まれる画像ストリームの、前記遅延量を考慮しない場合の前記仮想バッファへの蓄積の開始時刻に前記遅延量を加算することで、前記遅延量が考慮された前記開始時刻を算出し、算出した前記開始時刻と、前記最後の仮想バッファ量とを用いて、前記初期値である、前記後続ストリームに含まれる画像ストリームのデータが前記仮想バッファから最初に引抜かれる時点での仮想バッファ量を決定するとしてもよい。
また、本発明の画像符号化装置は、動画像データを符号化し画像ストリームを生成する画像符号化手段と、前記画像符号化手段から得られる画像ストリームと他の情報とを多重化することで前記先行ストリームおよび前記後続ストリームを生成する多重化手段と、前記多重化手段が前記後続ストリームを生成する前に、前記多重化に伴い発生する遅延量を算出する算出手段とを備え、前記画像符号化手段は、前記先行ストリームについての最後の仮想バッファ量と、前記算出手段により算出された遅延量とを用いて前記初期値を決定し、決定した前記初期値に基づいて動画像データを符号化することで前記後続ストリームに含まれる画像ストリームを生成するとしてもよい。
つまり、本発明の画像符号化装置を、このように複数の処理手段により実現することもできる。
また、前記算出手段は、前記遅延量である前記多重化に要する時間を算出し、前記画像符号化手段は、前記多重化に要する時間を用いて前記初期値を決定するとしてもよい。
また、前記多重化手段はさらに、前記先行ストリームおよび前記後続ストリームの少なくとも一方に、前記先行ストリームの終端処理または前記後続ストリームの開始処理のための制御情報を含む特殊情報を多重化し、前記算出手段は、前記遅延量である前記特殊情報の符号量を算出し、前記画像符号化手段は、前記特殊情報の符号量を用いて前記初期値を決定するとしてもよい。
また、当該初期値の決定に際し、前記算出手段は、前記後続ストリームに含まれる画像ストリームの、前記遅延量を考慮しない場合の前記仮想バッファへの蓄積の開始時刻に前記遅延量を加算することで、前記遅延量が考慮された前記開始時刻を算出し、算出した前記開始時刻を前記画像符号化手段に通知し、前記符号化手段は、通知された前記開始時刻と、前記最後の仮想バッファ量とを用いて、前記初期値である、前記後続ストリームに含まれる画像ストリームのデータが前記仮想バッファから最初に引抜かれる時点での仮想バッファ量を決定するとしてもよい。
また、本発明の動画像符号化装置は、集積回路として実現することもできる。
さらに、本発明は、本発明の動画像符号化装置の特徴的な構成部の動作をステップとする方法として実現したり、それらステップをコンピュータに実行させるためのプログラムとして実現したり、そのプログラムが記録された記録媒体として実現することもできる。そして、そのプログラムをインターネット等の伝送媒体又はＤＶＤ等の記録媒体を介して配信することもできる。
以上のように、本発明の動画像符号化装置によれば、多重化に伴い発生する遅延量が考慮された仮想バッファ量の初期値を決定することができる。
具体的には、後続ストリームを生成する際の多重化に要する時間、および先行ストリームおよび後続ストリームに付加される特殊情報の符号量を用いて当該初期値を決定することができる。
つまり、本発明の動画像符号化装置は、従来は考慮されていなかった遅延量を考慮することで、より現実に即したバッファシミュレーションを行うことができる。
これにより、特に、復号化装置のバッファにアンダーフローを生じさることなく先行ストリームと後続ストリームとをシームレスに再生させることができるという効果が発揮される。
このように、本発明は、復号化装置のバッファにアンダーフローを生じさせることなく、かつ、シームレス再生が可能なストリームを生成することができる動画像符号化装置を提供することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本発明の実施の形態における動画像符号化装置の主要な機能構成を示す機能ブロック図である。
図１に示す本実施の形態の動画像符号化装置１００は、画像ストリームと他の情報とが多重化された、先行ストリームと後続ストリームとがシームレスに再生されるように、後続ストリームを生成する際に、その発生符号量と出力先への転送符号量とにより規定される仮想バッファの占有量に応じて符号化を制御する装置である。
図１に示すように、本実施の形態の動画像符号化装置１００は、音声符号化部１０１と画像符号化部１０２と、多重化部１０３とを備える。
多重化部１０３は、特殊情報生成部１０５と、処理時間算出部１０６と、開始時刻算出部１０７とを有している。また、多重化部１０３は、画像符号化部１０２から出力される、仮想バッファの蓄積量を示す情報を仮想バッファ情報１０４として保持している。
音声符号化部１０１は、入力される音声データを符号化し音声ストリームを生成する処理部である。画像符号化部１０２は、入力される動画像データを符号化し画像ストリームを生成する処理部である。
画像符号化部１０２は、発生符号量に基づき仮想バッファを用いてバッファシミュレーションを行い、仮想バッファがアンダーフローしないように自身の符号化処理を制御する機能を有している。
具体的には、画像符号化部１０２は、先行ストリームについての最後の仮想バッファ量と、多重化に伴い発生する遅延量とを用いて後続ストリームについての仮想バッファ量の初期値を決定する。さらに、決定した初期値に基づいて動画像データを符号化する。
多重化部１０３は、画像符号化部１０２から得られる画像ストリームと他の情報とを多重化することで先行ストリームおよび後続ストリームを生成する処理部である。
具体的には、多重化部１０３は、画像ストリームに音声ストリームおよび特殊情報などの情報を多重化して時系列データである多重化ストリームを生成する。
また、多重化部１０３は、画像符号化部１０２に、適正なバッファシミュレーションの実行に必要な情報を与える機能を有している。
具体的には、特殊情報生成部１０５は、外部から入力される情報に基づき、先行チャプタに対応するストリームの終端処理に必要な特殊情報や、後続チャプタに対応するストリームの開始処理に必要な特殊情報を生成する。
また、処理時間算出部１０６は、画像ストリーム、音声ストリーム、および特殊情報などの多重化に要する時間を算出する。
なお、処理時間算出部１０６は、例えば、理論値または実測値等から求められた、各種情報の多重化に要する時間そのもの、またはその時間を算出するための数式を保持している。また、保持している時間、または数式から求めた時間を、必要に応じた組み合わせで加算等することで多重化に要する全体の時間を算出する。
開始時刻算出部１０７は、特殊情報生成部１０５から得られる特殊情報の符号量と、処理時間算出部１０６から得られる多重化に要する時間の少なくとも一方を用いて、後続ストリーム１１０２に含まれる画像ストリームの蓄積が開始される時刻（以下、単に「開始時刻」という。）を算出する。
図２は、本発明の実施の形態における動画像符号化装置１００の動作の流れを示すフロー図である。
図３は、動画像符号化装置１００の仮想バッファにおけるバッファ占有量の推移の一例を示す模式図である。
図２および図３を用いて、動画像符号化装置１００の動作の流れを説明する。
多重化部１０３は、外部から入力されるチャプタ情報によりチャプタが終了した旨の通知を受け付けると（Ｓ１）、後続ストリーム１１０２の画像ストリームの蓄積開始時刻ｔ2を算出する（Ｓ２）。
具体的には、開始時刻算出部１０７が、特殊情報生成部１０５から得られる特殊情報１２０３および１２０４の符号量に相当する時間を算出し、これに処理時間算出部１０６から得られる多重化に要する時間を加算する。これにより、多重化に伴い発生する遅延量が得られる。
さらに、この遅延量を考慮しない場合の開始時刻に、遅延量を加算することで、当該遅延量が考慮された開始時刻ｔ2を得ることができる。
多重化部１０３は、このようにして得た開始時刻ｔ2と、仮想バッファ情報１０４として保持している先行ストリーム１１０１についての最後の仮想バッファ量Ｓ0とを画像符号化部１０２に通知する（Ｓ３）。
画像符号化部１０２は、多重化部１０３から受け取ったｔ2とＳ0とを用いてバッファシミュレーションを行い、後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ11を決定する（Ｓ４）。
さらに、初期値Ｓ11から所定のマージン量であるＳ12（０≦Ｓ12＜Ｓ11）を減算し、減算後の値以下になるように第１ピクチャ（Ｉ２）の符号量を決定する。
また、以降の各ピクチャについても、仮想バッファがオーバーフローおよびアンダーフローしないように、それぞれの符号量を決定する。
画像符号化部１０２は、各ピクチャがこれら決定した符号量になるように、入力された動画像データを符号化する（Ｓ５）。
また、画像符号化部１０２は、以下の式で、値Ｄ1を算出する。
Ｄ1＝ｔ3−ｔ2 （式１）
このＤ1が、後続ストリーム１１０２に含まれる画像ストリームについてのバッファ初期遅延時間に相当する値である。
画像符号化部１０２は、このＤ1を、符号化方式がＭＰＥＧ２であれば、ｖｂｖ＿ｄｅｌａｙとして画像ストリームに設定する。また、符号化方式がＨ．２６４であれば、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙとして画像ストリームに設定する。
その後、多重化部１０３は、画像符号化部１０２から得られる画像ストリームと、音声符号化部１０１から得られる音声ストリームと、必要に応じて生成される特殊情報を多重化することで、後続ストリーム１１０２を生成し出力する。
このように動画像符号化装置１００は、バッファシミュレーションにおいて後続ストリーム１１０２についての仮想バッファ量の初期値を決定する際に、先行ストリーム１１０１についての最後の仮想バッファ量に加え、多重化に伴い発生する遅延量を用いて当該初期値を決定する。
また、このようにして決定された仮想バッファの初期値に基づいて、後続ストリーム１１０２に含まれる画像ストリームの各ピクチャの符号量を決定する。
動画像符号化装置１００は、このような符号化処理の制御を行うことにより、出力する複数のストリームを、復号化装置のバッファにオーバーフローを生じさせることなく、かつ、シームレスに再生可能なものとすることができる。
なお、本実施の形態において、先行ストリーム１１０１についての最後の仮想バッファ量Ｓ0は、多重化部１０３から画像符号化部１０２に通知されるとした。
しかしながら、仮想バッファ量Ｓ0は、画像符号化部１０２におけるバッファシミュレーションにより得られる値である。そのため、画像符号化部１０２がＳ0を保持しておき、後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ11の算出に用いてもよい。
また、多重化部１０３は、後続ストリーム１１０２の画像ストリームの蓄積開始時刻ｔ2を算出し、画像符号化部１０２に通知するとした。
しかしながら、多重化部１０３は、例えば、開始時刻ｔ2に換えて特殊情報の符号量および多重化に要する時間のみ、つまり、多重化に伴う遅延量を示す情報のみを画像符号化部１０２に通知してもよい。
この場合、画像符号化部１０２は、多重化に伴う遅延量を、この遅延量を考慮しない場合の所定の開始時刻に加算することで、正しい開始時刻ｔ2を得ることができる。
つまり、動画像符号化装置１００は、入力信号を符号化する機能、および各種情報を多重化する機能等の当然に備えるべき機能に加え、多重化に伴い発生する遅延量を考慮して後続ストリーム１１０２についての仮想バッファ量の初期値Ｓ11を決定する機能を有していればよい。
従って、このような仮想バッファ量の初期値Ｓ11を決定するための正しい開始時刻ｔ2の算出等の処理を、どの処理部に実行させるかは、実装上の都合および符号化の効率性等により決定すればよい。
また、動画像符号化装置１００を構成する各機能ブロックは典型的には集積回路であるＬＳＩとして実現されてもよい。
図４は、本実施の形態の動画像符号化装置１００における集積回路化の一例を示す図である。
図４に示すＬＳＩ１１０は集積回路化の一例を示している。つまり、図４に示すように、動画像符号化装置１００が備える特徴的な機能ブロックの全てを１つの集積回路により実現してもよい。
なお、動画像符号化装置１００が備える各機能ブロックは個別に１チップ化されても良いし、一部の複数の機能ブロックを含むように１チップ化されても良い。
なお、ここでは、ＬＳＩと記載しているが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
さらに、集積回路の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
また、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
本発明の動画像符号化装置は、画像ストリームに多重化する特殊情報の符号量、および、多重化に要する時間等の、多重化に伴う遅延量を用いて当該画像ストリームの符号化処理を制御する。
これにより、本発明の動画像符号化装置から出力されたストリームを復号化し再生する復号化装置では、バッファにアンダーフローが生じることなく、かつ、シームレスな再生が可能となる。
したがって、本発明は、このような符号化制御を必要とするデジタルビデオカメラ等に有用である。
本発明の実施の形態における動画像符号化装置の主要な機能構成を示す機能ブロック図である。 本発明の実施の形態における動画像符号化装置の動作の流れを示すフロー図である。 図２に示す動画像符号化装置の仮想バッファにおけるバッファ占有量の推移の一例を示す模式図である。 本実施の形態の動画像符号化装置における集積回路化の一例を示す図である。 シームレス接続がなされていない２つのストリームの仮想バッファにおける占有量の推移の一例を示す模式図である。 シームレス接続がなされている２つのストリームの仮想バッファにおける占有量の推移の一例を示す模式図である。 従来の動画像符号化装置の機能的な構成の一例を示す機能ブロック図である。 後続ストリームに含まれる画像ストリームの開始時期の違いを示す模式図である。 誤ったバッファ占有量の遷移と正しいバッファ占有量の遷移とを示す模式図である。
符号の説明
１００ 動画像符号化装置
１０１ 音声符号化部
１０２ 画像符号化部
１０３ 多重化部
１０４ 仮想バッファ情報
１０５ 特殊情報生成部
１０６ 処理時間算出部
１０７ 開始時刻算出部
１１０ ＬＳＩ
１１０１ 先行ストリーム
１１０２ 後続ストリーム
１２０３、１２０４ 特殊情報

Claims (1)

  1. 入力される音声データおよび動画像データの符号化を行う動画像符号化装置であって、
    前記音声データを符号化し、音声ストリームを出力する音声符号化部と、
    符号化された前記動画像データを復号化する際における仮想的なデータ占有量の推移を示すバッファシミュレーションの結果に基づいて、前記動画像データを符号化し、画像ストリームを出力する画像符号化部と、
    前記音声ストリーム、前記画像ストリームおよび他の情報を多重化することにより、多重化ストリームを生成する多重化部と、を備え、
    前記画像符号化部は、前記画像符号化部において第１動画像データに後続する第２動画像データを符号化する場合、前記多重化部における多重化処理の処理時間を考慮した前記バッファシミュレーションを実行し、
    前記多重化部は、前記画像符号化部において第１動画像データに後続する第２動画像データを符号化する場合、（ａ）（１）前記第２動画像データ、前記第２動画像データに対応する音声ストリームおよび他の情報の多重化処理を考慮しない場合の前記第２動画像データのバッファシュミュレーションにおける前記データ占有量が最初に増加する開始時刻に対して、（２）前記第２動画像データ、前記第２動画像データに対応する前記音声ストリームおよび前記他の情報の多重化に係る時刻を加算することにより、実際のバッファシュミュレーションにおける前記データ占有量が増加する開始時刻を設定し、（ｂ）前記開始時刻における前記データ占有量を前記第１動画像データの符号化が終了した時点におけるデータ占有量と設定し、（ｃ）設定した前記データ占有量および前記開始時刻を前記画像符号化部に出力し、
    前記画像符号化部は、前記第２動画像データを符号化する際、前記多重化部が出力する前記データ占有量および前記開始時刻から決定される、前記第２動画像データが前記バッファシミュレーションにおける仮想的なバッファから最初に引抜かれる時点でのデータ占有量を用いて、バッファシミュレーションを実行する
    動画像符号化装置。
JP2007161657A 2007-06-19 2007-06-19 動画像符号化装置 Active JP5052220B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007161657A JP5052220B2 (ja) 2007-06-19 2007-06-19 動画像符号化装置
US12/136,949 US8873641B2 (en) 2007-06-19 2008-06-11 Moving picture coding apparatus
CNA2008101098001A CN101330623A (zh) 2007-06-19 2008-06-19 运动图像编码装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007161657A JP5052220B2 (ja) 2007-06-19 2007-06-19 動画像符号化装置

Publications (2)

Publication Number Publication Date
JP2009004897A JP2009004897A (ja) 2009-01-08
JP5052220B2 true JP5052220B2 (ja) 2012-10-17

Family

ID=40136463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007161657A Active JP5052220B2 (ja) 2007-06-19 2007-06-19 動画像符号化装置

Country Status (3)

Country Link
US (1) US8873641B2 (ja)
JP (1) JP5052220B2 (ja)
CN (1) CN101330623A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2403248B1 (en) 2009-02-27 2018-07-04 Fujitsu Limited Moving picture encoding device, moving picture encoding method, and moving picture encoding computer program
JP2011151784A (ja) 2009-12-25 2011-08-04 Panasonic Corp 動画像多重化装置、映像音声記録装置及び動画像多重化方法
JP5685075B2 (ja) * 2010-12-24 2015-03-18 キヤノン株式会社 記録装置、記録方法およびプログラム
US9020039B2 (en) * 2011-01-06 2015-04-28 Sonic Ip, Inc. Systems and methods for encoding alternative streams of video for use in adaptive bitrate streaming
JP2012244542A (ja) * 2011-05-23 2012-12-10 Sony Corp 符号化装置、符号化方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793436A (en) * 1996-06-17 1998-08-11 Samsung Electronics Co., Ltd. Buffer occupancy control method for use in video buffering verifier
EP0841820A3 (en) * 1996-11-08 2005-11-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding, multiplexing and transmitting a video signal
US6105083A (en) * 1997-06-20 2000-08-15 Avid Technology, Inc. Apparatus and method for controlling transfer of data between and processing of data by interconnected data processing elements
JP3709721B2 (ja) * 1997-10-03 2005-10-26 ソニー株式会社 符号化ストリームスプライシング装置及び符号化ストリームスプライシング方法、符号化ストリーム生成装置及び符号化ストリーム生成方法、並びに情報処理装置及び方法
JP3468115B2 (ja) * 1997-11-25 2003-11-17 三菱電機株式会社 データ切換装置
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
US6792047B1 (en) * 2000-01-04 2004-09-14 Emc Corporation Real time processing and streaming of spliced encoded MPEG video and associated audio
JP2001285234A (ja) * 2000-04-04 2001-10-12 Sony Corp データ多重化装置およびデータ多重化方法、並びに記録媒体
JP4734690B2 (ja) * 2000-04-28 2011-07-27 ソニー株式会社 信号送出方法及び信号送出装置
JP3714302B2 (ja) * 2002-07-08 2005-11-09 ソニー株式会社 画像データ処理装置及び方法
EP2557788A1 (en) * 2002-11-29 2013-02-13 Sony Corporation Encoding apparatus and the method
JP3675464B2 (ja) * 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法

Also Published As

Publication number Publication date
JP2009004897A (ja) 2009-01-08
US8873641B2 (en) 2014-10-28
CN101330623A (zh) 2008-12-24
US20080317139A1 (en) 2008-12-25

Similar Documents

Publication Publication Date Title
US7539347B2 (en) Information processing apparatus and information processing method, recording medium, and program
US8798162B2 (en) Encoding method, decoding method, encoder, and decoder
JP5052220B2 (ja) 動画像符号化装置
JP2005136633A (ja) 動画像符号化装置および動画像符号化制御方法
JP4577357B2 (ja) 符号化装置及び方法、並びにプログラム
JP3438223B2 (ja) 多重化装置および多重化方法、並びに伝送装置および伝送方法
US7613819B2 (en) Image reproduction apparatus, control method thereof, program and storage medium
JP4717452B2 (ja) データ多重化装置
JP2008167061A (ja) 符号化装置及び符号化方法
JP2008252262A (ja) 符号化装置及び動画像の変化点検出方法
JP2007059996A (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP5046907B2 (ja) 記録装置、その制御方法、プログラム
JP4609411B2 (ja) 動画像符号化装置及び動画像符号化プログラム
JP4289138B2 (ja) データ処理装置およびその方法と符号化装置
JP2011151784A (ja) 動画像多重化装置、映像音声記録装置及び動画像多重化方法
US20090185620A1 (en) Video encoding apparatus and method for the same
JPH11355230A (ja) 符号化装置
CN101584209B (zh) 记录设备和记录方法
JP5775006B2 (ja) 情報処理装置、情報処理方法及び半導体装置
US7826494B2 (en) System and method for handling audio jitters
JP2006109127A (ja) 再生装置および方法、記録媒体、並びにプログラム
JP2010206463A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
JPH1175171A (ja) マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体
JP2008301275A (ja) 映像出力装置及び映像出力方法
JP2008148137A (ja) 画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120724

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250