JP2004180269A - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム - Google Patents
動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム Download PDFInfo
- Publication number
- JP2004180269A JP2004180269A JP2003207598A JP2003207598A JP2004180269A JP 2004180269 A JP2004180269 A JP 2004180269A JP 2003207598 A JP2003207598 A JP 2003207598A JP 2003207598 A JP2003207598 A JP 2003207598A JP 2004180269 A JP2004180269 A JP 2004180269A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- delay time
- time
- maximum delay
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】逆方向フレーム間予測を用いる際に適切な時間間隔での復号画像出力を得ることが可能な動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム及び動画像復号プログラムを提供する。
【解決手段】動画像処理システムは、動画像符号化装置1と、動画像復号装置2とを備えて構成される。符号化装置1は、動画像データD0を符号化した符号化データD1に加えて、逆方向予測により生じ得る最大遅延時間を出力する。また、復号装置2は、符号化装置1からの符号化データD1に加えて、逆方向予測により生じ得る最大遅延時間を入力する。そして、入力した最大遅延時間を参照しつつ、符号化データD1を復号して動画像データD2を生成する。
【選択図】 図1
【解決手段】動画像処理システムは、動画像符号化装置1と、動画像復号装置2とを備えて構成される。符号化装置1は、動画像データD0を符号化した符号化データD1に加えて、逆方向予測により生じ得る最大遅延時間を出力する。また、復号装置2は、符号化装置1からの符号化データD1に加えて、逆方向予測により生じ得る最大遅延時間を入力する。そして、入力した最大遅延時間を参照しつつ、符号化データD1を復号して動画像データD2を生成する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムに関するものである。
【0002】
【従来の技術】
動画像信号の伝送や蓄積、再生を行うために、動画像信号の符号化技術が用いられる。そのような技術として、ITU-T Recommendation H.263(以下H.263と呼ぶ)やISO/IEC International Standard 14496-2(MPEG-4 Visual、以下MPEG-4と呼ぶ)などの国際標準化動画像符号化方式が知られている。また、より新しい符号化方式として、ITU-T とISO/IECとの合同国際標準化が予定されている動画像符号化方式、ITU-T Recommendation H.264、ISO/IEC International Standard14496-10(Joint Final Committee Draft of Joint Video Specification、以下H.26Lと呼ぶ)が知られている。これらの動画像符号化方式に用いられている一般的な符号化技術については、例えば非特許文献1(小野文孝、渡辺 裕 共著、「国際標準画像符号化の基礎技術」)に記載がある。
【0003】
動画像信号は時間的に少しずつ変化する一枚づつの画像(フレーム)が連続して構成されたものであることから、一般的にこれらの動画像符号化方式においては、符号化対象として入力されたフレーム(現フレーム)に対して、他のフレーム(参照フレーム)との間でフレーム間予測を行って動画像信号における時間的な冗長度を削減する。この場合フレーム間予測は、現フレームとの変化がより小さい参照フレームとの間で行うことによって、より大きく冗長度を削減し符号化効率を高めることできる。
【0004】
このため、図6に示すように、現フレームA1に対する参照フレームとしては、現フレームA1より時間的に前のフレームA0だけでなく、時間的に後のフレームA2を用いる場合もある。前のフレームを用いる場合を順方向予測、後のフレームを用いる場合を逆方向予測と呼ぶ。またこのとき、両方の予測が任意に選択されるか、もしくは同時に用いられる場合を双方向予測と呼ぶ。
【0005】
一般的にこのような双方向予測が用いられる場合には、図6に示した例のように、時間的に前のフレームの1つが順方向予測の参照フレームとして、また時間的に後のフレームの1つが逆方向予測の参照フレームとして、現フレームに先んじて予めそれぞれ保持される。
【0006】
図7は、図6に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。例えばMPEG-4の復号においては、現フレームA1を双方向フレーム間予測により復号する場合には、まず現フレームA1の復号化に先んじて、現フレームA1より時間的に前のフレームの1つであるフレームA0、および時間的に後のフレームの1つであるフレームA2が、フレーム間予測を用いないフレーム内予測により復号されたフレーム、もしくは順方向フレーム間予測により復号されたフレームとして復号され、それらが参照フレームとして保持される。その後に現フレームA1が、保持されたこれら2つのフレームA0、A2を用いて双方向予測により復号される(図7(a))。
【0007】
したがってこの場合、時間的に後の参照フレームA2と現フレームA1との復号時間の順序は、それぞれの復号画像の出力時間の順序と逆転することとなる。なお、これらのフレームA0、A1、A2には、それぞれ出力時間情報0、1、2が関連づけられており、この情報にしたがって各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序にて出力される(図7(b))。MPEG-4では、出力時間情報は絶対値として記述されている。
【0008】
また、近年の動画像符号化方式では、図8に示すように、このようなフレーム間予測において、より現フレームとの変化の小さいフレームからの予測が可能となるように、順方向、逆方向それぞれの参照フレームを1つだけではなく、複数用いることのできるものがある。図8においては、現フレームB2に対する参照フレームとして、現フレームB2より時間的に前の2つのフレームB0、B1、及び時間的に後の2つのフレームB3、B4を用いる例を示している。
【0009】
図9は、図8に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。例えば、H.26Lの復号においては、予め定められた参照フレーム数上限までの範囲で参照フレームを複数保持しておくことができ、フレーム間予測を行う場合には、それらの中から最適なものが任意に指示されて用いられる。この場合、現フレームB2を双方向予測フレームとして復号する場合には、まず現フレームB2の復号に先んじて参照フレームが復号されるが、この参照フレームとして、現フレームB2より時間的に前のフレームが複数(例えば2つのフレームB0、B1)、また時間的に後のフレームが複数(例えば2つのフレームB3、B4)、それぞれ復号されて、参照フレームとして保持される。現フレームB2では、それらのフレームB0、B1、B3、B4のなかから予測に用いるフレームが任意に指示されて予測を行うことができる(図9(a))。
【0010】
したがってこの場合、時間的に後の複数の参照フレームB3、B4と現フレームB2との復号時間の順序が、出力時間の順序と逆転することとなる。なお、これらのフレームB0〜B4はそれぞれ出力時間情報もしくは出力順序情報0〜4が関連づけられており、この情報にしたがって各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序にて出力される(図9(b))。出力時間情報は、絶対値として記述されることが多い。また、出力順序は、フレーム間隔が一定の場合に用いられる。
【0011】
時間的に後のフレームを予測フレームとして用いた逆方向予測による復号を行う場合には、現フレームの復号に先んじて、時間的に後のフレームの復号が完了しており、予測フレームとして用いることができる必要がある。この場合に現フレームには復号画像が得られるまでに、逆方向予測が用いられないフレームの場合と比較して、遅延が生じることとなる。
【0012】
これについて、図10を参照しつつ以下に具体的に説明する。尚、図10は図6及び図7に示した例に対応している。まず、各フレームA0〜A2の符号化データがフレーム間予測を行うために必要な順序にて復号され、その間隔はフレームレートに準じた一定の時間間隔であると仮定し、また復号処理に必要となる時間はフレーム間予測が用いられるか否かやフレーム間予測の方向の如何にかかわらず各フレームA0〜A2について無視できると仮定する(図10(a))。実際には、各フレームA0〜A2の復号間隔は一定である必要はなく、各フレームA0〜A2の符号化ビット量変動などの要因により変化し得るが、平均的には一定と見なすことができる。また復号処理に必要となる時間もゼロではないが、各フレームA0〜A2の間で大きな差がなければ、以下の説明において大きな問題とはならない。
【0013】
ここで、逆方向予測を行うことによる遅延や他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームA0(以下、逆方向予測未関連フレームと呼ぶ)において復号画像が得られる時間を、その復号画像に関連づけられた出力時間として、復号画像の出力を行うものとする。すると、後に続くフレームが逆方向予測フレームA1であった場合に、この復号画像は時間的に後となるフレームA2よりも後に復号されることとなるため、復号画像が得られるまでには遅延が生じる。
【0014】
このため、逆方向予測未関連フレームA0において復号画像が得られる時間を出力時間の基準としてしまうと、逆方向予測フレームA1における復号画像をそれに関連づけられた出力時間までに得ることができない(図10(b))。すなわち、逆方向予測未関連フレームA0の復号画像と逆方向予測フレームA1の復号画像との出力時間間隔が、本来の間隔よりも逆方向予測を行う際に必要な遅延時間だけ開いて空いてしまうこととなり、不自然な動画像出力となってしまう。
【0015】
したがって、動画像符号化において逆方向フレーム間予測が用いられる場合には、図10(c)に示すように、逆方向予測未関連フレームA0においても予め逆方向予測を行う際に必要となる遅延時間だけ復号画像の出力時間を遅延させておき、逆方向予測フレームA1との出力時間間隔を正しく扱うことができるようにする必要がある。
【0016】
従来では逆方向フレーム間予測は、予測の選択肢が増えることとなるため計算量が増大し簡易な機器では実現が難しいこと、またテレビ会議といった双方向での対話がなされる実時間通信においては遅延時間の増加が望ましくないことから、テレビ放送やその蓄積など、高ビットレートでの符号化がなされ、常にテレビ放送信号と同じ30フレーム/秒の固定フレームレートが用いられる条件での動画像符号化において用いられてきた。
【0017】
この場合には、例えばMPEG-4のように時間的に後のフレームの1つを逆方向予測の参照フレームとして用いる符号化において、逆方向予測を行う際に必要となる遅延時間は一定である。例えば、上記のように30フレーム/秒のフレームレートが用いられる場合、遅延時間は各フレームの時間間隔、すなわち1/30秒となる。したがって、逆方向予測未関連フレームにおいて復号画像の出力時間を遅延させるべき時間は、一律に1/30秒とすることができる。
【0018】
【非特許文献1】
小野 文孝、渡辺 裕 共著、「国際標準画像符号化の基礎技術」、コロナ社、1998年3月20日
【0019】
【発明が解決しようとする課題】
しかしながら近年では、計算機能力の向上とともに映像サービスの多様化が進んでいることに伴い、インターネットや移動通信における映像配信など、遅延が許容され、かつ低ビットレートでの符号化が求められる動画像符号化が用いられるようになってきている。低ビットレートでの符号化を実現するためには、30フレーム/秒よりも小さなフレームレートが用いられたり、また符号化ビットレートを制御するためにフレームレートが動的に変更される可変フレームレートが用いられたりする。
【0020】
このような動画像符号化において、より符号化効率を高めるために上述した逆方向予測を用いた場合、逆方向予測による遅延時間は従来のように1/30秒とはならない。また、可変フレームレートが用いられる場合には、フレームレートは一定とはならない。例えば、一時的に小さなフレームレートが用いられた場合には、そこでの各フレームの時間間隔は大きくなるため、逆方向予測未関連フレームにおいて復号画像の出力時間を遅延させるべき時間が一意には決まらない。このため、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなってしまう。
【0021】
このとき、予め逆方向予測を行う際に生じ得る遅延時間を大きく見込み、常にこの遅延時間だけ逆方向予測未関連フレームの復号画像の出力時間を遅延させることにより、逆方向予測フレームの復号画像との出力時間間隔を正しく扱うこともできる。しかしながらこの場合、実際の逆方向予測における遅延時間に関わらず、常に復号画像の出力時間に大きな遅延が付加されることとなってしまう。
【0022】
また、H.26Lのように、逆方向予測において複数の参照フレームが用いられる場合には、現フレームの復号に先んじて、時間的に後のフレームであるそれらの参照フレームすべての復号が完了している必要がある。このため、逆方向予測を行う際に必要となる遅延時間は、さらに増大することになる。
【0023】
またこの場合、逆方向予測において用いられる参照フレーム数は、現フレームよりも以前に復号された、現フレームよりも時間的に後となるフレームの数として一意に決まるため、予め定められた参照フレーム数上限までの範囲で、参照フレーム数を任意に変化させることができてしまう。
【0024】
例えば、参照フレーム数上限が4であれば、図8に示したように逆方向予測において用いられる参照フレーム数は2でも良いが、図11(a)に示すように、これを1としても良いし、あるいは図11(b)に示すように、3としても良い。このように参照フレーム数を変化させることが可能であるため、逆方向予測を行う際に必要な遅延時間は大きく変化し得ることになる。これにより、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなってしまう。
【0025】
このとき、逆方向予測において用いることのできる最大の参照フレーム数は、参照フレーム数上限よりも大きくなることはないことから、この参照フレーム数上限に応じた遅延時間が逆方向予測を行う際に生じ得る最大の遅延時間となる。したがって、常にこの遅延時間だけ逆方向予測未関連フレームの復号画像の出力時間を遅延させることにより、逆方向予測フレームの復号画像との出力時間間隔を正しく扱うこともできる。
【0026】
しかしながら、この場合、実際に逆方向予測フレームにおいて用いられる参照フレーム数に関わらず、常に復号画像の出力時間に大きな遅延が付加されることとなってしまう。また上述のような可変フレームレートが用いられている場合には、最大の参照フレーム数が一意に決まっても、最大の遅延時間を一意に決めることはできなくなってしまう。
【0027】
このように従来では、動画像符号化において逆方向予測を用いる場合には、固定フレームレートが用いられることが明らかである場合を除き、逆方向予測を行う際に必要な遅延時間を一意に決めることができない。このため、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなり、不自然な動画像出力となってしまうという問題があった。
【0028】
また、逆方向予測において複数の参照フレームが用いられる場合にも、参照フレーム数が変化し得ることから、遅延時間が変化し得る。したがって、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との時間間隔を正しく扱うことができなくなってしまうという問題があった。また、これに対処するために常に最大の遅延時間を想定した場合には、常に復号画像の出力時間に大きな遅延が付加されてしまう問題があった。
【0029】
本発明は、以上の問題点を解決するためになされたものであり、逆方向フレーム間予測を用いる際に適切な時間間隔での復号画像出力を得ることが可能な動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラムを提供することを目的とする。
【0030】
【課題を解決するための手段】
このような目的を達成するために、本発明に係る動画像符号化方法は、他のフレームとの間でフレーム間予測を行う動画像符号化方法であって、逆方向予測により生じ得る最大遅延時間を出力することを特徴とする。
【0031】
同様に、本発明に係る動画像符号化装置は、他のフレームとの間でフレーム間予測を行う動画像符号化装置であって、逆方向予測により生じ得る最大遅延時間を出力することを特徴とする。
【0032】
このように、本発明に係る動画像符号化方法及び装置においては、連続するフレームによって構成された動画像を符号化して出力する際に、符号化データに加えて、逆方向予測に伴う最大遅延時間を出力することとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0033】
また、本発明に係る動画像符号化プログラムは、他のフレームとの間でフレーム間予測を行う動画像符号化をコンピュータに実行させるための動画像符号化プログラムであって、逆方向予測により生じ得る最大遅延時間を出力する処理をコンピュータに実行させることを特徴とする。
【0034】
このように、本発明に係る動画像符号化プログラムにおいては、動画像を符号化して出力する際に、符号化データに加えて、最大遅延時間を出力する処理をコンピュータに実行させることとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0035】
本発明に係る動画像復号方法は、他のフレームとの間でフレーム間予測を行う動画像復号方法であって、逆方向予測により生じ得る最大遅延時間を入力することを特徴とする。
【0036】
同様に、本発明に係る動画像復号装置は、他のフレームとの間でフレーム間予測を行う動画像復号装置であって、逆方向予測により生じ得る最大遅延時間を入力することを特徴とする。
【0037】
このように、本発明に係る動画像復号方法及び装置においては、入力された符号化データを復号して動画像を生成する際に、符号化データに加えて、逆方向予測に伴う最大遅延時間を入力することとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0038】
また、本発明に係る動画像復号プログラムは、他のフレームとの間でフレーム間予測を行う動画像復号をコンピュータに実行させるための動画像復号プログラムであって、逆方向予測により生じ得る最大遅延時間を入力する処理をコンピュータに実行させることを特徴とする。
【0039】
このように、本発明に係る動画像復号プログラムにおいては、符号化データを復号して動画像を生成する際に、符号化データに加えて、最大遅延時間を入力する処理をコンピュータに実行させることとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0040】
また、動画像符号化方法は、符号化対象となるフレームを入力する入力ステップと、フレームを所定の方法で符号化する符号化ステップと、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算ステップとを備えることを特徴とする。
【0041】
同様に、動画像符号化装置は、符号化対象となるフレームを入力する入力手段と、フレームを所定の方法で符号化する符号化手段と、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算手段とを備えることを特徴とする。
【0042】
同様に、動画像符号化プログラムは、符号化対象となるフレームを入力する入力処理と、フレームを所定の方法で符号化する符号化処理と、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算処理とをコンピュータに実行させることを特徴とする。
【0043】
このように、本発明に係る動画像符号化方法、装置、及びプログラムにおいては、動画像を符号化する際に、フレームの最大遅延時間を求めている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0044】
また、動画像復号方法は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力ステップと、符号化データを復号し、再生画像を生成する復号ステップと、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算ステップとを備えることを特徴とする。
【0045】
同様に、動画像復号装置は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力手段と、符号化データを復号し、再生画像を生成する復号手段と、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算手段とを備えることを特徴とする。
【0046】
同様に、動画像復号プログラムは、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力処理と、符号化データを復号し、再生画像を生成する復号処理と、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算処理とをコンピュータに実行させることを特徴とする。
【0047】
このように、本発明に係る動画像復号方法、装置、及びプログラムにおいては、符号化データを復号して動画像を生成する際に、最大遅延時間に基づいてフレームを表示するための出力時間を求めている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0048】
動画像符号化方法、符号化装置、及び符号化プログラムにおいて出力される最大遅延時間としては、逆方向フレーム間予測を行うフレームの発生時間から、逆方向予測の参照フレームとして用いることのできる時間的に最も後のフレームの発生時間までの時間差を最大遅延時間とすることが好ましい。
【0049】
また、最大遅延時間の適用に関しては、最大遅延時間が符号化データ全体に適用される情報として出力されることを特徴としてもよい。あるいは、最大遅延時間が各フレームに適用される情報として出力されることを特徴としてもよい。あるいは、最大遅延時間がこの最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用される情報として任意に出力されることを特徴としてもよい。
【0050】
また、動画像復号方法、復号装置、及び復号プログラムにおいて入力される最大遅延時間については、他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間とそのフレームに関連づけられた復号画像出力時間との時間差を最大遅延時間とすることが好ましい。あるいはさらに、その最大遅延時間に基づいて以降の復号画像出力時間の基準を設定することが好ましい。
【0051】
また、最大遅延時間の適用に関しては、最大遅延時間が符号化データ全体に適用される情報として入力されることを特徴としてもよい。あるいは、最大遅延時間が各フレームに適用される情報として入力されることを特徴としてもよい。あるいは、最大遅延時間がこの最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用される情報として任意に入力されることを特徴としてもよい。
【0052】
本発明に係る動画像処理システムは、動画像の符号化装置と復号装置とを含んで構成された動画像処理システムであって、符号化装置は、上記した動画像符号化装置からなり、復号装置は、上記した動画像復号装置からなることを特徴とする。
【0053】
このように、動画像処理システムは、逆方向予測に伴う最大遅延時間をそれぞれ出力及び入力する動画像符号化装置及び動画像復号装置を用いて構成されている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能な動画像処理システムが実現される。
【0054】
【発明の実施の形態】
以下、図面とともに本発明による動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0055】
まず、本発明における動画像の符号化及び復号の概略について説明する。図1は、本発明による動画像符号化装置、動画像復号装置、及び動画像処理システムの概略構成を示すブロック図である。本動画像処理システムは、動画像符号化装置1と、動画像復号装置2とを備えて構成されている。以下、動画像符号化装置1、動画像復号装置2、及び動画像処理システムについて、それらにおいて実行される動画像符号化方法、及び動画像復号方法とともに説明する。
【0056】
動画像符号化装置1は、動画像の伝送や蓄積、再生を行うために、画像(フレーム)が連続して構成された動画像データD0を符号化して、符号化データD1として出力する装置である。また、動画像復号装置2は、入力された符号化データD1を復号して、フレームが連続して構成された復号後の動画像データD2を生成する装置である。また、動画像符号化装置1と動画像復号装置2との間は、符号化データD1等の必要なデータを伝送するため、有線または無線の所定のデータ伝送路によって接続されている。
【0057】
動画像符号化装置1で行われる動画像の符号化においては、上述したように、符号化対象として入力された動画像データD0のフレームに対して、参照フレームとなる他のフレームとの間でフレーム間予測を行って、動画像データにおける冗長度を削減する。図1に示した動画像処理システムにおいては、動画像符号化装置1は、このフレーム間予測について、時間的に後のフレームからの逆方向フレーム間予測を行う。さらに、この動画像符号化装置1は、符号化データD1に加えて、逆方向予測により生じ得る最大遅延時間を出力する。
【0058】
また、このような動画像符号化装置1に対応して、動画像復号装置2は、動画像符号化装置1からの符号化データD1に加えて、逆方向予測により生じ得る最大遅延時間を入力する。そして、入力された最大遅延時間を参照しつつ、符号化データD1を復号して動画像データD2を生成する。
【0059】
このように、逆方向フレーム間予測に対して、最大遅延時間を出力する動画像符号化装置1及び動画像符号化方法、最大遅延時間を入力する動画像復号装置2及び動画像復号方法、及びそれらの装置1、2を備える動画像処理システムによれば、逆方向フレーム間予測を用いてフレーム間予測を行う場合に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0060】
ここで、動画像符号化において出力される最大遅延時間については、例えば、逆方向フレーム間予測を行うフレームの発生時間から、逆方向予測の参照フレームとして用いることのできる時間的に最も後のフレームの発生時間までの時間差を最大遅延時間とすることができる。
【0061】
また、動画像復号において入力される最大遅延時間については、例えば、逆方向フレーム間予測を行うことによる遅延、及び他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間(以下、Trとする)と当該フレームに関連づけられた復号画像出力時間(以下、Toとする)との時間差を最大遅延時間(以下、dpb_output_delayとする)とすることができる。この場合、その最大遅延時間に基づいて以降の復号画像出力時間の基準を設定することが好ましい。
【0062】
また、最大遅延時間の適用については、符号化データ全体に適用する方法、または各フレームに適用する方法がある。あるいは、最大遅延時間の情報が通知された以降の各フレーム、すなわち、最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用する方法がある。これらの最大遅延時間の出力、入力、及び適用等については具体的には後述する。
【0063】
上記した動画像符号化装置1において実行される動画像符号化方法に対応する処理は、動画像符号化をコンピュータに実行させるための動画像符号化プログラムによって実現可能である。また、動画像復号装置2において実行される動画像復号方法に対応する処理は、動画像復号をコンピュータに実行させるための動画像復号プログラムによって実現可能である。
【0064】
例えば、動画像符号化装置1は、動画像符号化の処理動作に必要な各ソフトウェアプログラムなどが記憶されるROMと、プログラム実行中に一時的にデータが記憶されるRAMとが接続されたCPUによって構成することができる。このような構成において、CPUによって所定の動画像符号化プログラムを実行することにより、動画像符号化装置1を実現することができる。
【0065】
同様に、動画像復号装置2は、動画像復号の処理動作に必要な各ソフトウェアプログラムなどが記憶されるROMと、プログラム実行中に一時的なデータが記憶されるRAMとが接続されたCPUによって構成することができる。このような構成において、CPUによって所定の動画像復号プログラムを実行することにより、動画像復号装置2を実現することができる。
【0066】
また、動画像符号化または動画像復号のための各処理をCPUによって実行させるための上記したプログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフロッピーディスクなどの磁気媒体、CD−ROM及びDVD−ROMなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいは、プログラム命令を実行または格納するように特別に配置された、例えばRAM、ROM、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
【0067】
以下、図1に示した動画像符号化装置、動画像復号装置、それらを備える動画像処理システム、及び対応する動画像符号化方法、動画像復号方法について、具体的な実施形態とともに説明する。以下の説明では、動画像の符号化及び復号について、H.26Lをもとにして実現することとして説明を行い、動画像符号化における動作について特に触れていない部分については、H.26Lの動作に準じるものとする。ただし、本発明は、H.26Lに限られるものではない。
【0068】
(第1実施形態)
まず、本発明の第1実施形態について説明する。本実施形態では、固定フレームレートによる符号化がなされる場合の実施の形態を示す。本実施形態による符号化においては、逆方向予測に用いる最大参照フレーム数を決定し、この最大参照フレーム数と符号化に用いるフレームレートとにより最大遅延時間を算出し出力する。また本実施形態による復号においては、逆方向予測未関連フレームの復号の際にその復号画像の出力時間を、入力された最大遅延時間だけ遅延させる。またその出力時間への遅延時間を、以降のすべてに一様に適用し、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔が、本来の間隔から変化してしまうことを防ぐ。
【0069】
符号化においては、まず、用いられる参照フレーム数上限が予め定められていることからこれを越えない範囲で、逆方向予測に用いる最大参照フレーム数を決定する。次に、これも予め定められた符号化に用いるフレームレートに基づき、最大遅延時間を、逆方向予測に用いる最大参照フレーム数に応じた1つ又は複数のフレームの時間間隔として算出する。
【0070】
図2は、双方向予測を行った場合でのフレームの符号化の一例について示す図である。ここで、この図2においては、現フレームF2に対する参照フレームとして、現フレームF2より時間的に前の2つのフレームF0、F1、及び時間的に後の2つのフレームF3、F4を用いる例を示している。
【0071】
図2に示すように、逆方向予測に用いる最大参照フレーム数を2、フレームレートを15フレーム/秒とすれば、1つのフレームの時間間隔は1/15秒である。したがって、この場合、最大遅延時間は2×(1/15)=2/15秒となる。
【0072】
符号化においては、以降は最大遅延時間を超える遅延時間が必要となる逆方向予測が行われることのないように、各フレームの符号化を制御する。具体的には、逆方向予測に用いる参照フレーム、すなわち現フレームよりも時間的に後となるフレームが、逆方向予測に用いる最大参照フレーム数を越えて現フレームよりも先に符号化され出力されることがないように、各フレームの符号化の順序を制御する。
【0073】
図3は、本実施形態において用いられる動画像符号化装置の構成の一例を示すブロック図である。図3に示す動画像符号化装置1は、フレーム(画像)を所定の方法で符号化する符号化器10と、符号化装置1の各部の動作を制御する制御器(CPU)15と、入力端子1a及び符号化器10の間に設けられたフレームメモリ11と、出力端子1b及び符号化器10の間に設けられた多重化器12とを備える。また、制御器15は、その機能として、最大遅延時間を求める最大遅延時間計算部16を有している。また、符号化器10には、出力バッファ13が設けられている。
【0074】
本符号化装置1における動画像符号化では、入力端子1cより、映像を符号化するための条件が入力される。この条件の入力では、一般には、キーボードなどの入力装置によって符号化条件が選択または入力される。本実施形態においては具体的には、符号化条件として、符号化対象となるフレームの大きさ、フレームレート、ビットレートに加えて、その映像の予測参照構造(逆方向予測を行うかどうか)、一時的に格納され参照フレームとして用いられるフレームの枚数(出力バッファ13の容量に対応)、逆方向予測に用いられる参照フレームの枚数が入力される。これらの条件は、時間とともに変化させるように設定しても良い。入力端子1cから入力された符号化条件は制御器15に格納される。
【0075】
符号化処理が開始されると、制御器15は符号化条件を符号化器10に送り、符号化条件がセットされる。一方、入力端子1aより符号化対象となるフレームが入力され、フレームメモリ11を経由して符号化器10に送られて符号化される。フレームメモリ11内には、逆方向予測を行うにあたってフレームの順番が入れ替わるため、入力フレームが一時的に格納される。例えば、図2に示した例では、フレームF2は、フレームF3、F4よりも先に入力端子1aから入力されるが、フレームF3、F4よりも後に符号化されるため、一時的にフレームメモリ11に格納される。
【0076】
符号化器10は、H.26Lのアルコリズムに基づいてフレームを符号化する。そして、符号化されたデータは、多重化器12を経由して、他の関連情報と多重化されて出力端子1bより出力される。また、予測に用いられるフレームは符号化器10において再生され、次のフレームを符号化するための参照フレームとしてバッファ13に格納される。
【0077】
本実施形態においては、制御器15の最大遅延時間計算部16において、入力端子1cより入力される逆方向予測に用いる参照フレーム枚数及びフレームレートに基づき、最大遅延時間dpb_output_delayを算出する。そして、最大遅延時間は、多重化器12にて、符号化された画像データに付加される。また、各フレームの符号化データには、それを識別するための表示順番を示す識別子(N)が合わせて付加される。
【0078】
なお、当然ながら、逆方向予測を行わない場合、そのために用いられる参照フレーム枚数がゼロとなるので、dpb_output_delayの値がゼロとなる。
【0079】
本実施形態では、この最大遅延時間を符号化において出力し、また復号において入力するために、H.26Lにおける符号化データシンタックスにおいて、最大遅延時間を通知するシンタックスを追加するものとする。ここでは符号化データ全体に適用される情報を通知するシンタックスであるシーケンスパラメータセット(Sequence Parameter Set)の中に、新たなシンタックスを追加する。
【0080】
この最大遅延時間を通知するシンタックスとして、dpb_output_delayを定義する。ここでは、dpb_output_delayは、H.26Lにおいて時間を示す他のシンタックスに用いられる時間単位と同じものを使うこととして、90kHzの時間単位にて最大遅延時間を示すものとする。また、その時間単位にて表される数値を、32ビットの符号無し固定長符号にて符号化して伝送するものとする。例えば、上記のように最大遅延時間が2/15秒である場合には、dpb_output_delayは(2/15)×90000=12000となる。
【0081】
復号においては、dpb_output_delayにより通知された最大遅延時間を復号し、これを用いて復号画像の出力時間を遅延する。
【0082】
図4は、本実施形態において用いられる動画像復号装置の構成の一例を示すブロック図である。図4に示す動画像復号装置2は、符号化データを復号し、再生画像を生成する復号器20と、復号装置2の各部の動作を制御する制御器(CPU)25と、入力端子2a及び復号器20の間に設けられた入力バッファ21と、出力端子2b及び復号器20の間に設けられた出力バッファ22とを備える。また、制御器25は、その機能として、フレームを表示するための出力時間を求める画像出力時間計算部26を有している。
【0083】
本復号装置2における動画像復号では、入力端子2aより、復号対象となるデータが入力される。このデータには、図3に示した符号化装置1を用いて符号化された各フレームの符号化データや、最大遅延時間dpb_output_delay、各フレームの表示順番を示す識別子(N)が多重化されている。
【0084】
入力されたデータは、入力バッファ21に格納される。制御器25の指示により、復号する時刻になれば、1フレーム分のデータが入力バッファ21より復号器20に入力され、H.26Lのアルゴリズムにしたがって復号される。このように再生されたフレームは出力バッファ22に格納される。出力バッファ22にあるフレームはライン23を経由して復号器20にフィードバックし、次のフレームを復号するための参照フレームとして用いられる。
【0085】
一方、復号器20において復号された最大遅延時間dpb_output_delay、フレームレート、及び各フレームの識別子(N)が制御器25に入力される。そして、制御器25の画像出力時間計算部26において、これらのデータより、各フレームの出力時間が、下記の式にしたがって計算される。
To(n)=dpb_output_delay+N×フレーム間隔
ここで、フレーム間隔はフレームレートより求められる。
【0086】
図2に示した例に合わせてdpb_output_delayを2/15秒、フレーム間隔を1/15秒とすると、上記の式により、
N=0、To(0)=2/15
N=1、To(1)=3/15
N=2、To(2)=4/15
N=3、To(3)=5/15
となる。このように、制御器25において求められた出力時間To(n)にしたがい、出力バッファ22にあるフレームは、図5(b)に示す各フレームF0、F1、F2、F3のように、一定間隔で出力端子2bに出力される。また、図示していないが、出力端子2bはモニタなどの表示装置に接続される。
【0087】
図5は、図2に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。復号においては、各フレームの符号化データがフレーム間予測を行うために必要な順序にて復号され、その間隔はフレームレートに準じた一定の時間間隔であると仮定し、また復号処理に必要となる時間はフレーム間予測が用いられるか否かやフレーム間予測の方向の如何にかかわらず各フレームについて無視できると仮定する。この場合に、逆方向予測フレームにおいて逆方向予測を行う際に必要となる最大の遅延時間は、逆方向予測に用いる最大参照フレーム数に応じたフレームの時間間隔に等しい。この時間が、最大遅延時間としてdpb_output_delayにより通知されていることになる。したがって復号画像を出力するにあたり、出力時間をこの最大遅延時間だけ遅延させるものとする。
【0088】
実際には、各フレームの復号間隔は一定とはならず、各フレームの符号化ビット量変動などの要因により変化し得る。また各フレームの復号処理に必要となる時間は、逆方向予測フレームであるか否かの他、各フレームの符号化ビット量などに応じて変化し得る。
【0089】
したがって、出力時間を遅延させる場合には、図5に示すように、逆方向予測を行うことによる遅延や他のフレームとの間で復号時間と出力時間の順序の逆転がない逆方向予測未関連フレームF0において、復号画像が得られる時間を基準とする。すなわち、この復号画像が得られる時間からdpb_output_delayにより通知された最大遅延時間だけ遅延させた時間を、この復号画像に関連づけられた出力時間に等しい時間であることとして、復号画像出力における基準時間とする。以降の復号画像F1〜F4の出力は、この基準時間が各復号画像に関連づけられた出力時間と同じ時間となったときに出力することとする。
【0090】
例えば、上記のように最大遅延時間が2/15秒である場合には、逆方向予測未関連フレームにおいて復号画像が得られる時間から2/15秒だけ遅延させた時間をこの復号画像に関連づけられた出力時間に等しい時間であることとして、以降の復号画像出力における基準時間とする。
【0091】
なお、場合によっては符号化あるいは復号の処理を簡略化するために、あえて最大遅延時間を通知しないことも考えられる。このような場合のために、最大遅延時間を通知するためのシンタックスは、それより前にシンタックスの有無を指示するフラグが通知されることとして、省略可能としてもよい。
【0092】
最大遅延時間の通知が省略される場合には、符号化においては、例えば逆方向予測は用いないこととして予め規定しておくこととしても良いし、あるいはまた参照フレーム数上限を越えない範囲で、逆方向予測に用いる参照フレーム数を任意に変動できることとしても良い。
【0093】
復号においては、例えば符号化における規定と一致させて逆方向予測は用いない、したがって逆方向予測を行うことにより必要となる遅延は発生しないものとしても良いし、あるいはまた参照フレーム数上限を越えない範囲で、逆方向予測に用いる参照フレーム数は任意に変動し、したがって遅延時間は大きく変動し得るものとしても良い。この場合に復号においては、想定される最大の遅延時間を想定した処理を常に行うこととしても良いし、あるいはまた復号画像の出力時間間隔の変動を許容することとして、各フレームの遅延時間を考慮しない簡略化した処理を行うこととしても良い。
【0094】
本実施形態の説明はH.26Lをもとにして実現したものとして説明したが、本発明を適用することのできる動画像符号化方式はH.26Lに限定されるものではなく、逆方向フレーム間予測を用いる様々な動画像符号化方式に適用することが可能である。
【0095】
また、本実施形態においては、最大遅延時間を通知するためのシンタックスとしてシーケンスパラメータセットの中に固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための符号やシンタックス、あるいは最大遅延時間を表現するための時間単位はこれらに限られるものではない。固定長符号に代わり可変長符号を用いることとしても良いし、また符号化データ全体に適用されるための情報を通知することのできる様々なシンタックスにおいて通知するものとすることができる。
【0096】
例えば、H.26Lにおいては、補助拡張情報メッセージ(Supplemental Enhancement Information Message)の中にシンタックスを追加することとしても良い。また他の動画像符号化方式を用いる場合には、当該符号化方式において符号化データ全体に適用されるための情報を通知するためのシンタックスを用いることができ、またH.263を用いた通信において制御情報の通知のために利用されるITU-TRecommendation H.245のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【0097】
(第2実施形態)
次に、本発明の第2実施形態について説明する。本実施形態では、可変フレームレートによる符号化がなされる場合の実施の形態を示す。本実施形態による符号化および復号における動作は、基本的に第1実施形態と同様である。本実施形態では可変フレームレートが用いられることから、符号化においては第1実施形態における動作に加えて、フレームレートが低下した場合に、予め算出された最大遅延時間を越える遅延時間が必要となる逆方向予測が行われないように動作し、フレームレートが変化する場合においても、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔が、本来の間隔から変化してしまうことを防ぐ。
【0098】
符号化においては、まず用いられる参照フレーム数上限は予め定められていることからこれを越えない範囲で、逆方向予測に用いる最大参照フレーム数を決定する。次に符号化ビットレートの制御において予め定められる目標フレームレートに基づいた最大フレーム時間間隔を決定し、最大遅延時間を、逆方向予測に用いる最大参照フレーム数と最大フレーム時間間隔に応じた1つ又は複数のフレームの時間間隔として算出する。
【0099】
符号化においては、以降は最大遅延時間を超える遅延時間が必要となる逆方向予測が行われることのないように、各フレームの符号化を制御する。具体的には、逆方向予測に用いる参照フレーム、すなわち現フレームよりも時間的に後となるフレームが、逆方向予測に用いる最大参照フレーム数を越えて現フレームよりも先に符号化され出力されることがないように、各フレームの符号化の順序を制御する。
【0100】
またそれとともに、符号化ビットレート制御により符号化フレームレートが一時的に小さくなり、その場合のフレーム時間間隔が最大フレーム時間間隔より大きくなってしまった場合には、そこでのフレームの符号化に逆方向予測を用いないように各フレームの符号化を制御する。
【0101】
本実施形態において、この最大遅延時間を符号化において出力し、また復号において入力するために、符号化データシンタックスにおいて、最大遅延時間を通知するシンタックスdpb_output_delayを追加すること、ならびにその定義については、第1実施形態におけるものと同じである。
【0102】
また、本実施形態において、復号においては、dpb_output_delayにより通知された最大遅延時間を復号し、これを用いて復号画像の出力時間を遅延する。この処理についても、第1実施形態におけるものと同じである。
【0103】
(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態では、最大遅延時間が各フレームについて任意に通知されて柔軟に変更できる場合の実施の形態を示す。本実施形態による符号化および復号における動作は、基本的に第1実施形態もしくは第2実施形態と同様である。
【0104】
本実施形態においては、第1実施形態において定義された、最大遅延時間を通知するシンタックスdpb_output_delayを、符号化データ全体に適用される情報を通知するシンタックスではなく、各フレームに適用される情報を通知するシンタックスであるピクチャパラメータセット(Picture Parameter Set)の中に追加するものとする。ここでは、dpb_output_delayは、第1実施形態における場合と同様に、90kHzの時間単位にて最大遅延時間を示すものとし、その時間単位にて表される数値を、32ビットの符号無し固定長符号にて符号化して伝送するものとする。
【0105】
符号化における最大遅延時間の算出、ならびに復号における最大遅延時間を用いた復号画像の出力時間の遅延については、第1実施形態におけるものと同様である。また、本実施形態において用いられる動画像符号化装置、及び動画像復号装置の構成は、第1実施形態に関して図3、図4に示したものと同様である。
【0106】
本実施形態における各フレームの最大遅延時間dpb_output_delayの求め方について説明する。図3に示す符号化装置1において、制御器15では、逆方向予測による遅延時間(D)を、第1実施形態で説明したような方法で求め、各フレームの符号化時間Tr(n)を決定する。次に、フレームメモリ11より各フレームの表示時間Tin(n)が入力されると、そのフレームのdpb_output_delay(n)は下記のように求められる。
dpb_output_delay(n)=Tin(n)+D−Tr(n)
このdpb_output_delayの値は、該当するフレームに関連付けられ、多重化器12にて多重化される。
【0107】
本実施形態では、各フレームを符号化するための時間Tr(n)も一緒に符号化される。図2を例として考えると、D=2/15秒、Tin(n)=0、1/15、2/15、3/15、4/15(n=0、1、2、3、4)である。符号化の順序が変わるため、Tr(n)=0、1/15、4/15、2/15、3/15(n=0、1、2、3、4)となる。ここで、各フレームのdpb_output_delay(n)は、
となる。
【0108】
一方、図4に示す復号装置2では、復号器20より、各フレームのdpb_output_delay(n)及びTr(n)が制御器25に送られ、下記の式に基づいて各フレームの出力時間To(n)が求められる。
To(n)=Tr(n)+dpb_output_delay
図2を例として考えると、上記の定義より、各フレームについて、Tr(n)=0、1/15、4/15、2/15、3/15(n=0、1、2、3、4)、dpb_output_delay(n)=2/15、2/15、0、3/15、3/15(n=0、1、2、3、4)であるから、
n=0、To(0)=0+2/15=2/15
n=1、To(1)=1/15+2/15=3/15
n=2、To(2)=4/15+0=4/15
n=3、To(3)=2/15+3/15=5/15
n=4、To(4)=3/15+3/15=6/15
となる。
【0109】
すなわち、全ての画像は2/15秒送れて、一定の間隔を保ちながらモニタに表示される。なお、当然ながら、逆方向予測を行わない場合、そのために用いられる参照フレーム枚数がゼロとなるので、dpb_output_delay(n)の値はゼロとなる。
【0110】
最大遅延時間は、逆方向予測未関連フレームにおいて復号画像が得られる時間から、復号画像出力における基準時間を定義するものであることから、逆方向予測未関連フレームについてのみ通知されれば良い。したがって例えば、最大遅延時間を通知するためのシンタックスは、それ以前にシンタックスの有無を指示するフラグが通知されることとして、省略可能としてもよい。逆方向予測未関連フレームにおいても任意に省略されることとしても良く、最大遅延時間の通知が省略される場合には、それ以前に通知された最大遅延時間が適用されるものとすれば良い。
【0111】
また、本実施形態における各フレームに対するシンタックスは、第1実施形態において定義されたような、符号化データ全体に対するシンタックスと同時に用いられることとしても良い。この場合、各フレームに対するシンタックスは、上述のようにそれ以前にシンタックスの有無を指示するフラグが通知されることとして、省略可能とする。符号化データ全体に対するシンタックスにおいて通知された最大遅延時間は、各フレームに対するシンタックスにおいて最大遅延時間が通知されるまで適用されるものとし、各フレームに対するシンタックスにより更新された後は、これに基づいて遅延させた時間が以降のすべての復号画像出力における基準時間となることとする。
【0112】
本実施形態の説明はH.26Lをもとにして実現したものとして説明したが、本発明を適用することのできる動画像符号化方式はH.26Lに限定されるものではなく、逆方向フレーム間予測を用いる様々な動画像符号化方式に適用することが可能である。
【0113】
また、本実施形態においては、最大遅延時間を通知するためのシンタックスとしてピクチャパラメータセットの中に固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための符号やシンタックス、あるいは最大遅延時間を表現するための時間単位はこれらに限られるものではない。固定長符号に代わり可変長符号を用いることとしても良いし、また各フレームに適用されるための情報を通知することのできる様々なシンタックスにおいて通知するものとすることができる。
【0114】
例えば、H.26Lにおいては補助拡張情報メッセージ(Supplemental Enhancement Information Message)の中にシンタックスを追加することとしても良い。また他の動画像符号化方式を用いる場合には、当該符号化方式において各フレームに適用されるための情報を通知するためのシンタックスを用いることができ、またH.263を用いた通信において制御情報の通知のために利用されるITU-T Recommendation H.245のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【0115】
【発明の効果】
本発明による動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムは、以上詳細に説明したように、次のような効果を得る。すなわち、連続するフレームによって構成された動画像に対して、逆方向フレーム間予測を行って符号化して出力する際に、逆方向予測に伴う最大遅延時間を出力する動画像符号化方法、符号化装置、符号化プログラム、最大遅延時間を入力する動画像復号方法、復号装置、復号プログラム、及びそれらを用いた動画像処理システムによれば、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0116】
特に、従来技術と異なり、出力時間は絶対値ではなくて、復号時間Trからの相対値を用いるために、フレームレートが可変の場合においても、少ないビット数で正確に最大遅延時間dpb_output_delayの値を記述し、伝送することができる効果がある。また、復号時間Trがずれる場合、もしくは受信されない場合においても、対応する画像が復号完了時点からdpb_output_delay分遅延されてから出力されるので、画像は正しい間隔で出力できる利点がある。
【図面の簡単な説明】
【図1】動画像符号化装置、動画像復号装置、及び動画像処理システムの概略構成を示すブロック図である。
【図2】双方向予測を行った場合でのフレームの符号化の一例について示す図である。
【図3】動画像符号化装置の構成の一例を示すブロック図である。
【図4】動画像復号装置の構成の一例を示すブロック図である。
【図5】図2に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。
【図6】双方向予測を行った場合でのフレームの符号化について示す図である。
【図7】図6に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。
【図8】双方向予測を行った場合でのフレームの符号化について示す図である。
【図9】図8に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。
【図10】双方向予測を行った場合でのフレームの(a)復号、(b)出力、及び(c)遅延させた出力について示す図である。
【図11】双方向予測を行った場合でのフレームの符号化について示す図である。
【符号の説明】
1…動画像符号化装置、1a、1c…入力端子、1b…出力端子、10…符号化器、11…フレームメモリ、12…多重化器、13…バッファ、15…制御器、16…最大遅延時間計算部、2…動画像復号装置、2a…入力端子、2b…出力端子、20…復号器、21…入力バッファ、22…出力バッファ、23…ライン、25…制御器、26…画像出力時間計算部。
D0…動画像データ、D1…符号化データ、D2…復号後の動画像データ、F0〜F4…フレーム。
【発明の属する技術分野】
本発明は、動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムに関するものである。
【0002】
【従来の技術】
動画像信号の伝送や蓄積、再生を行うために、動画像信号の符号化技術が用いられる。そのような技術として、ITU-T Recommendation H.263(以下H.263と呼ぶ)やISO/IEC International Standard 14496-2(MPEG-4 Visual、以下MPEG-4と呼ぶ)などの国際標準化動画像符号化方式が知られている。また、より新しい符号化方式として、ITU-T とISO/IECとの合同国際標準化が予定されている動画像符号化方式、ITU-T Recommendation H.264、ISO/IEC International Standard14496-10(Joint Final Committee Draft of Joint Video Specification、以下H.26Lと呼ぶ)が知られている。これらの動画像符号化方式に用いられている一般的な符号化技術については、例えば非特許文献1(小野文孝、渡辺 裕 共著、「国際標準画像符号化の基礎技術」)に記載がある。
【0003】
動画像信号は時間的に少しずつ変化する一枚づつの画像(フレーム)が連続して構成されたものであることから、一般的にこれらの動画像符号化方式においては、符号化対象として入力されたフレーム(現フレーム)に対して、他のフレーム(参照フレーム)との間でフレーム間予測を行って動画像信号における時間的な冗長度を削減する。この場合フレーム間予測は、現フレームとの変化がより小さい参照フレームとの間で行うことによって、より大きく冗長度を削減し符号化効率を高めることできる。
【0004】
このため、図6に示すように、現フレームA1に対する参照フレームとしては、現フレームA1より時間的に前のフレームA0だけでなく、時間的に後のフレームA2を用いる場合もある。前のフレームを用いる場合を順方向予測、後のフレームを用いる場合を逆方向予測と呼ぶ。またこのとき、両方の予測が任意に選択されるか、もしくは同時に用いられる場合を双方向予測と呼ぶ。
【0005】
一般的にこのような双方向予測が用いられる場合には、図6に示した例のように、時間的に前のフレームの1つが順方向予測の参照フレームとして、また時間的に後のフレームの1つが逆方向予測の参照フレームとして、現フレームに先んじて予めそれぞれ保持される。
【0006】
図7は、図6に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。例えばMPEG-4の復号においては、現フレームA1を双方向フレーム間予測により復号する場合には、まず現フレームA1の復号化に先んじて、現フレームA1より時間的に前のフレームの1つであるフレームA0、および時間的に後のフレームの1つであるフレームA2が、フレーム間予測を用いないフレーム内予測により復号されたフレーム、もしくは順方向フレーム間予測により復号されたフレームとして復号され、それらが参照フレームとして保持される。その後に現フレームA1が、保持されたこれら2つのフレームA0、A2を用いて双方向予測により復号される(図7(a))。
【0007】
したがってこの場合、時間的に後の参照フレームA2と現フレームA1との復号時間の順序は、それぞれの復号画像の出力時間の順序と逆転することとなる。なお、これらのフレームA0、A1、A2には、それぞれ出力時間情報0、1、2が関連づけられており、この情報にしたがって各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序にて出力される(図7(b))。MPEG-4では、出力時間情報は絶対値として記述されている。
【0008】
また、近年の動画像符号化方式では、図8に示すように、このようなフレーム間予測において、より現フレームとの変化の小さいフレームからの予測が可能となるように、順方向、逆方向それぞれの参照フレームを1つだけではなく、複数用いることのできるものがある。図8においては、現フレームB2に対する参照フレームとして、現フレームB2より時間的に前の2つのフレームB0、B1、及び時間的に後の2つのフレームB3、B4を用いる例を示している。
【0009】
図9は、図8に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。例えば、H.26Lの復号においては、予め定められた参照フレーム数上限までの範囲で参照フレームを複数保持しておくことができ、フレーム間予測を行う場合には、それらの中から最適なものが任意に指示されて用いられる。この場合、現フレームB2を双方向予測フレームとして復号する場合には、まず現フレームB2の復号に先んじて参照フレームが復号されるが、この参照フレームとして、現フレームB2より時間的に前のフレームが複数(例えば2つのフレームB0、B1)、また時間的に後のフレームが複数(例えば2つのフレームB3、B4)、それぞれ復号されて、参照フレームとして保持される。現フレームB2では、それらのフレームB0、B1、B3、B4のなかから予測に用いるフレームが任意に指示されて予測を行うことができる(図9(a))。
【0010】
したがってこの場合、時間的に後の複数の参照フレームB3、B4と現フレームB2との復号時間の順序が、出力時間の順序と逆転することとなる。なお、これらのフレームB0〜B4はそれぞれ出力時間情報もしくは出力順序情報0〜4が関連づけられており、この情報にしたがって各フレームの時間的な前後関係を知ることができる。このため、それぞれの復号画像は正しい順序にて出力される(図9(b))。出力時間情報は、絶対値として記述されることが多い。また、出力順序は、フレーム間隔が一定の場合に用いられる。
【0011】
時間的に後のフレームを予測フレームとして用いた逆方向予測による復号を行う場合には、現フレームの復号に先んじて、時間的に後のフレームの復号が完了しており、予測フレームとして用いることができる必要がある。この場合に現フレームには復号画像が得られるまでに、逆方向予測が用いられないフレームの場合と比較して、遅延が生じることとなる。
【0012】
これについて、図10を参照しつつ以下に具体的に説明する。尚、図10は図6及び図7に示した例に対応している。まず、各フレームA0〜A2の符号化データがフレーム間予測を行うために必要な順序にて復号され、その間隔はフレームレートに準じた一定の時間間隔であると仮定し、また復号処理に必要となる時間はフレーム間予測が用いられるか否かやフレーム間予測の方向の如何にかかわらず各フレームA0〜A2について無視できると仮定する(図10(a))。実際には、各フレームA0〜A2の復号間隔は一定である必要はなく、各フレームA0〜A2の符号化ビット量変動などの要因により変化し得るが、平均的には一定と見なすことができる。また復号処理に必要となる時間もゼロではないが、各フレームA0〜A2の間で大きな差がなければ、以下の説明において大きな問題とはならない。
【0013】
ここで、逆方向予測を行うことによる遅延や他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームA0(以下、逆方向予測未関連フレームと呼ぶ)において復号画像が得られる時間を、その復号画像に関連づけられた出力時間として、復号画像の出力を行うものとする。すると、後に続くフレームが逆方向予測フレームA1であった場合に、この復号画像は時間的に後となるフレームA2よりも後に復号されることとなるため、復号画像が得られるまでには遅延が生じる。
【0014】
このため、逆方向予測未関連フレームA0において復号画像が得られる時間を出力時間の基準としてしまうと、逆方向予測フレームA1における復号画像をそれに関連づけられた出力時間までに得ることができない(図10(b))。すなわち、逆方向予測未関連フレームA0の復号画像と逆方向予測フレームA1の復号画像との出力時間間隔が、本来の間隔よりも逆方向予測を行う際に必要な遅延時間だけ開いて空いてしまうこととなり、不自然な動画像出力となってしまう。
【0015】
したがって、動画像符号化において逆方向フレーム間予測が用いられる場合には、図10(c)に示すように、逆方向予測未関連フレームA0においても予め逆方向予測を行う際に必要となる遅延時間だけ復号画像の出力時間を遅延させておき、逆方向予測フレームA1との出力時間間隔を正しく扱うことができるようにする必要がある。
【0016】
従来では逆方向フレーム間予測は、予測の選択肢が増えることとなるため計算量が増大し簡易な機器では実現が難しいこと、またテレビ会議といった双方向での対話がなされる実時間通信においては遅延時間の増加が望ましくないことから、テレビ放送やその蓄積など、高ビットレートでの符号化がなされ、常にテレビ放送信号と同じ30フレーム/秒の固定フレームレートが用いられる条件での動画像符号化において用いられてきた。
【0017】
この場合には、例えばMPEG-4のように時間的に後のフレームの1つを逆方向予測の参照フレームとして用いる符号化において、逆方向予測を行う際に必要となる遅延時間は一定である。例えば、上記のように30フレーム/秒のフレームレートが用いられる場合、遅延時間は各フレームの時間間隔、すなわち1/30秒となる。したがって、逆方向予測未関連フレームにおいて復号画像の出力時間を遅延させるべき時間は、一律に1/30秒とすることができる。
【0018】
【非特許文献1】
小野 文孝、渡辺 裕 共著、「国際標準画像符号化の基礎技術」、コロナ社、1998年3月20日
【0019】
【発明が解決しようとする課題】
しかしながら近年では、計算機能力の向上とともに映像サービスの多様化が進んでいることに伴い、インターネットや移動通信における映像配信など、遅延が許容され、かつ低ビットレートでの符号化が求められる動画像符号化が用いられるようになってきている。低ビットレートでの符号化を実現するためには、30フレーム/秒よりも小さなフレームレートが用いられたり、また符号化ビットレートを制御するためにフレームレートが動的に変更される可変フレームレートが用いられたりする。
【0020】
このような動画像符号化において、より符号化効率を高めるために上述した逆方向予測を用いた場合、逆方向予測による遅延時間は従来のように1/30秒とはならない。また、可変フレームレートが用いられる場合には、フレームレートは一定とはならない。例えば、一時的に小さなフレームレートが用いられた場合には、そこでの各フレームの時間間隔は大きくなるため、逆方向予測未関連フレームにおいて復号画像の出力時間を遅延させるべき時間が一意には決まらない。このため、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなってしまう。
【0021】
このとき、予め逆方向予測を行う際に生じ得る遅延時間を大きく見込み、常にこの遅延時間だけ逆方向予測未関連フレームの復号画像の出力時間を遅延させることにより、逆方向予測フレームの復号画像との出力時間間隔を正しく扱うこともできる。しかしながらこの場合、実際の逆方向予測における遅延時間に関わらず、常に復号画像の出力時間に大きな遅延が付加されることとなってしまう。
【0022】
また、H.26Lのように、逆方向予測において複数の参照フレームが用いられる場合には、現フレームの復号に先んじて、時間的に後のフレームであるそれらの参照フレームすべての復号が完了している必要がある。このため、逆方向予測を行う際に必要となる遅延時間は、さらに増大することになる。
【0023】
またこの場合、逆方向予測において用いられる参照フレーム数は、現フレームよりも以前に復号された、現フレームよりも時間的に後となるフレームの数として一意に決まるため、予め定められた参照フレーム数上限までの範囲で、参照フレーム数を任意に変化させることができてしまう。
【0024】
例えば、参照フレーム数上限が4であれば、図8に示したように逆方向予測において用いられる参照フレーム数は2でも良いが、図11(a)に示すように、これを1としても良いし、あるいは図11(b)に示すように、3としても良い。このように参照フレーム数を変化させることが可能であるため、逆方向予測を行う際に必要な遅延時間は大きく変化し得ることになる。これにより、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなってしまう。
【0025】
このとき、逆方向予測において用いることのできる最大の参照フレーム数は、参照フレーム数上限よりも大きくなることはないことから、この参照フレーム数上限に応じた遅延時間が逆方向予測を行う際に生じ得る最大の遅延時間となる。したがって、常にこの遅延時間だけ逆方向予測未関連フレームの復号画像の出力時間を遅延させることにより、逆方向予測フレームの復号画像との出力時間間隔を正しく扱うこともできる。
【0026】
しかしながら、この場合、実際に逆方向予測フレームにおいて用いられる参照フレーム数に関わらず、常に復号画像の出力時間に大きな遅延が付加されることとなってしまう。また上述のような可変フレームレートが用いられている場合には、最大の参照フレーム数が一意に決まっても、最大の遅延時間を一意に決めることはできなくなってしまう。
【0027】
このように従来では、動画像符号化において逆方向予測を用いる場合には、固定フレームレートが用いられることが明らかである場合を除き、逆方向予測を行う際に必要な遅延時間を一意に決めることができない。このため、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔を正しく扱うことができなくなり、不自然な動画像出力となってしまうという問題があった。
【0028】
また、逆方向予測において複数の参照フレームが用いられる場合にも、参照フレーム数が変化し得ることから、遅延時間が変化し得る。したがって、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との時間間隔を正しく扱うことができなくなってしまうという問題があった。また、これに対処するために常に最大の遅延時間を想定した場合には、常に復号画像の出力時間に大きな遅延が付加されてしまう問題があった。
【0029】
本発明は、以上の問題点を解決するためになされたものであり、逆方向フレーム間予測を用いる際に適切な時間間隔での復号画像出力を得ることが可能な動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラムを提供することを目的とする。
【0030】
【課題を解決するための手段】
このような目的を達成するために、本発明に係る動画像符号化方法は、他のフレームとの間でフレーム間予測を行う動画像符号化方法であって、逆方向予測により生じ得る最大遅延時間を出力することを特徴とする。
【0031】
同様に、本発明に係る動画像符号化装置は、他のフレームとの間でフレーム間予測を行う動画像符号化装置であって、逆方向予測により生じ得る最大遅延時間を出力することを特徴とする。
【0032】
このように、本発明に係る動画像符号化方法及び装置においては、連続するフレームによって構成された動画像を符号化して出力する際に、符号化データに加えて、逆方向予測に伴う最大遅延時間を出力することとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0033】
また、本発明に係る動画像符号化プログラムは、他のフレームとの間でフレーム間予測を行う動画像符号化をコンピュータに実行させるための動画像符号化プログラムであって、逆方向予測により生じ得る最大遅延時間を出力する処理をコンピュータに実行させることを特徴とする。
【0034】
このように、本発明に係る動画像符号化プログラムにおいては、動画像を符号化して出力する際に、符号化データに加えて、最大遅延時間を出力する処理をコンピュータに実行させることとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0035】
本発明に係る動画像復号方法は、他のフレームとの間でフレーム間予測を行う動画像復号方法であって、逆方向予測により生じ得る最大遅延時間を入力することを特徴とする。
【0036】
同様に、本発明に係る動画像復号装置は、他のフレームとの間でフレーム間予測を行う動画像復号装置であって、逆方向予測により生じ得る最大遅延時間を入力することを特徴とする。
【0037】
このように、本発明に係る動画像復号方法及び装置においては、入力された符号化データを復号して動画像を生成する際に、符号化データに加えて、逆方向予測に伴う最大遅延時間を入力することとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0038】
また、本発明に係る動画像復号プログラムは、他のフレームとの間でフレーム間予測を行う動画像復号をコンピュータに実行させるための動画像復号プログラムであって、逆方向予測により生じ得る最大遅延時間を入力する処理をコンピュータに実行させることを特徴とする。
【0039】
このように、本発明に係る動画像復号プログラムにおいては、符号化データを復号して動画像を生成する際に、符号化データに加えて、最大遅延時間を入力する処理をコンピュータに実行させることとしている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0040】
また、動画像符号化方法は、符号化対象となるフレームを入力する入力ステップと、フレームを所定の方法で符号化する符号化ステップと、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算ステップとを備えることを特徴とする。
【0041】
同様に、動画像符号化装置は、符号化対象となるフレームを入力する入力手段と、フレームを所定の方法で符号化する符号化手段と、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算手段とを備えることを特徴とする。
【0042】
同様に、動画像符号化プログラムは、符号化対象となるフレームを入力する入力処理と、フレームを所定の方法で符号化する符号化処理と、フレームの表示時間、符号化時間、及び逆方向予測により生じ得る遅延時間からフレームの最大遅延時間を求める最大遅延時間計算処理とをコンピュータに実行させることを特徴とする。
【0043】
このように、本発明に係る動画像符号化方法、装置、及びプログラムにおいては、動画像を符号化する際に、フレームの最大遅延時間を求めている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0044】
また、動画像復号方法は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力ステップと、符号化データを復号し、再生画像を生成する復号ステップと、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算ステップとを備えることを特徴とする。
【0045】
同様に、動画像復号装置は、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力手段と、符号化データを復号し、再生画像を生成する復号手段と、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算手段とを備えることを特徴とする。
【0046】
同様に、動画像復号プログラムは、所定の方法で符号化されたフレームの符号化データ、フレームの復号時間、及び最大遅延時間を含む画像データを入力する入力処理と、符号化データを復号し、再生画像を生成する復号処理と、復号時間及び最大遅延時間に基づいて、フレームを表示するための出力時間を求める画像出力時間計算処理とをコンピュータに実行させることを特徴とする。
【0047】
このように、本発明に係る動画像復号方法、装置、及びプログラムにおいては、符号化データを復号して動画像を生成する際に、最大遅延時間に基づいてフレームを表示するための出力時間を求めている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0048】
動画像符号化方法、符号化装置、及び符号化プログラムにおいて出力される最大遅延時間としては、逆方向フレーム間予測を行うフレームの発生時間から、逆方向予測の参照フレームとして用いることのできる時間的に最も後のフレームの発生時間までの時間差を最大遅延時間とすることが好ましい。
【0049】
また、最大遅延時間の適用に関しては、最大遅延時間が符号化データ全体に適用される情報として出力されることを特徴としてもよい。あるいは、最大遅延時間が各フレームに適用される情報として出力されることを特徴としてもよい。あるいは、最大遅延時間がこの最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用される情報として任意に出力されることを特徴としてもよい。
【0050】
また、動画像復号方法、復号装置、及び復号プログラムにおいて入力される最大遅延時間については、他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間とそのフレームに関連づけられた復号画像出力時間との時間差を最大遅延時間とすることが好ましい。あるいはさらに、その最大遅延時間に基づいて以降の復号画像出力時間の基準を設定することが好ましい。
【0051】
また、最大遅延時間の適用に関しては、最大遅延時間が符号化データ全体に適用される情報として入力されることを特徴としてもよい。あるいは、最大遅延時間が各フレームに適用される情報として入力されることを特徴としてもよい。あるいは、最大遅延時間がこの最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用される情報として任意に入力されることを特徴としてもよい。
【0052】
本発明に係る動画像処理システムは、動画像の符号化装置と復号装置とを含んで構成された動画像処理システムであって、符号化装置は、上記した動画像符号化装置からなり、復号装置は、上記した動画像復号装置からなることを特徴とする。
【0053】
このように、動画像処理システムは、逆方向予測に伴う最大遅延時間をそれぞれ出力及び入力する動画像符号化装置及び動画像復号装置を用いて構成されている。これにより、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能な動画像処理システムが実現される。
【0054】
【発明の実施の形態】
以下、図面とともに本発明による動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0055】
まず、本発明における動画像の符号化及び復号の概略について説明する。図1は、本発明による動画像符号化装置、動画像復号装置、及び動画像処理システムの概略構成を示すブロック図である。本動画像処理システムは、動画像符号化装置1と、動画像復号装置2とを備えて構成されている。以下、動画像符号化装置1、動画像復号装置2、及び動画像処理システムについて、それらにおいて実行される動画像符号化方法、及び動画像復号方法とともに説明する。
【0056】
動画像符号化装置1は、動画像の伝送や蓄積、再生を行うために、画像(フレーム)が連続して構成された動画像データD0を符号化して、符号化データD1として出力する装置である。また、動画像復号装置2は、入力された符号化データD1を復号して、フレームが連続して構成された復号後の動画像データD2を生成する装置である。また、動画像符号化装置1と動画像復号装置2との間は、符号化データD1等の必要なデータを伝送するため、有線または無線の所定のデータ伝送路によって接続されている。
【0057】
動画像符号化装置1で行われる動画像の符号化においては、上述したように、符号化対象として入力された動画像データD0のフレームに対して、参照フレームとなる他のフレームとの間でフレーム間予測を行って、動画像データにおける冗長度を削減する。図1に示した動画像処理システムにおいては、動画像符号化装置1は、このフレーム間予測について、時間的に後のフレームからの逆方向フレーム間予測を行う。さらに、この動画像符号化装置1は、符号化データD1に加えて、逆方向予測により生じ得る最大遅延時間を出力する。
【0058】
また、このような動画像符号化装置1に対応して、動画像復号装置2は、動画像符号化装置1からの符号化データD1に加えて、逆方向予測により生じ得る最大遅延時間を入力する。そして、入力された最大遅延時間を参照しつつ、符号化データD1を復号して動画像データD2を生成する。
【0059】
このように、逆方向フレーム間予測に対して、最大遅延時間を出力する動画像符号化装置1及び動画像符号化方法、最大遅延時間を入力する動画像復号装置2及び動画像復号方法、及びそれらの装置1、2を備える動画像処理システムによれば、逆方向フレーム間予測を用いてフレーム間予測を行う場合に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0060】
ここで、動画像符号化において出力される最大遅延時間については、例えば、逆方向フレーム間予測を行うフレームの発生時間から、逆方向予測の参照フレームとして用いることのできる時間的に最も後のフレームの発生時間までの時間差を最大遅延時間とすることができる。
【0061】
また、動画像復号において入力される最大遅延時間については、例えば、逆方向フレーム間予測を行うことによる遅延、及び他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間(以下、Trとする)と当該フレームに関連づけられた復号画像出力時間(以下、Toとする)との時間差を最大遅延時間(以下、dpb_output_delayとする)とすることができる。この場合、その最大遅延時間に基づいて以降の復号画像出力時間の基準を設定することが好ましい。
【0062】
また、最大遅延時間の適用については、符号化データ全体に適用する方法、または各フレームに適用する方法がある。あるいは、最大遅延時間の情報が通知された以降の各フレーム、すなわち、最大遅延時間が通知されるフレーム及びそのフレームよりも時間的に後の各フレームに適用する方法がある。これらの最大遅延時間の出力、入力、及び適用等については具体的には後述する。
【0063】
上記した動画像符号化装置1において実行される動画像符号化方法に対応する処理は、動画像符号化をコンピュータに実行させるための動画像符号化プログラムによって実現可能である。また、動画像復号装置2において実行される動画像復号方法に対応する処理は、動画像復号をコンピュータに実行させるための動画像復号プログラムによって実現可能である。
【0064】
例えば、動画像符号化装置1は、動画像符号化の処理動作に必要な各ソフトウェアプログラムなどが記憶されるROMと、プログラム実行中に一時的にデータが記憶されるRAMとが接続されたCPUによって構成することができる。このような構成において、CPUによって所定の動画像符号化プログラムを実行することにより、動画像符号化装置1を実現することができる。
【0065】
同様に、動画像復号装置2は、動画像復号の処理動作に必要な各ソフトウェアプログラムなどが記憶されるROMと、プログラム実行中に一時的なデータが記憶されるRAMとが接続されたCPUによって構成することができる。このような構成において、CPUによって所定の動画像復号プログラムを実行することにより、動画像復号装置2を実現することができる。
【0066】
また、動画像符号化または動画像復号のための各処理をCPUによって実行させるための上記したプログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフロッピーディスクなどの磁気媒体、CD−ROM及びDVD−ROMなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいは、プログラム命令を実行または格納するように特別に配置された、例えばRAM、ROM、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
【0067】
以下、図1に示した動画像符号化装置、動画像復号装置、それらを備える動画像処理システム、及び対応する動画像符号化方法、動画像復号方法について、具体的な実施形態とともに説明する。以下の説明では、動画像の符号化及び復号について、H.26Lをもとにして実現することとして説明を行い、動画像符号化における動作について特に触れていない部分については、H.26Lの動作に準じるものとする。ただし、本発明は、H.26Lに限られるものではない。
【0068】
(第1実施形態)
まず、本発明の第1実施形態について説明する。本実施形態では、固定フレームレートによる符号化がなされる場合の実施の形態を示す。本実施形態による符号化においては、逆方向予測に用いる最大参照フレーム数を決定し、この最大参照フレーム数と符号化に用いるフレームレートとにより最大遅延時間を算出し出力する。また本実施形態による復号においては、逆方向予測未関連フレームの復号の際にその復号画像の出力時間を、入力された最大遅延時間だけ遅延させる。またその出力時間への遅延時間を、以降のすべてに一様に適用し、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔が、本来の間隔から変化してしまうことを防ぐ。
【0069】
符号化においては、まず、用いられる参照フレーム数上限が予め定められていることからこれを越えない範囲で、逆方向予測に用いる最大参照フレーム数を決定する。次に、これも予め定められた符号化に用いるフレームレートに基づき、最大遅延時間を、逆方向予測に用いる最大参照フレーム数に応じた1つ又は複数のフレームの時間間隔として算出する。
【0070】
図2は、双方向予測を行った場合でのフレームの符号化の一例について示す図である。ここで、この図2においては、現フレームF2に対する参照フレームとして、現フレームF2より時間的に前の2つのフレームF0、F1、及び時間的に後の2つのフレームF3、F4を用いる例を示している。
【0071】
図2に示すように、逆方向予測に用いる最大参照フレーム数を2、フレームレートを15フレーム/秒とすれば、1つのフレームの時間間隔は1/15秒である。したがって、この場合、最大遅延時間は2×(1/15)=2/15秒となる。
【0072】
符号化においては、以降は最大遅延時間を超える遅延時間が必要となる逆方向予測が行われることのないように、各フレームの符号化を制御する。具体的には、逆方向予測に用いる参照フレーム、すなわち現フレームよりも時間的に後となるフレームが、逆方向予測に用いる最大参照フレーム数を越えて現フレームよりも先に符号化され出力されることがないように、各フレームの符号化の順序を制御する。
【0073】
図3は、本実施形態において用いられる動画像符号化装置の構成の一例を示すブロック図である。図3に示す動画像符号化装置1は、フレーム(画像)を所定の方法で符号化する符号化器10と、符号化装置1の各部の動作を制御する制御器(CPU)15と、入力端子1a及び符号化器10の間に設けられたフレームメモリ11と、出力端子1b及び符号化器10の間に設けられた多重化器12とを備える。また、制御器15は、その機能として、最大遅延時間を求める最大遅延時間計算部16を有している。また、符号化器10には、出力バッファ13が設けられている。
【0074】
本符号化装置1における動画像符号化では、入力端子1cより、映像を符号化するための条件が入力される。この条件の入力では、一般には、キーボードなどの入力装置によって符号化条件が選択または入力される。本実施形態においては具体的には、符号化条件として、符号化対象となるフレームの大きさ、フレームレート、ビットレートに加えて、その映像の予測参照構造(逆方向予測を行うかどうか)、一時的に格納され参照フレームとして用いられるフレームの枚数(出力バッファ13の容量に対応)、逆方向予測に用いられる参照フレームの枚数が入力される。これらの条件は、時間とともに変化させるように設定しても良い。入力端子1cから入力された符号化条件は制御器15に格納される。
【0075】
符号化処理が開始されると、制御器15は符号化条件を符号化器10に送り、符号化条件がセットされる。一方、入力端子1aより符号化対象となるフレームが入力され、フレームメモリ11を経由して符号化器10に送られて符号化される。フレームメモリ11内には、逆方向予測を行うにあたってフレームの順番が入れ替わるため、入力フレームが一時的に格納される。例えば、図2に示した例では、フレームF2は、フレームF3、F4よりも先に入力端子1aから入力されるが、フレームF3、F4よりも後に符号化されるため、一時的にフレームメモリ11に格納される。
【0076】
符号化器10は、H.26Lのアルコリズムに基づいてフレームを符号化する。そして、符号化されたデータは、多重化器12を経由して、他の関連情報と多重化されて出力端子1bより出力される。また、予測に用いられるフレームは符号化器10において再生され、次のフレームを符号化するための参照フレームとしてバッファ13に格納される。
【0077】
本実施形態においては、制御器15の最大遅延時間計算部16において、入力端子1cより入力される逆方向予測に用いる参照フレーム枚数及びフレームレートに基づき、最大遅延時間dpb_output_delayを算出する。そして、最大遅延時間は、多重化器12にて、符号化された画像データに付加される。また、各フレームの符号化データには、それを識別するための表示順番を示す識別子(N)が合わせて付加される。
【0078】
なお、当然ながら、逆方向予測を行わない場合、そのために用いられる参照フレーム枚数がゼロとなるので、dpb_output_delayの値がゼロとなる。
【0079】
本実施形態では、この最大遅延時間を符号化において出力し、また復号において入力するために、H.26Lにおける符号化データシンタックスにおいて、最大遅延時間を通知するシンタックスを追加するものとする。ここでは符号化データ全体に適用される情報を通知するシンタックスであるシーケンスパラメータセット(Sequence Parameter Set)の中に、新たなシンタックスを追加する。
【0080】
この最大遅延時間を通知するシンタックスとして、dpb_output_delayを定義する。ここでは、dpb_output_delayは、H.26Lにおいて時間を示す他のシンタックスに用いられる時間単位と同じものを使うこととして、90kHzの時間単位にて最大遅延時間を示すものとする。また、その時間単位にて表される数値を、32ビットの符号無し固定長符号にて符号化して伝送するものとする。例えば、上記のように最大遅延時間が2/15秒である場合には、dpb_output_delayは(2/15)×90000=12000となる。
【0081】
復号においては、dpb_output_delayにより通知された最大遅延時間を復号し、これを用いて復号画像の出力時間を遅延する。
【0082】
図4は、本実施形態において用いられる動画像復号装置の構成の一例を示すブロック図である。図4に示す動画像復号装置2は、符号化データを復号し、再生画像を生成する復号器20と、復号装置2の各部の動作を制御する制御器(CPU)25と、入力端子2a及び復号器20の間に設けられた入力バッファ21と、出力端子2b及び復号器20の間に設けられた出力バッファ22とを備える。また、制御器25は、その機能として、フレームを表示するための出力時間を求める画像出力時間計算部26を有している。
【0083】
本復号装置2における動画像復号では、入力端子2aより、復号対象となるデータが入力される。このデータには、図3に示した符号化装置1を用いて符号化された各フレームの符号化データや、最大遅延時間dpb_output_delay、各フレームの表示順番を示す識別子(N)が多重化されている。
【0084】
入力されたデータは、入力バッファ21に格納される。制御器25の指示により、復号する時刻になれば、1フレーム分のデータが入力バッファ21より復号器20に入力され、H.26Lのアルゴリズムにしたがって復号される。このように再生されたフレームは出力バッファ22に格納される。出力バッファ22にあるフレームはライン23を経由して復号器20にフィードバックし、次のフレームを復号するための参照フレームとして用いられる。
【0085】
一方、復号器20において復号された最大遅延時間dpb_output_delay、フレームレート、及び各フレームの識別子(N)が制御器25に入力される。そして、制御器25の画像出力時間計算部26において、これらのデータより、各フレームの出力時間が、下記の式にしたがって計算される。
To(n)=dpb_output_delay+N×フレーム間隔
ここで、フレーム間隔はフレームレートより求められる。
【0086】
図2に示した例に合わせてdpb_output_delayを2/15秒、フレーム間隔を1/15秒とすると、上記の式により、
N=0、To(0)=2/15
N=1、To(1)=3/15
N=2、To(2)=4/15
N=3、To(3)=5/15
となる。このように、制御器25において求められた出力時間To(n)にしたがい、出力バッファ22にあるフレームは、図5(b)に示す各フレームF0、F1、F2、F3のように、一定間隔で出力端子2bに出力される。また、図示していないが、出力端子2bはモニタなどの表示装置に接続される。
【0087】
図5は、図2に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。復号においては、各フレームの符号化データがフレーム間予測を行うために必要な順序にて復号され、その間隔はフレームレートに準じた一定の時間間隔であると仮定し、また復号処理に必要となる時間はフレーム間予測が用いられるか否かやフレーム間予測の方向の如何にかかわらず各フレームについて無視できると仮定する。この場合に、逆方向予測フレームにおいて逆方向予測を行う際に必要となる最大の遅延時間は、逆方向予測に用いる最大参照フレーム数に応じたフレームの時間間隔に等しい。この時間が、最大遅延時間としてdpb_output_delayにより通知されていることになる。したがって復号画像を出力するにあたり、出力時間をこの最大遅延時間だけ遅延させるものとする。
【0088】
実際には、各フレームの復号間隔は一定とはならず、各フレームの符号化ビット量変動などの要因により変化し得る。また各フレームの復号処理に必要となる時間は、逆方向予測フレームであるか否かの他、各フレームの符号化ビット量などに応じて変化し得る。
【0089】
したがって、出力時間を遅延させる場合には、図5に示すように、逆方向予測を行うことによる遅延や他のフレームとの間で復号時間と出力時間の順序の逆転がない逆方向予測未関連フレームF0において、復号画像が得られる時間を基準とする。すなわち、この復号画像が得られる時間からdpb_output_delayにより通知された最大遅延時間だけ遅延させた時間を、この復号画像に関連づけられた出力時間に等しい時間であることとして、復号画像出力における基準時間とする。以降の復号画像F1〜F4の出力は、この基準時間が各復号画像に関連づけられた出力時間と同じ時間となったときに出力することとする。
【0090】
例えば、上記のように最大遅延時間が2/15秒である場合には、逆方向予測未関連フレームにおいて復号画像が得られる時間から2/15秒だけ遅延させた時間をこの復号画像に関連づけられた出力時間に等しい時間であることとして、以降の復号画像出力における基準時間とする。
【0091】
なお、場合によっては符号化あるいは復号の処理を簡略化するために、あえて最大遅延時間を通知しないことも考えられる。このような場合のために、最大遅延時間を通知するためのシンタックスは、それより前にシンタックスの有無を指示するフラグが通知されることとして、省略可能としてもよい。
【0092】
最大遅延時間の通知が省略される場合には、符号化においては、例えば逆方向予測は用いないこととして予め規定しておくこととしても良いし、あるいはまた参照フレーム数上限を越えない範囲で、逆方向予測に用いる参照フレーム数を任意に変動できることとしても良い。
【0093】
復号においては、例えば符号化における規定と一致させて逆方向予測は用いない、したがって逆方向予測を行うことにより必要となる遅延は発生しないものとしても良いし、あるいはまた参照フレーム数上限を越えない範囲で、逆方向予測に用いる参照フレーム数は任意に変動し、したがって遅延時間は大きく変動し得るものとしても良い。この場合に復号においては、想定される最大の遅延時間を想定した処理を常に行うこととしても良いし、あるいはまた復号画像の出力時間間隔の変動を許容することとして、各フレームの遅延時間を考慮しない簡略化した処理を行うこととしても良い。
【0094】
本実施形態の説明はH.26Lをもとにして実現したものとして説明したが、本発明を適用することのできる動画像符号化方式はH.26Lに限定されるものではなく、逆方向フレーム間予測を用いる様々な動画像符号化方式に適用することが可能である。
【0095】
また、本実施形態においては、最大遅延時間を通知するためのシンタックスとしてシーケンスパラメータセットの中に固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための符号やシンタックス、あるいは最大遅延時間を表現するための時間単位はこれらに限られるものではない。固定長符号に代わり可変長符号を用いることとしても良いし、また符号化データ全体に適用されるための情報を通知することのできる様々なシンタックスにおいて通知するものとすることができる。
【0096】
例えば、H.26Lにおいては、補助拡張情報メッセージ(Supplemental Enhancement Information Message)の中にシンタックスを追加することとしても良い。また他の動画像符号化方式を用いる場合には、当該符号化方式において符号化データ全体に適用されるための情報を通知するためのシンタックスを用いることができ、またH.263を用いた通信において制御情報の通知のために利用されるITU-TRecommendation H.245のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【0097】
(第2実施形態)
次に、本発明の第2実施形態について説明する。本実施形態では、可変フレームレートによる符号化がなされる場合の実施の形態を示す。本実施形態による符号化および復号における動作は、基本的に第1実施形態と同様である。本実施形態では可変フレームレートが用いられることから、符号化においては第1実施形態における動作に加えて、フレームレートが低下した場合に、予め算出された最大遅延時間を越える遅延時間が必要となる逆方向予測が行われないように動作し、フレームレートが変化する場合においても、逆方向予測未関連フレームの復号画像と逆方向予測フレームの復号画像との出力時間間隔が、本来の間隔から変化してしまうことを防ぐ。
【0098】
符号化においては、まず用いられる参照フレーム数上限は予め定められていることからこれを越えない範囲で、逆方向予測に用いる最大参照フレーム数を決定する。次に符号化ビットレートの制御において予め定められる目標フレームレートに基づいた最大フレーム時間間隔を決定し、最大遅延時間を、逆方向予測に用いる最大参照フレーム数と最大フレーム時間間隔に応じた1つ又は複数のフレームの時間間隔として算出する。
【0099】
符号化においては、以降は最大遅延時間を超える遅延時間が必要となる逆方向予測が行われることのないように、各フレームの符号化を制御する。具体的には、逆方向予測に用いる参照フレーム、すなわち現フレームよりも時間的に後となるフレームが、逆方向予測に用いる最大参照フレーム数を越えて現フレームよりも先に符号化され出力されることがないように、各フレームの符号化の順序を制御する。
【0100】
またそれとともに、符号化ビットレート制御により符号化フレームレートが一時的に小さくなり、その場合のフレーム時間間隔が最大フレーム時間間隔より大きくなってしまった場合には、そこでのフレームの符号化に逆方向予測を用いないように各フレームの符号化を制御する。
【0101】
本実施形態において、この最大遅延時間を符号化において出力し、また復号において入力するために、符号化データシンタックスにおいて、最大遅延時間を通知するシンタックスdpb_output_delayを追加すること、ならびにその定義については、第1実施形態におけるものと同じである。
【0102】
また、本実施形態において、復号においては、dpb_output_delayにより通知された最大遅延時間を復号し、これを用いて復号画像の出力時間を遅延する。この処理についても、第1実施形態におけるものと同じである。
【0103】
(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態では、最大遅延時間が各フレームについて任意に通知されて柔軟に変更できる場合の実施の形態を示す。本実施形態による符号化および復号における動作は、基本的に第1実施形態もしくは第2実施形態と同様である。
【0104】
本実施形態においては、第1実施形態において定義された、最大遅延時間を通知するシンタックスdpb_output_delayを、符号化データ全体に適用される情報を通知するシンタックスではなく、各フレームに適用される情報を通知するシンタックスであるピクチャパラメータセット(Picture Parameter Set)の中に追加するものとする。ここでは、dpb_output_delayは、第1実施形態における場合と同様に、90kHzの時間単位にて最大遅延時間を示すものとし、その時間単位にて表される数値を、32ビットの符号無し固定長符号にて符号化して伝送するものとする。
【0105】
符号化における最大遅延時間の算出、ならびに復号における最大遅延時間を用いた復号画像の出力時間の遅延については、第1実施形態におけるものと同様である。また、本実施形態において用いられる動画像符号化装置、及び動画像復号装置の構成は、第1実施形態に関して図3、図4に示したものと同様である。
【0106】
本実施形態における各フレームの最大遅延時間dpb_output_delayの求め方について説明する。図3に示す符号化装置1において、制御器15では、逆方向予測による遅延時間(D)を、第1実施形態で説明したような方法で求め、各フレームの符号化時間Tr(n)を決定する。次に、フレームメモリ11より各フレームの表示時間Tin(n)が入力されると、そのフレームのdpb_output_delay(n)は下記のように求められる。
dpb_output_delay(n)=Tin(n)+D−Tr(n)
このdpb_output_delayの値は、該当するフレームに関連付けられ、多重化器12にて多重化される。
【0107】
本実施形態では、各フレームを符号化するための時間Tr(n)も一緒に符号化される。図2を例として考えると、D=2/15秒、Tin(n)=0、1/15、2/15、3/15、4/15(n=0、1、2、3、4)である。符号化の順序が変わるため、Tr(n)=0、1/15、4/15、2/15、3/15(n=0、1、2、3、4)となる。ここで、各フレームのdpb_output_delay(n)は、
となる。
【0108】
一方、図4に示す復号装置2では、復号器20より、各フレームのdpb_output_delay(n)及びTr(n)が制御器25に送られ、下記の式に基づいて各フレームの出力時間To(n)が求められる。
To(n)=Tr(n)+dpb_output_delay
図2を例として考えると、上記の定義より、各フレームについて、Tr(n)=0、1/15、4/15、2/15、3/15(n=0、1、2、3、4)、dpb_output_delay(n)=2/15、2/15、0、3/15、3/15(n=0、1、2、3、4)であるから、
n=0、To(0)=0+2/15=2/15
n=1、To(1)=1/15+2/15=3/15
n=2、To(2)=4/15+0=4/15
n=3、To(3)=2/15+3/15=5/15
n=4、To(4)=3/15+3/15=6/15
となる。
【0109】
すなわち、全ての画像は2/15秒送れて、一定の間隔を保ちながらモニタに表示される。なお、当然ながら、逆方向予測を行わない場合、そのために用いられる参照フレーム枚数がゼロとなるので、dpb_output_delay(n)の値はゼロとなる。
【0110】
最大遅延時間は、逆方向予測未関連フレームにおいて復号画像が得られる時間から、復号画像出力における基準時間を定義するものであることから、逆方向予測未関連フレームについてのみ通知されれば良い。したがって例えば、最大遅延時間を通知するためのシンタックスは、それ以前にシンタックスの有無を指示するフラグが通知されることとして、省略可能としてもよい。逆方向予測未関連フレームにおいても任意に省略されることとしても良く、最大遅延時間の通知が省略される場合には、それ以前に通知された最大遅延時間が適用されるものとすれば良い。
【0111】
また、本実施形態における各フレームに対するシンタックスは、第1実施形態において定義されたような、符号化データ全体に対するシンタックスと同時に用いられることとしても良い。この場合、各フレームに対するシンタックスは、上述のようにそれ以前にシンタックスの有無を指示するフラグが通知されることとして、省略可能とする。符号化データ全体に対するシンタックスにおいて通知された最大遅延時間は、各フレームに対するシンタックスにおいて最大遅延時間が通知されるまで適用されるものとし、各フレームに対するシンタックスにより更新された後は、これに基づいて遅延させた時間が以降のすべての復号画像出力における基準時間となることとする。
【0112】
本実施形態の説明はH.26Lをもとにして実現したものとして説明したが、本発明を適用することのできる動画像符号化方式はH.26Lに限定されるものではなく、逆方向フレーム間予測を用いる様々な動画像符号化方式に適用することが可能である。
【0113】
また、本実施形態においては、最大遅延時間を通知するためのシンタックスとしてピクチャパラメータセットの中に固定長符号によるシンタックスを追加するものとしたが、むろんこれを通知するための符号やシンタックス、あるいは最大遅延時間を表現するための時間単位はこれらに限られるものではない。固定長符号に代わり可変長符号を用いることとしても良いし、また各フレームに適用されるための情報を通知することのできる様々なシンタックスにおいて通知するものとすることができる。
【0114】
例えば、H.26Lにおいては補助拡張情報メッセージ(Supplemental Enhancement Information Message)の中にシンタックスを追加することとしても良い。また他の動画像符号化方式を用いる場合には、当該符号化方式において各フレームに適用されるための情報を通知するためのシンタックスを用いることができ、またH.263を用いた通信において制御情報の通知のために利用されるITU-T Recommendation H.245のように、動画像符号化方式による符号化データの外部において通知することとしても良い。
【0115】
【発明の効果】
本発明による動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化プログラム、及び動画像復号プログラムは、以上詳細に説明したように、次のような効果を得る。すなわち、連続するフレームによって構成された動画像に対して、逆方向フレーム間予測を行って符号化して出力する際に、逆方向予測に伴う最大遅延時間を出力する動画像符号化方法、符号化装置、符号化プログラム、最大遅延時間を入力する動画像復号方法、復号装置、復号プログラム、及びそれらを用いた動画像処理システムによれば、逆方向フレーム間予測を用いる際に、適切な時間間隔での復号画像出力を得ることが可能となる。
【0116】
特に、従来技術と異なり、出力時間は絶対値ではなくて、復号時間Trからの相対値を用いるために、フレームレートが可変の場合においても、少ないビット数で正確に最大遅延時間dpb_output_delayの値を記述し、伝送することができる効果がある。また、復号時間Trがずれる場合、もしくは受信されない場合においても、対応する画像が復号完了時点からdpb_output_delay分遅延されてから出力されるので、画像は正しい間隔で出力できる利点がある。
【図面の簡単な説明】
【図1】動画像符号化装置、動画像復号装置、及び動画像処理システムの概略構成を示すブロック図である。
【図2】双方向予測を行った場合でのフレームの符号化の一例について示す図である。
【図3】動画像符号化装置の構成の一例を示すブロック図である。
【図4】動画像復号装置の構成の一例を示すブロック図である。
【図5】図2に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。
【図6】双方向予測を行った場合でのフレームの符号化について示す図である。
【図7】図6に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。
【図8】双方向予測を行った場合でのフレームの符号化について示す図である。
【図9】図8に示した双方向予測を行った場合でのフレームの(a)復号、及び(b)出力について示す図である。
【図10】双方向予測を行った場合でのフレームの(a)復号、(b)出力、及び(c)遅延させた出力について示す図である。
【図11】双方向予測を行った場合でのフレームの符号化について示す図である。
【符号の説明】
1…動画像符号化装置、1a、1c…入力端子、1b…出力端子、10…符号化器、11…フレームメモリ、12…多重化器、13…バッファ、15…制御器、16…最大遅延時間計算部、2…動画像復号装置、2a…入力端子、2b…出力端子、20…復号器、21…入力バッファ、22…出力バッファ、23…ライン、25…制御器、26…画像出力時間計算部。
D0…動画像データ、D1…符号化データ、D2…復号後の動画像データ、F0〜F4…フレーム。
Claims (14)
- 他のフレームとの間でフレーム間予測を行う動画像符号化方法であって、
逆方向予測により生じ得る最大遅延時間を出力することを特徴とする動画像符号化方法。 - 他のフレームとの間でフレーム間予測を行う動画像復号方法であって、
逆方向予測により生じ得る最大遅延時間を入力することを特徴とする動画像復号方法。 - 他のフレームとの間でフレーム間予測を行う動画像符号化装置であって、
逆方向予測により生じ得る最大遅延時間を出力することを特徴とする動画像符号化装置。 - 前記最大遅延時間は、逆方向フレーム間予測を行うフレームの発生時間から、逆方向予測の参照フレームとして用いることのできる時間的に最も後のフレームの発生時間までの時間差とすることを特徴とする請求項3記載の動画像符号化装置。
- 前記最大遅延時間は、符号化データ全体に適用される情報として出力されることを特徴とする請求項3または4記載の動画像符号化装置。
- 前記最大遅延時間は、各フレームに適用される情報として出力されることを特徴とする請求項3または4記載の動画像符号化装置。
- 前記最大遅延時間は、該最大遅延時間が通知されるフレーム及び該フレームよりも時間的に後の各フレームに適用される情報として任意に出力されることを特徴とする請求項3または4記載の動画像符号化装置。
- 他のフレームとの間でフレーム間予測を行う動画像復号装置であって、
逆方向予測により生じ得る最大遅延時間を入力することを特徴とする動画像復号装置。 - 前記最大遅延時間を、他のフレームとの間で復号時間と出力時間の順序の逆転がないフレームにおける、復号時間と当該フレームに関連づけられた復号画像出力時間との時間差とすることを特徴とする請求項8記載の動画像復号装置。
- 前記最大遅延時間は、符号化データ全体に適用される情報として入力されることを特徴とする請求項8または9記載の動画像復号装置。
- 前記最大遅延時間は、各フレームに適用される情報として入力されることを特徴とする請求項8または9記載の動画像復号装置。
- 前記最大遅延時間は、該最大遅延時間が通知されるフレーム及び該フレームよりも時間的に後の各フレームに適用される情報として任意に入力されることを特徴とする請求項8または9記載の動画像復号装置。
- 他のフレームとの間でフレーム間予測を行う動画像符号化をコンピュータに実行させるための動画像符号化プログラムであって、
逆方向予測により生じ得る最大遅延時間を出力する処理をコンピュータに実行させるための動画像符号化プログラム。 - 他のフレームとの間でフレーム間予測を行う動画像復号をコンピュータに実行させるための動画像復号プログラムであって、
逆方向予測により生じ得る最大遅延時間を入力する処理をコンピュータに実行させるための動画像復号プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003207598A JP2004180269A (ja) | 2002-10-03 | 2003-08-14 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002291610 | 2002-10-03 | ||
JP2003207598A JP2004180269A (ja) | 2002-10-03 | 2003-08-14 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003190634A Division JP3534742B1 (ja) | 2002-10-03 | 2003-07-02 | 動画像復号方法、動画像復号装置、及び動画像復号プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004180269A true JP2004180269A (ja) | 2004-06-24 |
Family
ID=32715662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003207598A Pending JP2004180269A (ja) | 2002-10-03 | 2003-08-14 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004180269A (ja) |
-
2003
- 2003-08-14 JP JP2003207598A patent/JP2004180269A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10158871B2 (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program | |
US7346216B2 (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program | |
JP2010057206A (ja) | 動きベクトル符号化方法、装置およびデータ記憶媒体 | |
JPH1169356A (ja) | 動画像符号化方式及び動画像復号方式 | |
JP2008193745A (ja) | 受信装置および送信装置 | |
JP2004180269A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム | |
JP2004056827A (ja) | 符号化装置、符号化方法、復号化装置及び復号化方法 | |
WO2004004357A1 (ja) | 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム | |
JP2011061287A (ja) | 通信制御装置、通信制御方法、および通信制御プログラム | |
JP2005080004A (ja) | 動画像符号化装置 | |
KR20150006465A (ko) | 비디오 스트림들의 비용-효율적이고 저-레이턴시 인코딩을 가능하게 하기 위한 메커니즘 | |
JPWO2020256048A5 (ja) | ||
JPWO2020256050A5 (ja) | ||
JP2009278512A (ja) | 動画像復号装置 | |
JP2002330441A (ja) | 符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体及び符号化装置 | |
JP2012138780A (ja) | データ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法 | |
JP2010220267A (ja) | 符号化装置、符号化方法、復号化装置及び復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070109 |