JP2008067202A - 動画像復号装置 - Google Patents

Abstract

【課題】地上波デジタル放送等においてＰＴＳ情報を持たないフレームが存在するストリームを復号する際に、フレームが抜けてしまったりストリームにエラーが混入したりした場合であってもフレームの正確な表示時間を算出することができる動画像復号装置を提供することを目的とする。
【解決手段】再生出力時刻を示すＰＴＳ情報ｆ及びフレーム番号情報ｅを有する基準フレームと、フレーム番号情報ｅを有する従属フレームとが複数羅列されてなる符号化画像信号ｆを復号する動画像復号装置１において、前記符号化画像信号ｆを復号して再生動画像信号ｉを生成する復号手段２１と、復号対象のフレームのフレーム番号情報ｅ及び最近の基準フレームのＰＴＳ情報ｆを用いて従属フレームの表示時間を算出する表示時間算出手段２２とを備えた。
【選択図】 図１

Description

本発明は、動画像の符号化ストリームを受信して復号する動画像復号装置に関する。

動画像の符号化方式として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４や、ＭＰＥＧ−４を発展させたＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４と言う。）が使用されており、特にＩＳＢＴ−Ｔ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ―Ｔｅｒｒｅｓｔｒｉｃａｌ）における移動体向け地上波デジタル放送（ワンセグ）においては、Ｈ．２６４が採用されている。

ＩＳＢＴ−Ｔでは、Ｈ．２６４の符号化ストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）などの各種のメディアストリームは、ＭＰＥＧ−２ ｓｙｓｔｅｍｓのＴＳストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）に多重化される。ＴＳストリームは、固定長のＴＳパケットから構成され、ヘッダにはパケット内のエラー有無情報などが含まれる。

Ｈ．２６４のＥＳをＴＳストリームに多重化する際、１つ以上のＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）単位でＰＥＳパケットを構築し、ＰＥＳパケットをＴＳパケットのペイロード部に格納していく。ＰＥＳヘッダは、ＰＥＳパケットに含まれる先頭ＡＵのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）を持つため、先頭ＡＵ以後の表示時間はＰＴＳとＥＳ内のＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｍａｔｉｏｎ）に含まれる時間情報を利用して算出される。

移動体向け地上波デジタル放送においてＥＳにＳＥＩの時間情報が含まれない固定フレームレートが運用された場合等には、動画像復号装置は、ＰＴＳ情報を有するフレームをＰＴＳ情報の再生出力時刻に表示し、ＰＴＳ情報及びＳＥＩの時間情報をもたないフレームについては、ＰＴＳ情報を有するフレームを基準として、表示時間間隔ΔＴの間隔を置いて、表示処理を行う。

Ｈ．２６４のストリームにおいてＰＴＳ情報を持たないフレームが存在した場合、いずれかのフレームが抜けてしまった時に動画像復号装置はフレームの正しい表示時間を認識できず、表示時間がずれてしまう上に、動画像の再生が進むにつれてこの表示時間のずれが大きくなってしまうという問題があった。

また、ＴＳパケットにエラーが混入した場合にはＴＳパケットにエラー情報が付されるが、通常、デコーダではこのエラー情報を認識できないので、動画像復号装置はこのフレームの正しいフレーム番号が認識できず、よって正確な表示時間を算出できないという問題があった。

本発明は、上記課題に鑑みてなされてものであり、地上波デジタル放送においてＰＴＳ情報及びＥＳ内の時間情報を持たないフレームが存在するストリームを復号する際に、フレームが抜けてしまったりストリームにエラーが混入したりした場合であってもフレームの正確な表示時間を算出することができる動画像復号装置を提供することを目的とする。

上記課題を解決するために、本発明に係る動画像復号装置は、再生出力時刻を示すＰＴＳ情報及びフレーム番号情報を有する基準フレームと、フレーム番号情報を有する従属フレームとが複数羅列されてなる符号化画像信号を復号する動画像復号装置において、前記符号化画像信号を復号して再生動画像信号を生成する復号手段と、復号対象のフレームのフレーム番号情報及び最近の基準フレームのＰＴＳ情報を用いて従属フレームの表示時間を算出する表示時間算出手段とを備えたことを特徴とする。

本発明に係る動画像復号装置によると、地上波デジタル放送等においてＰＴＳ情報を持たないフレームが存在するストリームを復号する際に、フレームが抜けてしまったりストリームにエラーが混入したりした場合であっても、フレームの正確な表示時間を算出することができ、動画像品質を向上させることが可能となる。

本発明の実施形態について、添付図面に基づいて詳細に説明する。

第１実施形態では、本発明に係る動画像復号装置として、地上波デジタル放送等に用いられるＨ．２６４の符号化画像信号ａを受信して復号する動画像復号装置１について詳細に説明する。

図１は、動画像復号装置１の動画像処理部１２の機能構成図である。

なお、図１に示す動画像復号装置１は、携帯電話機やＰＤＡ（Personal Digital Assistants）などの情報機器に実装され、この情報機器が取り込んだ符号化動画像の復号処理を行うものである。

動画像処理部１２は、図１に示すように、多重化分離部１１で取り出された符号化画像信号ａを取得する符号化画像信号取得手段２５と、この符号化画像信号ａを復号して再生動画像信号ｉを生成する復号手段２１と、符号化画像信号取得手段２５から復号手段２１を介して受け取った情報に基づいてフレームｂの表示時間を算出する表示時間算出手段２２と、符号化画像信号ａに含まれる基準フレームｃのＰＴＳ情報ｆやフレーム番号情報ｅを記憶する基準時間記憶手段２３と、復号手段２１により復号された再生動画像信号ｉが蓄積される復号画像バッファ２４とから構成される。

この符号化画像信号ａは、複数のフレームｂの画像情報を含んでいて、このフレームｂをコマ送り表示することにより、動画像として人間の目に認識される。

この符号化方法として、（１）フレーム間符号化、（２）フレーム内符号化の２種類の方法が用いられている。

（１）フレーム間符号化
フレーム間符号化は、前フレームｂと当該フレームｂとの差分情報を用いて符号化する方法である。

動画像は、一般的に時間方向の相関やフレームｂ間の相関が高いため、連続するフレームｂの差分を利用することにより情報量を大きく圧縮できる。

しかし、画像の内容が大きく切り替わる時には、この差分が大きくなり、フレーム間符号化方法では情報量の圧縮効果が期待できない。また、受信した符号化情報にエラーが混入していると、復号側で、フレームｂ間にエラーが伝搬してしまう。

（２）フレーム内符号化
フレーム内符号化は、フレームｂ内で完結した符号化方法である。

連続するシーケンスにおいてフレーム間符号化ほどの圧縮効果はないが、フレームｂの画像内容が大きく切り替わるシーンチェンジの際や、あるいはリフレッシュの際に用いられる。

なお、リフレッシュとは、フレーム間符号化の欠点であるフレームｂ間のエラー伝搬を防ぐために、周期的にフレーム内符号化のフレームｂが挿入されるものであり、このフレームｂがフレーム間符号化の起点となる。リフレッシュのためのフレームｂはフレーム間符号化の際の差分参照用に一時的に保存され、それ以前のフレーム間符号化のフレームｂはクリアされる。

また、放送サービス等の際に、受信側が任意のタイミングでストリームの受信を開始する場合は、フレーム間符号化のフレームｂから開始すると差分の起点となるフレームｂが存在しないため復号できない。そこで、フレーム内符号化のフレームｂを起点として、それ以降のフレーム間符号化のフレームｂが復号される。

動画像復号装置１は、動画像の符号化情報を復号する際に、フレーム間符号化とフレーム内符号化の識別データを認識し、それぞれに対応する復号処理を行う。Ｈ．２６４では、複数枚の参照フレームｃがフレーム間符号化されたフレームｂの復号を行う際に利用されるために、これらの参照フレームｃは復号画像バッファ２４内に蓄積される。そして、これらの参照フレームｃを参照して、フレーム間符号化されたフレームｂが復号処理される。

また、Ｈ．２６４のストリームにエラーが混入した時の修復処理として、通常、フレーム間符号化されたフレームｂにエラーが混入した場合は、この参照フレームｃを参照して、フレームｂ間の相関を利用したコンシールメント処理（修復処理）が行われる。

第１実施形態では、フレーム内符号化されたフレームｂを基準フレームｃ、フレーム間符号化されたフレームｂを従属フレームｄとして説明する。

符号化画像情報ａは、フレームｂが符号化されることによって得られた基準フレームｃと従属フレームｄが時系列的に羅列されることにより構成されている。基準フレームｃは、少なくとも、フレーム番号情報ｅ、再生出力時刻を示すＰＴＳ情報ｆ、フレーム間の表示時間間隔を示す固定時間間隔情報ｇを含んでいる。また、従属フレームｄは、少なくともフレーム番号ｅを含んでいる。

図２は、動画像復号装置１が動画像の符号化画像情報ａを受信して復号する手順を示すフローチャートである。

図２に示すように、動画像復号装置１の送受信回路部１８が多重ストリームを受信すると、多重化分離部１１がこの多重ストリームをオーディオストリーム（音声信号）とビデオストリーム（符号化画像信号ａ）とに分離する（Ｓ１０１）。

この時、符号化画像信号ａは、画像情報に加えて、再生出力時刻管理情報（ＰＴＳ情報ｆ）、フレーム番号情報等のパラメータ情報、及びエラー情報を含んでいる。

符号化画像信号取得手段２５は、多重化分離部１１により分離された符号化画像信号ａを取得する（Ｓ１０２）。復号手段２１は、この符号化画像信号ａを復号して再生動画像信号ｉを生成し（Ｓ１０３）、この再生動画像信号ｉを復号画像バッファ２４に蓄積する（Ｓ１０４）。また、復号手段２１は、符号化画像信号取得手段２５から受け取った符号化画像信号ａの中から、従属フレームｄのフレーム番号情報ｅ、基準フレームｃのフレーム番号情報ｅ、ＰＴＳ情報ｆ、及び固定時間間隔情報ｇ等を、表示時間算出手段２２に送信する（Ｓ１０５）。

表示時間算出手段２２は、このフレームｂが基準フレームｃか否かを判断し（Ｓ１０６）、基準フレームｃであった場合（Ｓ１０６のＹｅｓ）は、復号手段２１から受け取ったＰＴＳ情報ｆ及びフレーム番号情報ｅを基準時間記憶手段２３に送信する（Ｓ１０７）。また、表示時間算出手段２２は、常に最近の基準フレームｃの固定時間間隔情報ｇを記憶している。

基準時間記憶手段２３は、このＰＴＳ情報ｆ及びフレーム番号情報ｅを記憶する（Ｓ１０８）。なお、基準時間記憶手段２３は、常に最近の基準フレームｃのＰＴＳ情報ｆ及びフレーム番号情報ｅを記憶していて、表示時間算出手段２２からの要求に応じて、このＰＴＳ情報ｆ及びフレーム番号情報ｅを表示時間算出時間に送信する。

また、表示時間算出手段２２は、このフレームｂの表示時間を算出し（Ｓ１０９）、この表示時間情報ｊを復号画像バッファ２４に蓄積する（Ｓ１１０）。

復号画像バッファ２４は、表示時間算出手段２２から受け取った表示時間情報ｊに基づいて、復号手段２１から受け取った再生動画像信号ｉをＬＣＤ制御部に送信する（Ｓ１１１）。

次に、動画像復号装置１の動画像処理部１２の表示時間算出手段２２がフレームｂの表示時間を算出する手順を、実施例１として、図３に基づいて説明する。

符号化画像信号取得手段２５が取得した符号化画像信号ａにおいて、フレーム番号０、１のフレームｂのデータを正常に取得したが、フレーム番号２のフレームｂのデータが抜けてしまい、次にフレーム番号３のフレームｂのデータを取得してしまった場合を例として説明する。

なお、フレーム番号０のフレームｂが基準フレームｃであり、これに連続するフレーム番号１，２，３，４，…のフレームｂが従属フレームｄである。

また、基準フレームｃのみが、ＰＴＳ情報ｆ、フレームｂを表示する固定された時間間隔である固定時間間隔ΔＴを示す固定時間間隔情報ｇを有している。

ここで、図３に示すように、従属フレームｄの表示時間を算出する式は、
［数１］
表示時間（フレーム番号）＝基準表示時間
＋フレーム番号の変化量×固定時間間隔ΔＴ …（１）
で表される。なお、式中の「基準表示時間」は、主に最近の基準フレームｃのＰＴＳ情報ｆから取得した再生出力時刻であり、従属フレームｄの表示時間を算出する際の基準とされる。

フレーム番号の変化量は、最近の基準フレームｃのフレーム番号（基準フレーム番号）と当該フレーム番号との差である。

始めに表示時間算出手段２２は、フレーム番号０の基準フレームｃのＰＴＳ情報ｆが有する再生出力時刻を表示時間、及び基準表示時間とする。
［数２］
表示時間（０）＝ＰＴＳ …（２）
［数３］
基準表示時間＝ＰＴＳ …（３）
そして、表示時間算出手段２２は、フレーム番号１の従属フレームｄについて、（１）式に基づいて、
［数４］
表示時間（１）＝基準表示時間＋フレーム番号の変化量×ΔＴ
＝基準表示時間＋（１−０）×ΔＴ
＝基準表示時間＋ΔＴ …（４）
と算出する。次に表示時間算出手段２２は、フレーム番号２のフレームｂを受信できなかったので、フレーム番号２を飛ばして、フレーム番号３のフレームｂの表示時間の算出を行う。フレーム番号３のフレームｂの表示時間は、
［数５］
表示時間（３）＝基準表示時間＋フレーム番号の変化量×ΔＴ
＝基準表示時間＋（３ー０）×ΔＴ
＝基準表示時間＋３ΔＴ …（５）
と算出される。このようにフレーム番号を使用して表示時間を算出することにより、フレームｂが抜けてしまっている場合でもフレームｂの正しい表示時間の算出が可能となる。

一方、従来のように、受信した符号化画像信号ａにおいて単純に固定時間間隔ΔＴの間隔をあけて連続するフレームｂを表示する手法では、フレームｂが抜けてしまった場合に、後に続くフレームｂの表示時間が全てずれてしまい、画像の品質が大きく低下するため、本発明の優位性は明らかである。

実施例１によると、動画像処理部１２の表示時間算出手段２２は、受信した符号化画像信号ａにおいて一つあるいは複数のフレームｂが抜けてしまっている場合であっても、各々のフレームｂの正確な表示時間を算出でき、動画像品質を向上させることが可能となる。

次に、動画像復号装置１の実施例２を、図４〜図６に基づいて説明する。

符号化画像信号取得手段２５が取得した符号化画像信号ａにおいて、フレーム番号０、１のフレームｂのデータを正常に取得したが、フレーム番号２のフレームｂのデータが抜けてしまい、次にフレーム番号３のフレームｂのデータを取得してしまった場合において、さらに、フレーム番号４のフレームｂにフレーム番号６が付されるというエラーが混入してしまった場合を例として説明する。

この際、エラーが混入したフレームｂには、図４に示すように、エラー情報ｈが付されている。

この例に実施例１の手法を用いた場合には、図４に示すように、フレーム番号０、１、３のフレームｂに関しては正しい表示時間が算出されるが、フレーム番号４のフレームｂのフレーム番号がエラーにより「６」と付されているため、フレーム番号４のフレームｂの表示時間は、
［数６］
表示時間（４）＝基準表示時間＋フレーム番号の変化量×ΔＴ
＝基準表示時間＋（６−０）×ΔＴ
＝基準表示時間＋６ΔＴ …（６）
と誤って算出されてしまう。

そこで、実施例２として、符号化画像信号ａにおいて一枚のフレームｂが抜けてしまい、さらに別のフレームｂにエラーが混入してしまった場合に、表示時間算出手段２２がフレームｂの表示時間を算出処理する方法について、図５のフローチャート及び図６の説明図に基づいて説明する。

まず、表示時間算出手段２２は、図５及び図６に示すように、フレームｂの画像情報がＰＴＳ情報ｆを含んでいるか否かを判断する（Ｓ２０１，Ｓ１０６に対応）。フレームｂの画像情報がＰＴＳ情報ｆを含んでいる場合（Ｓ２０１のＹｅｓ）は、そのフレームｂがフレーム番号０の基準フレームｃと認識されて、表示時間は、
［数７］
表示時間（０）＝ＰＴＳ …（７）
と算出される（Ｓ２０２）。また、表示時間算出手段２２は、基準フレーム番号をこのフレーム番号（すなわち図６の「０」）とするとともに、基準表示時間をこの表示時間（ＰＴＳ情報ｆの再生出力時刻）に設定する（Ｓ２０３）。

そして、直前のフレームｂの表示時間を示す前表示時間をこの表示時間に設定する（Ｓ２０４）。なお、この前表示時間は、表示時間算出手段２２に常に保持されている。

また、フレームｂの画像情報がＰＴＳ情報ｆを含んでいない場合（Ｓ２０１のＮｏ）は、表示時間算出手段２２は、フレームｂの画像情報がエラー情報ｈを含んでいるか否かを判断する（Ｓ２０５）。

もしフレームｂの画像情報がエラー情報ｈを含んでいない場合（Ｓ２０５のＮｏ）は、表示時間算出手段２２は、このフレームｂのフレーム番号が基準フレーム番号より大きいか否かを判断する（Ｓ２０６）。

このフレームｂのフレーム番号が基準フレーム番号より大きい場合（Ｓ２０６のＹｅｓ）は、表示時間算出手段２２は、このフレームｂが従属フレームｄであり、画像情報に付加されたフレーム番号（図６の「１」）が正しいと判断する。よって、表示時間算出手段２２は、このフレームｂの表示時間を、
［数８］
表示時間（１）＝基準表示時間＋フレーム番号の変化量×ΔＴ
＝基準表示時間＋（１−０）×ΔＴ
＝基準表示時間＋ΔＴ …（８）
と算出する（Ｓ２０７）。そして、前表示時間をこの表示時間に設定する（Ｓ２０４）。

また、フレームｂの画像情報がエラー情報ｈを含んでいる場合（Ｓ２０５のＹｅｓ）、及びフレームｂのフレーム番号が基準フレーム番号より小さいあるいは等しい場合（Ｓ１０６のＮｏ）は、表示時間算出手段２２は、フレームｂのフレーム番号（図７の「６」）が誤っていると判断する。

よって、表示時間算出手段２２は、このフレームｂのフレーム番号を使用せずに、このフレームｂの表示時間を、
［数９］
表示時間（４）＝前表示時間＋ΔＴ …（９）
と前表示時間を用いて算出する（Ｓ２０８）。そして、表示時間算出手段２２は、前表示時間をこの表示時間に設定する（Ｓ２０４）。

実施例２によると、動画像処理部１２の表示時間算出手段２２は、受信した符号化画像信号ａにおいて一つあるいは複数のフレームｂが抜けてしまっている場合であっても、さらに、フレームｂの画像情報にエラーが含まれている場合であっても、各々のフレームｂの正確な表示時間を算出でき、動画像の品質を向上させることが可能となる。

第１実施形態の動画像復号装置の動画像処理部の機能構成図。 第１実施形態の動画像復号装置の動画像処理部が符号化画像情報を復号する手順を示すフローチャート。 第１実施形態の動画像復号装置の実施例１を説明するための図。 第１実施形態の動画像復号装置の実施例２を説明するための図。 第１実施形態の動画像復号装置の動画像処理部がピクチャの表示時間を算出する手順を示すフローチャート。 第１実施形態の動画像復号装置の実施例２を説明するための他の図。

符号の説明

１１ 多重化分離部
１２ 動画像処理部
１３ ＬＣＤ制御部
２１ 復号手段
２２ 表示時間算出手段
２３ 基準時間記憶手段
２４ 復号画像バッファ
２５ 符号化画像信号取得手段

Claims (4)

1. 再生出力時刻を示すＰＴＳ情報及びフレーム番号情報を有する基準フレームと、フレーム番号情報を有する従属フレームとが複数羅列されてなる符号化画像信号を復号する動画像復号装置において、
   前記符号化画像信号を復号して再生動画像信号を生成する復号手段と、
   復号対象のフレームのフレーム番号情報及び最近の基準フレームのＰＴＳ情報を用いて従属フレームの表示時間を算出する表示時間算出手段とを備えたことを特徴とする動画像復号装置。
2. 再生出力時刻を示すＰＴＳ情報、フレーム番号情報、及びフレーム間の表示時間の間隔を示す固定時間間隔情報を有する基準フレームと、フレーム番号情報を有する従属フレームとが複数羅列されてなる符号化画像信号を復号する動画像復号装置において、
   前記符号化画像信号を復号して再生動画像信号を生成する復号手段と、
   最近の基準フレームのＰＴＳ情報、固定時間間隔情報、そして、復号対象のフレームのフレーム番号情報及び最近の基準フレームのフレーム番号の差を用いて、従属フレームの表示時間を算出する表示時間算出手段とを備えたことを特徴とする動画像復号装置。
3. 前記表示時間算出手段は、直前のフレームの表示時間を示す前表示時間情報を常に記憶しているとともに、次のフレームにエラー情報が付されていた場合には、この前表示時間情報と、最近の基準フレームの固定時間間隔情報とを用いて表示時間を算出する請求項２記載の動画像復号装置。
4. 前記表示時間算出手段により算出されたフレームの表示時間情報、及び、前記復号手段により復号された再生動画像信号を蓄積するとともに、この表示時間に合わせて前記再生動画像信号を出力する復号画像バッファを備えた請求項１または２記載の動画像復号装置。

Images