JP4731343B2 - 復号装置 - Google Patents

Description

この発明は、例えばMPEG（Moving Picture Experts Group）-4 AVC/H.264などの動画像圧縮技術を用いた復号装置に関する。

従来の動画像符号化装置において、ISO/IEC14496-2（MPEG-4）などの符号化では画像を１枚のピクチャ単位で符号化処理し、生成されるビットストリームはピクチャの先頭に同期符号がつけられていた。例えばMPEG-4では、ピクチャの開始は必ずVOP Start Codeといわれる同期符号（0x000001B6）で始まるVOPヘッダと呼ばれるレイヤがあり、これに続いて各マクロブロックのデータが符号化されている。したがって復号装置側では、誤りが混入する環境などで同期が外れデコード不可能となった場合でも、上記VOP Start Codeを検出することでピクチャ情報の開始と判断して、次のピクチャからは必ず同期がとれるしくみとなっている。

ところが、近年規定されたISO/IEC14496-10（MPEG-4 AVC/H.264）のような符号化方法の場合、ピクチャデータ、パラメータセット等がすべて同じNAL（Network Abstraction Layer)というレイヤに組み込まれて伝送される。このため、すべてのデータが同じスタートコードとなるので、その内容を詳しく解析することでピクチャデータなのかパラメータなのかが解釈できる構成になっている（例えば、非特許文献１参照）。

さらには、ピクチャ境界を明示的に示すヘッダなどはなく、現在のNALと前のNALに含まれるパラメータとの関係などからピクチャ境界かどうかを判断するしくみとなっている。例えばピクチャの符号化データ自体はスライスといわれる単位に分割され、スライスNALとして伝送されるが、スライスNALが複数連続して受信された場合、同一ピクチャのスライスなのかピクチャ境界を含んでいるのかは、スライスNALのヘッダにあるframe_numという番号が異なるかどうかで判断される。あるいはピクチャ境界にしか挿入されない特殊なNAL（access_Unit_delimiter_NAL）も規定されており、アプリケーションによってはこれを用いることでピクチャ境界を明示的に示すこともできるが、これは必須ではないため、結果的にはframe_numの値で判断することになる。

しかしながら、このようなストリームに誤りが混入した場合、スライスヘッダにあるframe_numは固定長の符号であるため、誤りの判別が非常に難しく、frame_numの値が変わってしまった場合にピクチャが変わったことによりframe_numが変わったのか、誤りによりframe_numが変わったのかが判断できない。これによりピクチャ境界を正しく判定できないという問題が生じる。この問題は、access_Unit_delimiter_NALに基づいて、ピクチャ境界を行う場合についても同様に生じる
大久保榮監修「H.264/AVC教科書」（株）インプレスコミュニケーションズ、２００４年７月３０日。

従来の復号装置では、ピクチャ境界を判定するために用いられるスライスヘッダやaccess_Unit_delimiter_NALに誤りが混入した場合、ピクチャ境界を正しく判定できないという問題があった。
この発明は上記の問題を解決すべくなされたもので、スライスヘッダやaccess_Unit_delimiter_NALに誤りが混入した場合でも、ピクチャ境界を正しく判定することが可能な復号装置を提供することを目的とする。

上記の目的を達成するために、この発明は、各ピクチャデータがそれぞれ複数のスライスデータに分割され、これらのスライスデータがパケット化されたビデオストリームと、オーディオストリームが多重化された多重ストリームが入力され、ビデオストリームを復号する復号装置において、多重化ストリームから、ビデオストリームとオーディオストリームを分離する分離手段と、ビデオストリームを構成するパケットのヘッダに含まれる情報に基づいて、スライスデータを元の同じピクチャデータ毎に分類するための境界情報を検出する境界情報検出手段とを備えるＡＶ分離部と、ＡＶ分離部の境界情報検出手段から通知される境界情報に基づいて、スライスデータを同じピクチャデータ毎に分類して、スライスデータを復号するビデオ復号部とを具備し、ビデオ復号部は、スライスデータのヘッダから、スライスデータを同じピクチャデータ毎に分類するための識別情報を検出する識別情報検出手段をさらに備え、境界情報と識別情報に基づいて、スライスデータを同じピクチャデータ毎に分類して、スライスデータを復号するようにした。

この発明によれば、スライスヘッダやaccess_Unit_delimiter_NALに誤りが混入した場合でも、ピクチャ境界を正しく判定することが可能な復号装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の第１の実施形態に係わる復号装置の構成を示すものである。この復号装置は、Ａ／Ｖ分離部１０と、ビデオ復号部２０とを備える。

Ａ／Ｖ分離部１０は、オーディオストリームとビデオストリームが多重された多重ストリームが入力され、これをオーディオストリームとビデオストリームに分離し、オーディオストリームについてはオーディオ復号部（図示しない）に出力し、ビデオストリームについてはビデオ復号部２０に出力する。なお、ここでは上記多重ストリームとして、ISO/IEC 14496-1（MPEG-2システム）に基づいてＴＳ（Transport Stream）パケット化されたＴＳ多重ストリームが用いられる場合を例に挙げて説明する。

またＡ／Ｖ分離部１０は、境界検出部１０ａを備える。境界検出部１０ａは、上記分離によって得たビデオストリームに基づいて、スライスデータを元の同じピクチャデータ毎に分類するためのピクチャ境界を検出する。具体的には、図２に示す処理を各ＴＳパケットについて実施する。以下、図２を参照して説明する。

上述したようにビデオストリームは、ＴＳ多重ストリームで構成されるため、まず境界検出部１０ａは、ＴＳヘッダを復号し、ビデオストリームを構成するＴＳパケットであった場合に、ＴＳヘッダ中のpayload_unit_start_indicatorが「１」であるか否かを判定する（ステップ２ａ）。

payload_unit_start_indicatorが「１」のＴＳパケットには、ＰＥＳ（Packet Elementary Stream）ヘッダが含まれる。このため、境界検出部１０ａは更にストリームを解析し、上記ＰＥＳヘッダをデコードしてＰＥＳの構成内容を抽出する（ステップ２ｂ）。

そして境界検出部１０ａは、ＰＥＳヘッダを含むＴＳパケットを検出した場合に、そのＰＥＳヘッダのdata_alignment_indicatorが「１」であるか否かを判定する（ステップ２ｃ）。

ＰＥＳヘッダのdata_alignment_indicatorが「１」である場合、ピクチャ境界であることを示す。このため、境界検出部１０ａは、data_alignment_indicatorが「１」の場合に、上記ピクチャ境界を検出したことを示す情報を境界情報としてビデオ復号部２０に出力する（ステップ２ｄ）。

ピクチャ境界を検出したことを示す情報は、例えば信号線を接続しレジスタにセットする場合がある他、ビデオストリームの当該ＮＡＬをビデオ復号部２０に送り出す前に規格上使用されることがないＩＤを持つＮＡＬを挿入したり、ビデオストリーム中には存在しないパターンビット列を挿入し、ＮＡＬ種別復号部２１で上記ＮＡＬや特殊パターンを見つけた場合にピクチャ境界と判断し、同時に当該情報を捨て去ることで通知が可能である。

ビデオ復号部２０は、Ａ／Ｖ分離部１０から与えられるビデオストリームと境界情報とに基づいて上記ビデオストリームを復号し、ピクチャ毎のデータを得る。ビデオ復号部２０は、ＮＡＬ種別復号部２１、付加情報復号部２２、スライスヘッダ復号部２３と、ピクチャ境界判定部２４、ピクチャ境界処理部２５、およびスライスデータ復号部２６とを備える。
ＮＡＬ種別復号部２１は、Ａ／Ｖ分離部から与えられるビデオストリームが、付加情報を示すＮＡＬであるかビデオデータが含まれるスライスで構成されるＮＡＬであるかを判定し、付加情報は付加情報復号部２２へ、またスライスデータはスライスヘッダ復号部２３へそれぞれ出力される。

付加情報復号部２２は、ビデオデータ以外の付加情報を復号する。例えば、ビデオの画像サイズ、ビットレート、時間情報、あるいはaccess_unit_delimiter_NALのような特殊情報等である。

スライスヘッダ復号部２３は、Ａ／Ｖ分離部１０から与えられるビデオストリームのうち、各スライスデータのヘッダ情報（スライスヘッダ）を復号する。このスライスヘッダにはframe_num等、ピクチャ境界を判定するために必要なパラメータが含まれており、これらの情報をピクチャ境界判定部２４に送ることでこのスライスが新しいピクチャの情報であるか否かの判定が行われるが、加えてピクチャ境界判定部２４では上記境界検出部１０ａから境界情報が与えられる場合は、ビデオ復号部２０に入力されたストリームがピクチャ境界に相当するものと判断される。そしてこれらの判断結果は、ピクチャ境界処理部２５に出力される。

ピクチャ境界処理部２５は、ピクチャ境界判定部２４がピクチャ境界と判定した場合に、ピクチャ境界に伴う処理を行う。
具体的には、付加情報復号部２２で得られた画面サイズ分の画像データが復号処理を終えたと判断し、復号画像を蓄積表示するためのデコード済ピクチャバッファ（ＤＰＢ）の内容を更新し、必要があればディスプレイ処理を行う。また、ピクチャ単位のパラメータ（例えば、マクロブロック番号など）のリセットを行う。

スライスデータ復号部２６は、ビデオ復号部２０に入力されたビデオストリームのうち、各スライスデータをピクチャ境界処理部２５からの指示に従って復号してピクチャ毎の復号データを得る。

以上のように、上記構成の復号装置では、スライスヘッダ復号部２３によって復号されたヘッダ情報のうち、frame_num等の情報に基づいて、ピクチャ境界の判定を行うことに加えて、Ａ／Ｖ分離部１０の境界検出部１０ａにおいても、ＰＥＳヘッダのdata_alignment_indicatorに基づいてピクチャ境界の判定を行うようにしている。

また上記構成の復号装置では、スライスヘッダのframe_num等の情報に基づくピクチャ境界の判定結果よりも、境界検出部１０ａによるピクチャ境界の判定結果を優先するようにしている。

したがって、上記構成の復号装置によれば、スライスヘッダのframe_numに誤りが混入してピクチャ境界の検出が行えなくても、Ａ／Ｖ分離部１０の境界検出部１０ａによりピクチャ境界の検出を行うことができるので、ピクチャ境界を正しく判定できる。

次に、この発明の第２の実施形態に係わる復号装置について説明する。図３は、その構成を示すもので、Ａ／Ｖ分離部３０と、ビデオ復号部４０とを備える。なお、ここでは、Ａ／Ｖ分離部３０に入力される多重ストリームとして、ISO/IEC 14496-1（MPEG-4システム）に基づいてＴＳ（Transport Stream）パケット化されたデータが用いられる場合を例に挙げて説明する。

また、上記多重ストリームは、オーディオストリームとビデオストリームが多重されたものであるが、このうちビデオデータは、ISO/IEC 14496-10（MPEG-4AVC/H.264）で符号化されており、図４に示すようなピクチャ境界を明示的に示すaccess_Unit_delimiter_NALというNAL（Network Abstraction Layer）が必ずピクチャの先頭に含まれているものとする。

Ａ／Ｖ分離部３０は、上記多重ストリームが入力され、これをオーディオストリームとビデオストリームに分離し、オーディオストリームについてはオーディオ復号部（図示しない）に出力し、ビデオストリームについてはビデオ復号部４０に出力する。

またＡ／Ｖ分離部３０は、境界検出部３０ａとＮＡＬ制御部３０ｂとを備える。境界検出部３０ａは、上記分離によって得たビデオストリームに基づいて、スライスデータを元の同じピクチャデータ毎に分類するためのピクチャ境界を検出する。またＮＡＬ制御部３０ｂは、境界検出部３０ａによるピクチャ境界の検出結果に応じて、access_Unit_delimiter_NALを制御する。具体的には、境界検出部３０ａとＮＡＬ制御部３０ｂが、図５に示す処理を各ＴＳパケットについて実施する。以下、図５を参照して説明する。

上述したようにビデオストリームは、ＴＳ多重ストリームで構成されるため、まず境界検出部３０ａはＴＳヘッダを復号し、ビデオストリームを構成する各ＴＳパケットであった場合、ＴＳヘッダ中のts_error_indicatorが「１」であるか否かを判定する（ステップ５ａ）。

ts_error_indicatorが「１」のＴＳパケットには必ず誤りが含まれており、「０」の場合はＴＳパケット内の全データが信頼できる。
ts_error_indicatorが「０」の場合は、ＴＳヘッダ中のpayload_unit_start_indicatorが「１」か否かを判定する（ステップ５ｂ）。

payload_unit_start_indicatorが「１」のＴＳパケットには、ＰＥＳ（Packetized Elementary Stream）ヘッダが含まれる。このため、境界検出部３０ａは上記ＰＥＳヘッダをデコードする（ステップ５ｃ）。そして境界検出部３０ａは、ＰＥＳヘッダを含むＴＳパケットを検出した場合、検出したＰＥＳヘッダに含まれるdata_alignment_indicatorが「１」であるか否かを判定する（ステップ５ｄ）。

ＰＥＳヘッダのdata_alignment_indicatorが「１」の場合、ピクチャ境界であることを示す。この場合、境界検出部３０ａは上記ピクチャ境界を検出したことを示す情報をビデオ復号部４０のピクチャ境界判定部４４に対して出力する（ステップ５ｅ）。

なお、ピクチャ境界を検出したことを示す情報は、例えば信号線を接続しレジスタにセットする場合がある他、ビデオストリームのＮＡＬをビデオ復号部４０に出力する前に規格上使用されることのないＩＤを持つＮＡＬを挿入したり、ビデオストリーム中には存在しないパターンのビット列を挿入し、ＮＡＬ種別復号部４１で上記ＮＡＬや特殊パターンを見つけた場合にピクチャ境界と判断し、同時にこの情報を捨て去ることで通知が可能である。

なお、ts_error_indicatorが「０」の場合は、ビデオデータに誤りが含まれて居ないことから、ビデオデータ情報が信頼できることを示す情報も出力する（ステップ５ｆ）。

ビデオデータに誤りが含まれているか否かの情報は、例えばビデオストリームのＮＡＬヘッダ中にあるforbidden_zero_bitという１ビットのフラグを誤りがある場合を示す１に書換え、ＮＡＬ種別復号部４１でＮＡＬヘッダを復号する際にチェックすることでビデオ復号部４０に通知することが出来る。

一方、ステップ５ａでts_error_indicatorが「１」の場合、payload_unit_start_indicatorは信用できないため、ＰＥＳヘッダが含まれているか否かを直接ストリームを解析して判定する（ステップ５ｇ）。

例えば、最初の３２ビットを解析し、packet_start_cod_prefix（２４ビット）とstream_id（８ビット）が含まれているか否かで判定する。

ＰＥＳヘッダがあると判定された場合、ＰＥＳヘッダのデコードを行ってこのＰＥＳヘッダに含まれるdata_alignment_indicatorが「１」であるか否かを判定する（ステップ５ｈ）。

ＰＥＳヘッダのdata_alignment_indicatorが「１」の場合、ピクチャ境界であることを示している。この場合、境界検出部３０ａはピクチャ境界を検出したことを示す情報をＮＡＬ制御部３０ｂに出力する（ステップ５ｉ）。

ＮＡＬ制御部３０ｂは、ＰＥＳヘッダに続いてaccess_unit_delimiter_NALが誤りなくストリーム中に存在するか否かを判定する（ステップ５ｊ）。

例えば、先頭の６バイトを解析して図４に示すaccess_unit_delimiter_NALの情報か否かを判定すればよい。

ここで、access_unit_delimiter_NALに誤りが生じていない場合、ビデオ復号部４０ではれを元にピクチャ境界と正しく判定できるので、この処理を終了して次のＴＳパケットに対する処理に移行する。一方、access_unit_delimiter_NALが正しく解析できず、誤りがあると判定された場合、access_unit_delimiter_NALの中身を図４に示す内容に修正する（ステップ５ｋ）。

ビデオ復号部４０は、Ａ／Ｖ分離部３０から与えられるビデオストリームと境界情報とに基づいて上記ビデオストリームを復号し、ピクチャ毎のデータを得る。ビデオ復号部４０は、ＮＡＬ種別復号部４１、付加情報復号部４２、スライスヘッダ復号部４３、ピクチャ境界判定部４４、ピクチャ境界処理部４５、およびスライスデータ復号部４６とを備える。

ＮＡＬ種別復号部４１は、Ａ／Ｖ分離部３０から与えられるビデオストリームが、付加情報を示すＮＡＬであるか、ビデオデータが含まれるスライスで構成されるＮＡＬであるかを判定し、付加情報は付加情報復号部４２へ、そしてスライスデータはスライスヘッダ復号部４３へ送信する。

付加情報復号部４２では、ビデオデータ以外の付加情報を復号する。例えば、ビデオの画面サイズ、ビットレート、時間情報、あるいはaccess_unit_delimiter_NALのような特殊情報である。

スライスヘッダ復号部４３は、Ａ／Ｖ分離部３０から与えられるビデオストリームのうち、各スライスデータのヘッダ情報（スライスヘッダ）を復号する。
このスライスヘッダにはframe_num等のピクチャ境界を判定するために必要なパラメータが含まれており、これらの情報をピクチャ境界判定部４４へ与えることで、このスライスが新しいピクチャの情報であるか否かを判定される。

ピクチャ境界判定部４４では、上記境界検出部３０ａから境界情報が与えられた場合は、ビデオ復号部４０に入力されたストリームに誤りがなく、かつピクチャ境界が含まれていると判定する。更に、ピクチャ境界判定部４４は境界検出部３０ａから境界情報が与えられない場合であっても、付加情報復号部４２でaccess_unit_delimiter_NALを復号した場合でもピクチャ境界と判定する。ピクチャ境界判定部４４では、境界検出部３０ａから誤りがないとの情報が得られている場合は、frame_numの情報を信用しない。これらの判定結果は、ピクチャ境界処理部４５に出力される。

ピクチャ境界処理部４５は、ピクチャ境界判定部４４がピクチャ境界と判定した場合にピクチャ境界に伴う処理を行う。例えば、付加情報復号部４２で得られた画面サイズ分の画像データが復号処理を終えたと判定し、復号画像を蓄積、表示するためのデコード済ピクチャバッファ（DPB）の内容を更新し、必要があればディスプレイ処理を行う。また、ピクチャ単位のパラメータ（例えば、マクロブロック番号など）のリセットを行う。

スライスデータ復号部４６は、ビデオ復号部４０に入力されたビデオストリームのうち、各スライスデータをピクチャ境界処理部４５からの指示に従って復号し、ピクチャ毎の復号データを得る。

以上のように、上記構成の復号装置では、Ａ／Ｖ分離部３０の境界検出部３０ａにおいてＴＳパケットに誤りが混入しているかどうかに応じてＰＥＳヘッダのチェックとビデオストリーム中のaccess_unit_delimiter_NALが誤りなく挿入されているかの確認と修正処理を行うため、ビデオ復号部においてaccess_unit_delimiter_NALを基準としてピクチャ境界を判定するようにしている。

したがって、上記構成の復号装置によれば、ビデオ復号部４０がaccess_unit_delimiter_NALに基づく境界判定を行う場合でも、access_unit_delimiter_NALが誤りにより検出できなくなることを防止できるので、ピクチャ境界を正しく判定できる。

なお、上記第２の実施形態では、ステップ５ｈにてピクチャ境界を検出した場合に、access_unit_delimiter_NALを修正するための処理（ステップ５ｊ、５ｋ）を実行するようにした。これに加えて例えば、ＮＡＬ制御部３０ｂが、ステップ５ｈにてピクチャ境界を検出しない場合に、access_unit_delimiter_NALにピクチャ境界を示す情報が設定されていないことを確かめることで、誤りが生じているか否かを判定するステップと、誤りが生じている場合、すなわちピクチャ境界を示す情報が設定されている場合には、access_unit_delimiter_NALがピクチャ境界を示さないようにaccess_unit_delimiter_NALを修正するステップとを設けるようにしてもよい。

また、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

この発明に係わる復号装置の第１の実施形態の構成を示す回路ブロック図。 図１に示した復号装置のＡ／Ｖ分離部におけるピクチャ境界検出動作を説明するためのフローチャート。 この発明に係わる復号装置の第２の実施形態の構成を示す回路ブロック図。 ピクチャ境界を明示的に示すaccess_Unit_delimiter_NALのフォーマットを示す図。 図３に示した復号装置のＡ／Ｖ分離部におけるピクチャ境界検出動作を説明するためのフローチャート。

符号の説明

１０…Ａ／Ｖ分離部、１０ａ…境界検出部、２０…ビデオ復号部、２１…ＮＡＬ種別復号部、２２…付加情報復号部、２３…スライスヘッダ復号部、２４…ピクチャ境界判定部、２５…ピクチャ境界処理部、２６…スライスデータ復号部、３０…Ａ／Ｖ分離部、３０ａ…境界検出部、３０ｂ…ＮＡＬ制御部、４０…ビデオ復号部、４１…ＮＡＬ種別復号部、４２…付加情報復号部、４３…スライスヘッダ復号部、４３…付加情報復号部、４４…ピクチャ境界判定部、４５…ピクチャ境界処理部、４６…スライスデータ復号部。

Claims (2)

1. 各ピクチャデータがそれぞれ複数のスライスデータに分割され、これらのスライスデータがパケット化されたビデオストリームと、オーディオストリームが多重化された多重ストリームが入力され、前記ビデオストリームを復号する復号装置において、
   前記多重化ストリームから、前記ビデオストリームと前記オーディオストリームを分離する分離手段と、前記ビデオストリームを構成するパケットのヘッダに含まれる情報に基づいて、前記スライスデータを元の同じピクチャデータ毎に分類するための境界情報を検出する境界情報検出手段とを備えるＡＶ分離部と、
   前記ＡＶ分離部の境界情報検出手段から通知される境界情報に基づいて、前記スライスデータを同じピクチャデータ毎に分類して、前記スライスデータを復号するビデオ復号部とを具備し、
   前記ビデオ復号部は、前記スライスデータのヘッダから、前記スライスデータを同じピクチャデータ毎に分類するための識別情報を検出する識別情報検出手段をさらに備え、前記境界情報と前記識別情報に基づいて、前記スライスデータを同じピクチャデータ毎に分類して、前記スライスデータを復号することを特徴とする復号装置。
2. 前記ビデオ復号部は、前記境界情報と前記識別情報のうち、前記境界情報を優先的に用いて前記スライスデータを同じピクチャデータ毎に分類して、前記スライスデータを復号することを特徴とする請求項１に記載の復号装置。

Images