JP2007221411A - 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム - Google Patents

Abstract

【課題】イントラスライスの挿入位置をピクチャ毎に移動させる映像符号化方式において、イントラスライスの移動を目立ち難くし、かつ低遅延を実現する。
【解決手段】符号化装置側で、Ｐピクチャについてピクチャ間符号化を行い、その符号化順に符号化データを送出するのに加え、Ｐピクチャ毎に挿入位置を移動するリフレッシュ対象スライス部分についてイントラスライスとしても符号化する。このイントラスライス符号化データの送出を、Ｐピクチャ周期ごとの符号化において、Ｐピクチャ符号化データとＢピクチャ符号化データの送出の合間あるいはそれらの送出終了後に行う。この符号化データに対し、復号化装置側でＰピクチャはイントラスライスを組み込んだ復元Ｐピクチャを参照画像として復号再生し、Ｂピクチャはイントラスライス無しの復元Ｐピクチャを参照画像として復号再生する。
【選択図】図４

Description

本発明は、低遅延映像符号化および復号化装置に関し、特に低遅延、高画質、高圧縮率の３つを両立する映像符号化復号化システムを構築する技術に関する。

映像符号化における高画質、高圧縮率の両立は、すでに高いレベルに到達している。例えば、１０年以上前に標準化されたＭＰＥＧ-２の符号化方式ですら、ＨＤＴＶデジタル放送においては、非専門家にはほとんど知覚できないほどのわずかな画質劣化で、１／１００程度の高圧縮率を実現している。ＭＰＥＧ-２の標準化以降にも圧縮率の向上は進んでおり、Ｈ．２６３、ＭＰＥＧ-４を経て、最近、標準化されたＨ．２６４では、ＭＰＥＧ-２の２倍以上の圧縮率が得られるといわれている。

このように圧縮率の向上については著しく進歩しているものの、実時間性の要求される通信や放送で重要となる伝送ビットレート一定（ＣＢＲ）の条件での遅延時間の低減については、ＭＰＥＧ-２以降、本質的な方式の進歩はない。その結果、画質に対する要求の緩いテレビ電話では１００ｍｓ以下の低遅延が達成されているものの、ディジタルテレビ放送のように高画質と高圧縮率の両立が極限まで要求される用途では遅延時間を犠牲にせざるを得ず、実時間性の要求されるスポーツの実況中継などでも映像の符号化と復号化に要する遅延が１秒以上にも及んでいる。

もちろん、ＭＰＥＧ-２においても遅延低減については配慮されており、２つの低遅延モードのフレームドロップとイントラスライスが用意されている。前者のフレームドロップは、遅延の主因ともいえるピクチャ（フレームあるいはフィールド）内符号化ピクチャ（以後Ｉ［イントラ］ピクチャと呼ぶ）あるいはピクチャ内符号化マクロブロック（イントラマクロブロック）が大半を占めるピクチャで、符号発生量が所定値を超えたならば、符号化順で後続に位置するピクチャの何枚かを省略して（ドロップさせて）、ＣＢＲ（定ビットレート）の条件を満たそうとするものである。このモードを適用すると、連続して２枚以上のピクチャがドロップすることもあり、映像が一時的に固まって見える結果となり、違和感が大きく、画質に対する要求の厳しい用途には向いていない。

これに対し、イントラスライスは、遅延増の主因となるＩピクチャを周期的に挿入するのではなく、縦続するＰピクチャ（動き補償を前方予測のみで行うピクチャ間符号化ピクチャ）間で移動させる（通常は上から下の順序で巡回的に移動させる）Ｐピクチャ内の一部スライス（ピクチャ内の特定のマクロブロックのグループ、ＭＰＥＧ-２では、通常、１〜数行の横方向の帯状のマクロブロックの並びだが、１〜数列の縦方向の帯状のマクロブロックの並び［ＭＰＥＧ-２ではイントラコラムと呼ばれる］とする場合や、矩形のマクロブロックの並びとする場合もある）の構成マクロブロックを、すべてイントラマクロブロックとして符号化することにより、分散的にリフレッシュを実現する方式（イントラスライスリフレッシュ方式）である。この方式は、画質をほとんど劣化させることなくリフレッシュ起因の遅延を低減できる利点がある。

図１は、左側が、ＰＰＰＰ…のピクチャシーケンス構造（ＰＰＰ構造）、右側がＢＢＰＢＢＰ…のピクチャシーケンス構造（Ｐピクチャ周期がＢＢＰからなるピクチャシーケンス構造）（ＢＢＰ構造）の場合で、Ｐピクチャ毎に、イントラスライスが上から下に巡回的に移動するのを表示順のピクチャシーケンスで示している。なお、イントラスライスは、映像を構成する各々のピクチャをＩピクチャ、Ｐピクチャ、Ｂピクチャ（動き補償に前方予測、後方予測、双方向予測の３つを併用するピクチャ間符号化ピクチャ）として、逐次的に符号化あるいは復号化すること（ＭＰＥＧ-２のメインプロファイル相当）を前提に構築され、ＩＢＢＰＢＢＰＢＢＰ…構造（ＩＢＢＰ構造）あるいはＩＢＰＢＰＢＰ…構造（ＩＢＰ構造）に対応する従来の標準的な構成の符号化装置（図２）、復号化装置（図３）の中で容易に実現できる利点も併せ持っている。

しかし、このイントラスライスリフレッシュ方式もＰＰＰ構造の低遅延モードに組み合わされて、テレビ電話や監視用途など映像符号化の応用範囲の一部に適用されてきたに過ぎない。ＢＢＰあるいはＢＰ構造は、画質の点でＰＰＰ構造より有利ながら、陽に標準化対象として定められているわけではない（ＭＰＥＧ-２の標準化範囲内で実現は可能）。この原因は、ＢＢＰ構造あるいはＢＰＢＰＢＰ…構造（ＢＰ構造）の符号化方式において、以下の問題等があり、十分な遅延低減効果が得られないばかりか、放送や蓄積用途における厳しい画質要求に応えられなかったためと考えられる。

（１）イントラスライスを、途中のＢピクチャに挿入できない分、Ｐピクチャにまとめて挿入しなければならないため、Ｐピクチャに占めるイントラスライスの符号量が大きくなり、ＰＰＰ構造ほど、Ｐピクチャの符号量が小さくならない。このため、Ｐピクチャの符号量が小さくなることによる遅延低減効果は、ＰＰＰ構造に比べると小さい。
（２）ピクチャを入力順から符号化順に並べ変える際の遅延と、シーンチェンジ時にピクチャ全体をＩピクチャとして符号化せざるを得ないことによる遅延の両方の和が大きく、イントラスライスリフレッシュ方式の遅延低減効果が隠れてしまう。
（３）リフレッシュ効果を確実に得るのに必須となるイントラスライス挿入位置のピクチャ間の移動が直接的にあるいはちらつきとして目立ってしまう。
ただし、（３）の問題については、プリアナリシスの結果に基づいてイントラスライス部分と周辺の部分の量子化の粗さをそろえる方法（例えば、特許文献１参照）や、イントラスライス部分の圧縮率を上げて、一時的な符号発生量の増大を抑える方法（例えば、特許文献２参照）が提案されている。

しかし、前者で利用するプリアナリシスは低遅延の条件ではうまく行くとは限らないため、イントラスライス部分で一時的に符号発生量が大きくなり過ぎることがあり、その結果として、符号発生量制約を守るために直後のマクロブロックの圧縮率を極端に上げなければならなくなり、逆にイントラスライス部分を目立たせることが起こりえる。また、後者については、リフレッシュ部分が周辺よりぼけることとなり、それがかえって目立つことが起こりえる欠点があり、高画質の映像符号化には不向きである。

ＢＢＰあるいはＢＰ構造にイントラスライスを適用する代わりに、ＩＢＢＰあるいはＩＢＰ構造のリフレッシュピクチャ全体をＰピクチャとして符号化するだけでなく、その局所復元ＰピクチャをＩピクチャとしても再符号化し、その再符号化データを後送りすることで、遅延を低減する方法（特許文献３参照）が提案されている。しかし、この方法は、イントラスライスリフレッシュ方式のようにイントラスライスの移動がないため、それが目立つことはないものの、再符号化により、無視できない画質劣化が生じる問題がある。また、シーンチェンジで生じる遅延の低減にはあまり効果が期待できない。

特開平７−９５５６４号公報 特開２００５−１２４０４１号公報 特開２００４−１４７３０６号公報

イントラスライスリフレッシュ方式を用いて低遅延の映像符号化・復号化装置を実現する上で、前述した（１）から（３）の問題を解消すること、換言すれば、画質に優れるＢＰあるいはＢＢＰ構造の符号化方式で、ＰＰＰ構造と同等の低遅延性を実現することと、イントラスライスの移動を目立ち難くすることとが、本発明が解決しようとする課題である。
すなわち、本発明は、イントラスライスの挿入位置をピクチャ毎に移動させる現在主流の低遅延映像符号化・復号化方式において、イントラスライスの移動に起因するちらつきを目立ち難くすることと、Ｂピクチャを用いる場合に、Ｂピクチャを用いない場合と同等の低遅延を実現することを目的とする。

本発明は、以下の４つの手段により、符号化から復号化までの遅延を低減する。
（１）符号化装置で、リフレッシュ対象スライスについてイントラスライスとして符号化するとともに、Ｐピクチャの一部としてピクチャ間符号化も行い、Ｐピクチャ符号化データの方は符号化順に送出する。
（２）符号化装置で、リフレッシュ用のイントラスライス符号化データを、符号量の増加が遅延増の要因にならないように、Ｐピクチャ周期ごとの符号化において、Ｐピクチャ符号化データとＢピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送る。
（３）復号化装置で、符号化順に送られてくるＰピクチャ符号化データよりイントラスライス無しのＰピクチャを復号再生し、それによって復元されたＰピクチャ（復元Ｐピクチャ）を、遅延低減にクリティカルなＢピクチャの復号再生時に予測ブロックを切り出す参照画像として用いる（図４中段参照。この図４で、各矩形は、本発明の符号化装置で生成する符号化データより復号再生した復元ピクチャを示している。上段は、リフレッシュ対象スライスをイントラスライスの符号化データより復号再生した復元イントラスライスを示している。中段は、リフレッシュ対象部分も含めてピクチャ間符号化データから復号再生した復元ピクチャを示している。下段は、中段の復元Ｐピクチャのリフレッシュ対象スライス部分のみ上段の復元イントラスライスで置換したイントラスライスを含む復元Ｐピクチャを示している。この図で、ピクチャ間の矢印は参照元ピクチャから参照先ピクチャへ向かう参照の方向を示している。）。
（４）復号化装置で、遅れて届くイントラスライス符号化データを受け取ってからしか復号再生できないイントラスライスを含む復元Ｐピクチャを、リフレッシュ機能実現のためにイントラスライス無しＰピクチャ復元時の参照画像として用いるようにする（図４の下段のイントラスライスを含む復元Ｐピクチャから中段のイントラスライス無し復元Ｐピクチャに向かう矢印参照）。
これら４つの手段による作用は以下の通りである。

従来のイントラスライスリフレッシュ方式では、符号量の大きいイントラスライスを符号化順通りに送らなければならず遅延増の要因となっていたのが、本発明の符号化装置では、その符号化順通りに送らなければならないイントラスライス部分が符号量の小さいＰスライスの符号化データに置き換わるため、Ｂピクチャの挿入枚数が増えることでリフレッシュ対象スライスの面積が増加して、イントラスライスの符号化データの符号量が増加しても、遅延増の要因とならなくなる。
また、低遅延の条件でも、リフレッシュ対象スライスのイントラスライスとしての符号化に十分な符号量を与えることができるようになるので、従来のイントラスライスより高画質な符号化が可能になる。

さらに、シーンチェンジでリフレッシュ対象スライスを含むＰピクチャが符号化順で後続のＰピクチャにより参照されることがない場合に、無益となるリフレッシュ対象スライスのイントラスライス符号化データの復号化装置への送出を取り止め、その分の符号量をシーンチェンジ直後に挿入が必須となるイントラピクチャの符号化に割り当てられるようになる。これにより、従来、低遅延の条件では十分な符号量を与えられず劣化し易かったシーンチェンジ直後のイントラピクチャの画質を大幅に改善できる。
一方、本発明の復号化装置では、リフレッシュ対象スライス部分も含め符号化順に送られてくるＰピクチャ符号化データよりイントラスライス無しのＰピクチャを復元して、それを先に表示する必要のあるＢピクチャの参照画像として用いるので、符号量が大きいためにイントラスライス符号化データの到着が遅れても、そのためにＢピクチャの表示が遅れることがなくなる。

Ｂピクチャの復号再生の後に続く、符号化順で後続のＰピクチャを復号再生する時には、遅れて届くイントラスライス符号化データより復号再生する復元イントラスライスがリフレッシュ対象スライス部分に入るようにして参照するようにしているので、後続のＰピクチャを復号再生する際の参照画像は、イントラスライスを含む復元Ｐピクチャとなり、従来のイントラスライスリフレッシュ方式と変わらないリフレッシュが実現される。さらに、Ｂピクチャ復号再生用に先に復号再生するＰピクチャは、イントラスライスを含まず、リフレッシュの影響を受け難いので、表示用に用いること（図４中段参照）で、イントラスライスの移動が目立ってしまうという従来のイントラスライスリフレッシュ方式の欠点を緩和することができる。

本発明により、局所的なリフレッシュ位置のピクチャ間での巡回移動の跡が目立ち易いという従来のイントラスライスリフレッシュ方式の欠点が大幅に緩和されるだけでなく、Ｂピクチャを挿入する条件で、リフレッシュ起因の遅延を大幅に低減できる。実際、ＮＴＳＣのテレビ映像をフレーム構造で、かつＢＢＰＢＢＰ・・・ のシーケンス構造で符号化する条件で、従来のイントラスライスに比べ、画質劣化の目立ち易い静止画で４０ｍ秒程度も遅延が少なくなることをシミュレーションにより確認している。
また、イントラスライス符号化データの後送りにより、シーンチェンジ検出時点で、イントラスライス符号化データの大半を送り終えない状態とすることが可能であり、それらの未送出で以降のリフレッシュに役立たない分のイントラスライス符号化データを送出しないで破棄することができる。この破棄した分の符号量はシーンチェンジ直後に挿入が不可避のＩピクチャに回すことができ、その分だけ、シーンチェンジ時の遅延が低減できることになる。この分の遅延低減量は通常４０ｍ秒以上となるので、シーンチェンジ時の画質維持の制約から遅延が決まっている場合には、４０ｍ秒以上遅延が低減されることになる。

さらに、イントラスライス符号化データを後送りできることは、イントラスライス部分の符号化に関してｎパスの符号化が実現できることになるので、イントラスライス部分の画質を従来のイントラスライスリフレッシュ方式より大幅に改善することも可能となる。もちろん、本発明では、リフレッシュ対象スライスについて、ピクチャ間符号化も行うために、その分符号が余分に発生し、その結果として低遅延の符号化条件でも従来のイントラスライスリフレッシュ方式より画質が低下することが起こりえる。しかし、映像の特性の変化に応じて、本発明と従来のイントラスライスリフレッシュ方式とを適応的に切り換えて使用することとすれば、この画質劣化の問題は回避することができる。

このように、本発明の符号化装置と復号化装置は画質の劣化なく遅延時間を極限にまで低減できる上に、ＢＰＢＰ・・・ あるいはＢＢＰＢＢＰ・・・ のピクチャシーケンスに対する低遅延符号化であるので、蓄積ストリームを再生する際のトリックプレイ（低速度倍率のスムーズな早送り、早戻し）にまで対応可能であり、放送用途から、携帯電話を含む次世代の映像通信にまで幅広く応用することができる。
さらに、イントラスライスの符号化データの送出をＰピクチャ、Ｂピクチャの送出の合間あるいはその後にすることで実現される符号量変動の低減は、ベストエフォートのようにバンド幅が保証されない通信路を通して映像を送る場合のコマ落ち防止にも役立つので、インターネットのようなネットワーク向けにも、安定した映像通信を実現する符号化／復号化装置として極めて有用である。

本発明は、映像符号化装置、映像復号化装置、あるいは映像符号化／復号化装置として実施される。ただし、発明が効果を発揮するには、これらが互いに通信路あるいは放送網を介して組み合わされる必要がある。以下に本発明の一実施形態について、図面を参照しながら詳細に説明するが、本発明の技術的範囲は下記の実施形態によって限定されるものではない。また本発明の技術的範囲は均等の範囲にまで及ぶものである。

図５に、本発明の符号化装置の第１の実施例の構成図を示す。この図において、５は入力した映像信号から得られる同期信号をもとに他の各ユニットを制御する制御ユニットである。また、１０は動き補償を利用してＰ、Ｂタイプのピクチャ間符号化とその局所復号化を行うピクチャ間符号化ユニット（マクロブロック単位でピクチャ間符号化とイントラ符号化の符号発生量を評価し、イントラ符号化の方が符号発生量が少ないと判定したマクロブロックについてはピクチャ間符号化ではなくイントラ符号化を行う機能も有する）、１１０はＰピクチャ間で巡回する形式で挿入するリフレッシュ対象スライスに対し、イントラスライスとしての符号化とその局所復号化を行うイントラスライス符号化ユニット、２０はピクチャ間符号化データを一時的に保持するバッファメモリ、２１はリフレッシュ対象スライスのイントラスライス符号化データを一時的に保持するバッファメモリ、３０はピクチャ間符号化データとイントラスライス符号化データを多重化するためのヘッダ付加機能付きマルチプレクサ、２２は生成した符号化データを一時的に保持するバッファメモリである。２３は局所復号化して復元したイントラスライスを格納するためのイントラスライスメモリ、３１はピクチャ間符号化ユニット１０からのピクチャ間符号化データの復元ピクチャか、イントラスライスメモリ２３からの復元イントラスライスかを選択してフレームメモリに送るマルチプレクサ、８０はＰ、Ｂの復元ピクチャを格納するフレームメモリである。

以下、この第１の実施例の符号化装置の動作について説明する。この図５に示されるように、符号化対象のピクチャ列は、ラスタ走査順に展開された映像信号（輝度信号、色差信号、同期信号などからなる信号）として、ピクチャ間符号化ユニット１０に入力される。
ピクチャ間符号化ユニット１０は、フレームメモリ８０内のＰあるいはＢの復元ピクチャを読み出し（参照し）、その参照画像から切り出す予測ブロックを用いて動き補償を行うことで、入力ピクチャ列のすべてのピクチャに対し、ＢＰＢＰ…あるいはＢＢＰＢＢＰ…の順でピクチャ間符号化を行い、それによって得られる符号化データを、ヘッダなどの情報を付加した上で、バッファメモリ２０に出力する。この時、ピクチャ間符号化は、制御ユニット５が制御信号で指定する符号化単位（例えば、マクロブロック、スライス、ピクチャなどの単位）ごとの符号発生量の目標値を満たすように行う。また、復号再生処理も同時に行い、得られた復元画像（局所復号画像）をマルチプレクサ３１経由で、フレームメモリ８０に格納し、以降のＰ、Ｂピクチャの符号化時の参照画像として用いられるようにする。さらに、符号化単位ごとにその量子化ステップサイズと符号発生量を制御ユニット５にフィードバックする。

イントラスライス符号化ユニット１１０は、Ｐピクチャ毎に対象部位を移動させるリフレッシュ対象のスライスを取り出し、制御ユニット５が制御信号で指定する符号発生量の目標値を満たすようにイントラ符号化を行い、その結果得られる符号化データにヘッダなどの情報を付加した上でバッファメモリ２１へ出力する。また、このリフレッシュ対象スライスのイントラスライス符号化データを局所復号再生（復元）し、イントラスライスメモリ２３に出力する。さらに、フレーム間符号化ユニット１０と同様に、符号化単位ごとの量子化ステップサイズと符号発生量を制御ユニット５にフィードバックする。

イントラスライスメモリ２３内の復元スライスは、Ｂピクチャ復号再生のためのイントラスライス無しの復元Ｐピクチャ参照が完了した後で次のＰピクチャの符号化を開始するまでの間に、フレームメモリ８０内の対応するＰピクチャのリフレッシュ対象部位に上書きし、従来方式と同じイントラスライスを含む復元Ｐピクチャをフレームメモリ８０内に復号再生する。これによって、Ｂピクチャの符号化では、前方向でイントラスライスを含む復元Ｐピクチャを、後方向でイントラスライス無し復元Ｐピクチャを、それぞれ参照画像として用いるのに対し、Ｐピクチャの符号化では、従来のイントラスライスリフレッシュ方式と同じく、符号化順で前方に位置するイントラスライスを含む復元Ｐピクチャを参照画像として用いる。
ピクチャ間符号化ユニット１０およびイントラスライス符号化ユニット１１０が符号化した符号化データのバッファメモリ２２への転送は、Ｐピクチャ周期毎に、先にマルチプレクサ３０をバッファメモリ２０側に切り替え、Ｐピクチャ符号化データ、Ｂピクチャ符号化データの順でピクチャ間符号化データに対して行い、その後にマルチプレクサ３０をバッファメモリ２１側に切り替え、イントラスライス符号化データに対して行う。ただし、途中でピクチャ間符号化データの発生レートが低くなり、バッファメモリ２２がアンダーフローしそうになる場合には、マルチプレクサ３０を一時的にバッファメモリ２１側に切り換えて、アンダーフロー防止に必要な量のイントラスライス符号化データをバッファメモリ２１から取り出し、識別用のヘッダ情報などを付加した上で、バッファメモリ２２に転送する。バッファメモリ２２からは、所定のビットレートで外部に出力する。

制御ユニット５は、以上の各ユニットの動作が行われるように適切な制御信号を発生するとともに、ピクチャ間符号化ユニット１０とイントラスライス符号化ユニット１１０とからフィードバックされる量子化ステップサイズ、符号発生量と、あらかじめ定めておく目標の符号化レートとをもとに、次のＰ、Ｂピクチャとイントラスライスの符号化における符号化単位の目標の符号発生量を計算し、ピクチャ間符号化ユニット１０とイントラスライス符号化ユニット１１０とに出力する。

以上の動作説明から明らかなように、本発明では、符号量の大きいリフレッシュ対象スライスのイントラスライス符号化データを後送りするので、ピクチャ間符号化データをその分早く送り終えることができる利点がある。復号化装置側が、これにより早く受け取れるピクチャ間符号化データのみを用いてＰピクチャを復元し、それを続いて行うＢピクチャ復元の参照画像として用いるようにすれば、後から届くイントラスライス符号化データを一切用いずにＢピクチャが復元できることになるので、Ｂピクチャの復元が早まり、結果として、その分早く復元画像を表示できるようになり、符号化から復号化までの遅延を大幅に短縮できる。
イントラスライス符号化データの符号量の多さが、遅延に影響し難くなるので、リフレッシュ対象スライスのイントラスライスとしての符号化に十分な符号量を与えられるばかりか、イントラスライス符号化データについては符号化と同時に送出しなくてもよくなるため、ｎパスの符号化技術が使用可能となり、量子化ステップサイズの変動の少ない安定したイントラ符号化がイントラスライス内で実現可能となる。したがって、低遅延の符号化条件でも画質の劣化を最小限に抑制できる利点も持つ。

また、静止画あるいは動きのほとんどない静止画的な画像で、ピクチャ間符号化データの発生量が極端に減り、出力用のバッファメモリ２２がアンダーフローしそうになっても、マルチプレクサ３０を一時的にバッファメモリ２１の方に切り換えて、イントラスライス符号化データを流し込めるため、低遅延の符号化条件でも無益なスタッフィングの挿入を最小限に留められる利点がある。
さらに、次段のＰピクチャ周期内でシーンチェンジが起こり、スライス単位のリフレッシュが無意味になる場合に、圧縮に寄与しない不要なイントラスライス符号化データの転送を、シーンチェンジを検出した時点で中断あるいは中止できる利点もある。このため、シーンチェンジ検出時点でイントラスライス符号化データをすでに送り終えている確率の高い従来のイントラスライスリフレッシュ方式に比べると、シーンチェンジ直後に挿入せざるを得ないイントラピクチャに中断あるいは中止した分の符号量を割り当てることができるようになり、これによりシーンチェンジ直後の画質劣化を大幅に緩和することができる。
なお、本実施例では、ピクチャ間符号化ユニット１０とイントラスライス符号化ユニット１１０を、別のユニットとして構成しているが、ピクチャ間符号化ユニット１０に組み込んでいるマクロブロック単位でのイントラ符号化とその局所復号化機能の処理能力を上げて、イントラスライスメモリへの出力機能を付加すれば、イントラスライス符号化ユニットの機能を同時に実現可能で、ピクチャ間符号化ユニット１０とイントラスライス符号化ユニット１１０とを、ピクチャ間／イントラスライス符号化ユニットとして一体化することもできる。また、本実施例では、フレームメモリ８０、バッファメモリ２０〜２２、イントラスライスメモリ２３は別々のメモリとして構成しているが、一つのメモリ上の別々の領域に割り付けることが可能である。この場合、マルチプレクサの機能はアクセス領域の切り換え機能として実現される。これらの符号化ユニットやメモリの一体化により、符号化装置全体のハードウェア規模の低減が可能になる。

図６に、本発明の第２の実施例の符号化装置の構成図を示す。第１の実施例との違いは、フレームメモリ８０がピクチャ間符号化ユニットとマルチプレクサ３１との間に移動している点のみである。以下、第１の実施例との動作の違いについて説明する。

第１の実施例では、イントラスライスメモリ２３内の復元イントラスライスを、リフレッシュ対象部位に上書きすることで、イントラスライスを含む復元Ｐピクチャをフレームメモリ８０内に実際に生成し、それを読み出すようにしていた。これに対し、第２の実施例では、復元Ｐピクチャをフレームメモリから読み出す際に、マルチプレクサ３１を必要に応じて切り換えることで、イントラスライスメモリ２３の復元イントラスライスを読み出せるようにして、等価的に、イントラスライスを含む復元Ｐピクチャが読み出されるようにしている。
具体的には、Ｂピクチャの符号化では、前方向、後方向共に、マルチプレクサ３１を途中で切り換えることなくフレームメモリ内のイントラスライス無しの復元Ｐピクチャを参照画像として読み出すのに対し、Ｐピクチャの符号化では、リフレッシュ対象スライス部分だけはマルチプレクサ３１をイントラスライスメモリ側に切り換えてその中の復元イントラスライスを参照画像として読み出す。制御ユニット５は、イントラスライス部位の移動に併せ、マルチプレクサ３１を切り換えるとともに、フレームメモリ８０とイントラスライスメモリ２３に必要なアドレスと読み出し制御信号を生成、供給する。

この第２の実施例では、イントラスライスメモリ２３からフレームメモリ８０へのリフレッシュスライス部分の上書きのための復元イントラスライスの転送が不要になる利点がある。また、復号化装置側の表示画像でリフレッシュ対象スライス部位の移動を目立ち難くするのに有効となるＢピクチャの復号再生時の前方、後方の両方向でイントラスライス無しの復元Ｐピクチャを参照することが、イントラスライス無しのＰピクチャのコピーを別に保持したり余分な転送を行ったりすること無しで実現できる利点がある。
図７は、例えば先の第１、第２の実施例で生成された符号化データを受けて、符号化映像を復号再生する本発明の第３の実施例の復号化装置の構成図を示している。この図において、３５はマルチプレクサ、５０は符号化データ列からヘッダなどの付加情報を抽出、解析し、その結果をもとに、符号化データ列をピクチャ間符号化データ列とイントラスライス符号化データ列に分離するデータ分離ユニット、６２は入力の符号化データ列をバッファリングするバッファメモリ、６０はデータ分離ユニット５０によって分離されたピクチャ間符号化データ列を受け取りバッファリングするバッファメモリ、６１はやはりデータ分離ユニット５０によって分離されたイントラスライス符号化データを受け取りバッファリングするバッファメモリ、６３は復号再生した復元イントラスライスを格納するイントラスライスメモリ、８１は復元Ｐピクチャを格納するためのフレームメモリ、２００はバッファメモリ６０からピクチャ間符号化データを読み出して、それを復号再生するピクチャ間符号化データ復号化ユニット、２１０はバッファメモリ６１からイントラスライス符号化データを読み出して、それを復号再生するイントラスライス復号化ユニット、９０はフレームメモリ８１内のＰ、Ｂの復元ピクチャを、ラスタ走査順の映像信号に変換して出力する映像信号化ユニットである。また、５５は各ユニットを制御するための制御ユニットであり、各ユニットに対する制御信号（メモリに対するアドレス信号も含む）を生成する。

以下、この第３の実施例の復号化装置の動作を、復号の開始時点から説明する。この復号化装置の動作は、電源投入後、装置が正常に立ち上がり、電源投入以前から送り込まれている符号化データ入力の取り込みを始めた時点、あるいは、符号化装置側から送り込まれてくる符号化データの先頭が始めて到達した時点から、開始する。いずれの場合も、符号化データ分離ユニット５０が符号化データ入力からヘッダなどの付加情報を抽出、解析し、ピクチャ間符号化データとイントラスライス符号化データに分離して、前者をバッファメモリ６０に、後者をバッファメモリ６１に出力する。この時、以後の処理で不要となる付加情報は除去し、２００、２１０の復号化ユニットから、ピクチャ単位あるいはスライス単位の符号化データを連続的に読み出せるようにする。
ピクチャ間復号化ユニット２００は、ピクチャ間符号化データバッファにおいて有効なピクチャ間符号化データの読み出しが可能となった時点から読み出しを始め、符号化データの復号に必要なピクチャ（表示順で前方あるいは後方に位置するピクチャ）の復元画像を必要に応じて参照しつつピクチャ間符号化データの復号再生を実行する。この復号再生により復元したピクチャは、復元ピクチャ格納用のフレームメモリ８１に一旦格納し、それ以降に符号化データからピクチャを復号再生するための参照画像として用いる。

また、フレームメモリ８１内の各復元ピクチャは、映像信号化ユニット９０を介して、表示順に外部の表示装置に出力する。これらの表示ための出力と復号再生のための参照とが終わり不要になった復元ピクチャは、新たに生成される復元ピクチャで上書きすることでフレームメモリ８１上から削除する。
イントラスライス復号化ユニット２１０の方も、ピクチャ間符号化データ復号化ユニット２００と同様に、バッファメモリ６１より有効なイントラスライス符号化データの読み出しが可能になった時点から読み出し始め、復号再生動作を開始する。これによって復号再生される復元イントラスライスは、イントラスライスメモリ６３に格納する。イントラスライスメモリ６３内の復元イントラスライスは、符号化時の切り出し元の復元画像であるフレームメモリ内の復元Ｐピクチャのリフレッシュ対象スライス部分に上書きする。ただし、この上書きのタイミングは、上書きしようとする復元Ｐピクチャに対するＢピクチャ復号再生のための参照が終了してから、次のＰピクチャの復元が始まるまでの間とする。
これによって、Ｐピクチャの復号再生には、イントラスライスを含むＰピクチャを参照するというイントラスライスによるリフレッシュ実現の制約を守りながら、イントラスライスの符号化データの復号再生をＢピクチャ復号再生のための参照が終了するまでに遅らせられるようになる。したがって、イントラスライスの符号化データの受信が遅れてもＢピクチャの復号再生の進遅に影響しなくなる。このため、従来方式のようにイントラスライスの符号量増加が遅延増の要因となることがなくなり、符号化装置側でイントラスライスに十分な符号量を与えられるようになるため、低遅延の符号化・復号化の条件でも、最小限の画質劣化でリフレッシュを実現することが可能となる。

なお、本実施例では、ピクチャ間符号化データ復号化ユニット２００とイントラスライス復号化ユニット２１０を、別のユニットとして構成しているが、ピクチャ間符号化データ復号化ユニット２００に組み込んでいるマクロブロック単位でのイントラ復号化機能の処理能力を上げて、イントラスライスメモリへの出力機能を付加すれば、イントラスライス復号化ユニットの機能を同時に実現可能で、ピクチャ間復号化ユニット２００とイントラスライス復号化ユニット２１０を、ピクチャ間符号化データ／イントラスライス復号化ユニットとして一体化することができる。
また、本実施例では、フレームメモリ８１、バッファメモリ６０〜６２、イントラスライスメモリ６３は別々のメモリとして構成しているが、一つのメモリ上の別々の領域に割り付けることが可能である。この場合、マルチプレクサの機能はアクセス領域の切り換え機能として実現される。これらの復号化ユニットやメモリの一体化により、符号化装置全体のハードウェア規模の低減が可能になる。

図８に、本発明の第４の実施例の復号化装置の構成図を示す。第３の実施例との違いは、フレームメモリ８１がピクチャ間復号化ユニットとマルチプレクサ３５との間に移動して、リフレッシュ対象スライスの領域を参照する際に、参照元メモリをフレームメモリ８１かイントラスライスメモリ６３かのいずれかで選択できるようにしている点のみである。以下、第３の実施例との動作の違いについて説明する。
第３の実施例では、イントラスライスメモリ６３内の復元イントラスライスを、リフレッシュ対象部位に上書きすることで、イントラスライスを含む復元Ｐピクチャをフレームメモリ８１内に実際に構成してから、それを参照するようにしていた。これに対し、本実施例では、Ｐピクチャを参照する際に、参照元を選択する手段であるマルチプレクサ３５を必要に応じて切り換えることでイントラスライスメモリ６３の復元イントラスライスを参照できるようにして、イントラスライス無しの復元Ｐピクチャのみならず、イントラスライスを含む復元Ｐピクチャも参照できるようにしている。
具体的には、Ｂピクチャについては、前方、後方共にマルチプレクサ３５をフレームメモリ８１側に倒したままでイントラスライス無しの復元Ｐピクチャをフレームメモリ８１内から参照画像として切り出して、復号再生を行い、結果をフレームメモリ８１に格納する。

一方、Ｐピクチャについては、イントラスライスを含む復元Ｐピクチャを次のように参照して、復号再生を行い、イントラスライス無しのままでフレームメモリ８１に格納する。イントラスライスを含む復元Ｐピクチャの参照は、リフレッシュ対象スライス部分だけはイントラスライスメモリ６３側が、それ以外の部分はフレームメモリ８１側が、それぞれ選ばれるようにマルチプレクサ３５を切り換える。こうすることで、リフレッシュ対象スライス領域に対する参照では、復元イントラスライスから切り出され、それ以外の領域に対する参照では、イントラスライス無しの復元Ｐピクチャから切り出されることになる。Ｐ、Ｂの復元ピクチャは、第３の実施例と同じく、表示順で映像信号化ユニット９０を介して外部の表示装置に出力する。
制御ユニット５５は、イントラスライス部位の移動に併せ、マルチプレクサ３５の切り換え制御信号と、フレームメモリ８１とイントラスライスメモリ６３に必要なアドレスと読み出し制御信号を生成、供給する。

この第４の実施例では、イントラスライスメモリ６３からフレームメモリ８１へのリフレッシュスライス部分の上書きのための復元イントラスライスの転送が不要になる利点がある。また、表示画像でリフレッシュ対象スライス部位の移動を目立ち難くするのに有効なＢピクチャの参照画像を前方、後方共にイントラスライス無しの復元Ｐピクチャとすることが、イントラスライス無しのＰピクチャを別にコピーしたり、余分な転送を行ったりすることなしで実現できる利点がある。さらに、第３の実施例とは異なりフレームメモリ８１の復元Ｐピクチャに対する復元イントラスライスの上書きを行わないので、表示用にイントラスライス無しの復元Ｐピクチャを出力するのに、復元イントラスライスを上書きする前に行わなければならないという制約がなくなる利点がある。

以上の実施例で説明したように、符号化装置側では、Ｐピクチャについて、全体を前方予測に基づく動き補償によりピクチャ間符号化を行い、その符号化順に符号化データを送出するのに加え、Ｐピクチャ毎に挿入位置を移動するリフレッシュ対象スライス部分についてイントラスライスとしても符号化する。そして、このイントラスライス符号化データの送出を、符号量の増加が遅延増の要因にならないように、Ｐピクチャ周期ごとの符号化において、Ｐピクチャ符号化データとＢピクチャ符号化データの送出の合間あるいはそれらの送出終了後に行う。
一方、復号化装置側では、符号化順に送られてくるＰピクチャ符号化データよりイントラスライス無しのＰピクチャを復号再生し、それによって復元されたＰピクチャ（イントラスライス無し復元Ｐピクチャ）を、遅延低減にクリティカルなＢピクチャの復号再生時に予測ブロックを切り出す参照画像として用いる。到着の遅れるイントラスライス符号化データがないと復号再生できないイントラスライスを含む復元Ｐピクチャを、リフレッシュ機能実現のためにイントラスライス無しＰピクチャ復元時の参照画像として用いるようにする。

以上の説明では、図５〜図８に示すように本発明の映像符号化装置と映像復号化装置を個々のユニットあるいはメモリを相互に組み合わせてハードウェア的に実現する方法を示した。しかし、最近のマイクロプロセッサの技術の進歩は著しく、個々のユニットをマイクロプロセッサ上で動作するソフトウェアとして実装することが可能になっている。メモリもそのマイクロプロセッサの主記憶上に同様に実装することができるようになっている。還元すれば、本発明の一部あるいは全部がコンピュータのソフトウェアとして実装することができる。この場合、個々のユニットはサブルーチン、関数、あるいはオブジェクトとして実現される。

本発明は、Ｐピクチャ内にリフレッシュ対象スライスを設ける符号化方式であれば、ＭＰＥＧ-２、ＭＰＥＧ-４の符号化方式や、Ｈ．２６１〜Ｈ．２６３の符号化方式など、各種の符号化方式に適用可能である。Ｂピクチャとして、従来の双方向予測の代わりに前方あるいは後方に位置する２枚の復元画像から切り出すブロックの補間画像から予測ブロックを生成する双予測のピクチャ間符号化ピクチャを用いるＨ．２６４のような符号化方式に対しても同様に適用可能である。また、第１の実施例および第２の実施例として説明したように、Ｂピクチャ符号化時に動き補償用の予測ブロックを切り出す参照画像として用いる復元Ｐピクチャは、例えば前方向のものについてはイントラスライスを含む復元Ｐピクチャとし、時間的に後に表示される後方向のものについてはイントラスライス無しの復元Ｐピクチャとしてもよいし、双方をイントラスライス無しの復元Ｐピクチャとしてもよい。加え、必ずしもＰピクチャのすべてにリフレッシュ対象スライスを設けなければならないわけではなく、リフレッシュ対象スライスがないＰピクチャがあってもよい。

ＰＰＰ構造、ＢＢＰ構造のピクチャシーケンスにイントラスライスを巡回的に挿入する様子を示した図である。 従来の標準的な構成の映像符号化装置の構成図である。 従来の標準的な構成の映像復号化装置の構成図である。 課題を解決する手段を説明するための図である。 本発明の第１の実施例の映像符号化装置の構成図である。 本発明の第２の実施例の映像符号化装置の構成図である。 本発明の第３の実施例の映像符号化装置の構成図である。 本発明の第４の実施例の映像復号化装置の構成図である。

符号の説明

５，５５ 制御ユニット
１０ ピクチャ間符号化ユニット
２０，２１，２２，６０，６１，６２ バッファメモリ
２３，６３ イントラスライスメモリ
３０，３１ マルチプレクサ
５０ データ分離ユニット
８０，８１ フレームメモリ
９０ 映像信号化ユニット
１１０ イントラスライス符号化ユニット
２００ ピクチャ間符号化データ復号化ユニット
２１０ イントラスライス復号化ユニット

Claims (6)

1. Ｐピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するＰピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化装置において、
   Ｐピクチャ符号化時に、Ｐピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのＰピクチャとしてピクチャ間符号化し、Ｐピクチャ符号化データを生成する手段と、
   前記Ｐピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、
   Ｂピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Ｐピクチャ符号化データを復号したイントラスライス無しの復元Ｐピクチャを用いてピクチャ間符号化し、Ｂピクチャ符号化データを生成する手段と、
   前記ピクチャ間符号化されたＰピクチャ符号化データおよびＢピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Ｐピクチャ符号化データおよびＢピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段とを備える
   ことを特徴とする映像符号化装置。
2. Ｐピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するＰピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化装置において、
   ピクチャ全体をイントラスライス無しのＰピクチャとして符号化したＰピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Ｐピクチャを用いて符号化したＢピクチャ符号化データと、前記Ｐピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、
   前記受信したＰピクチャ符号化データを復号し、イントラスライス無しの復元Ｐピクチャを生成して記憶する手段と、
   前記受信したＢピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Ｐピクチャ符号化データを復号したイントラスライス無しの復元Ｐピクチャを用いて復号し、復元Ｂピクチャを生成する手段と、
   前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、
   前記イントラスライス無しの復元Ｐピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、
   前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Ｐピクチャを後続するＰピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段とを備える
   ことを特徴とする映像復号化装置。
3. Ｐピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するＰピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方法において、
   Ｐピクチャ符号化時に、Ｐピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのＰピクチャとしてピクチャ間符号化し、Ｐピクチャ符号化データを生成する過程と、
   前記Ｐピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する過程と、
   Ｂピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Ｐピクチャ符号化データを復号したイントラスライス無しの復元Ｐピクチャを用いてピクチャ間符号化し、Ｂピクチャ符号化データを生成する過程と、
   前記ピクチャ間符号化されたＰピクチャ符号化データおよびＢピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Ｐピクチャ符号化データおよびＢピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する過程とを有する
   ことを特徴とする映像符号化方法。
4. Ｐピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するＰピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化方法において、
   ピクチャ全体をイントラスライス無しのＰピクチャとして符号化したＰピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Ｐピクチャを用いて符号化したＢピクチャ符号化データと、前記Ｐピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する過程と、
   前記受信したＰピクチャ符号化データを復号し、イントラスライス無しの復元Ｐピクチャを生成して記憶する過程と、
   前記受信したＢピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Ｐピクチャ符号化データを復号したイントラスライス無しの復元Ｐピクチャを用いて復号し、復元Ｂピクチャを生成する過程と、
   前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する過程と、
   前記イントラスライス無しの復元Ｐピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える過程と、
   前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Ｐピクチャを後続するＰピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする過程とを有する
   ことを特徴とする映像復号化方法。
5. Ｐピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するＰピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化をコンピュータに実行させるための映像符号化プログラムであって、
   前記コンピュータを、
   Ｐピクチャ符号化時に、Ｐピクチャ内にリフレッシュ対象スライスを設けるか否かにかかわらずピクチャ全体を、イントラスライス無しのＰピクチャとしてピクチャ間符号化し、Ｐピクチャ符号化データを生成する手段と、
   前記Ｐピクチャ内にリフレッシュ対象スライスを設ける場合に、そのリフレッシュ対象スライスの部分をイントラスライスとしてイントラ符号化し、イントラスライス符号化データを生成する手段と、
   Ｂピクチャ符号化時に、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Ｐピクチャ符号化データを復号したイントラスライス無しの復元Ｐピクチャを用いてピクチャ間符号化し、Ｂピクチャ符号化データを生成する手段と、
   前記ピクチャ間符号化されたＰピクチャ符号化データおよびＢピクチャ符号化データをそれぞれ符号化順に送出するとともに、前記リフレッシュ対象スライスのイントラスライス符号化データを、前記Ｐピクチャ符号化データおよびＢピクチャ符号化データの送出の合間あるいはそれらの送出終了後に送出する手段として、
   機能させるための映像符号化プログラム。
6. Ｐピクチャ内に設けるリフレッシュ対象スライスのピクチャ内位置を縦続するＰピクチャ間で移動させることにより、定期的なリフレッシュを実現する映像符号化方式により符号化されたデータを復号する映像復号化をコンピュータに実行させるための映像復号化プログラムであって、
   前記コンピュータを、
   ピクチャ全体をイントラスライス無しのＰピクチャとして符号化したＰピクチャ符号化データと、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像についてはイントラスライス無しの復元Ｐピクチャを用いて符号化したＢピクチャ符号化データと、前記Ｐピクチャ内にリフレッシュ対象スライスが設けられている場合に、そのリフレッシュ対象スライス部分をイントラスライスとして符号化したイントラスライス符号化データとを受信する手段と、
   前記受信したＰピクチャ符号化データを復号し、イントラスライス無しの復元Ｐピクチャを生成して記憶する手段と、
   前記受信したＢピクチャ符号化データを、動き補償用の予測ブロックを切り出す複数の参照画像のうち少なくとも一つの参照画像については前記Ｐピクチャ符号化データを復号したイントラスライス無しの復元Ｐピクチャを用いて復号し、復元Ｂピクチャを生成する手段と、
   前記受信したイントラスライス符号化データを復号し、イントラスライスを復元する手段と、
   前記イントラスライス無しの復元Ｐピクチャのリフレッシュ対象スライス部分を前記復元したイントラスライスで置き換える手段と、
   前記イントラスライスでリフレッシュ対象スライス部分を置き換えた復元Ｐピクチャを後続するＰピクチャ符号化データを復号するときの動き補償用の予測ブロックの切り出し元の参照画像とする手段として、
   機能させるための映像復号化プログラム。
   

Images