JP3905969B2

JP3905969B2 - 動画像符号化装置および動画像符号化方法

Info

Publication number: JP3905969B2
Application number: JP01925398A
Authority: JP
Inventors: 健中條; 敏明渡邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-01-30
Filing date: 1998-01-30
Publication date: 2007-04-18
Anticipated expiration: 2018-01-30
Also published as: KR100323344B1; EP0933948B1; EP0933948A3; KR19990068201A; EP0933948A2; DE69938372D1; US6259736B1; JPH11220733A; DE69938372T2

Description

【０００１】
【発明の属する技術分野】
本発明は動画像符号化装置および動画像符号化方法に関し、特にイントラ符号化モードで符号化された領域を画面内に定期的に挿入して画面リフレッシュを行う動画像符号化装置および動画像符号化方法に関する。
【０００２】
【従来の技術】
動画像符号化／復号化装置では、通信路や蓄積系でビットストリームに誤りが混入した場合、正しく復号することができず、画質が劣化するという問題がある。特に、低ビットレートの伝送路や無線回線などでは、ビット誤りやセルロスなどが発生しやすく、ビットストリームのエラー耐性を向上させることが必要となる。
【０００３】
誤りの対策はいくつか存在するが、その中で有効な方法の１つとしては、動画像符号化装置内で、画面内に周期的にフレーム内符号化を行う画像領域を挿入して画面をリフレッシュする方法がある。フレーム内符号化された画像領域は、他のフレームとは独立に復号できるので他のフレームのビットストリームに誤りが混入してもそれに影響されない。よって、画面内に周期的にフレーム内符号化を行う画像領域を挿入するというリフレッシュ方法を用いることにより、エラー耐性を高めることが可能となる。
【０００４】
リフレッシュ方法としては、イントラ・スライスと呼ばれるものが知られている。例えば、ＭＰＥＧ２Ｖｉｄｅｏ（ＩＳＯ−ＩＥＣＣＤ１３８１８−２）では、マクロブロックと呼ばれる１６画素×１６画素の単位でフレーム内符号化モード（イントラモード）とフレーム間符号化モード（インターモード）が切り替えられるようになっていて、図８に示すように、例えば、縦３０マクロブロックｘ横４４マクロブロックで構成されている１フレームの横２マクロブロックライン（縦２マクロブロックｘ横４４マクロブロック）からなる領域をイントラ符号化モードで符号化し、このイントラ符号化モードで符号化されたイントラ符号化領域を１フレーム時間ごとに２ラインづつスライドさせて、１５フレームで１周期となるイントラ・スライス方式のリフレッシュ方法が提案されている。
【０００５】
このイントラ・スライス方式の場合、図８に示されているように、例えば符号化対象の現フレームのイントラ符号化領域の上側にある領域１内のマクロブロックに対する動きベクトルを探索する場合には、参照フレームとなる前フレームからの探索範囲を制限し、既にリフレッシュされていない領域２からは探索を行わないようにしている。
【０００６】
例えば、図９に示すように現フレームのマクロブロックＭＢｉに対する動きベクトルを探索する場合には、前フレームのマクロブロックの内、現フレームのイントラ符号化領域と同一位置のマクロブロックが動きベクトルの探索範囲にならないように、動きベクトルの探索範囲が制限されることになる。これにより、図のようにリフレッシュの方向が上から下に向かっているイントラ・スライスの場合には、下から上向きの動きベクトルが全て制限されることになる。このような制限により、最悪でも誤りが生じたフレームから（２周期−１）フレーム目までに画面をイントラ符号化領域で完全にリフレッシュできるようになり、誤りの伝搬を収束できる。この様子を図１０に示す。
【０００７】
図１０では、イントラ・スライスの周期が４フレームであり、周期内の最初のフレームＮ＋１のビットストリーム全体に誤りが発生している場合を想定している。インターモードで入力フレームのマクロブロックを符号化する場合、図示のように、参照フレームのマクロブロックの内、入力フレームの符号化対象のマクロブロックと同一位置およびそれよりも上側の領域に属するものだけが動きベクトルの探索範囲として使用される。したがって、図示のように、フレームＮ＋７の最も下の領域までで、誤りの影響が伝搬される範囲が収束されることになる。
【０００８】
ところで、イントラモードでの発生符号量は、通常、同一の量子化パラメータを用いた場合のインターモードでの発生符号量の２倍以上になる。また、伝送レートには制約があるので、ビットストリームの伝送レートはある一定値以下に抑えることが要求される。このため、前述のイントラ・スライスによるリフレッシュを用いる場合には、イントラ・スライスを挿入しないときよりも量子化パラメータを大きくして、イントラ・スライスを挿入した分だけ発生符号量を低下させることが必要となる。しかし、これは画質を悪くする大きな要因となる。
【０００９】
そこで、最近では、例えば特開平９−２４７６８２号公報に開示されているように、動きの大きい部分のみを適応的にリフレッシュしてイントラ符号化領域の挿入数を減らすという適応リフレッシュ方式、がいくつか提案され初めている。動きの少ない静止領域については例えば前フレームの該当位置の画像を埋め込むなどのエラーコンシーメメント技術を利用できる。したがって、動きの大きい部分のみを適応的にリフレッシュすることで、エラー耐性を確保したまま発生符号量の低減を図ることができる。
【００１０】
これら従来の適応リフレッシュ方式の共通の問題としては、イントラモードで符号化された領域についての画面上の動きを考慮していないという点が挙げられる。
【００１１】
つまり、従来の適応リフレッシュ方式は、イントラ符号化領域の挿入により一旦リフレッシュされた領域については、以降その領域について新たな動きが検出されるまではリフレッシュを行わないという原理を採用している。従って、一旦イントラモードで符号化されると、その領域は、その時点で一義的に静止領域と判断され、新たな動きが検出されるまでリフレッシュ対象範囲から除外されることになる。
【００１２】
このため、例えば、シーンチェンジがあって、そのシーンチェンジ後、画像が静止しているような場合において、もしそのシーンチェンジフレーム上のイントラ符号化領域が復号化装置側への伝送途中に誤りによって欠落してしまうと、エラー回復の遅れによって大きな問題が生じることになる。この様子を図１１に示す。
【００１３】
図１１では、フレームＮ＋１でシーンチェンジが生じ、後続するフレームのマクロブロックＭＢｉの領域についてはしばらくの間動きがない場合を想定している。一般に、イントラモードおよびインターモードなどの符号化モードの切り替えは入力動画像信号の時間的な相関の度合いによってマクロブロック単位で適応的に行われ、例えば、シーンチェンジが生じた場合などのように前フレームに対して全く相関が無くなるような大きな画像変化が起こるような場合にはイントラモードが使用される。したがって、シーンチェンジフレームＮ＋１のマクロブロックのほとんどはイントラモードで符号化されることになる。従来型の適応リフレッシュがフレームＮ＋２から４フレーム周期で上から下方向に向けて行われた場合、図示のように、フレームＮ＋２ではマクロブロックＭＢｉがリフレッシュされる順番となるが、その前フレームＮ＋１においてマクロブロックＭＢｉがイントラモードで符号化されているため、フレームＮ＋２ではマクロブロックＭＢｉのリフレッシュは必ずスキップされる。この場合、フレームＮ＋２のマクロブロックＭＢｉの符号化モードとしてインターモードが選択されることになるが、動きがないので、実際には、符号化を行わず前フレームのマクロブロックをそのまま表示に使用するというＮｏｔＣｏｄｅｄのモードが用いられることになる。
【００１４】
この後、フレームＮ＋６で再びマクロブロックＭＢｉにリフレッシュの順番が回ってくるが、それまでにマクロブロックＭＢｉに動きが検出されない限り、ここでもマクロブロックＭＢｉのリフレッシュはスキップされることになる。
【００１５】
このようにマクロブロックＭＢｉのリフレッシュは長い間行われないため、もし、シーンチェンジフレームＮ＋１のマクロブロックＭＢｉが伝送誤り等によって欠落してしまうと、復号装置側では、マクロブロックＭＢｉの領域についてはシーンチェンジ後の正しい情報が全く得られなくなり、シーンチェンジ前のフレームＮの画像がそのまま表示されてしまうことになる。
【００１６】
【発明が解決しようとする課題】
上述したように、従来のイントラ・スライスによるリフレッシュ方法では、発生符号量が大きく増加するため、同一のレートで符号化するためには量子化パラメータを大きくしなくてはならず、画質が悪くなってしまうという欠点があった。
【００１７】
また、これを改良するために動領域のみをリフレッシュするという適用リフレッシュ方式も提案されているが、このような方式では、シーンチェンジ後しばらくはリフレッシュが行われないため、シーンチェンジフレームに誤りが入った場合に、エラー回復が遅れ、表示画像の画質が劣化してしまうという問題があった。
【００１８】
さらに、リフレッシュによるエラー回復を保証するために、動きベクトルの探索範囲を制限した場合、画像の動きによっては、正しい動きベクトルを求めることができず、画質が劣化してしまうという問題もあった。
【００１９】
本発明はこのような実情に鑑みてなされたものであり、発生符号量の増大を招くことなく伝送路誤りによる影響を抑えられるようにし、画質の向上を図ることが可能な動画像符号化装置および動画像符号化方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上述の課題を解決するため、本発明の動画像符号化装置は、入力動画像信号をフレーム内符号化するイントラ符号化モードとフレーム間符号化するインター符号化モードと符号化を行わず前画面を表示に使用する非符号化モードを有する符号化手段と、この符号化手段の符号化モードを前記入力動画像信号の所定の画像領域毎に適応的に選択するモード選択手段と、画面内から動領域を検出し、その動領域からなるリフレッシュ対象範囲内の一部にリフレッシュのためのイントラ符号化領域が設定されるように、前記符号化手段の符号化モードを制御するリフレッシュ制御手段とを具備し、前記リフレッシュ制御手段は、前記符号化手段によってイントラ符号化モードで符号化された各イントラ符号化領域毎に、それが動領域と静止領域のどちらに属するかを判定する手段を有し、この判定結果に基づいて、動領域に属するイントラ符号化領域が前記リフレッシュ対象範囲内に包含され、静止領域に属するイントラ符号化領域が前記リフレッシュ対象範囲から除外されるように、リフレッシュ対象範囲を決定することを特徴とする。
【００２１】
この動画像符号化装置においては、画面内の動領域のみをリフレッシュ対象範囲として選択し、そのリフレッシュ対象範囲内の一部にイントラ符号化領域を挿入するという適用リフレッシュ方式を前提としており、静止領域についてはリフレッシュ対象範囲から除外される。これにより、通常のイントラスライスと比較すると、静止領域がリフレッシュされないため、イントラモードで符号化するマクロブロック数が減り、同一レートでは、その分、量子化パラメータを小さくすることができ、画質が向上する。
【００２２】
さらに、リフレッシュ対象範囲の決定に際しては、従来の適応リフレッシュとは異なり、イントラモードで符号化されたイントラ符号化領域についての画面上の動きが考慮される。
【００２３】
すなわち、符号化手段によってイントラモードで符号化された各画像領域については、それら各画像領域毎に、その画像領域と前フレームの対応する画像領域との間の相関の度合いを調べることなどにより、それが動きのある動領域に属するもののか、あるいは動きのない静止領域に属するのものか、の判別が行われる。そして、この判別結果を基に、リフレッシュ対象範囲が決定される。この場合、動領域に属するイントラ符号化領域については、もしそれ自体が復号化装置側への伝送途中に誤りによって欠落してしまった場合でもリフレッシュによるエラー回復の効果が得られるように次画面のリフレッシュ対象範囲に含められ、また静止領域に属するイントラ符号化領域については次画面のリフレッシュ対象範囲から除外される。このようにして、前画面上でのイントラ符号化領域の動きの有無に従ってリフレッシュ対象範囲を画像領域単位で動的に変更していくことにより、イントラ符号化された画像領域についても、それが動領域であれば、後にその画像領域が再びイントラ符号化されてそれが静止領域に属すると判定されるまでは、フレッシュ対象範囲として選択され続けることになる。したがって、例えば、シーンチェンジがあって、そのシーンチェンジ後、画像が静止しているような場合においては、そのシーンチェンジフレーム上のイントラ符号化されたマクロブロックは動領域として扱われるようになり、リフレッシュ周期などで決まる所定の時期にリフレッシュされることになる。よって、シーンチェンジフレーム上のイントラマクロブロックが復号化装置側への伝送途中に誤りによって欠落してしまった場合でも、その後比較的早期にリフレッシュによるエラー回復を行うことが可能となる。
【００２４】
また、本発明は、動領域に属すると判定されたイントラ符号化領域の個数が同一画面内に所定数以上含まれるとき、その画面をシーンチェンジ画面であると判定し、周期的なリフレッシュ動作が次画面の画面端部から開始されるように、次画面で前記リフレッシュのためのイントラ符号化領域の設定位置を変更することを特徴とする。
【００２５】
一般にシーンチェンジのフレームは、符号量が多いため、誤りの発生確率が同一ならば、誤りが混入する確率が高く、また、誤りが入った場合に、前フレームとの相関がないために、エラーコンシールメントのようなテクニックが使えないなど問題が多い。そこで、シーンチェンジを判定して、シーンチェンジ後、リフレッシュの位置を画面の端からスタートさせることにより、シーンチェンジのフレームに誤りがあっても最悪１周期で回復することができる。
【００２６】
また、本発明は、前画面でリフレッシュのためのイントラ符号化領域が設定された領域と同一位置の次画面上の領域を、前記インター符号化モードで符号化するとき、前記リフレッシュの周期の方向と逆向きの動きベクトルのうち、前記リフレッシュ制御手段によって動領域として判定された前記前画面上の領域からの動きベクトルについてのみその探索を禁止することを特徴とする。
【００２７】
従来のイントラ・スライス方式では、（２周期−１）回での回復を保証するために、前述したように、リフレッシュの周期の方向と逆向きの動きベクトルを全面的に禁止していた。しかし、静止領域は、誤りが混入している可能性が小さいので、動きベクトル探索範囲の制限からはずすことにより、動きベクトルの制限の範囲が狭まり、画質の向上を図ることができる。
【００２８】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１実施形態に係る動画像符号化装置の構成を示すブロック図である。
【００２９】
図１において、入力動画像信号は、ブロック化回路１００１でマクロブロックに分割される。マクロブロックに分割された入力動画像信号は、減算器１００２に入力され、ここで後述するようにして生成される予測画像信号との差分がとられて、予測残差信号が生成される。この予測残差信号と、ブロック化回路１００１からの入力動画像信号のいずれか一方を、モード選択スイッチ１００３によって選択し、ＤＣＴ（離散コサイン変換）回路１００４により離散コサイン変換される。ＤＣＴ回路１００４で得られたＤＣＴ係数データは、量子化回路１００５で量子化される。量子化回路１００５で量子化された信号は２分岐され、一方は可変長符号化回路１０１５で可変長符号化される。
【００３０】
一方、量子化回路１００５で量子化され２分岐された信号の他方は、逆量子化回路１００６及びＩＤＣＴ（逆離散コサイン変換）回路１００７により量子化回路１００５およびＤＣＴ回路１００４の処理と逆の処理を順次受けた後、加算器１００８でスイッチ１０１１を介して入力される予測画像信号と加算されることにより、局部復号信号が生成される。この局部復号信号は、フレームメモリ１００９に蓄えられ、動き補償回路１０１０に入力される。動き補償回路１０１０では、入力動画像信号とフレームメモリ１００９に蓄えられた前フレームの画像との相関から動き検出、動きベクトルの探索などの動き補償処理が行われて、予測画像信号が生成されるとともに、モード選択回路１０１２とリフレッシュ判定回路１０１３に必要な情報を送る。
【００３１】
符号化制御回路１０１４では、レート制御などを行うためのものであり、符号化部１０１８の符号化情報と出力バッファ１００７のバッファ量をもとに符号化を制御し、必要な情報を可変長符号化回路１０１５におくる。可変長符号化回路１０１５では、動きベクトル情報およびモード情報ＭＯＤＥと共に、ＤＣＴ係数情報が符号化され、この符号化された画像データは、多重化回路１０１６にて符号化音声データや他の符号化データと多重化された後、出力バッファ１０１７で送信レートを平滑化されて符号化データ（ビットストリーム）として伝送路に送られる。
【００３２】
モード選択回路１０１２では、マクロブロック単位に相関の度合いを示す動き補償回路１０１０からの予測情報Ｐに基づいて、フレーム間符号化をおこなうマクロブロックとフレーム内符号化をおこなうマクロブロックを適応的に選択する。
【００３３】
フレーム内符号化（イントラ符号化）をおこなう場合は、モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）をおこなう場合は、モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。モード選択スイッチ１００３ではモード選択スイッチ情報Ｍに基づき、スイッチを変更し、また、スイッチ１１６ではスイッチ情報Ｓに基づき、スイッチを変更する。
【００３４】
ここで、符号化モードとしては、フレーム内符号化を行うイントラモード（ＩＮＴＲＡ）、フレーム間符号化を行うインターモード（ＩＮＴＥＲ）、符号化を行わず前フレームの対応するマクロブロックの情報をそのまま表示に使用する非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、各マクロブロック毎にモード選択回路１０１２により適応的に選択される。通常、フレーム相関がない場合にはＩＮＴＲＡ、フレーム相関を利用した予測が可能な場合にはＩＮＴＥＲ、ＩＮＴＥＲが選択されても画像が変化しておらず符号化不要の場合にはＮＯＴ＿ＣＯＤＥＤモードとなる。
【００３５】
また、リフレッシュ判定回路１０１３からリフレッシュの挿入が指示された場合には、モード選択回路１０１２によってＩＮＴＲＡが選択される。
モード選択回路１０１２で選択された符号化モードを示すモード選択情報ＭＯＤＥは、可変長符号化回路１０１５に送られると共に、リフレッシュ判定回路１０１３にも送られる。リフレッシュ判定回路１０１３では、モード選択情報ＭＯＤＥが示す選択符号化モードと、ＩＮＴＲＡが選択されマクロブロックについての動きの有無とに基づいて、各マクロブロック毎にそれをリフレッシュ対象範囲に含めるか否かが判定され、その判定結果を基に、リフレッシュを行うかどうかが判定される。
【００３６】
つまり、本実施形態では、画面内の動領域のみをリフレッシュ対象範囲として選択するという適用リフレッシュ方式を前提としているが、リフレッシュ対象範囲の決定に際しては、従来の適応リフレッシュとは異なり、ＩＮＴＲＡで符号化されたイントラマクロブロックについての画面上の動きが考慮される。この場合、動領域に属すると判定されたイントラマクロブロックについては、もしそれ自体が復号化装置側への伝送途中に誤りによって欠落してしまった場合でもリフレッシュによるエラー回復の効果が得られるように、その領域は次画面のリフレッシュ対象範囲に含められる。また、静止領域に属すると判定されたイントラマクロブロックについては次画面のリフレッシュ対象範囲から除外される。このようにして、前画面上でのイントラマクロブロックの動きの有無に従って次画面のリフレッシュ対象範囲がマクロブロック単位で動的に変更されていく。
【００３７】
図２は、リフレッシュ判定回路１０１３の処理動作を示したフローチャートである。この図では、フレーム毎に横１マクロブロックライン単位でＩＮＴＲＡ符号化領域を上から下方向に移動しながら周期的にリフレッシュを行う場合の動作を示している。
【００３８】
ここで、ｉとｊは、符号化対象マクロブロックのフレーム内の垂直方向（ｉ）と水平方向（ｊ）のアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＭＢはフレーム内の垂直方向と水平方向の総マクロブロック数をそれぞれ表している。また、Ｎは、リフレッシュ位置のマクロブロックラインを示すカウンタである。
【００３９】
２次元配列Ｄ［ｉ］［ｊ］は、各マクロブロックについての動領域／静止領域の判定結果の履歴に基づいて、リフレッシュする必要がある動領域であるか否かを各マクロブロック毎に示すリフレッシュ制御情報を管理するためのものである。書き換えがあったマクロブロック、つまり画像の変化があって動領域と判定されたマクロブロック、に対応するリフレッシュ制御情報は「ＦＡＬＳＥ」に、変化がないと判定されたマクロブロックに対応するリフレッシュ制御情報は「ＴＲＵＥ」に設定される。
【００４０】
「ＦＡＬＳＥ」は、対応するクロブロックが現在動領域に属しているものであることを示しており、それが静止領域であることを示す「ＴＲＵＥ」に書き換えられない限りは、リフレッシュ周期で決まる特定のフレームにおいてそのマクロブロックのリフレッシュが行われる。
【００４１】
ＳＣは、シーンチェンジ判定のためのカウンタで、動領域と判定されるＩＮＴＲＡマクロブロックの数を数える。
まず、符号化を始める前に、リフレッシュの位置を求めるためのカウンタＮを０で初期化する（ステップＳ１０１）。
【００４２】
次に、入力１フレームを符号化する前毎にシーンチェンジ判定のためのカウンタＳＣを０で初期化する（ステップＳ１０２）。
ループ１とループ２の中で、フレーム内の各マクロブロック毎にリフレッシュの判定及び、符号化処理を行う。ステップＳ１０４〜ステップＳ１１４で構成されるループ２においては水平方向の同一マクロブロックラインに対する処理が行われ、このループ２を、ステップＳ１０３，Ｓ１０４によるループ１に入れて処理対象のマクロブロックラインを上から下方向に移動させることにより、１フレーム全体の処理が行われる。
【００４３】
ステップＳ１０５では、リフレッシュカウンタＮの値をＶ＿ＮＭＢで除算を行った余りが現在符号化対象となっているマクロブロックのアドレスｉに等しい、という条件と、Ｄ［ｉ］［ｊ］の値が「ＦＡＬＳＥ」であるという２つの条件が共に成立しているか否かが調べられる。現在符号化しようしているマクロブロックがリフレッシュすべきマクロブロックラインに属していれば、リフレッシュカウンタＮの値をＶ＿ＮＭＢで除算を行った余りは、符号化対象のマクロブロックのアドレスｉに等しくなる。また、Ｄ［ｉ］［ｊ］の値が「ＦＡＬＳＥ」であれば、その符号化対象のマクロブロックが、リフレッシュが必要な動領域に属していると判定されることになる。
【００４４】
したがって、リフレッシュカウンタＮの値をＶ＿ＮＭＢで除算を行った余りが現在符号化対象となっているマクロブロックのアドレスｉに等しく、かつ、Ｄ［ｉ］［ｊ］の値が、リフレッシュの必要性があることを示す「ＦＡＬＳＥ」であれば、リフレッシュを行うと判定し、符号化モード情報ＭＯＤＥをＩＮＴＲＡに書き換える（ステップＳ１０６）。
【００４５】
符号化処理（ステップＳ１０７）の後、符号化モード情報ＭＯＤＥの値別にＤ［ｉ］［ｊ］の更新を行う。
もし、ＭＯＤＥがＩＮＴＲＡならば、そのマクロブロックが静止しているかどうかを判定するために、動き補償回路１０１０より与えられた、動きベクトル（０、０）の場合のマクロブロックの予測残差信号の絶対値和の合計ＳＡＤを閾値ＴＨと比較する（ステップＳ１０９）。つまり、ＩＮＴＲＡモードで符号化されたマクロブロックとそれと同一アドレスの前フレーム上のマクロブロックとの間にどの程度の差があるかが調べられ、もし、ＳＡＤの値がＴＨより大きい場合には動いていると判定して、対応するＤ［ｉ］［ｊ］の値を、リフレッシュの必要性があることを示す「ＦＡＬＳＥ」にセットし（ステップＳ１１０）、シーンチェンジ判定のためのカウンタＳＣの値をプラス１する（ステップＳ１１１）。一方、もしＳＡＤの値がＴＨの値以下の場合は、静止していると判定して、対応するＤ［ｉ］［ｊ］の値を、リフレッシュの必要性がないことを示す「ＴＲＵＥ」にセットする（ステップＳ１１２）。
【００４６】
もし、ＭＯＤＥがＩＮＴＥＲならば、そのマクロブロックには動きがあると判定され、対応するＤ［ｉ］［ｊ］の値を、リフレッシュの必要性があることを示す「ＦＡＬＳＥ」にセットする（ステップＳ１１３）。
【００４７】
もし、ＭＯＤＥがＮＯＴ＿ＣＯＤＥＤならば、Ｄ［ｉ］［ｊ］は、更新せず次のループに進む。
結果として、Ｄ［ｉ］［ｊ］の値は、静止しているマクロブロックをリフレッシュした時のみ「ＴＲＵＥ」に書き換えることになる。つまり、ＩＮＴＲＡモードで符号化されたマクロブロックが動領域と判定された場合や、マクロブロックがＩＮＴＥＲモードで符号化された場合については、後のフレームでそれらマクロブロックと同一位置のマクロブロックが再びＩＮＴＲＡモードで符号化されてそれが静止領域に属すると判定されるまでは、Ｄ［ｉ］［ｊ］の値は「ＦＡＬＳＥ」に維持され、リフレッシュ対象範囲として選択され続けることになる。
【００４８】
ループ１とループ２の終了後、すなわち１フレーム分の符号化が完了すると、シーンチェンジ判定のためのカウンタＳＣの値を閾値Ｅと比較する（ステップＳ１１６）。もし、ＳＣが閾値Ｅよりも小さければ、符号化が完了したフレームがシーンチェンジフレームではないと判定し、リフレッシュのラインを１つ進めるために（Ｎ＋１）の値をＶ−ＮＭＢで除算を行って余りを求め、その値を新たなＮとしてセットする（ステップＳ１１７）。一方、もし、ＳＣの値が閾値Ｅ以上の場合は、符号化が完了したフレームがシーンチェンジフレームであると判定し、Ｎの値を０にセットし、次フレームから画面の端からリフレッシュ動作が再スタートされるようにする（ステップＳ１１８）。
【００４９】
なお、符号化処理（ステップＳ１０７）においては、動き補償回路１０１０は、参照フレーム上のリフレッシュ前の領域２の中の動領域からの動き補償を禁止して、予測画像信号を生成する。
【００５０】
また、以上説明したリフレッシュ動作は、横方向のマクロブロックラインでリフレッシュを行う場合を例示したが、縦方向のマクロブロックラインでリフレッシュを行ってもかまわない。この場合、ＮをＶ＿ＮＭＢで除算を行って余りを求めている部分（ステップＳ１０５及びステップＳ１１７）をＨ＿ＮＭＢで除算を行って余りを求めるように置き換えることで対応することができる。
【００５１】
以上のように、本実施形態では、リフレッシュを行うかどうかは、そのマクロブロックが以前にリフレッシュを行ってからこれまでに画面に動きがあって書き換わっているかどうかで判定される。この時、重要なのは、以前にリフレッシュを行ったマクロブロックも含めて、ＩＮＴＲＡのマクロブロックについては、もし、ＩＮＴＥＲで符号化した場合にＮＯＴ＿ＣＯＤＥＤになるか否かを判定することである。もし、ＮＯＴ＿ＣＯＤＥＤと判定できる場合は、そのＩＮＴＲＡマクロブロックは静止領域であるので、例え、欠落しても、１つ前のフレームをそのまま使えば影響は小さいが、ＮＯＴ＿ＣＯＤＥＤと判定できない場合は、動いているので、欠落してしまうと、影響が大きい。従って、そのマクロブロックが静止していて書き換わっていなければ、リフレッシュを行う必要はない。
【００５２】
図３は、横方向のマクロブロックラインでリフレッシュを行った場合の動作をフレームの真横からみて、リフレッシュの動作を示したものである。ここでは、リフレッシュの周期は４フレームで、フレームの上から下に向かってリフレッシュする場合を示している。
【００５３】
図３では、フレームＮでリフレッシュされた静止領域のＩＮＴＲＡマクロブロックＭＢｉについては以降ＮＯＴ＿ＣＯＤＥＤが続き、その領域がリフレッシュの周期に対応する４フレーム分連続して静止領域に属している。この場合は、フレームＮ＋４になっても、対応するＤ［ｉ］［ｊ］の値が、リフレッシュの必要性がないことを示す「ＴＲＵＥ」のまま維持されるので、フレームＮ＋４でのマクロブロックＭＢｉのリフレッシュはスキップされる。同様に、フレームＮ＋３でリフレッシュされた静止領域のＩＮＴＲＡマクロブロックにＭＢｉ＋３ついても、フレームＮ＋６までＮＯＴ＿ＣＯＤＥＤが続くので、フレームＮ＋７ではそのマクロブロックＭＢｉ＋３のリフレッシュはスキップされることになる。ただし、フレームＮ＋７ではリフレッシュはスキップされてもそのマクロブロックＭＢｉ＋３はＩＮＴＥＲで符号化されているので、次のリフレッシュ周期ではリフレッシュが行われることになる。
【００５４】
したがって、本実施形態においても、最悪（２周期−１）フレームでエラーを回復することが保証される。
図４には、シーンチェンジが発生した場合におけるリフレッシュ動作の様子が示されている。
【００５５】
フレームＮ＋１でシーンチェンジが生じた場合、フレームＮ＋１のほとんど全てのマクロブロックはＩＮＴＥＲで符号化されることになる。この場合、各ＩＮＴＥＲマクロブロックは静止領域であるので、それらに対応するＤ［ｉ］［ｊ］の値はどれもリフレッシュの必要性があることを示す「ＦＡＬＳＥ」に設定される。したがって、シーンチェンジフレームＮ＋１上のイントラマクロブロックが復号化装置側への伝送途中に誤りによって欠落してしまった場合でも、その後比較的早期にリフレッシュによるエラー回復を行うことが可能となる。
【００５６】
また、本実施形態では、前述したように、符号化後のフレームがシーンチェンジフレームであると判定されたときは、周期的なリフレッシュ動作が次フレームの画面端部から開始されるように、次フレームでリフレッシュ位置を初期値に戻している。したがって、上から下方向にリフレッシュした場合には、図示のように、シーンチェンジフレームＮ＋１の次フレームＮ＋２において、リフレッシュ位置は最も上側のマクロブロックラインとなる。
【００５７】
一般にシーンチェンジのフレームは、符号量が多いため、誤りの発生確率が同一ならば、誤りが混入する確率が高く、また、誤りが入った場合に、前フレームとの相関がないために、コンシールメントのようなテクニックが使えないなど問題が多い。もし、シーンチェンジを特に考慮しない場合はリフレッシュによって回復するには最悪（２周期−１）フレームかかることになるが、本実施形態のように、シーンチェンジ後、リフレッシュの位置を画面の端からスタートさせることにより、シーンチェンジのフレームに誤りがあっても、図４のように最悪１周期で回復することができるようになる。
【００５８】
図５には、リフレッシュによって挿入されるＩＮＴＲＡ符号化領域と、静止領域との関係が示されている。
前述したように、従来では、例えば現フレームＮ＋２のイントラ符号化領域の上側にある領域１内のマクロブロックに対する動きベクトルを探索する場合には、参照フレームとなる前フレームＮ＋１からの探索範囲を制限し、既にリフレッシュされていない領域２全体からの動き補償を禁止していた。
【００５９】
しかし、静止領域については、誤りが混入する可能性が低いので、動き補償の禁止をする必要が低い。そこで、本実施形態では、動きベクトルの制限の範囲を緩和して画質の向上を図るために、領域２についてもその中の静止領域（フレームＮのＪ１、フレームＮ＋１のＪ２、フレームＮ＋２のＪ３）からの動きベクトルの探索を許可するようにしている。これは、リフレッシュ判定回路１０１３が配列Ｄ［ｉ］［ｊ］を用いて、参照フレームの領域２内の動領域と静止領域を調べ、動領域についてのみ探索を禁止するように動き補償回路１０１０に指示することによって実現される。また、リフレッシュの方向は上から下方向だけでなく、下から上、右から左、あるいは左から右方向にすることも可能であるので、この場合には、リフレッシュの周期の方向と逆向きの動きベクトルのうち、動領域として判定された領域からの動きベクトルについてのみその探索を禁止すればよいことになる。
【００６０】
なお、以上の本第１実施形態の説明では、２次元配列Ｄ［ｉ］［ｊ］は静止したＩＮＴＲＡマクロブロックが出現した時にすぐにリフレッシュ不要であることを示す値「ＴＲＵＥ」に更新したが、より条件を厳しくして、静止したＩＮＴＲＡマクロブロックがｎ回（ｎ＞１）現れたら、静止領域と判定してもよい。この場合、同一位置のＩＮＴＲＡマクロブロックがｎフレーム連続で欠落しても、リフレッシュによるエラー回復が可能となる。
【００６１】
また、フレームを単位とする符号化で説明をおこなったが、フィールド単位での符号化にも同様に適用することができることは言うまでもない。
（第２の実施形態）
次に、本発明の第２実施形態について説明する。
【００６２】
図６は、本発明の動画像符号化装置を適用した無線通信システムの構成を示したものである。
図６において、無線通信システムは、画像伝送系２０と画像再生系３０とを含み、基地局４１が設けられているネットワーク４０を介して画像伝送系２０と画像再生系３０との間で画像の送受信が行われる。
【００６３】
画像伝送系２０は、画像信号入力部２１と、誤り耐性処理部２３を備える情報源符号化部２２と、伝送路符号化部２４と、無線部２５とを備えている。情報源符号化部２２においては、動き補償、離散コサイン変換（ＤＣＴ）、量子化等が行われ、また伝送路符号化部２４においては、符号化データに対してその誤り検出や訂正等のための処理が施される。情報源符号化部２２には図１の動画像符号化装置が設けられており、誤り耐性処理部２３は前述のリフレッシュ制御機能などを用いて実現されている。
【００６４】
また、画像再生系３０は、無線部３１と、伝送路復号化部３２と、誤り耐性処理部３４を含む情報源復号化部３３と、画像信号出力部３５を備えている。情報源復号化部３３は図１の動画像符号化装置によって得られたビットストリームを復号化するためのものであり、誤り耐性処理部３４にはエラーコンシールメント機能などが設けられている。
【００６５】
図７は、第２実施形態に係る無線通信システムの具体的な運用形態の一例を示したもので、図７に示すように、通信ネットワーク４０の基地局４１、４２、４３を介してラップトップタイプのパソコン５１やデスクトップタイプのパソコン５２等の端末５０により動画像の伝送および受信が行われる。
【００６６】
例えば、パソコン５１に備え付けられている画像信号入力部としてのカメラ５１ａにより入力された画像信号は、パソコン５１に組み込まれた情報源符号化部によって符号化される。情報源符号化部から出力される符号化データは、他の音声やデータの情報と多重化された後、パソコン５１に組み込まれた無線部、アンテナ５１ｂを介して無線で送信される。この送信された電波信号は、近接の基地局４１〜４３を介してネットワーク４０に送られ、送信先となるパソコン５２の近接の基地局４１〜４３からそのパソコン５２のアンテナ５２ａ、パソコン５２に組み込まれた無線部を介して受信される。無線部で受信された信号は、画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、画像信号の符号化データは、パソコン５２に組み込まれた情報源復号化部によって復号され、パソコン５２のディスプレイに表示される。
【００６７】
一方、パソコン５２に備え付けられた画像信号入力部としてのカメラ５２ｂにより入力された画像信号は、パソコン５２に組み込まれた情報源符号化部を用いて上記と同様に符号化される。符号化データは、他の音声やデータの情報と多重化され、パソコン５２に組み込まれた無線部、アンテナ５２ａ、により無線で送信される。この送信された電波信号はネットワーク４０を介してパソコン５１のアンテナ５１ａ、パソコン５１に組み込まれた無線部を介して受信される。無線部によって受信された信号は、画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、画像信号の符号化データはパソコン５１に組み込まれた情報源復号化部によって復号され、パソコン５１のディスプレイに表示される。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、イントラ符号化された画像領域についてもそれが動領域であるか静止領域であるかを考慮してリフレッシュ対象範囲を決めるという適用リフレッシュを行うことにより、発生符号量の増大を招くことなく伝送路誤りによる影響を抑えられるようになり、画質の向上を図ることが可能となる。また、シーンチェンジフレームの次フレームでリフレッシュ位置を初期位置に戻す処理を行うことにより、シーンチェンジフレームが伝送路誤りによって欠落した場合であっても、リフレッシュによるエラー回復を早期に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る動画像符号化装置の構成を示すブロック図。
【図２】同第１実施形態の動画像符号化装置による符号化処理の手順を示すフローチャート。
【図３】同第１実施形態の動画像符号化装置によるリフレッシュ動作を説明するための図。
【図４】同第１実施形態の動画像符号化装置によるシーンチェンジでのリフレッシュ動作を説明するための図。
【図５】同第１実施形態の動画像符号化装置による動きベクトルの探索範囲の制限を示す図。
【図６】本発明を適用した無線通信システムの構成を概略的に示す図。
【図７】本発明を適用した無線通信システムの具体的な運用形態の一例を示す図。
【図８】従来のイントラ・スライス方式によるリフレッシュ動作を説明するための図。
【図９】従来のイントラ・スライス方式における動きベクトルの探索範囲の制限を示す図。
【図１０】従来のイントラ・スライス方式による誤り回復効果を説明するための図。
【図１１】従来の適応型リフレッシュ方式の動作を説明するための図。
【符号の説明】
１００１…ブロック化回路
１００２…減算器
１００３…モード選択スイッチ
１００４…ＤＣＴ回路
１００５…量子化回路
１００６…逆量子化回路
１００７…ＩＤＣＴ回路
１００８…加算器
１００９…フレームメモリ
１０１０…動き補償回路
１０１１…スイッチ
１０１２…モード選択回路
１０１３…リフレッシュ判定回路
１０１４…符号化制御回路
１０１５…可変長符号化回路
１０１６…多重化回路
１０１７…出力バッファ
１０１８…符号化部
２０…画像伝送系
２１…画像信号入力部
２２…情報源符号化部
２３…誤り耐性処理部
２４…伝送路符号化部
３０…無線部
３１…画像再生系
３２…伝送路復号化部
３３…情報源復号化部
３４…誤り耐性処理部
３５…画像信号出力部
４０…ネットワーク
４１〜４３…無線基地局
５１…端末
５１ａ…カメラ
５１ｂ…アンテナ
５２…パソコン
５２ａ…アンテナ
５２ｂ…カメラ

Claims

入力動画像信号をフレーム内符号化するイントラ符号化モードとフレーム間符号化するインター符号化モードと符号化を行わず前画面を表示に使用する非符号化モードを有し、これらの符号化モードを前記入力動画像信号の所定の画像領域毎に適応的に選択して符号化を行う符号化手段と、
前記符号化手段によってイントラ符号化モードで符号化されたイントラ符号化領域が動領域と静止領域のどちらに属するかを判定し、該判定結果に基づいて動領域に属するイントラ符号化領域と次画面上で同一位置の画像領域が次画面のリフレッシュ対象範囲内にリフレッシュのためのイントラ符号化領域として設定され、静止領域に属するイントラ符号化領域と次画面上で同一位置の画像領域は前記リフレッシュ対象範囲から除外されるように前記リフレッシュ対象範囲を決定するリフレッシュ制御手段とを具備することを特徴とする動画像符号化装置。
前記リフレッシュ制御手段は、前記リフレッシュのためのイントラ符号化領域の設定位置を画面毎に周期的に移動させることを特徴とする請求項１記載の動画像符号化装置。
前記リフレッシュ制御手段は、動領域に属するイントラ符号化領域の個数が同一画面内に所定数以上含まれるとき、その画面をシーンチェンジ画面であると判定し、周期的なリフレッシュ動作が次画面の画面端部から開始されるように、次画面で前記リフレッシュのためのイントラ符号化領域の設定位置を変更することを特徴とする請求項１または２記載の動画像符号化装置。
前画面でリフレッシュのためのイントラ符号化領域が設定された画像領域と次画面上で同一位置の画像領域を前記インター符号化モードで符号化するとき、リフレッシュの周期の方向と逆向きの動きベクトルのうち、前記リフレッシュ制御手段によって動領域と判定された前記前画面上の画像領域からの動きベクトルの探索を禁止する手段をさらに具備することを特徴とする請求項１記載の動画像符号化装置。
前記リフレッシュ制御手段は、前記符号化手段によってインター符号化モードで符号化された各インター符号化領域を動領域と判定し、それら各インター符号化領域が前記リフレッシュ対象範囲内に設定されるようにリフレッシュ対象範囲を決定することを特徴とする請求項１記載の動画像符号化装置。
入力動画像信号をフレーム内符号化するイントラ符号化モードとフレーム間符号化するインター符号化モードと符号化を行わず前画面を表示に使用する非符号化モードを有し、これら符号化モードを前記入力動画像信号の所定の画像領域毎に適応的に選択して符号化を行う動画像符号化方法であって、
前記イントラ符号化モードで符号化されたイントラ符号化領域が動領域と静止領域のどちらに属するかを判定するステップと、
前記判定するステップの判定結果に基づいて、動領域に属するイントラ符号化領域と次画面上で同一位置の画像領域が次画面のリフレッシュ対象範囲内にリフレッシュのためのイントラ符号化領域として設定され、静止領域に属するイントラ符号化領域と次画面上で同一位置の画像領域は前記リフレッシュ対象範囲から除外されるように前記リフレッシュ対象範囲を決定するステップとを具備することを特徴とする動画像符号化方法。
前記リフレッシュのためのイントラ符号化領域の設定位置を画面毎に周期的に移動させることを特徴とする請求項６記載の動画像符号化方法。
動領域に属するイントラ符号化領域の個数が同一画面内に所定数以上含まれるとき、その画面をシーンチェンジ画面であると判定し、周期的なリフレッシュ動作が次画面の画面端部から開始されるように、次画面で前記リフレッシュのためのイントラ符号化領域の設定位置を変更することを特徴とする請求項６または７記載の動画像符号化方法。
前画面で前記リフレッシュのためのイントラ符号化領域が設定された領域と同一位置の次画面上の画像領域を前記インター符号化モードで符号化するとき、前記リフレッシュの周期の方向と逆向きの動きベクトルのうち、動領域として判定された前記前画面上の画像領域からの動きベクトルの探索を禁止することを特徴とする請求項６記載の動画像符号化方法。
前記インター符号化モードで符号化された各インター符号化領域を動領域と判定し、それら各インター符号化領域が前記リフレッシュ対象範囲内に包含されるようにリフレッシュ対象範囲を決定することを特徴とする請求項６記載の動画像符号化方法。