JP4130197B2 - 動画像符号化方法および装置 - Google Patents

Description

本発明は、通信・放送・蓄積・コンピュータなどの様々な分野で用いられている、ディジタル画像システムやアプリケーション及び、画像データベースに適用される動画像符号化方法及び、これを用いた装置に関する。特に、シーンチェンジを含む画像データを符号化する場合に有利である動画像符号化方法及び、これを用いた装置に関する。

一般に動画像は、それ自体持っている情報量が莫大である。そのために動画像の符号化に際しては、直交変換［離散コサイン変換(Discrete Cosine Transform)］処理や可変長符号化を利用して空間方向の冗長度を落とすことが行われる。さらに、時間的に前後の画面との差分を採り差分情報を符号化することにより時間方向の冗長度も落としている。

ここで、以降の説明の理解のために画像の構成について説明しておく。

１枚の画面（フレーム）を１ラインおきに走査し、奇ラインのみで構成される奇フィールドと、偶ラインのみで構成される偶フィールドの２枚のフィールドで構成するインターレース画像が、現行ＴＶフォーマット（日米はＮＴＳＣ：National Television System Committee, 欧州はＰＡＬ：Phase Alternation by Line等）において用いられている。

ＭＰＥＧ−２（Moving Picture Experts Group）は、インターレース画像の符号化にも対応した符号化方式であり、ピクチャ構造及び、ピクチャ間動き予測等でフレーム／フィールドを意識した符号化を行なっている。以下これらについて説明する。

ＭＰＥＧ−２では、ピクチャとしてフレームを割り当てることも、フィールドを割り当てることもできる。ピクチャにフレームを割り当てられた場合をフレーム構造（ストラクチャ）といい、フィールドを割り当てた場合をフィールド構造（ストラクチャ）という。符号化は、ピクチャをマクロブロック（ＭＢ）単位に行われる。

図２６において、フレームストラクチャのマクロブロックＭＢ１、フィールドストラクチャの奇フィールドのマクロブロックＭＢ２及び、偶フィールドのマクロブロックＭＢ３が示される。各マクロブロック（ＭＢ）は、例えば、１６×１６画素で構成される。

ＭＰＥＧ−２では、更にインターレース画像を符号化するのに適したフレーム予測とフィールド予測があり、動きベクトルはフレーム予測に対して1本、フィールド予測に対して２本用いられる。

ここで上記の時間方向の冗長度削減の方法として、ピクチャ間の予測をどの範囲まで用いるかによって、大きく次の３つの符号化方法に分けることが出来る。

第１はピクチャ内で符号化を行う（ピクチャ内符号化）方法であり、第２は、前方向からのピクチャ間予測も用いて符号化を行なう（ピクチャ間順方向予測符号化）方法である。さらに、第３は、更に後方向及び、前方向を組み合わせた両方向ピクチャ間予測も用いて符号化を行なう（双方向予測符号化）方法である。

上記第１の符号化方法でのピクチャをＩピクチャ（Intra-Picture）、第２の方法でのピクチャをＰピクチャ（Predictive-Picture）、第３の符号化方法でのピクチャをＢピクチャ（Bi-directionally predictive-Picture）と呼ばれる。

また、各タイプのピクチャが他のピクチャからピクチャ間予測の参照画として使われるか否かという点で考えると、ＩピクチャやＰピクチャは参照されるが、Ｂピクチャは参照されない。そこで、ＩピクチャとＰピクチャをまとめて参照ピクチャを呼ぶことにする。

さらに、動画像の各ピクチャ間は時間的相関度が大きいため、前方ピクチャとの相関を利用したＰピクチャはＩピクチャよりも冗長度を落とすことが可能である。また、後方ピクチャとの相関を利用したＢピクチャはＰピクチャよりも冗長度を落とすことが可能である。

すなわち、同画質時のピクチャの情報量を見るとＩピクチャ＞Ｐピクチャ＞Ｂピクチャという関係になっている。また、参照ピクチャは、少なくとも他のピクチャからの動き予測に使われ、予測画面を生成する元になりうるので、出来るだけ高画質である事が望まれる。

その意味からも情報量は、参照ピクチャ>非参照ピクチャであることが望ましい。

しかしながら、情報量が少ないＰピクチャやＢピクチャばかりを用いて符号化を行えば効率が良いとは言えない。なぜならば、エラー等が発生した場合は、ＰピクチャやＢピクチャのピクチャ間符号化では、エラーが時間方向に伝搬してしまう。

このため不都合が生じるので周期的にIピクチャでリフレッシュすることが望ましい。実際には、Ｂピクチャを用いて符号化する場合は、図２７に示すように、ピクチャタイプを変更して符号化を行うのが一般的である。

以降説明する図面においても同様であるが、図２７において、ＢはＢピクチャ、ＩはＩピクチャ、ＰはＰピクチャを示す。また、ピクチャ間予測の矢印は、矢印の根元のピクチャを用いて矢印の先のピクチャの予測画面を生成するという意味である。

ちなみに、図２７の例ではＧＯＰ（Group of Pictures）サイズが１２ピクチャ即ち、Ｉピクチャでのリフレッシュが１２ピクチャ毎に行われる。そして、各参照ピクチャ間の距離が３ピクチャとなっている。

さらに、ピクチャ間予測は、先に説明したようにピクチャをいくつかのブロックに分割したマクロブロック単位に行われる、符号化ピクチャのマクロブロックを参照ピクチャの同じ大きさのブロックと画素単位の差分量を求める。

そして、その累積和を予測誤差として最も予測誤差が小さいブロックを取り予測画面を生成する。次いで、符号化マクロブロックとの差分情報を符号化する。差分量としては、単純な画素差分の絶対値和や画素差分の二乗和などが用いられる。

ここで、Ｉピクチャを多用した場合は同じシーン（場面）を同画質で符号化するので、符号化情報量が増大し好ましくない。固定レートで符号化を行う場合は、その分ピクチャ単位の情報量割り当てが少なくなり画質が悪くなるということになる。

シーンチェンジ（場面変更）等のピクチャ間の相関が低い場合は、ピクチャ間予測を使うと予測効率が悪く、場合によっては、ピクチャ内符号化を行う場合よりも、画質が悪くなるということもある。

したがって、かかる不都合に対する対策として、ある固定間隔毎にＩピクチャで符号化を行う場合であっても、図２８に示すようにシーンチェンジＳＣが検出された場合、その直後のピクチャでは、Ｉピクチャ等のピクチャ内符号化を使って符号化するという方法が提案されていた。

この方法では、シーンチェンジが発生する度に、Ｉピクチャやピクチャ内符号化を行うピクチャが発生するので、やはりその分の符号化情報量が増大するので好ましくない。

また、Ｉピクチャの頻度を出来るだけ増加させない為に、図２９に示すように、シーンチェンジが発生すると、これまでのＩピクチャの固定間隔周期のカウント値をリセットする。そして、リセット時のピクチャからＧＯＰの再構成をして、固定間隔周期のＩピクチャ(例えば、ＧＯＰサイズ＝１２)で符号化するという方法がある。

あるいは、図３０に示す様にＢピクチャでシーンチェンジが発生した場合は、そのＢピクチャでなく、入力順で直後に来る参照ピクチャをＩピクチャもしくはフレーム内符号化にして、前後の参照ピクチャからのピクチャ間予測を用いて行うという方法も考えられる。

しかし、図３０に示す例の場合では、特に入出力機器まで含めてリアルタイムに符号化処理をハードウェアで実現することを想定すると、参照ピクチャの現れる周期は，全く検討がつかない。したがって、参照ピクチャが固定周期で現れる場合に較べ、ピクチャのメモリ管理が困難となる。

また情報量割り当ての面から見ても、ＢピクチャからＩピクチャに変更するより、ＰピクチャからＩピクチャへの変更の方が、情報量割り当ての大幅な変動がないという面でストリームバッファがアンダーフローやオーバーフローの状態になり難い。結果として、図３０の方法が好ましいと思われる。

しかしながら、図３０に示すような制御方法でも以下の様な問題がある。

ここで、図３１は、かかる図３０における問題点を説明するために用意された図である。説明の容易化のために符号化ピクチャであるＢピクチャと前方向参照ピクチャ、後方向参照ピクチャ以外は示されていない。

一般にフレームをピクチャとして符号化を行うフレームストラクチャの場合は、ピクチャ間予測として、フレーム間予測とフィールド間予測が行われる。

さらに詳しく説明すると、フレーム予測の中で、前方向予測、後方向予測、その両方の予測で得られた予測画像を組み合わせた画像で予測する両方向予測の３つがある。フィールド間予測の中でも同様に、前方向予測、後方向予測、その両方の予測で得られた予測画像を組み合わせた画像で予測する両方向予測の３つがある。

図３１に示した動きベクトルの参照番号の中で、番号５、１０がフレームベクトルである。番号１、２、３、４、６、７、８、９がフィールド予測である。なお、図３１において、左フィールドが奇数フィールドであり、右フィールドが偶フィールドとして示している。

フレーム予測で前方向予測を用いる場合に選択されるベクトルは番号５で、後方向予測を用いる場合に選択されるベクトルは番号１０のベクトルである。両方向予測を用いる場合は、番号５と１０の両方のベクトルが用いられる。

一方、フィールド予測では、奇偶各々のフィールド毎に動きベクトルを用いて予測画面を生成する。

前方向予測の場合は、Ｂピクチャの奇フィールドは番号１又は２の動きベクトルを用いて予測画面を生成し、偶フィールドは番号３又は４の動きベクトルを用いて予測画面を生成する。

同様に後方向予測の場合は、奇フィールドは番号６又は７の動きベクトルを用い、偶フィールドは番号８又は９の動きベクトルを用いる。両方向予測の場合は、奇フィールドは番号１又は２の動きベクトルを用いて生成された前方向予測画面と、番号６又は７の動きベクトルも用いて生成された後方向予測画面を組み合わせて参照画面を生成する。

偶フィールドは番号３又は４の動きベクトルを用いて生成された前方向予測画面と、番号８又は９の動きベクトルを用いて生成された後方向予測画面を組み合わせて参照画面を生成する。

以上が、現在ＭＰＥＧ−２などの動画像符号化方式で用いられている動き予測の方法である。しかし、シーンチェンジがインターレースフレーム内の奇／偶フィールド間で発生した場合は、現在の動画像符号化方式のアルゴリズムでは、フレーム構造符号化を行っている限り、フィールド予測で片フィールドは前方向予測、もう片フィールドは後方向予測を行うことは不可能である。

このために、当該ピクチャにおいて符号化効率が極端に低下し、画質の劣化が顕著となる。また、ピクチャ間で予測が当たらないためにＢピクチャでピクチャ内符号化を行うマクロブロックが増えるのであれば、直後の参照ピクチャをＩピクチャやピクチャ内符号化で行うという意味もなくなってしまう。

したがって、本発明の目的は、シーンチェンジがインターレースフレーム内の奇／偶フィールド間で発生するようなピクチャが存在する場合であっても符号化効率や画質の良い符号化を実現できる動画像符号化方法および装置を提供することにある。

また、本発明の目的は、予測モードの追加や、符号化方式の切換えや入力データの切換え等を適切に行うことにより、符号化効率や画質の良い動画像符号化方法及び装置を提供することにある。

上記の課題を達成する本発明の第１の側面は、インターレース画像の入力信号の１つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化方法であって、前記インターレース画像の入力信号のシーンチェンジをフィールド単位で検出し、少なくとも時間的に過去である前方向ピクチャと未来である後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャを前記予測符号化で用いる前方向ピクチャもしくは前記後方向ピクチャの何れか一方のピクチャと同一データとして符号化することを特徴とする。

ピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャを前記予測符号化で用いる前方向ピクチャもしくは前記後方向ピクチャの何れか一方のピクチャと同一データとする符号化は、前記予測符号化時の予測方向を予測に用いる前記一方のピクチャを示す片方向フレーム予測に固定し、動きベクトルを０にし、更に、符号化差分情報を０にして符号化を行なうことが可能である。

上記課題を達成する本発明の第2の側面は、インターレース画像の入力信号の１つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化方法であって、前記インターレース画像の入力信号のシーンチェンジをフィールド単位で検出し、ピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャに対して、片フィールドを繰り返し、２つの同一フィールドからピクチャを構成し符号化することを特徴とする。

上記の課題を達成する本発明の第３の側面は、インターレース画像の入力信号の１つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化装置であって、入力信号の画像のシーンチェンジをフィールド単位で検出するシーンチェンジ検出手段と、前記入力信号の画像フレームをピクチャとして符号化を行うフレーム符号化手段と、時間的に過去である前方向ピクチャと、未来である後方向ピクチャの各々もしくは両方のピクチャから予測を行うピクチャ間予測手段と、少なくとも前方向ピクチャと後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャに対し、該フレーム符号化手段の予測で用いる前方向参照ピクチャもしくは後方向参照ピクチャの何れか一方のピクチャと同一データとして符号化する様に制御する制御手段とを有することを特徴とする。

上記の課題を達成する本発明の第４の側面は、インターレース画像の入力信号の１つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化装置において，前記入力信号の画像のシーンチェンジをフィールド単位で検出するシーンチェンジ検出手段と、前記入力信号の画像フレームをピクチャとして符号化を行うフレーム符号化手段と、時間的に過去である前方向ピクチャと、未来である後方向ピクチャの各々もしくは両方のピクチャから予測を行うピクチャ間予測手段とを有し、該フレーム符号化手段は、前方向ピクチャと後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャに対し、一方のフィールドをレピートし、２つの同一フィールドからピクチャを構成し符号化を行うことを特徴とする。

本発明によれば、フレームストラクチャ符号化時にＢ-ピクチャで、かつフレームピクチャの切れ目でない所でシーンチェンジ検出が発生した場合でも、予測効率の劣化しない効率的な符号化を行うことができる。上記各実施例において、ハードウェアブロックの構成で動作を説明してきたが、本発明はハ−ドウェアに限定されず、対応する機能をソフトウェアで実現することも可能である。

本発明の更なる特徴は、以下の図面に従う発明の実施の形態の説明から明らかになる。

以下図面に従い、本発明の実施の形態を説明する。なお、図において、同一又は、類似のものには同一の参照番号又は、参照記号を付して説明する。なお，以下に説明する各実施例は本発明の理解のために例示されたものであり、本発明の保護の範囲はこれら限定されない。本発明思想から離れるものでない限り、特許請求の範囲に記載の構成と均等であるものも本発明の保護の範囲に含まれるものである。

図１は、本発明の第１の解決原理を説明する図である。図において、Ｐ，Ｂ，ＩはそれぞれＰピクチャ、Ｂピクチャ及びＩピクチャを示すことは、先の図２６乃至図３１で説明したと同様である。

図１の解決原理の特徴は、フレーム構造符号化時のＢピクチャ時において予測モードを追加する点にある。一方の片フィールドは前方向予測、他方の片フィールドは後方向予測という予測を行うことを可能とすれば、効率良く予測を行うことが可能である。

図１において、図３１との比較により明確なように、奇フィールドのＢピクチャは前方向予測を行ない、偶フィールドのＢピクチャは後方予測を行なっている。すなわち、奇フィールドは１又は２の動きベクトル、偶フィールドは８又は９の動きベクトルを使った予測が可能である。

さらに符号化において、動き予測モードを追加した場合には、その追加した予測モードが含まれていても復号出来る復号方式を用意することは必要である。

次に、本発明に従う第２の解決原理は予測モードを追加しない方法である。図２は、本発明の第２の解決原理を説明する図である。少なくとも該当のフレーム内フィールド間でシーンチェンジが検出されたＢピクチャでは、そのフレームは２枚のフィールドピクチャとしてフィールド構造符号化を行うという方法である。

すなわち、図２に示されるように、Ｂピクチャの奇／遇フィールド間でシーンチェンジを検出した場合には、このＢピクチャの奇／遇フィールドは、２枚のフィールドピクチャとして符号化処理を行なう。

このようにすると、２つのフィールドの片フィールドは前方向予測、他の片フィールドは後方向予測というピクチャ間予測が可能になり効率良く予測を行うことが可能になる。

さらに、第３の本発明の解決原理として、予測モードも追加せずに、ピクチャ構造も変更しない場合である。この場合は、効率的なピクチャ間予測を行うことは困難であるので、符号化ピクチャを前方向もしくは、後方向の参照画面にピクチャ間予測で貼り付け，あるいは入力信号を操作して実際の原画とは違う画面として符号化する。

これにより符号化効率を落とさない符号化を可能にする。例えば、図３に示す様に、少なくともフレーム内フィールド間でシーンチェンジが発生したピクチャ（図３ではピクチャＢ）において、そのピクチャを前方向参照画、もしくは後方向参照画と同一データとなるように符号化画面を符号化する。

図３の場合は、前方向参照ピクチャと同一データとなるように符号化を行っている。すなわち、表１に示すように、ピクチャＢの入力の符号化では、ピクチャＡと同一データとなるように符号化を行っている。ただし、特に一連するＢピクチャが複数枚存在する場合は、より近い参照ピクチャと同一データと見做すことが好ましい。

また、時間的にみて符号化するＢピクチャと参照ピクチャの間に他のＢピクチャが存在する場合は、当該Ｂピクチャも参照ピクチャと同一データとして符号化することが好ましい。これは、符号化ストリームを再生する場合に画像の連続性が保たれるからである。

実際の符号化画像とは違う画面として符号化する方法としては、本発明に従う更に別の方法がある。図４に示す様にフレーム内フィールド間でシーンチェンジを検出した場合には、当該のフレームはそのピクチャの片方のフィールドを繰り返すという方法である。

これにより繰り返えされた後のシーンでは、シーンチェンジを、フレーム単位に変更することが出来る。このために、符号化効率が高くなる。この片フィールドを繰り返すという方法は、特に符号化に関係なく入力データだけを見て行うことも可能である。

次に上記の本発明の解決原理を実現する実施例について説明するが、その説明に先立って、本発明の理解の容易化のために、本発明の解決原理が適用される符号化装置の一般的な構成例を説明しておく。

図５は、本発明の解決原理が適用される符号化装置の一般的な構成例ブロック図を示す。符号化制御部１により、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順序が制御され、これに対応してスイッチＳＷ１、ＳＷ２がピクチャ内符号化(intra)側あるいは、ピクチャ間符号化(inter)側に切りかえる。

符号化器２は、直交変換回路と量子化回路で構成される。これにより空間方向の圧縮と、データ構造によるデータ量削減が可能である。符号化器２からＭＰＥＧ符号化されたデータ列が出力される。

一方、符号化器２の出力は復号化器３に入力し符号化器２の符号化処理に対応する復号化処理が行われる。そして、復号化された画像データはフレームメモリ４に格納され、動き探索及び動き補償処理に用いられる。

動き探索器５は、図６に示す構成例であり、図２７に示した参照画の探索範囲にあるｍ個のマクロブロックのデータが各々入力されるｍ個の差分絶対値和演算回路５１〜５ｍと、ｍ個の差分絶対値和演算回路５１〜５ｍの出力を入力し、最小値を選択出力するための比較器５０を有する。

ここで、上記ｍ個のマクロブロックは、例えば１６×１６画素を一つのマクロブロックの単位として、参照画の探索範囲において、１画素ずつ横方向、縦方向にシフトして得られる。

差分絶対値和演算回路５１〜５ｍの各々の他の入力端には共通に、原画マクロブロックの各画素が入力される。

図６の差分絶対値和演算回路５１〜５ｍの構成は共通であり、その構成例ブロック図が図７に示される。図７において、一つのマクロブロックを構成する画素数Ｎに対応した数の差回路５１２〜５１Ｎ、絶対値演算回路５２１〜５２Ｎを有する。

さらに、絶対値演算回路５２１〜５２Ｎの出力を累積加算する累積加算器５０１を有する。ここで、上記のように、一つのマクロブロックを１６×１６画素で構成する場合は、Ｎは、２４６である。

図６において、比較器５０は、複数ｍ個のマクロブロックに対応する差分絶対値和加算回路５１〜５ｍの出力を入力し、最小値の差分絶対値和加算回路５１〜５ｍの出力を選択する。

すなわち、参照画探索範囲において最も原画マクロブロックと相関関係の深いマクロブロックを選択し、動き探索結果として動きベクトル（移動量）、差分絶対値和が出力される。

さらに、動き予測判定器６は、上記のように参照画と原画の差分絶対値和の最小値を出力するに当って、前方向にある即ち、過去の参照画との差分絶対値和の最小値、後方向にある即ち、未来の参照画との差分絶対値和の最小値及び、両方向の参照画との差分絶対値和の最小値を出力する。

さらに、参照画との差分絶対値和は、フレーム予測の場合のフレーム予測差分絶対値和と、フィールド予測の場合のフィールド予測差分絶対値和を出力する。

ここで、フレーム予測差分絶対値は、上記例では１６×１６画素差分絶対和最小値であり、フィールド予測差分絶対値は、奇ライン１６×８画素差分絶対値和最小値と遇ライン１６×８画素差分絶対値和の和である。

これらの差分絶対値が、動き予測判定器６に入力する。図８は、動き予測判定器６の構成例ブロック図である。前方予測、後方予測及び、両方向予測に対応して予測比較器６０，６１及び６２がある。それぞれの予測比較器は、フレーム予測差分絶対値とフィールド予測差分絶対値を比較して、小さい方を出力する。

一方、符号化制御部１による制御により、Ｐピクチャ符号化又は、Ｂピクチャ符号化の切替え選択が制御される。Ｐピクチャ符号化時は、予測比較器６０から選択されたフレーム予測差分絶対値又は、フィールド予測差分絶対値が予測結果として出力される。

また、Ｂピクチャ符号化の時は、予測比較器６３において、予測比較器６０，６１及び６２の出力が入力され、これらの最小値を選択して動き予測判定器６の出力として出力される。

ここで、動き予測判定器６における予測判定タイプと、動きベクトルを考えると、下記表２のとおりである。

動き予測判定器６の出力は、ピクチャ間符号化の時、符号化制御部１によりスイッチＳＷ１が差回路７側に切換えられる。したがって、差回路７により入力画像データと動き予測判定器６の予測結果出力との差分が出力され、符号化器２に入力される。

次に、上記図５乃至図８の一般的符号化装置構成に対し、本発明の図１乃至図４において説明した本発明の解決原理を実現する構成を説明する。

図９は、本発明の第１の実施例として、上記本発明の第１の解決原理を実現する動き予測判定器６の構成例ブロック図である。本発明は、図８の動き予測判定器６の構成に対し、更に別の予測比較器６４を設けている点に特徴を有する。

図９に示す実施例で実現されるフレームストラクチャ符号化は、図１において説明した本発明の第１の解決原理として、Ｂピクチャのフィールド予測において、片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行なう予測モードを追加したものである。

この予測モードを追加するために、シンタックス（データ列規則）上マクロブロック単位に追加ビットを必要とする可能性もある。したがって、この予測モードはピクチャ単位にオン/オフが可能な構成であることが有利である。

このための方法としては、これまでの動き予測で行っていた、フレーム予測やフィールド予測と同じ様に片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行う、１方向1ベクトルのフィールド予測の予測誤差も計算し、予測比較器６３で最小の予測誤差を示す動き予測を選択する。

なお、図９においてスイッチＳＷは、本発明の両方向予測を行うピクチャのフィールド予測において、片フィールドは前方向からの予測、他の片フィールドは後方向からの予測を行なう予測モードを採用するか否かにより切換えるために用意されている。

ここで、図９の実施例における予測タイプとベクトル本数について考察すると表３のようになる。

表３において、両方向予測におけるフィールド予測は従来のものであり、表２におけると同様である。両方向予測におけるフィールド２の予測が本発明により追加されたものであり、一方向当り１本の動きベクトルであり、従って前／後方向予測につき２本の動きベクトルを有する。

図１０は、更に本発明の第２の実施例に従う動き予測判定器６の構成例ブロック図である。図９の実施例に対し、追加された予測比較器６４の出力を予測比較器６３に常に入力するように構成される。

したがって、Ｂピクチャに対し、常に片フィールドは前方向フィールド予測結果から、他の片フィールドは後方向フィールド予測結果からの予測を項目に入れるようにした構成である。

上記のように本発明により、新しい予測モードとしてフィールド予測で動きベクトルが片方向あたり1本という予測モードが追加される。

表４は、ＭＰＥＧ−２でフレームストラクチャの予測モードを符号表（Table 6-17 Meaning of frame#motion#type:ISO/IEC 13818-2 (MPEG-2 Video)のframe#motion#typeの定義）である。

ここで、予測モードの追加に対し、符号ビットを一つも増やさないで実現するためには、上記表３の予測タイプ（Prediction type）の“reserved”に割り当てられているコード“00”に、下記表５のように、この予測モードを割当ててやればよい。

ここで、追加するモードの中には、奇フィールド(top#field)が前方向予測、偶フィールド(bottom#foeld)が後方向予測である場合と、その逆である奇フィールド(top#field)が後方向予測、偶フィールド(bottom#foeld)が前方向予測である場合が考えられる。

フレーム内フィールド間シーンチェンジ発生時の動き予測効率を上げるためには、入力時間で考えて前に存在するフィールドが前方向予測を行い、後に存在するフィールドが後方向予測を行えば良い。

ＭＰＥＧ−２ではインターレース画像1フレームを構成するために、どちらのフィールドが時間的に先に存在するかは、Picture coding extensionに存在するtop#filed#first#flagという1ビットのフラグを参照すればよい。

すなわち、top#filed#first#flag=1の場合は図１１Ａが該当し、奇フィールドが前方向予測を行う。反対に、top#field#first#flag =0の場合は図１１Ｂが該当し、偶フィールドが前方向予測を行うようにすれば良い。

つまり、新しく追加するフィールド予測でどちらのフィールドが前方向予測を行うかは、Picture coding extensionに存在するtop#filed#first#flagで一意に決まるので、新たにフラグは設けなくてもよい。

また、動きベクトルもフィールド予測であるが、ベクトルの数は片フィールドに対して１本ずつなので、あたかもフレーム予測のように送ることが可能である。

上記第２の実施例では、ＭＰＥＧ−２のシンタックス上に追加ビットを何も必要としないので、この予測は常にオンとすることが好ましい。

図１２は、本発明の第３の実施例を説明する図である。図１２の構成は、図９の構成に対し、スイッチＳＷの切換えをフィールドシーンチェンジ検出回路６５により制御するようにしたものである。

今、上記第２の実施例説明に関連して、上記表３においてコード(code)欄の“００”が、なぜ“reserved”ビットになっているかは、２３ビットの０と１ビットの１を共通して持つ、ＭＰＥＧのスタートコードをユニークワードにするためであると思われる。

したがって、新しい動き予測タイプを“００”に割当てることが不可能である場合は、“frame#motion#type”のビットを1ビット増やすか、新たなモード識別ビットを最低でも1ビット設けなければばらなくなる。

この場合、動き予測はマクロブロック単位に行うので、例え追加ビットが1ビットであろうとも、ピクチャ当りに換算すると多大なビット量の増加になってしまう。尚且つ、そのビットの追加により効率が上がるのは、フレーム内フィールド間のシーンチェンジ発生ピクチャのみということは充分に考えられる。

したがって、第３の実施例では、第１の実施例における追加動き予測モードのオン／オフフラグを設け、フレーム内フィールド間シーンチェンジが発生し、かつそのピクチャがＢピクチャである場合にそのフラフをオンにする。

図１２に示すように、フィールドシーンチェンジ検出フラグを生成する回路としてシーンチェンジ回路６５を設ける。これにより、フィールドシーンチェンジが発生したＢピクチャでは、フィールド予測で片フィールドは前方向からの予測、もう片フィールドは後方向から予測するという予測モードが追加される。

このようにすることにより、フィールドシーンチェンジ発生でないＢピクチャでのモード追加による符号量の追加ビットは，高々１ビットとなり、符号量の増加の抑制が可能となる。

図１３は、本発明の第４の実施例を説明する図である。図５の構成に対し、符号化入力データ側にフレーム構造とフィールド構造の切換えを行なう切換え回路６６を設けている。切換え回路６６は、シーンチェンジ検出回路６５によりフレーム内フィールド間シーンチェンジが発生し、かつそのピクチャがＢピクチャである場合が検出された時、フレーム構造とフィールド構造の切換えを行なう。

フィールド構造符号化を行うと、例えば、1枚目のフィールドピクチャでは前方向予測、もう一枚のフィールドピクチャでは後方向予測を行うことは可能となり、大幅に予測効率が落ちることはない。

図１４は、図１３の実施例におけるシーンチェンジ検出回路６５の構成例ブロック図である。図において、画素番号は、フィールドをラスタースキャンした順番で、Ｎ_fieldは、フィールドの画素数を意味する。

フィールド単位で現フィールドと前フィールドとの画素毎の差を求める差回路６５１〜６５Ｎ、差回路の出力の絶対値を求める絶対値回路６６１〜６６Ｎ、絶対値回路６６１〜６６Ｎの出力を累積加算する累積加算器６５０及び、累積加算器５０の出力を閾値ＴＨと比較判定する閾値判定回路６６０を有して構成される。

すなわち、１フィールド分の差分絶対値の累積加算値が閾値ＴＨを超えたときに識別判定回路６６０から識別判定出力が生成される。

図１５は、更にかかる識別判定回路６６０からの識別判定出力に基づきフィールドシーンチェンジを検出する、シーンチェンジ検出回路６５における検出アルゴリズムを説明する図である。図１６は、図１５のアルゴリズムにおける第1フィールドＦ１と第２フィールドＦ２の関係を示す図である。

この図１６を参照して図１５のアルゴリズムを説明すると、top#field#first#flagの値によって決まる第１フィールドＦ１でシーンチェンジの有無を検出する（ステップＳ１）。第１フィールドＦ１でシーンチェンジが検出されない場合、第２フィールドＦ２でシーンチェンジの有無を検出する（ステップＳ２）。

この時、ステップＳ２の判断でシーンチェンジがある場合、図１６に示すように第１フィールドＦ１と第２フィールドＦ２間でシーンチェンジがあることになる。したがって、この場合は、フィールドシーンチェンジＦＩＣであると判断される。

また、ステップＳ２の判断でシーンチェンジがない場合、シーンチェンジでないと判断される（ステップＳ５）。

ステップＳ１で、シーンチェンジがある場合、次に第２フィールドでシーンチェンジの有無が判断される（ステップＳ４）。第２フィールドでシーンチェンジがない場合は、シーンチェンジでないと判断される（ステップＳ５）。第２フィールドでシーンチェンジがある場合は、図１６に示すように、第１フィールドに跨ってシーンチェンジがあることになるので、この場合は、フレームシーンチェンジＦＲＣであると判断する（ステップＳ６）。

図１７は、本発明の第５の実施例を説明する図である。この実施例は、動き予測モードを制限することに特徴を有する。

先に第３の解決原理として説明した、フレーム内フィールド間シーンチェンジが発生した場合で、かつ当該ピクチャがＢピクチャである場合に符号化画面を前後どちらかの参照画面と同一データとして符号化を行うことを実現する実施例である。

図１７の実施例では、動きベクトル予測方向を片方向固定、フレーム予測固定、動きベクトルを０ベクトルに固定し、かつ符号化係数情報も送らないように符号化制御を行う構成である。

このようにすることにより、図３で説明した解決原理に対応して、符号化ピクチャを参照ピクチャのローカルデコード画面と同一データとして符号化出来る。動きベクトルを固定にするのは、全て動きモード検出を行った後でも可能であり、このモードに入った場合には、動き予測モードの演算全てを行わないようにすることも可能である。

かかる構成により、符号化効率が極端に悪くなることを防ぐことが可能である。この場合、符号化ピクチャを、シーンチェンジの前もしくは後の参照ピクチャのどちらかと同一と見做して符号化を行うので、実際は、片フィールドはシーンチェンジ前もしくはシーンチェンジ後の全く違う画像を符号化していることになる。

また、同一データと見做す参照ピクチャは、シーンチェンジ発生ピクチャに入力時間でより近い参照ピクチャを用いる方が良いと思われるが、必ずしもこれに限られない。

また、シーンチェンジ発生ピクチャと参照ピクチャの間に別のＢピクチャが存在する場合は、当該Ｂピクチャも参照ピクチャと同じデータとして見做した方がより視覚的、符号化効率的に好ましい。

図１８は、本発明の第６の実施例を説明する図であり、符号化入力データを切換える点に特徴を有する。図１８の構成において、データ入力側にフレームメモリ読出し回路６７を設け、上記図１７の実施例における参照ピクチャと同一データとして見做す方法として、入力画面から符号化データを設定する時に、同一データと見做したい方の参照ピクチャを設定する。

図１９は、図１８のフレームメモリ読出回路６７の構成例である。なお、図１９では、フィールド１の入力に対する読出回路が示されるが、フィールド２についても同様構成であるので、図示省略されている。

シーンチェンジ検出回路６５からのシーンチェンジ検出信号により切換えられるスイッチＳＷを有し、Ｂピクチャであって、フィールドシーンチェンジの時、スイッチＳＷにより、前参照ピクチャ又は後参照ピクチャと同一データが読み出される。カウンタ６７０は、Ｉ，Ｐ，Ｂピクチャ切換えタイミングを生成する。

ここで、一般にＭＰＥＧ−２では、原画同士を用いて動き探索を行うので、参照ピクチャの原画は、メモリに蓄えられていると考えられる。また、動き補償後の予測画像は、参照ピクチャを一度エンコード/デコードした結果のローカルデコード画像を用いて行う。このため、復号化された参照ピクチャもメモリに蓄えていると考えられる。

従って、ここで原画ピクチャとして設定する参照ピクチャは、原画/ローカルデコード画のどちらも設定可能である。また、符号化画面を変更しているので、図１７の実施例に示す符号化方法の制限は特に必要としない。

ここで、図１７、図１８の実施例における符号化では、参照ピクチャと同じデータを用いるので当該ピクチャでは殆ど情報量が発生しない。このため、情報量をＧＯＰ内の他のピクチャに割当てる事が可能となるという効果もある。

図２０は、本発明の第７の実施例を説明する図である。この実施例では本発明を必ずしも符号化装置とリンクしないで適用可能とするものである。すなわち、一般的な用途に適用可能な入力画像切換え装置として適用可能である。

１フレームを構成するフィールド１及び、フィールド２のデータを入力し、それらの間でシーンチェンジがある場合、即ち、フレーム内フィールド間シーンチェンジ発生をシーンチェンジ検出回路６５が検出する。

シーンチェンジ検出回路６５は、フィールドシーンチェンジの発生を検知した時、スイッチ切換え信号を発生し、スイッチＳＷを端子１側に切換え、フィールド１と同一のデータをフィールド２に対し出力する。

このように、フィールドシーンチェンジが検出される場合、該当のフレームでは、フィールドをレピートさせて入力フレームをつくり変える。片フィールドをレピートすることにより、図４に説明した解決原理に従い、フレーム内フィールド間シーンチェンジの位置を、擬似的にフレーム間シーンチェンジに変更することが出来る。

図２１は、本発明の第８の実施例を説明する図である。この実施例は、図２０の実施例を符号化装置に適用した構成である。図２１の前処理回路６８として、図２０の実施例が適用される。

図２２は、図２１における前処理回路６８の構成例である。シーンチェンジ検出回路６５により、フィールドシーンチェンジ検出が行われると、スイッチＳＷによりフィールド２に対し、フィールド１のデータをレピートして出力する様に構成されている。なお、カウンタ６７０の機能は、図１９の実施例において説明したと同様である。

この実施例による符号化の実際においては、符号化効率が悪くなるＢピクチャでのフレーム内フィールド間シーンチェンジで処理を行う。シーンチェンジがフレーム間シーンチェンジならば、入力時間的にシーンチェンジの直後の参照ピクチャを、Iピクチャもしくはピクチャ内符号化を行う様にするだけで、Ｂピクチャは前後参照ピクチャから効率良く予測符号化を行うことが出来る。

符号化画像を実際の入力画像と異なる画像として符号化を行うという意味では、図１８の実施例と考え方は似ているが、図２１の実施例では、フィールド間でシーンチェンジが発生した場合に、フレームを参照ピクチャと置き換えるのではなく、図４で説明したように入力原画で片フィールドレピートすることによりフレーム内の両フィールドを同一データにしている。

図２３は、先に図１〜図４により説明した解決原理に基づく符号化装置に対応する復号化装置の構成例ブロック図である。

復号化器１００の出力がスイッチＳＷの切換えで直接に又は、加算器１０１により動き補償信号と加算された信号が、復号化信号として出力される。

動き補償信号を生成するために、前画メモリ１０２、後画像メモリ１０３を有し、更に前方向動き補償回路１０４、両方向動き補償回路１０５及び後方向動き補償回路１０６を有する。

図２３において、メモリ１０２，１０３から読み出されるデータについて、実線矢印は、フレーム予測の場合であり、破線矢印はフィールド予測の場合である。そして、これらの種類は、マクロブロック毎に切換えられる。

ここで、符号化装置から出力されるＭＰＥＧストリーム中のマクロブロック（ＭＢ）情報は、ＭＢの位置、前方向、後方向又は両方向予測を区別する予測タイプ、動きベクトル及び、符号化係数情報を含んでいる。

現在のＭＰＥＧ−２規格ではフレーム構造符号化時の動きベクトルの本数は、表１に示したように、フレーム予測の場合は片方向１本で、フィールド予測の場合は片方向２本となっている。

この場合のストリーム上のデータは以下のようになっている
片(前又は後)方向予測のフレーム予測場合は、
予測タイプ＋動きベクトル１
片(前又は後)方向予測のフィールド予測場合は、
予測タイプ＋動きベクトル１＋動きベクトル２
上記の動きベクトル１は、top#field(奇フィールド)のベクトル、動きベクトル２は、bottom#field(偶フィールド)のベクトルである。

両方向予測のフレーム予測場合、
予測タイプ＋動きベクトル１＋動きベクトル２
であり、動きベクトル１は、forward#frameベクトル、動きベクトル２は、backward#frameベクトルである。

さらに、両方向予測のフィールド予測場合は、
予測タイプ＋動きベクトル１＋動きベクトル２＋動きベクトル３＋動きベクトル４
である。動きベクトル１は、forward#top#fieldベクトル、動きベクトル２は、forward#bottom#fieldベクトル、動きベクトル３は、backward#top#fieldベクトル、動きベクトル４は、backward#bottom#fieldベクトルである。

本発明に従う両方向フィールド予測は、動きベクトルが片方向１本で
予測タイプ＋動きベクトル１＋動きベクトル２
である。動きベクトル１はforward#fieldベクトル、動きベクトル２はbackward#fieldベクトルである。

これには、動きベクトル１はforward#top#fieldベクトル、動きベクトル２はbackward#bottom#fieldベクトルと動きベクトル１はforward#bottom#fieldベクトル、動きベクトル２はbackward#top#fieldベクトルの２通りの取り方が存在するが、それをtop#field#first#flagでどちらか判断する。

図２４は、図１１と同様の説明図であるが、top#field#first#flagで判断される動きベクトル１及び、動きベクトル２の態様を示す図である。すなわち、top#field#first#flag＝１の場合は、図２４Aに示すように、動きベクトル１はforward#top#fieldベクトル、動きベクトル２はbackward#bottom#fieldベクトルの場合である。

一方、top#field#first#flag＝０の場合は、図２４Bに示すように、動きベクトル１はforward#bottom#fieldベクトル、動きベクトル２はbackward#top#fieldベクトルの場合である。

図２５は、図２３の両方向動き補償回路１０５の構成例ブロック図である。

フレーム予測である場合は、加算回路２５１と１／２回路２５２により、前画像メモリ１０２と後画像メモリ１０３から、各々動きベクトルに相当する位置のフレーム構成のマクロブロックを読み出し、それらの加算の１／２を計算して出力する。

フィールド予測の場合は、４本の動きベクトルの位置に相当する前画像奇フィールド
１／２マクロブロック、前画像偶フィールド１／２マクロブロック、後画像奇フィールド１／２マクロブロック及び、後画像偶フィールド１／２マクロブロックの４つの１／２マクロブロックをメモリ１０２、１０３から読み出す。

次いで、加算回路２５３と１／２回路２５４により、前画像の奇フィールド１／２マクロブロックと、後画像の奇フィールド１／２マクロブロックを入力し、それらの加算の
１／２を計算して出力する。

また、加算回路２５５と１／２回路２５６により、前画像偶フィールド１／２マクロブロックと後画像偶フィールド１／２マクロブロックを入力し、それらの加算の１／２を計算して出力する。

さらに、本発明に従うフィールド予測の場合は、上記top#field#first#flagに基づき２本の動きベクトルに相当する前画像奇フィールド１／２マクロブロックと後画像偶フィールド１／２マクロブロックの組み合わせあるいは、前画像偶フィールド１／２マクロブロックと後画像奇フィールド１／２マクロブロックの組み合わせのいずれをメモリ１０２、１０３から読み出すかを決定する。決定された組み合わせが選択回路２５７からマクロブロックとして出力される。

本発明の第１の解決原理を説明する図である。 本発明の第２の解決原理を説明する図である。 本発明の第３の解決原理を説明する図である。 本発明の第４の解決原理を説明する図である。 本発明の解決原理が適用される符号化装置の一般的な構成例ブロック図である。 図５の構成における動き探索器５の構成例を示すブロック図である。 図６の差分絶対値和演算回路５１〜５ｍの構成例ブロック図である。 動き予測判定器６の構成例ブロック図である。 本発明の第１の実施例として、本発明の第１の解決原理を実現する動き予測判定器６の構成例ブロック図である。 本発明の第２の実施例に従う動き予測判定器６の構成例ブロック図である。 奇フィールド及び偶フィールドの位置関係を説明する図である。 本発明の第３の実施例を説明する図である。 本発明の第４の実施例を説明する図である。 図１３の実施例におけるシーンチェンジ検出回路６５の構成例ブロック図である。 図１３のシーンチェンジ検出回路６５における検出アルゴリズムを説明する図である。 図１５のアルゴリズムに置ける第１フィールドＦ１と第２フィールドの関係を示す図である。 本発明の第５の実施例を説明する図である。 本発明の第６の実施例を説明する図である。 図１８のフレームメモリ読出回路６７の構成例である。 本発明の第７の実施例を説明する図である。 本発明の第８の実施例を説明する図である。 図２１における前処理回路６８の構成例である。 図１〜図４により説明した解決原理に基づく符号化装置に対応する復号化装置の構成例ブロック図である。 本発明のフィールド予測においてtop#filed#first#flagの意義を説明する図である。 図２３の両方向動き補償回路１０５の構成例ブロック図である。 ピクチャを説明する図である。 Ｂピクチャを用いて符号化する場合のピクチャタイプの変更を説明する図である。 シーンチェンジＳＣが検出された場合の直後のピクチャをＩピクチャ等のピクチャ内符号化を使って符号化するという方法を説明する図である。 Ｉピクチャの頻度を出来るだけ増加させない為に、シーンチェンジが発生する時Ｉピクチャの固定間隔周期のカウント値をリセットする方法を説明する図である。 ピクチャでシーンチェンジが発生した場合、入力順で直後に来る参照ピクチャをＩピクチャもしくはフレーム内符号化する方法を説明する図である。 図２９における問題点を説明するための図である。

符号の説明

１ 符号化制御部
２ 符号化器
３ 復号化器
４ フレームメモリ
５ 動き探査器
６ 動き予測判定器
７ 差回路
ＳＷ スイッチ
６０〜６４ 予測比較器

Claims (5)

1. インターレース画像の入力信号の１つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化方法であって、
   前記インターレース画像の入力信号のシーンチェンジをフィールド単位で検出し、少なくとも時間的に過去である前方向ピクチャと未来である後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャを前記予測符号化で用いる前方向ピクチャもしくは前記後方向ピクチャの何れか一方のピクチャと同一データとして符号化することを特徴とする動画像符号化方法。
2. 請求項１において、
   ピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャを前記予測符号化で用いる前方向ピクチャもしくは前記後方向ピクチャの何れか一方のピクチャと同一データとする符号化は、前記予測符号化時の予測方向を予測に用いる前記一方のピクチャを示す片方向フレーム予測に固定し、
   動きベクトルを０にし、更に、符号化差分情報を０にして符号化を行なうことを特徴とする動画像符号化方法。
3. インターレース画像の入力信号の１つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化方法であって、
   前記インターレース画像の入力信号のシーンチェンジをフィールド単位で検出し、ピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャに対して、片フィールドを繰り返し、２つの同一フィールドからピクチャを構成し符号化することを特徴とするインターレース画像信号符号化方法。
4. インターレース画像の入力信号の１つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化装置であって、
   入力信号の画像のシーンチェンジをフィールド単位で検出するシーンチェンジ検出手段と、
   前記入力信号の画像フレームをピクチャとして符号化を行うフレーム符号化手段と、
   時間的に過去である前方向ピクチャと、未来である後方向ピクチャの各々もしくは両方のピクチャから予測を行うピクチャ間予測手段と、
   少なくとも前方向ピクチャと後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャに対し、該フレーム符号化手段の予測で用いる前方向参照ピクチャもしくは後方向参照ピクチャの何れか一方のピクチャと同一データとして符号化する様に制御する制御手段とを有することを特徴とする動画像符号化装置。
5. インターレース画像の入力信号の１つのフレームをピクチャとし、該ピクチャに対し、マクロブロック単位に時間的に過去である前方向ピクチャと、未来である後方向ピクチャの両方向のピクチャから予測符号化を行う動画像符号化装置において，前記入力信号の画像のシーンチェンジをフィールド単位で検出するシーンチェンジ検出手段と、
   前記入力信号の画像フレームをピクチャとして符号化を行うフレーム符号化手段と、
   時間的に過去である前方向ピクチャと、未来である後方向ピクチャの各々もしくは両方のピクチャから予測を行うピクチャ間予測手段とを有し、
   該フレーム符号化手段は、前方向ピクチャと後方向ピクチャの両方のピクチャからピクチャ間予測を行うピクチャで、かつピクチャを構成するフィールドの間にシーンチェンジが存在するピクチャに対し、一方のフィールドをレピートし、２つの同一フィールドからピクチャを構成し符号化を行うことを特徴とする動画像符号化装置。

Images