JP3904248B2 - インタレースフィールドより成る画像間の動きを推定する方法および回路 - Google Patents
インタレースフィールドより成る画像間の動きを推定する方法および回路 Download PDFInfo
- Publication number
- JP3904248B2 JP3904248B2 JP07364795A JP7364795A JP3904248B2 JP 3904248 B2 JP3904248 B2 JP 3904248B2 JP 07364795 A JP07364795 A JP 07364795A JP 7364795 A JP7364795 A JP 7364795A JP 3904248 B2 JP3904248 B2 JP 3904248B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- search
- motion
- optimal
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定する方法であって、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索するステップと、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索するステップとを具え、前記最適フィールドベクトル探索ステップが２つのサブステップを並列に具え、各サブステップがブロック整合法によりフィールドベクトルを探索するステップと、この探索を半画素内に精密化するステップを直列に具える動きを推定する方法に関するものである。
また、本発明は画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定する回路であって、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索する手段と、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索する手段とを具え、前記最適フィールドベクトル探索手段がブロック整合法によりフィールドベクトルを探索する手段と、この探索を半画素内に精密化する手段を具える動き推定回路に関するものである。
さらに、本発明はかかる動き推定回路を具える符号化装置に関するものである。
【０００２】
本発明はこれらデータの送信および／または蓄積前のデジタルデータ圧縮の分野に広く用いられ、特にＭＰＥＧ２標準規格と両立し得るデジタルテレビジョン信号を符号化する装置を達成するものである。
【０００３】
【従来の技術】
テレビジョン画像を実精細度でデジタル形態で伝送するには極めて高いビットレートを必要とし（例えば２５フレーム／秒のカラー画像のシーケンスは１６５メガビット／秒以上のデジタルデータストリームを発生する）、従って極めて広い帯域の伝送チャネルを必要とする（もっと高い精細度ではもっと高いビット速度を必要とする）。このような多量の情報を直接送信することは経済的に実現不可能であり、この情報がデータ伝送及び蓄積メディアのための既存の回線網を使用できるためにはデータの数を圧縮する必要がある。このデータ圧縮は本質的には以下詳細に説明するように隣接画素間の強い空間的及び時間的相関を利用して行われている。
【０００４】
まず最初、ＭＰＥＧ２標準規格の主な特徴を考察する。この標準規格に従うデジタル信号のシーケンスは輝度成分Ｙおよび色信号成分、即ち、色差信号ＵおよびＶに関する情報を具える（輝度Ｙのグレイレベル並びに信号ＵおよびＶの色レベルは８ビットのデジタルワードで表わされる）。ＭＰＥＧ２標準規格により与えられる入力フォーマットに従って、色信号には輝度に対して１／４のサブ−サンプリングが施される。従って４つの輝度値に対して色に関する２つの値（一方がＵ、他方がＶ）が与えられる。８ビットワードのマトリックスが８×８画素のブロックに配列されるので、マトリックスＹの４つの隣接ブロックがマトリックスＵの１つのブロックおよびマトリックスＶの１つのブロックに対応し、これら６つの組合せブロックがマクロブロックを構成する（これらブロックおよびマクロブロックは符号化が施される画像細分単位である）。最後に、マクロブロックを再編成した列がスライスを構成し、各画像は所定数のスライスからなり、例えば上述した例では３６個のスライスからなる。
【０００５】
ＭＰＥＧデータストリーム内の画像（これに対応するデジタル信号のアセンブリも画像と称される）は適用される符号化モードに応じて３つのタイプがある。最も簡単なものは全てのマクロブロックが他の画像と無関係に符号化された画像Ｉである（フレーム内符号化画像）。伝送チャネルが変更される場合またはビット速度が切り替えられる場合、復号化側では前記変更の結果生じる新情報を再構成するためにタイプＩのような画像を必要とする。画像Ｐ（予測符号化画像）は、前画像（タイプＩまたはタイプＰ）に基づく単方向の動き補償によって予測され、従ってタイプＰまたはタイプＩのマクロブロックのみを含む第２のタイプの画像を構成する。最後に、画像Ｂは（タイプＩおよび／またはタイプＰである）前画像と次画像に基づく双方向の動き補償によって予測され、画像Ｂ（双方向予測符号化画像）はタイプＩ，ＰまたはＢのマクロブロックを差別なしに含み得る。
【０００６】
データストリームは６つの情報階層（各層はいくつかの付加情報成分を含む）を具える。画像シーケンスは最上位の層に相当する。このシーケンスは所定数の画像を具える一連の画像の群（ＧＯＰ）で構成される。図１に示すように画像は所定数ｎの画像スライスＳ1 〜Ｓn を含み、各画像スライスは所定数ｒのマクロブロックＭＢを含み、各マクロブロックＭＢは最下位層を構成する所定数のブロック、ここでは６個のブロック（Ｙ1 ，Ｙ2 ，Ｙ3 ，Ｙ4 ，Ｕ，Ｖ）を具える。
【０００７】
ＭＰＥＧ標準規格の特徴を説明したが、本発明を説明する前に、最新の符号化装置の一例を説明する。図２に示すこのような符号化装置は符号化チャネルを具え、この符号化チャネルは離散余弦変換回路１（ＤＣＴ）、量子化回路２および可変長符号化回路３（ＶＬＣ）を直列に含む。このＤＣＴ変換回路１は、後述する減算器１９を経て、デジタル信号を受信する。このデジタル信号は、（もっと具体的に言うと、入力信号と減算器の他方の入力端子に存在する予測信号との差により得られる）符号化装置の入力ビデオ信号に相当し、ブロックの形状で得られ、ここでは８×８画素のフォーマットを有する。この離散余弦変換回路１はこれら信号ブロックを８×８係数のブロックに変換し、その第１係数は当該ブロックの画素のグレイレベルの平均値を表わし、他の６３個の係数はこのブロックの種々の空間周波数を表わす。
【０００８】
量子化回路２は離散余弦変換回路１のこれら出力係数の各々を量子化する。この量子化は、一方では、８×８ブロック内の考慮中の係数の位置に関連し（高い空間周波数は人の眼に左程知覚されないので、対応する係数は比較的大きい量子化ステップで量子化され低精度の量子化を与える）、他方では、ビットレートに関連する量子化ファクタに関連する。この量子化により得られた値は可変長符号化回路３に供給され、この回路３の出力端子はビットレート制御段１５のバッファメモリ４に接続され、これが符号化ワードを蓄積する。このバッファメモリ４の出力が符号化装置の出力を構成する。このバッファメモリ４の出力側に配置されたビットレート制御回路５が、このバッファメモリ４の充填度の関数として、上述した量子化ファクタを量子化回路２に供給し、この充填度に関連する量子化ファクタの値に基づいて量子化ステップをメモリ４がオーバーフローもアンダーフローもしないように修正することができる。ビットレート制御を用いる符号化チェーンは既知であり、従ってこれ以上の説明は行わない。
【０００９】
量子化により得られた値は予測チャネルにも供給される。この予測チャネルは、逆量子化回路６（Ｑ-1）と、逆離散余弦変換回路７（ＤＣＴ-1）と、加算器８と、画像メモリ９と、原画像と画像メモリ９に蓄積された未補償の画像とに基づく動き推定補償回路１８と、入力信号と補償回路１８の出力側に得られる予測信号との差を形成する減算器１９とを具え、これらの信号の差のみを符号化チャネルに供給するとともに、このチャネルではこれら差のみを（前画像に基づく）予測画像と入力画像（または現画像）との間の動きを考慮しながら処理する。
【００１０】
タイプＰまたはＢの画像は比較(参照)画像に対する画像内のシフトを動きベクトルを用いて推定することにより予測される。この動きベクトルもデータストリームで伝送される（多くの場合既に伝送された動きベクトルに対して異なる方法で伝送される）。輝度情報成分に基づくこの動き推定は、動きを評価すべき現ブロック(又はマクロブロック)を比較画像に投影し、該ブロックを動き推定器の最大可能範囲を限定する探索窓内のすべての可能なブロック(マクロブロック)と比較することにある。現画像内の推定されたブロック（マクロブロック）は、所定の近傍において、相関により最も類似する比較画像のブロックであり、一般に可能な最も良い一致は、例えば２つのブロック（またはマクロブロック）の画素の輝度差の可能最低和を得る探索のような最小歪みの規準に従って決定される（この規準はＭＡＥ（平均絶対値誤差）規準と称される）。
【００１１】
例えばヨーロッパ特許出願EP-560577 またはEuropean Association for Signal Processing (EURASIP)刊行の雑誌“信号処理" にA.Puri,R. Aravind およびB.Haskell,が発表した論文“アダプティブ フレーム/ フィールド動き補償ビデオ符号化" のような種々の文献には、このような動き推定の原理及びこのように決定され、送信および／または蓄積された動きベクトルに基づいて復号化側で行われる動き推定の原理も記載されている。これらの文献に示されるように、２つのテレビジョン画像フィールドからのラインが考慮中のブロック（またはマクロブロック）に使用され、２つの動き推定モード：フレームモードとフィールドモードが規定され、図３に示すような動き推定回路が実現されている。
【００１２】
図３において、動き推定は２つのチャネル、即ち、最適フレームベクトルを探索するチャネル１０および可能な最適フィールドベクトルを探索するチャネル２０で達成される。各チャネルでは、動き推定を２つのステージ、即ち最初に全体的な最適動きベクトルの探索、次に半画素以内に改善された動きベクトルの局所的探索で達成する。最後に、かくして得た動きベクトルの比較によって、これらベクトルのうちの一つを現ブロック（マクロブロック）の動きを最もよく表わすものとして選択可能にする。
【００１３】
特に、この目的のために、チャネル１０はフレームベクトル探索ステージ１００を具える。このステージ１００は例えば直列配置されたメモリとブロック整合相関器を具える。このような相関器は慣例の型のものとすることができ、例えば“ＩＥＥＥトランザクションズ オン コミュニケーション”第ＣＯＭ−２９巻、第１２号、1981年１２月、第1799−1808頁にJ.R.JainおよびA.K.Jainが発表した論文“変位測定およびフレーム内像符号化”に記載されているものとすることができ、適応探索範囲内で全ての可能なベクトルを探索した後に最小近似誤差に関連する動きベクトルを選択するものである。このブロック整合探索はタイプＰの画像のときとタイプＢの画像のときとで僅かに相違する。タイプＰの画像を用いる場合には、推定ブロック（マクロブロック）は、最適フレームベクトルにより規定される動きを考慮して、比較画像の他のブロック（マクロブロック）から得られる。タイプＢの画像を用いる場合には、推定ブロック（マクロブロック）は前画像のブロック（マクロブロック）および次画像のブロック（マクロブロック）から同様にして得られる２つのブロック（マクロブロック）の平均値とする。
【００１４】
フレームベクトル探索ステージ100 はその後段に、探索を半画素内に精密化する探索精密化回路130、例えば前記雑誌“信号処理"1990 年２月に記載されている対称空間補間フィルタを設ける。精密化前の推定から得た画素の位置に対して、この半画素以内の精密化はこの画素を中心とする半画素内の８つの隣接位置を考慮し、これらの８つの位置での予測誤差が最小となる位置を決定する。画素Ｓを輝度、（ｘ，ｙ）をこの画素の水平および垂直座標とすると、これらの隣接位置の画素値は例えば次式から得られる。
S(x+0.5;y)=(S(x;y)+S(x+1;y))/2 （１）
S(x;y+0.5)=(S(x;y)+S(x;y+1))/2 （２）
S(x+0.5;y+0.5)=(S(x;y)+S(x+1;y)+S(x;y+1)+S(x+1;y+1))/4 （３）
記号Ｖ０ →は探索の精密化後におけるこの選択されたフレームベクトルを示し、探索精密化回路130 の出力信号の特性を後に示す。
【００１５】
可能最適フィールドベクトルを探索するチャネル２０はフィールドベクトルを探索する２つのサブステージ２１０及び２２０を含むステージ２００を具え、各サブステージの構造はステージ１００（メモリおよびブロックまたはマクロブロック整合相関器）の構造と同様である。最適フィールドベクトルのこの探索のため、２つのブロック整合探索を行い、一方の整合探索は所定のパリティを有するフィールド、例えば奇数フィールドのライン（即ち、ステージ１００の場合の半数のライン）を具えるブロック（マクロブロック）に対して行われ、他方の整合探索は反対のパリティ、例えば偶数フィールドのラインを具えるブロック（マクロブロック）に対して行われる。尚、ここでパリティとはインタレース画像を構成する奇数フィールドと偶数フィールドの奇数／偶数を意味する。各フィールドごとに、参照ブロック（マクロブロック）は参照フレームの偶数フィールドまたは奇数フィールドに見いだすことができる。チャネル１０の場合のように、ステージ２００のサブステージ２１０および２２０の後段に探索を半画素内に精密化する探索精密化回路２３０および２４０が設けられる。これら回路２３０および２４０の構成は回路１３０の構成と同一であり、記号Ｖ１ →，Ｖ２ →は（それぞれ奇数フィールドおよび偶数フィールドに対し）選択し得るフィールドベクトルを示す。
【００１６】
最後に、判定回路２５０は探索精密化回路１３０，２３０および２４０の３つの出力を並列に受信し、例えばこれらの異なる場合において、上記と同一の規準（最小歪みの規準）に基づいて、３つのベクトルＶ０ →，Ｖ１ →，Ｖ２ →から、関連するブロック（マクロブロック）の画素の輝度差の和を比較し、この和が最小となるベクトルを選択することによって、フレーム符号化とフィールド符号化の何れかを選択可能にすることができる。従って、本例では、これら回路１３０，２３０，２４０の３つの出力端子に得られる信号を３つのベクトルＶ０ →，Ｖ１ →，Ｖ２ →のそれぞれに対応する前記の和とし、これらの信号を図３にそれぞれ記号Ｓ(Ｖ０ →)，Ｓ(Ｖ１ →)，Ｓ(Ｖ２ →)により示す。同様に、ステージ１００及びステージ２１０および２２０の出力をそれぞれでＳ(Ｕ０ →)，Ｓ(Ｕ１ →)，Ｓ(Ｕ２ →)示し、ここでＵ０ →，Ｕ１ →，Ｕ２ →は、探索の精密化前に選択された、これら和にそれぞれ対応するフレームベクトルおよびフィールドベクトルである。
【００１７】
【発明が解決しようとする課題】
しかし、図３の動き推定回路において、ステージ１００および２００はその複雑さのため、著しく高価となる。
【００１８】
本発明の第１目的は従来のものに類似するがこれよりも簡単に達成し得る動き推定方法を提供せんとするにある。
【００１９】
【課題を解決するための手段】
本発明は、画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定するに当たり、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索するステップと、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索するステップとを具え、前記最適フィールドベクトルを探索するステップは２つのサブステップを並列に具え、各サブステップがブロック整合法によりフィールドベクトルを探索するステップと、探索を半画素以内に精密化するステップを直列に含む画像間の動きを推定する方法において、前記最適フレームベクトルを探索するステップは、前記フィールドベクトルの探索に続いて行われ且つブロック整合法により得られる各フィールドベクトルと関連する半フレーム周期の時間シフトを考慮して前記フィールドベクトルを１フレーム周期に相当するフレームベクトルに補正するサブステップと、探索を半画素以内に精密化するサブステップと、所定規準に従って最適動きベクトルの選択を決定するサブステップを順次に具えることを特徴とする。
【００２０】
【作用】
かかる方法によれば、例えば前述した最初の２つの文献に示されているような画像ブロックごとの符号化すべき画像のシーケンスの現画像と前画像の間の動きベクトルと満足に近似する動きベクトルを決めることができる。
【００２１】
本発明方法の第１例では、前記最適フレームベクトル探索ステップにおいて、前記補正サブステップは、前記２つのブロック整合法によるフィールドベクトル探索操作と縦続的に実行される、半フレーム周期の時間シフトに基づいて最適フィールドベクトルをフレームベクトルに補正する２つの並列操作を具え、前記探索精密化サブステップは、前記２つの補正操作と縦続的に実行される、探索を半画素内に精密化する他の２つの探索精密化操作を具え、前記決定サブステップは、前記４つの並列の探索精密化操作と縦続的に実行され、これらの探索精密化操作の４つの結果に基づいて前記最適動きベクトルを選択する操作を具えるものとする。
【００２２】
本発明方法の重要な変形例では、前記最適フレームベクトル探索ステップにおいて、前記補正サブステップは、前記２つのブロック整合法によるフィールドベクトル探索操作と縦続的に実行される、半フレーム周期の時間シフトに基づいて最適フィールドベクトルをフレームベクトルに補正する２つの並列操作を具え、前記探索精密化サブステップは、前記２つの補正操作の後に探索を半画素内に精密化する第３の探索精密化操作を具え、前記決定サブステップは、前記２つの補正操作と前記第３の探索精密化作操作との間で従続的に実行される、２つの動きベクトルの選択を行う第１の選択操作と、前記３つの探索精密化操作の出力側で３つの動きベクトルの間の選択を行う第２の選択操作とを具えるものとする。
【００２３】
本発明の他の目的はこれらの方法を実施する回路装置を提供せんとするものである。
【００２４】
この目的のため、本発明は画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定する回路であって、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索する手段と、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索する手段とを具え、前記最適フィールドベクトル探索手段がブロック整合法によりフィールドベクトルを探索する手段と、この操作を半画素内に精密化する手段とを具える動き推定回路において、前記最適フレームベクトル探索手段は前記ブロック整合法によるフィールドベクトル探索手段の後に配置され、ブロック整合法により得られる各フィールドベクトルと関連する半フレーム周期の時間シフトを考慮して前記フィールドベクトルをフレームベクトルに補正する手段と、探索を半画素以内に精密化する手段と、所定規準に従って最適動きベクトルの選択を決定する手段とを具えることを特徴とする。
【００２５】
本発明装置の変形例では、最適フレームベクトルを探索する第１チャネルと、最適フィールドを探索する第２チャネルとを具え、該第２チャネルは各々がブロック整合法によりフィールドベクトルを探索するサブステージと探索を半画素内に精密化する回路を直列に含む２つの並列支路を具える請求項４に記載の動き推定回路において、前記第１チャネルは一つの入力端子が前記２つのフィールドベクトル探索サブ−ステージの一つの出力端子に接続され、他の一つの入力端子が前記サブ−ステージの他の一つの出力端子に接続された２つの並列支路を具え、これら支路の各々は半フレーム周期の時間シフトに基づいて最適フィールドベクトルを補正する回路と探索を半画素内に精密化する回路を直列に具え、前記第１および第２チャネルの後段に、前記探索半画素内精密化の４つの出力端子を並列に受けるとともに所定の規準に基づいて最適な動き推定に相当する出力信号を出力するように構成された判定回路を具えるものとする。
【００２６】
本発明の他の変形例では、最適のフレームベクトルを探索する第１チャネルと、最適なフィールドを探索する第２チャネルとを具え、該第２チャネルは各々がブロック整合法によりフィールドベクトルを探索するサブステージと探索を半画素内に精密化する回路を直列に含む２つの並列支路を具える請求項４に記載の動き推定回路において、前記第１チャネルは、前記フィールドベクトル探索サブ−ステージの各出力を受けるように配置された半フレーム周期の時間シフトに基づいて最適フィールドベクトルを補正する２つの回路を並列に具え、且つこれら補正回路の２つの出力を並列に受けるように配置された第１の選択回路と、探索半画素内精密化回路を直列に具え、前記第１および第２チャネルの後段に、前記探索半画素内精密化回路の３つの出力を並列に受けるとともに所定規準に基づいて最適な動き推定に相当する出力信号を出力するに構成された第２の選択回路を具えるものとする
【００２７】
上述したように、本発明はデジタルデータ圧縮の分野に広く用いられる。
本発明のさらに他の目的はかかる応用範囲内でＭＰＥＧ２標準規格と両立し得るデジタルテレビジョン信号を符号化する装置を提供せんとするものである。
【００２８】
この目的のため、本発明は複数の画素より成る画像ブロックに分割された画像列を表わすデジタル信号を符号化する装置であって、第１符号化チャネルと、第２予測チャネルを具え、該第２予測チャネルは動き推定兼補償段と、当該符号化装置の入力端子と前記符号化チャネルとの間に配置された減算器とを具え、該減算器の負入力端子に前記動き推定兼補償段の出力を受けるように構成された符号化装置において、前記動き推定兼補償段は上述した動き推定回路を具えるものとする。
【００２９】
【実施例】
図面につき本発明の実施例を説明する。
図４に示す本発明動き推定回路は図３に示す例と同様に最適フィールドベクトルを探索するチャネル２０を具え、その構成は図３に示すものと同一である。しかし、チャネル１０の代わりに最適フレームベクトルを探索するチャネル１０ａを用い、その構成を以下に示す。このチャネル１０ａは、各々が補正回路（それぞれ回路３２１および３２２）と探索を半画素内に精密化する探索精密化回路（それぞれ回路３３１および３３２）を直列に含む２つの支路を具える。これら支路の各々において、回路３２１、３２２はそれぞれフィールドベクトル探索サブ−ステージ２１０、２２０の出力を受ける。
【００３０】
例えば、第１支路においては３つの状態が発生し得る。奇数フィールドに対して選択された最適フィールドベクトル（ベクトルＵ１ →）が奇数フィールド間（即ち、同一パリティのフィールド間）の一致を達成するものである状態では、このベクトルは最適フレームベクトルとして選択する。この場合には何の補償も必要ないので回路３２１は不作動とする。これに反し、選択された最適フィールドベクトルが現フレームの奇数フィールドと動き推定に使用された前フレームの偶数フィールドとの間（反対パリティのフィールド間）の一致を達成するものである状態（前方向予測）では、これらのフィールド間の時間間隔はフレームの半周期に等しく、１フレーム周期より半フレーム周期短いので、この時間シフトを考慮して選択された最適フィールドベクトルを補正する必要があり、また選択された最適フィールドベクトルが現フレームの奇数フィールドと次フレームの偶数フィールドとの間（反対パリティのフィールド間）の一致を達成するものである状態（後方向予測）では、これらのフィールド間の時間間隔はフレームの１．５倍に等しく、半フレーム周期 長いので、この時間シフトを考慮して選択された最適フィールドベクトルを補正する必要があり、回路３２１を作動させる。この回路３２１は、前方向予測に関する際は最適フィールドベクトルＵ １ → を増加する（例えば２倍にする）ことで１フレーム周期に相当する動きベクトルに補正し、逆に後方向予測に関する際は最適フィールドベクトルＵ １ → を減少する（例えば２ / ３倍にする）ことで１フレーム周期に相当する動きベクトルに補正する。この２つの場合には、回路３２１の出力信号Ｓ(Ｕ１ →)は変化されてないベクトルＵ１ →に相当するもの又はフレームの半周期より小さいか大きいかに比例して減少又は増大されたベクトルＵ１ →に相当するものとなり、探索を半画素以内に精密化する回路３３１に供給される。
【００３１】
回路３２２および３３２を具える第２支路においてもその処理は同一であり、同一の状態が発生する。第１の状態では、偶数フィールドに対して選択される最適フィールドベクトル（ベクトルＵ２ →）は偶数フィールド間（即ち、同一パリティのフィールド間）の一致を達成するものであり、このベクトルは可能最適フレームベクトルとして選択される。この場合には回路３２２を不作動とする。第２の状態では、最適フィールドベクトルＵ２ →は現フレームの偶数フィールドと前フレームの奇数フィールドとの間（即ち、反対パリティのフィールド間）の一致を達成するものである場合には、半フレーム周期長い時間シフトを考慮する必要があり、回路３２２を作動させ、最適フィールドベクトルＵ ２ → を減少する（例えば２ / ３倍にする）ことで１フレーム周期に相当する動きベクトルに補正する。現フレームの偶数フィールドと次フレームの奇数フィールドとの間で一致が生じる場合には、半フレーム周期短い時間シフトを考慮する必要があり、逆に回路３２２は最適フィールドベクトルＵ ２ → を増加する（例えば２倍にする）ことで１フレーム周期に相当する動きベクトルに補正する。この２つの場合には、変化されてない又はフレームの半周期より小さいか大きいかに比例して減少又は増大されたベクトルＵ２ →に対応する回路３２２の出力信号Ｓ(Ｕ２ →)が探索を半画素以内に精密化する回路３３２に供給される。
【００３２】
最後に、動き推定回路は前述したように判定回路３５０を具え、この回路は半画素精度探索回路３３１，３３２，２３０および２４０の４つの出力を受ける。回路２５０と同一構成の回路３５０によって最小歪み規準を用いて回路３３１および３３２の２つの出力信号から最適なフレームベクトルに相当する出力信号を選択することができ、次いでこの出力信号と回路２３０および２４０の２つの出力信号とから最適なベクトル即ち、輝度差の和／ブロック（マクロブロック）が最小となるベクトルを選択することができる。しかし、フィールドベクトルの１つが半フレーム周期の時間シフトを考慮して探索範囲を越える場合にはこれらのベクトルに対する判定回路３５０による選択は直ちに除外する。すべての場合において、補正回路の作動または不作動を決めるのは、回路２１０および２２０の各々における動きドベクトルの推定に使用されるフィールドのパリティである。
【００３３】
上述したように本発明はかかる例にのみ限定されるものではない。特に、図５に示す変形例を実施することによって装置のコストを一層低減させることができる。
【００３４】
図５に示す動き推定回路は、図３および４の例と同様に、最適フィールドベクトルを探索するチャネル２０を具え、その構成は同一である。本例では図３のチャネル１０または図４のチャネル１０ａの代わりに最適フレームベクトル探索チャネル１０ｂを用い、このチャネル１０ｂは１つの支路のみを有し、次のように構成される。
【００３５】
２つの補正回路５２１および５２２が並列に配置され、回路３２１および３２２の場合と同様にフィールドベクトルを探索するサブステージ２１０および２２０の出力をそれぞれ受信する。この場合に発生し得る状況は前述した状況と同様であり、奇数（偶数）フィールドに対して選択された最適フィールドベクトルＵ１ →（およびＵ２ →）が奇数（偶数）フィールド間の一致を生じる場合には、フィールドが同一パリティを有するために回路５２１（または５２２）が不作動になり、ベクトルＵ１ →（またはＵ２ →）が可能な最適フレームベクトルとして選択される。また、逆に現在の奇数（偶数）フィールドと前画像の偶数（奇数）フィールド間の一致を生じる場合には、フィールドが反対パリティを有する事実のために半フレーム周期の時間シフトを考慮に入れる必要があり、回路５２１（または５２２）が作動する。前述したように回路の補正操作は最適フィールドベクトルＵ１ →またはＵ２ →を増加又は減少することにより行われる。
【００３６】
単一判定回路を具える前例とは異なり、回路521及び522の出力側で第1の選択が直ちに行われ、この第1の選択はこれらの回路からの２つの出力信号を並列に受けるとともに最適フレームベクトルに相当するこれら２つの信号Ｓ（.）のうちの一方を選択する第１選択回路５５１によって行われる。この第１の選択は前述したように同一の最小歪み規準に従って行うことができる。サブステージ２１０および２２０で既に評価されているこれら歪みを帰納的に再計算するのは費用がかかるものと考えられる。従って、サブステージ２１０または２２０で既に計算された歪みが最低の値を有するベクトルＵi に対応する出力信号Ｓ（Ｕi ）の選択からなる概算基準（それでも充分有効）を選択することができる。第１選択回路の出力は（前述の例と同様に）探索精密化回路５３１に供給する。第２選択回路５５２は回路５３１ ，３２０および２４０の３つの出力を並列に受けるとともに既に適用された規準に従って最適ベクトルに相当する信号を選択する。本例でも可能な時間シフトが考慮された後に探索範囲を越えるベクトルは選択が行われるベクトルから除外する。
【００３７】
ＭＰＥＧ２標準規格と明らかに両立する符号化装置の例に適用すべき上述した動き推定回路の例は本発明の原理を示し動き推定方法の著しく高かなステップの幾つかを廉価とする。
【００３８】
前述した従来の技術状態では、インタレースフィールドより成る画像（この画像は画素のブロックに分割する）間の動きの推定は並列の２つの推定を具え、これら推定から最適な動きベクトルを得る選択を行う。第１の推定は２つのフレーム間の動きを最もよく表わす動きベクトル（または最適フレームベクトル）を探索するステップであり、第２の推定は２つのフィールド間の動きを最もよく表わす動きベクトル（または最適フィールドベクトル）を探索するステップであり、このステップは２つの並列サブステップに分割され、買うサブステップがブロック整合法によりフィールドベクトルを探索する第１の操作と該フィールドベクトルの探索を半画素内に精密化する第２の操作を具える。
【００３９】
本発明方法は互いに独立動作するこれら２つの並列推定ステップを用いないで、第１のステップを第２のステップに依存させる。この目的のために、最適フレームベクトルを探索するステップは、フィールドベクトルを探索する操作に続いて行い、且つブロック整合探索後各最適フィールドベクトルを関連する半フレーム周期の時間シフトに基づいてフレームベクトルに補正し、該探索を半画素内に精密化し、所定規準に従って最適動きベクトルの選択を判定するサブステップを縦続的に具える。従って、一方では最適フレームベクトルを探索するとともに他方では最適フィールドベクトルを探索する（後者に対してはブロック整合法と半画素精密化を行う）手段を具える本発明方法を実現する回路では、最適フレームベクトルを探索する手段はブロック整合法によりフィールドベクトルを探索する手段の後段に配置され、ブロック整合法により得られた各フィールドベクトルを関連する半フレーム周期の時間シフトに基づいてフレームベクトルに補正する手段と、探索を半画素内に精密化する手段と、所定規準に従って最適動きベクトルの選択を判定する手段とを具える。この変形方法によって並列方法に従って得られるベクトルに対する近似値にすぎない動きベクトルを得ることができるが、試験によって、この近似値は完全に満足なものであることが確かめられた。
【００４０】
最適フレームベクトルを探索するこの変形ステップでは、ブロック整合法によりフィールドベクトルを探索する２つの操作に縦続して実施される、半フレーム周期の時間シフトに基づいてフィールドベクトルをフレームベクトルに補正する２つの並列操作からなる補正サブステップの後に、種々に実現し得るサブステップが後続する。このサブステップは例えば、
（ａ）探索精密化サブステップは前記２つの補正操作と縦続して実施される２つの探索半画素詳細化操作を具え、判定サブステップは前記４つの探索精密化操作と縦続してこれらの探索詳細化操作の４つの結果から最適な動きベクトルを選択する単一操作を具える。または、
（ｂ）探索精密化サブステップは前記２つの補正操作の後に第３の探索精密化操作を具え、前記判定サブステップは前記２つの補正操作および第３の探索精密化操作と縦続して実施される、２つの動きベクトルの一つを選択する第１選択操作と、前記３つの探索精密化操作の出力側で３つの動きベクトルの一つを選択する第２選択を具える。
【００４１】
第１の場合には方法の簡素化が既に行われている。その理由は図３に示す既知の例のステージ１００によって行われる自律推定ステップが比べ省略されているからである。第２の場合には、かかる簡素化が一層行われるようになる。その理由は１つの動きベクトル探索を半画素内に精密化する操作も省略し得るからである。いずれの場合にも、この方法は図４および５につき記載された構成で実現するのにも、前述したようにマイクロプロセッサまたは計算機により制御される一連のプログラム命令の実行の形態で部分的にまたは全面的に実現するのにも好適である。
【図面の簡単な説明】
【図１】 それぞれが４つの輝度ブロックおよび２つの色信号ブロックにより構成されるｒ個の８×８画素より成るマクロブロックＭＢ１〜ＭＢｒ（図の右側半部）を各々が具えるｎ個のスライスＳ１〜Ｓｎに細分割されたＭＰＥＧ型（図の左半部）の画像を示す説明図である。
【図２】 従来の可変長符号化装置の一般的な構成を示す回路図である。
【図３】 従来の動き推定回路の符号化装置の構成を示す回路図である。
【図４】 本発明動き推定回路図の１例を示す回路図である。
【図５】 本発明動き推定回路図の他の例を示す回路図である。
【符号の説明】
１ 離散余弦変換回路
２ 量子化回路
３ 可変長符号化回路
４ バッファメモリ
５ ビット速度制御回路
６ 逆量子化回路
７ 逆離散余弦変換回路
８ 加算器
９ 画像メモリ
１０ チャネル
１０ａ チャネル
１０ｂ チャネル
１５ ビットレート制御回路
１８ 動き推定兼補償回路
１９ 減算器
２０ チャネル
１００ フレームベクトル探索ステージ
２００ フィールドベクトル探索ステージ
１３０ 探索精密化回路
２１０，２２０ サブ−ステージ
２３０，２４０ 探索精密化回路
２５０ 判定回路
３２１，３２２ 補正回路
３３１，３３２ 探索精密化回路
５２１，５２２ 補正回路
５５１ 第１選択回路
５５２ 第２選択回路
【産業上の利用分野】
本発明は、画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定する方法であって、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索するステップと、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索するステップとを具え、前記最適フィールドベクトル探索ステップが２つのサブステップを並列に具え、各サブステップがブロック整合法によりフィールドベクトルを探索するステップと、この探索を半画素内に精密化するステップを直列に具える動きを推定する方法に関するものである。
また、本発明は画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定する回路であって、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索する手段と、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索する手段とを具え、前記最適フィールドベクトル探索手段がブロック整合法によりフィールドベクトルを探索する手段と、この探索を半画素内に精密化する手段を具える動き推定回路に関するものである。
さらに、本発明はかかる動き推定回路を具える符号化装置に関するものである。
【０００２】
本発明はこれらデータの送信および／または蓄積前のデジタルデータ圧縮の分野に広く用いられ、特にＭＰＥＧ２標準規格と両立し得るデジタルテレビジョン信号を符号化する装置を達成するものである。
【０００３】
【従来の技術】
テレビジョン画像を実精細度でデジタル形態で伝送するには極めて高いビットレートを必要とし（例えば２５フレーム／秒のカラー画像のシーケンスは１６５メガビット／秒以上のデジタルデータストリームを発生する）、従って極めて広い帯域の伝送チャネルを必要とする（もっと高い精細度ではもっと高いビット速度を必要とする）。このような多量の情報を直接送信することは経済的に実現不可能であり、この情報がデータ伝送及び蓄積メディアのための既存の回線網を使用できるためにはデータの数を圧縮する必要がある。このデータ圧縮は本質的には以下詳細に説明するように隣接画素間の強い空間的及び時間的相関を利用して行われている。
【０００４】
まず最初、ＭＰＥＧ２標準規格の主な特徴を考察する。この標準規格に従うデジタル信号のシーケンスは輝度成分Ｙおよび色信号成分、即ち、色差信号ＵおよびＶに関する情報を具える（輝度Ｙのグレイレベル並びに信号ＵおよびＶの色レベルは８ビットのデジタルワードで表わされる）。ＭＰＥＧ２標準規格により与えられる入力フォーマットに従って、色信号には輝度に対して１／４のサブ−サンプリングが施される。従って４つの輝度値に対して色に関する２つの値（一方がＵ、他方がＶ）が与えられる。８ビットワードのマトリックスが８×８画素のブロックに配列されるので、マトリックスＹの４つの隣接ブロックがマトリックスＵの１つのブロックおよびマトリックスＶの１つのブロックに対応し、これら６つの組合せブロックがマクロブロックを構成する（これらブロックおよびマクロブロックは符号化が施される画像細分単位である）。最後に、マクロブロックを再編成した列がスライスを構成し、各画像は所定数のスライスからなり、例えば上述した例では３６個のスライスからなる。
【０００５】
ＭＰＥＧデータストリーム内の画像（これに対応するデジタル信号のアセンブリも画像と称される）は適用される符号化モードに応じて３つのタイプがある。最も簡単なものは全てのマクロブロックが他の画像と無関係に符号化された画像Ｉである（フレーム内符号化画像）。伝送チャネルが変更される場合またはビット速度が切り替えられる場合、復号化側では前記変更の結果生じる新情報を再構成するためにタイプＩのような画像を必要とする。画像Ｐ（予測符号化画像）は、前画像（タイプＩまたはタイプＰ）に基づく単方向の動き補償によって予測され、従ってタイプＰまたはタイプＩのマクロブロックのみを含む第２のタイプの画像を構成する。最後に、画像Ｂは（タイプＩおよび／またはタイプＰである）前画像と次画像に基づく双方向の動き補償によって予測され、画像Ｂ（双方向予測符号化画像）はタイプＩ，ＰまたはＢのマクロブロックを差別なしに含み得る。
【０００６】
データストリームは６つの情報階層（各層はいくつかの付加情報成分を含む）を具える。画像シーケンスは最上位の層に相当する。このシーケンスは所定数の画像を具える一連の画像の群（ＧＯＰ）で構成される。図１に示すように画像は所定数ｎの画像スライスＳ1 〜Ｓn を含み、各画像スライスは所定数ｒのマクロブロックＭＢを含み、各マクロブロックＭＢは最下位層を構成する所定数のブロック、ここでは６個のブロック（Ｙ1 ，Ｙ2 ，Ｙ3 ，Ｙ4 ，Ｕ，Ｖ）を具える。
【０００７】
ＭＰＥＧ標準規格の特徴を説明したが、本発明を説明する前に、最新の符号化装置の一例を説明する。図２に示すこのような符号化装置は符号化チャネルを具え、この符号化チャネルは離散余弦変換回路１（ＤＣＴ）、量子化回路２および可変長符号化回路３（ＶＬＣ）を直列に含む。このＤＣＴ変換回路１は、後述する減算器１９を経て、デジタル信号を受信する。このデジタル信号は、（もっと具体的に言うと、入力信号と減算器の他方の入力端子に存在する予測信号との差により得られる）符号化装置の入力ビデオ信号に相当し、ブロックの形状で得られ、ここでは８×８画素のフォーマットを有する。この離散余弦変換回路１はこれら信号ブロックを８×８係数のブロックに変換し、その第１係数は当該ブロックの画素のグレイレベルの平均値を表わし、他の６３個の係数はこのブロックの種々の空間周波数を表わす。
【０００８】
量子化回路２は離散余弦変換回路１のこれら出力係数の各々を量子化する。この量子化は、一方では、８×８ブロック内の考慮中の係数の位置に関連し（高い空間周波数は人の眼に左程知覚されないので、対応する係数は比較的大きい量子化ステップで量子化され低精度の量子化を与える）、他方では、ビットレートに関連する量子化ファクタに関連する。この量子化により得られた値は可変長符号化回路３に供給され、この回路３の出力端子はビットレート制御段１５のバッファメモリ４に接続され、これが符号化ワードを蓄積する。このバッファメモリ４の出力が符号化装置の出力を構成する。このバッファメモリ４の出力側に配置されたビットレート制御回路５が、このバッファメモリ４の充填度の関数として、上述した量子化ファクタを量子化回路２に供給し、この充填度に関連する量子化ファクタの値に基づいて量子化ステップをメモリ４がオーバーフローもアンダーフローもしないように修正することができる。ビットレート制御を用いる符号化チェーンは既知であり、従ってこれ以上の説明は行わない。
【０００９】
量子化により得られた値は予測チャネルにも供給される。この予測チャネルは、逆量子化回路６（Ｑ-1）と、逆離散余弦変換回路７（ＤＣＴ-1）と、加算器８と、画像メモリ９と、原画像と画像メモリ９に蓄積された未補償の画像とに基づく動き推定補償回路１８と、入力信号と補償回路１８の出力側に得られる予測信号との差を形成する減算器１９とを具え、これらの信号の差のみを符号化チャネルに供給するとともに、このチャネルではこれら差のみを（前画像に基づく）予測画像と入力画像（または現画像）との間の動きを考慮しながら処理する。
【００１０】
タイプＰまたはＢの画像は比較(参照)画像に対する画像内のシフトを動きベクトルを用いて推定することにより予測される。この動きベクトルもデータストリームで伝送される（多くの場合既に伝送された動きベクトルに対して異なる方法で伝送される）。輝度情報成分に基づくこの動き推定は、動きを評価すべき現ブロック(又はマクロブロック)を比較画像に投影し、該ブロックを動き推定器の最大可能範囲を限定する探索窓内のすべての可能なブロック(マクロブロック)と比較することにある。現画像内の推定されたブロック（マクロブロック）は、所定の近傍において、相関により最も類似する比較画像のブロックであり、一般に可能な最も良い一致は、例えば２つのブロック（またはマクロブロック）の画素の輝度差の可能最低和を得る探索のような最小歪みの規準に従って決定される（この規準はＭＡＥ（平均絶対値誤差）規準と称される）。
【００１１】
例えばヨーロッパ特許出願EP-560577 またはEuropean Association for Signal Processing (EURASIP)刊行の雑誌“信号処理" にA.Puri,R. Aravind およびB.Haskell,が発表した論文“アダプティブ フレーム/ フィールド動き補償ビデオ符号化" のような種々の文献には、このような動き推定の原理及びこのように決定され、送信および／または蓄積された動きベクトルに基づいて復号化側で行われる動き推定の原理も記載されている。これらの文献に示されるように、２つのテレビジョン画像フィールドからのラインが考慮中のブロック（またはマクロブロック）に使用され、２つの動き推定モード：フレームモードとフィールドモードが規定され、図３に示すような動き推定回路が実現されている。
【００１２】
図３において、動き推定は２つのチャネル、即ち、最適フレームベクトルを探索するチャネル１０および可能な最適フィールドベクトルを探索するチャネル２０で達成される。各チャネルでは、動き推定を２つのステージ、即ち最初に全体的な最適動きベクトルの探索、次に半画素以内に改善された動きベクトルの局所的探索で達成する。最後に、かくして得た動きベクトルの比較によって、これらベクトルのうちの一つを現ブロック（マクロブロック）の動きを最もよく表わすものとして選択可能にする。
【００１３】
特に、この目的のために、チャネル１０はフレームベクトル探索ステージ１００を具える。このステージ１００は例えば直列配置されたメモリとブロック整合相関器を具える。このような相関器は慣例の型のものとすることができ、例えば“ＩＥＥＥトランザクションズ オン コミュニケーション”第ＣＯＭ−２９巻、第１２号、1981年１２月、第1799−1808頁にJ.R.JainおよびA.K.Jainが発表した論文“変位測定およびフレーム内像符号化”に記載されているものとすることができ、適応探索範囲内で全ての可能なベクトルを探索した後に最小近似誤差に関連する動きベクトルを選択するものである。このブロック整合探索はタイプＰの画像のときとタイプＢの画像のときとで僅かに相違する。タイプＰの画像を用いる場合には、推定ブロック（マクロブロック）は、最適フレームベクトルにより規定される動きを考慮して、比較画像の他のブロック（マクロブロック）から得られる。タイプＢの画像を用いる場合には、推定ブロック（マクロブロック）は前画像のブロック（マクロブロック）および次画像のブロック（マクロブロック）から同様にして得られる２つのブロック（マクロブロック）の平均値とする。
【００１４】
フレームベクトル探索ステージ100 はその後段に、探索を半画素内に精密化する探索精密化回路130、例えば前記雑誌“信号処理"1990 年２月に記載されている対称空間補間フィルタを設ける。精密化前の推定から得た画素の位置に対して、この半画素以内の精密化はこの画素を中心とする半画素内の８つの隣接位置を考慮し、これらの８つの位置での予測誤差が最小となる位置を決定する。画素Ｓを輝度、（ｘ，ｙ）をこの画素の水平および垂直座標とすると、これらの隣接位置の画素値は例えば次式から得られる。
S(x+0.5;y)=(S(x;y)+S(x+1;y))/2 （１）
S(x;y+0.5)=(S(x;y)+S(x;y+1))/2 （２）
S(x+0.5;y+0.5)=(S(x;y)+S(x+1;y)+S(x;y+1)+S(x+1;y+1))/4 （３）
記号Ｖ０ →は探索の精密化後におけるこの選択されたフレームベクトルを示し、探索精密化回路130 の出力信号の特性を後に示す。
【００１５】
可能最適フィールドベクトルを探索するチャネル２０はフィールドベクトルを探索する２つのサブステージ２１０及び２２０を含むステージ２００を具え、各サブステージの構造はステージ１００（メモリおよびブロックまたはマクロブロック整合相関器）の構造と同様である。最適フィールドベクトルのこの探索のため、２つのブロック整合探索を行い、一方の整合探索は所定のパリティを有するフィールド、例えば奇数フィールドのライン（即ち、ステージ１００の場合の半数のライン）を具えるブロック（マクロブロック）に対して行われ、他方の整合探索は反対のパリティ、例えば偶数フィールドのラインを具えるブロック（マクロブロック）に対して行われる。尚、ここでパリティとはインタレース画像を構成する奇数フィールドと偶数フィールドの奇数／偶数を意味する。各フィールドごとに、参照ブロック（マクロブロック）は参照フレームの偶数フィールドまたは奇数フィールドに見いだすことができる。チャネル１０の場合のように、ステージ２００のサブステージ２１０および２２０の後段に探索を半画素内に精密化する探索精密化回路２３０および２４０が設けられる。これら回路２３０および２４０の構成は回路１３０の構成と同一であり、記号Ｖ１ →，Ｖ２ →は（それぞれ奇数フィールドおよび偶数フィールドに対し）選択し得るフィールドベクトルを示す。
【００１６】
最後に、判定回路２５０は探索精密化回路１３０，２３０および２４０の３つの出力を並列に受信し、例えばこれらの異なる場合において、上記と同一の規準（最小歪みの規準）に基づいて、３つのベクトルＶ０ →，Ｖ１ →，Ｖ２ →から、関連するブロック（マクロブロック）の画素の輝度差の和を比較し、この和が最小となるベクトルを選択することによって、フレーム符号化とフィールド符号化の何れかを選択可能にすることができる。従って、本例では、これら回路１３０，２３０，２４０の３つの出力端子に得られる信号を３つのベクトルＶ０ →，Ｖ１ →，Ｖ２ →のそれぞれに対応する前記の和とし、これらの信号を図３にそれぞれ記号Ｓ(Ｖ０ →)，Ｓ(Ｖ１ →)，Ｓ(Ｖ２ →)により示す。同様に、ステージ１００及びステージ２１０および２２０の出力をそれぞれでＳ(Ｕ０ →)，Ｓ(Ｕ１ →)，Ｓ(Ｕ２ →)示し、ここでＵ０ →，Ｕ１ →，Ｕ２ →は、探索の精密化前に選択された、これら和にそれぞれ対応するフレームベクトルおよびフィールドベクトルである。
【００１７】
【発明が解決しようとする課題】
しかし、図３の動き推定回路において、ステージ１００および２００はその複雑さのため、著しく高価となる。
【００１８】
本発明の第１目的は従来のものに類似するがこれよりも簡単に達成し得る動き推定方法を提供せんとするにある。
【００１９】
【課題を解決するための手段】
本発明は、画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定するに当たり、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索するステップと、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索するステップとを具え、前記最適フィールドベクトルを探索するステップは２つのサブステップを並列に具え、各サブステップがブロック整合法によりフィールドベクトルを探索するステップと、探索を半画素以内に精密化するステップを直列に含む画像間の動きを推定する方法において、前記最適フレームベクトルを探索するステップは、前記フィールドベクトルの探索に続いて行われ且つブロック整合法により得られる各フィールドベクトルと関連する半フレーム周期の時間シフトを考慮して前記フィールドベクトルを１フレーム周期に相当するフレームベクトルに補正するサブステップと、探索を半画素以内に精密化するサブステップと、所定規準に従って最適動きベクトルの選択を決定するサブステップを順次に具えることを特徴とする。
【００２０】
【作用】
かかる方法によれば、例えば前述した最初の２つの文献に示されているような画像ブロックごとの符号化すべき画像のシーケンスの現画像と前画像の間の動きベクトルと満足に近似する動きベクトルを決めることができる。
【００２１】
本発明方法の第１例では、前記最適フレームベクトル探索ステップにおいて、前記補正サブステップは、前記２つのブロック整合法によるフィールドベクトル探索操作と縦続的に実行される、半フレーム周期の時間シフトに基づいて最適フィールドベクトルをフレームベクトルに補正する２つの並列操作を具え、前記探索精密化サブステップは、前記２つの補正操作と縦続的に実行される、探索を半画素内に精密化する他の２つの探索精密化操作を具え、前記決定サブステップは、前記４つの並列の探索精密化操作と縦続的に実行され、これらの探索精密化操作の４つの結果に基づいて前記最適動きベクトルを選択する操作を具えるものとする。
【００２２】
本発明方法の重要な変形例では、前記最適フレームベクトル探索ステップにおいて、前記補正サブステップは、前記２つのブロック整合法によるフィールドベクトル探索操作と縦続的に実行される、半フレーム周期の時間シフトに基づいて最適フィールドベクトルをフレームベクトルに補正する２つの並列操作を具え、前記探索精密化サブステップは、前記２つの補正操作の後に探索を半画素内に精密化する第３の探索精密化操作を具え、前記決定サブステップは、前記２つの補正操作と前記第３の探索精密化作操作との間で従続的に実行される、２つの動きベクトルの選択を行う第１の選択操作と、前記３つの探索精密化操作の出力側で３つの動きベクトルの間の選択を行う第２の選択操作とを具えるものとする。
【００２３】
本発明の他の目的はこれらの方法を実施する回路装置を提供せんとするものである。
【００２４】
この目的のため、本発明は画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定する回路であって、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索する手段と、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索する手段とを具え、前記最適フィールドベクトル探索手段がブロック整合法によりフィールドベクトルを探索する手段と、この操作を半画素内に精密化する手段とを具える動き推定回路において、前記最適フレームベクトル探索手段は前記ブロック整合法によるフィールドベクトル探索手段の後に配置され、ブロック整合法により得られる各フィールドベクトルと関連する半フレーム周期の時間シフトを考慮して前記フィールドベクトルをフレームベクトルに補正する手段と、探索を半画素以内に精密化する手段と、所定規準に従って最適動きベクトルの選択を決定する手段とを具えることを特徴とする。
【００２５】
本発明装置の変形例では、最適フレームベクトルを探索する第１チャネルと、最適フィールドを探索する第２チャネルとを具え、該第２チャネルは各々がブロック整合法によりフィールドベクトルを探索するサブステージと探索を半画素内に精密化する回路を直列に含む２つの並列支路を具える請求項４に記載の動き推定回路において、前記第１チャネルは一つの入力端子が前記２つのフィールドベクトル探索サブ−ステージの一つの出力端子に接続され、他の一つの入力端子が前記サブ−ステージの他の一つの出力端子に接続された２つの並列支路を具え、これら支路の各々は半フレーム周期の時間シフトに基づいて最適フィールドベクトルを補正する回路と探索を半画素内に精密化する回路を直列に具え、前記第１および第２チャネルの後段に、前記探索半画素内精密化の４つの出力端子を並列に受けるとともに所定の規準に基づいて最適な動き推定に相当する出力信号を出力するように構成された判定回路を具えるものとする。
【００２６】
本発明の他の変形例では、最適のフレームベクトルを探索する第１チャネルと、最適なフィールドを探索する第２チャネルとを具え、該第２チャネルは各々がブロック整合法によりフィールドベクトルを探索するサブステージと探索を半画素内に精密化する回路を直列に含む２つの並列支路を具える請求項４に記載の動き推定回路において、前記第１チャネルは、前記フィールドベクトル探索サブ−ステージの各出力を受けるように配置された半フレーム周期の時間シフトに基づいて最適フィールドベクトルを補正する２つの回路を並列に具え、且つこれら補正回路の２つの出力を並列に受けるように配置された第１の選択回路と、探索半画素内精密化回路を直列に具え、前記第１および第２チャネルの後段に、前記探索半画素内精密化回路の３つの出力を並列に受けるとともに所定規準に基づいて最適な動き推定に相当する出力信号を出力するに構成された第２の選択回路を具えるものとする
【００２７】
上述したように、本発明はデジタルデータ圧縮の分野に広く用いられる。
本発明のさらに他の目的はかかる応用範囲内でＭＰＥＧ２標準規格と両立し得るデジタルテレビジョン信号を符号化する装置を提供せんとするものである。
【００２８】
この目的のため、本発明は複数の画素より成る画像ブロックに分割された画像列を表わすデジタル信号を符号化する装置であって、第１符号化チャネルと、第２予測チャネルを具え、該第２予測チャネルは動き推定兼補償段と、当該符号化装置の入力端子と前記符号化チャネルとの間に配置された減算器とを具え、該減算器の負入力端子に前記動き推定兼補償段の出力を受けるように構成された符号化装置において、前記動き推定兼補償段は上述した動き推定回路を具えるものとする。
【００２９】
【実施例】
図面につき本発明の実施例を説明する。
図４に示す本発明動き推定回路は図３に示す例と同様に最適フィールドベクトルを探索するチャネル２０を具え、その構成は図３に示すものと同一である。しかし、チャネル１０の代わりに最適フレームベクトルを探索するチャネル１０ａを用い、その構成を以下に示す。このチャネル１０ａは、各々が補正回路（それぞれ回路３２１および３２２）と探索を半画素内に精密化する探索精密化回路（それぞれ回路３３１および３３２）を直列に含む２つの支路を具える。これら支路の各々において、回路３２１、３２２はそれぞれフィールドベクトル探索サブ−ステージ２１０、２２０の出力を受ける。
【００３０】
例えば、第１支路においては３つの状態が発生し得る。奇数フィールドに対して選択された最適フィールドベクトル（ベクトルＵ１ →）が奇数フィールド間（即ち、同一パリティのフィールド間）の一致を達成するものである状態では、このベクトルは最適フレームベクトルとして選択する。この場合には何の補償も必要ないので回路３２１は不作動とする。これに反し、選択された最適フィールドベクトルが現フレームの奇数フィールドと動き推定に使用された前フレームの偶数フィールドとの間（反対パリティのフィールド間）の一致を達成するものである状態（前方向予測）では、これらのフィールド間の時間間隔はフレームの半周期に等しく、１フレーム周期より半フレーム周期短いので、この時間シフトを考慮して選択された最適フィールドベクトルを補正する必要があり、また選択された最適フィールドベクトルが現フレームの奇数フィールドと次フレームの偶数フィールドとの間（反対パリティのフィールド間）の一致を達成するものである状態（後方向予測）では、これらのフィールド間の時間間隔はフレームの１．５倍に等しく、半フレーム周期 長いので、この時間シフトを考慮して選択された最適フィールドベクトルを補正する必要があり、回路３２１を作動させる。この回路３２１は、前方向予測に関する際は最適フィールドベクトルＵ １ → を増加する（例えば２倍にする）ことで１フレーム周期に相当する動きベクトルに補正し、逆に後方向予測に関する際は最適フィールドベクトルＵ １ → を減少する（例えば２ / ３倍にする）ことで１フレーム周期に相当する動きベクトルに補正する。この２つの場合には、回路３２１の出力信号Ｓ(Ｕ１ →)は変化されてないベクトルＵ１ →に相当するもの又はフレームの半周期より小さいか大きいかに比例して減少又は増大されたベクトルＵ１ →に相当するものとなり、探索を半画素以内に精密化する回路３３１に供給される。
【００３１】
回路３２２および３３２を具える第２支路においてもその処理は同一であり、同一の状態が発生する。第１の状態では、偶数フィールドに対して選択される最適フィールドベクトル（ベクトルＵ２ →）は偶数フィールド間（即ち、同一パリティのフィールド間）の一致を達成するものであり、このベクトルは可能最適フレームベクトルとして選択される。この場合には回路３２２を不作動とする。第２の状態では、最適フィールドベクトルＵ２ →は現フレームの偶数フィールドと前フレームの奇数フィールドとの間（即ち、反対パリティのフィールド間）の一致を達成するものである場合には、半フレーム周期長い時間シフトを考慮する必要があり、回路３２２を作動させ、最適フィールドベクトルＵ ２ → を減少する（例えば２ / ３倍にする）ことで１フレーム周期に相当する動きベクトルに補正する。現フレームの偶数フィールドと次フレームの奇数フィールドとの間で一致が生じる場合には、半フレーム周期短い時間シフトを考慮する必要があり、逆に回路３２２は最適フィールドベクトルＵ ２ → を増加する（例えば２倍にする）ことで１フレーム周期に相当する動きベクトルに補正する。この２つの場合には、変化されてない又はフレームの半周期より小さいか大きいかに比例して減少又は増大されたベクトルＵ２ →に対応する回路３２２の出力信号Ｓ(Ｕ２ →)が探索を半画素以内に精密化する回路３３２に供給される。
【００３２】
最後に、動き推定回路は前述したように判定回路３５０を具え、この回路は半画素精度探索回路３３１，３３２，２３０および２４０の４つの出力を受ける。回路２５０と同一構成の回路３５０によって最小歪み規準を用いて回路３３１および３３２の２つの出力信号から最適なフレームベクトルに相当する出力信号を選択することができ、次いでこの出力信号と回路２３０および２４０の２つの出力信号とから最適なベクトル即ち、輝度差の和／ブロック（マクロブロック）が最小となるベクトルを選択することができる。しかし、フィールドベクトルの１つが半フレーム周期の時間シフトを考慮して探索範囲を越える場合にはこれらのベクトルに対する判定回路３５０による選択は直ちに除外する。すべての場合において、補正回路の作動または不作動を決めるのは、回路２１０および２２０の各々における動きドベクトルの推定に使用されるフィールドのパリティである。
【００３３】
上述したように本発明はかかる例にのみ限定されるものではない。特に、図５に示す変形例を実施することによって装置のコストを一層低減させることができる。
【００３４】
図５に示す動き推定回路は、図３および４の例と同様に、最適フィールドベクトルを探索するチャネル２０を具え、その構成は同一である。本例では図３のチャネル１０または図４のチャネル１０ａの代わりに最適フレームベクトル探索チャネル１０ｂを用い、このチャネル１０ｂは１つの支路のみを有し、次のように構成される。
【００３５】
２つの補正回路５２１および５２２が並列に配置され、回路３２１および３２２の場合と同様にフィールドベクトルを探索するサブステージ２１０および２２０の出力をそれぞれ受信する。この場合に発生し得る状況は前述した状況と同様であり、奇数（偶数）フィールドに対して選択された最適フィールドベクトルＵ１ →（およびＵ２ →）が奇数（偶数）フィールド間の一致を生じる場合には、フィールドが同一パリティを有するために回路５２１（または５２２）が不作動になり、ベクトルＵ１ →（またはＵ２ →）が可能な最適フレームベクトルとして選択される。また、逆に現在の奇数（偶数）フィールドと前画像の偶数（奇数）フィールド間の一致を生じる場合には、フィールドが反対パリティを有する事実のために半フレーム周期の時間シフトを考慮に入れる必要があり、回路５２１（または５２２）が作動する。前述したように回路の補正操作は最適フィールドベクトルＵ１ →またはＵ２ →を増加又は減少することにより行われる。
【００３６】
単一判定回路を具える前例とは異なり、回路521及び522の出力側で第1の選択が直ちに行われ、この第1の選択はこれらの回路からの２つの出力信号を並列に受けるとともに最適フレームベクトルに相当するこれら２つの信号Ｓ（.）のうちの一方を選択する第１選択回路５５１によって行われる。この第１の選択は前述したように同一の最小歪み規準に従って行うことができる。サブステージ２１０および２２０で既に評価されているこれら歪みを帰納的に再計算するのは費用がかかるものと考えられる。従って、サブステージ２１０または２２０で既に計算された歪みが最低の値を有するベクトルＵi に対応する出力信号Ｓ（Ｕi ）の選択からなる概算基準（それでも充分有効）を選択することができる。第１選択回路の出力は（前述の例と同様に）探索精密化回路５３１に供給する。第２選択回路５５２は回路５３１ ，３２０および２４０の３つの出力を並列に受けるとともに既に適用された規準に従って最適ベクトルに相当する信号を選択する。本例でも可能な時間シフトが考慮された後に探索範囲を越えるベクトルは選択が行われるベクトルから除外する。
【００３７】
ＭＰＥＧ２標準規格と明らかに両立する符号化装置の例に適用すべき上述した動き推定回路の例は本発明の原理を示し動き推定方法の著しく高かなステップの幾つかを廉価とする。
【００３８】
前述した従来の技術状態では、インタレースフィールドより成る画像（この画像は画素のブロックに分割する）間の動きの推定は並列の２つの推定を具え、これら推定から最適な動きベクトルを得る選択を行う。第１の推定は２つのフレーム間の動きを最もよく表わす動きベクトル（または最適フレームベクトル）を探索するステップであり、第２の推定は２つのフィールド間の動きを最もよく表わす動きベクトル（または最適フィールドベクトル）を探索するステップであり、このステップは２つの並列サブステップに分割され、買うサブステップがブロック整合法によりフィールドベクトルを探索する第１の操作と該フィールドベクトルの探索を半画素内に精密化する第２の操作を具える。
【００３９】
本発明方法は互いに独立動作するこれら２つの並列推定ステップを用いないで、第１のステップを第２のステップに依存させる。この目的のために、最適フレームベクトルを探索するステップは、フィールドベクトルを探索する操作に続いて行い、且つブロック整合探索後各最適フィールドベクトルを関連する半フレーム周期の時間シフトに基づいてフレームベクトルに補正し、該探索を半画素内に精密化し、所定規準に従って最適動きベクトルの選択を判定するサブステップを縦続的に具える。従って、一方では最適フレームベクトルを探索するとともに他方では最適フィールドベクトルを探索する（後者に対してはブロック整合法と半画素精密化を行う）手段を具える本発明方法を実現する回路では、最適フレームベクトルを探索する手段はブロック整合法によりフィールドベクトルを探索する手段の後段に配置され、ブロック整合法により得られた各フィールドベクトルを関連する半フレーム周期の時間シフトに基づいてフレームベクトルに補正する手段と、探索を半画素内に精密化する手段と、所定規準に従って最適動きベクトルの選択を判定する手段とを具える。この変形方法によって並列方法に従って得られるベクトルに対する近似値にすぎない動きベクトルを得ることができるが、試験によって、この近似値は完全に満足なものであることが確かめられた。
【００４０】
最適フレームベクトルを探索するこの変形ステップでは、ブロック整合法によりフィールドベクトルを探索する２つの操作に縦続して実施される、半フレーム周期の時間シフトに基づいてフィールドベクトルをフレームベクトルに補正する２つの並列操作からなる補正サブステップの後に、種々に実現し得るサブステップが後続する。このサブステップは例えば、
（ａ）探索精密化サブステップは前記２つの補正操作と縦続して実施される２つの探索半画素詳細化操作を具え、判定サブステップは前記４つの探索精密化操作と縦続してこれらの探索詳細化操作の４つの結果から最適な動きベクトルを選択する単一操作を具える。または、
（ｂ）探索精密化サブステップは前記２つの補正操作の後に第３の探索精密化操作を具え、前記判定サブステップは前記２つの補正操作および第３の探索精密化操作と縦続して実施される、２つの動きベクトルの一つを選択する第１選択操作と、前記３つの探索精密化操作の出力側で３つの動きベクトルの一つを選択する第２選択を具える。
【００４１】
第１の場合には方法の簡素化が既に行われている。その理由は図３に示す既知の例のステージ１００によって行われる自律推定ステップが比べ省略されているからである。第２の場合には、かかる簡素化が一層行われるようになる。その理由は１つの動きベクトル探索を半画素内に精密化する操作も省略し得るからである。いずれの場合にも、この方法は図４および５につき記載された構成で実現するのにも、前述したようにマイクロプロセッサまたは計算機により制御される一連のプログラム命令の実行の形態で部分的にまたは全面的に実現するのにも好適である。
【図面の簡単な説明】
【図１】 それぞれが４つの輝度ブロックおよび２つの色信号ブロックにより構成されるｒ個の８×８画素より成るマクロブロックＭＢ１〜ＭＢｒ（図の右側半部）を各々が具えるｎ個のスライスＳ１〜Ｓｎに細分割されたＭＰＥＧ型（図の左半部）の画像を示す説明図である。
【図２】 従来の可変長符号化装置の一般的な構成を示す回路図である。
【図３】 従来の動き推定回路の符号化装置の構成を示す回路図である。
【図４】 本発明動き推定回路図の１例を示す回路図である。
【図５】 本発明動き推定回路図の他の例を示す回路図である。
【符号の説明】
１ 離散余弦変換回路
２ 量子化回路
３ 可変長符号化回路
４ バッファメモリ
５ ビット速度制御回路
６ 逆量子化回路
７ 逆離散余弦変換回路
８ 加算器
９ 画像メモリ
１０ チャネル
１０ａ チャネル
１０ｂ チャネル
１５ ビットレート制御回路
１８ 動き推定兼補償回路
１９ 減算器
２０ チャネル
１００ フレームベクトル探索ステージ
２００ フィールドベクトル探索ステージ
１３０ 探索精密化回路
２１０，２２０ サブ−ステージ
２３０，２４０ 探索精密化回路
２５０ 判定回路
３２１，３２２ 補正回路
３３１，３３２ 探索精密化回路
５２１，５２２ 補正回路
５５１ 第１選択回路
５５２ 第２選択回路
Claims (7)
- 画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定する方法であって、最適フレームベクトルと称される２つのフレーム間の動きを最もよく表わす動きベクトルを探索するステップと、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索するステップとを具え、前記最適フィールドベクトル探索ステップが２つのサブステップを並列に具え、該２つのサブステップが２つのブロック整合法によるフィールドベクトル探索と該２つの探索を半画素内に精密化する探索精密化ステップを直列に具え、前記一方のブロック整合探索が所定のパリティを有するフィールドに対し行われ、他方のブロック整合探索が反対パリティのフィールドに対し行われる動き推定方法において、
前記最適フレームベクトル探索ステップは前記フィールドベクトルの探索に続いて行われ、且つ
前記最適フレームベクトル探索ステップは、各最適フィールドベクトルを該フィールドベクトルと関連する半フレーム周期の時間シフトを考慮して１フレーム周期に相当する動きベクトルに補正するステップであって、該補正ステップは：
・選択された最適フィールドベクトルが同一パリティのフィールド間の一致を達成する場合には、前記最適フィールドベクトルを変化させないことで、；
・選択された最適フィールドベクトルが反対パリティのフィールド間の一致を達成する場合で前方向予測と関連する場合には、関連する半フレーム周期の時間シフトに従って前記最適フィールドベクトルを増大又は減少させることにより１フレーム周期に相当する動きベクトルに補正することで；
・選択された最適フィールドベクトルが反対パリティのフィールド間の一致を達成する場合で後方向予測と関連する場合には、関連する半フレーム周期の時間シフトに従って前記最適フィールドベクトルを減少又は増大させることにより１フレーム周期に相当する動きベクトルに補正することで；
達成する補正サブステップと、
前記最適フィールドベクトル探索ステップにおいて２つのブロック探索により得られた動きドベクトルと前記フレームベクトル探索ステップにおいて前記補正ステップにより得られた動きドベクトルの中から最小歪み基準に基づいて最適動きベクトルの選択を決定するサブステップとを具えることを特徴とする動き推定方法。 - 前記最適フレームベクトル探索ステップにおいて、前記補正サブステップは、前記２つのブロック整合法によるフィールドベクトル探索操作と縦続的に実行される、関連する半フレーム周期の時間シフトに基づいて最適フィールドベクトルを１フレーム周期に相当する動きベクトルに補正する２つの並列操作を具え、前記探索精密化サブステップは、前記２つの補正操作と縦続的に実行される、探索を半画素内に精密化する他の２つの探索精密化操作を具え、前記決定サブステップは、前記４つの並列の探索精密化操作と縦続的に実行される、これらの探索精密化操作の４つの結果に基づいて前記最適動きベクトルを選択する操作を具えることを特徴とする請求項１に記載の動き推定方法。
- 前記最適フレームベクトル探索ステップにおいて、前記補正サブステップは、前記２つのブロック整合法によるフィールドベクトル探索操作と縦続的に実行される、関連する半フレーム周期の時間シフトに基づいて最適フィールドベクトルを１フレーム周期に相当する動きベクトルに補正する２つの並列操作を具え、前記探索精密化サブステップは、前記２つの補正操作の後に探索を半画素内に精密化する第３の探索精密化操作を具え、前記決定サブステップは、前記２つの補正操作と前記第３の探索精密化作操作との間で従続的に実行される、２つの動きベクトルの選択を行う第１の選択操作と、前記３つの探索精密化操作の出力側で３つの動きベクトルの間の選択を行う第２の選択操作とを具えることを特徴とする請求項１に記載の動き推定方法。
- 画素ブロックに分割された２つのインタレースフィールドより成る画像間の動きを推定する回路であって、最適フレームベクトルと称される２つの画像間の動きを最もよく表わす動きベクトルを探索する手段と、最適フィールドベクトルと称される２つのフィールド間の動きを最もよく表わす動きベクトルを探索する手段とを具え、前記最適フィールドベクトル探索手段が２つのブロック整合法によるフィールドベクトル探索手段と該２つの探索を半画素内に精密化する手段を直列に具え、前記一方の探索手段がブロック整合探索を所定のパリティを有するフィールドに対し行い、他方の探索手段がブロック整合探索を反対パリティのフィールドに対し行う動き推定回路において、
前記最適フレームベクトル探索手段は前記フィールドベクトルの探索の後に配置され且つ
前記最適フレームベクトル探索手段は、各最適フィールドベクトルを該フィールドベクトルと関連する半フレーム周期の時間シフトを考慮して１フレーム周期に相当する動きベクトルに補正する手段であって、
・選択された最適フィールドベクトルが同一パリティのフィールド間の一致を達成する場合には、前記最適フィールドベクトルを変化させない、；
・選択された最適フィールドベクトルが反対パリティのフィールド間の一致を達成する場合で前方向予測と関連する場合には、関連する半フレーム周期の時間シフトを考慮して、前記最適フィールドベクトルを増大又は減少させることにより１フレーム周期に相当する動きベクトルに補正する；
・選択された最適フィールドベクトルが反対パリティのフィールド間の一致を達成する場合で後方向予測と関連する場合には、関連する半フレーム周期の時間シフトを考慮して、前記最適フィールドベクトルを減少又は増大させることにより１フレーム周期に相当する動きベクトルに補正する；
補正手段と、
前記最適フィールドベクトル探索手段において２つのブロック探索により得られた動きドベクトルと前記フレームベクトル探索手段において前記補正手段により得られた動きドベクトルの中から最小歪み基準に基づいて最適動きベクトルの選択を決定する手段とを具えることを特徴とする動き推定回路。 - 最適フレームベクトルを探索する第１チャネルと、最適フィールドを探索する第２チャネルとを具え、該第２チャネルは各々がブロック整合法によりフィールドベクトルを探索するサブステージと探索を半画素内に精密化する回路を直列に含む２つの並列支路を具える請求項４に記載の動き推定回路において、前記第１チャネルは一つの入力端子が前記２つのフィールドベクトル探索サブ−ステージの一つの出力端子に接続され、他の一つの入力端子が前記サブ−ステージの他の一つの出力端子に接続された２つの並列支路を具え、これら支路の各々は半フレーム周期の時間シフトに基づいて最適フィールドベクトルをフレームベクトルに補正する回路と探索を半画素内に精密化する回路を直列に具え、前記第１および第２チャネルの後段に、前記４つの探索精密化回路の４つの出力端子を並列に受けるとともに所定の規準に基づいて最適な動き推定に相当する出力信号を出力するように構成された判定回路を具えることを特徴とする動き推定回路。
- 最適フレームベクトルを探索する第１チャネルと、最適フィールドを探索する第２チャネルとを具え、該第２チャネルは各々がブロック整合法によりフィールドベクトルを探索するサブステージと探索を半画素内に精密化する回路を直列に含む２つの並列支路を具える請求項４に記載の動き推定回路において、前記第１チャネルは、前記フィールドベクトル探索サブステージの各出力を受けるように配置され半フレーム周期の時間シフトに基づいて最適フィールドベクトルをフレームベクトルに補正する２つの回路を並列に具え、且つこれら補正回路の２つの出力を並列に受けるように配置された第１の選択回路と、探索を半画素内に精密化する探索精密化回路とを直列に具え、前記第１および第２チャネルの後段に、前記３つの探索精密化回路の３つの出力を並列に受けるとともに所定規準に基づいて最適な動き推定に相当する出力信号を出力するに構成された第２の選択回路を具えることを特徴とするインタレースフィールドより成る画像間の動きを推定する装置。
- 複数の画素より成る画像ブロックに分割された画像列を表わすデジタル信号を符号化する装置であって、第１符号化チャネルと、第２予測チャネルを具え、該第２予測チャネルは動き推定兼補償段と、当該符号化装置の入力端子と前記符号化チャネルとの間に配置された減算器とを具え、該減算器の負入力端子に前記動き推定兼補償段の出力を受けるように構成された符号化装置において、前記動き推定兼補償段は請求項４〜６の何れかに記載の動き推定回路を具えることを特徴とする符号化装置。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9403772 | 1994-03-30 | ||
| FR9403772 | 1994-03-30 | ||
| FR9411284 | 1994-09-21 | ||
| FR9411284 | 1994-09-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08294121A JPH08294121A (ja) | 1996-11-05 |
| JP3904248B2 true JP3904248B2 (ja) | 2007-04-11 |
Family
ID=26231056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07364795A Expired - Fee Related JP3904248B2 (ja) | 1994-03-30 | 1995-03-30 | インタレースフィールドより成る画像間の動きを推定する方法および回路 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5648819A (ja) |
| EP (1) | EP0675652B1 (ja) |
| JP (1) | JP3904248B2 (ja) |
| AU (1) | AU684901B2 (ja) |
| DE (1) | DE69535952D1 (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5929940A (en) * | 1995-10-25 | 1999-07-27 | U.S. Philips Corporation | Method and device for estimating motion between images, system for encoding segmented images |
| KR0178746B1 (ko) * | 1995-12-13 | 1999-05-01 | 김광호 | 매크로블럭의 반픽셀처리장치 |
| TW388173B (en) * | 1996-02-29 | 2000-04-21 | Ibm | Method and apparatus to calculate field motion estimations in frame pictures |
| JP2000512091A (ja) | 1996-05-24 | 2000-09-12 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 動作ベクトル処理 |
| JPH1169356A (ja) * | 1997-08-25 | 1999-03-09 | Mitsubishi Electric Corp | 動画像符号化方式及び動画像復号方式 |
| US6335950B1 (en) | 1997-10-14 | 2002-01-01 | Lsi Logic Corporation | Motion estimation engine |
| US6044206A (en) * | 1997-10-14 | 2000-03-28 | C-Cube Microsystems | Out of order instruction processing using dual memory banks |
| JPH11168727A (ja) * | 1997-12-02 | 1999-06-22 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
| US6317460B1 (en) * | 1998-05-12 | 2001-11-13 | Sarnoff Corporation | Motion vector generation by temporal interpolation |
| US6501799B1 (en) | 1998-08-04 | 2002-12-31 | Lsi Logic Corporation | Dual-prime motion estimation engine |
| US6563953B2 (en) * | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
| US20030099294A1 (en) * | 2001-11-27 | 2003-05-29 | Limin Wang | Picture level adaptive frame/field coding for digital video content |
| EP2262269B1 (en) | 2001-12-17 | 2018-01-24 | Microsoft Technology Licensing, LLC | Skip macroblock coding |
| US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
| KR100517504B1 (ko) * | 2003-07-01 | 2005-09-28 | 삼성전자주식회사 | Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치 |
| US7499495B2 (en) | 2003-07-18 | 2009-03-03 | Microsoft Corporation | Extended range motion vectors |
| US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
| US7609763B2 (en) | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
| US7620106B2 (en) * | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
| US7606308B2 (en) * | 2003-09-07 | 2009-10-20 | Microsoft Corporation | Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields |
| US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| US7567617B2 (en) | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
| US7623574B2 (en) * | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
| US7616692B2 (en) * | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
| US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
| US7599438B2 (en) | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
| US9077960B2 (en) | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
| JP2007189518A (ja) * | 2006-01-13 | 2007-07-26 | Matsushita Electric Ind Co Ltd | 信号処理装置、撮像装置、ネットワークカメラシステム及び映像システム |
| US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
| US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5093720A (en) * | 1990-08-20 | 1992-03-03 | General Instrument Corporation | Motion compensation for interlaced digital television signals |
| EP0683615B1 (en) * | 1990-10-31 | 1999-05-19 | Victor Company Of Japan, Ltd. | Compression method for interlace moving image signals |
| TW199257B (ja) * | 1991-07-30 | 1993-02-01 | Sony Co Ltd | |
| JP2991833B2 (ja) * | 1991-10-11 | 1999-12-20 | 松下電器産業株式会社 | インターレス走査ディジタルビデオ信号の符号化装置及びその方法 |
| JP2611591B2 (ja) * | 1991-10-31 | 1997-05-21 | 日本ビクター株式会社 | 動き補償装置 |
| US5369449A (en) * | 1991-11-08 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method for predicting move compensation |
| WO1993013626A1 (en) * | 1991-12-27 | 1993-07-08 | Sony Corporation | Image data coding method, image data decoding method, image data coding device, image data decoding device, and image recording medium |
| KR950014862B1 (ko) * | 1992-02-08 | 1995-12-16 | 삼성전자주식회사 | 움직임추정방법 및 그 장치 |
| JP2636622B2 (ja) * | 1992-03-13 | 1997-07-30 | 松下電器産業株式会社 | ビデオ信号の符号化方法及び復号化方法ならびにビデオ信号の符号化装置及び復号化装置 |
| TW241416B (ja) * | 1992-06-29 | 1995-02-21 | Sony Co Ltd | |
| KR0126657B1 (ko) * | 1993-10-28 | 1997-12-29 | 구자홍 | 디지탈 영상 복원을 위한 움직임 보상장치 |
| JP2958267B2 (ja) * | 1996-05-07 | 1999-10-06 | 入江工研株式会社 | 無摺動真空ゲートバルブ |
-
1995
- 1995-03-21 DE DE69535952T patent/DE69535952D1/de not_active Expired - Lifetime
- 1995-03-21 EP EP95200686A patent/EP0675652B1/fr not_active Expired - Lifetime
- 1995-03-29 US US08/413,061 patent/US5648819A/en not_active Expired - Lifetime
- 1995-03-30 AU AU16213/95A patent/AU684901B2/en not_active Ceased
- 1995-03-30 JP JP07364795A patent/JP3904248B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| AU1621395A (en) | 1995-10-12 |
| EP0675652A1 (fr) | 1995-10-04 |
| EP0675652B1 (fr) | 2009-05-13 |
| AU684901B2 (en) | 1998-01-08 |
| JPH08294121A (ja) | 1996-11-05 |
| DE69535952D1 (de) | 2009-06-25 |
| US5648819A (en) | 1997-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3904248B2 (ja) | インタレースフィールドより成る画像間の動きを推定する方法および回路 | |
| US5987180A (en) | Multiple component compression encoder motion search method and apparatus | |
| AU691268B2 (en) | Image coded data re-encoding apparatus | |
| JP3720875B2 (ja) | トランスコーディング方法及び装置 | |
| US6434197B1 (en) | Multi-functional transcoder for compressed bit streams | |
| US5852682A (en) | Post-processing method and apparatus for use in a video signal decoding apparatus | |
| KR100203710B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| US5757969A (en) | Method for removing a blocking effect for use in a video signal decoding apparatus | |
| US20030185303A1 (en) | Macroblock coding technique with biasing towards skip macroblock coding | |
| US20060222074A1 (en) | Method and system for motion estimation in a video encoder | |
| WO1996041482A1 (en) | Hybrid hierarchical/full-search mpeg encoder motion estimation | |
| JPH08251601A (ja) | 動きベクトルを符号化又は復号化する方法及び装置 | |
| US5614954A (en) | Motion compensation apparatus for use in an image encoding system | |
| US7072399B2 (en) | Motion estimation method and system for MPEG video streams | |
| EP0825778A2 (en) | Method for motion estimation | |
| KR19980017213A (ko) | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 | |
| US5574663A (en) | Method and apparatus for regenerating a dense motion vector field | |
| US6950470B2 (en) | Method and apparatus for optimizing of motion estimation | |
| JP3725232B2 (ja) | 動きベクトル決定方法 | |
| KR0178221B1 (ko) | 픽셀의 평균값을 이용한 개선된 패턴 벡터 부호화 시스템 | |
| RU2154917C2 (ru) | Улучшенный способ заключительной обработки и устройство для использования в системе декодирования сигнала изображения | |
| JPH07336695A (ja) | 動画像の符号化及び復号化方法 | |
| JP3382292B2 (ja) | 画像符号化装置及びその方法 | |
| KR100240620B1 (ko) | 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치 | |
| KR100203638B1 (ko) | 반화소 단위 움직임 추정방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050509 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050512 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060818 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070109 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100119 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |