JP2000125303A - 運動推定フェ―ズにおける3:2プルダウンの検知及び最適化したビデオ圧縮エンコ―ダ - Google Patents
運動推定フェ―ズにおける3:2プルダウンの検知及び最適化したビデオ圧縮エンコ―ダInfo
- Publication number
- JP2000125303A JP2000125303A JP11288455A JP28845599A JP2000125303A JP 2000125303 A JP2000125303 A JP 2000125303A JP 11288455 A JP11288455 A JP 11288455A JP 28845599 A JP28845599 A JP 28845599A JP 2000125303 A JP2000125303 A JP 2000125303A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- field
- norm
- pictures
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
続するイメージの間における運動推定に基づいてピクチ
ャのシーケンスのエンコーディングデータを圧縮する技
術を提供する。 【解決手段】 本発明によれば、ある順番におけるある
ピクチャの繰返しによりフォトグラムの数より大きな数
のTVフレームのシーケンスにおいて撮影したシーケン
スの一連のフォトグラムの3:2プルダウン変換を認識
し、且つこのようなピクチャの繰返しに起因する冗長性
を除去する。
Description
クチャの送信に関するものであって、更に詳細には、例
えばMPEG2ビデオエンコーダにおいて実現されてい
るような運動推定アルゴリズムに基づくピクチャの圧縮
技術に関するものである。
ャ寸法において互いに異なっており且つピクチャが送信
される態様(フレームレート、帯域、等)において異な
っている。通常、動画は24フォトグラム/秒でカメラ
によって記録される。25ピクチャ/秒の速度を必要と
するPAL又はSECAMシステムで送信するために
は、フィルムが僅かに加速され、その結果僅かな音及び
運動の歪みが発生するが、それは、実際的には知覚され
ないものである。
タンダードで送信せねばならない場合には、それは30
ピクチャ/秒のフレーム速度を必要とするものであり、
そのような加速はTV視聴者によって明らかに知覚され
るような歪みを発生させる場合がある。この場合には、
所謂「3:2プルダウン(pulldown)」技術を
実施することが必要であり、その技術は24フォトグラ
ム/秒で記録されたフィルムを30ピクチャ/秒のTV
シーケンスへ変換する。
即ち動画は一般的にフォトグラム毎に記録され、即ち、
各ピクチャはある時刻において全体として採取される。
対照的に、テレビのピクチャは2つの別個の時刻におい
て採取され、即ち、最初に、ピクチャの偶数セミフィー
ルド(「上部(Top)フィールド」)を構成する偶数
ラインと、2番目に、奇数セミフィールド(「下部(B
ottom)フィールド」)を構成する奇数ラインとで
ある。これら2つのセミフィールドの「和」がビデオ
「フレーム」とも呼称される全体的なピクチャを構成す
る。1番目のセミフィールドと2番目のセミフィールド
との採取の間にある時間が経過するという事実に鑑み、
ビデオカメラによってフォーカスされたオブジェクトの
間で相対的な運動が存在する場合があり且つ2つのフィ
ールドにおいて1つのオブジェクトは僅かに異なる位置
を取る場合がある。
ールドに分解することが可能であり、即ち所謂上部フィ
ールドを形成する偶数ラインと所謂下部フィールドを形
成する奇数ラインとであるが、単一の時刻に採取された
ピクチャであり、フォーカスされたオブジェクトは両方
のフィールドにおいて同一の位置を占有する。
ム/秒への3:2プルダウン変換方法は、図2に示した
手法に従って幾つかのフィールドの繰返し即ち複製によ
って、フィルムの4個のフォトグラムからなるシーケン
スを5個のTVフレームからなるシーケンスへ変換する
ことを包含している。図2において、Topi及びBo
tiはフォトグラムiの上部(Top)フィールド(偶
数ライン)及び下部(Bottom)フィールド(奇数
ライン)を夫々表わしており、尚i=1,2,3,4で
ある。このフィールドの繰返しはアーチファクト即ち人
工的な効果を発生するが、それはTV視聴者に影響を与
えるようなものではない。何故ならば、フレームは33
msのインターバル即ち間隔で繰返されるからである。
送信又は記録されねばならない情報量を減少させること
であるので、そのシーケンスが3:2プルダウン変換を
包含しているか否かを検知することによって、4個のピ
クチャによって必要とされるのと同一のビット数で5個
のピクチャをコーディングすることによりどのようにし
て繰返しフィールドのエンコーディングを回避すること
が可能であるかが明らかである。従って、上述した手法
に従う5個のピクチャのシーケンスを再生することはデ
コーダ(受信ステーション)のタスクである。このよう
に、同じ品質のピクチャに対しては、圧縮比を増加させ
ることが可能であり、又ピクチャをコーディングするた
めに使用可能な同数のビットに対してはその品質を改善
することが可能である。
は、発生された運動フィールドの相関に基づく運動推定
器を使用する圧縮アルゴリズムに対するコーディング品
質を更に改善することを可能とする。3:2プルダウン
手法に従うフィールドの繰返しはピクチャのグローバル
な運動において不一致を発生する場合がある。フィール
ドが繰返される場合には、運動推定器はこのことをピク
チャのオブジェクトの運動(仮想的なものであるが)の
停止として検知し、従って発生されたベクトルの収束プ
ロセスを検証する。3:2プルダウンの検知の更なる有
益的な結果は、その検知が使用したエンコーディング方
法によって許容された全ての予測を実施することを無用
なものとさせ(フィールド予測、二重プライム(pri
me)予測及びフレーム等)及びフレーム予測方法のよ
うにピクチャフィールド間の時間が欠如していることを
考慮に入れる方法に特権を与えることが可能であるとい
う点である。3:2プルダウンを検知するためには、い
ずれの場合においても実施されるフィールドの間の許容
可能な運動推定に対するコーディングシステムによって
発生される運動フィールドの解析が基本的なものとな
る。
クチャの1つのフィールドの1組のピクセルを、先行す
るピクチャを変換することにより得られた次のピクチャ
の位置に配置させることが可能である。勿論、これらの
オブジェクトの置換えは、ビデオカメラに対して、以前
に見えなかった部分及びそれらの形状の変化(例えば、
ズーミング等)を露呈させる場合がある。
付けるのに適当な一群のアルゴリズムは、通常、「運動
推定」と呼ばれる。このような関連付けは差分イメージ
の部分を計算することを可能とし、従って時間的に冗長
な情報を除去し且つ離散余弦変換(DCT)、量子化及
びエントロピーコーディングによる爾後の圧縮プロセス
をより効果的なものとさせる。
2において典型的な例が見られ且つその重要性に鑑み、
例えば、MPEG2スタンダードを参照する。注意すべ
きことであるが、運動推定のシステム及び本発明のアー
キテクチュアはMPEG2スタンダードとは異なるスタ
ンダードに基づいて動作するデジタル化したピクチャを
操作するシステムに対しても同様に有用であり且つ容易
に適用可能である。
ック図を図3に示してある。このようなシステムは以下
のような機能的ブロックから構成されている。
れるコーディング順にフィールドを出力する1個又は幾
つかのフィールドメモリから構成されている。例えば、
入力シーケンスがIBBPBBP等である場合には、出
力順はIPBBPBB...である。
間的冗長性を含むフィールド及び/又はセミフィールド
であり、P(予測ピクチャ)は先行するI又はP(前に
コード化又はデコード化されたもの)に関し時間的な冗
長性が除去されているフィールド及び/又はセミフィー
ルドであり、B(双方向予測ピクチャ)は先行するI及
び後続のP(又は先行するP及び後続のP)に関し時間
的冗長性を除去したフィールド及び/又はセミフィール
ドである(両方の場合において、I及びPピクチャは既
にコード化/デコード化されているものと考えねばなら
ない)。
ムバッファは以下のメモリ空間を占有する。
ロックである。
実施するブロックである。Iピクチャ及びエラーピクチ
ャP及びBは8×8ブロックのピクセルY,U,Vに分
割され、それに関してDCT変換が実施される。
CT係数の大きさを多かれ少なかれ著しく減少させるた
めに量子化用マトリクスによって割算される。このよう
な場合においては、人間の眼に対して感受性がより低い
最も高い周波数に関連する情報が除去される傾向とな
る。その結果は整理し直され且つ次のブロックへ送られ
る。
く多かれ少なかれ多数のヌル係数を含む傾向がある。最
初の非ヌル値に先行するヌル値がカウントされ且つその
カウント値はコード化ワードの第一部分を構成し、この
第二部分は非ヌル係数を表わす。
もより蓋然性のある値をとる傾向がある。最も蓋然性の
あるものは比較的短いワード(2,3又は4ビットから
構成されている)でコード化され、一方最も蓋然性の低
いものはより長いワードでコード化される。統計的に
は、出力ビット数はこれらの方法が使用されない場合よ
りも少ない。
びその他の構文上の要素によって発生されたデータはM
PEG2スタンダードによって意図されている最終的な
シンタックス即ち構文を構成するために組立てられる。
その結果発生するビットストリームはメモリバッファ内
に格納され、その限界寸法はMPEG2スタンダードに
よって画定され且つオーバーフローすることは不可能で
ある。量子化器ブロックQは、システムがこのようなメ
モリバッファの満杯限界からどれ程離れているか及び運
動推定及びDCT変換プロセスの上流側でとられた8×
8ソースブロックのエネルギに依存して、DCT8×8
ブロックの割算を多かれ少なかれ著しいものとさせるこ
とによりこのような限界の側面を処理する。
C) 上に特定した可変長コーディング機能が逆の順番に実行
される。
ブロック構造に再調整され、それはその前のコーディン
グに対して使用したものと同一の量子化用マトリクスに
よって乗算される。
て出力された8×8ブロックに対して適用される。この
ことは空間周波数のドメインからピクセルドメインへ通
過することを許容する。
のものが存在する場合がある。
の時間的冗長性を除去するために夫々のメモリバッファ
内に格納せねばならないデコード済のIピクチャ(又は
セミピクチャ);運動推定フェーズ期間中に以前に除去
した情報に対して加算されねばならないデコード済の予
測エラーピクチャ(セミピクチャ)P又はB。Pピクチ
ャの場合には、専用のメモリバッファ内に格納されてい
るこのような結果的に得られる和は持続のPピクチャ及
びBピクチャに対する運動推定処理期間中に使用され
る。これらのフィールドメモリは、通常、ブロックを再
調整するために使用されるフィールドメモリとは別のも
のである。
フォーマットへピクチャを変換し且つイメージを表示す
るためのインターレース型フォーマットを発生する。
ーキテクチュアにおいて、図4に示した機能的ブロック
の構成を図2に示してある。明確な特徴は、フィールド
再調整ブロック(1)、既に再生したP及びIピクチャ
を格納するブロック(10)、及びMPEG2コーディ
ングによって発生したビットストリームを格納するブロ
ック(6)がデコーダのコアの集積回路外部のメモリ装
置内において集積化されており、それに対して、適宜集
積化した制御器によって管理される単一のインターフェ
ースを介してアクセスする。
ジをクロミナンスのフィルタ処理及びサブサンプリング
処理によって4:2:2フォーマットから4:2:0フ
ォーマットへ変換する。後処理ブロックは該イメージの
デコーディング及びディスプレイフェーズ期間中に逆の
機能を実施する。
能なものとさせるために基準ピクチャを発生するための
デコーディングステップも使用する。例えば、最初のI
ピクチャをコード化し、次いでデコードし、格納し(パ
ラグラフ10において記載したように)且つ後のP及び
Bピクチャをコード化するために使用される予測エラー
を計算するために使用する。
されたビットストリームのプレイバックプロセスは
「逆」機能ブロック(I−VLC,I−Q,I−DCT
等)のみを使用し、「直接的」機能ブロックを使用する
ものではない。この観点から、イメージの後の表示のた
めに実施されるコーディング及びデコーディングは集積
化したアーキテクチュア内において非同時的なプロセス
であるということが可能である。
スにおけるピクチャ/セミピクチャを予測し、先行する
及び/又は将来のピクチャ又はセミフィールドから発生
する予測子として呼ばれるピクセルからなるブロックの
全体の組成を得ることである。
タイプのピクチャ(フィールド)又はセミフィールドが
存在している。即ち、I(イントラコード化ピクチャ)
は時間的冗長性を含むフィールド及び/又はセミフィー
ルドであり、P(予測ピクチャ)は先行するI又はP
(以前にコード化/デコード化されている)に関する時
間的冗長性が除去されたフィールド及び/又はセミフィ
ールドであり、B(双方向予測ピクチャ)は先行するI
及び後続のP(又は先行するP及び後続のP)に関する
時間的冗長性が除去されたフィールド及び/又はセミフ
ィールドである(両方の場合において、I及びPピクチ
ャは既にコード化/デコード化されたものと考えねばな
らない)。
ィールドに対しても適用される)、即ち時刻tにおける
Q1及び時刻t+(kq)×Tにおける後続のフィール
ドQ2に付いて検討する。Tをフィールド周期(PAL
スタンダードの場合には1/25秒、NTSCスタンダ
ードの場合には1/30秒)であり且つkpは先行する
Iと後続のPの間(又は2つのPの間)に存在するBフ
ィールドの数に依存する定数であるとする。Q1及びQ
2はルミナンス成分及びクロミナンス成分によって構成
される。運動推定を、N行及びM列のマトリクスとして
表現することの可能な最もエネルギが高く、従って、情
報成分が豊富である、例えばルミナンスに対してのみ適
用するものと仮定する。Q1及びQ2を各々がR行でS
列からなるマクロブロックと呼ばれる部分に分割する。
その分割の結果N/R及びM/Sは2つの整数でなけれ
ばならないが、必ずしも互いに等しいものである必要は
ない。
る基準マクロブロックとして画定され且つその左上部分
の最初のピクセルがi番目の行とj番目の列との交差点
にあるマクロブロックとする。対(i,j)はi及びj
が、夫々、R及びSの整数の倍数であるという特徴を有
している。
クがQ2ピクチャ上に位置されているかを示しており、
水平方向の点線矢印はQ2上の種々のマクロブロックを
識別するために使用されるスキャニング方向を示してい
る。Q1フィールド上にMB2(i,j)を投影し、M
B1(i,j)を得るものと仮定する。
マクロブロックMBk[e,f]から構成されるサーチ
ウインドウを画定するものとし、尚kはマクロブロック
インデクッスである。k番目のマクロブロックは以下の
ようにして座標(e,f)により識別される。
j)の可能性のある予測子である。それがサーチされる
態様及びサーチウインドウ内において選択される態様に
従って異なる運動推定アルゴリズムはそれらの間で異な
っている。あるコスト関数を最小とさせる予測子が全体
的な可能性のある予測子の間から選択される。
ゴリズムに従って異なる場合があり、例えば、MPEG
2スタンダードにおいては、基準マクロブロックに関し
L1ノルムを最小とさせる予測子をサーチする。このよ
うなノルムはMB2(i,j)及びMBk(e,f)に
属し且つ相同のピクセルの間の差の絶対値の和に等し
い。各和に対してR×S値が貢献し、その結果は歪みと
呼ばれる。
運動推定の後の支配的な予測子の座標によって識別され
る。支配的な予測子の位置とMB2(i,j)との間の
差によって構成されるベクトルは運動ベクトルと呼ばれ
且つどのようにしてMB2(i,j)が先行するフィー
ルド内の同様のマクロブロックのシフトから発生するか
を記述する。
ドにも適用される)、即ち時刻tにおけるQPn-1、時
刻t+(kB)×TにおけるQBkB、時刻t+(kP)
×TにおけるQPnについて検討するものとし、尚kP及
びkBは前に選択したBフィールド(又はセミフィール
ド)の数に依存する。Tはフィールド周期である(PA
Lスンダードの場合には1/25秒、NTSCスタンダ
ードの場合には1/30秒)。QPn-1,QBkB,QP
nはルミナンス成分及びクロミナンス成分によって構成
されている。運動推定を、最もエネルギが高く従って情
報成分が豊富である例えばN個の行とM個の列とからな
るマトリクスとして表現することの可能な例えばルミナ
ンスに対してのみ適用するものと仮定する。QPn-1,
QBkB,QPnを各々がR個の行とS個の列とからなる
マクロブロックと呼ばれる部分に分割する。割算N/R
及びM/Sの結果は2つの整数となるものでなければな
らないが、必ずしも等しいものである必要はない。
る基準マクロブロックとして画定され且つその左上部分
における最初のピクセルがi番目の行とj番目の列との
間の交差点にあるマクロブロックであるとする。対
(i,j)はi及びjが夫々R及びSの整数の倍数であ
るという事実によって特徴付けられる。MB2(i,
j)をQPn-1フィールド上に投影してMB1(i,
j)を得且つQPn上に投影してMB3(i,j)を得
るものと仮定する。
且つマクロブロックMB1k[e,f]からなるサーチ
ウインドウを画定し且つQPn上にその寸法が異なる場
合もあり、いずれの場合においても、予め定められてお
りMB3k[e,f]から構成されているサーチウイン
ドウを画定するものとする。尚、kはマクロブロックイ
ンデックスである。QPn-1上のk番目のマクロブロッ
クは以下のようにして座標(e,f)により識別され
る。
以下のようにして座標(e,f)により識別される。
j)の予測子であると言われる。従って、この場合にお
いては、MB2(i,j)に対して2つのタイプの予測
子が存在しており、即ち、「前方」と呼称される推定さ
れるべきブロック(I又はP)を包含するものに時間的
に先行するフィールド上で得られるもの、及び「後方」
と呼ばれる推定されるべきブロック(I又はP)を包含
するものに時間的に後続するフィールド上で得られるも
のである。
依存する組であってこれら2つの組の可能性のある予測
子の中で、ハードウエア実現化のあるコスト関数を最小
とするような2つ、即ち1つが後方で1つが前方である
ものを選択する。このコスト関数は選択した運動推定の
タイプに依存して異なる場合があり、例えば、MPEG
2スタンダードにおいては、基準マクロブロックに関し
L1ノルムを最小とする予測子をサーチする。このよう
なノルムはMB2(i,j)及びMB1k(e,f)又
はMB3k(e,f)に属し且つ相同のピクセルの間の
差の絶対値の和に等しい。各和に対して、R×S値が貢
献し、その結果は歪みと呼ばれる。
の中で最も低いものがフィールドQPn-1における支配
的な位置(ef,ff)を識別するものとして選択され、
且つある後方歪み値が得られ、その中で、最小値がQP
nフィールド上の新たな支配的な位置(eb,fb)を識
別するものとして選択される。更に、MB2(i,j)
と2つの支配的な予測子の直線補間によって得られた理
論的なマックロブロックとの間の歪み値が計算される。
のマクロブロックのみ、即ち前方予測子(ef,ff)、
又は後方予測子(eb,fb)又は平均化したものである
が両方を使用して推定することが可能である。支配的な
予測子の位置とMB2(i,j)の位置との間の差成分
により構成されるベクトルは運動ベクトルとして定義さ
れ且つどのようにしてMB2(i,j)が先行する及び
/又は後続のフィールドにおけるそれと類似するマクロ
ブロックの変換から派生するかを記述する。
鑑みなされたものであって、上述した如き従来技術の欠
点を解消し、3:2プルダウンと呼称されるピクチャシ
ーケンス変換が存在することを認識することによる運動
推定アルゴリズムに基づいてピクチャ圧縮技術の効率を
改善することである。
2プルダウンが存在することを認識することの能力は圧
縮プロセスの効率及びイメージの品質に関して顕著な影
響を与える可能性があることが明らかである。コーダー
即ちコード化器において行われるその他のプロセスに関
し連続的且つ同時的なモードで3:2プルダウンプロセ
スを検知することが基本的なことであることを強調する
ことが重要である。
シーケンス内に挿入される場合がある。TV放送フィル
ムがしばしばコマーシャルによって中断されることを考
えることで充分である。従って、不可避的な情報の損失
を発生する可能性のあるフィールドを失うことがないよ
うに、フィルムモードからすぐさま通常のモードへ変更
することが可能であることが必要である。
的冗長性を除去するために連続するピクチャ間の運動推
定手順に基づいてピクチャのシーケンスのデジタルデー
タをコーディングする圧縮方法が、幾つかのピクチャを
繰返す即ち複製することにより多数のTVフレームのシ
ーケンスにおいてある数のフィルムフォトグラムの3:
2プルダウン変換を認識し且つその認識の結果としてこ
のようなピクチャの繰返し即ち複製に起因する冗長性を
除去する、上記各ステップを有している。
するピクチャのものに関しあるピクチャの繰返されるフ
ィールドが存在することを認識し且つこのような繰返し
があるシーケンスのものである、即ち3:2プルダウン
変換のものに対応するシーケンスであることを検証する
ことが可能である。従って、本発明方法が効果的なもの
である前提条件は、コーダー即ちコード化器において実
現される運動推定アルゴリズムがそのシーケンスにおけ
るあるフレームとそれに続くフレームとの間の運動を確
立することである。
マクロブロックに対して、運動推定アルゴリズムは現在
のフレームと相対的に先行するフレーム上又は持続のフ
レーム上におけるサーチウインドウ内において予測子マ
クロブロックをサーチする。最良の予測子はあるコスト
関数(ノルムL1)を最小とさせるものである。
ズムは運動推定システムによって使用可能とされる2つ
の情報を使用するものであり、即ち、 ※支配的なマクロブロック予測子、 ※コスト関数値、 且つ、これらのデータはコーディングフェーズ期間中に
計算されねばならないので、本発明方法に基づく3:2
プルダウンの決定はハードウエアを実現する全体的な複
雑性に関し与える影響は比較的低いものであることを暗
示している。
推定が現在のピクチャの各基準マクロブロックに対して
現在のピクチャに時間的に先行するか又は持続のピクチ
ャ上のサーチウインドウ内における予測子マクロブロッ
クをサーチし且つあるコスト関数L1を最小とする予測
子を選択することによって行われる圧縮プロセスにおい
て、ピクチャからなるシーケンスのデータのデジタルコ
ーディングの流れにおいて3:2プルダウンの検知が以
下の動作に従って本発明に基づいて行われる。 (a)各半分がR×S/2個のピクセルを包含している
ピクチャの上部フィールド上に位置されている半分と下
部フィールド上に位置されている半分とからなるR×S
個のピクセルからなる基準ブロックを定義する。
記サーチウインドウ内において、前記上部半分(Top
i)及び下部半分(Bottomi)に対して別々に、現
在のピクチャ(i)の各マクロブロックに対して、時間
的に先行するピクチャ上の相同の半分(Topi-1,B
ottomi-1)に関しより良く予測する(ノルムL1
を最小とする)同様の寸法のマクロブロックをサーチす
る。
1)上でサーチされた支配的な予測子に関連するノルム
(L1Top)を現在のピクチャの前記上部半分(To
pi)に対するR×S/2マクロブロックに対する予測
子として、先行するピクチャ(Topi-1)上の相同の
位置におけるマクロブロックR×S/2を使用すること
により得られたノルム(L1Top0)と比較し且つ後者の
ノルム(L1Top0)が最初のノルム(L1Top)より小
さい場合に第一カウンタ(number_0_Top)
をインクリメントさせる。
1Bottom,L1Bottom0)の間において比較(c)と同
一の動作を実施し、第二カウンタ(number_0_
Bottom)をインクリメントする。
に含まれる数があるスレッシュホールド(α×マクロブ
ロック数、尚α<1である)より高いか否か、この場合
には先行するピクチャに関し現在のピクチャの一方及び
/又は他方の半分の繰返しの発生があるか否かを検証す
る。
との一致を究極的に検知し、従って3:2プルダウンの
検知を確認するために、ある数の連続するピクチャに対
する繰返しのアクノレッジメント即ち肯定回答又はディ
スアクノレッジメント即ち否定回答のデータを処理す
る。
基準マクロブロックが半分が上部フィールド上に位置し
ており且つ半分が下部フィールド上に位置しており、各
半分がR×S/2の寸法を有するものと仮定する。
び最初及び最後の列)に属するものを除いて、現在のフ
レーム内に含まれる各マクロブロックに対して、最も良
く予測する(L1ノルムを最小とする)同様の寸法のマ
クロブロックをTopi上のR×S/2部分に対するT
opi−1及びBottomi上のR×S/2部分に対
するBottomi−1上において同様に別々にサーチ
ウインドウ内においてサーチする。
R×S/2と関連するノルムL1(それをL1Topで表
わす)を、Topi上のR×S/2マクロブロックに対
する予測子として、Topi−1上の相同の位置におけ
るR×S/2マクロブロックが使用される場合に得られ
るノルムの値(それをL1Top0で表わす)と比較する。
L1top0がL1topより小さい場合には、Topi上の
マクロブロックR×S/2がTopi−1上のものと相
対的にシフトしていない可能性があり、且つこの場合に
は、第一カウンタnumber_0_topがインクリ
メントされる。下部フィールドに対しても同様のプロセ
スが実施され、L1bottom0及びL1bot tomを得、それ
らを比較し且つ究極的に第二カウンタnumber_0
_bottomをインクリメントさせる。
に、カウンタnumber_0_topはTopi−1
とTopiとの間で移動しなかったR×S/2マクロブ
ロックの数を包含している。この数がピクチャ内に含ま
れるマクロブロックの総数とαとの積より大きい場合に
は、尚αは1未満であり、Topフィールドが繰返され
たことを肯定することが可能である。同様に、この条件
がカウンタnumber_0_bottomの内容につ
いても検証される場合には、Bottomフィールドが
繰返されている。これらのチェックはテスト1として便
宜的に定義することが可能な第一テストを構成する。
的なピクチャに対するL1top0及びL1bottom0の平均
値が計算される。L1bottom0の平均がβが1より大き
いものとしてL1top0の平均とβとの積より大きい場合
には、ピクチャi−1のフィールド上の相同の位置にお
ける夫々の予測子によってBottomi上のマクロブ
ロックR×S/2よりもTopi上のマクロブロックR
×S/2がより良く予測され、従ってTopフィールド
が繰返されたことを肯定することが可能であり、且つそ
の逆も又真である。便宜的にこの2番目のテストはテス
ト2として呼称する。
3:2プルダウンを検知するブロックと通信を行うかの
構成を示している。図9はTop(上部)フィールドに
関係するテスト1及びテスト2の手順を示している。勿
論、同様の手順をBottom(下部)フィールドをテ
ストするために使用する。上部フィールドに対するテス
ト1及び底部フィールドに対するテスト1は相互に排他
的なものではなく、従ってテスト2と異なり、それらは
異なる値又は同一の値を発生する場合がある。3:2プ
ルダウンの場合には、繰返されたフィールドは良好に画
定された手順又はパターンに適合するものでなければな
らない。従って、図8に示したように、3:2プルダウ
ンを検知するブロックは3個の機能的サブブロックを有
しており、即ち最初の2つのサブブロックは、夫々、T
op(上部)及びBottom(下部)フィールドに対
してテスト1及びテスト2を計算し、且つ3番目のサブ
ブロックは該フィールドを正しい順番で繰返すか否かを
制御する。従って、フィールドの繰返しパターンを示す
テーブルを発生することが可能であり、それは、任意の
時刻において、このような手順における現在のピクチャ
の位置を表わす。
わす。
先行するフレームに関してその特定のフィールドの繰返
しが存在する場合があることを表わす。
在しないことを表わす。
法は図10に示したアーキテクチュアの構成に従って実
現することが可能である。このプロセスは以下の通りで
ある。
対するテスト1なし)]OR(上部に対するテスト
2)}? yes 上部フィールドが繰返される。
対するテスト1なし)]OR(下部に対するテスト
2)}? yes 下部フィールドが繰返される。
するテスト2)]? yes 上部及び下部の両方のフィールドが繰返され
る。
有される位置に依存して(インデックス)、3:2プル
ダウンに従って複製されるべきフィールドの可能な繰返
しをサーチする。従って、インデックスが0に等しい場
合には、繰返されるTop即ち上部をサーチし、インデ
ックスが3に等しい場合には、繰返されるBottom
即ち下部をサーチし、且つその他の全ての場合には、T
op(上部)及びBottom(下部)の両方のフィー
ルドが繰返されないかチェックする。
は、以下の手順に従ってフィールドが正しい順番で複製
されるか否かを制御する。
ら開始するものと仮定することにより、インデックスは
0であり且つTop(上部)フィールドの複製及びBo
ttom(下部)フィールドの非複製が決定されるまで
(手順に従って)フレーム毎にその状態を継続する。
リメントされ、従って、相次ぐフレームにおいて、イン
デックスが1に等しい(即ち、繰返しなし)に対するテ
ーブルに従ってフィールドの複製をサーチする。
ンデックスはゼロへ復帰し且つ手順が新たに開始する。
一方、フィールドの繰返しが正しいものである場合に
は、インデックスがインクリメントされる。
知される。インデックスはゼロへ復帰する。3:2プル
ダウンの検知から、エンコーダは対応するインデックス
値に対するテーブルのものから異なるフィールド複製パ
ターンに遭遇するまでフィルムモードに留まる。このこ
とが発生すると、インデックスは0へ復帰し、エンコー
ダはフィルムモードでの作業を終了し且つ本手順は始め
から再度開始する。
詳細に説明したが、本発明は、これら具体例にのみ制限
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。
レース型シーケンス(TV)の例を示した概略図。
のTVフレームからなるシーケンスへ変換する3:2プ
ルダウンと呼ばれる方法を示した概略図。
るブロックを包含するMPEG2MP@MLビデオコー
ダーを示した概略図。
キテクチュアを示した概略図。
1個のマクロブロックの位置を示した概略図。
のマクロブロックの間のサーチ方法を示した概略図。
アーキテクチュアを示した概略図。
ブロック図。
2の計算方法を示した概略図。
定し且つ繰返しの順番をチェックする方法を示した概略
図。
Claims (4)
- 【請求項1】 データから時間的冗長性を除去するため
に連続するイメージの間における運動推定に基づいてピ
クチャのシーケンスのエンコーディングデータを圧縮す
る方法において、 ある順番においてのあるピクチャの繰返しによるフォト
グラムの数より大きな数のTVフレームのシーケンスに
おいて撮影したシーケンスの一連のフォトブラムの3:
2プルダウン変換を認識し、且つ、 このようなピクチャの繰返しに基づく冗長性を除去す
る、ことを特徴とする方法。 - 【請求項2】 請求項1において、前記シーケンスの連
続するピクチャの間の運動推定が、現在のピクチャの各
基準マクロブロックに対して、時間的に先行するか又は
後続のピクチャ上のサーチウインドウ内の予測子マクロ
ブロックのサーチ及びあるコスト関数又はノルムL1を
最小とさせる予測子の選択を行い、前記ピクチャのシー
ケンスであるデータのデジタルエンコーディングのスト
リームにおける3:2プルダウンの検知が、 (a)各半分がR×S/2個のピクセルであるピクチャ
の上部フィールド上の半分及び下部フィールド上の半分
に位置されているR×S個のピクセルの基準マクロブロ
ックを画定し、 (b)周辺のマクロブロックを除いて、前記サーチウイ
ンドウ内において且つ前記上部半分(Topi)及び前
記下部半分(Bottomi)に対して別々に現在のピ
クチャ(i)の各マクロブロックに対して、時間的に先
行するピクチャ上の相同の半分(Topi-1,Bott
omi-1)に関し前記L1ノルムを最も良く予測するか
又は最小とさせる同様の寸法のマイクロブロックをサー
チし、 (c)前記上部半分(L1Top)に対し時間的に先行す
るピクチャ(I−1)上でサーチされた前記最良の予測
子に関連するノルムを先行するピクチャ(Topi-1)
上の相同の位置におけるマクロブロックR×S/2を現
在のイメージの前記上部半分(Topi)に対するマイ
クロブロックR×S/2に対する予測子として使用して
得られたノルム(L1Top0)と比較し且つ後者のノルム
値(L1 Top0)が最初のノルム値(L1Top)より小さ
い場合に第一カウンタ(number_0_Top)を
インクリメントし、 (d)下部半分に対するノルム値(L1Bottom,L1
Bottom0)の間の比較のステップ(c)を繰返し行い、
究極的に第二カウンタ(number_0_Botto
m)をインクリメントし、 (e)前記第一及び/又は前記第二カウンタ内に含まれ
ている数があるスレッシュホールド(α×マクロブロッ
ク数、尚α<1)より大きいか否かを検証し、先行する
ピクチャに関して現在のピクチャの一方及び/又は他方
の半分のフィールドの繰返しの発生を肯定又は否定し、 (f)3:2プルダウンの検知を肯定する3:2プルダ
ウンのパターンとの究極的な一致を認識する多数の連続
するピクチャ又はTVフレームに対する繰返しの肯定及
び否定データを処理する、ことを特徴とする方法。 - 【請求項3】 請求項2において、更に、 全体的な現在のピクチャに対して上部フィールド(L1
Top0)及び下部フィールド(L1Bottom0)に対して前
記ノルム値の平均値を計算し且つ処理し、 βが1より大きいものとして、下部フィールド(L1
Bottom0)に対する前記平均値が上部フィールド(L1
Top0)に対するノルムの平均値よりもβ倍大きいか否か
を検証し、時間的に先行するピクチャ(i−1)の同一
のフィールド上の相同位置における予測子マクロブロッ
クによって現在のピクチャ(Topi)の上部フィール
ドが下部フィールド(Bottomi)よりもより良く
予測されており従って繰返されたものが上部フィールド
であること又はその逆も真であることを確立し、 3:2プルダウンパターンとの究極的な一致を認識し且
つそれの検知を肯定するために請求項2の手順に従って
発生された肯定又は否定データと共に平均化されたノル
ム値に関して実施されたこの2番目のテストの結果を処
理する、ことを特徴とする方法。 - 【請求項4】 圧縮されるべきデータから時間的冗長性
を除去するために連続するピクチャの間における運動推
定器を有するMPEG2エンコーダにおいて、 ある順番におけるあるピクチャの繰返しによりフォトグ
ラムの数より大きな数のTVフレームのシーケンスにお
ける撮影されたシーケンスの一連のある数のフォトグラ
ムの変換の3:2プルダウンを認識し且つこのようなピ
クチャの繰返しに基づく冗長性を除去する手段、を有し
ていることを特徴とするMPEG2エンコーダ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP98830600.7 | 1998-10-12 | ||
EP98830600A EP0994626A1 (en) | 1998-10-12 | 1998-10-12 | Detection of a 3:2 pulldown in a motion estimation phase and optimized video compression encoder |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000125303A true JP2000125303A (ja) | 2000-04-28 |
JP4518599B2 JP4518599B2 (ja) | 2010-08-04 |
Family
ID=8236828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28845599A Expired - Fee Related JP4518599B2 (ja) | 1998-10-12 | 1999-10-08 | 運動推定フェーズにおける3:2プルダウンの検知及び最適化したビデオ圧縮エンコーダ |
Country Status (3)
Country | Link |
---|---|
US (1) | US6549668B1 (ja) |
EP (1) | EP0994626A1 (ja) |
JP (1) | JP4518599B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963377B2 (en) * | 2000-02-29 | 2005-11-08 | Koninklijke Philips Electronics N.V. | Encoding method and device including thresholding pixel-to-pixel differences |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1198138A1 (en) * | 2000-10-13 | 2002-04-17 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for film mode detection in video fields |
EP1198139A1 (en) * | 2000-10-13 | 2002-04-17 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for encoding video fields |
DE60045579D1 (de) * | 2000-10-13 | 2011-03-10 | Panasonic Corp | Verfahren und Vorrichtung zur Film-Mode-Detektion in Videohalbbildern |
US7742525B1 (en) * | 2002-07-14 | 2010-06-22 | Apple Inc. | Adaptive motion estimation |
US7154555B2 (en) * | 2003-01-10 | 2006-12-26 | Realnetworks, Inc. | Automatic deinterlacing and inverse telecine |
US7474841B2 (en) * | 2003-11-21 | 2009-01-06 | Canon Kabushiki Kaisha | Image processing apparatus and its control method, and computer program and computer-readable storage medium |
TWI236283B (en) * | 2004-01-20 | 2005-07-11 | Realtek Semiconductor Corp | Apparatus and related method for film mode detection using motion estimation |
EP1592254A1 (en) * | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Film mode extrapolation |
DE602004006966T2 (de) * | 2004-04-30 | 2007-10-18 | Matsushita Electric Industrial Co., Ltd., Kadoma | Umkehr-Filmmodus-Extrapolation |
JP5014987B2 (ja) * | 2004-06-30 | 2012-08-29 | トライデント マイクロシステムズ インコーポレイテッド | ビデオモード検出による動き補償 |
WO2007057868A2 (en) * | 2005-11-21 | 2007-05-24 | Koninklijke Philips Electronics N.V. | Method and device for detecting pulldown operations performed on a video sequence |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08237694A (ja) * | 1995-02-27 | 1996-09-13 | Oki Electric Ind Co Ltd | テレシネ映像信号検出装置 |
JPH09130812A (ja) * | 1995-09-08 | 1997-05-16 | Nippon Steel Corp | 重複ビデオフィールドの検出方法及び装置、画像エンコーダ |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9303369D0 (en) * | 1993-02-19 | 1993-04-07 | Philips Electronics Uk Ltd | Identifying film frames in a video sequence |
US5734419A (en) * | 1994-10-21 | 1998-03-31 | Lucent Technologies Inc. | Method of encoder control |
US5691771A (en) * | 1994-12-29 | 1997-11-25 | Sony Corporation | Processing of redundant fields in a moving picture to achieve synchronized system operation |
US5757435A (en) * | 1995-12-08 | 1998-05-26 | C-Cube Microsystems, Inc. | MPEG-2 inverse telecine circuit |
US5929916A (en) * | 1995-12-26 | 1999-07-27 | Legall; Didier J. | Variable bit rate encoding |
-
1998
- 1998-10-12 EP EP98830600A patent/EP0994626A1/en not_active Withdrawn
-
1999
- 1999-10-08 JP JP28845599A patent/JP4518599B2/ja not_active Expired - Fee Related
- 1999-10-12 US US09/416,646 patent/US6549668B1/en not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08237694A (ja) * | 1995-02-27 | 1996-09-13 | Oki Electric Ind Co Ltd | テレシネ映像信号検出装置 |
JPH09130812A (ja) * | 1995-09-08 | 1997-05-16 | Nippon Steel Corp | 重複ビデオフィールドの検出方法及び装置、画像エンコーダ |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963377B2 (en) * | 2000-02-29 | 2005-11-08 | Koninklijke Philips Electronics N.V. | Encoding method and device including thresholding pixel-to-pixel differences |
Also Published As
Publication number | Publication date |
---|---|
US6549668B1 (en) | 2003-04-15 |
EP0994626A1 (en) | 2000-04-19 |
JP4518599B2 (ja) | 2010-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5438374A (en) | System and method for filtering video signals | |
US5453799A (en) | Unified motion estimation architecture | |
JP4198206B2 (ja) | 動き依存予測を使用したビデオ情報の圧縮方法と装置 | |
JP3737586B2 (ja) | ディジタルビデオデータストリームの前処理装置 | |
US20050002458A1 (en) | Spatial scalable compression | |
CA2218865A1 (en) | Hybrid hierarchical/full-search mpeg encoder motion estimation | |
US6829373B2 (en) | Automatic setting of optimal search window dimensions for motion estimation | |
US6795498B1 (en) | Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system, and image processing method | |
JP4518599B2 (ja) | 運動推定フェーズにおける3:2プルダウンの検知及び最適化したビデオ圧縮エンコーダ | |
JP2000083257A (ja) | ビデオエンコ―ダの運動推定器における場面の変化の検知 | |
JP2000165884A (ja) | フィ―ルド/フレ―ムに対する決定ステップ及び運動ベクトルdctを有するビデオピクチャ圧縮及びコ―ディング | |
JPH09154143A (ja) | ビデオデータ圧縮方式 | |
JP4033554B2 (ja) | インタレース形状情報符号化方法 | |
US6847684B1 (en) | Zero-block encoding | |
JP3426668B2 (ja) | 動画像符号化方法 | |
US6545727B1 (en) | Method for recognizing a progressive or an interlaced content in a video sequence | |
JPH07327242A (ja) | 立体動画像圧縮符号化装置及び立体動画像復号再生装置 | |
US7024052B2 (en) | Motion image decoding apparatus and method reducing error accumulation and hence image degradation | |
JP2947103B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH06292179A (ja) | 直交変換符号化装置および直交変換復号化装置 | |
JPH0984024A (ja) | 動画像信号の符号化装置 | |
JP2011129979A (ja) | 画像処理装置 | |
JP2001119698A (ja) | Dct及び予測エラー係数のフィルタリングによるビデオ画像の活動の測定 | |
JP3597271B2 (ja) | 動画像のカット点画像検出装置 | |
JP3924815B2 (ja) | 動き判断装置及び動き判断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100420 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100518 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |