JP4186239B2 - 画像データのシーケンス検出装置および符号化装置 - Google Patents
画像データのシーケンス検出装置および符号化装置 Download PDFInfo
- Publication number
- JP4186239B2 JP4186239B2 JP21752997A JP21752997A JP4186239B2 JP 4186239 B2 JP4186239 B2 JP 4186239B2 JP 21752997 A JP21752997 A JP 21752997A JP 21752997 A JP21752997 A JP 21752997A JP 4186239 B2 JP4186239 B2 JP 4186239B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- field
- flag
- rff
- tff
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
この発明は、映画等のフィルム素材の画像情報をビデオ信号に変換し、さらに、ビデオ信号を圧縮するのに適用される画像データのシーケンス検出装置および符号化装置に関する。
【0002】
【従来の技術】
映画等のフィルム素材は、毎秒24コマのデータであり、一方、ビデオ信号例えばNTSC方式のビデオ信号は、毎秒30フレームである。従って、フィルム素材をビデオ信号に変換する場合では、24コマから30フレームを生成する処理が必要とされる。このような処理は、所定の変換パターンで2個のフィールドを3個のフィールドに変換する処理を含むことから、一般に2:3プルダウンと称される。すなわち、自動的に5フレームに2回の割合で第1フィールドの繰り返しを発生させることにより、24コマから30フレームの変換がなされる。テレシネ装置がフィルム素材をテレビジョン素材に変換する装置として知られている。
【0003】
画像データは、一般的にデータ量が多いので、伝送、記録に際して、データ量を圧縮する圧縮処理がなされる。上述した2:3プルダウン処理により得られたビデオ信号を圧縮する時には、フレーム数を増やすために挿入したフィールド(繰り返しフィールド)の情報が冗長であるため、繰り返しフィールドを除去するように圧縮符号化を行い、圧縮の効率を向上するようになされる。このように、2:3プルダウン処理によりフレーム数を毎秒30フレームに増やした画像データの繰り返しフィールドを検出し、繰り返しフィールドを除去し、再びフレーム数を24フレームに減らす処理は、逆2:3プルダウン処理と呼ばれる。繰り返しフィールドの検出は、フレーム間差分に基づいてなされる。
【0004】
【発明が解決しようとする課題】
しかしながら、フィルム素材から変換されたビデオ信号を編集した場合には、2:3プルダウンの処理のシーケンスが乱れることがある。また、映画の途中にCMが入るように、途中で2:3プルダウンでない素材が混入されることがある。さらに、撮像管を使用したテレシネ装置によりフィルム素材をビデオ信号へ変換した場合、フレームメモリを使用したノイズリデューサによるノイズ処理を受けた場合では、フレーム間に残像が発生し、2:3プルダウンのシーケンスが乱れることがある。これらの2:3プルダウンでない素材が入ったり、2:3プルダウンのシーケンスが乱れた素材が存在する場合には、繰り返しフィールドを正しく検出することが困難である。若し、誤った検出に基づいて、圧縮符号化を行うと、復号画像が不自然な動きとなる問題があった。
【0005】
このような不自然な動きを含む時でも、DVD、磁気テープ等のストレージメディアの場合では、検出方法および検出条件を適宜変更して検出を行うことによって、2:3プルダウンのシーケンスを予め探しておき、編集等により途中でシーケンスが乱れても、圧縮効率を高めることが可能である。しかしながら、ディジタル放送のような放送用のメディアでは、リアルタイム性が要求されるために、検出方法および検出条件を変更して予めシーケンスを探しておくことができない。このため、ディジタル放送では、2:3プルダウン処理されたビデオ信号を圧縮符号化する場合、繰り返しフィールドの除去の処理を行わないのが普通であり、圧縮効率が低下する問題があった。
【0006】
従って、この発明の目的は、圧縮符号化のために2:3プルダウンのシーケンスを検出する時に、シーケンスが検出できない場合でも、圧縮符号化を良好に行うことが可能な画像データのシーケンス検出装置および符号化装置を提供することにある。
【0007】
【課題を解決するための手段】
上記の目的を達成するために、請求項1の発明は、順次走査の第1の映像信号が2−3プルダウンによってインターレース走査の第2の映像信号に変換され、第2の映像信号のシーケンスを検出するシーケンス検出装置において、
第2の映像信号の1フレームがトップフィールドおよびボトムフィールドによって構成され、
トップフィールドおよびボトムフィールドのそれぞれに関してフレーム間差分を演算し、フレーム間差分に基づいて第1の映像信号のフレーム周期で、第1のフラグPF、第2のフラグTFFおよび第3のフラグRFFの組合せによって規定される複数の状態間で状態を遷移させ、
第1のフラグPFは、順次走査でy(y:2進データの一方の値)となり、インターレス走査でn(n:2進データの他方の値)となり、第2のフラグTFFは、最初のフィールドがトップでyとなり、これがボトムでnとなり、第3のフラグRFFは、繰り返しフィールドが存在する時にyとなり、これが存在しない時にnとなり、
シーケンス検出がロックしている場合では、第1の状態F2(PF,TFF,RFF=y,y,y)、第2の状態F3(PF,TFF,RFF=y,n,n)、第3の状態F4(PF,TFF,RFF=y,n,y)、第4の状態F1(PF,TFF,RFF=y,y,n)を順次遷移し、
第1の状態F2から第2の状態F3へ無条件で遷移し、
第3の状態F4から第4の状態F1へ無条件で遷移し、
第2の状態F3において、シーケンス検出のロックが外れたことを検出すると、第5の状態f3(PF,TFF,RFF=n,n,n)に遷移し、第3の状態F4への遷移の条件が検出されて第3の状態F4に遷移するまで、第5の状態f3を継続し、
第4の状態F1において、シーケンス検出のロックが外れたことを検出すると、第6の状態f1(PF,TFF,RFF=n,y,n)に遷移し、第1の状態F2への遷移の条件が検出されて第1の状態F2に遷移するまで、第6の状態f1を継続し、
第1乃至第3のフラグを第2の映像信号と共に出力することを特徴とするシーケンス検出装置である。
【0008】
請求項4の発明は、順次走査の第1の映像信号が2−3プルダウンによってインターレース走査の第2の映像信号に変換され、第2の映像信号のシーケンスがシーケンス検出装置によって検出され、シーケンス検出装置からの第2の映像信号とフラグとがエンコーダに供給される画像データ符号化装置において、
シーケンス検出装置は、
第2の映像信号の1フレームがトップフィールドおよびボトムフィールドによって構成され、
トップフィールドおよびボトムフィールドのそれぞれに関してフレーム間差分を演算し、フレーム間差分に基づいて第1の映像信号のフレーム周期で、第1のフラグPF、第2のフラグTFFおよび第3のフラグRFFの組合せによって規定される複数の状態間で状態を遷移させ、
第1のフラグPFは、順次走査でy(y:2進データの一方の値)となり、インターレス走査でn(n:2進データの他方の値)となり、第2のフラグTFFは、最初のフィールドがトップでyとなり、これがボトムでnとなり、第3のフラグRFFは、繰り返しフィールドが存在する時にyとなり、これが存在しない時にnとなり、
シーケンス検出がロックしている場合では、第1の状態F2(PF,TFF,RFF=y,y,y)、第2の状態F3(PF,TFF,RFF=y,n,n)、第3の状態F4(PF,TFF,RFF=y,n,y)、第4の状態F1(PF,TFF,RFF=y,y,n)を順次遷移し、
第1の状態F2から第2の状態F3へ無条件で遷移し、
第3の状態F4から第4の状態F1へ無条件で遷移し、
第2の状態F3において、シーケンス検出のロックが外れたことを検出すると、第5の状態f3(PF,TFF,RFF=n,n,n)に遷移し、第3の状態F4への遷移の条件が検出されて第3の状態F4に遷移するまで、第5の状態f3を継続し、
第4の状態F1において、シーケンス検出のロックが外れたことを検出すると、第6の状態f1(PF,TFF,RFF=n,y,n)に遷移し、第1の状態F2への遷移の条件が検出されて第1の状態F2に遷移するまで、第6の状態f1を継続し、
第1乃至第3のフラグを第2の映像信号と共に圧縮符号化のエンコーダに対して出力し、
エンコーダは、インターレス走査と順次走査を区別する第1のフラグPFと連動して、フレーム予測とフィールド予測を区別するフラグをセットし、フラグに従ってフレーム予測方式およびフィールド予測方式の一方の圧縮符号化を行うようにしたことを特徴とする画像データ符号化装置である。
【0011】
2:3プルダウンの素材の場合でも、CMの挿入、編集等によってプルダウンのシーケンスが乱れることがある。その場合に、直前のフィールドの関係を維持したまま、順次走査からインターレス走査に信号として扱って符号化する。それによって、画面のブレが生じることを防止することができる。
【0012】
【発明の実施の形態】
この発明の理解を容易とするために、毎秒24コマのフィルム素材を毎秒30フレームのNTSC方式のテレビジョン素材に変換する処理、すなわち、2:3プルダウンの処理について図1を参照して説明する。フィルム素材は、毎秒24コマであり、同一の画像の2フィールド(第1および第2フィールド)の画像を各コマから形成し、毎秒48フィールドの画像信号を形成する。次に、フィルム素材の4コマ(8フィールド)をビデオ信号例えばNTSC方式のビデオ信号の5フレーム(10フィールド)へ変換する。
【0013】
そして、図1において、略三角形で囲まれた3フィールドの中の時間的に最後のフィールドがフィールド数を増やすために繰り返されたフィールド、すなわち、リピートファーストフィールドである。リピートファーストフィールドは、5フレームに2回の割合で生じる。このように、2:3プルダウン処理がなされたビデオ信号に付随して、top field first (TFFと略称する)、repeat first field(RFFと略称する)の二つのフラグが伝送される。TFFは、フレームストラクチュアの場合、最初のフィールドがトップかボトムかを示すフラグである。RFFは、繰り返しフィールドの存在を示すフラグである。
【0014】
画像圧縮符号化としてのMPEG2では、5フレームに2回の割合で発生するフラグRFFを参照して、繰り返しフィールドを除いた4フレーム分の画像データを符号化している。それにより符号化効率を高くすることができる。しかしながら、前述したように、繰り返しフィールドが挿入されるシーケンスが編集、CMの挿入等により乱れるので、フラグRFFのみでシーケンスを検出することは検出の正確性を損なう問題がある。
【0015】
この発明の一実施形態においては、プルダウンのシーケンスを検出するために、トップフィールドとボトムフィールドの各フィールドに関してフレーム間差分を求める。フレーム間差分は、時間的に連続するフレームにそれぞれ属するトップフィールド(またはボトムフィールド)の画面上の同一位置の画素値の差分の絶対値を1画面の画素について積算したものである。フレーム間差分としては、画素値の差分の自乗和を積算したものでも良い。さらに、1画面の全画素について積算を行わずに、しきい値より大きな画素値の差分の絶対値を積算しても良い。
【0016】
図2は、フレーム間差分を示すもので、D0,D2,D4,...がトップフィールドに関するフレーム間差分であり、D1,D3,D5,...がボトムフィールドに関するフレーム間差分である。例えばD0は、トップフィールドと1フレーム後のトップフィールドの間で、画面上の同じ位置の画素の値の差分を計算し、差分の絶対値を1フィールドにわたって積算した値である。
【0017】
プルダウンのシーケンスを検出するためには、少なくとも3.5フレーム分のフレーム間差分を必要とする。そのため、求められたフレーム間差分をパイプラインレジスタにより4フレーム分記憶しておき、順次遅延させる。一方、画像データも、プルダウン判定ができるまで、同様にフレームメモリに蓄えられ、3フレーム分遅延される。
【0018】
図2のタイミングチャート、図3の状態遷移図および図4のフローチャートを参照してプルダウンのシーケンスの検出処理について説明する。符号化を開始するために、エンコーダを初期化する時、プルダウンのシーケンスが見つかっていないので、インターレスの状態から開始する。なお、図2および図3において、状態については、F1,F2,F3,F4,f1,f3の参照符号が使用される。また、図3において、各状態を表す円形の領域内の3ビットは、MPEG2の規格で規定されているフラグの3ビットの値を示している。すなわち、3ビットは、(PF,TFF,RFF)である。
【0019】
この発明の一実施形態では、これらの3個のフラグとそれぞれ対応する3ビットによって状態遷移が規定される。プルダウンのシーケンス検出がロックしている場合では、(111)の状態F2→(100)の状態F3→(101)の状態F4→(110)の状態F1が1/24(秒)周期で遷移する。
【0020】
フラグTFFは、上述したように、最初のフィールドがトップの場合で、(TFF="1" )となり、これがボトムの場合で、(TFF="0" )となるフラグである。RFFは、繰り返しフィールドの存在を示すフラグであり、繰り返しフィールドが存在するときに、(RFF="1" )となり、これが存在しないときに、(RFF="0" )となる。PFは、Progressive Frame の略称であり、このピクチュアが順次(プログレッシブ)走査でできているか、インターレス走査でできているかを示すフラグである。順次走査のフレームで(PF="1" )、インターレス走査のフレームで(PF="0" )である。映画素材の場合では、毎秒24フレームの各フレーム内の画素は、全て同一時間にサンプリングされたものであるので、順次走査のデータである。
【0021】
符号化の最初では、インターレスの状態から開始し、また、最初のフィールドがトップであり、さらに、繰り返しフィールドがないので、(PF,TFF,RFF)=(010)である。この状態をf1と表記する。フローチャートの最初のステップS1では、変数jの初期値が設定され、次のステップS2で、3個のフラグの値と対応する、状態レジスタの内容が(010)にセットされる。
【0022】
f1の状態でプルダウンのシーケンスが検出されるのを待機する。そして、次の条件を満たした場合には、プルダウンであると判定し、次のフレームでF2の状態に遷移する。状態F2は、(PF,TFF,RFF)=(111)である。それ以外では、f1の状態のままである。図4では、ステップS3およびS4の処理がなされ、下記の条件が満足されると、ステップS4の結果が肯定となり、ステップS5において、状態レジスタの内容が(111)とされる。ステップS4で、条件が満たされないと、ステップS2に処理が戻る。
【0023】
D0−D2>Tp でかつ D4−D2>Tp でかつ D2<Ti
ここで、Tpは、検出のためのしきい値である。フレーム間差分D0およびD2の差、フレーム間差分D4およびD2の差をしきい値Tpとそれぞれ比較する。これは、ノイズが多い画像の場合、フレーム間差分もノイズの影響を受けて変動しやすいため、フレーム間差分の差をとることによりノイズ成分をキャンセルするためである。素材によって、しきい値Tpを変更する必要はない。
【0024】
Tiは、ノイズマージンを含んだ動き検出のしきい値であり、フレーム間差分そのものと比較する。しきい値Tp、動き検出しきい値Tiは、実験的に求めるが、一般的なフィルム素材の場合では、TpをTiに比べて十分に大きな値とする。このように条件を厳しくすることによって、前後のフレーム間差分が大きく、そのフレーム自身のフレーム間差分が小さいものを検出することができるので、シーケンスを正しく検出することができる。
【0025】
状態F2では、PFおよびRFFが反転し、(PF,TFF,RFF)=(111)となる。すなわち、順次走査であり(PF="1" )、最初のフィールドがトップであり(TFF="1" )、繰り返しフィールドが存在する(RFF="1" )。圧縮符号化においては、この繰り返しフィールド(1フィールド)を間引いてフレームピクチャを構成する。F2の状態からは、無条件で次のフレームで、状態F3へ遷移する。図4では、ステップS6を経てステップS7に移り、状態レジスタの内容が(100)とされる。
【0026】
状態F3では、TFFおよびRFFが反転し、(PF,TFF,RFF)=(100)となる。すなわち、順次走査であり(PF="1" )、最初のフィールドがボトムであり(TFF="0" )、繰り返しフィールドが存在しない(RFF="0" )。この状態では、既にプルダウンのシーケンスが検出されているので、アンロック検出のみを行う。アンロックの検出は、プルダウンのシーケンスを検出しているロック状態から、これを検出できないアンロック状態に移行することを検出することである。例えばCMが挿入されている場合、編集がされている場合等では、プルダウンのシーケンスが乱れ、インターレスフレームが連続することがある。
【0027】
そして、次の条件を満たした場合は、プルダウンではないと判定し、次のフレームで状態f3へ遷移する。それ以外は、プルダウンと判断し、状態F4に遷移する。状態f3では、(PF,TFF,RFF)=(000)となる。また、状態F4では、(PF,TFF,RFF)=(101)となる。このように、状態F3からPFが"0" に反転し、TFF,RFFが"0" のままの状態f3に遷移し、シーケンス検出がロックするまで待機する。
【0028】
D7≧Tn
Tnは、ノイズマージンを含んだ動き検出のしきい値Tiと同じでも良い。シーケンスが不連続になることが多いと予想される場合は、しきい値TnをTiと同様に小さい値とし、不連続になることが少ないと予想される場合は、しきい値Tnを大きな値として、アンロックを検出しにくくすることができる。
【0029】
図4のフローチャートでは、ステップS8の後のステップS9において、上述した条件が満たされるかどうかが決定される。ステップS9では、(Dk<Tn?)とされているので、否定の結果でステップS10に処理が移り、状態レジスタの内容が(000)とされる。一方、ステップS9の肯定の結果で、処理がステップS13に移り、状態レジスタの内容が(101)とされる。
【0030】
上述した条件検出に基づいて、状態F3から状態f3への遷移を可能としている点がこの発明の特徴的な部分である。すなわち、状態f3では、(TFF="0" )状態を引き継ぐが、(PF="0" )として、インターレス走査の符号化を行う。なお、MPEG2のシンタックス(符号化規則)では、(RFF="1" )の連続を許していないので、(RFF="0" )である。この状態f3は、最初の状態f1と比較すると、フィールドが反転した対称的な状態である。状態f3では、プルダウンシーケンスが再び検出されるのを待機する。
【0031】
状態f3において、次の条件が満たされる場合は、プルダウンと判定し、次のフレームで状態F4に遷移する。それ以外は、状態f3のままである。
【0032】
D5−D7>Tp 且つ D9−D7>Tp 且つ D7<Ti
図4のフローチャートでは、ステップS11の後のステップS12が条件判定のステップである。ステップS12の結果が肯定で、ステップS13に処理移り、状態レジスタの内容が(101)とされる。そうでないと、ステップS10に処理が戻り、ステップS11を経てステップS12で再び判定がなされる。
【0033】
若し、状態f3を設けないと、プルダウンのシーケンスが乱れた場合に、インターレスの状態f1に戻すには、もう一度、(RFF="1" )の状態、すなわち、繰り返しフィールドが存在するものとして、1フレームの符号化を行う必要がある。その結果、この部分で画面のブレが発生する問題が生じる。状態f3によってかかる問題を解決できる。
【0034】
(PF,TFF,RFF)=(101)の状態F4では、繰り返しフィールド(1フィールド)を間引いてフレームピクチャを構成する。状態F4からは、無条件で、次のフレームで状態F1に遷移する。図4のフローチャートでは、ステップS14を経て、ステップS15において、状態レジスタの内容が(110)とされる。
【0035】
状態F1では、TFFが"1" に反転し、RFFが"0" に反転し、PFは、"1" のままである。この状態F1では、既にプルダウンのシーケンスが検出されているので、アンロック検出のみを行う。次の条件を満たしている場合には、プルダウンではないと判定し、次のフレームで状態f1に遷移する。それ以外では、状態F2へ遷移する。
【0036】
D12≧Tn
図4のフローチャートでは、ステップS16の後の決定のステップS17において、上述の条件が満たされるかどうかが決定される。但し、ステップS17では、(Dk<Tn?)とされているので、ステップS17の結果が否定の場合に、ステップS2(f1の状態)に処理が移り、その結果が肯定の場合に、ステップS5(状態F2)に処理が移る。
【0037】
上述したように、プルダウンのシーケンスが連続する場合では、1/24(秒)の周期で(F1→F2→F3→F4)の順に状態が遷移する。このプルダウンのシーケンスの検出に基づいて、繰り返しフィールドを間引く処理を行うと、5フレームで4枚のフレームピクチャが構成される。
【0038】
なお、図3の状態遷移図に存在しない他の2つの状態、すなわち、(PF,TFF,RFF)=(001)、(PF,TFF,RFF)=(011)は、PF="0" 、RFF="1" となり、MPEG2のシンタックスでは、禁止されている状態である。
【0039】
上述したフラグは、後述するようなフラグの処理を受けて、処理後のフラグがMPEG2のエンコーダに対して出力される。また、TFFおよびRFFは、符号化前にフィールドデータからフレームピクチャを構成する、フィールド/フレーム変換処理のために使用される。一方、PFは、それに続くその他のフラグを連動させることによって、圧縮効率を高めることができる。
【0040】
PFと連動する他のフラグは、frame predictive frame DCT(FPFDと表記する)、chroma 420 type (C420Tと表記する)、alternate scan(ASと表記する)である。FPFDは、フレームストラクチュアの場合、フレームモードDCTの予測がフレームモードだけであることを示すフラグである。C420Tは、(4:2:0)の場合ではPFと同じ値であり、そうでない場合で"0" となるフラグである。ASは、ジグザクスキャンを使うか、オルタネートスキャンを使うかの選択のフラグである。PFとこれらのフラグの連動は、次に示すものである。
【0041】
(PF,FPFD,C420T,AS)=(1,1,1,0)
(PF,FPFD,C420T,AS)=(0,0,0,1)
かかるフラグの処理によって、プルダウンのシーケンスが検出される、プルダウン素材では、(PF="1" )であり、インターレス素材では、(PF="0" )である。フラグPFに応じて符号化方法を最適なものとすることができる。フラグFPFDによって、プルダウン素材では、フレーム予測、フレームDCTに固定することができ、インターレス素材の場合のみ、フィールド予測、フィールドDCTに切り換える。
【0042】
フラグC420Tによって、色差信号の間引き/補間方式をインターレス素材とプルダウン素材とで切り換えて色のにじみを防止することができる。さらに、ASによって、オルタネートスキャンは、インターレス素材の場合に使用し、プルダウン素材では、通常のジグザクスキャンを使用する。オルタネートスキャンおよびジグザクスキャンは、共にDCTで発生した係数データを1次元のデータ系列に変換する手法であり、オルタネートスキャンによって、インターレス成分を効率よく拾うことができる。
【0043】
なお、上述したものに対して変形したフラグ処理が可能である。例えばフラグFPFDは、PF="0" になった場合には、同時に"0" とするが、PF="0" になった場合には、予測する画像がまだ順次走査になっていないので、次にIピクチャが来るまで"0" のままとし、Iピクチャ以降に"1" としても良い。
【0044】
上述のようなプルダウンの検出およびフラグの処理を行い、次に、MPEG2の符号化を行うようにしたこの発明の一実施形態の構成について、より具体的に説明する。図5は、一実施形態の構成の概要である。図5において、1で示す入力端子から(4:2:2)のビデオデータがビデオデータ処理部2に供給される。ビデオデータ処理部2において、上述したプルダウンのシーケンスの検出と、フラグの処理がなされる。ビデオデータ処理部2からのフラグおよびビデオデータがMPEG2のエンコーダ3に供給される。エンコーダ3では、受け取ったフラグを使用してMPEG2の符号化を行い、符号化出力(エレメンタリーストリーム)を発生する。フラグは、符号化出力中のヘッダとして挿入される。
【0045】
図6を参照してビデオデータ処理部2について説明する。入力端子1に供給されたビデオデータがフレームメモリ21およびフレーム間差分検出部22に供給される。フレーム間差分検出部22では、入力データとフレームメモリ21からの前フレームのデータとが供給され、1フレーム離れたトップフィールド同士の同一位置の画素値の差分の絶対値と、1フレーム離れたボトムフィールド同士の同一位置の画素値の差分の絶対値とが演算される。演算されたフレーム間差分がシフトレジスタ23に格納される。
【0046】
プルダウン検出部24は、シフトレジスタ23に格納されているフレーム間差分を参照して、プルダウンのシーケンスを検出する。すなわち、図3の状態遷移図および図4のフローチャートを参照して説明したように、プルダウンのシーケンスを検出し、また、フラグの処理を行う。
【0047】
フレームメモリ21からのビデオデータがフィールド/フレーム変換部25に供給される。フィールド/フレーム変換部25では、5フレームに2回の割合で発生する繰り返しフィールドを間引いて4フレームのデータに変換する。具体的には、フィールド単位で記憶できるメモリが設けられ、繰り返しフィールドを除去し、24フレーム/秒のデータがメモリから読出される。さらに、フィールド/フレーム変換部25では、(4:2:2)から(4:2:0)の変換がなされる。この場合に、色差信号の間引き処理がプルダウン素材とインターレス素材とで切り換えられる。フィールド/フレーム変換部25のこれらの処理は、プルダウン検出部24からの出力フラグに基づいて制御される。
【0048】
図7は、ビデオデータ処理部2の出力が供給されるMPEG2エンコーダ3の一例を示す。ビデオデータ処理部2の出力端子2aからのフラグと、出力端子2bからの(4:2:0)のビデオデータがMPEG2エンコーダ3の入力端子3aおよび3bにそれぞれ供給される。
【0049】
ビデオデータは、動き検出部32に供給され、動きベクトルが検出される。この場合、フラグPF、FPFDに基づいてフレーム予測とフィールド予測の一方が動き検出部32に対して指示される。フラグは、レートコントロール、モードコントロール部31に供給される。
【0050】
レートコントロール、モードコントロール部31は、符号化を制御する制御部である。フレームまたはフィールド単位でMPEG2のエンコーダの各構成要素を制御し、入力画像データをIピクチャ、Pピクチャ、Bピクチャの内のいずれかのピクチャタイプに圧縮処理を行う。さらに、量子化特性を制御し、符号化出力のレートを制御する。
【0051】
動き検出部32を通ったビデオデータが減算部33に供給される。減算部33には、動き補償部40から動き補償されたローカル復号データが供給される。入力データとローカル復号データの差分データが減算部33から発生する。この差分データがDCT部34に供給される。DCT部34に対して、レートコントロール、モードコントロール部31からフィールドDCTとフレームDCTとの一方を指示するコントロール信号が供給される。
【0052】
DCT部34の出力が量子化部35に供給される。量子化部35には、レートコントロール、モードコントロール部31から量子化特性を指定するコントロール信号が供給される。量子化部35に対して逆量子化部38、逆DCT部39および動き補償部40からなるローカル復号部が接続される。すなわち、逆量子化部38は、量子化部35と逆の処理を行い、逆DCT部39は、DCT部34と逆の処理を行う。動き補償部40からのローカル復号出力が減算部33に供給され、予測誤差が検出される。動き補償部40では、順方向予測、逆方向予測、双方向予測が可能とされている。
【0053】
量子化部35に対してスキャン部36が接続される。スキャン部36は、DCTの係数データを量子化したデータを1次元のデータに変換する部分である。スキャン部36に対してレートコントロール、モードコントロール部31からスキャン方法を指示するコントロール信号が供給される。上述したように、フレーム予測では、通常ジグザグスキャンでデータが出力され、フィールド予測では、オルタネートスキャンでデータが出力される。
【0054】
スキャン部36からのデータがVLC(可変長符号化)部37に供給され、可変長符号化される。また、VLC部37は、レートコントロール用の情報をレートコントロール、モードコントロール部31に対してフィードバックする。さらに、VLC部37では、伝送される付加的な情報がピクチャヘッダとして挿入される。ヘッダに挿入される情報は、レートコントロール、モードコントロール部31からのフラグ等の情報、動き検出部32からの動きベクトルである。VLC部37から出力端子4に対して、MPEG2の符号化出力が取り出される。
【0055】
図7に示す構成は、一例であって、種々の変形が可能である。例えば動き検出を動き補償部40において行うこともできる。
【0056】
【発明の効果】
上述したこの発明は、2:3プルダウンのシーケンスが不連続な場合でも、不自然な動きが見えないように符号化することができる。この発明では、2:3プルダウンのシーケンス検出動作を常に働かせることによって、素材の特性を予め調べる必要がない。従って、リアルタイムで放送しながら、プルダウン素材が到来したら、自動的にフラグRFFを発生させ、効率良く圧縮符号化を行うことができる。
【0057】
また、この発明は、プルダウン検出に基づいて生成されるフラグPFに対して、他のフラグを連動させることによって、次のステップの圧縮符号化を素材に適したものに制御することができ、効率良く符号化を行うことが可能となる。さらに、この発明において、圧縮符号化としてMPEG2を採用する場合では、MPEG2の規格を満足することによって、デコーダに対して一切の変更が要求されない利点がある。
【図面の簡単な説明】
【図1】この発明を適用することができる2:3プルダウンを説明するための略線図である。
【図2】2:3プルダウンのシーケンスを検出するのに使用するフレーム間差分の説明に用いる略線図である。
【図3】この発明の一実施形態における状態遷移を説明するための略線図である。
【図4】この発明の一実施形態を説明するためのフローチャートである。
【図5】この発明の一実施形態の全体的構成を示すブロック図である。
【図6】この発明の一実施形態におけるビデオデータ処理部の一例の構成を示すブロック図である。
【図7】この発明の一実施形態における圧縮符号化のエンコーダの一例の構成を示すブロック図である。
【符号の説明】
2・・・ビデオデータ処理部、3・・・MPEG2のエンコーダ、22・・・フレーム間差分検出部、24・・・プルダウン検出部、25・・・フィールド/フレーム変換部、32・・・動き検出部、34・・・DCT部、35・・・量子化部、36・・・スキャン部
Claims (5)
- 順次走査の第1の映像信号が2−3プルダウンによってインターレース走査の第2の映像信号に変換され、上記第2の映像信号のシーケンスを検出するシーケンス検出装置において、
上記第2の映像信号の1フレームがトップフィールドおよびボトムフィールドによって構成され、
上記トップフィールドおよび上記ボトムフィールドのそれぞれに関してフレーム間差分を演算し、上記フレーム間差分に基づいて上記第1の映像信号のフレーム周期で、第1のフラグPF、第2のフラグTFFおよび第3のフラグRFFの組合せによって規定される複数の状態間で状態を遷移させ、
上記第1のフラグPFは、順次走査でy(y:2進データの一方の値)となり、インターレス走査でn(n:2進データの他方の値)となり、上記第2のフラグTFFは、最初のフィールドがトップでyとなり、これがボトムでnとなり、上記第3のフラグRFFは、繰り返しフィールドが存在する時にyとなり、これが存在しない時にnとなり、
シーケンス検出がロックしている場合では、第1の状態F2(PF,TFF,RFF=y,y,y)、第2の状態F3(PF,TFF,RFF=y,n,n)、第3の状態F4(PF,TFF,RFF=y,n,y)、第4の状態F1(PF,TFF,RFF=y,y,n)を順次遷移し、
上記第1の状態F2から上記第2の状態F3へ無条件で遷移し、
上記第3の状態F4から上記第4の状態F1へ無条件で遷移し、
上記第2の状態F3において、シーケンス検出のロックが外れたことを検出すると、第5の状態f3(PF,TFF,RFF=n,n,n)に遷移し、上記第3の状態F4への遷移の条件が検出されて上記第3の状態F4に遷移するまで、上記第5の状態f3を継続し、
上記第4の状態F1において、シーケンス検出のロックが外れたことを検出すると、第6の状態f1(PF,TFF,RFF=n,y,n)に遷移し、上記第1の状態F2への遷移の条件が検出されて上記第1の状態F2に遷移するまで、上記第6の状態f1を継続し、
上記第1乃至第3のフラグを上記第2の映像信号と共に出力することを特徴とするシーケンス検出装置。 - 請求項1において、
シーケンス検出の結果に応じて制御されるフィールド/フレーム変換部をさらに有し、
繰り返しフィールドが存在することを上記第3のフラグRFFがyとなることによって検出し、
上記フィールド/フレーム変換部において、上記繰り返しフィールドを間引くことを特徴とするシーケンス検出装置。 - 請求項1において、
上記インターレス走査と順次走査を区別する上記第1のフラグPFのセットと連動して、フレーム予測とフィールド予測を区別するフラグをセットし、
上記フレーム予測とフィールド予測とを区別するフラグを出力することを特徴とするシーケンス検出装置。 - 順次走査の第1の映像信号が2−3プルダウンによってインターレース走査の第2の映像信号に変換され、上記第2の映像信号のシーケンスがシーケンス検出装置によって検出され、上記シーケンス検出装置からの上記第2の映像信号とフラグとがエンコーダに供給される画像データ符号化装置において、
上記シーケンス検出装置は、
上記第2の映像信号の1フレームがトップフィールドおよびボトムフィールドによって構成され、
上記トップフィールドおよび上記ボトムフィールドのそれぞれに関してフレーム間差分を演算し、上記フレーム間差分に基づいて上記第1の映像信号のフレーム周期で、第1のフラグPF、第2のフラグTFFおよび第3のフラグRFFの組合せによって規定される複数の状態間で状態を遷移させ、
上記第1のフラグPFは、順次走査でy(y:2進データの一方の値)となり、インターレス走査でn(n:2進データの他方の値)となり、上記第2のフラグTFFは、最初のフィールドがトップでyとなり、これがボトムでnとなり、上記第3のフラグRFFは、繰り返しフィールドが存在する時にyとなり、これが存在しない時にnとなり、
シーケンス検出がロックしている場合では、第1の状態F2(PF,TFF,RFF=y,y,y)、第2の状態F3(PF,TFF,RFF=y,n,n)、第3の状態F4(PF,TFF,RFF=y,n,y)、第4の状態F1(PF,TFF,RFF=y,y,n)を順次遷移し、
上記第1の状態F2から上記第2の状態F3へ無条件で遷移し、
上記第3の状態F4から上記第4の状態F1へ無条件で遷移し、
上記第2の状態F3において、シーケンス検出のロックが外れたことを検出すると、第5の状態f3(PF,TFF,RFF=n,n,n)に遷移し、上記第3の状態F4への遷移の条件が検出されて上記第3の状態F4に遷移するまで、上記第5の状態f3を継続し、
上記第4の状態F1において、シーケンス検出のロックが外れたことを検出すると、第6の状態f1(PF,TFF,RFF=n,y,n)に遷移し、上記第1の状態F2への遷移の条件が検出されて上記第1の状態F2に遷移するまで、上記第6の状態f1を継続し、
上記第1乃至第3のフラグを上記第2の映像信号と共に圧縮符号化のエンコーダに対して出力し、
上記エンコーダは、上記インターレス走査と順次走査を区別する上記第1のフラグPFと連動して、フレーム予測とフィールド予測を区別するフラグをセットし、上記フラグに従ってフレーム予測方式およびフィールド予測方式の一方の圧縮符号化を行うようにしたことを特徴とする画像データ符号化装置。 - 請求項4において、
上記シーケンス検出装置がシーケンス検出の結果に応じて制御されるフィールド/フレーム変換部をさらに有し、
繰り返しフィールドが存在することを上記第3のフラグRFFがyとなることによって検出し、
上記フィールド/フレーム変換部において、上記繰り返しフィールドが間引かれた上記第2の映像信号が上記圧縮符号化のエンコーダに対して入力されることを特徴とする画像データ符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21752997A JP4186239B2 (ja) | 1997-08-12 | 1997-08-12 | 画像データのシーケンス検出装置および符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21752997A JP4186239B2 (ja) | 1997-08-12 | 1997-08-12 | 画像データのシーケンス検出装置および符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1169227A JPH1169227A (ja) | 1999-03-09 |
JP4186239B2 true JP4186239B2 (ja) | 2008-11-26 |
Family
ID=16705684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21752997A Expired - Fee Related JP4186239B2 (ja) | 1997-08-12 | 1997-08-12 | 画像データのシーケンス検出装置および符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4186239B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100440982C (zh) * | 2001-07-10 | 2008-12-03 | 索尼株式会社 | 判定视频信号的设备和方法 |
JP3991845B2 (ja) | 2002-11-12 | 2007-10-17 | 松下電器産業株式会社 | 映像プログレッシブ変換再生装置 |
KR100547120B1 (ko) * | 2003-06-14 | 2006-01-26 | 삼성전자주식회사 | 그룹화에 의한 영화 영상 검출 방법 및 장치 |
JP5017825B2 (ja) | 2005-09-15 | 2012-09-05 | ソニー株式会社 | 復号装置および復号方法 |
JP4655218B2 (ja) | 2005-09-16 | 2011-03-23 | ソニー株式会社 | 信号処理装置および方法、プログラム、並びに記録媒体 |
WO2008120272A1 (ja) * | 2007-03-29 | 2008-10-09 | Fujitsu Limited | プルダウンシーケンス検出方法及びその検出装置 |
JP2013059106A (ja) * | 2012-11-20 | 2013-03-28 | Sony Corp | 符号化装置および符号化方法 |
-
1997
- 1997-08-12 JP JP21752997A patent/JP4186239B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1169227A (ja) | 1999-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100533437B1 (ko) | 비디오 데이터 처리 장치, 비디오 데이터 부호화 장치 및 그 방법 | |
US6236806B1 (en) | Field detection apparatus and method, image coding apparatus and method, recording medium, recording method and transmission method | |
KR100297654B1 (ko) | 비디오신호부호화방법및장치,비디오신호복호화방법및장치,또는비디오신호기록미디어 | |
JP3164031B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 | |
EP0897241A2 (en) | Coding and decoding digital video signal having duplicate pictures and frames with fields originating from different film source frames | |
EP0933942B1 (en) | Progressive image signal transmitter, progressive image signal receiver and, medium | |
JPH1118059A (ja) | プログレッシブビデオ信号をインタレースビデオ信号に変換するコンバータおよびその方法 | |
JPH0955879A (ja) | テレビジョン信号変換装置、画像符号化装置及び画像復号化装置 | |
JPH11313332A (ja) | 独立に圧縮された偶数および奇数フィ―ルド・デ―タ用のビデオ信号圧縮解除装置 | |
KR100260475B1 (ko) | 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체 | |
JP3980659B2 (ja) | 動画像符号化方法及び装置、動画像復号化方法及び装置。 | |
JP4186239B2 (ja) | 画像データのシーケンス検出装置および符号化装置 | |
KR100907960B1 (ko) | 텔레시네 검출을 사용하는 비디오 데이터 인코더 | |
US6118928A (en) | Video signal compression-encoding apparatus, recording medium and video signal reproducing apparatus | |
KR101007838B1 (ko) | 정보 처리 장치 및 기록 매체 | |
US20070053436A1 (en) | Encoding video information using block based adaptive scan order | |
KR0183759B1 (ko) | 영상복호화기에 있어서 고속재생시 화면떨림 방지장치 | |
JP2004015700A (ja) | プログレッシブ変換方法、プログレッシブ変換装置、シーケンス検出方法、シーケンス検出装置および映像データ処理装置 | |
US7420616B2 (en) | Video encoder with repeat field to repeat frame conversion | |
JPH10257485A (ja) | 繰り返し画像検出回路及び画像符号化装置 | |
JP2894334B2 (ja) | 画像信号の誤り修正回路 | |
US20060098739A1 (en) | Video frame encoder driven by repeat decisions | |
JPH08149479A (ja) | 超低ビットレートビデオ符号化方法 | |
JP3708745B2 (ja) | 動画像復号装置および動画像復号方法 | |
JP4038768B2 (ja) | 画像圧縮装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |