JP2004201010A - Image processing apparatus and method, image processing program and recording medium - Google Patents
Image processing apparatus and method, image processing program and recording medium Download PDFInfo
- Publication number
- JP2004201010A JP2004201010A JP2002366893A JP2002366893A JP2004201010A JP 2004201010 A JP2004201010 A JP 2004201010A JP 2002366893 A JP2002366893 A JP 2002366893A JP 2002366893 A JP2002366893 A JP 2002366893A JP 2004201010 A JP2004201010 A JP 2004201010A
- Authority
- JP
- Japan
- Prior art keywords
- field
- block
- image
- similarity
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
この発明は、２−３プルダウン処理して２４フレーム／１秒の画像を３０フレーム／１秒の画像に変換した後に３０フレーム／１秒の画像からなる字幕などが合成された画像を適切に符号化する画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
映画などで使用される、光学フィルム上に素材が記録されたフィルム素材が２４コマ／秒の画像である一方、ビデオ信号、例えばＮＴＳＣ方式によるビデオ信号は、３０フレーム／秒からなる画像である。したがって、フィルム素材をビデオ信号に変換するためには、２４コマ／秒の画像から３０フレーム／秒の画像を生成する処理が必要となる。このような処理は、オリジナルのフィルム素材における２コマの画像を、所定の変換パターンで３個のフィールドに変換する処理を含むことから、２−３プルダウンと称される。
【０００３】
２−３プルダウンでは、図８に示されるように、ビデオ信号において１フレームおきにフィールドの繰り返しを発生させることにより、２４コマ／秒の画像から３０フレーム／１秒の画像を発生させる。すなわち、図８Ａに示されるフィルム素材における第１コマから、図８Ｂに示されるビデオ信号における第１フレームのトップおよびボトムフィールドの画像が発生されると共に、第１フレームのトップフィールドの画像が第２フレームのトップフィールドに繰り返して用いられる。同様に、フィルム素材における第３コマから、ビデオ信号における第３フレームのボトムフィールドが発生されると共に、第４フレームのトップおよびボトムフィールドが発生され、第３フレームのボトムフィールドの画像が第４フレームのボトムフィールドに繰り返して用いられる。
【０００４】
以下では、２−３プルダウンにおいて繰り返して用いられたフィールドを、繰り返しフィールドと称する。この繰り返しフィールドは、フィルム素材による２４コマ／秒の画像に対してフレーム数を増やすために挿入されるフィールドである。
【０００５】
このような２−３プルダウンを行いフィルム素材をビデオ画像に変換する装置として、テレシネ(Telecine)装置が知られている。なお、以下では、２−３プルダウンにより生成された、３０フレーム／秒の画像を、２−３プルダウン素材と称する。
【０００６】
なお、８図、ならびに、後述する図９、図１０および図１１において、「●（黒丸）」および「○（白丸）」は、ビデオ信号のフィールドを示し、枠で囲まれたフィールドは、同一の画像（フィルム素材の１コマ）からなることを示す。また、横軸が時系列を示す。
【０００７】
このような２−３プルダウン素材を圧縮符号化する場合、上述した繰り返しフィールドの情報が冗長であるため、繰り返しフィールドを除去するように圧縮符号化を行って圧縮効率の向上を図る。例えば、図９Ａに示されるように、繰り返しフィールド（矢印で示す）を意識せずに、１フレームがトップおよびボトムフィールドの２フィールドで構成されるものとして圧縮符号化を行うと、繰り返しフィールドにおいて、全く同一の画像からなるフィールドに対して重複して符号化を行うことになる。
【０００８】
これに対して、図９Ｂに一例が示されるように、１コマが繰り返しフィールドを含む３フィールドから構成されていることを考慮して、繰り返しフィールドについては符号化せずに、そのフィールドが繰り返しフィールドであることを示す識別フラグを立てるのみとする方法がある。この方法では、復号化および復号化された画像の表示の際には、この識別フラグにより繰り返しフィールドであることを認識し、符号化されている例えばトップフィールドを繰り返しフィールドの表示に用いる。これにより、符号量を有効に消費することができる。
【０００９】
例えば、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standardization Sector)勧告、Ｈ．２６２｜ＩＳＯ／ＩＥＣ１３８１８−２(International Organization for Standarization/International Electrotechnical Commission 13818-2)では、映像ストリームに対して、この繰り返しフィールドであることを示す識別フラグを伝送する方法が定義されている。
【００１０】
この、繰り返しフィールドを考慮した符号化による圧縮効率の向上について、より具体的な例を用いて説明する。２−３プルダウン素材の符号化制御手法の例として、ＭＰＥＧ２(Moving Pictures Experts Group 2)のＴＭ５(Test Model 5)を用い、ビデオ信号の方式がＮＴＳＣ方式であって、１ＧＯＰ(Group Of Picture)が１５フレームの場合を例にとって説明する。
【００１１】
なお、ＧＯＰは、画面内だけで閉じた情報による符号化画面（フレーム内符号化画面）が少なくとも１枚含まれる画面群構造であって、ＭＰＥＧストリームにおけるランダムアクセスの単位とされる。
【００１２】
ＭＰＥＧ２のＴＭ５では、１ＧＯＰ分の使用可能総符号量を、ピクチャタイプや絵柄の複雑さに応じて配分していく。１ＧＯＰ分の使用可能総符号量は、符号化ビットレートを１秒当たりのフィールド数（ＮＴＳＣ方式の場合は、６０フィールド）で除したフィールドビットに、１ＧＯＰのフィールド数を乗じて求められる。したがって、１ＧＯＰの使用可能総符号量は、図９Ａの場合には３０フィールドであり、図９Ｂの場合には、繰り返しフィールドが符号量として計上されないため符号化ビットレートがより高い値となり、１ＧＯＰの使用可能総符号量は、３７または３８フィールドである（１ＧＯＰの使用可能総符号量が３７フィールドのＧＯＰと３８フィールドのＧＯＰとが交互に出現する）。このように、図９Ｂの例の方がより多くの符号量を１５フレームに割り当てられることになり、圧縮効率が向上していることがわかる。
【００１３】
上述したようにして、２−３プルダウン素材を効率よく符号化するためには、符号化の際に、２−３プルダウン素材の繰り返しフィールドを検出することが必要である。
【００１４】
従来技術による繰り返しフィールドの検出方法について、概略的に説明する。従来では、検出の対象とする２枚のフィールド間の特徴量として、各画素の画素値の２フィールド間での差分の絶対値をフィールドで合計した、差分絶対値和を求め、この差分絶対値和が閾値以下であれば、その２枚のフィールドが同一のフィールド、すなわち、繰り返しフィールドと判断する方法が一般的に行われていた。
【００１５】
例えば、図１０に一例が示されるような２−３プルダウン素材が入力された場合、フィールド１００および１０２は、元来、フィルム素材において同一のコマから発生された画像であるため、フィールド１００および１０２による差分絶対値和は、０または０に近い値となる。一方、フィールド１０１および１０３や、フィールド１０２および１０４は、元来、フィルム素材において異なるコマから発生された画像であるため、フィールド１０１および１０３やフィールド１０２および１０４による差分絶対値和は、ある程度大きな値となることが期待される。
【００１６】
なお、実際には、例えば２−３プルダウン素材ではなく単に静止画像が入力された場合にも、繰り返しフィールドであると判断されてしまう。そのため、２−３プルダウン素材か否かの判断のためには、繰り返しフィールドの検出に加え、さらに、この繰り返しフィールドが出現するパターンを検出するなどの工夫がなされている。特許文献１には、このような、繰り返しフィールドが出現するパターンを検出するようにされたビデオデータ処理装置が記載されている。
【００１７】
【特許文献１】
国際公開第ＷＯ００／１３４１８号パンフレット
【００１８】
【発明が解決しようとする課題】
ところで、２−３プルダウン素材は、一般的に映画素材が多く、２−３プルダウンされた素材に後から字幕画像を合成した素材が存在する。例えば、上述のテレシネ装置で２−３プルダウンされた２−３プルダウン素材に対して字幕が合成され、この字幕が合成された素材が放送局などに持ち込まれる。
【００１９】
２−３プルダウン素材に字幕画像を合成する場合、２４コマ／秒の画像から３０フレーム／１秒の画像に変換された映像素材に対して字幕が合成されるため、繰り返しフィールドの検出を誤ると、字幕の表示および表示された字幕を消すタイミングによっては、一旦消された字幕が、字幕が消されたタイミングから１フィールドおいて１フィールドだけ表示されるという、表示上の問題が発生することがあった。
【００２０】
この２−３プルダウン素材における字幕表示の問題について、図１１を用いてより詳細に説明する。図１１Ａに一例が示されプルダウン素材は、フィールド１１２がフィールド１１０に対する繰り返しフィールドである。したがって、この２−３プルダウン素材を符号化する場合には、フィールド１１２は、識別フラグのみが立てられ、復号時には、フィールド１１２の表示タイミングでフィールド１１０の画像が表示されることになる。
【００２１】
ここで、図１１Ａの２−３プルダウン素材に対して図１１Ｂの字幕画像を合成することを考える。この図１１Ｂの例では、字幕画像は、フレーム単位の画像であって、ボトムフィールド１１０’が含まれるフレームまで字幕が入り、トップフィールド１１１’およびボトムフィールド１１２’からなるフレームから、字幕が消される。
【００２２】
そのため、２−３プルダウン素材に対する字幕画像の合成を経た後の画像は、元の２−３プルダウン素材におけるフィールド１１０および１１２に対応する画像のうち、フィールド１１０に対応する画像には合成後に字幕が入り、フィールド１１２に対応する画像には合成後に字幕が入らないことになる。したがって、これらフィールド１１０および１１２は、字幕の合成後には互いに異なる画像となり、フィールド１１２をフィールド１１０に対する繰り返し画像として扱ってはならないことになる。
【００２３】
ここで、若し、フィールド１１２をフィールド１１０に対する繰り返しフィールドと判定し、２−３プルダウン素材におけるフィールド１１２に対応する字幕合成後のフィールドを冗長なフィールドとして除去して符号化を行う場合について考える。符号化がこのようになされた場合、復号時には、フィールド１１０とフィールド１１０’とが合成された合成フィールドを、フィールド１１０に対する繰り返しフィールドであるフィールド１１２のタイミング、すなわち、次フレームのボトムフィールドのタイミングで繰り返し再生してしまう。
【００２４】
一方、フィールド１１１は、字幕の入っていないフィールドが正しく復号されるので、時系列で見ると、字幕が消えた１フィールド後に１フィールドだけ、字幕の入ったフィールドが１フレームの片フィールドに表示されてしまうという、視覚的に大変ぎこちない復号画像となってしまうという問題点があった。
【００２５】
より具体的には、図１１の例で、フィールド１１０と１１０’とが合成された合成フィールドがボトムフィールドとして再生される。次フレームでは、トップフィールドとしてフィールド１１０とは異なる画像のフィールド１１１が表示され、当該フレームのボトムフィールドに、フィールド１１０が繰り返されて再生される。したがって、あるフレームのボトムフィールドにおいて合成フィールドとして表示されている字幕が次フレームのトップフィールドで消え、当該フレームのボトムフィールドのタイミングで、合成フィールドが再び用いられ、字幕が表示される。
【００２６】
このように、本来、繰り返しフィールドとして扱ってはならないフィールドを誤って繰り返しフィールドとして処理すると、復号画像において、十分に認識可能な不自然な字幕表示がなされてしまう。この現象を回避するためには、上述した繰り返しフィールド検出の対象となる２枚のフィールド間の特徴量に基づき、字幕の有無を正確に検出すればよい。すなわち、図１１の例では、フィールド１１０と１１０’とが合成された、字幕が入った合成フィールドと、フィールド１１２による字幕が入らないフィールドとを正確に異なる画像と判定し、これらのフィールドが繰り返しフィールドではないと判定できればよいことになる。
【００２７】
ところで、実際の字幕入りの映画素材は、２−３プルダウン処理の過程や、２−３プルダウン素材に字幕を合成する過程において、アナログ信号処理などによるノイズ成分が混入したり、２−３プルダウン処理の際に時間軸フィルタをかけるなどといった信号処理が施されたりするなど、様々な要因により、本来は繰り返しフィールドであっても、繰り返しフィールド検出対象の２フィールド間の特徴量である差分絶対値和が０にならないことが多い。
【００２８】
一方、画面全体の総画素に対する字幕の画素の割合が小さいので、字幕合成前の素材では繰り返しフィールドであっても、１フレームの片フィールドに字幕が入り、もう一方のフィールドに字幕が入らないような場合、繰り返しフィールド検出対象の２フィールドから得られた特徴量が、上述したノイズなどによるものなのか、字幕の有無によるものなのかを区別するのが難しい場合がある。このような場合、繰り返しフィールドを判別するための閾値を適切に設定するのが困難であるという問題点があった。
【００２９】
したがって、この発明の目的は、２−３プルダウン素材に字幕画像が合成された素材について、フィールド画像が２−３プルダウンによる繰り返しフィールドであるか否かを正確に検出できるようにした画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することにある。
【００３０】
【課題を解決するための手段】
この発明は、上述した課題を解決するために、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理装置において、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成手段と、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出手段と、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定手段とを有し、繰り返しフィールド判定手段は、類似度検出手段により検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理装置である。
【００３１】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法において、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理方法である。
【００３２】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理プログラムである。
【００３３】
また、この発明は、２−３プルダウン素材中の繰り返しフィールドを検出するようにした画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、画像処理方法は、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出する類似度検出のステップと、類似度に基づいて、フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップとを有し、繰り返しフィールド判定のステップは、類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、フィールド画像が繰り返しフィールドでないと判定することを特徴とする記録媒体である。
【００３４】
上述したように、この発明は、フィールド画像から、全てを配置したときにフィールド画像に隙間ができないような複数のブロックを形成し、第１のブロックと、第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２のブロックとの類似度を複数のブロックのそれぞれについて検出した結果に基づきフィールド画像が繰り返しフィールドであるか否かを判定し、少なくとも一つのブロックの類似度が所定値より小さいときにフィールド画像が繰り返しフィールドではないと判定するようにしているため、繰り返しフィールド検出対象の面積に対する字幕の占める割合が相対的に大きくなり、繰り返しフィールドをより正確に検出することができる。
【００３５】
【発明の実施の形態】
以下、この発明の実施の第１の形態について説明する。この発明では、画面を複数の領域に分割したブロックのそれぞれについて、検出対象の２フィールド間の対応ブロックの類似度を求める。そして、求められた類似度が閾値より低い領域が１つでも存在すれば、検出対象の２フィールドのうち時間的に後のフィールドが前のフィールドに対する繰り返しフィールドでは無いと判定する。
【００３６】
図１は、この発明に適用できるビデオ信号符号化装置１の一例の構成を概略的に示す。このビデオ信号符号化装置１は、例えば、入力されたビデオ信号を、例えばＭＰＥＧ２方式に基づき圧縮符号化し符号化ストリームとして出力する、ＭＰＥＧ２ビデオエンコーダである。
【００３７】
入力画像としてのビデオ信号が、この発明の実施の第１の形態による２−３プルダウン検出部１０に入力される。２−３プルダウン検出部１０は、入力されたビデオ信号を例えば複数領域に分割して複数のブロックを形成し、複数のブロック毎に対象となる２フィールドの特徴量を求め、求められた特徴量に基づき当該２フィールドの時間的に後のフィールドが前のフィールドに対する繰り返しフィールドであるか否かを判定し、繰り返しフィールドを検出する。繰り返しフィールドの検出結果は、後段の冗長フィールド除去部１１および圧縮符号化部１３に供給される。
【００３８】
なお、特徴量としては、対象となる２フィールドの類似度を用いることができる。類似度については、後述する。また、対象となる２フィールドは、例えば、入力フィールドと、入力フィールドに対して１フレーム前の同じ位置のフィールドである。換言すると、対象となる２フィールドは、入力フィールドと、入力フィールドに対して２フィールド前のフィールドである。
【００３９】
２−３プルダウン検出部１０で繰り返しフィールドを検出されたビデオ信号は、冗長フィールド除去部１１に供給される。冗長フィールド除去部１１では、２−３プルダウン検出部１０から供給された検出結果に基づき、ビデオ信号の冗長フィールド（繰り返しフィールド）を除去する。冗長フィールドが除去されたビデオ信号が動き／シーンチェンジ検出部１２に供給される。
【００４０】
動き／シーンチェンジ検出部１２は、例えば時間的に隣接するフィールドを比較することにより、動き検出およびシーンチェンジの検出を行う。動き／シーンチェンジ検出部１２による検出結果は、圧縮符号化部１３に供給される。動き／シーンチェンジ検出部１２から出力されたビデオ信号が圧縮符号化部１３に供給される。
【００４１】
圧縮符号化部１３では、上述の２−３プルダウン検出部１０による繰り返しフィールド検出結果および動き／シーンチェンジ検出部１２による動き／シーンチェンジ検出結果を用いて、供給されたビデオ信号を圧縮符号化し、符号化ストリームとして出力する。この符号化ストリームは、繰り返しフィールドの検出結果に基づき、例えば繰り返しフィールドとして検出されたフィールドが識別フラグで示される。
【００４２】
なお、上述では、ビデオ信号符号化装置１がＭＰＥＧ２方式に基づく符号化を行うものとして説明したが、これはこの例に限定されない。ビデオ信号符号化装置１は、２−３プルダウン素材の繰り返しフィールドを検出し、検出された繰り返しフィールドを除去して符号化を行う構成であれば、他の方式によりビデオ信号を符号化してもよい。
【００４３】
図２は、この発明の実施の第１の形態において２−３プルダウン検出部１０で行われる処理を概略的に示すフローチャートである。先ず、ステップＳ１０で、入力された１フィールド分の画像を画面上の複数の領域に分割し、複数のブロックを形成する。ステップＳ１１で、ブロック毎に、検出対象の２フィールド間で対応するブロックをそれぞれ比較してブロック毎の特徴量を求める。検出対象の２フィールドは、例えば入力画像のフィールドと当該フィールドの１フレーム前のフィールドである。次のステップＳ１２で、ステップＳ１１で求められたブロック毎の特徴量に対して閾値判定を行う。このステップＳ１２によるブロック毎の閾値判定結果に基づき、ステップＳ１３で、入力画像のフィールドが繰り返しフィールドか否かを判定する。このステップＳ１０〜Ｓ１３までの処理を入力フィールド毎に行う。
【００４４】
図３は、図２で説明したような処理を行う、２−３プルダウン検出部１０の一例の構成を示す。ベースバンドのビデオ信号が入力画像として入力され、画像分割部２０に供給されると共に、フレームメモリ２２に記憶される。フレームメモリ２２は、例えば現フレームおよび１フレーム前のフレームの２フレーム分のビデオ信号が記憶される。入力画像は、さらに、そのまま後段の信号処理部に送られる。
【００４５】
画面分割部２０は、供給された入力画像を表示画面上の複数領域に分割し複数のブロックにして出力する。分割の際の入力画像に対するアドレス指示は、例えば、ＣＰＵ(Central Processing Unit)などで構成される図示されない全体制御部の指示によりなされる。入力画像は、例えば、図４Ａに一例が示されるように、１フィールドの表示画面が縦３行×横３列の９個の領域に分割され、それぞれの領域に対応したブロック１２０、１２１、・・・、１２８が形成される。これらブロック１２０、１２１、・・・、１２８は、それぞれ特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎに供給される。
【００４６】
特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎは、例えば図示されない全体制御部によりフレームメモリ２２上のアドレスを指示され、フレームメモリ２２に記憶された、１フレーム前の、入力画像に対応する位置のフィールドにおける、画面分割部２０から供給されたブロック１２０、１２１、・・・、１２８に対応するブロック１２０’、１２１’、・・・、１２８’を参照し、それぞれのブロックにおける特徴量を求める。
【００４７】
一例として、特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎを特徴量算出部２１Ａで代表させて説明する。例えば、特徴量算出部２１Ａは、画面分割部２０から供給されたブロック１２０と、当該ブロック１２０に画面上の領域が対応する１フレーム前のブロック１２０’とを用い、２つのブロック１２０および１２０’において位置が互いに対応する画素について、画素値の差分の絶対値を画素毎に計算する。画素値は、例えば画素の輝度値を用いることができる。そして、計算された画素毎の差分絶対値を、ブロックの領域内で合計して差分絶対値和を計算し、当該ブロック１２０の特徴量を求める。この特徴量は、当該ブロック１２０がブロック１２０’に対してどれだけ似ているかを示す類似度に対応すると考えることができる。特徴量として差分絶対値和を用いる場合には、特徴量が大きいほど、ブロック１２０とブロック１２０’との類似度が小さく、ブロック１２０がブロック１２０’に類似していないといえる。
【００４８】
特徴量算出部２１Ｂ〜２１ｎでも特徴量算出部２１Ａと同様にして、それぞれ対応する領域のブロック１２１〜１２８について、特徴量を算出する。特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出されたブロック１２０、１２１、・・・、１２８の特徴量は、それぞれ判定部２３Ａ、２３Ｂ、・・・、２３ｎに供給される。
【００４９】
判定部２３Ａ、２３Ｂ、・・・、２３ｎは、供給された特徴量と閾値とを比較し、対応するブロック１２０、１２１、・・・、１２８について、当該フィールドが繰り返しフィールドである可能性の有無を判定する。
【００５０】
通常の２−３プルダウン素材であれば、各ブロックに対応する表示画面上の領域の面積、すなわち各ブロックを構成する画素数が同一であれば、各ブロックから得られる差分絶対値和は、同程度の大きさの値になっていると考えられる。したがって、判定部２３Ａ、２３Ｂ、・・・、２３ｎの閾値を、例えば２つのフィールドの画像が略同一であるときの差分絶対値和に基づき設定することができる。
【００５１】
このように設定された閾値に基づき、例えば判定部２３Ａでは、ブロック１２０および１２０’により算出された特徴量と閾値とを比較し、特徴量が閾値より大きいと判定されれば、ブロック１２０とブロック１２０’とが異なる画像であると考えることができる。
【００５２】
判定部２３Ａ、２３Ｂ、・・・、２３ｎの判定結果は、繰り返しフィールド総合判定部２４に供給される。繰り返しフィールド総合判定部２４は、供給された判定結果に基づき、入力画像が繰り返しフィールドであるか否かを判定する。
【００５３】
繰り返しフィールド総合判定部２４において、判定部２３Ａ、２３Ｂ、・・・２３ｎの判定結果が全て閾値より小さい、すなわち、ブロック１２０、１２１、・・・、１２８による全ての判定結果が当該ブロックが含まれるフィールドが繰り返しフィールドである可能性があると判断された場合のみ、当該ブロック１２０、１２１、・・・、１２８が含まれるフィールドが繰り返しフィールドあると判断できる。
【００５４】
換言すると、ブロック１２０、１２１、・・・、１２８による判定結果のうち何れか一つでも、特徴量が閾値より大きいと判定されれば、当該ブロックが含まれるフィールドは、繰り返しフィールドでは無いと判断することができる。例えば、判定部２３Ａ、２３Ｂ、・・・、２３ｎの出力を、特徴量が閾値より大きいときに値「１」、閾値より小さいときに値「０」とすると、繰り返しフィールド総合判定部２４は、判定部２３Ａ、２３Ｂ、・・・、２３の判定結果を入力とするＯＲ回路で構成することができ、判定対象のフィールドが繰り返しフィールドでは無いと判断した場合に、値「１」を出力する。
【００５５】
繰り返しフィールド総合判定部２４による、対象フィールドが繰り返しフィールドであるか否かの判定結果は、シーケンスチェック部２５に供給される。シーケンスチェック部２５は、供給された判定結果の周期性をチェックする。
【００５６】
従来技術の説明において用いた図８、図９などを参照し、２−３プルダウン素材は、５フレーム（１０フィールド）毎に同じパターンのフィールド構成を繰り返す。すなわち、例えばボトムフィールドに注目すると、５フレーム毎に繰り返しフィールドが出現し、一方のトップフィールドは、ボトムフィールドに対して５フィールドずれた位相で、同様に５フレームごとに繰り返しフィールドが出現する。この性質を利用し、繰り返しフィールド総合判定部２４により繰り返しフィールドであると判定されたフィールドの周期性をチェックし、当該フィールドが２−３プルダウンによる繰り返しフィールドなのか、単なる静止画像が続いているだけなのかを判別し、この判別結果に基づき、最終的な繰り返しフィールド検出結果を出力する。
【００５７】
なお、上述したように、この発明の本質は、検出対象の２フィールドのうち時間的に後のフィールドが前のフィールドに対する繰り返しフィールドであるか否かを検出することにあり、このシーケンスチェック部２５は、省略することができる。
【００５８】
シーケンスチェック部２５による繰り返しフィールド検出結果は、２−３プルダウン検出結果として図１に示した冗長フィールド除去部１１および圧縮符号化部１３に通知される。例えば、冗長フィールド除去部１１では、フレームメモリ２２に記憶された、ブロック１２０、１２１、・・・、１２８からなるフィールド画像を読み出し、シーケンスチェック部２５から通知された２−３プルダウン検出結果が繰り返しフィールドが検出された旨を示すものであれば、フレームメモリ２２から読み出したフィールド画像を、当該フィールド画像が繰り返しフィールドすなわち冗長フィールドであるとして破棄する。
【００５９】
図４を用いて、画面を複数領域に分割したブロックを用いて繰り返しフィールドを検出する方法について、より具体的に説明する。図４Ａは、従来の技術の説明で用いた図１１におけるフィールド１１０とフィールド１１０’とが合成された合成フィールド１１０”の例を示し、図４Ｂは、図１１におけるフィールド１１２の例を示す。
【００６０】
図４Ａに示される画面は、フィールド１１０による画像に対してフィールド１１０’による字幕が合成された合成フィールド１１０”が表示され、図４Ｂに示される画面は、フィールド１１０が繰り返して用いられた繰り返しフィールド１１２が表示されている。つまり、図４Ｂに示されるフィールド１１２は、元々、２−３プルダウン処理により、フィールド１１０に対する繰り返しフィールドにマッピングされたフィールドであり、字幕を除いては、合成フィールド１１０”と同一の画像である。字幕は、２−３プルダウン処理の後に合成されている。図４の例では、字幕の表示がフィールド１１０”（字幕合成前のフィールド１１０）で終了しており、フィールド１１０に対する繰り返しフィールドであるフィールド１１２では字幕が表示されていない。
【００６１】
図４の例では、上述したように、画面が縦横にそれぞれ３分割された９個のブロック１２０、１２１、・・・、１２８に分割されている。これらブロック１２０、１２１、・・・、１２８毎に、特徴量として差分絶対値和を算出する。ブロック１２０〜１２５には字幕が表示されていないので、合成フィールドおよびフィールド１１２間の、ブロック１２０〜１２５における差分絶対値和は、ノイズ成分のみが現れるものと考えられる。一方、ブロック１２６、１２７および１２８は、図４Ａの合成フィールド１１０”と図４Ｂのフィールド１１２とで字幕の有無による差分絶対値和の差が生じる。
【００６２】
この発明では、画面を複数領域に分割したブロック１２０、１２１、・・・、１２８それぞれを差分絶対値和の算出対象としているため、画面１枚全体を差分絶対値和の算出対象とする従来例に比して、字幕に相当する画素の占める割合が相対的に増加し、字幕の有無による差分絶対値和の差異がより顕著に表れるようになる。特に、図４Ａにおいて字幕が表示されているブロック１２６、１２７および１２８、さらにこの中で、ブロック内で字幕の占める比率がより高いブロック１２６および１２７では、特に差分絶対値和が大きな値となり、繰り返しフィールドでは無いという判断が容易となる。
【００６３】
ここで、この発明による、画面を複数領域に分割したブロック毎に差分絶対値和を求めて繰り返しフィールドを検出する方法の有用性について、数式を用いてより詳細に説明する。先ず、数式に用いられる各値を、次のように定義する。
ブロック内の総画素数：ｍ
ノイズによる差分絶対値（１画素当たり平均）：ｄn
字幕による差分絶対値（１画素当たり平均）：ｄc
ブロック内における、字幕に相当する画素の占める割合：ｒ
繰り返しフィールド判定に用いる閾値：ｈ
なお、一般に、ｄn＜ｄcと考えられる。
【００６４】
従来技術の説明において図１１に例示したような、元々は２−３プルダウン処理による繰り返しフィールドだったが、字幕の合成が当該フィールドの元となったフィールド、すなわち当該フィールドの１フレーム前のフィールドまでで終わった場合（または、字幕の合成が２−３プルダウン処理による繰り返しフィールドから始まった場合）に、当該フィールドが繰り返しフィールドでは無いと判断するために、式（１）を満足するような閾値ｈを決める。
ｍ・（１−ｒ）・ｄn＋ｍ・ｒ・ｄc＞ｈ＞ｍ・ｄn ・・・（１）
【００６５】
なお、式（１）において、左辺第１項〔ｍ・（１−ｒ）・ｄn〕は、字幕以外の画素による差分絶対値、左辺第２項〔ｍ・ｒ・ｄc〕は、字幕による差分絶対値、右辺〔ｍ・ｄn〕は、字幕が入っていない、真の繰り返しフィールドであった場合の差分絶対値を表す。式（１）により決めた閾値ｈに基づき、上述した判定部２３Ａ、２３Ｂ、・・・、２３ｎの閾値を決めることができる。
【００６６】
より高い確度で繰り返しフィールドを判別するためには、式（１）の左辺と右辺が大きく離れた値であることが望ましい。式（１）の左辺と右辺がより離れた値であるほど、閾値ｈがとり得る値の範囲が広がることになる。
【００６７】
式（１）は、式（２）のように変形できる。
ｍ・ｒ・（ｄc−ｄn）＋ｍ・ｄn＞ｈ＞ｍ・ｄn ・・・（２）
【００６８】
式（２）から、左辺第１項〔ｍ・ｒ・（ｄc−ｄn）〕が閾値ｈの決め易さを左右する要素であることが分かる。すなわち、左辺第１項の値が大きいほど、閾値ｈのとり得る値の範囲が広がり、閾値ｈの自由度が増す。式（２）によれば、値（ｄc−ｄn）を大きくするか、値ｒを大きくすることが、閾値ｈのとり得る範囲を広げるために有効であることが分かる。
【００６９】
値（ｄc−ｄn）は、入力画像によって決まってしまう値である。これに対して、値ｒを大きく見せかけることは、この発明による方法により、可能である。すなわち、差分絶対値和を算出する領域の面積を小さくすることで、差分絶対値和を算出する領域における字幕の占める割合ｒを相対的に大きくできる。
【００７０】
この発明では、値ｒを大きくすることに着眼し、式（２）の左辺の値と右辺の値との差を大きくして閾値ｈを決め易くし、結果的に、繰り返しフィールドと判断してはいけないフィールドの検出確度を高めるようにしている。すなわちこの発明では、画面を複数の領域に分割したブロック毎に差分絶対値和を求めているため、１画面に含まれるブロックの何れかにおいて値ｒが大きくなり、そのブロック内では高い確度で繰り返しフィールドではないと判断できる。
【００７１】
なお、上述では、ブロック毎の特徴量として、ブロック内の画素毎の差分絶対値を合計した差分絶対値和を用いているが、これはこの例に限定されない。例えば、ブロック内の画素のうち、１フレーム前の対応するブロックにおける対応位置の画素との画素値（輝度値）の差分絶対値がある閾値より大きくなっている画素の個数を計数するようにしてもよい。計数結果が所定数より多ければ、当該ブロックが１フレーム前の対応ブロックと異なる画像であると判定でき、当該ブロックが含まれるフィールドが繰り返しフィールドではないと判断することができる。
【００７２】
これに限らず、１フレーム前の対応ブロックに対して差分絶対値がある閾値より大きくなっている画素の、ブロック内の総画素数に対する割合に基づき判定を行ってもよい。これらの方法は、対象ブロックと、対象ブロックの１フレーム前の対応するブロックとの類似度が高いほど、小さな値が得られる。これらの方法では、画素毎の差分絶対値を合計する必要が無いので、上述の方法よりも演算回路が簡単に構成できるという利点がある。
【００７３】
次に、この発明の実施の第１の形態の変形例について説明する。この実施の第１の形態の変形例では、各ブロックにおける特徴量の、フィールド内でのバラツキの程度、例えば分散を用いて、繰り返しフィールドの判定を行う。この場合、分散値σが閾値より大きければ、１フレーム前の対応ブロックの繰り返し画像ではないブロックが含まれると考えられ、画面全体として、当該フィールドを繰り返しフィールドと扱ってはいけないと判断することができる。すなわち、分散値σは、フィールド画像における類似度に対応すると考えることができ、分散値σが大きいほど、類似度が小さくなる。
【００７４】
なお、この方法の場合、例えば対象フィールドと１フレーム前のフィールドとが全く異なる画像で、各ブロックの特徴量が全て大きな値の場合にも、分散値σは、小さな値となって算出される可能性がある。そのため、この分散値σを用いた繰り返しフィールド判定方法と、上述の実施の第１の形態による、各ブロック毎の特徴量に対する閾値判定とを併用し、各ブロックごとの特徴量に対する閾値判定により各ブロックの特徴量が全て閾値より小さくなったときに、分散値σを用いた判定を行うようにすると、好ましい。
【００７５】
以下に説明するように、あるフィールドが繰り返しフィールドであるか否かの判定を、各ブロック毎に特徴量に基づき判定する方法と、当該フィールドに含まれるブロック全ての特徴量の分散値σに基づき判定する方法とを併用することで、繰り返しフィールドの判定をより正確に行うことができる。
【００７６】
図５は、この発明の実施の第１の形態の変形例による、分散値σを用いた判定を行うための一例の構成を示す。なお、この図５の構成は、上述した図３の構成のうち判定部２３Ａ、２３Ｂ、・・・、２３ｎおよび繰り返しフィールド総合判定部２４’を抜き出して示す。図５において、上述の図３と共通する部分には同一の符号を付し、詳細な説明を省略する。
【００７７】
図示されない特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出された、ブロック１２０、１２１、・・・、１２８による特徴量が判定部２３Ａ、２３Ｂ、・・・、２３ｎにそれぞれ供給される。判定部２３Ａ、２３Ｂ、・・・、２３ｎは、供給された特徴量と閾値とを比較し、当該フィールドが繰り返しフィールドである可能性の有無を判定する。判定部２３Ａ、２３Ｂ、・・・、２３ｎによる判定結果ａ1、ａ2、・・・、ａnは、それぞれ繰り返しフィールド総合判定部２４’の総合判定部４２に供給される。
【００７８】
なお、判定結果ａ1、ａ2、・・・、ａnは、当該フィールドが繰り返しフィールドである可能性がある場合には値「０」、繰り返しフィールドではないと考えられる場合には値「１」とする。
【００７９】
一方、特徴量算出部２１Ａ、２１Ｂ、・・・、２１ｎで算出されたブロック１２０、１２１、・・・、１２８による特徴量は、分散値算出部４０にも供給される。分散値算出部４０では、供給されたブロック１２０、１２１、・・・、１２８による特徴量の、１フィールドにおける分散値σを求める。分散値σは、繰り返しフィールド総合判定部２４’に供給され、閾値判定部４１で閾値判定される。閾値判定部４１は、分散値算出部４０で算出された分散値σが閾値より大きければ値「１」を、閾値より小さければ値「０」を判定結果ｂとして出力する。閾値判定部４１の判定結果ｂは、総合判定部４２に供給される。
【００８０】
すなわち、閾値判定部４１の判定結果ｂの値が「１」であれば、当該フィールドは繰り返しフィールドではないといえる。また、閾値判定部４１の判定結果ｂの値が「０」である場合には、当該フィールドが繰り返しフィールドである可能性が高いといえる。但し、上述したように、閾値判定部４１の判定結果ｂの値が「０」の場合、当該フィールドに含まれる全てのブロック１２０、１２１、・・・、１２８による特徴量の値が大きい場合も有り得る。
【００８１】
総合判定部４２は、判定部２３Ａ、２３Ｂ、・・・、２３ｎから供給された判定結果ａ1、ａ2、・・・、ａnと、閾値判定部４１から供給された判定結果ｂとに基づき、ブロック１２０、１２１、・・・、１２８が含まれるフィールドが繰り返しフィールドであるか否かが総合的に判定される。
【００８２】
例えば、総合判定部４２は、分散値算出部４０で算出された分散値σが閾値判定部４１による閾値より大きく、閾値判定部４１の判定結果ｂが「１」であるか、または、分散値σが閾値判定部４１による閾値より小さく判定結果ｂが「０」であり且つブロック毎の判定結果ａ1、ａ2、・・・、ａnの少なくとも１つが「１」であれば、判定結果として値「１」が出力され、当該フィールドが繰り返しフィールドではないことが示される。
【００８３】
このような判断は、総合判定部４２を図６に一例が示されるように構成することで、実現可能である。この図６の例では、判定結果ａ1、ａ2、・・・、ａnが多入力のＯＲ回路５０に入力され、ＯＲ回路５０の出力がＡＮＤ回路５１の非反転入力端に入力される。ＡＮＤ回路５１の反転入力端に判定結果ｂが入力され、ＡＮＤ回路５１の出力がＯＲ回路５２の一方の入力端に入力される。ＯＲ回路５２の他方の入力端には、判定結果ｂが入力される。ＯＲ回路５２の出力が総合判定部４２の出力とされ、繰り返しフィールド総合判定部２４’から出力される。
【００８４】
なお、上述の実施の第１の形態および第１の形態の変形例では、画面分割部２０において、入力画像が９個の領域に分割され、元の画面を９個の領域に分割したブロックについて、それぞれ特徴量を求めるように説明したが、特徴量を求めるためのブロックは、この方法に限らず、別の方法で構成することもできる。例えば、特徴量を、元の画面を縦２行×横３列に分割した６個のブロックについてそれぞれ求めてもよいし、縦２行×横２列に分割した４個のブロックについて求めてもよい。
【００８５】
また、各ブロックは、必ずしも互いに等しい大きさである必要はない。例えば、画面上の各位置における字幕の出現確率に応じて、各ブロックの大きさを決めるようにしてもよい。各ブロックの大きさを、入力画像に応じて適応的に変えるようにしてもよい。
【００８６】
さらに、上述実施の第１の形態および第１の形態の変形例では、特徴量を算出するためのブロックを、元の画面を複数の領域に分割して得ているが、これはこの方法に限定されない。元の画面から形成される複数の領域は、複数の領域のそれぞれが元の画面サイズよりも小さく、且つ、複数の領域全てを用いたときに、隙間無く元の画面の全面を覆えるようになっていればよい。例えば、特徴量を求めるための各ブロックは、画面上で領域が重複していてもよい。
【００８７】
さらにまた、上述実施の第１の形態および第１の形態の変形例では、入力画像の全フィールドについて、同一の領域によるブロックで特徴量を算出していたが、これはこの例に限らない。特徴量を算出するための１組のフィールドにおいてブロックが同一領域から構成されていれば、一連の入力画像において異なる領域によるブロックで特徴量を算出するようにしてもよい。
【００８８】
また、ブロック毎の特徴量も、画素毎の差分絶対値をブロック内で合計した差分絶対値和だけでなく、画素毎の差分値を二乗した値をブロック内で合計した差分二乗値和を用いてもよいし、２つの画像が異なる画像であることを示すことができるような値であれば、他の値を用いることもできる。
【００８９】
次に、この発明の実施の第２の形態について説明する。この実施の第２の形態は、この発明による繰り返しフィールド判定方法を、例えばＨＤＴＶ(High Definition Television)システムのような、膨大な画素数をエンコード対象とする符号化システムに適用させる例である。このようなシステムでは、プロセッサの処理能力などの制約により、画面を複数領域に分割し、分割された領域毎にビデオ信号を符号化する場合がある。この実施の第２の形態では、このような、分割された領域のそれぞれに対して符号化を行うようなシステムに対して、この発明を適用する。
【００９０】
図７は、この発明の実施の第２の形態を適用可能なビデオ信号符号化装置３０の一例の構成を示す。入力画像としてのビデオ信号が画像分割部３１に入力される。画像分割部３１は、入力されたビデオ信号を、１フィールド毎に、画面上の複数の領域に分割する。画面の各領域に分割された分割ビデオ信号は、それぞれ符号化ブロック１Ａ、１Ｂ、・・・、１ｎに供給される。
【００９１】
符号化ブロック１Ａ、１Ｂ、・・・、１ｎは、例えば通常のＳＤＴＶ(Standard Definition Television)システムに用いられる符号化ブロックと同等のものであって、例えばそれぞれ上述の図１に例示したような構成を有し、２−３プルダウン検出機能を有する。符号化ブロック１Ａ、１Ｂ、・・・、１ｎは、それぞれ入力された分割ビデオ信号によるフィールドが繰り返しフィールドであるか否かを検出することができるようになっている。
【００９２】
例えば符号化ブロック１Ａは、入力された分割ビデオ信号について、２−３プルダウン検出を行い繰り返しフィールドを検出し、検出結果に基づき冗長フィールドを除去する。符号化ブロック１Ａにおける繰り返しフィールドの判定方法は、入力された分割ビデオ信号による画面内で差分絶対値和を求める、従来技術による判定方法を用いることができる。勿論、この発明の実施の第１の形態で説明したような、入力されたビデオ信号による画面をさらに複数の領域のブロックに分割し、分割したブロックそれぞれの特徴量を用いて判定を行ってもよい。
【００９３】
符号化ブロック１Ａでは、さらに、フィールド間の動き検出やシーンチェンジ検出を行い、２−３プルダウン検出、動き検出およびシーンチェンジ検出などの検出結果に基づき、例えばＭＰＥＧ２方式によりビデオ信号を圧縮符号化し、符号化ストリームを出力する。出力される符号化ストリームにおいて、除去された冗長フィールドは、識別フラグによって示される。
【００９４】
符号化ブロック１Ａ、１Ｂ、・・・、１ｎから出力された符号化ストリームは、それぞれストリーム結合部３２に供給される。ストリーム結合部３２は、供給された、画面が分割された各領域に対応する複数の符号化ストリームを、分割前の元の画面に対する符号化ストリームの如く１本の符号化ストリームに結合して出力する。
【００９５】
符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・・１ｎは、ホストＣＰＵ(Central Processing Unit)３３と接続され、相互に通信が行われる。符号化ブロック１Ａを例にとると、例えば、符号化ブロック１ＡからホストＣＰＵ３３へは、符号化ブロック１Ａを制御するプロセッサのステータスや、符号化ブロック１Ａに対して入力されたビデオ信号に関する各種の情報が渡される。これらの情報と共に、繰り返しフィールドの判定結果や、前後のフィールド間の差分絶対値和などの、フィールドの特徴量が、符号化ブロック１ＡからホストＣＰＵ３３に対して渡される。また、ホストＣＰＵ３３は、符号化ブロック１Ａに対して符号化パラメータなどの設定を行う。
【００９６】
この実施の第２の形態では、ホストＣＰＵ３３において、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎから渡された、画面が分割された各領域それぞれの繰り返しフィールドの判定結果を用いて、画面が分割される前の元の画面に対する繰り返しフィールドの判定を行う。
【００９７】
例えば、上述した実施の第１の形態による繰り返しフィールド判定方法を用いて、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎそれぞれの繰り返しフィールド判定結果に基づき、少なくとも一つの繰り返しフィールド判定結果が繰り返しフィールドでは無いことを示している場合に、画像分割部３１に入力された入力画像が繰り返しフィールドでは無いと判断することができる。
【００９８】
また、上述した実施の第１の形態の変形例による繰り返しフィールド判定方法のように、実施の第１の形態による判定方法に加え、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎそれぞれの繰り返しフィールド判定結果の分散値σを求め、この分散値σをさらに用いて、画像分割部３１に入力された入力画像が繰り返しフィールドであるか否かを判断してもよい。
【００９９】
ホストＣＰＵ３３による繰り返しフィールド判定結果は、符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎにそれぞれ渡される。符号化ブロック１Ａ、１Ｂ、１Ｃ、・・・、１ｎは、ホストＣＰＵ３３から渡された判定結果に基づき、冗長フィールドの除去や、識別フラグの付加などを行う。
【０１００】
また、上述では、この発明による繰り返しフィールド検出処理がハードウェアで実行されるように説明したが、これはこの例に限らず、この処理をソフトウェアで実行するようにできる。例えば、コンピュータ装置にディジタルビデオ信号の入力インターフェイスを設け、コンピュータ上に搭載されたソフトウェアによりＣＰＵおよびメモリなどを利用して、上述した図２のフローチャートで一例が示される処理に従い、実行することができる。
【０１０１】
繰り返しフィールド検出処理をコンピュータ装置などに実行させるためのプログラムは、例えばＣＤ−ＲＯＭ(Compact Disc-Read Only Memory)といった記録媒体に記録されて提供される。このＣＤ−ＲＯＭをコンピュータ装置のＣＤ−ＲＯＭドライブに装填し、ＣＤ−ＲＯＭに記録されたプログラムを所定にコンピュータ装置にインストールすることで、上述の処理をコンピュータ装置上で実行可能な状態とすることができる。なお、コンピュータ装置の構成は、極めて周知であるため、説明は省略する。
【０１０２】
さらに、上述では、この発明の実施の第１の形態、実施の第１の形態の変形例およびこの発明の実施の第２の形態が、２−３プルダウン処理された画像に３０フレーム／１秒の画像としての字幕が合成された場合について、繰り返しフィールドか否かを検出するように説明したが、これはこの例に限定されない。例えば、この発明は、２−３プルダウン処理された画像に合成される画像が３０フレーム／１秒の画像であれば、当該画像が字幕以外でも適用することができる。
【０１０３】
【発明の効果】
以上説明したように、この発明は、２−３プルダウン素材における繰り返しフィールドの検出を、画面を複数の領域に分割したブロック毎に求めた特徴量に基づき行っている。１画面全体で特徴量を求めて繰り返しフィールドを検出する場合に比して、検出を行う領域において字幕画像の占める割合が相対的に大きくなるので、繰り返しフィールドの判定精度が向上する効果がある。
【０１０４】
そのため、この発明が適用されたビデオ信号の符号化装置を用いることで、従来誤って繰り返しフィールドと判定して符号化したために生じていた、ぎこちない動きの再生画像の発生を抑制することができ、２−３プルダウン素材の高画質での転送が可能となる効果がある。
【図面の簡単な説明】
【図１】この発明に適用できるビデオ信号符号化装置の一例の構成を概略的に示すブロック図である。
【図２】この発明の実施の第１の形態において行われる２−３プルダウン処理を概略的に示すフローチャートである。
【図３】この発明の実施の第１の形態による２−３プルダウン検出部の一例の構成を示すブロック図である。
【図４】画面を複数領域に分割したブロックを用いて繰り返しフィールドを検出する方法を説明するための図である。
【図５】この発明の実施の第１の形態の変形例による、分散値σを用いた判定を行うための一例の構成を示すブロック図である。
【図６】この発明の実施の第１の形態の変形例による繰り返しフィールド総合判定部の一例の構成を示す論理回路図である。
【図７】この発明の実施の第２の形態を適用可能なビデオ信号符号化装置の一例の構成を示すブロック図である。
【図８】２−３プルダウンを説明するための図である。
【図９】２−３プルダウン素材の圧縮符号化について説明するための図である。
【図１０】２−３プルダウン素材の繰り返しフィールド検出を説明するための図である。
【図１１】２−３プルダウン素材に対する字幕画像の合成を説明するための図である。
【符号の説明】
１・・・ビデオ信号符号化装置、１０・・・２−３プルダウン検出部、１１・・・冗長フィールド除去部、１２・・・動き／シーンチェンジ検出部、１３・・・圧縮符号化部、２０・・・画面分割部、２１Ａ〜２１ｎ・・・特徴量算出部、２２・・・フレームメモリ、２３Ａ〜２３ｎ・・・判定部、２４，２４’・・・繰り返しフィールド総合判定部、２５・・・シーケンスチェック部、４０・・・分散置算出部、４１・・・閾値判定部、４２・・・総合判定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention converts an image of 24 frames / 1 second into an image of 30 frames / 1 second by performing 2-3 pull-down processing, and then appropriately codes an image in which subtitles composed of an image of 30 frames / 1 second are combined. The present invention relates to an image processing apparatus, an image processing method, an image processing program, and a recording medium to be converted.
[0002]
[Prior art]
A film material recorded on an optical film, which is used in a movie or the like, is an image of 24 frames / second, while a video signal, for example, a video signal according to the NTSC system is an image composed of 30 frames / second. Therefore, in order to convert a film material into a video signal, a process of generating an image of 30 frames / second from an image of 24 frames / second is required. Such a process includes a process of converting two frames of an image of an original film material into three fields using a predetermined conversion pattern, and is thus called 2-3 pulldown.
[0003]
In the 2-3 pull-down, as shown in FIG. 8, by repeating a field every other frame in a video signal, an image of 30 frames / second is generated from an image of 24 frames / second. That is, from the first frame of the film material shown in FIG. 8A, images of the top and bottom fields of the first frame in the video signal shown in FIG. 8B are generated, and the image of the top field of the first frame is replaced with the second frame. Used repeatedly in the top field of the frame. Similarly, from the third frame of the film material, the bottom field of the third frame in the video signal is generated, the top and bottom fields of the fourth frame are generated, and the image of the bottom field of the third frame is displayed in the fourth frame. Is repeatedly used for the bottom field of.
[0004]
Hereinafter, a field repeatedly used in the 2-3 pull-down is referred to as a repeated field. This repetition field is a field inserted to increase the number of frames for an image of 24 frames / second by a film material.
[0005]
A telecine device is known as a device for performing a 2-3 pull-down and converting a film material into a video image. Hereinafter, an image of 30 frames / sec generated by the 2-3 pull-down is referred to as a 2-3 pull-down material.
[0006]
In FIG. 8 and FIGS. 9, 10 and 11 described later, “● (black circle)” and “」 (white circle) ”indicate fields of the video signal, and the fields surrounded by a frame are the same. (One frame of film material). The horizontal axis indicates time series.
[0007]
When compressing and coding such a 2-3 pull-down material, since the information of the above-described repetitive field is redundant, compression encoding is performed so as to remove the repetitive field to improve the compression efficiency. For example, as shown in FIG. 9A, when compression encoding is performed without considering a repetition field (indicated by an arrow) assuming that one frame is composed of two fields of a top field and a bottom field, Coding is performed on fields consisting of exactly the same image.
[0008]
On the other hand, as shown in an example in FIG. 9B, considering that one frame is composed of three fields including a repetition field, the repetition field is not encoded, and the field is replaced with a repetition field. There is a method of only setting an identification flag indicating that the In this method, when decoding and displaying the decoded image, the identification flag is used to recognize that the field is a repetition field, and the coded, for example, top field is used for displaying the repetition field. Thereby, the code amount can be effectively consumed.
[0009]
For example, ITU-T (International Telecommunication Union-Telecommunication Standardization Sector) recommendations, 262 | ISO / IEC13818-2 (International Organization for Standarization / International Electrotechnical Commission 13818-2) defines a method of transmitting an identification flag indicating a repetition field to a video stream.
[0010]
The improvement of the compression efficiency by the encoding in consideration of the repetition field will be described using a more specific example. As an example of an encoding control method of 2-3 pull-down material, TM5 (Test Model 5) of MPEG2 (Moving Pictures Experts Group 2) is used, the video signal system is NTSC system, and 1 GOP (Group Of Picture) is used. The case of 15 frames will be described as an example.
[0011]
The GOP has a screen group structure including at least one coded screen (intra-frame coded screen) based on information closed only within the screen, and is a unit of random access in the MPEG stream.
[0012]
In TM5 of MPEG2, the total available code amount for one GOP is allocated according to the picture type and the complexity of the picture. The total usable code amount for one GOP is obtained by multiplying the field bit obtained by dividing the coding bit rate by the number of fields per second (60 fields in the case of the NTSC system) by the number of fields of one GOP. Therefore, the total available code amount of one GOP is 30 fields in FIG. 9A, and in FIG. 9B, the repetition field is not counted as the code amount, so that the coding bit rate becomes a higher value, and The total available code amount is 37 or 38 fields (a GOP having a total available code amount of 37 fields and a GOP of 38 fields alternately appear in one GOP). As described above, in the example of FIG. 9B, a larger amount of code is allocated to 15 frames, and it can be seen that the compression efficiency is improved.
[0013]
As described above, in order to efficiently encode a 2-3 pull-down material, it is necessary to detect a repeated field of the 2-3 pull-down material at the time of encoding.
[0014]
A method of detecting a repeated field according to the related art will be schematically described. Conventionally, as a feature amount between two fields to be detected, a sum of absolute differences obtained by summing the absolute values of the differences between the pixel values of each pixel between the two fields in the fields is calculated. If the sum is equal to or less than the threshold value, a method has generally been used in which the two fields are determined to be the same field, that is, a repeated field.
[0015]
For example, when a 2-3 pull-down material as shown in an example in FIG. 10 is input, the
[0016]
Actually, even when a still image is simply input instead of a 2-3 pull-down material, for example, it is determined that the field is a repetition field. Therefore, in order to determine whether or not the material is a 2-3 pull-down material, in addition to the detection of the repeated field, furthermore, a method of detecting a pattern in which the repeated field appears is devised.
[0017]
[Patent Document 1]
International Publication WO00 / 13418 pamphlet
[0018]
[Problems to be solved by the invention]
By the way, the 2-3 pulldown material is generally a movie material, and there is a material obtained by combining a subtitle image with a 2-3 pulldown material. For example, subtitles are combined with a 2-3 pull-down material that has been subjected to 2-3 pull-down by the above-described telecine apparatus, and the material obtained by combining the subtitles is brought to a broadcast station or the like.
[0019]
When combining a caption image with a 2-3 pull-down material, a caption is combined with a video material converted from an image of 24 frames / sec to an image of 30 frames / sec. Depending on the display of the subtitles and the timing at which the displayed subtitles are erased, there may be a display problem that the subtitles that have been erased are displayed only one field after the field at which the subtitles were erased. there were.
[0020]
The subtitle display problem in the 2-3 pulldown material will be described in more detail with reference to FIG. An example is shown in FIG. 11A, and the pull-down material is a field in which the
[0021]
Here, consider combining the caption image of FIG. 11B with the 2-3 pull-down material of FIG. 11A. In the example of FIG. 11B, the subtitle image is a frame-based image, in which subtitles are included up to the frame including the
[0022]
Therefore, the image obtained after the synthesis of the caption image with respect to the 2-3 pull-down material is the same as the image corresponding to the
[0023]
Here, it is assumed that the
[0024]
On the other hand, in the
[0025]
More specifically, in the example of FIG. 11, a combined field in which the
[0026]
As described above, if a field that should not be handled as a repeated field is erroneously processed as a repeated field, a sufficiently recognizable and unnatural caption is displayed in the decoded image. In order to avoid this phenomenon, the presence or absence of subtitles may be accurately detected based on the feature amount between the two fields to be subjected to the above-described repeated field detection. That is, in the example of FIG. 11, the combined field including the caption, in which the
[0027]
By the way, in the actual movie material with subtitles, in the process of 2-3 pull-down processing or the process of synthesizing subtitles with the 2-3 pull-down material, a noise component due to analog signal processing or the like is mixed or the 2-3 pull-down process is performed. Due to various factors, such as signal processing such as applying a time axis filter at the time of, the difference absolute value sum, which is a feature value between two fields to be repeatedly detected, even if the field is originally a repeated field Often does not become zero.
[0028]
On the other hand, since the ratio of the subtitle pixels to the total pixels of the entire screen is small, the subtitles are not included in one field of one frame and subtitles are included in the other field even if the material is a repetition field in the material before subtitle synthesis. In such a case, it may be difficult to distinguish whether the feature amount obtained from the two fields to be subjected to the repeated field detection is due to the above-described noise or the like or to the presence or absence of subtitles. In such a case, there is a problem that it is difficult to appropriately set a threshold value for determining a repeated field.
[0029]
Therefore, an object of the present invention is to provide an image processing apparatus capable of accurately detecting whether or not a field image is a repeated field by 2-3 pull-down, for a material in which a caption image is synthesized with a 2-3 pull-down material, An object of the present invention is to provide an image processing method, an image processing program, and a recording medium.
[0030]
[Means for Solving the Problems]
According to the present invention, in order to solve the above-described problem, in an image processing apparatus configured to detect a repeated field in a 2-3 pull-down material, no gap is formed in a field image when all are arranged from a field image. Block forming means for forming a plurality of blocks, a similarity between a first block and a second block two fields before the first block, the position of which corresponds to a position on a field image, for each of the plurality of blocks. And a repetition field determination means for determining whether or not the field image is a repetition field based on the degree of similarity, wherein the repetition field determination means is detected by the similarity detection means. When the similarity of at least one block is smaller than a predetermined value, the field image An image processing apparatus characterized by determining a non-field.
[0031]
According to the present invention, in an image processing method for detecting a repeated field in a 2-3 pull-down material, a plurality of blocks are formed from a field image such that no gap is formed in the field image when all are arranged. A block forming step, and similarity detection for detecting, for each of the plurality of blocks, a similarity between the first block and a second block two fields before the first block and corresponding to a position on the field image on the field image. And a step of repeating field determination to determine whether or not the field image is a repeating field based on the similarity, wherein the step of repeating field determination is at least one of the steps detected by the similarity detection step. When the similarity of one block is smaller than a predetermined value, the field image is repeated. The image processing method characterized by determining a non-return field.
[0032]
According to the present invention, there is provided an image processing program for causing a computer apparatus to execute an image processing method for detecting a repeated field in a 2-3 pull-down material. A block forming step of forming a plurality of blocks that cannot be performed; and calculating a similarity between the first block and the second block corresponding to the position on the field image two fields before the first block. A similarity detection step for detecting each of the blocks; and a repetition field determination step for determining whether or not the field image is a repetition field based on the similarity. At least one block type detected by the degree detection step When time is smaller than a predetermined value, an image processing program and judging the field image is not repeated field.
[0033]
Further, the present invention provides a recording medium on which an image processing program for causing a computer to execute an image processing method for detecting a repeated field in a 2-3 pull-down material is recorded. A block forming step of forming a plurality of blocks such that there is no gap in the field image when all are arranged, and the positions on the field image corresponding to the first block and two fields before the first block correspond to each other. A similarity detection step of detecting the similarity with the second block for each of the plurality of blocks; and a repeating field determination step of determining whether or not the field image is a repeating field based on the similarity. The repetition field determination step is performed by the similarity detection step. When the similarity of the at least one block is smaller than a predetermined value, a recording medium and determines that the field image is not a repeat field.
[0034]
As described above, according to the present invention, a plurality of blocks are formed from a field image such that there is no gap in the field image when all are arranged, and a first block and two blocks before the first block, It is determined whether or not the field image is a repetitive field based on the result of detecting the similarity with the second block corresponding to the position on the field image for each of the plurality of blocks. Since the field image is determined not to be a repetitive field when the value is smaller than the predetermined value, the ratio of the subtitle to the area of the repetitive field detection target becomes relatively large, and the repetitive field can be detected more accurately. it can.
[0035]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a first embodiment of the present invention will be described. According to the present invention, for each of the blocks obtained by dividing the screen into a plurality of regions, the similarity between the corresponding blocks between the two fields to be detected is obtained. Then, if there is at least one region in which the obtained similarity is lower than the threshold value, it is determined that the temporally later field of the two detection target fields is not a repeated field for the previous field.
[0036]
FIG. 1 schematically shows a configuration of an example of a video
[0037]
A video signal as an input image is input to the 2-3 pull-down detecting
[0038]
Note that the similarity between two target fields can be used as the feature amount. The similarity will be described later. The two target fields are, for example, an input field and a field at the same position one frame before the input field. In other words, the two target fields are an input field and a field two fields before the input field.
[0039]
The video signal for which the 2-3 field has been repeatedly detected by the 2-3 pull-
[0040]
The motion / scene
[0041]
The
[0042]
In the above description, the video
[0043]
FIG. 2 is a flowchart schematically showing processing performed by the 2-3 pull-down detecting
[0044]
FIG. 3 shows an example of the configuration of the 2-3 pull-
[0045]
The
[0046]
.., 21n correspond to the input image of the previous frame stored in the
[0047]
As an example, the feature
[0048]
In the same manner as in the feature
[0049]
, 23n compare the supplied feature value with the threshold value, and determine whether or not the field may be a repeated field for the
[0050]
In the case of a normal 2-3 pull-down material, if the area of the region on the display screen corresponding to each block, that is, the number of pixels constituting each block is the same, the sum of absolute differences obtained from each block is the same. It is considered that the value is of the order of magnitude. Therefore, the thresholds of the
[0051]
Based on the threshold value set in this way, for example, the determination unit 23A compares the feature value calculated in the
[0052]
The determination results of the
[0053]
In the repetitive field
[0054]
In other words, if any one of the determination results of the
[0055]
The result of the determination as to whether or not the target field is a repeated field by the repeated field
[0056]
Referring to FIGS. 8 and 9 used in the description of the related art, the 2-3 pull-down material repeats the field configuration of the same pattern every five frames (10 fields). That is, for example, focusing on the bottom field, a repeated field appears every five frames, and one top field has a repeated field every five frames in a phase shifted by five fields from the bottom field. By utilizing this property, the periodicity of the field determined to be a repetition field by the repetition field
[0057]
As described above, the essence of the present invention lies in detecting whether or not a temporally later field of the two fields to be detected is a repetitive field with respect to a previous field. Can be omitted.
[0058]
The repeated field detection result by the
[0059]
With reference to FIG. 4, a method for detecting a repeated field using a block obtained by dividing a screen into a plurality of regions will be described more specifically. FIG. 4A shows an example of a combined
[0060]
The screen shown in FIG. 4A displays a
[0061]
In the example of FIG. 4, as described above, the screen is divided into nine
[0062]
According to the present invention, since the
[0063]
Here, the usefulness of the method of detecting the sum of absolute differences for each block obtained by dividing the screen into a plurality of regions to detect a repeated field according to the present invention will be described in more detail using mathematical expressions. First, each value used in the mathematical expression is defined as follows.
Total number of pixels in block: m
Absolute difference value due to noise (average per pixel): dn
Absolute difference value by caption (average per pixel): dc
Ratio of pixels corresponding to subtitles in the block: r
Threshold used for repeated field determination: h
Generally, dn<Dcit is conceivable that.
[0064]
Originally, as illustrated in FIG. 11 in the description of the related art, the field was originally a repetition field by the 2-3 pull-down process. However, the subtitle synthesis was based on the field, that is, the field one frame before the field. (Or when the subtitle synthesis starts from a repeated field by the 2-3 pull-down process), it is determined that the field is not a repeated field, so that the threshold h satisfying the expression (1) is satisfied. Decide.
m ・ (1-r) ・ dn+ M · r · dc> H> mdn ... (1)
[0065]
In the equation (1), the first term on the left side [m · (1-r) · dn] Is the absolute value of the difference due to pixels other than subtitles, the second term on the left side [m · r · dc] Is the absolute value of the difference due to the caption, and the right side [mdn] Represents the absolute value of the difference in the case of a true repetition field without subtitles. Based on the threshold value h determined by the equation (1), the threshold values of the
[0066]
In order to determine the repetition field with higher accuracy, it is desirable that the left side and the right side of Expression (1) have values far apart from each other. As the left side and the right side of Expression (1) are farther apart from each other, the range of values that the threshold h can take becomes wider.
[0067]
Equation (1) can be transformed into equation (2).
m · r · (dc-Dn) + Mdn> H> mdn ... (2)
[0068]
From equation (2), the first term on the left side [m · r · (dc-Dn)] Is an element that affects the ease of determining the threshold value h. That is, as the value of the first term on the left side increases, the range of possible values of the threshold h increases, and the degree of freedom of the threshold h increases. According to equation (2), the value (dc-Dn) Or increasing the value r is effective in expanding the range of the threshold h.
[0069]
Value (dc-Dn) Is a value determined by the input image. On the other hand, it is possible to make the value r appear large by the method according to the present invention. That is, by reducing the area of the region for calculating the sum of absolute difference values, the ratio r of the caption in the region for calculating the sum of absolute difference values can be relatively increased.
[0070]
In the present invention, focusing on increasing the value r, the difference between the value on the left side and the value on the right side of Expression (2) is increased to facilitate determination of the threshold value h. The detection accuracy of unacceptable fields is increased. That is, in the present invention, since the sum of absolute differences is calculated for each block obtained by dividing the screen into a plurality of regions, the value r is increased in any of the blocks included in one screen, and repeated within the block with high accuracy. It can be determined that it is not a field.
[0071]
In the above description, the difference absolute value sum obtained by summing the difference absolute values of the pixels in the block is used as the feature amount of each block, but this is not limited to this example. For example, among the pixels in the block, the number of pixels in which the absolute value of the difference between the pixel value (luminance value) and the pixel at the corresponding position in the corresponding block one frame before is larger than a certain threshold is counted. Is also good. If the counting result is larger than the predetermined number, it can be determined that the block is an image different from the corresponding block one frame before, and it can be determined that the field including the block is not a repeated field.
[0072]
However, the present invention is not limited to this, and the determination may be made based on the ratio of the pixel whose difference absolute value is larger than a certain threshold to the corresponding block of the previous frame to the total number of pixels in the block. In these methods, a smaller value is obtained as the similarity between the target block and the corresponding block one frame before the target block is higher. In these methods, since it is not necessary to sum the absolute values of the differences for each pixel, there is an advantage that the arithmetic circuit can be configured more easily than the above-described method.
[0073]
Next, a modification of the first embodiment of the present invention will be described. In the modification of the first embodiment, the repetition field is determined by using the degree of variation in the feature amount in each block within the field, for example, the variance. In this case, if the variance value σ is larger than the threshold value, it is considered that a block that is not a repetitive image of the corresponding block one frame before is included, and it is determined that the field should not be treated as a repetitive field for the entire screen. it can. That is, the variance σ can be considered to correspond to the similarity in the field image, and the larger the variance σ, the smaller the similarity.
[0074]
In the case of this method, for example, even when the target field and the field one frame before are completely different from each other and the feature amounts of all the blocks are all large, the variance σ is calculated as a small value. there is a possibility. Therefore, the repetition field determination method using the variance value σ and the threshold determination for the feature amount for each block according to the first embodiment described above are used together, and the threshold determination for the feature amount for each block is performed. It is preferable to make a determination using the variance value σ when all the feature values of the blocks become smaller than the threshold value.
[0075]
As described below, a method for determining whether or not a certain field is a repetition field is based on a feature amount for each block, and based on a variance σ of feature amounts of all blocks included in the field. By using the determination method together, it is possible to more accurately determine the repeated field.
[0076]
FIG. 5 shows an example of a configuration for performing a determination using a variance σ according to a modification of the first embodiment of the present invention. Note that the configuration of FIG. 5 shows only the
[0077]
, 128 calculated by the not-shown
[0078]
Note that the determination result a1, ATwo, ..., anIs set to a value “0” when the field may be a repeated field, and to a value “1” when the field is not considered to be a repeated field.
[0079]
On the other hand, the feature amounts of the
[0080]
That is, if the value of the determination result b of the
[0081]
The
[0082]
For example, the
[0083]
Such a determination can be realized by configuring the
[0084]
In the above-described first embodiment and the modification of the first embodiment, the
[0085]
Also, each block does not necessarily have to be equal in size. For example, the size of each block may be determined according to the appearance probability of subtitles at each position on the screen. The size of each block may be adaptively changed according to the input image.
[0086]
Further, in the first embodiment and the modification of the first embodiment, the blocks for calculating the feature amount are obtained by dividing the original screen into a plurality of regions. Not limited. The plurality of regions formed from the original screen are such that each of the plurality of regions is smaller than the original screen size, and when all the plurality of regions are used, the entire surface of the original screen can be covered without gaps. It just needs to be. For example, each block for obtaining the feature amount may have an overlapping area on the screen.
[0087]
Furthermore, in the above-described first embodiment and the modification of the first embodiment, the feature amount is calculated for all the fields of the input image by using blocks of the same region, but this is not limited to this example. If a block in a set of fields for calculating a feature amount includes the same region, the feature amount may be calculated using blocks in different regions in a series of input images.
[0088]
In addition, the feature amount of each block uses not only the sum of the absolute difference values obtained by summing the difference absolute values of the pixels in the block, but also the sum of the squared difference values obtained by summing the squared values of the difference values of the pixels in the block. Alternatively, another value may be used as long as the value can indicate that the two images are different images.
[0089]
Next, a second embodiment of the present invention will be described. The second embodiment is an example in which the repetition field determination method according to the present invention is applied to an encoding system that encodes a huge number of pixels, such as an HDTV (High Definition Television) system. In such a system, a screen may be divided into a plurality of regions and a video signal may be encoded for each of the divided regions due to restrictions such as the processing capability of a processor. In the second embodiment, the present invention is applied to such a system that performs encoding on each of the divided areas.
[0090]
FIG. 7 shows a configuration of an example of a video
[0091]
The coding blocks 1A, 1B,..., 1n are, for example, equivalent to coding blocks used in a normal SDTV (Standard Definition Television) system, and have, for example, respective configurations as illustrated in FIG. And has a 2-3 pull-down detection function. Each of the encoding blocks 1A, 1B,..., 1n can detect whether or not the field based on the input divided video signal is a repeated field.
[0092]
For example, the coding block 1A performs 2-3 pull-down detection on the input divided video signal to detect repeated fields, and removes redundant fields based on the detection result. As a method of determining a repetition field in the encoding block 1A, a determination method according to a conventional technique for obtaining a sum of absolute differences within a screen based on an input divided video signal can be used. Of course, as described in the first embodiment of the present invention, the screen based on the input video signal may be further divided into blocks of a plurality of regions, and the determination may be performed using the feature amount of each of the divided blocks. Good.
[0093]
The encoding block 1A further performs motion detection and scene change detection between fields, and based on detection results such as 2-3 pull-down detection, motion detection, and scene change detection, compression-encodes a video signal by, for example, the MPEG2 method, Output the encoded stream. In the output coded stream, the removed redundant field is indicated by an identification flag.
[0094]
The encoded streams output from the encoding blocks 1A, 1B,..., 1n are respectively supplied to the
[0095]
The coding blocks 1A, 1B, 1C,..., 1n are connected to a host CPU (Central Processing Unit) 33 and communicate with each other. Taking the encoding block 1A as an example, for example, the encoding block 1A sends, to the
[0096]
In the second embodiment, the
[0097]
For example, using the repeated field determination method according to the first embodiment described above, at least one repeated field determination result is determined based on each repeated field determination result of the encoded
[0098]
Further, like the repeated field determination method according to the modification of the first embodiment described above, in addition to the determination method according to the first embodiment, each of the encoded
[0099]
The repetition field determination result by the
[0100]
In the above description, the repetition field detection processing according to the present invention is described as being executed by hardware. However, this is not limited to this example, and this processing can be executed by software. For example, a computer device may be provided with an input interface for digital video signals, and may be executed in accordance with the processing shown in the flowchart of FIG. .
[0101]
A program for causing a computer device or the like to execute the repeated field detection processing is provided by being recorded on a recording medium such as a CD-ROM (Compact Disc-Read Only Memory). This CD-ROM is loaded into a CD-ROM drive of a computer device, and a program recorded on the CD-ROM is installed in the computer device in a predetermined manner so that the above-described processing can be executed on the computer device. Can be. Since the configuration of the computer device is very well known, the description is omitted.
[0102]
Further, in the above description, the first embodiment of the present invention, the modification of the first embodiment, and the second embodiment of the present invention show that an image subjected to 2-3 pull-down processing has a frame rate of 30 frames / sec. In the case where subtitles as images are combined, it has been described to detect whether or not the field is a repetition field, but this is not limited to this example. For example, the present invention can be applied to an image other than subtitles if the image to be synthesized with the image subjected to the 2-3 pull-down processing is an image of 30 frames / 1 second.
[0103]
【The invention's effect】
As described above, in the present invention, the detection of the repetition field in the 2-3 pull-down material is performed based on the feature amount obtained for each block obtained by dividing the screen into a plurality of regions. Compared with the case where a repeated field is detected by obtaining a feature amount in one entire screen, the proportion of the subtitle image in the region to be detected is relatively large, so that there is an effect that the accuracy of the repeated field determination is improved.
[0104]
Therefore, by using the video signal encoding device to which the present invention is applied, the occurrence of a reproduced image with awkward motion, which has conventionally occurred due to erroneous determination as a repeated field and encoding, can be suppressed, There is an effect that it is possible to transfer a 2-3 pull-down material with high image quality.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a configuration of an example of a video signal encoding device applicable to the present invention.
FIG. 2 is a flowchart schematically showing a 2-3 pull-down process performed in the first embodiment of the present invention;
FIG. 3 is a block diagram illustrating a configuration of an example of a 2-3 pull-down detecting unit according to the first embodiment of the present invention;
FIG. 4 is a diagram for explaining a method of detecting a repeated field using a block obtained by dividing a screen into a plurality of regions.
FIG. 5 is a block diagram showing an example of a configuration for performing a determination using a variance σ according to a modification of the first embodiment of the present invention;
FIG. 6 is a logic circuit diagram showing a configuration of an example of a repetitive field total determination section according to a modification of the first embodiment of the present invention.
FIG. 7 is a block diagram illustrating a configuration of an example of a video signal encoding device to which a second embodiment of the present invention can be applied.
FIG. 8 is a diagram for explaining 2-3 pull-down;
FIG. 9 is a diagram for describing compression encoding of a 2-3 pull-down material;
FIG. 10 is a diagram for explaining repeated field detection of a 2-3 pull-down material;
FIG. 11 is a diagram for explaining combination of a caption image with a 2-3 pull-down material.
[Explanation of symbols]
DESCRIPTION OF
Claims (9)
フィールド画像から、全てを配置したときに該フィールド画像に隙間ができないような複数のブロックを形成するブロック形成手段と、
第１の上記ブロックと、該第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２の上記ブロックとの類似度を上記複数のブロックのそれぞれについて検出する類似度検出手段と、
上記類似度に基づいて、上記フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定手段と
を有し、
上記繰り返しフィールド判定手段は、上記類似度検出手段により検出された少なくとも一つのブロックの類似度が所定値より小さいときに、上記フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理装置。In an image processing apparatus configured to detect a repeated field in a 2-3 pull-down material,
From the field image, block forming means for forming a plurality of blocks such that there is no gap in the field image when all are arranged,
First similarity detection means for detecting, for each of the plurality of blocks, a similarity between the first block and the second block whose position on the field image corresponds two fields before the first block; ,
Based on the similarity, has a repeating field determination means to determine whether the field image is a repeating field,
The image processing apparatus according to claim 1, wherein said repeated field determination means determines that said field image is not a repeated field when the similarity of at least one block detected by said similarity detection means is smaller than a predetermined value.
上記ブロック形成手段は、上記フィールド画像を複数の領域に分割して上記ブロックを形成するようにしたことを特徴とする画像処理装置。The image processing apparatus according to claim 1,
The image processing apparatus, wherein the block forming unit divides the field image into a plurality of areas to form the blocks.
上記類似度は、上記第１のブロックと上記第２のブロックとの間の画素値の差分絶対値和に基づく値であって、上記差分絶対値和がより小さいときに上記類似度がより大きいと検出することを特徴とする画像処理装置。The image processing apparatus according to claim 1,
The similarity is a value based on the sum of absolute differences of pixel values between the first block and the second block, and the similarity is larger when the sum of absolute differences is smaller. An image processing apparatus characterized by detecting the following.
上記繰り返しフィールド判定手段は、
上記類似度検出手段により検出された上記類似度に基づき、上記第１のブロックと上記第２のブロックとが異なる画像であるか否かを上記複数のブロックのそれぞれについて判定する複数の判定手段と、
上記複数の判定手段による上記複数のブロック毎の判定結果に基づき上記フィールド画像が繰り返しフィールドであるか否かを判定する総合判定手段と
を有することを特徴とする画像処理装置。The image processing apparatus according to claim 1,
The repetition field determination means includes:
A plurality of determination means for determining whether or not the first block and the second block are different images based on the similarity detected by the similarity detection means for each of the plurality of blocks; ,
An image processing apparatus comprising: a comprehensive determination unit that determines whether the field image is a repetitive field based on a determination result of each of the plurality of blocks by the plurality of determination units.
上記類似度は、分散に基づく値であり、上記分散がより大きいときに上記類似度がより小さいと検出することを特徴とする画像処理装置。The image processing apparatus according to claim 1,
The image processing apparatus according to claim 1, wherein the similarity is a value based on a variance, and detects that the similarity is smaller when the variance is larger.
上記繰り返しフィールド判定手段は、上記第１のブロックと上記第２のブロックとの間の画素値の差分絶対値和に基づく類似度が上記複数のブロック全てについて所定値より大きい場合、分散に基づく類似度を用いて上記フィールド画像が繰り返しフィールドであるか否かを判定し、該分散に基づく類似度が所定値より小さいときに上記フィールド画像が繰り返しフィールドであると検出することを特徴とする画像処理装置。The image processing apparatus according to claim 1,
When the similarity based on the sum of absolute differences of the pixel values between the first block and the second block is larger than a predetermined value for all of the plurality of blocks, the repetition field determination unit determines the similarity based on the variance. Determining whether or not the field image is a repetitive field by using a degree, and when the similarity based on the variance is smaller than a predetermined value, detecting that the field image is a repetitive field. apparatus.
フィールド画像から、全てを配置したときに該フィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、
第１の上記ブロックと、該第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２の上記ブロックとの類似度を上記複数のブロックのそれぞれについて検出する類似度検出のステップと、
上記類似度に基づいて、上記フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップと
を有し、
上記繰り返しフィールド判定のステップは、上記類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、上記フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理方法。In an image processing method for detecting a repeated field in a 2-3 pull-down material,
From the field image, a block forming step of forming a plurality of blocks such that there is no gap in the field image when all are arranged,
A similarity detection step of detecting, for each of the plurality of blocks, a similarity between the first block and the second block corresponding to the position on the field image two fields before the first block. When,
Based on the degree of similarity, a step of repeating field determination to determine whether the field image is a repeating field,
Image processing, wherein the repetition field determination step determines that the field image is not a repetition field when the similarity of at least one block detected in the similarity detection step is smaller than a predetermined value. Method.
フィールド画像から、全てを配置したときに該フィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、
第１の上記ブロックと、該第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２の上記ブロックとの類似度を上記複数のブロックのそれぞれについて検出する類似度検出のステップと、
上記類似度に基づいて、上記フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップと
を有し、
上記繰り返しフィールド判定のステップは、上記類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、上記フィールド画像が繰り返しフィールドでないと判定することを特徴とする画像処理プログラム。In an image processing program for causing a computer device to execute an image processing method for detecting a repeated field in a 2-3 pull-down material,
From the field image, a block forming step of forming a plurality of blocks such that there is no gap in the field image when all are arranged,
A similarity detection step of detecting, for each of the plurality of blocks, a similarity between the first block and the second block corresponding to the position on the field image two fields before the first block. When,
Based on the degree of similarity, a step of repeating field determination to determine whether the field image is a repeating field,
Image processing, wherein the repetition field determination step determines that the field image is not a repetition field when the similarity of at least one block detected in the similarity detection step is smaller than a predetermined value. program.
上記画像処理方法は、
フィールド画像から、全てを配置したときに該フィールド画像に隙間ができないような複数のブロックを形成するブロック形成のステップと、
第１の上記ブロックと、該第１のブロックの２フィールド前の、フィールド画像上で位置が対応する第２の上記ブロックとの類似度を上記複数のブロックのそれぞれについて検出する類似度検出のステップと、
上記類似度に基づいて、上記フィールド画像が繰り返しフィールドであるか否かを判定する繰り返しフィールド判定のステップと
を有し、
上記繰り返しフィールド判定のステップは、上記類似度検出のステップにより検出された少なくとも一つのブロックの類似度が所定値より小さいときに、上記フィールド画像が繰り返しフィールドでないと判定することを特徴とする記録媒体。In a recording medium storing an image processing program for causing a computer to execute an image processing method for detecting a repeated field in a 2-3 pull-down material,
The image processing method,
From the field image, a block forming step of forming a plurality of blocks such that there is no gap in the field image when all are arranged,
A similarity detection step of detecting, for each of the plurality of blocks, a similarity between the first block and the second block corresponding to the position on the field image two fields before the first block. When,
Based on the degree of similarity, a step of repeating field determination to determine whether the field image is a repeating field,
The recording medium according to claim 1, wherein the step of determining the repeated field determines that the field image is not a repeated field when the similarity of at least one block detected in the step of detecting the similarity is smaller than a predetermined value. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366893A JP4182747B2 (en) | 2002-12-18 | 2002-12-18 | Image processing apparatus, image processing method, image processing program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002366893A JP4182747B2 (en) | 2002-12-18 | 2002-12-18 | Image processing apparatus, image processing method, image processing program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004201010A true JP2004201010A (en) | 2004-07-15 |
| JP4182747B2 JP4182747B2 (en) | 2008-11-19 |
Family
ID=32763962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002366893A Expired - Fee Related JP4182747B2 (en) | 2002-12-18 | 2002-12-18 | Image processing apparatus, image processing method, image processing program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4182747B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007221538A (en) * | 2006-02-17 | 2007-08-30 | Fujitsu Ltd | Device and method for scene change determination data transfer device, and data transfer method |
| JP2008098938A (en) * | 2006-10-11 | 2008-04-24 | Fujitsu Ltd | Pull-down sequence detection program and pull-down sequence detector |
| WO2008120273A1 (en) * | 2007-03-29 | 2008-10-09 | Fujitsu Limited | Combined video detecting device and combined video detecting method |
| JP2009260595A (en) * | 2008-04-16 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | Quantization matrix switching method, video encoder, video encoding program, and its recording medium |
| US8063984B2 (en) | 2006-03-24 | 2011-11-22 | Kabushiki Kaisha Toshiba | Subtitle detection apparatus, subtitle detection method and pull-down signal detection apparatus |
| US8189103B2 (en) * | 2005-02-22 | 2012-05-29 | Renesas Electronics Corporation | Pull-down detection apparatus and pull-down detection method |
| US8243814B2 (en) | 2008-10-27 | 2012-08-14 | Fujitsu Limited | Combing artifacts detection apparatus and combing artifacts detection method |
| US8363160B2 (en) | 2006-11-30 | 2013-01-29 | Kabushiki Kaisha Toshiba | Caption detection device, caption detection method, and pull-down signal detection apparatus |
-
2002
- 2002-12-18 JP JP2002366893A patent/JP4182747B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8189103B2 (en) * | 2005-02-22 | 2012-05-29 | Renesas Electronics Corporation | Pull-down detection apparatus and pull-down detection method |
| US8330858B2 (en) | 2005-02-22 | 2012-12-11 | Renesas Electronics Corporation | Pull-down detection apparatus and pull-down detection method |
| JP2007221538A (en) * | 2006-02-17 | 2007-08-30 | Fujitsu Ltd | Device and method for scene change determination data transfer device, and data transfer method |
| US8063984B2 (en) | 2006-03-24 | 2011-11-22 | Kabushiki Kaisha Toshiba | Subtitle detection apparatus, subtitle detection method and pull-down signal detection apparatus |
| JP2008098938A (en) * | 2006-10-11 | 2008-04-24 | Fujitsu Ltd | Pull-down sequence detection program and pull-down sequence detector |
| US8363160B2 (en) | 2006-11-30 | 2013-01-29 | Kabushiki Kaisha Toshiba | Caption detection device, caption detection method, and pull-down signal detection apparatus |
| WO2008120273A1 (en) * | 2007-03-29 | 2008-10-09 | Fujitsu Limited | Combined video detecting device and combined video detecting method |
| JP2009260595A (en) * | 2008-04-16 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | Quantization matrix switching method, video encoder, video encoding program, and its recording medium |
| JP4676508B2 (en) * | 2008-04-16 | 2011-04-27 | 日本電信電話株式会社 | Quantization matrix switching method, video encoding device, and video encoding program |
| US8243814B2 (en) | 2008-10-27 | 2012-08-14 | Fujitsu Limited | Combing artifacts detection apparatus and combing artifacts detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4182747B2 (en) | 2008-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100468967B1 (en) | Thumbnail image generating system | |
| KR101366091B1 (en) | Method and apparatus for encoding and decoding image | |
| US8385427B2 (en) | Reduced resolution video decode | |
| JP3957915B2 (en) | Fade detection device and information encoding device | |
| US20060233259A1 (en) | Switching decode resolution during video decoding | |
| US6525774B1 (en) | Inverse telecine converting device and inverse telecine converting method | |
| JP2010500818A (en) | System and method for comic animation compression | |
| US20070139552A1 (en) | Unified approach to film mode detection | |
| JPH08167033A (en) | Film-mode video signal detector | |
| JP2008219876A (en) | Moving image encoding device, moving image encoding method and moving image decoding device | |
| US6842194B1 (en) | Inverse telecine conversion apparatus | |
| US9762916B2 (en) | Encoding apparatus and method | |
| JP4182747B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
| JPH11239351A (en) | Moving image coding method, decoding method, encoding device, decoding device and recording medium storing moving image coding and decoding program | |
| US8401070B2 (en) | Method for robust inverse telecine | |
| JP2010258576A (en) | Scene change detector, and video recorder | |
| JP3924420B2 (en) | Image compression apparatus and method | |
| JP2001285881A (en) | Digital information converter and method, and image information converter and method | |
| JP2005516495A (en) | Reducing the bit rate of precompressed multimedia | |
| US20060067410A1 (en) | Method for encoding and decoding video signals | |
| JP2002064823A (en) | Apparatus and method for detecting scene change of compressed dynamic image as well as recording medium recording its program | |
| JP2004015700A (en) | Progressive conversion method, progressive conversion apparatus, sequence detecting method, sequence detecting apparatus, and video data processing apparatus | |
| US8319890B2 (en) | Arrangement for generating a 3:2 pull-down switch-off signal for a video compression encoder | |
| JPH10112863A (en) | Method and device for extracting motion subject information | |
| JP2011129979A (en) | Image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080825 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |