JP2006109488A - フィールド選択が可能な映像処理装置及びその方法 - Google Patents

Abstract

【課題】入力映像がフィルム映像である場合、補間時に用いられるフィールドを選ぶことができるフィールド選択が可能な映像処理装置及びその方法を提供する。
【解決手段】第１のフィールド、第２のフィールド、及び第３のフィールドのフィールド間のフィールド情報の差値に基づき、補間時に用いるフィールドを選ぶフィールドセレクト部と所定のパターンを生成し、生成された所定のパターンを用いて入力映像がフィルム映像であるかどうかを判断するフィルム検出部及び入力映像がフィルム映像である場合、フィールドセレクト部で選ばれたフィールドを用いて第２のフィールドを補間する補間部とを備える。これにより、入力映像がバッドエディットでないフィルム映像である場合、補間すべきフィールドと時間的に連続するフィールドのうちフィールド情報の差値が小さいフィールドを用いて補間を行うことにより、映像にジャダーが発生することを防止できる。
【選択図】図２

Description

本発明は、フィールド選択が可能な映像処理装置及びその方法に係り、より詳しくは、入力映像がフィルム映像である場合、補間時に用いられるフィールドを選ぶことができるフィールド選択が可能な映像処理装置及びその方法に関する。

映画は、通常、フィルムで秒間２４コマの速度で静止画を撮影し、該フィルムを秒間２４コマの速度で回してスクリーンに映すプログレッシブ方式を使用する。これに対し、ＴＶは、カラーテレビの送信方式によって画像表示速度が相違しているが、ＮＴＳＣ方式では、秒間３０コマを送信し、ＰＡＬ方式またはＳＥＣＡＭ方式では、秒間２５コマを送信する。そして、テレビは電波を介して画像を送信されるので、各コマを数百本の走査線で走査して撮影及び送信し、ブラウン管でも走査により映像を表示する。

また、テレビでは、制限された走査線を用いて効率よく動画像を表示するために１フレームを２つのフィールドに分けて交互に走査するインターレース方式を用いる。ＮＴＳＣ方式では、秒間６０フィールドの画像を、ＰＡＬ方式またはＳＥＣＡＭ方式では、秒間５０フィールドの画像を表示する。

また、映画をテレビで表示する場合は、映画とテレビの秒間コマ数が相違しているため、これをインターレース画像に変換しないでフィルムをそのままテレビの画像表示速度で再生すると、ＮＴＳＣ方式のテレビでは、画像表示速度が秒間３０コマなので、動きの早い映画が見られるようになる。従って、映画フィルムをＮＴＳＣ方式のテレビに送信する場合は、画像表示速度の整合性をとるために秒間２４コマの映像を秒間６０フィールドに変換し増す必要があるため、２コマから５フィールドを得ればよい。一般に、２コマのうち最初の１コマを３フィールド、残りの１コマを２フィールドと順次割り当て、これを繰り返すことにより秒間２４コマを秒間６０フィールドの信号に変換する３:２プルダウン方式を用いる。反面、映画フィルムをＰＡＬまたはＳＥＣＡＭ方式のＴＶに送信する場合、秒間２５コマから秒間５０フィールドに変換し増す必要があるため、各フレームから２フィールドを得ればよい。このように、各フレームを２フィールドと順次割り当て、これを繰り返すことにより秒間２４コマを秒間５０フィールドの信号に変換する方式を２:２プルダウン方式という。３:２プルダウン方式は、２つのフレームを５つのフィールドと割り当てる。そして、映画の１フレームは、奇数の走査線で構成されているトップフィールドと偶数の走査線で構成されているボトムフィールドからなるので、テレビで表示するための３フィールドにするためには、トップフィールドまたはボトムフィールドのいずれかが繰り返される。

図１は、従来の映像処理装置のブロック図である。図１に示すように、従来の映像処理装置は、パターン検出部１０と、フィルム決定部２０、及び補間部３０とを備える。パターン検出部１０は、入力映像のうち時間的に連続する３つのフィールドに対してフィールド間の画素値の差を計算し、所定の臨界値を基準にしてパターンを生成する。例えば、時間的に連続する第１のフィールドと第２のフィールド間の画素値の差を計算し、画素値の差が所定の臨界値以上である場合は‘１’、所定の臨界値より小さい場合は‘０’とするパターンを生成する。

フィルム決定部２０は、パターン検出部１０で生成されたパターンによって入力映像がフィルム映像であるかどうかを決める。フィルム映像は一定のパターンを有するため、パターン検出部１０で生成されたパターンと予め記憶されたフィルム映像のパターンとを比較し、入力映像がフィルム映像であるかどうかを決める。

補間部３０は、フィルム決定部２０での決定によって入力映像の補間を行う。即ち、フィルム決定部２０が入力映像をフィルム映像でないと決めた場合は、補間すべきフィールドの情報だけを用いて空間補間（ｓｐａｔｉａｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行う。しかし、フィルム決定部２０が入力映像をフィルム映像であると決めた場合は、現フィールドと時間的に連続するフィールドのフィールド情報を用いて現フィールドを補間する。

この種の従来の映像処理装置で補間を行う場合において、入力映像がフィルム映像である場合、パターン検出部１０で生成されたパターンを基準にして決められた補間すべきフィールドの前のフィールドまたは後のフィールドを用いて現フィールドの補間を行っていた。ところで、生成されたパターンに誤りがあるか、バッドエディットなどのような同じプログレッシブフレームから由来しないフィールドを補間に用いることによって映像にジャダー（ｊｕｄｄｅｒ）が発生し得るという問題点がある。ここで、バッドエディットとは、３:２プルダウンイメージまたは２:２プルダウンイメージのストリームが映像編集過程で順番が入れ替わることによりプルダウンの規則性を喪失してしまうことをいう。

そこで、本発明は前記のような従来の技術における問題点を解決するためになされたものであって、その目的は、入力映像がフィルム映像である場合、現フィールドと時間的に連続するフィールドのうち現フィールドとのフィールド情報の差値が小さいフィールドを選んで現フィールドの補間を行う、フィールド選択が可能な映像処理装置及びその方法を提供することにある。

前記目的を達成するための本発明に係るフィールド選択が可能な映像処理装置は、入力映像のうち連続して入力される第１のフィールド、第２のフィールド、及び第３のフィールドのフィールド間のフィールド情報の差値に基づき、第１のフィールドと第３のフィールドから現フィールドである第２のフィールドの補間時に用いるフィールドを選ぶフィールドセレクト部と；フィールド間のフィールド情報の差値に基づいて所定のパターンを生成し、生成された所定のパターンを用いて入力映像がフィルム映像であるかどうかを判断するフィルム検出部；及び入力映像がフィルム映像である場合、フィールドセレクト部で選ばれたフィールドを用いて第２のフィールドを補間する補間部とを含む。

ここで、フィールド間のフィールド情報の差値が、フィールド間の画素値の差、フィールド間のジャダー量の差、フィールド間のＳＡＤ値の差、フィールド間の動き予測のいずれかである。

好ましくは、フィールドセレクト部が、第１のフィールドと第２のフィールド間のフィールド情報の差値を検出する第１のフィールド差検出部と、第２のフィールドと第３のフィールド間のフィールド情報の差値を検出する第２のフィールド差検出部と、第１のフィールド差検出部で検出された差値の和である第１の値、第２のフィールド差検出部で検出された差値の和である第２の値差、及び第１の値と第２の値との差値である第３の値を計算する計算部、及び第３の値から第３の値に応じて選ばれる第１の値、第２の値、及び‘０’のいずれかを差し引いた値の絶対値と閾値とを比較し、第１のフィールド及び第３のフィールドのいずれかを選ぶ比較部とを含む。

ここで、比較部が、第１の値と第２の値との差値である第３の値が‘０’である場合は第３の値と閾値とを比較し、第３の値が第１の値である場合は第３の値と第１の値との差と閾値とを比較し、第３の値が第２の値である場合は第３の値と第２の値との差と閾値とを比較する。

また、比較部が、第３の値が‘０’であり第３の値が閾値より小さい場合は、第１のフィールド及び第３のフィールドのいずれかを選び、第３の値が第１の値であり第３の値と第１の値との差が閾値より小さい場合は、第３のフィールドを選び、第３の値が第２の値であり第３の値と第２の値との差が閾値より小さい場合は、第１のフィールドを選ぶ。そして、比較部が、第３の値が第１の値、第２の値、‘０’でない場合は、第１のフィールドまたは第３のフィールドのいずれをも選ばない。

このとき、補間部が、入力映像がフィルム映像でない場合は、現フィールドの第２のフィールド内における補間すべき画素の隣接画素値に基づいて第２のフィールドを補間する。

また、本発明に係るフィールド選択が可能な映像処理装置は、入力映像がフィルム映像であるかどうかを判断するフィルム判断部と；前記入力映像のうち補間すべき現フィールドと前記現フィールドに隣り合う第１及び第２のフィールドを取り込むセレクト部；及び前記第１及び前記第２のフィールドのいずれかを用いて前記現フィールドを補間する補間部とを含むことが好ましい。

このとき、補間部が、前記フィールド判断部が前記入力映像が前記フィルム映像でないと判断する場合に前記現フィールドを補間する。

ここで、前記セレクト部が、前記現フィールドと前記第１のフィールドとの第１の差値、及び前記現フィールドと前記第２のフィールドとの第２の差値を判断する。

このとき、前記セレクト部が、前記第１の差値の第１の和、前記第２の差値の第２の和及び前記第１の差値と第２の差値の第３の和を算出する。

また、前記補間部が、前記第１の和、前記第２の和及び第３の和が閾値より大きいと、前記現フィールドを補間する
ここで、前記補間部は、現フィールドの前のフィールド及び後のフィールを選ぶセレクト部及び前記セレクト部が選んだ前記前のフィールド及び前記後のフィールドのフィールドデータを用いて前記現フィールドを時間的に補間する時間補間部；と含むことが好ましい。

このとき、前記補間部は、前記セレクト部が前記現フィールドの前のフィールド及び後のフィールドのいずれも選択できなければ、前記現フィールドを空間的に補間する空間補間部を更に含むことが良い。

一方、本発明に係るフィールド選択が可能な映像処理方法は、（ａ）入力映像のうち連続して入力される第１のフィールド、第２のフィールド、第３のフィールドのフィールド間のフィールド情報の差値に基づき、第１のフィールドと第３のフィールドから現フィールドである第２のフィールドの補間時に用いるフィールドを選ぶステップと；（ｂ）フィールド間のフィールド情報の差値に基づいて所定のパターンを生成し、生成された所定のパターンを用いて入力映像がフィルム映像であるかどうかを判断するステップ及び（ｃ）入力映像がフィルム映像である場合、フィールドセレクト部で選ばれたフィールドを用いて第２のフィールドを補間するステップとを含む。

ここで、フィールド間のフィールド情報の差値が、フィールド間の画素値の差、フィールド間のジャダー量の差、フィールド間のＳＡＤ値の差、フィールド間の動き予測のいずれかである。

好ましくは、（ａ）ステップが、第１のフィールドと第２のフィールド間のフィールド情報の差値を検出し、第２のフィールドと第３のフィールド間のフィールド情報の差値を検出するステップと、第１のフィールドと第２のフィールド間のフィールド情報の差値の和である第１の値、第２のフィールドと第３のフィールド間のフィールド情報の差値の和である第２の値、第１の値と第２の値との差値である第３の値を計算するステップ、及び第３の値から第３の値に応じて選ばれる第１の値、第２の値、及び‘０’のいずれかを差し引いた値の絶対値と閾値とを比較し、第１のフィールド及び第３のフィールドのいずれかを選ぶステップとを含む。

ここで、フィールドを選ぶステップが、第３の値が‘０’である場合は第３の値と閾値とを比較し、第３の値が第１の値である場合は第３の値と第１の値との差と閾値とを比較し、第３の値が第２の値である場合は第３の値と第２の値との差と閾値とを比較する。

また、フィールドを選ぶステップが、第３の値が‘０’であり第３の値が閾値より小さい場合は、第１のフィールド及び第３のフィールドのいずれかを選び、第３の値が第１の値であり第３の値と第１の値との差が閾値より小さい場合は、第３のフィールドを選び、第３の値が第２の値であり第３の値と第２の値との差が閾値より小さい場合は、第１のフィールドを選ぶ。

さらに、第３の値が第１の値、第２の値、‘０’でない場合は、第１のフィールドまたは第３のフィールドを選びない。

好ましくは、（ｃ）ステップが、入力映像がフィルム映像でない場合は、第２のフィールド内における補間すべき画素の隣接画素値に基づいて第２のフィールドを補間する。

一方、本発明に係るフィールド選択が可能な映像処理方法は、入力映像がフィルム映像であるかどうかを判断するステップと；前記入力映像のうち補間すべき現フィールドと前記現フィールドに隣り合う第１及び第２のフィールドを取り込むステップ；及び前記第１及び前記第２のフィールドのいずれかを用いて前記現フィールドを補間するステップとを含む。

ここで、現フィールドの前のフィールド及び後のフィールを選ぶステップ及び前記選んだ前記前のフィールド及び前記後のフィールドのフィールドデータを用いて前記現フィールドを時間的に補間するステップを含むことが好ましい。

他方、コンピュータ読み取り可能な記録媒体の映像処理方法は、入力映像のうち連続して入力される第１のフィールド、第２のフィールド及び第３のフィールドのフィールド間のフィールド情報の差値に基づき、前記第１のフィールドと前記第３のフィールドから現フィールドである前記第２のフィールドの補間時に用いるフィールドを選ぶステップと；前記フィールド間のフィールド情報の差値に基づいて所定のパターンを生成し、該生成された所定のパターンを用いて前記入力映像がフィルム映像であるかどうかを判断するステップ及び前記入力映像がフィルム映像である場合、前記選ばれたフィールドを用いて前記第２のフィールドを補間するステップとを含む。

また、コンピュータ読み取り可能な記録媒体の映像処理方法は、入力映像がフィルム映像であるかどうかを判断するステップと；前記入力映像のうち補間すべき現フィールドと前記現フィールドに隣り合う第１及び第２のフィールドを取り込むステップ及び前記第１及び前記第２のフィールドのいずれかを用いて前記現フィールドを補間するステップとを含むことが好ましい。

以上で説明したように、本発明によれば、入力映像がバッドエディットでないフィルム映像である場合、補間すべきフィールドと時間的に連続するフィールドのうちフィールド情報の差値が小さいフィールドを用いて補間を行うことにより、映像にジャダーが発生することを防止することができる。

また、入力映像がフィルム映像であるかどうかに係る検出誤り及びバッドエディットがある場合、フィルムモードをオフに切り換えることなく安定して補間を行うことができる。

以下、添付図面に基づいて本発明の好適な実施形態を詳述する。
（実施形態）
図２は、本発明の一実施形態に係るフィールド選択が可能な映像処理装置のブロック図である。同図に示すように、本発明のフィールド選択が可能な映像処理装置は、フィールドメモリ１００と、フィールドセレクト部２００と、フィルム検出部３００、及び補間部４００とを備える。ここで、フィルム検出部３００は、パターン生成部３０１及び決定部３０３を含む。

まず、フィールドメモリ１００は、入力映像をフィールド毎に記憶する。

フィールドセレクト部２００は、フィールドメモリ１００に記憶してあるフィールドのうち時間的に連続する３つのフィールドから補間に用いるフィールドを選ぶ。時間的に連続する３つのフィールドを第１のフィールド、第２のフィールド、第３のフィールドとし、第２のフィールドを補間すべきフィールドとした場合、第２のフィールドの補間時に用いるフィールドを第１のフィールド及び第３のフィールドから選ぶ。このようにしてフィールドセレクト部２００で選ばれたフィールドの情報が補間部４００に出力される。

フィルム検出部３００のパターン生成部３０１が、入力映像のうち時間的に連続する３つのフィールドに対してフィールド間の画素値の差を計算し、計算された値と所定の臨界値とを比較してパターンを生成する。時間的に連続する第１のフィールドと第２のフィールド間の画素値の差を計算し、画素値の差が所定の臨界値以上である場合は‘１’、所定の臨界値より小さい場合は‘０’としてパターンを生成する。第２のフィールドと第３のフィールドの場合も、第１のフィールドと第２のフィールドの場合と同様に、第２のフィールドと第３のフィールド間の画素値の差を計算し、計算された値と所定の臨界値とを比較してパターンを生成する。

フィルム検出部３００の決定部３０３は、パターン生成部３０１で生成された入力映像のパターンとフィルム映像のパターンとを比較し、入力映像がフィルム映像であるかどうかを検出する。フィルム検出部３００での検出結果は、補間部４００に出力され、フィルム検出部３００での検出結果によってフィールドセレクト部２００で選ばれたフィールドを補間時に用いるかどうかが決められる。

補間部４００は、フィールドセレクト部２００及びフィルム検出部３００での結果によって入力映像の補間を行う。フィルム検出部３００で入力映像がフィルム映像でないと判断した場合は、補間すべきフィールドである第２のフィールドの情報だけを用いて空間補間を行う。しかし、フィルム検出部３００で入力映像がフィルム映像であると判断した場合は、フィールドセレクト部２００で選ばれたフィールドを用いて補間を行う。即ち、フィルム検出部３００で入力映像をフィルム映像であると判断した場合、フィールドセレクト部２００で補間すべきフィールドである第２のフィールドと時間的に連続するフィールドである第１のフィールドまたは第３のフィールドから選ばれたいずれかのフィールドを用いて第２のフィールドを補間する。

図３Ａ〜図３Ｃは、本発明の一実施形態に係るフィールド選択が可能な映像処理装置のフィールドセレクト部２００のブロック図である。図３Ａは、フィールド間のフィールド情報の差値を用いて補間に用いられるフィールドを選ぶフィールドセレクト部２００を示す。また、図３Ｂは、フィールド情報の差値がＳＡＤ値である場合のフィールドセレクト部２００を示し、図３Ｃは、フィールド情報の差値がジャダー値である場合のフィールドセレクト部２００を示す。

図３Ａに示すように、本発明のフィールドセレクト部２００は、第１のフィールド差検出部２０１と、第２のフィールド差検出部２０３と、計算部２０５、及び比較部２０７とを備える。

第１のフィールド差検出部２０１は、時間的に連続して入力される３つのフィールドである第１のフィールド、第２のフィールド、及び第３のフィールドにおける第１のフィールドと第２のフィールド間のフィールド情報の差値を検出する。第２のフィールド差検出部２０３は、第２のフィールドと第３のフィールド間のフィールド情報の差値を検出する。このとき、フィールド情報の差値としては、フィールド間の画素値の差、ジャダー量の差、ＳＡＤ値の差、動き予測などが挙げられる。

計算部２０５は、第１のフィールド差検出部２０１及び第２のフィールド差検出部２０３で検出された値を用いて、連続するフィールド間の差値の和とこの和の差値を計算する。即ち、第１のフィールドと第２のフィールド間のフィールド情報の差値の和である第１の値、及び第２のフィールドと第３のフィールド間のフィールド情報の差値の和である第２の値を計算する。また、第１の値と第２の値との差値である第３の値を計算する。これは、入力映像がバッドエディットのないフィルム映像である場合は、１つのフィールドに連続するフィールドには、少なくとも１つの同じプログレッシブフレームから由来するフィールドを有する。従って、連続するフィールド間のフィールド情報の差値の和が‘０’である場合は、連続するフィールド間のフィールド情報が同一であって同一のプログレッシブフレームから由来するフィールドと判断することができる。

計算部２０５での隣り合うフィールド間のフィールド情報の差値の和は、次の式（１）で計算する。

前記式中、ｅ_ｎｐｒｅは、第１のフィールドと第２のフィールド間のフィールド情報の差値の和の第１の値であり、ｅ_{ｎｎｅｘｔ}は、第２のフィールドと第３のフィールド間の差値の和の第２の値である。そして、ｆ_ｎは、現フィールドとしての第２のフィールドであり、ｆ_ｎ−１は、現フィールドの前のフィールドとしての第１のフィールドであり、ｆ_ｎ＋１は、現フィールドの後のフィールドとしての第３のフィールドである。

そして、計算部２０５では、式（１）で計算されたフィールド間のフィールド情報の差値の和に対してこれらの和の差値を次の式（２）で計算する。即ち、式（１）で計算した第１の値と第２の値との差値である第３の差値は、次のとおりである。

前記式中、ｅ_ｎｐｒｅは、第１のフィールドと第２のフィールド間のフィールド情報の差値の和の第１の値であり、ｅ_{ｎｎｅｘｔ}は、第２のフィールドと第３のフィールド間の差値の和の第２の値である。そして、ｆ_ｎは、現フィールドとしての第２のフィールドであり、ｆ_ｎ−１は、現フィールドの前のフィールドとしての第１のフィールドであり、ｆ_ｎ＋１は、現フィールドの後のフィールドとしての第３のフィールドである。

式（２）から、第１のフィールドと第２のフィールド間のフィールド情報の差値の和ｅ_ｎｐｒｅの第１の値から、第２のフィールドと第３のフィールド間のフィールド情報の差値の和ｅ_{ｎｎｅｘｔ}の第２の値を差し引いた値の絶対値である第３の値が‘０’であれば、第１のフィールド、第２のフィールド、第３のフィールドのフィールド情報値が同一である。そして、第３の値が、第２のフィールドと第３のフィールド間のフィールド情報の差値の和ｅ_{ｎｎｅｘｔ}の第２の値である場合は、第１のフィールドと第２のフィールドのフィールド情報は同一である。第３の値が第２の値である場合は、第１のフィールドと第２のフィールド間のフィールド情報の差値の和ｅ_ｎｐｒｅの第１の値が‘０’である場合であるため、第１のフィールドと第２のフィールド間のフィールド情報値は同一である。

しかし、第１のフィールドと第２のフィールド間のフィールド情報の差値の和ｅ_ｎｐｒｅの第１の値から、第２のフィールドと第３のフィールド間のフィールド情報の差値の和ｅ_{ｎｎｅｘｔ}の第２の値を差し引いた値の絶対値である第３の値が第１の値である場合は、第２のフィールドと第３のフィールド間のフィールド情報値は同一である。第３の値が第１の値である場合は、第２のフィールドと第３のフィールド間のフィールド情報の差値の和ｅ_ｎｐｒｅの第２の値が‘０’である場合であるため、第２のフィールドと第３のフィールド間のフィールド情報値は同一である。

これに対し、第３の値が、‘０’でなく、第１のフィールドと第２のフィールド間のフィールド情報の差値の和ｅ_ｎｐｒｅの第１の値でなく、第２のフィールドと第３のフィールド間のフィールド情報の差値の和ｅ_{ｎｎｅｘｔ}の第２の値でない場合は、現フィールドである第２のフィールドと同一のフィールド情報値を有する連続するフィールドが存在しない場合である。第２のフィールドと同一のフィールド情報値を有する連続するフィールドが存在しない場合は、入力映像がバッドエディットのフィルム映像であるか、或いは入力映像がフィルム映像でない場合である。

比較部２０７は、計算部２０５で計算された結果値と閾値を用いて、補間に用いる現フィールドである第２のフィールドに連続する２つのフィールドである第１のフィールドと第３のフィールドのいずれかを選ぶ。具体的には、比較部２０７は、計算部２０５で計算された第３の値に応じて、第３の値から‘０’、第１の値、第２の値のいずれかを差し引いた値の絶対値と閾値とを比較し、第１のフィールドと第３のフィールドのいずれかを選ぶ。

比較部２０７での第１のフィールドと第３のフィールドのいずれかの選択は、次の式（３）に基づいて行う。

計算部２０５で計算された第３の値が‘０’である場合は、第３の値と閾値とを比較する。比較の結果、第３の値が閾値より小さい場合は、第１のフィールド、第２のフィールド及び第３のフィールドのフィールド情報値が同一の場合であるので、現フィールドの第２のフィールドを補間する際に用いる第２のフィールドに連続するフィールドとして、第１のフィールドまたは第３のフィールドのいずれをも用いてもよい。

そして、計算部２０５で計算された第３の値が第１の値である場合は、第３の値から第１の値を差し引いた値の絶対値と閾値とを比較する。比較の結果、第３の値から第１の値を差し引いた値の絶対値が閾値より小さい場合は、第２のフィールドと第３のフィールドのフィールド情報値が同一の場合である。従って、第２のフィールドを補間する際、第３のフィールドのフィールド情報を用いて第２のフィールドの補間を行う。

また、計算部２０５で計算された第３の値が第２の値である場合は、第３の値から第２の値を差し引いた値の絶対値と閾値とを比較する。比較の結果、第３の値から第２の値を差し引いた値の絶対値が閾値より小さい場合は、第１のフィールドと第２のフィールドのフィールド情報値が同一の場合である。従って、第２のフィールドを補間する際、第１のフィールドのフィールド情報を用いて第２のフィールドの補間を行う。

しかし、比較部２０７は、第３の値が第１の値、第２の値、‘０’でない場合は、第１のフィールドと第３のフィールドのいずれも第２のフィールドとのフィールド情報の差が大きいフィールドであって、第２のフィールドの補間時に第１のフィールドまたは第３のフィールドのフィールド情報を用いない。即ち、フィールドセレクト部２００は、第１のフィールドまたは第３のフィールドのいずれも選ばない。

図３Ｂは、フィールド情報の差値がＳＡＤ値である場合のフィールドセレクト部２００を示す。従って、図３Ａに示す第１のフィールド差検出部２０１及び第２のフィールド差検出部２０３は、それぞれ第１のＳＡＤ検出部２０９及び第２のＳＡＤ検出部２１１となる。この第１のＳＡＤ検出部２０９及び第２のＳＡＤ検出部２１１は、それぞれ第１のフィールドと第２のフィールド間のＳＡＤ値及び第２のフィールドと第３のフィールド間のＳＡＤ値を検出する。そして、計算部２０５と比較部２０７の動作は、図３Ａを参照して上述したとおりである。

図３Ｃは、フィールド差情報がジャダー値である場合のフィールドセレクト部２００を示す。従って、図３Ａに示す第１のフィールド差検出部２０１は、第１のジャダー検出部２１３と第１のカウンタ２１７となり、第２のフィールド差検出部２０３は、第２のジャダー検出部２１５と第２のカウンタ２１９となる。この第１のジャダー検出部２１３及び第２のジャダー検出部２１５は、それぞれ第１のフィールドと第２のフィールド間のジャダー値及び第２のフィールドと第３のフィールド間のジャダー値を検出する。第１のカウンタ２１７及び第２のカウンタ２１９は、それぞれ第１のジャダー検出部２１３及び第２のジャダー検出部２１５で検出されたジャダー量をカウントする。そして、計算部２０５と比較部２０７の動作は、図３Ａを参照して上述したとおりである。

図４は、本発明の一実施形態に係るフィールド選択が可能な映像処理方法を示すフローチャートである。同図に示すように、まず、入力映像のうち時間的に連続するフィールド間のフィールド情報の差値を検出する（Ｓ５０１）。入力映像がフィールド毎に記憶されているフィールドメモリ１００から時間的に連続する３つのフィールドを用いてフィールド情報の差値を検出する。即ち、時間的に連続する第１のフィールド、第２のフィールド、及び第３のフィールドを用いて第１のフィールドと第２のフィールド間、第２のフィールドと第３のフィールド間のフィールド情報の差値を検出する。このとき、フィールド情報の差値としては、フィールド間の画素値の差、ジャダー量の差、ＳＡＤ値の差、動き予測などが挙げられる。

次いで、連続するフィールド間のフィールド情報の差値の和である第１の値、第２の値を計算し、第１の値と第２の値との差値である第３の値を計算する（Ｓ５０３）。第１のフィールド差検出部２０１及び第２のフィールド差検出部２０３でそれぞれ検出されたフィールド間のフィールド情報の差値を用いて第１のフィールドと第２のフィールド間の差値の和である第１の値及び第２のフィールドと第３のフィールド間の差値の和である第２の値を計算し、第１の値と第２の値との差値である第３の値を計算部２０５で計算する。

このとき、第１のフィールドと第２のフィールド間の差値の和から、第２のフィールドと第３のフィールド間の差値の和を差し引いた値の絶対値である第３の値が‘０’である場合は、第１のフィールド、第２のフィールド、及び第３のフィールドのフィールド情報値が同一である。そして、第３の値が、第２のフィールドと第３のフィールド間のフィールド情報の差値の和の第２の値である場合は、第１のフィールドと第２のフィールド間の差値の和が‘０’であって、第１のフィールドと第２のフィールドのフィールド情報値が同一である。第３の値が、第１のフィールドと第２のフィールド間のフィールド情報の差値の和の第１の値である場合は、第２のフィールドと第３のフィールド間の差値の和が‘０’であって、第２のフィールドと第３のフィールドのフィールド情報値が同一である。

次いで、第３の値から第１の値または第２の値を差し引いた値の絶対値が閾値より小さいかどうかを判断する（Ｓ５０５）。第３の値から第１の値または第２の値を差し引いた値が閾値より小さいかどうかは比較部２０７で比較される。このとき、第３の値が‘０’である場合は、第１の値または第２の値を差し引くことなく第３の値と閾値とを比較する。第３の値が第１の値である場合は、第３の値から第１の値を差し引いた値の絶対値と閾値とを比較する。そして、第３の値が第２の値である場合は、第３の値から第２の値を差し引いた値の絶対値と閾値とを比較する。

第３の値に応じて第２のフィールドを補間する際に用いるフィールドとして第１のフィールドまたは第３のフィールドを選ぶ（Ｓ５０７）。第３の値が閾値より小さく、第３の値が‘０’である場合は、第１のフィールドまたは第３のフィールドのいずれを選んでもよい。即ち、第３の値が‘０’である場合は、第１のフィールド、第２のフィールド、第３のフィールドのフィールド情報値が同一の場合であって、第２のフィールドの補間時に第１のフィールドを用いても、または第３のフィールドを用いてもよい。

第３の値から第２の値を差し引いた値の絶対値が閾値より小さく、第３の値が第２のフィールドと第３のフィールド間の差値の和の第２の値である場合は、第１のフィールドを選ぶ。第１の値と第２の値との差値の第３の値が第２のフィールドと第３のフィールド間の差値の和の第２の値である場合は、第１のフィールドと第２のフィールドのフィールド情報値が同一の場合であって、第２のフィールドの補間時に第１のフィールドを用いる。

第３の値から第１の値を差し引いた値の絶対値が閾値より小さく、第３の値が第１のフィールドと第２のフィールド間の差値の和の第１の値である場合は、第３のフィールドを選ぶ。第１の値と第２の値との差値の第３の値が第１のフィールドと第２のフィールド間の差値の和の第１の値である場合は、第２のフィールドと第３のフィールドのフィールド情報値が同一の場合であって、第２のフィールドの補間時に第３のフィールドを用いる。

次いで、入力映像がフィルム映像であるかどうかを判断する（Ｓ５０９）。入力映像がフィルム映像である場合、現フィールドである第２のフィールドを補間する際に連続するフィールドを用いて補間を行うので、入力映像がフィルム映像であるかどうかによって、第２のフィールドの補間時に用いるフィールドとしてフィールドセレクト部２００で選ばれたフィールドを補間時に用いるかどうかが決められるためである。

入力映像がフィルム映像であるかどうかは、時間的に連続する３つのフィールドを用いて生成されたパターンとフィルム映像のパターンとを比較し、そのパターンが同一であるかどうかによってフィルム検出部３００で判断する。

入力映像がフィルム映像である場合、比較部２０７での比較結果によって選ばれたフィールドを用いて補間を行う（Ｓ５１１）。選ばれたフィールドが第１のフィールドである場合は、第２のフィールドを補間する際に第１のフィールドのフィールド情報を用いて第２のフィールドを補間し、選ばれたフィールドが第３のフィールドである場合は、第２のフィールドを補間する際に第３のフィールドのフィールド情報を用いて第２のフィールドを補間する。

反面、Ｓ５０５ステップで第３の値から第１の値または第２の値を差し引いた値の絶対値が閾値より大きい場合、或いはＳ５０９ステップで入力映像がフィルム映像でないと判断された場合は、選ばれたフィールドを用いることなく、第２のフィールド内のフィールド情報を用いて第２のフィールドの補間を行う空間補間を行う（Ｓ５１３）。第３の値から第１の値または第２の値を差し引いた値の絶対値が閾値より大きい場合は、第２のフィールドと、第１のフィールまたは第３のフィールド間のフィールド情報値に差がある場合であって、第２のフィールドに連続するフィールドの第１のフィールドまたは第３のフィールドの情報を用いて第２のフィールドの補間を行わない。そして、入力映像がフィルム映像でない場合は、連続するフィールドの第１のフィールドと第３のフィールドが第２のフィールドと同じプログレッシブフレームから由来するフィールドでないことでフィールド情報値に差がある場合であって、連続するフィールドを用いて第２のフィールドの補間を行わない。

従来の映像処理装置のブロック図である。 本発明の一実施形態に係るフィールド選択が可能な映像処理装置のブロック図である。 本発明の一実施形態に係るフィールド選択が可能な映像処理装置のフィールドセレクト部のブロック図である。 本発明の一実施形態に係るフィールド選択が可能な映像処理装置のフィールドセレクト部のブロック図である。 本発明の一実施形態に係るフィールド選択が可能な映像処理装置のフィールドセレクト部のブロック図である。 本発明の一実施形態に係るフィールド選択が可能な映像処理方法を示すフローチャートである。

符号の説明

１００ フィールドメモリ
２００ フィールドセレクト部
２０１ 第１のフィールド差検出部
２０３ 第２のフィールド差検出部
２０５ 計算部
２０７ 比較部
２０９ 第１のＳＡＤ検出部
２１１ 第２のＳＡＤ検出部
２１３ 第１のジャダー検出部
２１５ 第２のジャダー検出部
２１７ 第１のカウンタ
２１９ 第２のカウンタ
３００ フィルム検出部
３０１ パターン生成部
３０３ 決定部
４００ 補間部

Claims (23)

1. 入力映像のうち連続して入力される第１のフィールド、第２のフィールド、及び第３のフィールドのフィールド間のフィールド情報の差値に基づき、前記第１のフィールドと前記第３のフィールドから現フィールドである前記第２のフィールドの補間時に用いるフィールドを選ぶフィールドセレクト部と；
   前記フィールド間のフィールド情報の差値に基づいて所定のパターンを生成し、該生成された所定のパターンを用いて前記入力映像がフィルム映像であるかどうかを判断するフィルム検出部；及び
   前記入力映像がフィルム映像である場合、フィールドセレクト部で選ばれたフィールドを用いて前記第２のフィールドを補間する補間部と；
   を含むことを特徴とするフィールド選択が可能な映像処理装置。
2. 前記フィールド間のフィールド情報の差値が、フィールド間の画素値の差、フィールド間のジャダー量の差、フィールド間のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値の差、フィールド間の動き予測のいずれかであることを特徴とする請求項１に記載のフィールド選択が可能な映像処理装置。
3. 前記フィールドセレクト部が、
   前記第１のフィールドと前記第２のフィールド間のフィールド情報の差値を検出する第１のフィールド差検出部と、
   前記第２のフィールドと前記第３のフィールド間のフィールド情報の差値を検出する第２のフィールド差検出部と、
   前記第１のフィールド差検出部で検出された差値の和である第１の値、前記第２のフィールド差検出部で検出された差値の和である第２の値、及び第１の値と第２の値との差値である第３の値を計算する計算部、及び
   前記第３の値から該第３の値に応じて選ばれる前記第１の値、前記第２の値、及び‘０’のいずれかを差し引いた値の絶対値と閾値とを比較し、前記第１のフィールド及び第３のフィールドのいずれかを選ぶ比較部と、
   を含むことを特徴とする請求項１に記載のフィールド選択が可能な映像処理装置。
4. 前記比較部が、前記第３の値が‘０’である場合は前記第３の値と、前記第３の値が前記第１の値である場合は前記第３の値と第１の値との差と、前記第３の値が第２の値である場合は前記第３の値と第２の値との差のそれぞれと前記閾値とを比較することを特徴とする請求項３に記載のフィールド選択が可能な映像処理装置。
5. 前記比較部が、前記第３の値が‘０’であり該第３の値が前記閾値より小さい場合は、前記第１のフィールド及び前記第３のフィールドのいずれかを選び、前記第３の値が前記第１の値であり該第３の値と第１の値との差が前記閾値より小さい場合は、前記第３のフィールドを選び、前記第３の値が前記第２の値であり該第３の値と第２の値との差が前記閾値より小さい場合は、前記第１のフィールドを選ぶことを特徴とする請求項４に記載のフィールド選択が可能な映像処理装置。
6. 前記補間部が、前記入力映像がフィルム映像でない場合は、前記現フィールドの第２のフィールド内における補間すべき画素の隣接画素値に基づいて前記第２のフィールドを補間することを特徴とする請求項１に記載のフィールド選択が可能な映像処理装置。
7. 入力映像がフィルム映像であるかどうかを判断するフィルム判断部と；
   前記入力映像のうち補間すべき現フィールドと前記現フィールドに隣り合う第１及び第２のフィールドを取り込むセレクト部；及び
   前記第１及び前記第２のフィールドのいずれかを用いて前記現フィールドを補間する補間部と；
   を含むことを特徴とするフィールド選択が可能な映像処理装置。
8. 前記補間部が、前記フィールド判断部が前記入力映像が前記フィルム映像でないと判断する場合に前記現フィールドを補間することを特徴とする請求項７に記載の映像処理装置。
9. 前記セレクト部が、前記現フィールドと前記第１のフィールドとの第１の差値、及び前記現フィールドと前記第２のフィールドとの第２の差値を判断することを特徴とする請求項７に記載の映像処理装置。
10. 前記セレクト部が、前記第１の差値の第１の和、前記第２の差値の第２の和、及び前記第１の差値と第２の差値の第３の和を算出することを特徴とする請求項９に記載の映像処理装置。
11. 前記補間部が、前記第１の和、前記第２の和、及び第３の和が閾値より大きいと、前記現フィールドを補間することを特徴とする請求項１０に記載の映像処理装置。
12. 現フィールドの前のフィールド及び後のフィールを選ぶセレクト部；及び
    前記セレクト部が選んだ前記前のフィールド及び前記後のフィールドのフィールドデータを用いて前記現フィールドを時間的に補間する時間補間部と；
    を含むことを特徴とする補間部。
13. 前記セレクト部が前記現フィールドの前のフィールド及び後のフィールドのいずれも選択できなければ、前記現フィールドを空間的に補間する空間補間部を更に含むことを特徴とする請求項１２に記載の補間部。
14. （ａ）入力映像のうち連続して入力される第１のフィールド、第２のフィールド、及び第３のフィールドのフィールド間のフィールド情報の差値に基づき、前記第１のフィールドと前記第３のフィールドから現フィールドである前記第２のフィールドの補間時に用いるフィールドを選ぶステップと；
    （ｂ）前記フィールド間のフィールド情報の差値に基づいて所定のパターンを生成し、該生成された所定のパターンに基づいて前記入力映像がフィルム映像であるかどうかを判断するステップ；及び
    （ｃ）前記入力映像がフィルム映像である場合、フィールドセレクト部で選ばれたフィールドを用いて前記第２のフィールドを補間するステップと；
    を含むことを特徴とするフィールド選択が可能な映像処理方法。
15. 前記フィールド間のフィールド情報の差値が、フィールド間の画素値の差、フィールド間のジャダー量の差、フィールド間のＳＡＤ値の差、フィールド間の動き予測のいずれかであることを特徴とする請求項１４に記載のフィールド選択が可能な映像処理方法。
16. 前記（ａ）ステップが、
    前記第１のフィールドと前記第２のフィールド間のフィールド情報の差値を検出し、前記第２のフィールドと前記第３のフィールド間のフィールド情報の差値を検出するステップと、
    前記第１のフィールドと前記第２のフィールド間のフィールド情報の差値の和である第１の値、前記第２のフィールドと前記第３のフィールド間のフィールド情報の差値の和である第２の値、及び第１の値と第２の値との差値である第３の値を計算するステップ、及び
    前記第３の値から該第３の値に応じて選ばれる前記第１の値、前記第２の値、及び‘０’のいずれかを差し引いた値の絶対値と閾値とを比較し、前記第１のフィールド及び第３のフィールドのいずれかを選ぶステップと、
    を含むことを特徴とする請求項１４に記載のフィールド選択が可能な映像処理方法。
17. 前記フィールドを選ぶステップが、前記第３の値が‘０’である場合は前記第３の値と、前記第３の値が前記第１の値である場合は前記第３の値と第１の値との差と、前記第３の値が第２の値である場合は前記第３の値と第２の値との差のそれぞれと前記閾値とを比較することを特徴とする請求項１４に記載のフィールド選択が可能な映像処理方法。
18. 前記フィールドを選ぶステップが、前記第３の値が‘０’であり該第３の値が前記閾値より小さい場合は、前記第１のフィールド及び前記第３のフィールドのいずれかを選び、前記第３の値が前記第１の値であり該第３の値と第１の値との差が前記閾値より小さい場合は、前記第３のフィールドを選び、前記第３の値が前記第２の値であり該第３の値と第２の値との差が前記閾値より小さい場合は、前記第１のフィールドを選ぶことを特徴とする請求項１５に記載のフィールド選択が可能な映像処理方法。
19. 前記（ａ）ステップが、前記入力映像がフィルム映像でない場合は、第２のフィールド内における補間すべき画素の隣接画素値に基づいて前記第２のフィールドを補間することを特徴とする請求項１４に記載のフィールド選択が可能な映像処理方法。
20. 入力映像がフィルム映像であるかどうかを判断するステップと；
    前記入力映像のうち補間すべき現フィールドと前記現フィールドに隣り合う第１及び第２のフィールドを取り込むステップ；及び
    前記第１及び前記第２のフィールドのいずれかを用いて前記現フィールドを補間するステップと；
    を含むことを特徴とするフィールド選択が可能な映像処理方法。
21. 現フィールドの前のフィールド及び後のフィールを選ぶステップ；及び
    前記選んだ前記前のフィールド及び前記後のフィールドのフィールドデータを用いて前記現フィールドを時間的に補間するステップと；
    を含むことを特徴とする補間方法。
22. 入力映像のうち連続して入力される第１のフィールド、第２のフィールド、及び第３のフィールドのフィールド間のフィールド情報の差値に基づき、前記第１のフィールドと前記第３のフィールドから現フィールドである前記第２のフィールドの補間時に用いるフィールドを選ぶステップと；
    前記フィールド間のフィールド情報の差値に基づいて所定のパターンを生成し、該生成された所定のパターンを用いて前記入力映像がフィルム映像であるかどうかを判断するステップ；及び
    前記入力映像がフィルム映像である場合、前記選ばれたフィールドを用いて前記第２のフィールドを補間するステップと；
    を含むことを特徴とするコンピュータ読み取り可能な記録媒体の映像処理方法。
23. 入力映像がフィルム映像であるかどうかを判断するステップと；
    前記入力映像のうち補間すべき現フィールドと前記現フィールドに隣り合う第１及び第２のフィールドを取り込むステップ；及び
    前記第１及び前記第２のフィールドのいずれかを用いて前記現フィールドを補間するステップと；
    を含むことを特徴とするコンピュータ読み取り可能な記録媒体の映像処理方法。
    

Images