JP2004180242A - 順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラム - Google Patents
順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラム Download PDFInfo
- Publication number
- JP2004180242A JP2004180242A JP2002347336A JP2002347336A JP2004180242A JP 2004180242 A JP2004180242 A JP 2004180242A JP 2002347336 A JP2002347336 A JP 2002347336A JP 2002347336 A JP2002347336 A JP 2002347336A JP 2004180242 A JP2004180242 A JP 2004180242A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- motion compensation
- interpolation
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
【課題】テレシネ検出による誤検出が発生しても、変換されたプログレッシブ信号における画質劣化を低減することができる順次走査変換装置を提供する。
【解決手段】画像繰り返し検出部１０４によって同じ画像が繰り返されているかを検出する。画像間補間モード判定部１０５は、画像の繰り返しパターンを検出して、画像間補間部１１８が画像間補間信号を前、後、前後のいずれから生成すべきかを判定する。減算器１２０は、画像内補間信号と画像間補間信号との差分信号を生成する。この差分信号より相関の程度を示すマッチング信号を生成する。マッチング信号に応じて、乗算器１２１，１２２にて乗算する係数を可変する。
【選択図】 図１
【解決手段】画像繰り返し検出部１０４によって同じ画像が繰り返されているかを検出する。画像間補間モード判定部１０５は、画像の繰り返しパターンを検出して、画像間補間部１１８が画像間補間信号を前、後、前後のいずれから生成すべきかを判定する。減算器１２０は、画像内補間信号と画像間補間信号との差分信号を生成する。この差分信号より相関の程度を示すマッチング信号を生成する。マッチング信号に応じて、乗算器１２１，１２２にて乗算する係数を可変する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、インターレース信号をプログレッシブ信号に変換する順次走査変換装置、順次走査変換方法、及び、インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるための順次走査変換プログラムに係り、特に、テレシネ変換によって得られたインターレース信号及びテレシネ変換ではない一般画像のインターレース信号をより高画質にプログレッシブ信号に変換することができる順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムに関する。
【０００２】
【従来の技術】
ＮＴＳＣやハイビジョン等の標準的なテレビジョン信号は、図１３（Ａ）に示すようなインターレース信号である。なお、図１３において、Ｖは垂直方向、ｔは時間方向である。インターレース方式は、奇数ラインと偶数ラインの２回の走査で１回の画面（フレーム）表示を行う方式である。また、図１３（Ｂ）に示すような走査線構造にずれがないものはプログレッシブ信号と呼ばれる。プログレッシブ方式は、１回の走査で１回の画面表示を行う方式である。プログレッシブ信号は、ノンインターレース信号または順次走査信号とも呼ばれる。
【０００３】
図１３（Ｃ）に示すように、図１３（Ａ）に示すインターレース信号で欠落している信号（走査線）を補間することにより、プログレッシブ信号に変換するのが順次走査変換である。なお、図１３において、○は原信号で存在している走査線の信号（画素）であり、△は補間された走査線の信号（画素）である。
【０００４】
ところで、映画等のフィルム信号は、２４フレーム／秒であり、この２４フレーム／秒のフィルム信号を６０フィールド／秒のインターレース信号に変換するテレシネ変換と呼ばれる変換方法がある。テレシネ変換では、フィルム信号の１フレームを２フィールドまたは３フィールドに振り分けるので、この変換方法は２−３プルダウンと呼ばれる。
【０００５】
図１４は、テレシネ変換（２−３プルダウン）を示している。図１４（Ａ）は２４フレーム／秒のフィルム信号、図１４（Ｂ）は図１４（Ａ）のフィルム信号から６０フィールド／秒のインターレース信号に変換した信号を示している。図１４（Ａ）と図１４（Ｂ）とを比較すれば分かるように、フィルム信号のフレームＦａは、インターレース信号のフィールドＩａ１とＩａ２に振り分けられ、フレームＦｂは、フィールドＩｂ１とＩｂ２とＩｂ１に振り分けられる。
【０００６】
フレームＦｃは、フィールドＩｃ２とＩｃ１に振り分けられ、フレームＦｄは、フィールドＩｄ２とＩｄ１とＩｄ２に振り分けられる。このように、テレシネ変換は２−３−２−３のパターンの繰り返しとなる。なお、図１４（Ｂ）のＩａ１，Ｉａ２，Ｉｂ１，Ｉｂ２…の添字１，２はそれぞれ第１フィールド，第２フィールドを示している。
【０００７】
図１４（Ｃ）は、図１４（Ｂ）のインターレース信号を６０フレーム／秒のプログレッシブ信号に変換した信号を示している。フィールドＩａ１，Ｉａ２はプログレッシブ信号のフレームＰａ，Ｐａに、フィールドＩｂ１，Ｉｂ２，Ｉｂ１はフレームＰｂ，Ｐｂ，Ｐｂに、フィールドＩｃ２，Ｉｃ１はフレームＰｃ，Ｐｃに、フィールドＩｄ２，Ｉｄ１，Ｉｄ２はフレームＰｄ，Ｐｄ，Ｐｄに変換される。図１４（Ｃ）に示すプログレッシブ信号のフィールド位相は、０，１，２，３，４の５種類であり、このプログレッシブ信号は５フィールド周期の信号である。フィールド位相３のフィールドを挟むフィールド位相２と４のフィールドは、互いに同一画像のフィールドである。
【０００８】
図１４（Ｂ）のインターレース信号をプログレッシブ信号に変換するに際して、５フィールド周期で同一画像のフィールドが存在するテレシネパターンが検出できれば、画像の静止、動きに関係なく、走査線を補間することができる。図１５は、テレシネ変換によるインターレース信号の補間方法を示す図である。図１５において、フィルム画像１，２は、図１４（Ａ）に示すようなフィルム信号における同じフレームであることを示している。図１５において、フィールド位相０，１のフィールドは、フィルム画像１の１フレームから振り分けられており、フィールド位相２，３，４のフィールドはフィルム画像２の１フレームから振り分けられている。
【０００９】
フィールド位相が１，３，４の場合、前フィールドの走査線を補間走査線とし、フィールド位相が０，２の場合、後フィールドの走査線を補間走査線とすることにより、プログレッシブ信号に変換することができる。但し、フィールド位相３の場合、後フィールドの走査線を補間走査線としてもよいし、前後フィールドの平均を補間走査線としてもよい。
【００１０】
このように、テレシネパターンを検出することによりプログレッシブ信号に変換する走査線補間装置は、一例として、特開平３−２５０８８１号公報（特許文献１）に記載されている。
【００１１】
一方、テレシネ変換により得られたものではない一般画像のインターレース信号は、以上の変換方法とは異なる方法でプログレッシブ信号に変換することができる。図１６は、一般画像のインターレース信号のプログレッシブ信号への変換方法を示している。画像が大きく動いている部分では、図１６（Ａ）に示すように、△にて示す欠落信号を、その補間すべき欠落信号と同一時間軸上の画像内に位置する上下の走査線から補間する（画像内補間）。画像が静止している部分では、図１６（Ｂ）に示すように、補間すべき欠落信号の前フィールドから補間する（画像間補間）。これらの両者の中間の画像では、画像内補間信号と画像間補間信号を画素毎に適応的に混合することによって補間信号を生成する。
【００１２】
また、一般画像で動きのある部分において、上下の走査線から補間すると、垂直方向の周波数帯域が１／２以下になってしまい、垂直解像度が低下してしまう。そこで、一般画像で動きのある部分の垂直解像度の低下を軽減する方式として、動き補償を用いた補間による順次走査変換方式がある。この動き補償を用いた順次走査変換では、図１７に示すように、３フィールドから欠落信号を補間することにより、プログレッシブ信号に変換する。図１７において，（Ａ）はインターレース信号であり、（Ｂ）は動き補償型順次走査変換により得たプログレッシブ信号である。
【００１３】
図１６（Ｃ）は、補間する信号（△にて示す欠落信号）の前後のフィールドから動き補償を用いて補間する画像間補間を示している。この場合、補間する信号を中心に空間的な移動方向は水平・垂直共に正負が逆になる。動き補償を用いた順次走査変換では、図１６（Ａ）に示す画像内補間信号と図１６（Ｃ）に示す動き補償による画像間補間信号とを画素毎に適応的に混合することによって補間信号を生成する（特許第２８３２９２７号公報（特許文献２）参照）。
【００１４】
この動き補償を用いた順次走査変換では、テレシネ変換によるインターレース信号に対しては理想的なプログレッシブ信号を得ることができない。そこで、テレシネパターンを検出することによりプログレッシブ信号に変換する順次走査変換と動き補償を用いた順次走査変換とを組み合わせ、テレシネ変換によるインターレース信号では前者を用い、一般画像のインターレース信号では後者を用いることにより、それぞれの画像に適した走査変換を行うことができる。
【００１５】
【特許文献１】
特開平３−２５０８８１号公報
【特許文献２】
特許第２８３２９２７号公報
【００１６】
【発明が解決しようとする課題】
上述した従来の順次走査変換装置においては、テレシネ変換による画像（テレシネ画像）と一般画像との切り替わり時に、数フィールドの区間で一般画像をテレシネ画像と誤検出してしまう。この場合、時間の異なるフィールドの走査線を補間走査線することにより誤補間となり、変換されたプログレッシブ信号は画像が二重像になる等、著しい画質劣化を生じる。
【００１７】
また、フィルム画像がテレシネ変換によりインターレース信号に変換された後に編集された場合、編集点の前後ではフィールド位相のずれによる５フィールドの繰り返しパターンが崩れてしまう。この場合も同様に、フィールド位相の誤検出が発生して、画質劣化を生じることとなる。
【００１８】
図１８は、テレシネ画像から一般画像への切り替わり時におけるテレシネ検出の誤検出、誤補間が発生する一例を示している。図１８（Ａ）に示すインターレース信号において、同一時刻の画像（同じフィルム信号のフレームからの画像）には同じアルファベットを付している。即ち、フィールドａ１とａ２は同一時刻のフィルム画像がテレシネ変換により、振り分けられたものである。フィールドｂ１とｂ２とｂ３は、同一時刻のフィルム画像から振り分けられたものである。フィールドｃ１とｃ２、フィールドｄ１とｄ２とｄ３も同様である。
【００１９】
図１８（Ａ）のフィールドａ１以前を含め、フィールドｄ３までがテレシネ画像であり、フィールドｅからフィールドｊまでが一般画像である。テレシネ画像では、５フィールド周期でフィールドの繰り返しが出現しているものとする。
【００２０】
図１８（Ｂ）は、図１８（Ａ）に示すインターレース信号からプログレッシブ信号に変換した信号である。テレシネパターンの検出（テレシネ検出）によりフィールドｄ３までは５フィールド周期でフィールドの繰り返しを観測し、正常にテレシネ画像と検出することができる。しかしながら、フィールドｅ以降の一般画像では、フィールドｇとフィールドｉを比較して、繰り返しでないと判定するまで、一般画像をテレシネ画像と誤検出してしまう。この例では、フィールドｅ〜ｇが実際には一般画像であるのにテレシネ画像と誤検出される。よって、この誤検出の区間では、プログレッシブ信号は誤補間となる。
【００２１】
図１９は、フィルム画像がテレシネ変換によりインターレースに変換された後に編集された場合に、テレシネ検出で誤検出、誤補間が発生する一例を示している。図１８と同様、同じフィルム信号のフレームからの画像には同じアルファベットを付している。この図１９の例では、（Ａ）に示すインターレース信号は、フィールドｐ１以前からフィールドｖ３の全てがテレシネ画像であるが、フィールドｑ３以前の画像部分とフィールドｒ１以降の画像部分とが編集によりつなぎ合わされており、フィールドｑ３とフィールドｒ１の間に編集点が存在する。フィールドｐ１以前には編集点が存在せず、５フィールド周期でフィールドの繰り返しが出現しているものとする。
【００２２】
この図１９の場合、フィールドｑ３までは５フィールド周期でフィールドの繰り返しを検出し、正常にテレシネ画像と判定してフィールド位相を得ることができる。フィールドｒ１以降も、フィールドｓ２とフィールドｔ２を比較して、繰り返しでないと検出するまで、テレシネ画像と判定する。ところが、フィールドｑ３とフィールドｒ１の間に編集点が存在するので、フィールド位相が誤検出されてしまう。
【００２３】
この例では、フィールドｒ１のフィールド位相が実際には４であるのに０と誤検出され、実際には画像の異なるフィールドｓ１を補間走査線とすることで誤補間が発生する。同様に、フィールドｓ１のフィールド位相が実際には０であるのに１と誤検出され、実際には画像の異なるフィールドｒ１を補間走査線とすることで誤補間が発生する。フィールドｓ２のフィールド位相が実際には１であるのに２と誤検出され、実際には画像の異なるフィールドｔ１を補間走査線とすることで誤補間が発生する。図１９（Ｂ）に示すように、フィールドｒ１〜ｓ２の誤検出の区間で、プログレッシブ信号は誤補間となる。
【００２４】
本発明はこのような問題点に鑑みなされたものであり、インターレース信号をプログレッシブ信号に変換するに際し、テレシネ検出による誤検出が発生した場合でも、変換されたプログレッシブ信号における画質劣化を低減することができる順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムを提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明は、上述した従来の技術の課題を解決するため、以下の順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムを提供する。
（ａ）インターレース信号をプログレッシブ信号に変換する順次走査変換装置において、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間部（１１９）と、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間部（１１８）と、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出部（１０４）と、前記画像繰り返し検出部の検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定部（１０５）と、前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成部（１２０）と、前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成部（１２６，１２７）と、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成部（１２３）と、前記マッチング信号に応じて、前記補間信号生成部における前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御部（１２１，１２２）とを備えて構成したことを特徴とする順次走査変換装置。
（ｂ）インターレース信号をプログレッシブ信号に変換する順次走査変換方法において、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定ステップと、前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成ステップと、前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、前記マッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換方法。
（ｃ）インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるための順次走査変換プログラムにおいて、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定ステップと、前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成ステップと、前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、前記マッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換プログラム。
（ｄ）インターレース信号をプログレッシブ信号に変換する順次走査変換装置において、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間部（２１９）と、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間部（２１８）と、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出部（２０６）と、前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出部によって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償部（２１４）と、前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出部によって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償部（２１３）と、前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出部（２０４）と、前記画像繰り返し検出部の検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定部（２０５）と、前記参照画像決定部による決定結果に従って、前記順方向動き補償部に供給する順方向動き補償用参照画像と前記逆方向動き補償部に供給する逆方向動き補償用参照画像とを切り替える切り替え部（２１１，２１２）と、前記順方向動き補償部より出力された順方向動き補償信号と前記逆方向動き補償部より出力された逆方向動き補償信号の差分信号を生成する第１の差分信号生成部（２１５）と、前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成部（２２４）と、前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成部（２２０）と、前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成部（２２６，２２７）と、前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成部（２２５）と、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成部（２２３）と、前記第３のマッチング信号に応じて、前記補間信号生成部における前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御部（２２１，２２２）とを備えて構成したことを特徴とする順次走査変換装置。
（ｅ）インターレース信号をプログレッシブ信号に変換する順次走査変換方法において、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出ステップと、前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償ステップと、前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償ステップと、前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定ステップと、前記参照画像決定ステップによる決定結果に従って、前記順方向動き補償ステップで用いる順方向動き補償用参照画像と前記逆方向動き補償ステップで用いる逆方向動き補償用参照画像とを切り替える切り替えステップと、前記順方向動き補償ステップにより得られた順方向動き補償信号と前記逆方向動き補償ステップにより得られた逆方向動き補償信号の差分信号を生成する第１の差分信号生成ステップと、前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成ステップと、前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成ステップと、前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、前記第３のマッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換方法。
（ｆ）インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるための順次走査変換プログラムにおいて、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出ステップと、前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償ステップと、前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償ステップと、前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定ステップと、前記参照画像決定ステップによる決定結果に従って、前記順方向動き補償ステップで用いる順方向動き補償用参照画像と前記逆方向動き補償ステップで用いる逆方向動き補償用参照画像とを切り替える切り替えステップと、前記順方向動き補償ステップにより得られた順方向動き補償信号と前記逆方向動き補償ステップにより得られた逆方向動き補償信号の差分信号を生成する第１の差分信号生成ステップと、前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成ステップと、前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成ステップと、前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、前記第３のマッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換プログラム。
【００２６】
【発明の実施の形態】
以下、本発明の順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムについて、添付図面を参照して説明する。図１は本発明の順次走査変換装置の第１実施形態を示すブロック図、図２は本発明の順次走査変換方法及び順次走査変換プログラムの第１実施形態を示すフローチャート、図３は図２のステップＳ１０１及び図１０のステップＳ２０１の具体例を示すフローチャート、図４は図２のステップＳ１０２の具体例を示すフローチャート、図５は図２のステップＳ１０９の具体例を示すフローチャート、図６及び図７は図１中の画像間補間モード判定部１０５及び図９中の参照画像決定部２０５が備えるインデックス更新テーブルを示す図、図８は図１中の画像間補間モード判定部１０５が備える画像間補間モードテーブルを示す図、図９は本発明の順次走査変換装置の第２実施形態を示すブロック図、図１０は本発明の順次走査変換方法及び順次走査変換プログラムの第２実施形態を示すフローチャート、図１１は図１０のステップＳ２０２の具体例を示すフローチャート、図１２は図９中の参照画像決定部２０５が備える参照画像選択テーブルを示す図である。
【００２７】
＜第１実施形態＞
図１において、入力端子１０１に入力されたインターレース信号は、フィールド遅延部１０２，画像繰り返し検出部１０４，スイッチ１０７及び１１１に供給される。フィールド遅延部１０２は、入力されたインターレース信号を１フィールド遅延してフィールド遅延部１０３及び画像内補間部１１９に供給する。フィールド遅延部１０２の出力は、補間（走査線変換）の対象である現フィールドであり、フィールド遅延部１０３の出力は、現フィールドより１フィールド前の前フィールドであり、入力端子１０１に入力されたインターレース信号は、現フィールドより１フィールド後の後フィールドである。
【００２８】
画像繰り返し検出部１０４は、入力された前フィールドと後フィールドを比較し、同じ画像が繰り返されているかどうかを検出する（図２のステップＳ１０１）。このステップＳ１０１の詳細な手順の一例を図３に示す。図３において、ステップＳ１０１１にて、前後フィールドの画素の差分を算出する。次に、ステップＳ１０１２にて、画素差分の絶対値を算出する。ステップＳ１０１３にて、絶対値差分が予め設定したしきい値よりも小さいか否かを判定する。絶対値差分がしきい値よりも大きい場合、前フィールドと後フィールドの画像が異なるということであり、ステップＳ１０１６にて、同じ画像が繰り返されていないと判定し、検出処理を終了する。
【００２９】
ステップＳ１０１３にて絶対値差分がしきい値以下であれば、ステップＳ１０１４にて、全ての画素における差分算出が完了したか否かを判定する。全ての画素での差分算出が完了していなければステップＳ１０１１に戻り、上記のステップを繰り返す。全ての画素での差分算出が完了していれば、ステップＳ１０１５にて、同じ画像が繰り返されていると判定し、検出処理を終了する。なお、しきい値は、前後フィールドに含まれると想定されるノイズのレベルに応じて設定する。
【００３０】
図１に戻り、画像繰り返し検出部１０４で検出された繰り返し画像か否かの検出結果は、画像間補間モード判定部１０５に供給される。画像間補間モード判定部１０５は、画像繰り返し検出部１０４から供給された検出結果を基にして、画像間補間を行う際に動き補償を行うべきか否かを判定すると共に、画像間補間を前フィールドから順方向に行うべきか、後フィールドから逆方向に行うべきか、前後フィールドから両方向に行うべきかを判定する（図２のステップＳ１０２）。
【００３１】
画像間補間モード判定部１０５によって画像間補間モードを判定するのは、インターレース信号がテレシネ変換されたテレシネ画像であるか、テレシネ変換されていない一般画像であるかにより、画像間の補間方法を切り替えるためである。即ち、テレシネ変換されていないインターレース信号では、空間的に移動する前フィールドと後フィールドは補間する信号を中心に時間が前後するので、図１６（Ｃ）で説明したように、補間する信号を中心に空間的な移動方向を逆にした動き補償を用いて前後フィールドの平均値を補間信号とすることにより、画像間補間信号を得ることができる。一方、テレシネ変換されたインターレース信号では、前フィールドまたは後フィールドの走査線を補間走査線とすべきである。
【００３２】
ここで、画像間補間モード判定部１０５における画像間補間モード判定処理手順の一例を、図４に示すフローチャート及び図６〜図８に示すテーブルを用いて説明する。画像間補間モード判定部１０５は、図６に示す繰り返し用インデックス更新テーブルと、図７に示す非繰り返し用インデックス更新テーブルと、図８に示す画像間補間モードテーブルとを備える。
【００３３】
図４において、ステップＳ１０２１にて、同じ画像の繰り返しであるか否かを判定する。同じ画像の繰り返しであると判定されると、ステップＳ１０２２にて、図６に示す繰り返し用インデックス更新テーブル（インデックスメモリ）に保持されているインデックス（入力）を参照し、ステップＳ１０２４にて、インデックス（出力）へと更新する。図６の例では、インデックスメモリの値が初期値０のとき繰り返しであると判定されると、インデックスメモリの値は１へと更新される。インデックスメモリの値が１〜４であれば１へと更新され、５であれば６、…、９であれば１０、１０であれば６と更新される。
【００３４】
ステップＳ１０２１にて、同じ画像の繰り返しではないと判定されると、ステップＳ１０２３にて、図７に示す非繰り返し用インデックス更新テーブル（インデックスメモリ）に保持されているインデックス（入力）を参照し、ステップＳ１０２４にて、インデックス（出力）へと更新する。図７の例では、インデックスメモリの値が初期値０のとき繰り返しではないと判定されると、インデックスメモリの値は０のままとされる。インデックスメモリの値が１であれば２へと更新され、２であれば３、…、５であれば０、…、９であれば１０、１０であれば０と更新される。
【００３５】
そして、ステップＳ１０２５にて、図８に示す画像間補間モードテーブルを参照して、画像間補間モードを決定して終了する。図８におけるインデックス（入力）は、図６または図７におけるインデックス（出力）に相当する。図８に示すように、インデックスが０の場合、テレシネ画像でない一般画像であり、動き補償を行って前後フィールドから両方向の補間を行う。
【００３６】
インデックスが６〜１０の場合、テレシネ画像であり、動き補償を行わず、インデックスの値に応じて、前フィールドからの順方向補間、後フィールドからの逆方向補間、前後フィールドからの両方向補間のいずれかを行う。但し、インデックスが６の場合、前後フィールドの画像は同じであるので、前フィールドからの順方向補間、後フィールドからの逆方向補間としてもよい。また、前後フィールドの画像が同じであるので、動きベクトル検出の結果は、静止の動きベクトル（水平、垂直共に動きが０）となるので、動き補償を用いた前後フィールドからの両方向補間としてもよい。
【００３７】
インデックスが１〜５の場合、一般画像からテレシネ画像へと切り替わる過渡状態である可能性がある。この場合も、一般画像と同様に、動き補償を行って前後フィールドから両方向の補間を行う。
【００３８】
画像間補間モード判定部１０５は、以上のようにして得られた画像間補間モードを基にして、スイッチ１０７，１０８，１１０〜１１２，１１６，１１７，１２８，１２９それぞれのオン・オフまたは選択を制御する。図１に示すスイッチ１０７，１０８，１１０〜１１２，１１６，１１７，１２８，１２９それぞれのオン・オフまたは選択の状態は、画像間補間モード判定部１０５が、画像間補間モードとして、図８に示す非動き補償・順方向補間と判定した場合を示している。
【００３９】
図１に戻り、スイッチ１０７，１０８は、動きベクトル検出部１０６を機能させるか否かを制御するためのものである。画像間補間モード判定部１０５によって動き補償補間モード（図８の動き補償・両方向補間）と判定されると（図２のステップＳ１０３でＹＥＳ）、スイッチ１０７，１０８は共にオンとなる。すると、動きベクトル検出部１０６には、入力端子１０１に入力されたインターレース信号（後フィールド）とフィールド遅延部１０３より出力されたインターレース信号（前フィールド）とが供給される。このとき、スイッチ１１０は、動きベクトル検出部１０６の出力を選択する。
【００４０】
動きベクトル検出部１０６は、入力された前フィールドと後フィールドとを基にして動きベクトルを検出する（図２のステップＳ１０４）。具体的には、動きベクトル検出部１０６は、予め設定した８×８画素等のブロック単位で前フィールドを順方向の参照画像、後フィールドを逆方向の参照画像として、動き補償することにより、動きベクトルを検出する。例えば、まず、予め設定されている動きベクトルの探索範囲内で仮の動きベクトルを順次発生させる。その仮の動きベクトルに従って、前フィールドと後フィールドを空間的に移動させることにより動き補償を行う。そして、前後フィールド画素間の差分の絶対値を予め設定されているブロック内で加算し、マッチングの程度を示すマッチング値を得る。
【００４１】
ここで、空間的に移動する前フィールドと後フィールドは補間する信号を中心に時間が前後するので、図１６（Ｃ）に示すように補間する信号を中心に空間的な移動方向を水平、垂直共に正負を逆にする。さらに、仮の動きベクトル毎に算出されたマッチング値を比較し、最もマッチングの程度がよい、即ち、マッチング値が最小となる仮の動きベクトルを選択し、そのブロックの最終的な動きベクトルとする。
【００４２】
動きベクトル検出部１０６によって検出された動きベクトルは、スイッチ１１０を介して、逆方向動き補償部１１３及び順方向動き補償部１１４に供給される。
【００４３】
一方、静止動きベクトル発生部１０９は、静止の動きベクトル（水平、垂直共に動きが０）を発生する。画像間補間モード判定部１０５によって非動き補償補間モード（図８の非動き補償・順方向補間、逆方向補間、両方向補間）と判定されると（図２のステップＳ１０３でＮＯ）、スイッチ１０７，１０８は共にオフとなる。よって、動きベクトル検出部１０６は機能しない。このとき、スイッチ１１０は図１に示すように静止動きベクトル発生部１０９の出力を選択しており、静止動きベクトル発生部１０９で発生した静止の動きベクトルは、逆方向動き補償部１１３及び順方向動き補償部１１４に供給される。
【００４４】
スイッチ１１１は、逆方向動き補償部１１３を機能させるか否かを制御するためのものであり、スイッチ１１２は、順方向動き補償部１１４を機能させるか否かを制御するためのものである。スイッチ１１１，１１２は、また、画像間補間部１１８の補間方法を制御するためのものでもある。
【００４５】
画像間補間モード判定部１０５によって順方向または両方向補間モードと判定されると（図２のステップＳ１０５）、画像間補間モード判定部１０５はスイッチ１１２をオンとする。すると、順方向動き補償部１１４には前フィールドの信号であるフィールド遅延部１０３の出力が供給される。順方向動き補償部１１４は、スイッチ１１０にて動きベクトル検出部１０６または静止の動きベクトル発生部１０９から供給される動きベクトルに従って、前フィールド信号を空間的に移動させることにより、順方向動き補償を行い、順方向動き補償信号を生成して出力する（図２のステップＳ１０６）。なお、非動き補償モードの場合、静止動きベクトル発生部１０９から供給される静止の動きベクトルを基にしての動き補償であるので、動き補償を行わないことと等価であり、ここで得られる順方向動き補償信号は前フィールドと同じとなる。
【００４６】
一方、画像間補間モード判定部１０５によって逆方向または両方向補間モードと判定されると（図２のステップＳ１０７）、画像間補間モード判定部１０５はスイッチ１１１をオンとする。すると、逆方向動き補償部１１３には後フィールドの信号である入力端子１０１に入力されたインターレース信号が供給される。逆方向動き補償部１１３は、スイッチ１１０にて動きベクトル検出部１０６または静止動きベクトル発生部１０９から供給される動きベクトルに従って、後フィールド信号を空間的に移動させることにより、逆方向動き補償を行い、逆方向動き補償信号を生成して出力する（図２のステップＳ１０８）。
【００４７】
但し、前述と同様、空間的に移動する前フィールドと後フィールドは補間する信号を中心に時間が前後するので、順方向動き補償部１１４と逆方向動き補償部１１３とでは、図１６（Ｃ）に示すように補間する信号を中心に空間的な移動方向を水平、垂直共に正負を逆にする。なお、非動き補償モードの場合、静止動きベクトル発生部１０９から供給される静止の動きベクトルを基にしての動き補償であるので、動き補償を行わないことと等価であり、ここで得られる逆方向動き補償信号は後フィールドと同じとなる。
【００４８】
逆方向動き補償部１１３より出力された逆方向動き補償信号と、順方向動き補償部１１４より出力された順方向動き補償信号は、画像間補間部１１８に供給される。画像間補間部１１８は、画像間の補間を行う（図２のステップＳ１０９）。
【００４９】
画像間補間部１１８における画像間補間の処理手順の一例を図５に示すフローチャートを用いて説明する。図５において、ステップＳ１０９１にて、画像間補間モード判定部１０５で順方向補間モードと判定されたか否か判定する。順方向補間モードと判定された場合には、スイッチ１１１がオフ、スイッチ１１２がオンとなり、画像間補間部１１８は、ステップＳ１０９３にて、順方向動き補償部１１４から供給される順方向動き補償信号を画像間補間信号とする。
【００５０】
ステップＳ１０９１にて順方向補間モードではないと判定された場合、ステップＳ１０９２にて、逆方向補間モードと判定されたか否か判定する。逆方向補間モードと判定された場合には、スイッチ１１１がオン、スイッチ１１２がオフとなり、画像間補間部１１８は、ステップＳ１０９４にて、逆方向動き補償部１１３から供給される逆方向動き補償信号を画像間補間信号とする。
【００５１】
ステップＳ１０９２にて逆方向補間モードではないと判定された場合（即ち、順方向補間モードでも逆方向補間モードでもない場合）、スイッチ１１１，１１２が共にオンとなり、画像間補間部１１８は、ステップＳ１０９５にて、順方向動き補償部１１４から供給される順方向動き補償信号と逆方向動き補償部１１３から供給される逆方向動き補償信号を加算し、１／２倍して画像間補間信号とする。
【００５２】
ここで、画像間補間モード判定部１０５によって非動き補償・順方向補間モードと判定された場合には、順方向動き補償信号は前フィールドと同じであるので、得られる画像間補間信号は前フィールドと同じである。画像間補間モード判定部１０５によって非動き補償・逆方向補間モードと判定された場合には、逆方向動き補償信号は後フィールドと同じであるので、得られる画像間補間信号は後フィールドと同じである。このようにして得られた画像間補間信号は、減算器１２０及び乗算器１２１に供給される。
【００５３】
図１に戻り、スイッチ１１６，１１７は、減算器１１５と絶対値化部１２４と加算器１２５を機能させるか否かを制御するためのものである。画像間補間モード判定部１０５によって動き補償補間モードと判定されると（図２のステップＳ１１０）、画像間補間モード判定部１０５はスイッチ１１６，１１７を共にオンとし、減算器１１５は、順方向動き補償信号と逆方向動き補償信号の差分信号を算出する（図２のステップＳ１１１）。この差分信号は絶対値化部１２４に供給され、絶対値化部１２４は入力された差分信号の絶対値を算出する（図２のステップＳ１１２）。
【００５４】
この差分信号の絶対値は、前フィールドと後フィールドとの相関の程度を示す前後画像間マッチング信号である。絶対値化部１２４より出力された前後画像間マッチング信号は、加算器１２５に供給される。
【００５５】
画像内補間部１１９には、フィールド遅延部１０２の出力である現フィールドの信号が入力される。画像内補間部１１９は、図１６（Ａ）で説明したように、補間する信号（画素）の上下に位置する走査線の信号（画素）を加算し、それを１／２倍して画像内補間信号を生成する（図２のステップＳ１１３）。この画像内補間信号は、減算器１２０及び乗算器１２２に供給される。減算器１２０は、画像間補間部１１８より出力された画像間補間信号と画像内補間部１１９より出力された画像内補間信号との差分信号を算出する（図２のステップＳ１１４）。
【００５６】
減算器１２０より出力された差分信号は、垂直ローパスフィルタ（垂直ＬＰＦ）１２６に供給される。垂直ＬＰＦ１２６は、入力された差分信号垂直方向の高域成分を抑圧し、低域差信号を生成する（図２のステップＳ１１５）。この低域差信号は絶対値化部１２７に入力されて絶対値化され、画像間補間信号と画像内補間信号との相関の程度を示すマッチング信号として出力される（図２のステップＳ１１６）。
【００５７】
画像間補間モード判定部１０５によって動き補償補間モードであると判定されると（図２のステップＳ１１７でＹＥＳ）、スイッチ１２８，１２９は画像間補間モード判定部１０５の制御によって図１とは逆の接続状態となり、非動き補償補間モードであると判定されると（図２のステップＳ１１７でＮＯ）、スイッチ１２８，１２９は画像間補間モード判定部１０５の制御によって図１に示す接続状態となる。従って、絶対値化部１２７より出力されたマッチング信号は、動き補償補間モードの場合には、スイッチ１２８を介して加算器１２５に供給され、非動き補償補間モードの場合には、スイッチ１２８，１２９を介して空間ＬＰＦ１３０に供給される。
【００５８】
動き補償補間モードの場合、加算器１２５は、絶対値化部１２４より出力された前後画像間マッチング信号と、絶対値化部１２７より出力された画像間補間信号と画像内補間信号の間のマッチング信号とを加算する（図２のステップＳ１１８）。この加算されたマッチング信号は、スイッチ１２９を介して空間ＬＰＦ１３０に供給される。空間ＬＰＦ１３０は、入力されたマッチング信号に空間ＬＰＦをかけることによってマッチング信号をスムージングする（図２のステップＳ１１９）。
【００５９】
非動き補償補間モードの場合には、絶対値化部１２７より出力された画像間補間信号と画像内補間信号の間のマッチング信号のみが空間ＬＰＦ１３０に供給され、マッチング信号に空間ＬＰＦがかけられる（図２のステップＳ１１９）。
【００６０】
空間ＬＰＦ１３０の出力は、非線形変換部１３１に供給される。非線形変換部１３１は、空間ＬＰＦ１３０の出力を非線形変換してマッチングの程度を示す係数Ｋを生成する（図２のステップＳ１２０）。非線形変換の特性は、空間ＬＰＦ１３０の出力がノイズレベル以下のとき０、明らかに画像間補間より画像内補間の方が適当なレベル以上を１とし、その間は線形に変換する。この係数Ｋは、乗算器１２１，１２２に供給される。乗算器１２１は、画像間補間部１１８より出力された画像間補間信号に係数（１−Ｋ）を乗じ（図２のステップＳ１２１）、乗算器１２２は、画像内補間部１１９より出力された画像内補間信号に係数Ｋを乗じる（図２のステップＳ１２２）。
【００６１】
乗算器１２１，１２２それぞれより出力された乗算結果は、加算器１２３に供給される。加算器１２３は、入力されたそれぞれの乗算結果を加算することにより、補間信号を生成する（図２のステップＳ１２３）。加算器１２３より出力された補間信号は、画像間補間信号と画像内補間信号がマッチングの程度により重み付けされて混合されたものである。この補間信号は、倍速変換部１３２に供給される。倍速変換部１３２は、フィールド遅延部１０２より出力された現フィールドの信号と加算器１２３より出力された補間信号とを水平ライン単位で、その入力信号の２倍の速度で交互に読み出すことによってプログレッシブ信号に変換する（図２のステップＳ１２４）。このプログレッシブ信号は、出力端子１３３より出力される。
【００６２】
以上説明した第１実施形態では、図１８で説明したような、テレシネ画像から一般画像への切り替わり時におけるテレシネ検出の誤検出が発生した場合や、図１９で説明したような、フィルム画像がテレシネ変換によりインターレースに変換された後に編集されて編集点が存在するとき、テレシネ検出の誤検出が発生した場合には、画像間補間信号と画像内補間信号の間のマッチング信号が大きくなるので、マッチングの程度を示す係数Ｋが大きくなり、画面内補間信号の混合比率が大きくなる。従って、倍速変換部１３２より得られるプログレッシブ信号の画像が二重像になる等の著しい画質劣化を抑制することができる。
【００６３】
＜第２実施形態＞
図９において、入力端子２０１に入力されたインターレース信号は、フィールド遅延部２０２，画像繰り返し検出部２０４，スイッチ２１１及び２１２に供給される。フィールド遅延部２０２は、入力されたインターレース信号を１フィールド遅延してフィールド遅延部２０３及び画像内補間部２１９に供給する。フィールド遅延部２０３は、入力されたインターレース信号を１フィールド遅延して画像繰り返し検出部２０４とスイッチ２１１及び２１２に供給する。
【００６４】
フィールド遅延部２０２の出力は、補間（走査線変換）の対象である現フィールドであり、フィールド遅延部２０３の出力は、現フィールドより１フィールド前の前フィールドであり、入力端子２０１に入力されたインターレース信号は、現フィールドより１フィールド後の後フィールドである。
【００６５】
画像繰り返し検出部２０４は、入力された前フィールドと後フィールドを比較し、同じ画像が繰り返されているかどうかを検出する（図１０のステップＳ２０１）。このステップＳ２０１の詳細な手順の一例は、図３で説明したのと同じである。画像繰り返し検出部２０４で検出された繰り返し画像か否かの検出結果は、参照画像決定部２０５に供給される。
【００６６】
参照画像決定部２０５は、画像繰り返し検出部２０４より供給された検出結果を用いて、画像間補間における動き補償の際の参照画像を決定する（図１０のステップＳ２０２）。参照画像決定部２０５は、図６に示す繰り返し用インデックス更新テーブルと、図７に示す非繰り返し用インデックス更新テーブルと、図１２示す参照画像選択テーブルとを備える。
【００６７】
この参照画像決定処理手順の一例を図１１に示すフローチャートを用いて説明する。図１１において、ステップＳ２０２１にて、同じ画像の繰り返しであるか否か判定する。同じ画像の繰り返しであれば、ステップＳ２０２２にて、インデックスメモリに保持されているインデックスを入力として、図６の繰り返し用インデックス更新テーブルを参照する。同じ画像の繰り返しでなければ、ステップＳ２０２３にて、図７の非繰り返し用インデックス更新テーブルを参照する。
【００６８】
そして、ステップＳ２０２４にて、インデックスメモリに保持されているインデックスをそれぞれのテーブルを参照することによって得られた新しいインデックスに更新する。次に、ステップＳ２０２５にて、新しいインデックスを入力として、図１２示す参照画像選択テーブルを参照することによって、順方向動き補償及び逆方向動き補償の参照画像を決定する。
【００６９】
図１２示すように、インデックスが０の場合は、テレシネ画像でない一般画像であり、順方向動き補償の参照画像として前フィールド、逆方向動き補償の参照画像として後フィールドを選択する。インデックスが６〜１０の場合は、テレシネ画像である。インデックスが６の場合には、順方向動き補償の参照画像として前フィールド、逆方向動き補償の参照画像をとして後フィールドを選択し、インデックスが７，９の場合には、順方向動き補償と逆方向動き補償共に参照画像として前フィールドを選択し、インデックスが８，１０の場合には、順方向動き補償と逆方向動き補償共に参照画像として後フィールドを選択する。
【００７０】
但し、インデックスが６の場合、前後フィールドの画像は同じであるので、順方向動き補償と逆方向動き補償共に参照画像として前フィールドを選択してもよいし、順方向動き補償と逆方向動き補償共に参照画像として後フィールドを選択してもよい。
【００７１】
参照画像決定部２０５は、以上のようにして得られた参照画像の決定結果に基づいて、スイッチ２１１，２１２の接続状態を制御する。
【００７２】
ところで、テレシネ画像で図１２に示すインデックスが７，９の場合に、順方向動き補償と逆方向動き補償共に参照画像として前フィールドを選択し、インデックスが８，１０の場合に、順方向動き補償と逆方向動き補償共に参照画像として後フィールドを選択するのは、下記のような理由による。
【００７３】
インデックスが７のとき、図１５に示すフィールド位相は４であり、インデックスが９のとき、図１５に示すフィールド位相は１である。この場合、前フィールドの走査線を補間走査線とすることによって補間を行うことができる。順方向動き補償と逆方向動き補償共に参照画像として前フィールドを選択すると、順方向の参照画像、逆方向の参照画像が共に同じ画像となるので、水平、垂直共に０の位置が最も相関が高くなる。よって、動きベクトル検出部２０６は、静止の動きベクトルを検出して出力する。動きベクトル検出部２０６にて検出された動きベクトルは、順方向動き補償部２１３及び逆方向動き補償部２１４に供給される。
【００７４】
順方向動き補償部２１３と逆方向動き補償部２１４は、それぞれ、静止の動きベクトルを用いて動き補償を行う。順方向動き補償部２１３と逆方向動き補償部２１４の出力は、画像間補間部２１８に供給される。画像間補間部２１８は、順方向動き補償部２１３と逆方向動き補償部２１４の出力を加算し、１／２倍して画像補間信号を生成する。この画像補間信号は、前フィールドの走査線を補間走査線とすることと同じである。
【００７５】
図１２に示すインデックスが８の場合、図１５に示すフィールド位相は０であり、インデックスが１０の場合、フィールド位相は２である。この場合、後フィールドの走査線を補間走査線とすることで適切な補間を行うことができる。そこで、順方向動き補償と逆方向動き補償共に参照画像として後フィールドを選択すると、順方向の参照画像、逆方向の参照画像が共に同じ画像となるので、水平、垂直共に０の位置が最も相関が高くなる。よって、動きベクトル検出部２０６は、静止の動きベクトルを検出して出力する。画像間補間部２１８により得られる画像補間信号は、後フィールドの走査線を補間走査線とすることと同じである。
【００７６】
図９に戻り、スイッチ２１１，２１２は，順方向動き補償と逆方向動き補償それぞれの参照画像を切り替えるためのものである。スイッチ２１２は、参照画像決定部２０５の制御により、順方向動き補償部２１４及び動きベクトル検出部２０６に供給する順方向動き補償用参照画像として、前フィールドの信号か後フィールドの信号かを選択する（図１０のステップＳ２０３）。スイッチ２１１は、参照画像決定部２０５の制御により、逆方向動き補償部２１３及び動きベクトル検出部２０６に供給する逆方向動き補償用参照画像として、前フィールドの信号か後フィールドの信号かを選択する（図１０のステップＳ２０４）。
【００７７】
動きベクトル検出部２０６は、スイッチ２１２を介して入力された順方向動き補償用参照画像と、スイッチ２１１を介して入力された逆方向動き補償用参照画像とを用いて、動きベクトルを検出する（図１０のステップＳ２０５）。順方向動き補償用参照画像と逆方向動き補償用参照画像とが同じ場合、動きベクトル検出部２０６にて検出される動きベクトルは、静止の動きベクトル（水平、垂直共に動きが０）となる。
【００７８】
順方向動き補償部２１４は、順方向動き補償用参照画像と動きベクトルとを用いて動き補償を行う（図１０のステップＳ２０６）。逆方向動き補償部２１３は、逆方向動き補償用参照画像と動きベクトルとを用いて動き補償を行う（図１０のステップＳ２０７）。画像間補間部２１８は、順方向動き補償部２１４から供給される順方向動き補償信号と逆方向動き補償部２１３から供給される逆方向動き補償信号を加算し、１／２倍して画像間補間信号とする（図１０のステップＳ２０８）。この画像間補間信号は、減算器２２０及び乗算器２２１に供給される。
【００７９】
減算器２１５は、順方向動き補償信号と逆方向動き補償信号の差分信号を算出する（図２のステップＳ２０９）。この差分信号は絶対値化部２２４に供給され、絶対値化部２２４は入力された差分信号の絶対値を算出する（図１０のステップＳ２１０）。この差分信号の絶対値は、前フィールドと後フィールドとの相関の程度を示す前後画像間マッチング信号である。なお、順方向動き補償用参照画像と逆方向動き補償用参照画像とが同じ場合、順方向動き補償部２１４と逆方向動き補償部２１３の出力も同じになり、前後画像間マッチング信号は０となる。絶対値化部２２４より出力された前後画像間マッチング信号は、加算器２２５に供給される。
【００８０】
画像内補間部２１９には、フィールド遅延部２０２の出力である現フィールドの信号が入力される。画像内補間部２１９は、補間する信号の上下の走査線の信号を加算し、それを１／２倍して画像内補間信号を生成する（図１０のステップＳ２１１）。この画像内補間信号は、減算器２２０及び乗算器２２２に供給される。減算器２２０は、画像間補間部２１８より出力された画像間補間信号と画像内補間部２１９より出力された画像内補間信号との差分信号を算出する（図１０のステップＳ２１２）。
【００８１】
減算器２２０より出力された差分信号は、垂直ＬＰＦ２２６に供給される。垂直ＬＰＦ２２６は、入力された差分信号垂直方向の高域成分を抑圧し、低域差信号を生成する（図１０のステップＳ２１３）。この低域差信号は絶対値化部２２７に入力されて絶対値化され、画像間補間信号と画像内補間信号との相関の程度を示すマッチング信号として出力される（図１０のステップＳ２１４）。このマッチング信号は、加算器２２５に供給される。
【００８２】
加算器２２５は、絶対値化部２２４より出力された前後画像間マッチング信号と、絶対値化部２２７より出力された画像間補間信号と画像内補間信号の間のマッチング信号とを加算する（図１０のステップＳ２１５）。この加算されたマッチング信号は、空間ＬＰＦ２３０に供給される。空間ＬＰＦ２３０は、入力されたマッチング信号に空間ＬＰＦをかけることによってマッチング信号をスムージングする（図１０のステップＳ２１６）。
【００８３】
空間ＬＰＦ２３０の出力は、非線形変換部２３１に供給される。非線形変換部２３１は、空間ＬＰＦ２３０の出力を非線形変換してマッチングの程度を示す係数Ｋを生成する（図１０のステップＳ２１７）。非線形変換の特性は、第１実施形態と同様である。この係数Ｋは、乗算器２２１，２２２に供給される。乗算器２２１は、画像間補間部２１８より出力された画像間補間信号に係数（１−Ｋ）を乗じ（図１０のステップＳ２１８）、乗算器２２２は、画像内補間部２１９より出力された画像内補間信号に係数Ｋを乗じる（図１０のステップＳ２１９）。
【００８４】
乗算器２２１，２２２それぞれより出力された乗算結果は、加算器２２３に供給される。加算器２２３は、入力されたそれぞれの乗算結果を加算することにより、補間信号を生成する（図１０のステップＳ２２０）。加算器２２３より出力された補間信号は、画像間補間信号と画像内補間信号がマッチングの程度により重み付けされて混合されたものである。
【００８５】
この補間信号は、倍速変換部２３２に供給される。倍速変換部２３２は、フィールド遅延部２０２より出力された現フィールドの信号と加算器２２３より出力された補間信号とを水平ライン単位で、その入力信号の２倍の速度で交互に読み出すことによってプログレッシブ信号に変換する（図１０のステップＳ２２１）。このプログレッシブ信号は、出力端子２３３より出力される。
【００８６】
以上説明した第２実施形態でも、図１８で説明したような、テレシネ画像から一般画像への切り替わり時におけるテレシネ検出の誤検出が発生した場合や、図１９で説明したような、フィルム画像がテレシネ変換によりインターレースに変換された後に編集されて編集点が存在するとき、テレシネ検出の誤検出が発生した場合には、画像間補間信号と画像内補間信号の間のマッチング信号が大きくなるので、マッチングの程度を示す係数Ｋが大きくなり、画面内補間信号の混合比率が大きくなる。従って、倍速変換部２３２より得られるプログレッシブ信号の画像が二重像になる等の著しい画質劣化を抑制することができる。
【００８７】
また、第２実施形態では、スイッチ２１１，２１２によって、動き補償の参照画像となる前フィールドと後フィールドを選択した後は、テレシネ画像と一般画像との処理が共通化される。よって、第２実施形態は、第１実施形態よりも構成を簡略化することができるという利点がある。
【００８８】
【発明の効果】
以上詳細に説明したように、本発明の順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムは、テレシネ検出による誤検出が発生した場合でも、変換されたプログレッシブ信号が二重像になる等の画質劣化を低減することができる。
【図面の簡単な説明】
【図１】本発明の順次走査変換装置の第１実施形態を示すブロック図である。
【図２】本発明の順次走査変換方法及び順次走査変換プログラムの第１実施形態を示すフローチャートである。
【図３】図２のステップＳ１０１及び図１０のステップＳ２０１の具体例を示すフローチャートである。
【図４】図２のステップＳ１０２の具体例を示すフローチャートである。
【図５】図２のステップＳ１０９の具体例を示すフローチャートである。
【図６】図１中の画像間補間モード判定部１０５及び図９中の参照画像決定部２０５が備えるインデックス更新テーブルを示す図である。
【図７】図１中の画像間補間モード判定部１０５及び図９中の参照画像決定部２０５が備えるインデックス更新テーブルを示す図である。
【図８】図１中の画像間補間モード判定部１０５が備える画像間補間モードテーブルを示す図である。
【図９】本発明の順次走査変換装置の第２実施形態を示すブロック図である。
【図１０】本発明の順次走査変換方法及び順次走査変換プログラムの第２実施形態を示すフローチャートである。
【図１１】図１０のステップＳ２０２の具体例を示すフローチャートである。
【図１２】図９中の参照画像決定部２０５が備える参照画像選択テーブルを示す図である。
【図１３】順次走査変換を説明するための図である。
【図１４】テレシネ変換されたインターレース信号の順次走査変換を説明するための図である。
【図１５】テレシネ変換によるインターレース信号の補間方法を示す図である。
【図１６】一般画像の順次走査変換を説明するための図である。
【図１７】動き補償を用いた順次走査変換を説明するための図である。
【図１８】テレシネ画像から一般画像への切り替わり時におけるテレシネ検出の誤検出及び誤補間が発生する一例を示す図である。
【図１９】フィルム画像がテレシネ変換によりインターレースに変換された後に編集された場合に、テレシネ検出で誤検出及び誤補間が発生する一例を示す図である。
【符号の説明】
１０２，１０３，２０２，２０３ フィールド遅延部
１０４，２０４ 画像繰り返し検出部
１０５ 画像間補間モード判定部
１０６，２０６ 動きベクトル検出部
１０７，１０８，１１０〜１１２，１１６，１１７，１２８，１２９ スイッチ
１０９ 静止動きベクトル発生部
１１３，２１３ 逆方向動き補償部
１１４，２１４ 順方向動き補償部
１１５，２１５，１２０，２２０ 減算器（差分信号生成部）
１１８，２１８ 画像間補間部
１１９，２１９ 画像内補間部
１２１，１２２，２２１，２２２ 乗算器（混合比制御部）
１２３，２２３ 加算器（補間信号生成部）
１２５，２２５ 加算器
１２４，１２７，２２４，２２７ 絶対値化部（マッチング信号生成部）
１２６，２２６ 垂直ローパスフィルタ（マッチング信号生成部）
１３０，２３０ 空間ローパスフィルタ
１３１，２３１ 非線形変換部
１３２，２３２ 倍速変換部
２０５ 参照画像決定部
２１１，２１２ スイッチ（切り替え部）
【発明の属する技術分野】
本発明は、インターレース信号をプログレッシブ信号に変換する順次走査変換装置、順次走査変換方法、及び、インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるための順次走査変換プログラムに係り、特に、テレシネ変換によって得られたインターレース信号及びテレシネ変換ではない一般画像のインターレース信号をより高画質にプログレッシブ信号に変換することができる順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムに関する。
【０００２】
【従来の技術】
ＮＴＳＣやハイビジョン等の標準的なテレビジョン信号は、図１３（Ａ）に示すようなインターレース信号である。なお、図１３において、Ｖは垂直方向、ｔは時間方向である。インターレース方式は、奇数ラインと偶数ラインの２回の走査で１回の画面（フレーム）表示を行う方式である。また、図１３（Ｂ）に示すような走査線構造にずれがないものはプログレッシブ信号と呼ばれる。プログレッシブ方式は、１回の走査で１回の画面表示を行う方式である。プログレッシブ信号は、ノンインターレース信号または順次走査信号とも呼ばれる。
【０００３】
図１３（Ｃ）に示すように、図１３（Ａ）に示すインターレース信号で欠落している信号（走査線）を補間することにより、プログレッシブ信号に変換するのが順次走査変換である。なお、図１３において、○は原信号で存在している走査線の信号（画素）であり、△は補間された走査線の信号（画素）である。
【０００４】
ところで、映画等のフィルム信号は、２４フレーム／秒であり、この２４フレーム／秒のフィルム信号を６０フィールド／秒のインターレース信号に変換するテレシネ変換と呼ばれる変換方法がある。テレシネ変換では、フィルム信号の１フレームを２フィールドまたは３フィールドに振り分けるので、この変換方法は２−３プルダウンと呼ばれる。
【０００５】
図１４は、テレシネ変換（２−３プルダウン）を示している。図１４（Ａ）は２４フレーム／秒のフィルム信号、図１４（Ｂ）は図１４（Ａ）のフィルム信号から６０フィールド／秒のインターレース信号に変換した信号を示している。図１４（Ａ）と図１４（Ｂ）とを比較すれば分かるように、フィルム信号のフレームＦａは、インターレース信号のフィールドＩａ１とＩａ２に振り分けられ、フレームＦｂは、フィールドＩｂ１とＩｂ２とＩｂ１に振り分けられる。
【０００６】
フレームＦｃは、フィールドＩｃ２とＩｃ１に振り分けられ、フレームＦｄは、フィールドＩｄ２とＩｄ１とＩｄ２に振り分けられる。このように、テレシネ変換は２−３−２−３のパターンの繰り返しとなる。なお、図１４（Ｂ）のＩａ１，Ｉａ２，Ｉｂ１，Ｉｂ２…の添字１，２はそれぞれ第１フィールド，第２フィールドを示している。
【０００７】
図１４（Ｃ）は、図１４（Ｂ）のインターレース信号を６０フレーム／秒のプログレッシブ信号に変換した信号を示している。フィールドＩａ１，Ｉａ２はプログレッシブ信号のフレームＰａ，Ｐａに、フィールドＩｂ１，Ｉｂ２，Ｉｂ１はフレームＰｂ，Ｐｂ，Ｐｂに、フィールドＩｃ２，Ｉｃ１はフレームＰｃ，Ｐｃに、フィールドＩｄ２，Ｉｄ１，Ｉｄ２はフレームＰｄ，Ｐｄ，Ｐｄに変換される。図１４（Ｃ）に示すプログレッシブ信号のフィールド位相は、０，１，２，３，４の５種類であり、このプログレッシブ信号は５フィールド周期の信号である。フィールド位相３のフィールドを挟むフィールド位相２と４のフィールドは、互いに同一画像のフィールドである。
【０００８】
図１４（Ｂ）のインターレース信号をプログレッシブ信号に変換するに際して、５フィールド周期で同一画像のフィールドが存在するテレシネパターンが検出できれば、画像の静止、動きに関係なく、走査線を補間することができる。図１５は、テレシネ変換によるインターレース信号の補間方法を示す図である。図１５において、フィルム画像１，２は、図１４（Ａ）に示すようなフィルム信号における同じフレームであることを示している。図１５において、フィールド位相０，１のフィールドは、フィルム画像１の１フレームから振り分けられており、フィールド位相２，３，４のフィールドはフィルム画像２の１フレームから振り分けられている。
【０００９】
フィールド位相が１，３，４の場合、前フィールドの走査線を補間走査線とし、フィールド位相が０，２の場合、後フィールドの走査線を補間走査線とすることにより、プログレッシブ信号に変換することができる。但し、フィールド位相３の場合、後フィールドの走査線を補間走査線としてもよいし、前後フィールドの平均を補間走査線としてもよい。
【００１０】
このように、テレシネパターンを検出することによりプログレッシブ信号に変換する走査線補間装置は、一例として、特開平３−２５０８８１号公報（特許文献１）に記載されている。
【００１１】
一方、テレシネ変換により得られたものではない一般画像のインターレース信号は、以上の変換方法とは異なる方法でプログレッシブ信号に変換することができる。図１６は、一般画像のインターレース信号のプログレッシブ信号への変換方法を示している。画像が大きく動いている部分では、図１６（Ａ）に示すように、△にて示す欠落信号を、その補間すべき欠落信号と同一時間軸上の画像内に位置する上下の走査線から補間する（画像内補間）。画像が静止している部分では、図１６（Ｂ）に示すように、補間すべき欠落信号の前フィールドから補間する（画像間補間）。これらの両者の中間の画像では、画像内補間信号と画像間補間信号を画素毎に適応的に混合することによって補間信号を生成する。
【００１２】
また、一般画像で動きのある部分において、上下の走査線から補間すると、垂直方向の周波数帯域が１／２以下になってしまい、垂直解像度が低下してしまう。そこで、一般画像で動きのある部分の垂直解像度の低下を軽減する方式として、動き補償を用いた補間による順次走査変換方式がある。この動き補償を用いた順次走査変換では、図１７に示すように、３フィールドから欠落信号を補間することにより、プログレッシブ信号に変換する。図１７において，（Ａ）はインターレース信号であり、（Ｂ）は動き補償型順次走査変換により得たプログレッシブ信号である。
【００１３】
図１６（Ｃ）は、補間する信号（△にて示す欠落信号）の前後のフィールドから動き補償を用いて補間する画像間補間を示している。この場合、補間する信号を中心に空間的な移動方向は水平・垂直共に正負が逆になる。動き補償を用いた順次走査変換では、図１６（Ａ）に示す画像内補間信号と図１６（Ｃ）に示す動き補償による画像間補間信号とを画素毎に適応的に混合することによって補間信号を生成する（特許第２８３２９２７号公報（特許文献２）参照）。
【００１４】
この動き補償を用いた順次走査変換では、テレシネ変換によるインターレース信号に対しては理想的なプログレッシブ信号を得ることができない。そこで、テレシネパターンを検出することによりプログレッシブ信号に変換する順次走査変換と動き補償を用いた順次走査変換とを組み合わせ、テレシネ変換によるインターレース信号では前者を用い、一般画像のインターレース信号では後者を用いることにより、それぞれの画像に適した走査変換を行うことができる。
【００１５】
【特許文献１】
特開平３−２５０８８１号公報
【特許文献２】
特許第２８３２９２７号公報
【００１６】
【発明が解決しようとする課題】
上述した従来の順次走査変換装置においては、テレシネ変換による画像（テレシネ画像）と一般画像との切り替わり時に、数フィールドの区間で一般画像をテレシネ画像と誤検出してしまう。この場合、時間の異なるフィールドの走査線を補間走査線することにより誤補間となり、変換されたプログレッシブ信号は画像が二重像になる等、著しい画質劣化を生じる。
【００１７】
また、フィルム画像がテレシネ変換によりインターレース信号に変換された後に編集された場合、編集点の前後ではフィールド位相のずれによる５フィールドの繰り返しパターンが崩れてしまう。この場合も同様に、フィールド位相の誤検出が発生して、画質劣化を生じることとなる。
【００１８】
図１８は、テレシネ画像から一般画像への切り替わり時におけるテレシネ検出の誤検出、誤補間が発生する一例を示している。図１８（Ａ）に示すインターレース信号において、同一時刻の画像（同じフィルム信号のフレームからの画像）には同じアルファベットを付している。即ち、フィールドａ１とａ２は同一時刻のフィルム画像がテレシネ変換により、振り分けられたものである。フィールドｂ１とｂ２とｂ３は、同一時刻のフィルム画像から振り分けられたものである。フィールドｃ１とｃ２、フィールドｄ１とｄ２とｄ３も同様である。
【００１９】
図１８（Ａ）のフィールドａ１以前を含め、フィールドｄ３までがテレシネ画像であり、フィールドｅからフィールドｊまでが一般画像である。テレシネ画像では、５フィールド周期でフィールドの繰り返しが出現しているものとする。
【００２０】
図１８（Ｂ）は、図１８（Ａ）に示すインターレース信号からプログレッシブ信号に変換した信号である。テレシネパターンの検出（テレシネ検出）によりフィールドｄ３までは５フィールド周期でフィールドの繰り返しを観測し、正常にテレシネ画像と検出することができる。しかしながら、フィールドｅ以降の一般画像では、フィールドｇとフィールドｉを比較して、繰り返しでないと判定するまで、一般画像をテレシネ画像と誤検出してしまう。この例では、フィールドｅ〜ｇが実際には一般画像であるのにテレシネ画像と誤検出される。よって、この誤検出の区間では、プログレッシブ信号は誤補間となる。
【００２１】
図１９は、フィルム画像がテレシネ変換によりインターレースに変換された後に編集された場合に、テレシネ検出で誤検出、誤補間が発生する一例を示している。図１８と同様、同じフィルム信号のフレームからの画像には同じアルファベットを付している。この図１９の例では、（Ａ）に示すインターレース信号は、フィールドｐ１以前からフィールドｖ３の全てがテレシネ画像であるが、フィールドｑ３以前の画像部分とフィールドｒ１以降の画像部分とが編集によりつなぎ合わされており、フィールドｑ３とフィールドｒ１の間に編集点が存在する。フィールドｐ１以前には編集点が存在せず、５フィールド周期でフィールドの繰り返しが出現しているものとする。
【００２２】
この図１９の場合、フィールドｑ３までは５フィールド周期でフィールドの繰り返しを検出し、正常にテレシネ画像と判定してフィールド位相を得ることができる。フィールドｒ１以降も、フィールドｓ２とフィールドｔ２を比較して、繰り返しでないと検出するまで、テレシネ画像と判定する。ところが、フィールドｑ３とフィールドｒ１の間に編集点が存在するので、フィールド位相が誤検出されてしまう。
【００２３】
この例では、フィールドｒ１のフィールド位相が実際には４であるのに０と誤検出され、実際には画像の異なるフィールドｓ１を補間走査線とすることで誤補間が発生する。同様に、フィールドｓ１のフィールド位相が実際には０であるのに１と誤検出され、実際には画像の異なるフィールドｒ１を補間走査線とすることで誤補間が発生する。フィールドｓ２のフィールド位相が実際には１であるのに２と誤検出され、実際には画像の異なるフィールドｔ１を補間走査線とすることで誤補間が発生する。図１９（Ｂ）に示すように、フィールドｒ１〜ｓ２の誤検出の区間で、プログレッシブ信号は誤補間となる。
【００２４】
本発明はこのような問題点に鑑みなされたものであり、インターレース信号をプログレッシブ信号に変換するに際し、テレシネ検出による誤検出が発生した場合でも、変換されたプログレッシブ信号における画質劣化を低減することができる順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムを提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明は、上述した従来の技術の課題を解決するため、以下の順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムを提供する。
（ａ）インターレース信号をプログレッシブ信号に変換する順次走査変換装置において、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間部（１１９）と、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間部（１１８）と、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出部（１０４）と、前記画像繰り返し検出部の検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定部（１０５）と、前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成部（１２０）と、前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成部（１２６，１２７）と、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成部（１２３）と、前記マッチング信号に応じて、前記補間信号生成部における前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御部（１２１，１２２）とを備えて構成したことを特徴とする順次走査変換装置。
（ｂ）インターレース信号をプログレッシブ信号に変換する順次走査変換方法において、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定ステップと、前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成ステップと、前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、前記マッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換方法。
（ｃ）インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるための順次走査変換プログラムにおいて、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定ステップと、前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成ステップと、前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、前記マッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換プログラム。
（ｄ）インターレース信号をプログレッシブ信号に変換する順次走査変換装置において、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間部（２１９）と、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間部（２１８）と、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出部（２０６）と、前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出部によって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償部（２１４）と、前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出部によって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償部（２１３）と、前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出部（２０４）と、前記画像繰り返し検出部の検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定部（２０５）と、前記参照画像決定部による決定結果に従って、前記順方向動き補償部に供給する順方向動き補償用参照画像と前記逆方向動き補償部に供給する逆方向動き補償用参照画像とを切り替える切り替え部（２１１，２１２）と、前記順方向動き補償部より出力された順方向動き補償信号と前記逆方向動き補償部より出力された逆方向動き補償信号の差分信号を生成する第１の差分信号生成部（２１５）と、前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成部（２２４）と、前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成部（２２０）と、前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成部（２２６，２２７）と、前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成部（２２５）と、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成部（２２３）と、前記第３のマッチング信号に応じて、前記補間信号生成部における前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御部（２２１，２２２）とを備えて構成したことを特徴とする順次走査変換装置。
（ｅ）インターレース信号をプログレッシブ信号に変換する順次走査変換方法において、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出ステップと、前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償ステップと、前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償ステップと、前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定ステップと、前記参照画像決定ステップによる決定結果に従って、前記順方向動き補償ステップで用いる順方向動き補償用参照画像と前記逆方向動き補償ステップで用いる逆方向動き補償用参照画像とを切り替える切り替えステップと、前記順方向動き補償ステップにより得られた順方向動き補償信号と前記逆方向動き補償ステップにより得られた逆方向動き補償信号の差分信号を生成する第１の差分信号生成ステップと、前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成ステップと、前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成ステップと、前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、前記第３のマッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換方法。
（ｆ）インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるための順次走査変換プログラムにおいて、前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出ステップと、前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償ステップと、前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償ステップと、前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定ステップと、前記参照画像決定ステップによる決定結果に従って、前記順方向動き補償ステップで用いる順方向動き補償用参照画像と前記逆方向動き補償ステップで用いる逆方向動き補償用参照画像とを切り替える切り替えステップと、前記順方向動き補償ステップにより得られた順方向動き補償信号と前記逆方向動き補償ステップにより得られた逆方向動き補償信号の差分信号を生成する第１の差分信号生成ステップと、前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成ステップと、前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成ステップと、前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成ステップと、前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、前記第３のマッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換プログラム。
【００２６】
【発明の実施の形態】
以下、本発明の順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムについて、添付図面を参照して説明する。図１は本発明の順次走査変換装置の第１実施形態を示すブロック図、図２は本発明の順次走査変換方法及び順次走査変換プログラムの第１実施形態を示すフローチャート、図３は図２のステップＳ１０１及び図１０のステップＳ２０１の具体例を示すフローチャート、図４は図２のステップＳ１０２の具体例を示すフローチャート、図５は図２のステップＳ１０９の具体例を示すフローチャート、図６及び図７は図１中の画像間補間モード判定部１０５及び図９中の参照画像決定部２０５が備えるインデックス更新テーブルを示す図、図８は図１中の画像間補間モード判定部１０５が備える画像間補間モードテーブルを示す図、図９は本発明の順次走査変換装置の第２実施形態を示すブロック図、図１０は本発明の順次走査変換方法及び順次走査変換プログラムの第２実施形態を示すフローチャート、図１１は図１０のステップＳ２０２の具体例を示すフローチャート、図１２は図９中の参照画像決定部２０５が備える参照画像選択テーブルを示す図である。
【００２７】
＜第１実施形態＞
図１において、入力端子１０１に入力されたインターレース信号は、フィールド遅延部１０２，画像繰り返し検出部１０４，スイッチ１０７及び１１１に供給される。フィールド遅延部１０２は、入力されたインターレース信号を１フィールド遅延してフィールド遅延部１０３及び画像内補間部１１９に供給する。フィールド遅延部１０２の出力は、補間（走査線変換）の対象である現フィールドであり、フィールド遅延部１０３の出力は、現フィールドより１フィールド前の前フィールドであり、入力端子１０１に入力されたインターレース信号は、現フィールドより１フィールド後の後フィールドである。
【００２８】
画像繰り返し検出部１０４は、入力された前フィールドと後フィールドを比較し、同じ画像が繰り返されているかどうかを検出する（図２のステップＳ１０１）。このステップＳ１０１の詳細な手順の一例を図３に示す。図３において、ステップＳ１０１１にて、前後フィールドの画素の差分を算出する。次に、ステップＳ１０１２にて、画素差分の絶対値を算出する。ステップＳ１０１３にて、絶対値差分が予め設定したしきい値よりも小さいか否かを判定する。絶対値差分がしきい値よりも大きい場合、前フィールドと後フィールドの画像が異なるということであり、ステップＳ１０１６にて、同じ画像が繰り返されていないと判定し、検出処理を終了する。
【００２９】
ステップＳ１０１３にて絶対値差分がしきい値以下であれば、ステップＳ１０１４にて、全ての画素における差分算出が完了したか否かを判定する。全ての画素での差分算出が完了していなければステップＳ１０１１に戻り、上記のステップを繰り返す。全ての画素での差分算出が完了していれば、ステップＳ１０１５にて、同じ画像が繰り返されていると判定し、検出処理を終了する。なお、しきい値は、前後フィールドに含まれると想定されるノイズのレベルに応じて設定する。
【００３０】
図１に戻り、画像繰り返し検出部１０４で検出された繰り返し画像か否かの検出結果は、画像間補間モード判定部１０５に供給される。画像間補間モード判定部１０５は、画像繰り返し検出部１０４から供給された検出結果を基にして、画像間補間を行う際に動き補償を行うべきか否かを判定すると共に、画像間補間を前フィールドから順方向に行うべきか、後フィールドから逆方向に行うべきか、前後フィールドから両方向に行うべきかを判定する（図２のステップＳ１０２）。
【００３１】
画像間補間モード判定部１０５によって画像間補間モードを判定するのは、インターレース信号がテレシネ変換されたテレシネ画像であるか、テレシネ変換されていない一般画像であるかにより、画像間の補間方法を切り替えるためである。即ち、テレシネ変換されていないインターレース信号では、空間的に移動する前フィールドと後フィールドは補間する信号を中心に時間が前後するので、図１６（Ｃ）で説明したように、補間する信号を中心に空間的な移動方向を逆にした動き補償を用いて前後フィールドの平均値を補間信号とすることにより、画像間補間信号を得ることができる。一方、テレシネ変換されたインターレース信号では、前フィールドまたは後フィールドの走査線を補間走査線とすべきである。
【００３２】
ここで、画像間補間モード判定部１０５における画像間補間モード判定処理手順の一例を、図４に示すフローチャート及び図６〜図８に示すテーブルを用いて説明する。画像間補間モード判定部１０５は、図６に示す繰り返し用インデックス更新テーブルと、図７に示す非繰り返し用インデックス更新テーブルと、図８に示す画像間補間モードテーブルとを備える。
【００３３】
図４において、ステップＳ１０２１にて、同じ画像の繰り返しであるか否かを判定する。同じ画像の繰り返しであると判定されると、ステップＳ１０２２にて、図６に示す繰り返し用インデックス更新テーブル（インデックスメモリ）に保持されているインデックス（入力）を参照し、ステップＳ１０２４にて、インデックス（出力）へと更新する。図６の例では、インデックスメモリの値が初期値０のとき繰り返しであると判定されると、インデックスメモリの値は１へと更新される。インデックスメモリの値が１〜４であれば１へと更新され、５であれば６、…、９であれば１０、１０であれば６と更新される。
【００３４】
ステップＳ１０２１にて、同じ画像の繰り返しではないと判定されると、ステップＳ１０２３にて、図７に示す非繰り返し用インデックス更新テーブル（インデックスメモリ）に保持されているインデックス（入力）を参照し、ステップＳ１０２４にて、インデックス（出力）へと更新する。図７の例では、インデックスメモリの値が初期値０のとき繰り返しではないと判定されると、インデックスメモリの値は０のままとされる。インデックスメモリの値が１であれば２へと更新され、２であれば３、…、５であれば０、…、９であれば１０、１０であれば０と更新される。
【００３５】
そして、ステップＳ１０２５にて、図８に示す画像間補間モードテーブルを参照して、画像間補間モードを決定して終了する。図８におけるインデックス（入力）は、図６または図７におけるインデックス（出力）に相当する。図８に示すように、インデックスが０の場合、テレシネ画像でない一般画像であり、動き補償を行って前後フィールドから両方向の補間を行う。
【００３６】
インデックスが６〜１０の場合、テレシネ画像であり、動き補償を行わず、インデックスの値に応じて、前フィールドからの順方向補間、後フィールドからの逆方向補間、前後フィールドからの両方向補間のいずれかを行う。但し、インデックスが６の場合、前後フィールドの画像は同じであるので、前フィールドからの順方向補間、後フィールドからの逆方向補間としてもよい。また、前後フィールドの画像が同じであるので、動きベクトル検出の結果は、静止の動きベクトル（水平、垂直共に動きが０）となるので、動き補償を用いた前後フィールドからの両方向補間としてもよい。
【００３７】
インデックスが１〜５の場合、一般画像からテレシネ画像へと切り替わる過渡状態である可能性がある。この場合も、一般画像と同様に、動き補償を行って前後フィールドから両方向の補間を行う。
【００３８】
画像間補間モード判定部１０５は、以上のようにして得られた画像間補間モードを基にして、スイッチ１０７，１０８，１１０〜１１２，１１６，１１７，１２８，１２９それぞれのオン・オフまたは選択を制御する。図１に示すスイッチ１０７，１０８，１１０〜１１２，１１６，１１７，１２８，１２９それぞれのオン・オフまたは選択の状態は、画像間補間モード判定部１０５が、画像間補間モードとして、図８に示す非動き補償・順方向補間と判定した場合を示している。
【００３９】
図１に戻り、スイッチ１０７，１０８は、動きベクトル検出部１０６を機能させるか否かを制御するためのものである。画像間補間モード判定部１０５によって動き補償補間モード（図８の動き補償・両方向補間）と判定されると（図２のステップＳ１０３でＹＥＳ）、スイッチ１０７，１０８は共にオンとなる。すると、動きベクトル検出部１０６には、入力端子１０１に入力されたインターレース信号（後フィールド）とフィールド遅延部１０３より出力されたインターレース信号（前フィールド）とが供給される。このとき、スイッチ１１０は、動きベクトル検出部１０６の出力を選択する。
【００４０】
動きベクトル検出部１０６は、入力された前フィールドと後フィールドとを基にして動きベクトルを検出する（図２のステップＳ１０４）。具体的には、動きベクトル検出部１０６は、予め設定した８×８画素等のブロック単位で前フィールドを順方向の参照画像、後フィールドを逆方向の参照画像として、動き補償することにより、動きベクトルを検出する。例えば、まず、予め設定されている動きベクトルの探索範囲内で仮の動きベクトルを順次発生させる。その仮の動きベクトルに従って、前フィールドと後フィールドを空間的に移動させることにより動き補償を行う。そして、前後フィールド画素間の差分の絶対値を予め設定されているブロック内で加算し、マッチングの程度を示すマッチング値を得る。
【００４１】
ここで、空間的に移動する前フィールドと後フィールドは補間する信号を中心に時間が前後するので、図１６（Ｃ）に示すように補間する信号を中心に空間的な移動方向を水平、垂直共に正負を逆にする。さらに、仮の動きベクトル毎に算出されたマッチング値を比較し、最もマッチングの程度がよい、即ち、マッチング値が最小となる仮の動きベクトルを選択し、そのブロックの最終的な動きベクトルとする。
【００４２】
動きベクトル検出部１０６によって検出された動きベクトルは、スイッチ１１０を介して、逆方向動き補償部１１３及び順方向動き補償部１１４に供給される。
【００４３】
一方、静止動きベクトル発生部１０９は、静止の動きベクトル（水平、垂直共に動きが０）を発生する。画像間補間モード判定部１０５によって非動き補償補間モード（図８の非動き補償・順方向補間、逆方向補間、両方向補間）と判定されると（図２のステップＳ１０３でＮＯ）、スイッチ１０７，１０８は共にオフとなる。よって、動きベクトル検出部１０６は機能しない。このとき、スイッチ１１０は図１に示すように静止動きベクトル発生部１０９の出力を選択しており、静止動きベクトル発生部１０９で発生した静止の動きベクトルは、逆方向動き補償部１１３及び順方向動き補償部１１４に供給される。
【００４４】
スイッチ１１１は、逆方向動き補償部１１３を機能させるか否かを制御するためのものであり、スイッチ１１２は、順方向動き補償部１１４を機能させるか否かを制御するためのものである。スイッチ１１１，１１２は、また、画像間補間部１１８の補間方法を制御するためのものでもある。
【００４５】
画像間補間モード判定部１０５によって順方向または両方向補間モードと判定されると（図２のステップＳ１０５）、画像間補間モード判定部１０５はスイッチ１１２をオンとする。すると、順方向動き補償部１１４には前フィールドの信号であるフィールド遅延部１０３の出力が供給される。順方向動き補償部１１４は、スイッチ１１０にて動きベクトル検出部１０６または静止の動きベクトル発生部１０９から供給される動きベクトルに従って、前フィールド信号を空間的に移動させることにより、順方向動き補償を行い、順方向動き補償信号を生成して出力する（図２のステップＳ１０６）。なお、非動き補償モードの場合、静止動きベクトル発生部１０９から供給される静止の動きベクトルを基にしての動き補償であるので、動き補償を行わないことと等価であり、ここで得られる順方向動き補償信号は前フィールドと同じとなる。
【００４６】
一方、画像間補間モード判定部１０５によって逆方向または両方向補間モードと判定されると（図２のステップＳ１０７）、画像間補間モード判定部１０５はスイッチ１１１をオンとする。すると、逆方向動き補償部１１３には後フィールドの信号である入力端子１０１に入力されたインターレース信号が供給される。逆方向動き補償部１１３は、スイッチ１１０にて動きベクトル検出部１０６または静止動きベクトル発生部１０９から供給される動きベクトルに従って、後フィールド信号を空間的に移動させることにより、逆方向動き補償を行い、逆方向動き補償信号を生成して出力する（図２のステップＳ１０８）。
【００４７】
但し、前述と同様、空間的に移動する前フィールドと後フィールドは補間する信号を中心に時間が前後するので、順方向動き補償部１１４と逆方向動き補償部１１３とでは、図１６（Ｃ）に示すように補間する信号を中心に空間的な移動方向を水平、垂直共に正負を逆にする。なお、非動き補償モードの場合、静止動きベクトル発生部１０９から供給される静止の動きベクトルを基にしての動き補償であるので、動き補償を行わないことと等価であり、ここで得られる逆方向動き補償信号は後フィールドと同じとなる。
【００４８】
逆方向動き補償部１１３より出力された逆方向動き補償信号と、順方向動き補償部１１４より出力された順方向動き補償信号は、画像間補間部１１８に供給される。画像間補間部１１８は、画像間の補間を行う（図２のステップＳ１０９）。
【００４９】
画像間補間部１１８における画像間補間の処理手順の一例を図５に示すフローチャートを用いて説明する。図５において、ステップＳ１０９１にて、画像間補間モード判定部１０５で順方向補間モードと判定されたか否か判定する。順方向補間モードと判定された場合には、スイッチ１１１がオフ、スイッチ１１２がオンとなり、画像間補間部１１８は、ステップＳ１０９３にて、順方向動き補償部１１４から供給される順方向動き補償信号を画像間補間信号とする。
【００５０】
ステップＳ１０９１にて順方向補間モードではないと判定された場合、ステップＳ１０９２にて、逆方向補間モードと判定されたか否か判定する。逆方向補間モードと判定された場合には、スイッチ１１１がオン、スイッチ１１２がオフとなり、画像間補間部１１８は、ステップＳ１０９４にて、逆方向動き補償部１１３から供給される逆方向動き補償信号を画像間補間信号とする。
【００５１】
ステップＳ１０９２にて逆方向補間モードではないと判定された場合（即ち、順方向補間モードでも逆方向補間モードでもない場合）、スイッチ１１１，１１２が共にオンとなり、画像間補間部１１８は、ステップＳ１０９５にて、順方向動き補償部１１４から供給される順方向動き補償信号と逆方向動き補償部１１３から供給される逆方向動き補償信号を加算し、１／２倍して画像間補間信号とする。
【００５２】
ここで、画像間補間モード判定部１０５によって非動き補償・順方向補間モードと判定された場合には、順方向動き補償信号は前フィールドと同じであるので、得られる画像間補間信号は前フィールドと同じである。画像間補間モード判定部１０５によって非動き補償・逆方向補間モードと判定された場合には、逆方向動き補償信号は後フィールドと同じであるので、得られる画像間補間信号は後フィールドと同じである。このようにして得られた画像間補間信号は、減算器１２０及び乗算器１２１に供給される。
【００５３】
図１に戻り、スイッチ１１６，１１７は、減算器１１５と絶対値化部１２４と加算器１２５を機能させるか否かを制御するためのものである。画像間補間モード判定部１０５によって動き補償補間モードと判定されると（図２のステップＳ１１０）、画像間補間モード判定部１０５はスイッチ１１６，１１７を共にオンとし、減算器１１５は、順方向動き補償信号と逆方向動き補償信号の差分信号を算出する（図２のステップＳ１１１）。この差分信号は絶対値化部１２４に供給され、絶対値化部１２４は入力された差分信号の絶対値を算出する（図２のステップＳ１１２）。
【００５４】
この差分信号の絶対値は、前フィールドと後フィールドとの相関の程度を示す前後画像間マッチング信号である。絶対値化部１２４より出力された前後画像間マッチング信号は、加算器１２５に供給される。
【００５５】
画像内補間部１１９には、フィールド遅延部１０２の出力である現フィールドの信号が入力される。画像内補間部１１９は、図１６（Ａ）で説明したように、補間する信号（画素）の上下に位置する走査線の信号（画素）を加算し、それを１／２倍して画像内補間信号を生成する（図２のステップＳ１１３）。この画像内補間信号は、減算器１２０及び乗算器１２２に供給される。減算器１２０は、画像間補間部１１８より出力された画像間補間信号と画像内補間部１１９より出力された画像内補間信号との差分信号を算出する（図２のステップＳ１１４）。
【００５６】
減算器１２０より出力された差分信号は、垂直ローパスフィルタ（垂直ＬＰＦ）１２６に供給される。垂直ＬＰＦ１２６は、入力された差分信号垂直方向の高域成分を抑圧し、低域差信号を生成する（図２のステップＳ１１５）。この低域差信号は絶対値化部１２７に入力されて絶対値化され、画像間補間信号と画像内補間信号との相関の程度を示すマッチング信号として出力される（図２のステップＳ１１６）。
【００５７】
画像間補間モード判定部１０５によって動き補償補間モードであると判定されると（図２のステップＳ１１７でＹＥＳ）、スイッチ１２８，１２９は画像間補間モード判定部１０５の制御によって図１とは逆の接続状態となり、非動き補償補間モードであると判定されると（図２のステップＳ１１７でＮＯ）、スイッチ１２８，１２９は画像間補間モード判定部１０５の制御によって図１に示す接続状態となる。従って、絶対値化部１２７より出力されたマッチング信号は、動き補償補間モードの場合には、スイッチ１２８を介して加算器１２５に供給され、非動き補償補間モードの場合には、スイッチ１２８，１２９を介して空間ＬＰＦ１３０に供給される。
【００５８】
動き補償補間モードの場合、加算器１２５は、絶対値化部１２４より出力された前後画像間マッチング信号と、絶対値化部１２７より出力された画像間補間信号と画像内補間信号の間のマッチング信号とを加算する（図２のステップＳ１１８）。この加算されたマッチング信号は、スイッチ１２９を介して空間ＬＰＦ１３０に供給される。空間ＬＰＦ１３０は、入力されたマッチング信号に空間ＬＰＦをかけることによってマッチング信号をスムージングする（図２のステップＳ１１９）。
【００５９】
非動き補償補間モードの場合には、絶対値化部１２７より出力された画像間補間信号と画像内補間信号の間のマッチング信号のみが空間ＬＰＦ１３０に供給され、マッチング信号に空間ＬＰＦがかけられる（図２のステップＳ１１９）。
【００６０】
空間ＬＰＦ１３０の出力は、非線形変換部１３１に供給される。非線形変換部１３１は、空間ＬＰＦ１３０の出力を非線形変換してマッチングの程度を示す係数Ｋを生成する（図２のステップＳ１２０）。非線形変換の特性は、空間ＬＰＦ１３０の出力がノイズレベル以下のとき０、明らかに画像間補間より画像内補間の方が適当なレベル以上を１とし、その間は線形に変換する。この係数Ｋは、乗算器１２１，１２２に供給される。乗算器１２１は、画像間補間部１１８より出力された画像間補間信号に係数（１−Ｋ）を乗じ（図２のステップＳ１２１）、乗算器１２２は、画像内補間部１１９より出力された画像内補間信号に係数Ｋを乗じる（図２のステップＳ１２２）。
【００６１】
乗算器１２１，１２２それぞれより出力された乗算結果は、加算器１２３に供給される。加算器１２３は、入力されたそれぞれの乗算結果を加算することにより、補間信号を生成する（図２のステップＳ１２３）。加算器１２３より出力された補間信号は、画像間補間信号と画像内補間信号がマッチングの程度により重み付けされて混合されたものである。この補間信号は、倍速変換部１３２に供給される。倍速変換部１３２は、フィールド遅延部１０２より出力された現フィールドの信号と加算器１２３より出力された補間信号とを水平ライン単位で、その入力信号の２倍の速度で交互に読み出すことによってプログレッシブ信号に変換する（図２のステップＳ１２４）。このプログレッシブ信号は、出力端子１３３より出力される。
【００６２】
以上説明した第１実施形態では、図１８で説明したような、テレシネ画像から一般画像への切り替わり時におけるテレシネ検出の誤検出が発生した場合や、図１９で説明したような、フィルム画像がテレシネ変換によりインターレースに変換された後に編集されて編集点が存在するとき、テレシネ検出の誤検出が発生した場合には、画像間補間信号と画像内補間信号の間のマッチング信号が大きくなるので、マッチングの程度を示す係数Ｋが大きくなり、画面内補間信号の混合比率が大きくなる。従って、倍速変換部１３２より得られるプログレッシブ信号の画像が二重像になる等の著しい画質劣化を抑制することができる。
【００６３】
＜第２実施形態＞
図９において、入力端子２０１に入力されたインターレース信号は、フィールド遅延部２０２，画像繰り返し検出部２０４，スイッチ２１１及び２１２に供給される。フィールド遅延部２０２は、入力されたインターレース信号を１フィールド遅延してフィールド遅延部２０３及び画像内補間部２１９に供給する。フィールド遅延部２０３は、入力されたインターレース信号を１フィールド遅延して画像繰り返し検出部２０４とスイッチ２１１及び２１２に供給する。
【００６４】
フィールド遅延部２０２の出力は、補間（走査線変換）の対象である現フィールドであり、フィールド遅延部２０３の出力は、現フィールドより１フィールド前の前フィールドであり、入力端子２０１に入力されたインターレース信号は、現フィールドより１フィールド後の後フィールドである。
【００６５】
画像繰り返し検出部２０４は、入力された前フィールドと後フィールドを比較し、同じ画像が繰り返されているかどうかを検出する（図１０のステップＳ２０１）。このステップＳ２０１の詳細な手順の一例は、図３で説明したのと同じである。画像繰り返し検出部２０４で検出された繰り返し画像か否かの検出結果は、参照画像決定部２０５に供給される。
【００６６】
参照画像決定部２０５は、画像繰り返し検出部２０４より供給された検出結果を用いて、画像間補間における動き補償の際の参照画像を決定する（図１０のステップＳ２０２）。参照画像決定部２０５は、図６に示す繰り返し用インデックス更新テーブルと、図７に示す非繰り返し用インデックス更新テーブルと、図１２示す参照画像選択テーブルとを備える。
【００６７】
この参照画像決定処理手順の一例を図１１に示すフローチャートを用いて説明する。図１１において、ステップＳ２０２１にて、同じ画像の繰り返しであるか否か判定する。同じ画像の繰り返しであれば、ステップＳ２０２２にて、インデックスメモリに保持されているインデックスを入力として、図６の繰り返し用インデックス更新テーブルを参照する。同じ画像の繰り返しでなければ、ステップＳ２０２３にて、図７の非繰り返し用インデックス更新テーブルを参照する。
【００６８】
そして、ステップＳ２０２４にて、インデックスメモリに保持されているインデックスをそれぞれのテーブルを参照することによって得られた新しいインデックスに更新する。次に、ステップＳ２０２５にて、新しいインデックスを入力として、図１２示す参照画像選択テーブルを参照することによって、順方向動き補償及び逆方向動き補償の参照画像を決定する。
【００６９】
図１２示すように、インデックスが０の場合は、テレシネ画像でない一般画像であり、順方向動き補償の参照画像として前フィールド、逆方向動き補償の参照画像として後フィールドを選択する。インデックスが６〜１０の場合は、テレシネ画像である。インデックスが６の場合には、順方向動き補償の参照画像として前フィールド、逆方向動き補償の参照画像をとして後フィールドを選択し、インデックスが７，９の場合には、順方向動き補償と逆方向動き補償共に参照画像として前フィールドを選択し、インデックスが８，１０の場合には、順方向動き補償と逆方向動き補償共に参照画像として後フィールドを選択する。
【００７０】
但し、インデックスが６の場合、前後フィールドの画像は同じであるので、順方向動き補償と逆方向動き補償共に参照画像として前フィールドを選択してもよいし、順方向動き補償と逆方向動き補償共に参照画像として後フィールドを選択してもよい。
【００７１】
参照画像決定部２０５は、以上のようにして得られた参照画像の決定結果に基づいて、スイッチ２１１，２１２の接続状態を制御する。
【００７２】
ところで、テレシネ画像で図１２に示すインデックスが７，９の場合に、順方向動き補償と逆方向動き補償共に参照画像として前フィールドを選択し、インデックスが８，１０の場合に、順方向動き補償と逆方向動き補償共に参照画像として後フィールドを選択するのは、下記のような理由による。
【００７３】
インデックスが７のとき、図１５に示すフィールド位相は４であり、インデックスが９のとき、図１５に示すフィールド位相は１である。この場合、前フィールドの走査線を補間走査線とすることによって補間を行うことができる。順方向動き補償と逆方向動き補償共に参照画像として前フィールドを選択すると、順方向の参照画像、逆方向の参照画像が共に同じ画像となるので、水平、垂直共に０の位置が最も相関が高くなる。よって、動きベクトル検出部２０６は、静止の動きベクトルを検出して出力する。動きベクトル検出部２０６にて検出された動きベクトルは、順方向動き補償部２１３及び逆方向動き補償部２１４に供給される。
【００７４】
順方向動き補償部２１３と逆方向動き補償部２１４は、それぞれ、静止の動きベクトルを用いて動き補償を行う。順方向動き補償部２１３と逆方向動き補償部２１４の出力は、画像間補間部２１８に供給される。画像間補間部２１８は、順方向動き補償部２１３と逆方向動き補償部２１４の出力を加算し、１／２倍して画像補間信号を生成する。この画像補間信号は、前フィールドの走査線を補間走査線とすることと同じである。
【００７５】
図１２に示すインデックスが８の場合、図１５に示すフィールド位相は０であり、インデックスが１０の場合、フィールド位相は２である。この場合、後フィールドの走査線を補間走査線とすることで適切な補間を行うことができる。そこで、順方向動き補償と逆方向動き補償共に参照画像として後フィールドを選択すると、順方向の参照画像、逆方向の参照画像が共に同じ画像となるので、水平、垂直共に０の位置が最も相関が高くなる。よって、動きベクトル検出部２０６は、静止の動きベクトルを検出して出力する。画像間補間部２１８により得られる画像補間信号は、後フィールドの走査線を補間走査線とすることと同じである。
【００７６】
図９に戻り、スイッチ２１１，２１２は，順方向動き補償と逆方向動き補償それぞれの参照画像を切り替えるためのものである。スイッチ２１２は、参照画像決定部２０５の制御により、順方向動き補償部２１４及び動きベクトル検出部２０６に供給する順方向動き補償用参照画像として、前フィールドの信号か後フィールドの信号かを選択する（図１０のステップＳ２０３）。スイッチ２１１は、参照画像決定部２０５の制御により、逆方向動き補償部２１３及び動きベクトル検出部２０６に供給する逆方向動き補償用参照画像として、前フィールドの信号か後フィールドの信号かを選択する（図１０のステップＳ２０４）。
【００７７】
動きベクトル検出部２０６は、スイッチ２１２を介して入力された順方向動き補償用参照画像と、スイッチ２１１を介して入力された逆方向動き補償用参照画像とを用いて、動きベクトルを検出する（図１０のステップＳ２０５）。順方向動き補償用参照画像と逆方向動き補償用参照画像とが同じ場合、動きベクトル検出部２０６にて検出される動きベクトルは、静止の動きベクトル（水平、垂直共に動きが０）となる。
【００７８】
順方向動き補償部２１４は、順方向動き補償用参照画像と動きベクトルとを用いて動き補償を行う（図１０のステップＳ２０６）。逆方向動き補償部２１３は、逆方向動き補償用参照画像と動きベクトルとを用いて動き補償を行う（図１０のステップＳ２０７）。画像間補間部２１８は、順方向動き補償部２１４から供給される順方向動き補償信号と逆方向動き補償部２１３から供給される逆方向動き補償信号を加算し、１／２倍して画像間補間信号とする（図１０のステップＳ２０８）。この画像間補間信号は、減算器２２０及び乗算器２２１に供給される。
【００７９】
減算器２１５は、順方向動き補償信号と逆方向動き補償信号の差分信号を算出する（図２のステップＳ２０９）。この差分信号は絶対値化部２２４に供給され、絶対値化部２２４は入力された差分信号の絶対値を算出する（図１０のステップＳ２１０）。この差分信号の絶対値は、前フィールドと後フィールドとの相関の程度を示す前後画像間マッチング信号である。なお、順方向動き補償用参照画像と逆方向動き補償用参照画像とが同じ場合、順方向動き補償部２１４と逆方向動き補償部２１３の出力も同じになり、前後画像間マッチング信号は０となる。絶対値化部２２４より出力された前後画像間マッチング信号は、加算器２２５に供給される。
【００８０】
画像内補間部２１９には、フィールド遅延部２０２の出力である現フィールドの信号が入力される。画像内補間部２１９は、補間する信号の上下の走査線の信号を加算し、それを１／２倍して画像内補間信号を生成する（図１０のステップＳ２１１）。この画像内補間信号は、減算器２２０及び乗算器２２２に供給される。減算器２２０は、画像間補間部２１８より出力された画像間補間信号と画像内補間部２１９より出力された画像内補間信号との差分信号を算出する（図１０のステップＳ２１２）。
【００８１】
減算器２２０より出力された差分信号は、垂直ＬＰＦ２２６に供給される。垂直ＬＰＦ２２６は、入力された差分信号垂直方向の高域成分を抑圧し、低域差信号を生成する（図１０のステップＳ２１３）。この低域差信号は絶対値化部２２７に入力されて絶対値化され、画像間補間信号と画像内補間信号との相関の程度を示すマッチング信号として出力される（図１０のステップＳ２１４）。このマッチング信号は、加算器２２５に供給される。
【００８２】
加算器２２５は、絶対値化部２２４より出力された前後画像間マッチング信号と、絶対値化部２２７より出力された画像間補間信号と画像内補間信号の間のマッチング信号とを加算する（図１０のステップＳ２１５）。この加算されたマッチング信号は、空間ＬＰＦ２３０に供給される。空間ＬＰＦ２３０は、入力されたマッチング信号に空間ＬＰＦをかけることによってマッチング信号をスムージングする（図１０のステップＳ２１６）。
【００８３】
空間ＬＰＦ２３０の出力は、非線形変換部２３１に供給される。非線形変換部２３１は、空間ＬＰＦ２３０の出力を非線形変換してマッチングの程度を示す係数Ｋを生成する（図１０のステップＳ２１７）。非線形変換の特性は、第１実施形態と同様である。この係数Ｋは、乗算器２２１，２２２に供給される。乗算器２２１は、画像間補間部２１８より出力された画像間補間信号に係数（１−Ｋ）を乗じ（図１０のステップＳ２１８）、乗算器２２２は、画像内補間部２１９より出力された画像内補間信号に係数Ｋを乗じる（図１０のステップＳ２１９）。
【００８４】
乗算器２２１，２２２それぞれより出力された乗算結果は、加算器２２３に供給される。加算器２２３は、入力されたそれぞれの乗算結果を加算することにより、補間信号を生成する（図１０のステップＳ２２０）。加算器２２３より出力された補間信号は、画像間補間信号と画像内補間信号がマッチングの程度により重み付けされて混合されたものである。
【００８５】
この補間信号は、倍速変換部２３２に供給される。倍速変換部２３２は、フィールド遅延部２０２より出力された現フィールドの信号と加算器２２３より出力された補間信号とを水平ライン単位で、その入力信号の２倍の速度で交互に読み出すことによってプログレッシブ信号に変換する（図１０のステップＳ２２１）。このプログレッシブ信号は、出力端子２３３より出力される。
【００８６】
以上説明した第２実施形態でも、図１８で説明したような、テレシネ画像から一般画像への切り替わり時におけるテレシネ検出の誤検出が発生した場合や、図１９で説明したような、フィルム画像がテレシネ変換によりインターレースに変換された後に編集されて編集点が存在するとき、テレシネ検出の誤検出が発生した場合には、画像間補間信号と画像内補間信号の間のマッチング信号が大きくなるので、マッチングの程度を示す係数Ｋが大きくなり、画面内補間信号の混合比率が大きくなる。従って、倍速変換部２３２より得られるプログレッシブ信号の画像が二重像になる等の著しい画質劣化を抑制することができる。
【００８７】
また、第２実施形態では、スイッチ２１１，２１２によって、動き補償の参照画像となる前フィールドと後フィールドを選択した後は、テレシネ画像と一般画像との処理が共通化される。よって、第２実施形態は、第１実施形態よりも構成を簡略化することができるという利点がある。
【００８８】
【発明の効果】
以上詳細に説明したように、本発明の順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラムは、テレシネ検出による誤検出が発生した場合でも、変換されたプログレッシブ信号が二重像になる等の画質劣化を低減することができる。
【図面の簡単な説明】
【図１】本発明の順次走査変換装置の第１実施形態を示すブロック図である。
【図２】本発明の順次走査変換方法及び順次走査変換プログラムの第１実施形態を示すフローチャートである。
【図３】図２のステップＳ１０１及び図１０のステップＳ２０１の具体例を示すフローチャートである。
【図４】図２のステップＳ１０２の具体例を示すフローチャートである。
【図５】図２のステップＳ１０９の具体例を示すフローチャートである。
【図６】図１中の画像間補間モード判定部１０５及び図９中の参照画像決定部２０５が備えるインデックス更新テーブルを示す図である。
【図７】図１中の画像間補間モード判定部１０５及び図９中の参照画像決定部２０５が備えるインデックス更新テーブルを示す図である。
【図８】図１中の画像間補間モード判定部１０５が備える画像間補間モードテーブルを示す図である。
【図９】本発明の順次走査変換装置の第２実施形態を示すブロック図である。
【図１０】本発明の順次走査変換方法及び順次走査変換プログラムの第２実施形態を示すフローチャートである。
【図１１】図１０のステップＳ２０２の具体例を示すフローチャートである。
【図１２】図９中の参照画像決定部２０５が備える参照画像選択テーブルを示す図である。
【図１３】順次走査変換を説明するための図である。
【図１４】テレシネ変換されたインターレース信号の順次走査変換を説明するための図である。
【図１５】テレシネ変換によるインターレース信号の補間方法を示す図である。
【図１６】一般画像の順次走査変換を説明するための図である。
【図１７】動き補償を用いた順次走査変換を説明するための図である。
【図１８】テレシネ画像から一般画像への切り替わり時におけるテレシネ検出の誤検出及び誤補間が発生する一例を示す図である。
【図１９】フィルム画像がテレシネ変換によりインターレースに変換された後に編集された場合に、テレシネ検出で誤検出及び誤補間が発生する一例を示す図である。
【符号の説明】
１０２，１０３，２０２，２０３ フィールド遅延部
１０４，２０４ 画像繰り返し検出部
１０５ 画像間補間モード判定部
１０６，２０６ 動きベクトル検出部
１０７，１０８，１１０〜１１２，１１６，１１７，１２８，１２９ スイッチ
１０９ 静止動きベクトル発生部
１１３，２１３ 逆方向動き補償部
１１４，２１４ 順方向動き補償部
１１５，２１５，１２０，２２０ 減算器（差分信号生成部）
１１８，２１８ 画像間補間部
１１９，２１９ 画像内補間部
１２１，１２２，２２１，２２２ 乗算器（混合比制御部）
１２３，２２３ 加算器（補間信号生成部）
１２５，２２５ 加算器
１２４，１２７，２２４，２２７ 絶対値化部（マッチング信号生成部）
１２６，２２６ 垂直ローパスフィルタ（マッチング信号生成部）
１３０，２３０ 空間ローパスフィルタ
１３１，２３１ 非線形変換部
１３２，２３２ 倍速変換部
２０５ 参照画像決定部
２１１，２１２ スイッチ（切り替え部）
Claims (6)
- インターレース信号をプログレッシブ信号に変換する順次走査変換装置において、
前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間部と、
前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間部と、
前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出部と、
前記画像繰り返し検出部の検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定部と、
前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成部と、
前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成部と、
前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成部と、
前記マッチング信号に応じて、前記補間信号生成部における前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御部とを備えて構成したことを特徴とする順次走査変換装置。 - インターレース信号をプログレッシブ信号に変換する順次走査変換方法において、
前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、
前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、
前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、
前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定ステップと、
前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成ステップと、
前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成ステップと、
前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、
前記マッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換方法。 - インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるための順次走査変換プログラムにおいて、
前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、
前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、
前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、
前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記画像間補間信号を、前記前の画像から生成すべきか、前記後の画像から生成すべきか、前記前の画像と前記後の画像の双方から生成すべきかを判定する画像間補間モード判定ステップと、
前記画像内補間信号と前記画像間補間信号との差分信号を生成する差分信号生成ステップと、
前記差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示すマッチング信号を生成するマッチング信号生成ステップと、
前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、
前記マッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換プログラム。 - インターレース信号をプログレッシブ信号に変換する順次走査変換装置において、
前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間部と、
前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間部と、
前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出部と、
前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出部によって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償部と、
前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出部によって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償部と、
前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出部と、
前記画像繰り返し検出部の検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定部と、
前記参照画像決定部による決定結果に従って、前記順方向動き補償部に供給する順方向動き補償用参照画像と前記逆方向動き補償部に供給する逆方向動き補償用参照画像とを切り替える切り替え部と、
前記順方向動き補償部より出力された順方向動き補償信号と前記逆方向動き補償部より出力された逆方向動き補償信号の差分信号を生成する第１の差分信号生成部と、
前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成部と、
前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成部と、
前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成部と、
前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成部と、
前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成部と、
前記第３のマッチング信号に応じて、前記補間信号生成部における前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御部とを備えて構成したことを特徴とする順次走査変換装置。 - インターレース信号をプログレッシブ信号に変換する順次走査変換方法において、
前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、
前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、
前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出ステップと、
前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償ステップと、
前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償ステップと、
前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、
前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定ステップと、
前記参照画像決定ステップによる決定結果に従って、前記順方向動き補償ステップで用いる順方向動き補償用参照画像と前記逆方向動き補償ステップで用いる逆方向動き補償用参照画像とを切り替える切り替えステップと、
前記順方向動き補償ステップにより得られた順方向動き補償信号と前記逆方向動き補償ステップにより得られた逆方向動き補償信号の差分信号を生成する第１の差分信号生成ステップと、
前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成ステップと、
前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成ステップと、
前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成ステップと、
前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成ステップと、
前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、
前記第３のマッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換方法。 - インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるための順次走査変換プログラムにおいて、
前記インターレース信号に存在しない補間すべき信号が含まれる画像内の、前記補間すべき信号の上下に位置する走査線の信号を用いて画像内補間信号を生成する画像内補間ステップと、
前記インターレース信号に存在しない補間すべき信号が含まれる画像とは時間的に異なる画像内の信号を用いて画像間補間信号を生成する画像間補間ステップと、
前記補間すべき信号が含まれる画像に対して時間的に前の画像と後の画像の双方またはいずれか一方を用いて動きベクトルを検出する動きベクトル検出ステップと、
前記前の画像と前記後の画像のいずれか一方を順方向動き補償用参照画像とし、この順方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、順方向に動き補償する順方向動き補償ステップと、
前記前の画像と前記後の画像のいずれか一方を逆方向動き補償用参照画像とし、この逆方向動き補償用参照画像と前記動きベクトル検出ステップによって検出された動きベクトルとを用いて、逆方向に動き補償する逆方向動き補償ステップと、
前記前の画像と前記後の画像とを比較することにより、同じ画像が繰り返されているか否かを検出する画像繰り返し検出ステップと、
前記画像繰り返し検出ステップの検出結果を用いて画像の繰り返しパターンを検出することにより、前記順方向動き補償用参照画像と前記逆方向動き補償用参照画像をそれぞれ前記前の画像とすべきか、前記後の画像とすべきかを決定する参照画像決定ステップと、
前記参照画像決定ステップによる決定結果に従って、前記順方向動き補償ステップで用いる順方向動き補償用参照画像と前記逆方向動き補償ステップで用いる逆方向動き補償用参照画像とを切り替える切り替えステップと、
前記順方向動き補償ステップにより得られた順方向動き補償信号と前記逆方向動き補償ステップにより得られた逆方向動き補償信号の差分信号を生成する第１の差分信号生成ステップと、
前記第１の差分信号を用いて、前記順方向動き補償信号と前記逆方向動き補償信号との相関の程度を示す第１のマッチング信号を生成する第１のマッチング信号生成ステップと、
前記画像内補間信号と前記画像間補間信号との差分信号を生成する第２の差分信号生成ステップと、
前記第２の差分信号を用いて、前記画像内補間信号と前記画像間補間信号との相関の程度を示す第２のマッチング信号を生成する第２のマッチング信号生成ステップと、
前記第１のマッチング信号と前記第２のマッチング信号とを加算して第３のマッチング信号を生成する第３のマッチング信号生成ステップと、
前記画像内補間信号と前記画像間補間信号とを混合して補間信号を生成する補間信号生成ステップと、
前記第３のマッチング信号に応じて、前記補間信号生成ステップにおける前記画像内補間信号と前記画像間補間信号との混合比を変化させる混合比制御ステップとを含むことを特徴とする順次走査変換プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002347336A JP2004180242A (ja) | 2002-11-29 | 2002-11-29 | 順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002347336A JP2004180242A (ja) | 2002-11-29 | 2002-11-29 | 順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004180242A true JP2004180242A (ja) | 2004-06-24 |
Family
ID=32707972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002347336A Withdrawn JP2004180242A (ja) | 2002-11-29 | 2002-11-29 | 順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004180242A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006095470A1 (ja) * | 2005-03-08 | 2006-09-14 | Mitsubishi Denki Kabushiki Kaisha | 映像信号処理装置、映像信号処理方法、及び映像信号表示装置 |
| JP2008504786A (ja) * | 2004-06-30 | 2008-02-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオモード検出による動き補償 |
| US8144248B2 (en) | 2006-09-13 | 2012-03-27 | Fujitsu Limited | Scan conversion apparatus |
| US8768103B2 (en) | 2007-03-19 | 2014-07-01 | Hitachi Consumer Electronics Co., Ltd. | Video processing apparatus and video display apparatus |
-
2002
- 2002-11-29 JP JP2002347336A patent/JP2004180242A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008504786A (ja) * | 2004-06-30 | 2008-02-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオモード検出による動き補償 |
| WO2006095470A1 (ja) * | 2005-03-08 | 2006-09-14 | Mitsubishi Denki Kabushiki Kaisha | 映像信号処理装置、映像信号処理方法、及び映像信号表示装置 |
| US8174614B2 (en) | 2005-03-08 | 2012-05-08 | Mitsubishi Electric Corporation | Video signal processing apparatus, video signal processing method, and video signal display apparatus |
| US8144248B2 (en) | 2006-09-13 | 2012-03-27 | Fujitsu Limited | Scan conversion apparatus |
| US8768103B2 (en) | 2007-03-19 | 2014-07-01 | Hitachi Consumer Electronics Co., Ltd. | Video processing apparatus and video display apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5689305A (en) | System for deinterlacing digitally compressed video and method | |
| JP2832927B2 (ja) | 走査線補間装置及び走査線補間用動きベクトル検出装置 | |
| JP3850071B2 (ja) | 変換装置及び変換方法 | |
| NL1027270C2 (nl) | Deïnterlinieringsinrichting met een ruisverminderings/verwijderingsinrichting. | |
| JPH09214901A (ja) | モーションと空間的な相関度を用いる飛越し順次変換装置及びその方法 | |
| JP2002125201A (ja) | インターレース−プログレッシブスキャン変換用動き適応メディアンフィルタ | |
| JP2005318612A (ja) | ブロックモード適応動き補償 | |
| EP0622953B1 (en) | Motion adaptive video processing system | |
| JPH06351002A (ja) | 動き信号検出方法およびこれを用いた映像信号処理装置 | |
| JP3293561B2 (ja) | 画像表示装置及び画像表示方法 | |
| JP2001169252A (ja) | 順次走査変換装置及び方法 | |
| Van De Ville et al. | Deinterlacing using fuzzy-based motion detection | |
| MXPA04009345A (es) | Conversion ascendente con mejora diagonal restringida de ruido. | |
| JP2004180242A (ja) | 順次走査変換装置、順次走査変換方法、及び、順次走査変換プログラム | |
| JP4222090B2 (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
| JP3546698B2 (ja) | 走査線補間回路 | |
| JP2004320278A (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
| JP4226939B2 (ja) | 順次走査変換装置及び順次走査変換方法 | |
| JP4355576B2 (ja) | 改善された対角線方向エンハンスメントを用いるアップコンバージョン方法 | |
| JP3576618B2 (ja) | 動きベクトル検出方法および装置 | |
| JPH04326276A (ja) | 動き検出回路および動き適応型走査線補間回路 | |
| JP3009156B2 (ja) | 補間信号の垂直輪郭補償回路 | |
| JP2006173657A (ja) | 映像信号処理回路 | |
| Choi et al. | Neural network deinterlacing using multiple fields and field-MSEs | |
| JP2627664B2 (ja) | 順次走査変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050330 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20060824 |