JP4321010B2 - Scanning line interpolation device - Google Patents

Description

【０００１】
【発明の属する従来分野】
本発明は、テレビジョン受像機をはじめ、ＣＲＴ、液晶、プラズマディスプレイパネル（以下、ＰＤＰ(Plasma Display panel)と記す）やＤＭＤ（Digital Micromirror Device）などを用いたディスプレイ装置において、２：１インターレース走査された画像信号をノンインターレース走査された画像信号に変換する走査線補間装置に関する。
【０００２】
【従来の技術】
たとえばＮＴＳＣやハイビジョンなどの標準的なテレビジョン信号は、インターレース信号であり、１つのフレームが時間及び垂直方向にずれた２つのフィールドで構成される。これに対して、走査線構造にずれがないものは、ノンインターレースまたはプログレッシブ（順次）走査と呼ばれる。インターレース信号は、画像の垂直方向の高い周波数成分が多くなるとラインフリッカを生じる。そこで、インターレースで間引かれている部分の走査線を周辺の走査線で補間して作り、ノンインターレースとする処理がある。この様な処理は順次走査変換、倍密変換と呼ばれる。
【０００３】
そこでの走査線の補間として前後のフィールドを使用する方法としては、動き適応処理がある。動き適応処理の走査線補間では、補間される走査線は、画像が動いている場合は、上下の隣接走査線から、画像が静止している場合は、前後のフィールドの同位置の走査線から作られる。
【０００４】
さらに、最近では画像間の補間に動きベクトルの検出を適用する方法も検討されている。このような方法の従来の走査線補間装置として、特開平１−１０８８８６号公報に示されるものがある。この場合、前後のフィールドの異なった位置の走査線が使われる。画像の動きベクトルを検出し、その値に応じて１フィールド前の画像信号を移動させ、走査線を補間する。図１０はそのような従来の走査線補間装置の構成図である。
【０００５】
図１０において、１０１、１０２はフィールドメモリ、１０３はフィールド内補間回路、１０４は動きベクトル検出回路、１０５はベクトル補間値算出回路、１０６は混合回路、１０７はノンインターレース出力回路である。
上記のような構成において、まず入力端子に２：１インターレース走査された画像信号が供給されると、フィールドメモリ１０１、フィールドメモリ１０２により信号がそれぞれ１フィールド遅延される。フィールドメモリ１０１の出力を現フィールドとすると、フィールドメモリ１０２の出力からは後フィールドの信号が出力され、入力は前フィールドの信号に対応する。ここで、現フィールドとは処理の対象となるフィールドを示し、前フィールドは現フィールドより１フィールド前のフィールド、後フィールドは現フィールドより１フィールド後のフィールドを示す。
【０００６】
現フィールドの画像信号は、フィールド内補間回路１０３に入力され、ここで現フィールドの走査線間を補間したフィールド内補間信号が算出され出力される。
前フィールドと後フィールドの画像信号は動きベクトル検出回路１０４に入力され、ベクトル相関値として、例えば前フィールドと後フィールドを所定の範囲内のベクトルに応じそれぞれ移動した画像信号の輝度差の絶対値を算出し、この輝度差の絶対値が最小になるベクトルを検出することによって、画素単位の動きベクトルが検出される。ここで所定の範囲とは、実際の構成に当たり設定された動きベクトルの探索範囲を示し、以下も同様である。検出された動きベクトルはベクトル補間値算出回路１０５に入力される。
【０００７】
また、動きベクトルに対応したベクトル相関値が閾値以下かどうかを判定し、閾値以下であれば１、そうでなければ０という判定値を判定結果出力する。
【０００８】
一方、前フィールドと後フィールドの画像信号は、ベクトル補間値算出回路１０５にも入力され、動きベクトル検出回路１０４で検出された動きベクトルに伴い、前フィールドまたは後フィールドの画像信号を移動することによりベクトル補間値を算出し、出力する。
【０００９】
ベクトル補間値とフィールド内補間信号は、混合回路１０６において混合される。そのとき、混合回路１０６は、動きベクトル検出回路１０４の判定値出力に応じて２つの信号の混合度合いが制御され、その度合いに基づいて混合された信号を出力する。これにより動きベクトル検出回路１０４で動きベクトルが検出できない場合は、現フィールドの画像信号より求めた現フィールドの走査線間を補間した信号が、動きベクトルが検出された場合は、上記２つの信号を混合した信号が出力される。
【００１０】
混合回路１０６の出力および現フィールドの信号はノンインターレース出力回路１０７に入力される。ノンインターレース出力回路１０７では混合回路１０６の出力および現フィールドの信号が時間軸上で１／２に時間圧縮され、切り替えを行うことによりノンインターレース走査された画像信号を出力する。
【００１１】
図１１は従来の走査線補間装置における混合回路の構成例を示す。１１１は差分回路、１１２は乗算器、１１３は加算器である。入力１は図１０のフィールド内補間回路１０３の出力、入力２は図１０の動きベクトル補間値算出回路１０５の出力、制御入力は図１０の動きベクトル検出回路１０４の出力に対応する。差分回路１１１において入力２から入力１を引いた差分が出力される。その差分結果は乗算器１１２により、制御入力の「１」または「０」と乗算される。乗算器出力と入力１は加算され、混合回路出力となる。
【００１２】
制御入力が「０」の場合は動きベクトルでの補間が不適切と判断された場合で、差分出力は「０」が乗算され０となる。このため混合回路の出力は、入力１つまりフィールド内補間値となる。制御入力が「１」の場合は動きベクトルでの補間が適切と判断された場合で、１が乗算される。
【００１３】
入力１の信号レベルをＸｉ１、入力２の信号レベルをＸｉ２、とすると、混合回路出力Ｙｏは、「（Ｘｉ２−Ｘｉ１）＋Ｘｉ１」となり、Ｙｏ＝Ｘｉ２となる。このため混合回路の出力は入力１、つまりフィールド内補間値となる。
【００１４】
さらに動きベクトル検出の精度向上のための発明として、たとえば特開平５−６８２９３号公報に示されるものがある。上記発明の走査線補間装置は、現フィールドの１フィールド前、１フィールド後の画像信号から、ブロック単位で、着目ブロックに隣接する各ブロックで検出された動きベクトルの相関を利用することで動きベクトルの検出の精度向上を図ったものである。
【００１５】
着目ブロックに隣接する各ブロックで検出された動きベクトルの相関が高ければ、着目ブロックで検出された動きベクトルは正確であると判定でき、逆に、着目ブロックで検出された動きベクトルと、着目ブロックに隣接する各ブロックで検出された動きベクトルの相関が低ければ、着目ブロックで検出された動きベクトルは不正確であると判定できる。
【００１６】
このため、各ブロックで検出された動きベクトルと、当該ブロックに隣接する各ブロックで検出された動きベクトルとの差分値を求め、当該ブロックのエッジの有無によって定めた閾値と上記差分値を比較することにより、各ブロックで検出された動きベクトルが、当該ブロックに隣接する各ブロックで検出された動きベクトルと何個一致しているかを判定することにより動きベクトル検出の精度向上を図ったものである。
【００１７】
【発明が解決しようとする課題】
しかしながら上記のような構成の走査線補間装置では、動きベクトルの選択および補間は、現フィールドの前後のフィールドのフレーム間マッチング（フレーム間相関）に基いて行われている。このため、フレーム間マッチングが良好ならば、フィールド内補間値と全く異なる場合でも、動きベクトルに対応し前後のフィールドより算出される補間値である動きベクトル補間値が選択され、誤った補正がなされてしまう。
【００１８】
例えば画像が周期的な場合、フレーム間マッチングが良好、つまりフレーム間相関値が小さいベクトルが複数存在する場合がある。これらの複数のベクトルをここでは候補ベクトルと称する。候補ベクトルは、正しい動きベクトルと正しくないベクトルからなる。複数の候補ベクトルに対応し、補正結果も複数存在する。本来の正しい動きベクトルに対する補正結果と正しくないベクトルに対する補正結果とが大きく異なる場合がある。候補ベクトルのフレーム間相関値は小さく、場合によってすべて０となる場合もあるため、正しくないベクトルを選択した場合、補正結果が大きく異なり、誤った補正が行われる。
【００１９】
画像が周期的な場合の例として、縦縞で水平方向に２画単位で白黒を繰り返す場合を考える。この場合、４画素周期となる。現フィールドの前後のフィールドをそれぞれ第１フィールド、第２フィールドと称する。第１フィールドから現フィールド、現フィールドから第２フィールドの各フィールド間で水平右方向に１画素動いた場合を考える。この場合、水平右方向に１＋２ｎ動いた場合、いずれの場合もフレーム間相関値は０となり、フレーム間マッチングが良好とみなされる。ここで、ｎは整数（・・−１、０、１・・）である。水平右方向に１画素動いた（ｎ＝０）ベクトルにおいて、フレーム間相関値は０、補間値は１となる。
【００２０】
また、水平右方向に−１画素動いた場合（ｎ＝−１）つまり水平左方向に１画素動いた（ｎ＝−１）ベクトルにおいて、フレーム間相関値は０、補間値は０となる。このように画像が周期的な場合、フレーム間相関値のみでは適切な補正がおこなれ、本来と大きく異なる補正が行われる場合がある。
【００２１】
また、上記のような構成の走査線補間装置では、動きベクトルの選択および補間は、現フィールドの前後のフィールドのフレーム間相関（フレーム間マッチング）に基いて行われている。しかし、閾値と比較し、どちらかを選択するのは、フレーム間相関が緩やかに変化しても、動きベクトル補間かフィールド内補間かの選択となり、なめらかな補正が行われない。また、フレーム間相関の度合いを使用して、連続的な変化に対応したとしても、フレーム間相関の度合いと動きベクトルの選択の妥当さとは必ずしも一致しない。そのため、動きベクトル補間値を適応する度合いが適切でなく、不適切な補正がなされてしまう。
【００２２】
また、フレーム間相関の度合いを使用して、連続的な変化に対応する際、図１１に示すような乗算器を使用した場合、制御入力が低くい場合でも、乗算器の入力つまり動きベクトルでの補間値とフィールド内補間値の差分が大きい場合、大きなレベルを出力し、動きベクトルでの補間での不適切な状況が目立つ場合がある。制御入力は「０」から「１」の間で変化し、動きベクトルでの補間が最も適切と判断された場合「１」、フィールド内補間が最も適切と判断された場合「０」とする。
【００２３】
例えば、制御入力が「０．１」という値をとった場合、このレベルは動きベクトルでの補間がほぼ不適切と見なされている状態であるが、仮に、動きベクトルでの補間値とフィールド内補間値の差分が８ｂｉｔで最大の２５５という値をとった場合、乗算器出力は２５となり、そのレベルの比較的大きな動きベクトルでの補間情報を使用することになる。このように乗算器を使用した場合比の制御であるため、乗算器の入力つまり動きベクトルでの補間値とフィールド内補間値の差分が大きい場合、出力も大きなレベルとなり、動きベクトルでの補間での不適切な状況が目立つ場合がある。
【００２４】
また、例えば画像が高速画像で所定の補正ベクトル範囲を超える場合、また、フラッシュなどにより現フィールドのみ特異な場合、フレーム間マッチングが良好、つまりフレーム間相関値が小さくとも、フレーム間補正では正しい補正ができない場合が存在する。
【００２５】
高速画像の例としては、白いボールが黒い背景の中で高速に移動するため、現フィールドは白であるが、その位置での前後のフィールドは黒という場合がある。
現フィールドのみ特異な場合としてはフラッシュなどにより現フィールドである１フィールドのみ白（フラッシュがあたり明るくなった画面）で前後のフィールドは通常の画面という場合がある。
【００２６】
上記いずれの場合においても、フレーム間での相関値が小さくなるベクトルは存在するものの画像の性質上、フレーム間で求めたベクトルでは正しい補間補正は行われ、本来と大きく異なる補正が行われる。この結果、広い範囲で不適切な処理が行われ、例えば水平の縞が広い範囲で発生する。
【００２７】
また、上記のような画像に起因する場合、着目ブロックに隣接する各ブロックで検出された動きベクトルの相関を利用することで動きベクトルの検出精度改善を図る方式は、上記のような画像の条件が小面積の場合には一定の改善は可能なものの、大面積の場合においては、改善は原理的に不可能である。
【００２８】
【課題を解決するための手段】
上記課題を解決するために、第１発明の走査線補間装置は、第１のフィールド及び第２のフィールドの画像信号において、所定の範囲内のベクトル毎に、対応した画素を含む画素ブロックにおける相関値を算出するベクトル相関値算出回路と、前記ベクトル相関値算出回路より算出された相関値より動きベクトルを検出する動きベクトル検出回路と、現フィールドの画像信号を用い補間信号を生成するフィールド内補間回路と、前記動きベクトル検出により検出された動きベクトルに対応し、前記第１のフィールドまたは前記第２のフィールドの画素より補間信号を生成するベクトル補間値算出回路と、前記フィールド内補間回路より得られたフィールド内補間信号と前記ベクトル補間値算出回路より得られたベクトル補間信号を混合する混合回路と、現フィールドの画像信号、及び信号前記混合回路より出力された走査線補間補間信号から、ノンインターレース走査された画像信号を出力するノンインターレース信号出力回路とからなる走査線補間装置であり、所定の範囲内のベクトル毎に、ベクトルに対応した第１のフィールド及び第２のフィールドの画素を用い、補間値を算出するベクトル補間値算出回路と、前記ベクトル相関値算出回路および前記ベクトル補間値算出回路より算出された所定のベクトルに対応した相関値および補間値より、動きベクトルの信頼性を判定する信頼性判定信号を算出する動きベクトル信頼性判定回路を備え、前記動きベクトル信頼性判定回路より算出された信頼性判定信号に従い、前記混合回路における混合度合いを制御することを特徴とするものである。
【００２９】
また、第２発明の走査線補間装置は、上記第１発明の走査線補間装置におけるベクトル相関値算出回路が、現フィールドの１フィールド前の第１のフィールド及び１フィールド後の第２のフィールドの画像信号において、所定の範囲内のベクトル毎に、さらに画素ブロック内の各画素毎に差分値を算出し、ベクトル相関値として差分値の絶対値和もしくは前記差分値の二乗和を算出する回路であることを特徴とするものである。
【００３０】
また、第３発明の走査線補間装置は、上記第１発明の走査線補間装置における動きベクトル検出回路が、前記ベクトル相関値算出回路より算出されたベクトル相関値が最小になる動きベクトルを検出する回路であることを特徴とするものである。
【００３１】
また、第４発明の走査線補間装置は、上記第１発明の走査線補間装置における動きベクトル信頼性判定回路が、前記相関値算出回路より算出された、所定のベクトルに対応した相関値が一定値以下であることを検出する相関レベル検出回路と、前記相関レベル検出回路の出力に基づき、相関値が一定値以下であるベクトルにおいて前記補間値の最大値および最小値を求める最大値回路および最小値回路と、前記最大値および最小値の差が一定値以下であることを検出する差分レベル検出回路からなることを特徴とするものである。
【００３２】
また、第５発明の走査線補間装置は、上記第１発明の走査線補間装置における動きベクトル信頼性判定回路が、前記相関値算出回路より算出された所定のベクトルに対応した相関値の中で最小相関値を算出する最小相関値検出回路と、前記所定のベクトルに対応した相関値と前記最小相関値との差が一定値以下であるベクトルにおいて前記補間値の最大値および最小値求める最大値回路および最小値回路と、前記最大値および最小値の差が一定値以下であることを検出する差分レベル検出回路からなることを特徴とするものである。
【００３３】
また、第６発明の走査線補間装置は、上記第１発明の走査線補間装置における動きベクトル信頼性判定回路が、前記相関値算出回路より算出された所定のベクトルに対応した相関値の最小値を入力とし、信頼性判定値を出力する関数回路を有することを特徴とするものである。
【００３４】
また、第７発明の走査線補間装置は、上記第１発明の走査線補間装置における混合回路が、前記ベクトル補間信号と前記フィールド内補間信号との差分を算出する差分回路と、前記差分回路出力を前記動きベクトル信頼性判定回路より算出された信頼性判定信号に従い制御する差分制御回路と、前記フィールド内補間信号と前記制御回路出力とを加算する加算器からなることを特徴とするものである。
【００３５】
また、第８発明の走査線補間装置は、上記第１発明の走査線補間装置における前記差分制御回路が、クリップ回路からなることを特徴とするものである。
【００３６】
また、第９発明の走査線補間装置は、現フィールドと現フィールドの１フィールド前のフィールドである第１のフィールド、及び現フィールドの後の１フィールド後のフィールドである第２のフィールドの画像信号において、所定の範囲内のベクトル毎に、対応した画素を含む画素ブロックにおける相関値を算出するベクトル相関値算出回路と、前記ベクトル相関値算出回路より算出された相関値より動きベクトルを検出する動きベクトル検出回路と、現フィールドの画像信号を用い補間信号を生成するフィールド内補間回路と、前記動きベクトル検出により検出された動きベクトルに対応した前記第１のフィールドまたは前記第２のフィールドの画素より補間信号を生成するベクトル補間値算出回路と、前記フィールド内補間回路より得られたフィールド内補間信号と前記ベクトル補間値算出回路より得られたベクトル補間信号を混合する混合回路とからなり、前記混合回路より出力された走査線補間信号、及び現フィールドの画像信号から、ノンインターレース走査された画像信号を出力するノンインターレース信号出力回路とからなる走査線補間装置であり、前記混合回路は、前記ベクトル補間信号の前記フィールド内補間信号との差分を算出する差分回路と、前記差分回路出力に対し垂直方向のフィルタ処理を行う垂直輪郭抽出回路と、前記フィールド内補間信号と前記垂直輪郭抽出回路出力とを加算する加算器とからなることを特徴とするものである。
【００３７】
また、第１０発明の走査線補間装置は、上記第１発明の走査線補間装置における垂直輪郭抽出回路が、入力信号の垂直方向のＨＰＦであることを特徴とするものである。
【００３８】
また、第１１発明の走査線補間装置は、上記第１発明の走査線補間装置における垂直輪郭抽出回路が、入力信号に垂直方向のＨＰＦと、入力信号の絶対値と前記ＨＰＦ出力の絶対値を比較する差分回路と、前記差分回路の出力により入力信号と前記ＨＰＦ出力の選択出力する選択回路からなることを特徴とするものである。
【００３９】
また、第１２発明の走査線補間装置は、上記第１発明の走査線補間装置における垂直輪郭抽出回路が、現ラインと垂直方向の上下のラインの中間値とる中間値回路と、現ラインと前記中間値回路出力の差分を算出する差分回路からなることを特徴とするものである。
【００４０】
上記第１発明から第６発明の構成により、例えば画像が周期的な場合に候補ベクトルに対応した補正値が大きく異なることがあり、このような場合にはたとえフレーム間相関が良好でも動きベクトルの信頼性が低いと判断し、動きベクトルによるフレーム間補間を行わず、フィールド間補間を利用する。このため、第１のフィールド及び第２のフィールドの画像信号において、ベクトル相関値算出回路より算出された画素ブロック間の相関値と、ベクトル補間値算出回路より算出された補間値とを所定の範囲内のベクトル毎にそれぞれ求め、これらの相関値と補間値とを両方より動きベクトルの信頼性を判定する。
【００４１】
具体的には、相関値と、ベクトル補間値とを所定の範囲内のベクトル毎にそれぞれ求め、相関値が最小となるベクトルおよびベクトル補間値を求める処理の中で、相関値が、一定の第１の閾値以下となるベクトルおよびベクトル補間値を求める。これらをそれぞれ候補ベクトル、候補ベクトル補間値と称する。さらに候補ベクトル補間値の最大値、最小値ヲ求め、さらにこれら最大値と最小値との差を求める。この最大値と最小値との差を候補ベクトル補間差と称する。候補ベクトル補間差が、一定の第２の閾値以下であれば信頼性ありと判定し、第２の閾値以上であれば信頼性なしと判定する。
【００４２】
この信頼性を判定結果により、信頼性ありの場合、動きベクトルによるフレーム間補間を出力するように、信頼性なしの場合、フィールド内補間を出力するように、動きベクトルによるフレーム間補間とフィールド内補間の混合比を制御する。この例では混合比は１または０としている。
【００４３】
以上により、相関値のみで判定するより動きベクトルの信頼性について正確な判定が可能になり、動きベクトルによる間違った画像信号の補間を防ぐことができ、結果として、画質劣化の少ないノンインターレース走査された画像信号が得られる。
【００４４】
上記第７発明の構成により、動きベクトルの選択および補間は、現フィールドの前後のフィールドのフレーム間相関（フレーム間マッチング）の連続的な情報に基いて行われているため、動きベクト相関の度合いを使用して、連続的な変化に対応した上で、フレーム間相関の度合いと動きベクトルの選択の妥当さと概ね一致するような関数を使用することにより、動きベクトル補間値を適応する度合いが適切となり、良好な補正が行われる。
【００４５】
上記第８発明の構成により、フレーム間相関の度合いを使用して、連続的な変化に対応する際、図５に示すような可変クリップ回路を使用した場合、制御をクリップレベルで行うため、制御入力が低くい場合は当然、乗算器の入力つまり動きベクトルでの補間値とフィールド内補間値の差分の大きさに関わらず、小さなレベルを出力し、適切な度レベルで動きベクトルでの補間情報を使用することになる。
【００４６】
上記第９発明から第１２発明の構成により、上述のように高速で動く画像で補正可能なベクトル範囲を超える場合、またフラッシュなどにより現フィールドのみ特異な場合など、フレーム間マッチングが良好、つまりフレーム間相関値が小さくともフレーム間補正では正しい補正ができない場合においても誤補正の少ない補間信号を得ることができる。
【００４７】
上述のように高速で動く画像で補正可能なベクトル範囲を超える場合、フィールド内補間信号とフレーム間補間信号の差信号がある程度広い面積となる。これは垂直方向で見ると、垂直低域成分が多いことに対応している。逆に通常の画像で動きベクトル処理により効果が現れるのは、画像の輪郭に対してである。これは垂直高域成分に対応している。このため、本発明は、上記差信号に対し、垂直輪郭抽出回路処理により垂直高域成分を抽出することにより、差信号がある広い面積となるような場合の垂直低域成分に相当する成分を、差信号フレーム間補正で誤補正となることを回避し、フィールド内補間信号低減させるともに、動きベクトル処理で有効な成分は抽出し残すことができる。この成分をフィールド内補間信号に加えることにより、誤補正の少ない補間信号を得ることができる。
【００４８】
【発明の実施の形態】
本発明の実施の形態を図面を用いて説明する。
【００４９】
（実施の形態１）
図１は、第１の実施の形態における走査線補間装置の構成図であり、１１、１２は画像信号を記憶し、一定期間遅延するフィールドメモリ、１３はフィールド内補間回路、１４はフレーム間での動きベクトルをブロック単位で検出する動きベクトル検出回路、１５はベクトル補間値算出回路、１６は混合回路、１７はノンインターレース信号出力回路、１８はベクトル相関値算出回路、１９は動きベクトル信頼性判定回路である。以下、図１の走査線補間装置の動作について説明する。
【００５０】
まず入力端子に２：１インターレース走査された画像信号が供給されると、フィールドメモリ１１、フィールドメモリ１２により信号がそれぞれ１フィールド遅延される。フィールドメモリ１１の出力を現フィールドとすると、フィールドメモリ１２の出力からは前フィールドの信号が出力され、フィールドメモリ１１への入力は後フィールドの信号に対応する。ここで、現フィールドとは処理の対象となるフィールドを示し、前フィールドは現フィールドより１フィールド前のフィールド、後フィールドは現フィールドより１フィールド後のフィールドを示す。
【００５１】
現フィールドの画像信号は、フィールド内補間回路１３に入力される。ここで現フィールドの走査線間を補間したフィールド内補間値が算出され出力される。前フィールドと後フィールドの画像信号はベクトル相関値算出回路１５、ベクトル補間値算出回路１５にそれぞれ入力される。ベクトル相関値算出回路１８は、前フィールドと後フィールドの画像信号において、所定の範囲内のベクトル毎に、ベクトルに応じそれぞれ移動した画像信号において、ベクトル相関値として、画素ブロック内の各画素毎に差分値の絶対値和もしくは前記差分値の二乗和を算出する回路である。そして、画素単位のベクトルとそれに対応したベクトル相関値を出力する。このベクトルとベクトル相関値は、動きベクトル検出回路１４と動きベクトル信頼性判定回路１９に入力される。
【００５２】
動きベクトル検出回路１４は、ベクトル相関値算出回路１８で算出されたベクトルとそれに対応したベクトル相関値より、ベクトル相関値が最小になるベクトルを動きベクトルとして検出する。検出された動きベクトルはベクトル補間値算出回路１５に入力される。
【００５３】
ベクトル補間値算出回路１５では、入力された前フィールドと後フィールドの画像信号を、動きベクトル検出回路１４で検出された動きベクトル量に従い移動することによりベクトル補間値を算出し、出力する。
【００５４】
動きベクトル信頼性判定回路１９は、ベクトル相関値算出回路１８および前記ベクトル補間値算出回路１５より算出された所定のベクトルに対応した相関値および補間値より、動きベクトルの信頼性を判定する信頼性判定信号を算出する。混合回路１６は、ベクトル相関値算出回路よりフレーム間の信号より算出されたベクトル補間値とフィールド内補間信号を混合する。このとき、動きベクトル信頼性判定回路より算出された信頼性判定信号に従い、混合回路１６における混合度合いは制御される。
【００５５】
混合回路１６の出力および現フィールドの信号はノンインターレース出力回路１０７に入力される。ノンインターレース出力回路１０７では混合回路１０６の出力および現フィールドの信号が時間軸上で１／２に時間圧縮され、切り替えを行うことによりノンインターレース走査された画像信号を出力する。
【００５６】
動きベクトル信頼性判定回路１９における信頼性判定は、ベクトル相関値とベクトル補間値とを所定の範囲内のベクトル毎にそれぞれ求め、それらを演算処理することで行う。ベクトル相関値が小さい場合、そのベクトル相関値に対応したベクトルが動きベクトルである可能性が高い。しかし、小さいと判断されたベクトル相関値が複数あり、これらのベクトル相関値に対応するベクトル補間値が大きくばらついた場合、逆に、正しくない動きベクトルである可能性が高い。
【００５７】
このような場合の具体例としては、前述のような縦縞で水平方向に２画単位で白黒を繰り返す場合などがある。このように画像が周期的な場合、フレーム間相関値のみでは適切な補正がおこなれず、本来と大きく異なる補正が行われる場合がある。これに対し、上記のような信頼性判定を行うことで、画像が周期的な場合のような、フレーム間相関値のみでは適切な補正がおこなれず、本来と大きく異なる補正が行われる場合を判定できる。この動きベクトル信頼性判定結果に従い、混合回路１６における混合度合いは制御することにより、動きベクトルでの補間が不適切と判断された場合は、フィールド内補間値を利用することで、本来と大きく異なる補正が行われ、画質劣化を引き起こすることが回避される。
【００５８】
（実施の形態２）
本発明の第２の実施の形態は、（実施の形態１）における走査線補間装置の動きベクトル信頼性判定回路１９の一構成例を、図２に示したものである。図２は、動きベクトル信頼性判定回路１９の構成図であり、２１は相関レベル検出回路、２２は最大値回路、２３は最小値回路、２４は差分回路、２５は差分レベル検出回路である。以下、図２の動きベクトル信頼性判定回路を用いた第２の実施の形態例の走査線補間装置について、図２の動きベクトル信頼性判定回路の動作を中心に説明する。
【００５９】
（実施の形態１）における走査線補間装置のベクトル相関値算出回路１８において算出された相関値が入力される相関レベル検出回路２１において、所定のベクトルの内、相関値が一定値以下である候補ベクトルが検出される。
【００６０】
検知された候補ベクトルは、最大値回路２２と最小値回路２３に入力し、この最大値回路２２、最小値回路２３により、候補ベクトルに対応した補間値の中での最大値、最小値が求まる。
【００６１】
差分レベル検出回路２５は、前記最大値および最小値の差が閾値以下であれば、動きベクトル検出回路で求められる動きベクトルが信頼性があると判定し「１」を、閾値以上であれば「０」を出力する。ここで「１」は動きベクトルが適切と判断した場合で、動きベクトルでの補間値を使用し、「０」は動きベクトルでの補間が不適切と判断された場合で、フィールド内補間値を利用することに対応する。
【００６２】
この信頼性判定結果に従い、混合回路１６における混合度合いは制御することにより、動きベクトルでの補間が不適切と判断された場合は、フィールド内補間値を利用することで、本来と大きく異なる補正が行われ、画質劣化を引き起こすることが回避される。
【００６３】
（実施の形態３）
本発明の第３の実施の形態例は、（実施の形態１）における走査線補間装置の動きベクトル信頼性判定回路１９の一構成例を、図３の構成としたものである。
【００６４】
図３は、動きベクトル信頼性判定回路の構成図であり、３１は相関レベル検出回路、３２は最大値回路、３３は最小値回路、３４は差分回路、３５は差分レベル検出回路、３６は相関最小値検出回路である。
【００６５】
以下、図３の動きベクトル信頼性判定回路を用いた第３の実施の形態の走査線補間装置について、図３の動きベクトル信頼性判定回路の動作を中心に説明する。
相関値算出回路より算出された相関値が入力され、相関最小値検出回路により相関値の最小値である相関最小値が検出される。相関レベル検出回路３１により、所定のベクトルの内、相関値が相関最小値以上で相関最小値に一定値を加えた閾値以下である候補ベクトルが検出される。最大値回路３２、最小値回路３３により、候補ベクトルに対応した補間値の中での最大値、最小値が求まる。
【００６６】
差分レベル検出回路３５は、前記最大値および最小値の差が閾値以下であれば、動きベクトル検出回路で求められる動きベクトルが信頼性があると判定し「１」を、閾値以上であれば「０」を出力する。ここで「１」は動きベクトルが適切と判断した場合で、動きベクトルでの補間値を使用し、「０」は動きベクトルでの補間が不適切と判断された場合で、フィールド内補間値を利用することに対応する。この信頼性判定結果に従い、図１の混合回路１６における混合度合いを制御する。
【００６７】
これにより、動きベクトルでの補間が不適切と判断された場合は、フィールド内補間値を利用することで、本来と大きく異なる補正が行われ、画質劣化を引き起こすることが回避される。
【００６８】
（実施の形態４）本発明の第４の実施の形態例は、混合回路１６の一構成例を図５に記したものである。
【００７３】
図５（ａ）は、混合回路の構成図であり、５１は差分回路、５２は可変クリップ回路、５３は加算器である。
【００７４】
以下、図５（ａ）の混合回路を用いた第４の実施の形態の走査線補間装置について、図５（ａ）の混合回路の動作、図５（ｂ）の可変クリップ回路５２の特性例を中心に説明する。入力１は図１のフィールド内補間回路出力、入力２は図１の動きベクトル補間回路出力、制御入力は図１の動きベクトル信頼性判定回路出力に対応する。、差分回路５１において入力２から入力１を引いた差分が出力される。その差分結果は可変クリップ回路５２により、制御入力に対応したクリップレベルでクリップされる。可変クリップ回路出力と入力１は加算され、混合回路出力となる。
【００７５】
図５（ｂ）は可変クリップ回路５２の特性例である。制御入力は動きベクトル信頼性判定回路出力に対応する。動きベクトル信頼性判定回路出力が「０」の場合は動きベクトルでの補間が不適切と判断された場合で、クリップレベルが「０」となり、差分出力は０となる。このため混合回路の出力は、入力１つまりフィールド内補間値となる。
【００７６】
一方、動きベクトル信頼性判定回路出力が「１」の場合は動きベクトルでの補間が適切と判断された場合で、クリップレベルが「１」となり、これはクリップレベルが最大となり、クリップを行わないことに対応する。
【００７７】
入力１の信号レベルをＸｉ１、入力２の信号レベルをＸｉ２、とすると、混合回路出力Ｙｏは、（Ｘｉ２−Ｘｉ１）＋Ｘｉ１となり、Ｙｏ＝Ｘｉ２となる。このため混合回路の出力は、入力１つまりフィールド内補間値となる。
【００８０】
（実施の形態５）
図６は、本発明の第５の実施の形態における走査線補間装置の構成図であり、６１、６２は画像信号を記憶し、一定期間遅延するフィールドメモリ、６３はフィールド内補間回路、６４はフレーム間での動きベクトルをブロック単位で検出する動きベクトル検出回路、６５はベクトル補間値算出回路、６６は混合回路、６７はノンインターレース信号出力回路、６８はベクトル相関値算出回路、６０１は差分回路、６０２は垂直輪郭抽出回路回路、６０３は加算器である。以下、図６の走査線補間装置の動作について説明する。
【００８１】
まず入力端子に２：１インターレース走査された画像信号が供給されると、フィールドメモリ６１、フィールドメモリ６２により信号がそれぞれ１フィールド遅延される。フィールドメモリ６１の出力を現フィールドとすると、フィールドメモリ６２の出力からは前フィールドの信号が出力され、フィールドメモリ６１への入力は後フィールドの信号に対応する。ここで、現フィールドとは処理の対象となるフィールドを示し、前フィールドは現フィールドより１フィールド前のフィールド、後フィールドは現フィールドより１フィールド後のフィールドを示す。
【００８２】
現フィールドの画像信号は、フィールド内補間回路６３に入力される。ここで現フィールドの走査線間を補間したフィールド内補間値が算出され出力される。
【００８３】
前フィールドと後フィールドの画像信号は動きベクトル検出回路６４とベクトル補間値算出回路６５にそれぞれ入力される。ベクトル相関値算出回路は、前フィールドと後フィールドの画像信号において、所定の範囲内のベクトル毎に、ベクトルに応じそれぞれ移動した画像信号において、ベクトル相関値として、画素ブロック内の各画素毎に差分値の絶対値和もしくは前記差分値の二乗和を算出する回路である。そして、画素単位のベクトルとそれに対応したベクトル相関値を出力する。このベクトルとベクトル相関値は、動きベクトル検出回路６４に入力される。
【００８４】
動きベクトル検出回路６４は、ベクトル相関値算出回路で算出されたベクトルとそれに対応したベクトル相関値より、ベクトル相関値が最小になるベクトルを動きベクトルとして検出する。検出された動きベクトルはベクトル補間値算出回路６５に入力される。ベクトル補間値算出回路では、入力された前フィールドと後フィールドの画像信号を、動きベクトル検出回路６４で検出された動きベクトル量に従い移動することによりベクトル補間値を算出し、出力する。
【００８５】
また、動きベクトルに対応したベクトル相関値が閾値以下かどうかを判定し、閾値以下であれば１、そうでなければ０という判定値を判定結果出力する。
【００８６】
一方、前フィールドと後フィールドの画像信号は、ベクトル補間値算出回路６５にも入力され、動きベクトル検出回路６４で検出された動きベクトルに伴い、前フィールドまたは後フィールドの画像信号を移動することによりベクトル補間値を算出し、出力する。
【００８７】
ベクトル補間値は差分回路６０１に入力され、フィールド内補間信号との差分が抽出される、その差分は垂直輪郭抽出回路６０２により輪郭成分のみが抽出される、加算器６０３によりフィールド内補間信号が加算される。これにより加算器６０３は、垂直輪郭にのみ動きベクトル補間が適用された新たな動きベクトル補間値が出力される。
【００８８】
新たな動きベクトル補間値とフィールド内補間信号は、混合回路６６において混合される。そのとき、混合回路６６は、動きベクトル検出回路６４の判定値出力に応じて２つの信号の混合度合いが制御され、その度合いに基づいて混合された信号を出力する。これにより動きベクトル検出回路６４で動きベクトルが検出できない場合は、現フィールドの画像信号より求めた現フィールドの走査線間を補間した信号が、動きベクトルが検出された場合は、上記２つの信号を混合した信号が出力される。
【００８９】
混合回路６６の出力および現フィールドの信号はノンインターレース出力回路７７に入力される。ノンインターレース出力回路６７では混合回路６６の出力および現フィールドの信号が時間軸上で１／２に時間圧縮され、切り替えを行うことによりノンインターレース走査された画像信号を出力する。
【００９０】
フレーム間相関では正しい動きベクトル検出ができない例としては、画像が高速画像で補正ベクトル範囲を超える場合とか、また、フラッシュなどのように現フィールドのみ特異な場合がある。このような場合には、所定の範囲内のベクトルでフレーム間マッチングが良好、つまりフレーム間相関値小さくとも、フレーム間の動きベクトル補間値では正しい補正ができない。そのため、フレーム間相関での判定に加え、上記のような場合を回避することが必要となる。
【００９１】
上記のようにフレーム間相関では正しい動きベクトル検出ができない例の場合、フィールド内補間信号とフレーム間補間信号の差信号が多くの場合ある程度広い面積となることが多い。これは垂直方向で見ると、垂直低域成分が多いことに対応している。また、逆に通常の画像で動きベクトル処理により効果が現れるのは、画像の輪郭に対してである。これは垂直高域成分に対応している。このため、本実施の形態では、上記差信号に対し、垂直輪郭成分を抽出することにより、差信号がある広い面積となるような場合の垂直低域成分に相当する成分を、差信号フレーム間補正で誤補正となることを回避し、フィールド内補間信号低減させるともに、動きベクトル処理で有効な成分は抽出し残すことができる。
【００９２】
（実施の形態６）
本発明の第６の実施の形態例は、（実施の形態５）における走査線補間装置の垂直輪郭抽出回路を図７（ａ）の構成とした走査線補間装置である。
【００９３】
図７（ａ）は、垂直輪郭抽出回路の一例の構成図であり、７１、７２は１ライン遅延のためのラインメモリー、７３，７４，７５は乗算器、７６は加算器である。これらにより、一般的な３タップのＨＰＦを構成している。
【００９４】
図７（ｂ）は図７（ａ）の垂直輪郭抽出回路の特性例における入力である。入力は、ベクトル補間値とフィールド内補間の差分であり、１ラインのみの場合と４ライン連続の場合の例をを示している。１ラインのみの信号は本来必要な補間信号成分の場合の例として示し、４ライン連続の信号は、フレーム間相関では正しい動きベクトル検出ができず、本来不必要な補間信号成分の場合の例として示している。
【００９５】
フレーム間相関では正しい動きベクトル検出ができない例としては、画像が高速画像で補正ベクトル範囲を超える場合とか、また、フラッシュなどのように現フィールドのみ特異な場合がある。このような場合には、所定の範囲内のベクトルでフレーム間マッチングが良好、つまりフレーム間相関値小さくとも、フレーム間の動きベクトル補間値では正しい補正ができない。そのため、フレーム間相関での判定に加え、上記のような場合を回避することが必要となる。
【００９６】
上記のようにフレーム間相関では正しい動きベクトル検出ができない例の場合、フィールド内補間信号とフレーム間補間信号の差信号が多くの場合ある程度広い面積となることが多い。これは垂直方向で見ると、垂直低域成分が多いことに対応している。
【００９７】
また、逆に通常の画像で動きベクトル処理により効果が現れるのは、画像の輪郭に対してである。これは垂直高域成分に対応している。このため、本実施の形態では、上記差信号に対し、垂直ＨＰＦにより垂直高域成分を抽出することにより、差信号がある広い面積となるような場合の垂直低域成分に相当する成分を、差信号フレーム間補正で誤補正となることを回避し、フィールド内補間信号低減させるともに、動きベクトル処理で有効な成分は抽出し残すことができる。
【００９８】
図７（ｃ）は、図７（ａ）の垂直輪郭抽出回路における上記入力に対する出力を示す。
【００９９】
１ラインのみの信号に対してはゲインは１／２となっているものの信号成分が抽出され、４ライン連続の信号に対しては輪郭に相当する部分以外は信号成分が抑圧されているのことがわかる。これは本来必要な補間信号成分は使用し、フレーム間相関では正しい動きベクトル検出ができず、本来不必要な補間信号成分を抑圧することに対応している。
【０１００】
（実施の形態７）
本発明の第７の実施の形態例は、（実施の形態５）における走査線補間装置の垂直輪郭抽出回路を図８（ａ）の構成とした走査線補間装置である。
【０１０１】
図８（ａ）は、垂直輪郭抽出回路の一例の構成図であり、８１、８２は１ライン遅延のためのラインメモリー、８３，８４，８５は乗算器、８６は加算器、８７，８８は絶対値回路、８９は差分回路、８０は選択回路である。ラインメモリー８１、８２、乗算器８３，８４，８５、加算器８６で構成される部分は一般的な３タップのＨＰＦとして機能する。
【０１０２】
図８（ｂ）は図８（ａ）の垂直輪郭抽出回路の特性例である。入力は、ベクトル補間値とフィールド内補間の差分であり、１ラインのみの場合と４ライン連続の場合を例として示している。１ラインのみの信号は本来必要な補間信号成分の場合の例として示し、４ライン連続の信号は、フレーム間相関では正しい動きベクトル検出ができず、本来不必要な補間信号成分の場合の例として示している。
【０１０３】
フレーム間相関では正しい動きベクトル検出ができない例としては、画像が高速画像で補正ベクトル範囲を超える場合とか、また、フラッシュなどのように現フィールドのみ特異な場合がある。このような場合には、所定の範囲内のベクトルでフレーム間マッチングが良好、つまりフレーム間相関値小さくとも、フレーム間の動きベクトル補間値では正しい補正ができない。そのため、フレーム間相関での判定に加え、上記のような場合を回避することが必要となる。
【０１０４】
上記のようにフレーム間相関では正しい動きベクトル検出ができない例の場合、フィールド内補間信号とフレーム間補間信号の差信号が多くの場合ある程度広い面積となる。これは垂直方向で見ると、垂直低域成分が多いことに対応している。逆に通常の画像で動きベクトル処理により効果が現れるのは、画像の輪郭に対してである。これは垂直高域成分に対応している。このため、本実施の形態では、上記差信号に対し、垂直ＨＰＦにより垂直高域成分を抽出することにより、差信号がある広い面積となるような場合の垂直低域成分に相当する成分を、差信号フレーム間補正で誤補正となることを回避し、フィールド内補間信号低減させるともに、動きベクトル処理で有効な成分は抽出し残すような動作を行っている。
【０１０５】
さらに、入力をラインメモリ８１で１ライン遅延された信号であるラインメモリ８１の出力の絶対値と、前記ＨＰＦ出力つまり加算器８６の出力の絶対値とを差分回路により比較し、前記差分回路の出力により入力信号と前記ＨＰＦ出力の選択出力する選択回路を使用するにより、本来必要な補間信号成分は使用し、本来不必要な補間信号成分を抑圧する精度の向上を図っている。
【０１０６】
図８（ｃ）は、図８（ａ）の垂直輪郭抽出回路における上記入力に対する出力を示す。
【０１０７】
１ラインのみの信号に対してはゲインは１／２となっているものの信号成分のみが抽出され、４ライン連続の信号に対しては輪郭に相当する部分以外は信号成分が抑圧されていることがわかる。これは本来必要な補間信号成分は使用し、フレーム間相関では正しい動きベクトル検出ができず、本来不必要な補間信号成分を抑圧することに対応している。第６の実施の形態における図７（ｃ）の出力特性と比較すると、本来不必要な補間信号成分がより抑圧されている様子がわかる。
【０１０８】
（実施の形態８）
本発明の第８の実施の形態は、（実施の形態５）における走査線補間装置の垂直輪郭抽出回路を図９（ａ）の構成とした走査線補間装置である。
【０１０９】
図９（ａ）は、垂直輪郭抽出回路の一例の構成図であり、８１、８２は１ライン遅延のためのラインメモリー、９３は中間値回路、９６は加算器である。
【０１１０】
図９（ｂ）、図９（ｃ）は図９（ａ）の垂直輪郭抽出回路の特性例である。
【０１１１】
図９（ｂ）は入力信号を示す。入力は、ベクトル補間値とフィールド内補間の差分であり、１ラインのみの場合と４ライン連続の場合を例として示している。１ラインのみの信号は本来必要な補間信号成分の場合の例として示し、４ライン連続の信号は、フレーム間相関では正しい動きベクトル検出ができず、本来不必要な補間信号成分の場合の例として示している。
【０１１２】
フレーム間相関では正しい動きベクトル検出ができない例としては、画像が高速画像で補正ベクトル範囲を超える場合とか、また、フラッシュなどのように現フィールドのみ特異な場合がある。このような場合には、所定の範囲内のベクトルでフレーム間マッチングが良好、つまりフレーム間相関値小さくとも、フレーム間の動きベクトル補間値では正しい補正ができない。そのため、フレーム間相関での判定に加え、上記のような場合を回避することが必要となる。
【０１１３】
上記のようにフレーム間相関では正しい動きベクトル検出ができない例の場合、フィールド内補間信号とフレーム間補間信号の差信号が多くの場合ある程度広い面積となる。これは垂直方向で見ると、垂直低域成分が多いことに対応している。逆に通常の画像で動きベクトル処理により効果が現れるのは、画像の輪郭に対してである。これは垂直高域成分に対応している。このため、本実施の形態例では、上記差信号に対し、ラインメモリ９１，９２により、入力に対して１ラインおよび２ライン遅延された信号を取り出し、中間値回路により、差信号がある広い面積となるような場合、その成分を除去する。これにより、フレーム間補正で誤補正となることを回避し、フィールド内補間信号低減させるともに、動きベクトル処理で有効な成分は抽出し残すような動作を行っている。
【０１１４】
中間値回路を使用するにより、本来必要な補間信号成分は使用し、本来不必要な補間信号成分を抑圧する特性の向上を図っている。
【０１１５】
図９（ｃ）は、図９（ａ）の垂直輪郭抽出回路における上記入力に対する出力を示す。１ラインのみの信号に対しては信号成分のみが抽出され、４ライン連続の信号に対しては信号成分が抑圧されていることがわかる。これは本来必要な補間信号成分は使用し、フレーム間相関では正しい動きベクトル検出ができず、本来不必要な補間信号成分を抑圧することに対応している。第６の実施の形態における図７（ｃ）の出力特性と比較すると、本来不必要な補間信号成分がさらに抑圧されている様子がわかる。
【０１１６】
【発明の効果】
以上のように、第１〜第５の発明の走査線補間装置によれば、周期的な画像などの例において、正しくないベクトルにおいてもフレーム間マッチングが良好となる。このような場合フレーム間相関値が小さいベクトルが複数存在するが、その場合においても正しくないベクトルを選択し、誤った補正が行われることが回避される。これにより画質劣化の少ない走査線補間装置を実現できる。
【０１１７】
以上のように、第６の発明の走査線補間装置によれば、動きベクトルの選択および補間は、現フィールドの前後のフィールドのフレーム間相関（フレーム間マッチング）の連続的な情報に基いて行われているため、動きベクトル補間とフィールド内補間かの混合が連続的となり、なめらかな補正が行われる。また、フレーム間相関の度合いを使用して、連続的な変化に対応した上で、フレーム間相関の度合いと動きベクトルの選択の妥当さと概ね一致するような関数を使用することにより、動きベクトル補間値を適応する度合いが適切となり、質劣化の少ない走査線補間装置を実現できる。
【０１１８】
以上のように、第７の発明の走査線補間装置によれば、上記混合回路の構成により、フレーム間相関の度合いを使用して、連続的な変化に対応する際、図５に示すような可変クリップ回路を使用した場合、制御をクリップレベルで行うため、制御入力が低くい場合は当然、乗算器の入力つまり動きベクトルでの補間値とフィールド内補間値の差分の大きさに関わらず、小さなレベルを出力し、適切なレベルで動きベクトルでの補間情報を使用することになり、画質劣化の少ない走査線補間装置を実現できる。
【０１１９】
以上のように、第８〜第１１の発明の走査線補間装置によれば、高速で動く画像で補正可能なベクトル範囲を超える画像、またフラッシュなどにより現フィールドのみ特異な画像などの例において、正しくないベクトルにおいてもフレーム間マッチングが良好となる。この例のようにフレーム間マッチングが良好、つまりフレーム間相関値が小さくともフレーム間補正では正しい補正ができない場合においても、誤補正の少ない補間信号を得ることができる。これにより画質劣化の少ない走査線補間装置を実現できる。
【図面の簡単な説明】
【図１】本発明の一実施例における走査線補間装置の構成図
【図２】同走査線補間装置における動きベクトル信頼性判定回路の構成図
【図３】同走査線補間装置における動きベクトル信頼性判定回路の構成図
【図４】同走査線補間装置における動きベクトル信頼性判定回路の構成図
【図５】同走査線補間装置における混合回路の構成図
【図６】本発明の一実施例における走査線補間装置の構成図
【図７】同走査線補間装置における垂直輪郭抽出回路の構成図
【図８】同走査線補間装置における垂直輪郭抽出回路の構成図
【図９】同走査線補間装置における垂直輪郭抽出回路の構成図
【図１０】従来の走査線補間装置の構成図
【図１１】従来の走査線補間装置における混合回路の構成図
【符号の説明】
１１，１２，６１，６２，１０１，１０２ フィールドメモリ
１３，６３，１０３ フィールド内補間回路
１４，６４，１０４ 動きベクトル検出回路
１５，６５，１０５ ベクトル補間値算出回路
１６，６６，１０６ 混合回路
１７，６７，１０７ ノンインターレース信号出力回路
１８，６８ ベクトル相関値算出回路
１９，６９ 動きベクトル信頼性判定回路
２１，３１ 相関レベル検出回路
２２，３２ 最大値回路、
２３，３３ 最小値回路、
２４，３４ 差分回路、
２５，３５ 差分レベル検出回路
３６ 最小値検出回路
４１ 関数回路
５１，６０１，８９，９４，１１１ 差分回路
５２ 可変クリップ回路
５３，６０３，７６，８６，１１３ 加算器
６０２ 垂直輪郭抽出回路回路
７１，７２，８１，８２，９１，９２ ラインメモリー
７３，７４，７５，８３，８４，８５，１１２ 乗算器
８０ 選択回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a 2: 1 interlace scanning in a display device using a television receiver, CRT, liquid crystal, plasma display panel (hereinafter referred to as PDP (Plasma Display panel)), DMD (Digital Micromirror Device), etc. The present invention relates to a scanning line interpolating device that converts a processed image signal into a non-interlaced scanned image signal.
[0002]
[Prior art]
For example, a standard television signal such as NTSC or Hi-Vision is an interlace signal, and is composed of two fields in which one frame is shifted in the time and vertical directions. On the other hand, a scanning line structure having no deviation is called non-interlaced or progressive (sequential) scanning. The interlace signal causes line flicker when a high frequency component in the vertical direction of the image increases. Therefore, there is a process of making non-interlaced by interpolating the scanning lines of the part thinned out by interlacing with the peripheral scanning lines. Such processing is called sequential scan conversion and double-density conversion.
[0003]
As a method of using the preceding and succeeding fields for scanning line interpolation, there is a motion adaptation process. In the scanning line interpolation of the motion adaptation process, the scanning line to be interpolated is from the upper and lower adjacent scanning lines when the image is moving, or from the scanning line at the same position in the preceding and following fields when the image is stationary. Made.
[0004]
Further, recently, a method of applying motion vector detection to interpolation between images has been studied. A conventional scanning line interpolating apparatus of such a method is disclosed in Japanese Patent Laid-Open No. 1-108886. In this case, scanning lines at different positions in the preceding and following fields are used. The motion vector of the image is detected, the image signal of the previous field is moved according to the value, and the scanning line is interpolated. FIG. 10 is a block diagram of such a conventional scanning line interpolation apparatus.
[0005]
In FIG. 10, 101 and 102 are field memories, 103 is an intra-field interpolation circuit, 104 is a motion vector detection circuit, 105 is a vector interpolation value calculation circuit, 106 is a mixing circuit, and 107 is a non-interlace output circuit.
In the configuration as described above, when an image signal that has been subjected to 2: 1 interlace scanning is first supplied to the input terminal, the field memory 101 and the field memory 102 respectively delay the signal by one field. Assuming that the output of the field memory 101 is the current field, the output of the field memory 102 outputs a signal of the subsequent field, and the input corresponds to the signal of the previous field. Here, the current field indicates a field to be processed, the previous field indicates a field one field before the current field, and the subsequent field indicates a field one field after the current field.
[0006]
The image signal of the current field is input to the intra-field interpolation circuit 103, where an intra-field interpolation signal obtained by interpolating between the scanning lines of the current field is calculated and output.
The image signals of the previous field and the subsequent field are input to the motion vector detection circuit 104, and as the vector correlation value, for example, the absolute value of the luminance difference of the image signal that has moved the previous field and the subsequent field according to a vector within a predetermined range, respectively. By calculating and detecting a vector that minimizes the absolute value of the luminance difference, a motion vector in units of pixels is detected. Here, the predetermined range indicates a motion vector search range set in the actual configuration, and the same applies to the following. The detected motion vector is input to the vector interpolation value calculation circuit 105.
[0007]
In addition, it is determined whether or not the vector correlation value corresponding to the motion vector is equal to or less than a threshold value.
[0008]
On the other hand, the image signals of the previous field and the subsequent field are also input to the vector interpolation value calculation circuit 105, and the image signal of the previous field or the subsequent field is moved along with the motion vector detected by the motion vector detection circuit 104. Calculate and output the vector interpolation value.
[0009]
The vector interpolation value and the intra-field interpolation signal are mixed in the mixing circuit 106. At that time, the mixing circuit 106 controls the degree of mixing of the two signals in accordance with the determination value output of the motion vector detection circuit 104, and outputs a mixed signal based on the degree. As a result, when the motion vector cannot be detected by the motion vector detection circuit 104, a signal obtained by interpolating between the scanning lines of the current field obtained from the image signal of the current field is detected. A mixed signal is output.
[0010]
The output of the mixing circuit 106 and the current field signal are input to the non-interlaced output circuit 107. The non-interlace output circuit 107 time-compresses the output of the mixing circuit 106 and the current field signal by half on the time axis, and outputs a non-interlace-scanned image signal by switching.
[0011]
FIG. 11 shows a configuration example of a mixing circuit in a conventional scanning line interpolation apparatus. 111 is a difference circuit, 112 is a multiplier, and 113 is an adder. Input 1 corresponds to the output of the intra-field interpolation circuit 103 in FIG. 10, input 2 corresponds to the output of the motion vector interpolation value calculation circuit 105 in FIG. 10, and control input corresponds to the output of the motion vector detection circuit 104 in FIG. The difference circuit 111 outputs a difference obtained by subtracting the input 1 from the input 2. The difference result is multiplied by “1” or “0” of the control input by the multiplier 112. The multiplier output and the input 1 are added to form the mixing circuit output.
[0012]
When the control input is “0”, it is determined that the interpolation with the motion vector is inappropriate, and the difference output is multiplied by “0” to become zero. Therefore, the output of the mixing circuit is input 1, that is, an intra-field interpolation value. When the control input is “1”, it is determined that interpolation using a motion vector is appropriate, and 1 is multiplied.
[0013]
If the signal level of input 1 is Xi1, and the signal level of input 2 is Xi2, the mixed circuit output Yo is “(Xi2−Xi1) + Xi1”, and Yo = Xi2. Therefore, the output of the mixing circuit is input 1, that is, an intra-field interpolation value.
[0014]
Further, as an invention for improving the accuracy of motion vector detection, there is one disclosed in, for example, Japanese Patent Laid-Open No. 5-68293. The scanning line interpolation apparatus according to the present invention uses a motion vector detected by each block adjacent to the block of interest in block units from the image signal one field before and one field after the current field. The detection accuracy is improved.
[0015]
If the correlation between the motion vectors detected in each block adjacent to the target block is high, it can be determined that the motion vector detected in the target block is accurate, and conversely, the motion vector detected in the target block and the target block If the correlation of the motion vector detected in each block adjacent to is low, it can be determined that the motion vector detected in the block of interest is inaccurate.
[0016]
Therefore, the difference value between the motion vector detected in each block and the motion vector detected in each block adjacent to the block is obtained, and the threshold value determined by the presence or absence of the edge of the block is compared with the difference value. Thus, the accuracy of motion vector detection is improved by determining how many motion vectors detected in each block match the motion vectors detected in each block adjacent to the block. .
[0017]
[Problems to be solved by the invention]
However, in the scanning line interpolation apparatus configured as described above, selection and interpolation of motion vectors are performed based on inter-frame matching (inter-frame correlation) between fields before and after the current field. For this reason, if the inter-frame matching is good, even if it is completely different from the intra-field interpolation value, the motion vector interpolation value corresponding to the motion vector, which is the interpolation value calculated from the preceding and succeeding fields, is selected and erroneous correction is performed. End up.
[0018]
For example, when the image is periodic, there may be a plurality of vectors that have good inter-frame matching, that is, a small inter-frame correlation value. These multiple vectors are referred to herein as candidate vectors. Candidate vectors consist of correct motion vectors and incorrect vectors. Corresponding to a plurality of candidate vectors, there are a plurality of correction results. The correction result for the original correct motion vector may be greatly different from the correction result for the incorrect vector. Since the inter-frame correlation value of the candidate vector is small and may be all zero in some cases, when an incorrect vector is selected, the correction result is greatly different and incorrect correction is performed.
[0019]
As an example of a case where an image is periodic, consider a case where black and white is repeated in units of two strokes in the horizontal direction with vertical stripes. In this case, the cycle is four pixels. The fields before and after the current field are referred to as a first field and a second field, respectively. Consider a case where one pixel is moved in the horizontal right direction between each field from the first field to the current field and from the current field to the second field. In this case, when moving 1 + 2n in the horizontal right direction, the correlation value between frames is 0 in any case, and the matching between frames is considered good. Here, n is an integer (..- 1, 0, 1, ..). In a vector moved by one pixel in the horizontal right direction (n = 0), the inter-frame correlation value is 0 and the interpolation value is 1.
[0020]
In addition, in a case where -1 pixel is moved in the horizontal right direction (n = -1), that is, a vector in which 1 pixel is moved in the horizontal left direction (n = -1), the inter-frame correlation value is 0 and the interpolation value is 0. Thus, when the image is periodic, appropriate correction can be performed only with the inter-frame correlation value, and correction significantly different from the original may be performed.
[0021]
Further, in the scanning line interpolation apparatus configured as described above, selection and interpolation of motion vectors are performed based on inter-frame correlation (inter-frame matching) between fields before and after the current field. However, the comparison with the threshold value selects either the motion vector interpolation or the intra-field interpolation even if the inter-frame correlation changes gently, and smooth correction is not performed. Even if the degree of correlation between frames is used to cope with a continuous change, the degree of correlation between frames and the validity of selection of a motion vector do not necessarily match. For this reason, the degree of adaptation of the motion vector interpolation value is not appropriate, and improper correction is performed.
[0022]
In addition, when using a degree of correlation between frames to cope with a continuous change, when a multiplier as shown in FIG. 11 is used, even if the control input is low, the input of the multiplier, that is, the motion vector is used. When the difference between the interpolation value of 1 and the interpolation value in the field is large, a large level is output, and an inappropriate situation in the interpolation with the motion vector may be conspicuous. The control input changes between “0” and “1”, and is set to “1” when interpolation with a motion vector is determined to be most appropriate, and “0” when interpolation within a field is determined to be most appropriate.
[0023]
For example, if the control input has a value of “0.1”, this level is a state in which interpolation with a motion vector is considered to be almost inappropriate, When the difference between the interpolation values is 8 bits and the maximum value is 255, the multiplier output is 25, and interpolation information with a relatively large motion vector at that level is used. When the multiplier is used in this way, the ratio is controlled. Therefore, when the difference between the multiplier input, that is, the interpolated value in the motion vector and the intra-field interpolated value is large, the output also becomes a large level. Inappropriate circumstances may stand out.
[0024]
For example, if the image is a high-speed image and exceeds the predetermined correction vector range, or if only the current field is unique due to flash etc., matching between frames is good, that is, even if the correlation value between frames is small, correct correction is possible with inter-frame correction. There is a case that cannot be done.
[0025]
As an example of a high-speed image, there is a case where the current field is white because the white ball moves at high speed in a black background, but the field before and after that position is black.
As a case where only the current field is peculiar, there is a case where only one field which is the current field is white (a screen where the flash is brightened) due to flash or the like, and the preceding and following fields are normal screens.
[0026]
In any of the above cases, there are vectors whose correlation values between frames are small, but due to the nature of the image, correct interpolation correction is performed on vectors obtained between frames, and correction that differs greatly from the original is performed. As a result, inappropriate processing is performed in a wide range, and horizontal stripes are generated in a wide range.
[0027]
In addition, when it is caused by the image as described above, the method for improving the detection accuracy of the motion vector by using the correlation of the motion vector detected in each block adjacent to the block of interest is based on the image condition as described above. In the case of a small area, a certain improvement is possible, but in the case of a large area, improvement is impossible in principle.
[0028]
[Means for Solving the Problems]
In order to solve the above-described problem, the scanning line interpolation device according to the first aspect of the present invention relates to a correlation in a pixel block including a corresponding pixel for each vector within a predetermined range in the image signals of the first field and the second field. A vector correlation value calculation circuit for calculating a value, a motion vector detection circuit for detecting a motion vector from the correlation value calculated by the vector correlation value calculation circuit, and intra-field interpolation for generating an interpolation signal using an image signal of the current field Obtained from a circuit, a vector interpolation value calculation circuit that generates an interpolation signal from the pixels of the first field or the second field, corresponding to the motion vector detected by the motion vector detection, and the intra-field interpolation circuit. The mixed intra-field interpolation signal and the vector interpolation signal obtained from the vector interpolation value calculation circuit are mixed. A scanning line interpolation device comprising: a circuit; and a non-interlaced signal output circuit that outputs a non-interlaced scanned image signal from a scanning line-interpolated interpolation signal output from the image signal of the current field and the signal mixing circuit; For each vector within a predetermined range, a vector interpolation value calculation circuit for calculating an interpolation value using the pixels of the first field and the second field corresponding to the vector, the vector correlation value calculation circuit, and the vector interpolation value A motion vector reliability determination circuit for calculating a reliability determination signal for determining the reliability of a motion vector from a correlation value and an interpolation value corresponding to a predetermined vector calculated by a calculation circuit; The mixing degree in the mixing circuit is controlled according to the reliability determination signal calculated by It is intended.
[0029]
In the scanning line interpolation apparatus according to the second aspect of the present invention, the vector correlation value calculation circuit in the scanning line interpolation apparatus of the first aspect of the present invention is configured such that the first field one field before the current field and the second field after the first field. In the image signal, a circuit that calculates a difference value for each vector in a predetermined range and for each pixel in the pixel block, and calculates a sum of absolute values of the difference values or a square sum of the difference values as a vector correlation value. It is characterized by being.
[0030]
In the scanning line interpolation apparatus according to the third aspect of the invention, the motion vector detection circuit in the scanning line interpolation apparatus of the first aspect of the invention detects a motion vector that minimizes the vector correlation value calculated by the vector correlation value calculation circuit. It is a circuit.
[0031]
In the scanning line interpolation apparatus according to the fourth aspect of the invention, the motion vector reliability determination circuit in the scanning line interpolation apparatus of the first aspect of the invention has a constant correlation value corresponding to a predetermined vector calculated by the correlation value calculation circuit. A correlation level detection circuit for detecting that the value is equal to or less than a value, a maximum value circuit for determining a maximum value and a minimum value of the interpolated value in a vector whose correlation value is equal to or less than a certain value based on an output of the correlation level detection circuit, and a minimum value It comprises a value circuit and a difference level detection circuit for detecting that the difference between the maximum value and the minimum value is not more than a certain value.
[0032]
In the scanning line interpolation apparatus according to the fifth aspect of the present invention, the motion vector reliability determination circuit in the scanning line interpolation apparatus of the first aspect includes a correlation value corresponding to a predetermined vector calculated by the correlation value calculation circuit. A minimum correlation value detection circuit for calculating a minimum correlation value, and a maximum value for obtaining a maximum value and a minimum value of the interpolation value in a vector in which a difference between the correlation value corresponding to the predetermined vector and the minimum correlation value is a predetermined value or less. The circuit includes a circuit and a minimum value circuit, and a difference level detection circuit for detecting that the difference between the maximum value and the minimum value is equal to or less than a predetermined value.
[0033]
According to a sixth aspect of the present invention, there is provided a scanning line interpolating apparatus in which the motion vector reliability determining circuit in the first aspect of the scanning line interpolating apparatus has a minimum correlation value corresponding to a predetermined vector calculated by the correlation value calculating circuit. And a function circuit that outputs a reliability determination value.
[0034]
According to a seventh aspect of the present invention, there is provided the scanning line interpolation apparatus, wherein the mixing circuit in the first aspect of the invention is a difference circuit for calculating a difference between the vector interpolation signal and the intra-field interpolation signal, and the difference circuit output. A difference control circuit that controls the signal according to a reliability determination signal calculated by the motion vector reliability determination circuit, and an adder that adds the intra-field interpolation signal and the control circuit output. .
[0035]
According to an eighth aspect of the present invention, there is provided a scanning line interpolation apparatus, wherein the difference control circuit in the scanning line interpolation apparatus of the first aspect comprises a clip circuit.
[0036]
According to a ninth aspect of the present invention, there is provided a scanning line interpolating apparatus comprising a current field, a first field which is a field one field before the current field, and a second field image signal which is a field one field after the current field. A vector correlation value calculation circuit for calculating a correlation value in a pixel block including a corresponding pixel for each vector within a predetermined range, and a motion for detecting a motion vector from the correlation value calculated by the vector correlation value calculation circuit From a vector detection circuit, an intra-field interpolation circuit that generates an interpolation signal using an image signal of the current field, and pixels of the first field or the second field corresponding to the motion vector detected by the motion vector detection Obtained from a vector interpolation value calculation circuit for generating an interpolation signal and the intra-field interpolation circuit A non-interlaced signal from the scanning line interpolation signal output from the mixing circuit and the image signal of the current field. A scanning line interpolation device comprising a non-interlace signal output circuit for outputting a scanned image signal, wherein the mixing circuit calculates a difference between the vector interpolation signal and the intra-field interpolation signal; and the difference It is characterized by comprising a vertical contour extraction circuit that performs vertical filter processing on the circuit output, and an adder that adds the intra-field interpolation signal and the vertical contour extraction circuit output.
[0037]
According to a tenth aspect of the present invention, there is provided a scanning line interpolation apparatus characterized in that the vertical contour extraction circuit in the scanning line interpolation apparatus of the first aspect is an HPF in the vertical direction of the input signal.
[0038]
In the scanning line interpolation device according to the eleventh aspect of the invention, the vertical contour extraction circuit in the scanning line interpolation device according to the first aspect of the invention calculates the HPF in the vertical direction to the input signal, the absolute value of the input signal, and the absolute value of the HPF output. It comprises a difference circuit to be compared and a selection circuit for selectively outputting an input signal and the HPF output by the output of the difference circuit.
[0039]
According to a twelfth aspect of the present invention, the vertical contour extraction circuit in the first aspect of the invention is an intermediate value circuit that takes an intermediate value between the current line and the upper and lower lines in the vertical direction, It is characterized by comprising a difference circuit for calculating a difference between intermediate value circuit outputs.
[0040]
For example, when the image is periodic, the correction values corresponding to the candidate vectors may differ greatly depending on the configurations of the first to sixth inventions. In such a case, even if the inter-frame correlation is good, the motion vector It is determined that the reliability is low, and inter-frame interpolation is used without performing inter-frame interpolation using motion vectors. Therefore, in the image signals of the first field and the second field, the correlation value between the pixel blocks calculated by the vector correlation value calculation circuit and the interpolation value calculated by the vector interpolation value calculation circuit are within a predetermined range. Each of the vectors is obtained, and the reliability of the motion vector is determined from both the correlation value and the interpolation value.
[0041]
Specifically, the correlation value and the vector interpolation value are obtained for each vector within a predetermined range, and in the process of obtaining the vector and the vector interpolation value with the smallest correlation value, the correlation value is constant. A vector and a vector interpolation value that are equal to or less than a threshold value of 1 are obtained. These are called a candidate vector and a candidate vector interpolation value, respectively. Further, the maximum value and the minimum value of the candidate vector interpolation values are obtained, and the difference between the maximum value and the minimum value is obtained. The difference between the maximum value and the minimum value is referred to as a candidate vector interpolation difference. If the candidate vector interpolation difference is equal to or smaller than a certain second threshold value, it is determined that there is reliability, and if it is equal to or larger than the second threshold value, it is determined that there is no reliability.
[0042]
Based on the determination result of this reliability, inter-frame interpolation based on motion vectors and intra-field interpolation are output so that inter-frame interpolation based on motion vectors is output when there is reliability, and intra-field interpolation is output when there is no reliability. Controls the mixing ratio of interpolation. In this example, the mixing ratio is 1 or 0.
[0043]
As described above, it is possible to determine the reliability of the motion vector more accurately than the determination based on only the correlation value, and it is possible to prevent interpolation of the wrong image signal by the motion vector, and as a result, non-interlaced scanning with less image quality degradation is performed. The obtained image signal is obtained.
[0044]
According to the configuration of the seventh aspect of the invention, since the selection and interpolation of motion vectors are performed based on continuous information of inter-frame correlation (inter-frame matching) of fields before and after the current field, the degree of motion vector correlation The degree of adaptation of the motion vector interpolation value is appropriate by using a function that roughly matches the degree of correlation between frames and the appropriateness of motion vector selection after dealing with continuous changes using Thus, good correction is performed.
[0045]
When the variable clip circuit as shown in FIG. 5 is used when dealing with a continuous change using the degree of inter-frame correlation according to the configuration of the eighth invention, the control is performed at the clip level. Of course, if the input is low, output a small level regardless of the difference between the multiplier input, that is, the interpolated value in the motion vector and the interpolated value in the field, and interpolation information in the motion vector at the appropriate degree level. Will be used.
[0046]
With the configurations of the ninth invention to the twelfth invention, when the vector range that can be corrected with an image moving at high speed as described above is exceeded, or when only the current field is unique due to flash or the like, the matching between frames is good, that is, the frame Even when the inter-correlation value is small, even when correct correction cannot be performed by inter-frame correction, an interpolation signal with less error correction can be obtained.
[0047]
As described above, when the vector range that can be corrected by an image moving at high speed is exceeded, the difference signal between the intra-field interpolation signal and the inter-frame interpolation signal has a certain wide area. This corresponds to a large amount of vertical low frequency components when viewed in the vertical direction. Conversely, the effect of motion vector processing in a normal image appears on the contour of the image. This corresponds to the vertical high frequency component. For this reason, the present invention extracts a component corresponding to the vertical low-frequency component when the difference signal has a wide area by extracting the vertical high-frequency component from the difference signal by the vertical contour extraction circuit processing. In addition, it is possible to avoid erroneous correction due to the correction between the difference signal frames, to reduce the intra-field interpolation signal, and to leave the effective component extracted by the motion vector processing. By adding this component to the intra-field interpolation signal, an interpolation signal with less error correction can be obtained.
[0048]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0049]
(Embodiment 1)
FIG. 1 is a block diagram of the scanning line interpolation apparatus according to the first embodiment. Reference numerals 11 and 12 denote field memories that store image signals and delay them for a fixed period. Reference numeral 13 denotes an intra-field interpolation circuit. Motion vector detection circuit for detecting a motion vector of each block, 15 is a vector interpolation value calculation circuit, 16 is a mixing circuit, 17 is a non-interlace signal output circuit, 18 is a vector correlation value calculation circuit, and 19 is a motion vector reliability determination. Circuit. Hereinafter, the operation of the scanning line interpolation apparatus of FIG. 1 will be described.
[0050]
First, when an image signal subjected to 2: 1 interlace scanning is supplied to the input terminal, the signal is delayed by one field by the field memory 11 and the field memory 12, respectively. If the output of the field memory 11 is the current field, the signal of the previous field is output from the output of the field memory 12, and the input to the field memory 11 corresponds to the signal of the subsequent field. Here, the current field indicates a field to be processed, the previous field indicates a field one field before the current field, and the subsequent field indicates a field one field after the current field.
[0051]
The image signal of the current field is input to the intra-field interpolation circuit 13. Here, an inter-field interpolation value obtained by interpolating between the scanning lines of the current field is calculated and output. The image signals of the previous field and the subsequent field are input to the vector correlation value calculation circuit 15 and the vector interpolation value calculation circuit 15, respectively. The vector correlation value calculation circuit 18 uses a vector correlation value as a vector correlation value for each pixel in the pixel block for each vector within a predetermined range in the image signal of the previous field and the subsequent field. It is a circuit for calculating an absolute value sum of difference values or a square sum of the difference values. Then, a pixel unit vector and a corresponding vector correlation value are output. The vector and the vector correlation value are input to the motion vector detection circuit 14 and the motion vector reliability determination circuit 19.
[0052]
The motion vector detection circuit 14 detects a vector having a minimum vector correlation value as a motion vector from the vector calculated by the vector correlation value calculation circuit 18 and the corresponding vector correlation value. The detected motion vector is input to the vector interpolation value calculation circuit 15.
[0053]
The vector interpolation value calculation circuit 15 calculates and outputs a vector interpolation value by moving the input image signals of the previous field and the subsequent field according to the motion vector amount detected by the motion vector detection circuit 14.
[0054]
The motion vector reliability determination circuit 19 determines the reliability of the motion vector from the correlation value and the interpolation value corresponding to the predetermined vector calculated by the vector correlation value calculation circuit 18 and the vector interpolation value calculation circuit 15. A determination signal is calculated. The mixing circuit 16 mixes the vector interpolation value calculated from the signal between frames by the vector correlation value calculation circuit and the intra-field interpolation signal. At this time, the degree of mixing in the mixing circuit 16 is controlled according to the reliability determination signal calculated by the motion vector reliability determination circuit.
[0055]
The output of the mixing circuit 16 and the current field signal are input to the non-interlaced output circuit 107. The non-interlace output circuit 107 time-compresses the output of the mixing circuit 106 and the current field signal by half on the time axis, and outputs a non-interlace-scanned image signal by switching.
[0056]
The reliability determination in the motion vector reliability determination circuit 19 is performed by obtaining a vector correlation value and a vector interpolation value for each vector within a predetermined range, and calculating them. When the vector correlation value is small, there is a high possibility that the vector corresponding to the vector correlation value is a motion vector. However, if there are a plurality of vector correlation values determined to be small and the vector interpolation values corresponding to these vector correlation values vary widely, the possibility of an incorrect motion vector is high.
[0057]
As a specific example of such a case, there is a case where black and white is repeated in units of two strokes in the horizontal direction with vertical stripes as described above. When the image is periodic as described above, appropriate correction cannot be performed only by the inter-frame correlation value, and correction that is largely different from the original may be performed. On the other hand, by performing the reliability determination as described above, an appropriate correction cannot be performed only with the inter-frame correlation value, such as when the image is periodic, and a case where correction significantly different from the original is performed. Can be judged. By controlling the degree of mixing in the mixing circuit 16 according to the motion vector reliability determination result, if it is determined that the interpolation with the motion vector is inappropriate, it is greatly different from the original by using the intra-field interpolation value. Correction is performed and it is avoided that image quality is deteriorated.
[0058]
(Embodiment 2)
The second embodiment of the present invention is a configuration example of the motion vector reliability determination circuit 19 of the scanning line interpolation apparatus in (Embodiment 1) shown in FIG. FIG. 2 is a block diagram of the motion vector reliability determination circuit 19, where 21 is a correlation level detection circuit, 22 is a maximum value circuit, 23 is a minimum value circuit, 24 is a difference circuit, and 25 is a difference level detection circuit. In the following, a scanning line interpolation apparatus according to the second embodiment using the motion vector reliability determination circuit of FIG. 2 will be described focusing on the operation of the motion vector reliability determination circuit of FIG.
[0059]
In the correlation level detection circuit 21 to which the correlation value calculated in the vector correlation value calculation circuit 18 of the scanning line interpolation apparatus in (Embodiment 1) is input, a candidate whose correlation value is a predetermined value or less among predetermined vectors A vector is detected.
[0060]
The detected candidate vector is input to the maximum value circuit 22 and the minimum value circuit 23, and the maximum value circuit 22 and the minimum value circuit 23 obtain the maximum value and the minimum value among the interpolation values corresponding to the candidate vector. .
[0061]
The difference level detection circuit 25 determines that the motion vector obtained by the motion vector detection circuit is reliable if the difference between the maximum value and the minimum value is less than or equal to the threshold value. 0 "is output. Here, “1” indicates that the motion vector is determined to be appropriate, and an interpolation value based on the motion vector is used. “0” indicates that interpolation based on the motion vector is determined to be inappropriate. It corresponds to using.
[0062]
By controlling the degree of mixing in the mixing circuit 16 in accordance with the reliability determination result, if it is determined that the interpolation with the motion vector is inappropriate, the intra-field interpolation value is used, so that the correction largely different from the original is performed. This is done to avoid image quality degradation.
[0063]
(Embodiment 3)
In the third embodiment of the present invention, a configuration example of the motion vector reliability determination circuit 19 of the scanning line interpolation apparatus in (Embodiment 1) is configured as shown in FIG.
[0064]
FIG. 3 is a block diagram of a motion vector reliability determination circuit, in which 31 is a correlation level detection circuit, 32 is a maximum value circuit, 33 is a minimum value circuit, 34 is a difference circuit, 35 is a difference level detection circuit, and 36 is a correlation. This is a minimum value detection circuit.
[0065]
Hereinafter, the scanning line interpolation apparatus according to the third embodiment using the motion vector reliability determination circuit of FIG. 3 will be described focusing on the operation of the motion vector reliability determination circuit of FIG.
The correlation value calculated from the correlation value calculation circuit is input, and the minimum correlation value, which is the minimum correlation value, is detected by the minimum correlation value detection circuit. The correlation level detection circuit 31 detects a candidate vector having a correlation value equal to or higher than the minimum correlation value and equal to or lower than a threshold obtained by adding a constant value to the minimum correlation value. The maximum value circuit 32 and the minimum value circuit 33 determine the maximum value and the minimum value among the interpolation values corresponding to the candidate vectors.
[0066]
The difference level detection circuit 35 determines that the motion vector obtained by the motion vector detection circuit is reliable if the difference between the maximum value and the minimum value is less than or equal to the threshold, and determines “1” if the difference is greater than or equal to the threshold. 0 "is output. Here, “1” indicates that the motion vector is determined to be appropriate, and an interpolation value based on the motion vector is used. “0” indicates that interpolation based on the motion vector is determined to be inappropriate. It corresponds to using. In accordance with the reliability determination result, the degree of mixing in the mixing circuit 16 in FIG. 1 is controlled.
[0067]
As a result, when it is determined that the interpolation using the motion vector is inappropriate, the intra-field interpolation value is used to perform a correction that is significantly different from the original, thereby avoiding image quality deterioration.
[0068]
(Embodiment 4) The fourth embodiment of the present invention is a configuration example of the mixing circuit 16 shown in FIG.
[0073]
FIG. 5A is a configuration diagram of the mixing circuit, in which 51 is a difference circuit, 52 is a variable clip circuit, and 53 is an adder.
[0074]
Hereinafter, with respect to the scanning line interpolating device of the fourth embodiment using the mixing circuit of FIG. 5A, the operation of the mixing circuit of FIG. 5A and the characteristic example of the variable clip circuit 52 of FIG. The explanation will be focused on. Input 1 corresponds to the output of the intra-field interpolation circuit of FIG. 1, input 2 corresponds to the output of the motion vector interpolation circuit of FIG. 1, and control input corresponds to the output of the motion vector reliability determination circuit of FIG. The difference circuit 51 outputs the difference obtained by subtracting the input 1 from the input 2. The difference result is clipped by the variable clip circuit 52 at a clip level corresponding to the control input. The variable clip circuit output and the input 1 are added to form a mixed circuit output.
[0075]
FIG. 5B is a characteristic example of the variable clip circuit 52. The control input corresponds to the output of the motion vector reliability determination circuit. When the motion vector reliability determination circuit output is “0”, it is determined that the interpolation with the motion vector is inappropriate, the clip level is “0”, and the difference output is 0. Therefore, the output of the mixing circuit is input 1, that is, an intra-field interpolation value.
[0076]
On the other hand, when the motion vector reliability determination circuit output is “1”, it is determined that the interpolation with the motion vector is appropriate, and the clip level is “1”, which is the maximum clip level and no clipping is performed. Corresponding to that.
[0077]
Assuming that the signal level of input 1 is Xi1 and the signal level of input 2 is Xi2, the mixed circuit output Yo is (Xi2-Xi1) + Xi1, and Yo = Xi2. Therefore, the output of the mixing circuit is input 1, that is, an intra-field interpolation value.
[0080]
(Embodiment 5)
FIG. 6 is a configuration diagram of a scanning line interpolation apparatus according to the fifth embodiment of the present invention, in which 61 and 62 are field memories that store image signals and are delayed for a certain period, 63 is an intra-field interpolation circuit, and 64 is A motion vector detection circuit that detects a motion vector between frames in units of blocks, 65 is a vector interpolation value calculation circuit, 66 is a mixing circuit, 67 is a non-interlace signal output circuit, 68 is a vector correlation value calculation circuit, and 601 is a difference circuit 602 is a vertical contour extraction circuit, and 603 is an adder. Hereinafter, the operation of the scanning line interpolation apparatus of FIG. 6 will be described.
[0081]
First, when an image signal subjected to 2: 1 interlace scanning is supplied to the input terminal, the signal is delayed by one field by the field memory 61 and the field memory 62, respectively. If the output of the field memory 61 is the current field, the signal of the previous field is output from the output of the field memory 62, and the input to the field memory 61 corresponds to the signal of the subsequent field. Here, the current field indicates a field to be processed, the previous field indicates a field one field before the current field, and the subsequent field indicates a field one field after the current field.
[0082]
The image signal of the current field is input to the intra-field interpolation circuit 63. Here, an inter-field interpolation value obtained by interpolating between the scanning lines of the current field is calculated and output.
[0083]
The image signals of the previous field and the subsequent field are input to the motion vector detection circuit 64 and the vector interpolation value calculation circuit 65, respectively. The vector correlation value calculation circuit calculates a difference for each pixel in the pixel block as a vector correlation value in the image signal moved according to the vector for each vector within a predetermined range in the image signal of the previous field and the subsequent field. It is a circuit for calculating an absolute value sum of values or a square sum of the difference values. Then, a pixel unit vector and a corresponding vector correlation value are output. The vector and the vector correlation value are input to the motion vector detection circuit 64.
[0084]
The motion vector detection circuit 64 detects a vector having a minimum vector correlation value as a motion vector from the vector calculated by the vector correlation value calculation circuit and the corresponding vector correlation value. The detected motion vector is input to the vector interpolation value calculation circuit 65. The vector interpolation value calculation circuit calculates and outputs a vector interpolation value by moving the input image signals of the previous field and the subsequent field according to the motion vector amount detected by the motion vector detection circuit 64.
[0085]
In addition, it is determined whether or not the vector correlation value corresponding to the motion vector is equal to or less than a threshold value.
[0086]
On the other hand, the image signals of the previous field and the subsequent field are also input to the vector interpolation value calculation circuit 65, and the image signal of the previous field or the subsequent field is moved along with the motion vector detected by the motion vector detection circuit 64. Calculate and output the vector interpolation value.
[0087]
The vector interpolation value is input to the difference circuit 601 and the difference from the intra-field interpolation signal is extracted. Only the contour component is extracted from the difference by the vertical contour extraction circuit 602. The adder 603 adds the intra-field interpolation signal. Is done. As a result, the adder 603 outputs a new motion vector interpolation value in which the motion vector interpolation is applied only to the vertical contour.
[0088]
The new motion vector interpolation value and the intra-field interpolation signal are mixed in the mixing circuit 66. At that time, the mixing circuit 66 controls the degree of mixing of the two signals in accordance with the determination value output of the motion vector detection circuit 64, and outputs a mixed signal based on the degree. As a result, when the motion vector cannot be detected by the motion vector detection circuit 64, a signal obtained by interpolating between the scanning lines of the current field obtained from the image signal of the current field is detected. A mixed signal is output.
[0089]
The output of the mixing circuit 66 and the current field signal are input to the non-interlace output circuit 77. The non-interlace output circuit 67 time-compresses the output of the mixing circuit 66 and the current field signal by half on the time axis, and outputs a non-interlace-scanned image signal by switching.
[0090]
Examples of a case where correct motion vector detection cannot be performed by inter-frame correlation include a case where an image is a high-speed image and exceeds a correction vector range, or a case where only the current field is unique such as a flash. In such a case, matching between frames is good with a vector within a predetermined range, that is, even if the correlation value between frames is small, correct correction cannot be made with the motion vector interpolation value between frames. Therefore, in addition to the determination based on the inter-frame correlation, it is necessary to avoid the above case.
[0091]
In the case of an example in which correct motion vector detection cannot be performed by inter-frame correlation as described above, the difference signal between the intra-field interpolation signal and the inter-frame interpolation signal often has a large area to some extent. This corresponds to a large amount of vertical low frequency components when viewed in the vertical direction. On the other hand, the effect of motion vector processing in a normal image appears on the contour of the image. This corresponds to the vertical high frequency component. For this reason, in the present embodiment, by extracting a vertical contour component from the difference signal, a component corresponding to a vertical low-frequency component in a case where the difference signal has a wide area is represented between the difference signal frames. It is possible to avoid erroneous correction by correction, reduce the inter-field interpolation signal, and extract and leave effective components by motion vector processing.
[0092]
(Embodiment 6)
The sixth embodiment of the present invention is a scanning line interpolation apparatus in which the vertical contour extraction circuit of the scanning line interpolation apparatus in (Embodiment 5) is configured as shown in FIG.
[0093]
FIG. 7A is a configuration diagram of an example of a vertical contour extraction circuit, in which 71 and 72 are line memories for one-line delay, 73, 74, and 75 are multipliers, and 76 is an adder. Thus, a general 3-tap HPF is configured.
[0094]
FIG. 7B is an input in the characteristic example of the vertical contour extraction circuit of FIG. The input is the difference between the vector interpolation value and the intra-field interpolation, and shows an example in the case of only one line and in the case of four consecutive lines. A signal of only one line is shown as an example in the case of an originally necessary interpolation signal component, and a four-line continuous signal cannot be detected as a correct motion vector by inter-frame correlation, and is an example in the case of an originally unnecessary interpolation signal component. Show.
[0095]
Examples of a case where correct motion vector detection cannot be performed by inter-frame correlation include a case where an image is a high-speed image and exceeds a correction vector range, or a case where only the current field is unique such as a flash. In such a case, matching between frames is good with a vector within a predetermined range, that is, even if the correlation value between frames is small, correct correction cannot be made with the motion vector interpolation value between frames. Therefore, in addition to the determination based on the inter-frame correlation, it is necessary to avoid the above case.
[0096]
In the case of an example in which correct motion vector detection cannot be performed by inter-frame correlation as described above, the difference signal between the intra-field interpolation signal and the inter-frame interpolation signal often has a large area to some extent. This corresponds to a large amount of vertical low frequency components when viewed in the vertical direction.
[0097]
On the other hand, the effect of motion vector processing in a normal image appears on the contour of the image. This corresponds to the vertical high frequency component. For this reason, in the present embodiment, a component corresponding to a vertical low-frequency component in a case where the difference signal has a wide area by extracting a vertical high-frequency component with the vertical HPF from the difference signal, It is possible to avoid erroneous correction due to the correction between the difference signal frames, to reduce the inter-field interpolation signal, and to extract and leave the effective component by the motion vector processing.
[0098]
FIG. 7C shows an output corresponding to the above input in the vertical contour extraction circuit of FIG.
[0099]
The signal component is extracted although the gain is ½ for the signal of only one line, and the signal component is suppressed except for the portion corresponding to the contour for the signal of four lines continuous. I understand. This corresponds to the fact that an interpolation signal component that is originally necessary is used, correct motion vector detection cannot be performed by inter-frame correlation, and interpolation signal components that are originally unnecessary are suppressed.
[0100]
(Embodiment 7)
The seventh embodiment of the present invention is a scanning line interpolation apparatus in which the vertical contour extraction circuit of the scanning line interpolation apparatus in (Embodiment 5) is configured as shown in FIG.
[0101]
FIG. 8A is a configuration diagram of an example of a vertical contour extraction circuit, in which 81 and 82 are line memories for one-line delay, 83, 84 and 85 are multipliers, 86 is an adder, and 87 and 88 are An absolute value circuit, 89 is a difference circuit, and 80 is a selection circuit. The portion constituted by the line memories 81 and 82, the multipliers 83, 84, and 85 and the adder 86 functions as a general 3-tap HPF.
[0102]
FIG. 8B is a characteristic example of the vertical contour extraction circuit of FIG. The input is the difference between the vector interpolation value and the intra-field interpolation, and the case of only one line and the case of four consecutive lines are shown as examples. A signal of only one line is shown as an example in the case of an originally necessary interpolation signal component, and a four-line continuous signal cannot be detected as a correct motion vector by inter-frame correlation, and is an example in the case of an originally unnecessary interpolation signal component. Show.
[0103]
Examples of a case where correct motion vector detection cannot be performed by inter-frame correlation include a case where an image is a high-speed image and exceeds a correction vector range, or a case where only the current field is unique such as a flash. In such a case, matching between frames is good with a vector within a predetermined range, that is, even if the correlation value between frames is small, correct correction cannot be made with the motion vector interpolation value between frames. Therefore, in addition to the determination based on the inter-frame correlation, it is necessary to avoid the above case.
[0104]
As described above, in the example in which correct motion vector detection cannot be performed by inter-frame correlation, the difference signal between the intra-field interpolation signal and the inter-frame interpolation signal is often wide to some extent. This corresponds to a large amount of vertical low frequency components when viewed in the vertical direction. Conversely, the effect of motion vector processing in a normal image appears on the contour of the image. This corresponds to the vertical high frequency component. For this reason, in the present embodiment, a component corresponding to a vertical low-frequency component in a case where the difference signal has a wide area by extracting a vertical high-frequency component with the vertical HPF from the difference signal, An operation that avoids erroneous correction due to the correction between the difference signal frames, reduces the intra-field interpolation signal, and extracts an effective component by the motion vector processing is performed.
[0105]
Further, the absolute value of the output of the line memory 81, which is a signal delayed by one line in the line memory 81, and the absolute value of the HPF output, that is, the output of the adder 86 are compared by a difference circuit, By using a selection circuit that selects and outputs an input signal and the HPF output by output, an originally necessary interpolation signal component is used, and an accuracy of suppressing an originally unnecessary interpolation signal component is improved.
[0106]
FIG. 8C shows an output corresponding to the above input in the vertical contour extraction circuit of FIG.
[0107]
For a signal of only one line, only a signal component is extracted although the gain is ½, and for a signal of four continuous lines, the signal component is suppressed except for the portion corresponding to the contour. I understand. This corresponds to the fact that an interpolation signal component that is originally necessary is used, correct motion vector detection cannot be performed by inter-frame correlation, and interpolation signal components that are originally unnecessary are suppressed. Compared with the output characteristics of FIG. 7C in the sixth embodiment, it can be seen that the originally unnecessary interpolation signal component is further suppressed.
[0108]
(Embodiment 8)
The eighth embodiment of the present invention is a scanning line interpolation apparatus in which the vertical contour extraction circuit of the scanning line interpolation apparatus in (Embodiment 5) is configured as shown in FIG.
[0109]
FIG. 9A is a configuration diagram of an example of a vertical contour extraction circuit, in which 81 and 82 are line memories for one-line delay, 93 is an intermediate value circuit, and 96 is an adder.
[0110]
FIGS. 9B and 9C are characteristic examples of the vertical contour extraction circuit of FIG. 9A.
[0111]
FIG. 9B shows an input signal. The input is the difference between the vector interpolation value and the intra-field interpolation, and the case of only one line and the case of four consecutive lines are shown as examples. A signal of only one line is shown as an example in the case of an originally necessary interpolation signal component, and a four-line continuous signal cannot be detected as a correct motion vector by inter-frame correlation, and is an example in the case of an originally unnecessary interpolation signal component. Show.
[0112]
Examples of a case where correct motion vector detection cannot be performed by inter-frame correlation include a case where an image is a high-speed image and exceeds a correction vector range, or a case where only the current field is unique such as a flash. In such a case, matching between frames is good with a vector within a predetermined range, that is, even if the correlation value between frames is small, correct correction cannot be made with the motion vector interpolation value between frames. Therefore, in addition to the determination based on the inter-frame correlation, it is necessary to avoid the above case.
[0113]
As described above, in the example in which correct motion vector detection cannot be performed by inter-frame correlation, the difference signal between the intra-field interpolation signal and the inter-frame interpolation signal is often wide to some extent. This corresponds to a large amount of vertical low frequency components when viewed in the vertical direction. Conversely, the effect of motion vector processing in a normal image appears on the contour of the image. This corresponds to the vertical high frequency component. For this reason, in the present embodiment, the line signals 91 and 92 are used to extract the signals delayed by 1 line and 2 lines with respect to the input, and the intermediate value circuit provides a wide area with the difference signal. In such a case, the component is removed. This avoids erroneous correction due to inter-frame correction, reduces the inter-field interpolation signal, and performs an operation that leaves effective components extracted by motion vector processing.
[0114]
By using the intermediate value circuit, the originally necessary interpolation signal component is used, and the characteristic of suppressing the originally unnecessary interpolation signal component is improved.
[0115]
FIG. 9C shows an output corresponding to the above input in the vertical contour extraction circuit of FIG. It can be seen that only the signal component is extracted for the signal of only one line, and the signal component is suppressed for the signal of four lines. This corresponds to the fact that an interpolation signal component that is originally necessary is used, correct motion vector detection cannot be performed by inter-frame correlation, and interpolation signal components that are originally unnecessary are suppressed. Compared with the output characteristic of FIG. 7C in the sixth embodiment, it can be seen that the originally unnecessary interpolation signal component is further suppressed.
[0116]
【The invention's effect】
As described above, according to the scanning line interpolation devices of the first to fifth inventions, the matching between frames is good even in an incorrect vector in an example of a periodic image. In such a case, there are a plurality of vectors having a small inter-frame correlation value. Even in this case, an incorrect vector is selected and erroneous correction is avoided. As a result, it is possible to realize a scanning line interpolation apparatus with little image quality degradation.
[0117]
As described above, according to the scanning line interpolation apparatus of the sixth aspect of the present invention, motion vector selection and interpolation are performed based on continuous information of inter-frame correlation (inter-frame matching) of fields before and after the current field. Therefore, a mixture of motion vector interpolation and intra-field interpolation is continuous, and smooth correction is performed. In addition, using the degree of inter-frame correlation to cope with continuous changes, and using a function that roughly matches the degree of inter-frame correlation and the appropriateness of motion vector selection, motion vector interpolation The degree to which the values are applied becomes appropriate, and a scanning line interpolation apparatus with little quality deterioration can be realized.
[0118]
As described above, according to the scanning line interpolation apparatus of the seventh aspect of the present invention, when the degree of inter-frame correlation is used to cope with a continuous change by the configuration of the mixing circuit, as shown in FIG. When a variable clip circuit is used, control is performed at the clip level, so if the control input is low, naturally, regardless of the magnitude of the difference between the input value of the multiplier, that is, the interpolation value in the motion vector and the intra-field interpolation value, Since a small level is output and interpolation information using a motion vector is used at an appropriate level, a scanning line interpolation apparatus with little image quality degradation can be realized.
[0119]
As described above, according to the scanning line interpolation devices of the eighth to eleventh inventions, in examples such as an image that exceeds a vector range that can be corrected with an image that moves at high speed, or an image that is unique only in the current field due to flash or the like, Inter-frame matching is good even with incorrect vectors. Even when the inter-frame matching is good as in this example, that is, even when the inter-frame correlation value is small, correct correction cannot be performed by inter-frame correction, an interpolation signal with less error correction can be obtained. As a result, it is possible to realize a scanning line interpolation apparatus with little image quality degradation.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a scanning line interpolation apparatus in an embodiment of the present invention.
FIG. 2 is a configuration diagram of a motion vector reliability determination circuit in the scanning line interpolation device.
FIG. 3 is a configuration diagram of a motion vector reliability determination circuit in the scanning line interpolation device.
FIG. 4 is a configuration diagram of a motion vector reliability determination circuit in the scanning line interpolation device.
FIG. 5 is a configuration diagram of a mixing circuit in the scanning line interpolation device.
FIG. 6 is a block diagram of a scanning line interpolation apparatus in an embodiment of the present invention.
FIG. 7 is a configuration diagram of a vertical contour extraction circuit in the scanning line interpolation device.
FIG. 8 is a configuration diagram of a vertical contour extraction circuit in the scanning line interpolation device.
FIG. 9 is a configuration diagram of a vertical contour extraction circuit in the scanning line interpolation device.
FIG. 10 is a configuration diagram of a conventional scanning line interpolation device.
FIG. 11 is a configuration diagram of a mixing circuit in a conventional scanning line interpolation device.
[Explanation of symbols]
11, 12, 61, 62, 101, 102 Field memory
13, 63, 103 Intra-field interpolation circuit
14, 64, 104 Motion vector detection circuit
15, 65, 105 Vector interpolation value calculation circuit
16, 66, 106 Mixing circuit
17, 67, 107 Non-interlaced signal output circuit
18, 68 Vector correlation value calculation circuit
19, 69 Motion vector reliability determination circuit
21, 31 Correlation level detection circuit
22, 32 Maximum value circuit,
23, 33 Minimum value circuit,
24, 34 difference circuit,
25, 35 Difference level detection circuit
36 Minimum value detection circuit
41 Functional circuits
51, 601, 89, 94, 111 Difference circuit
52 Variable clip circuit
53,603,76,86,113 Adder
602 vertical contour extraction circuit
71, 72, 81, 82, 91, 92 Line memory
73, 74, 75, 83, 84, 85, 112 Multiplier
80 selection circuit

Claims (6)

現フィールドの１フィールド前のフィールドである第１のフィールド及び現フィールドの１フィールド後のフィールドである第２のフィールドの画像信号において、所定の範囲内のベクトル毎に、対応した画素を含む画素ブロックにおける相関値を算出するベクトル相関値算出回路と、前記ベクトル相関値算出回路より算出された相関値より動きベクトルを検出する動きベクトル検出回路と、前記現フィールドの画像信号を用いフィールド内補間信号を生成するフィールド内補間回路と、前記動きベクトル検出回路で検出された動きベクトルに対応し、前記第１のフィールドまたは前記第２のフィールドの画素よりベクトル補間信号を生成するベクトル補間値算出回路と、前記フィールド内補間回路より得られた前記フィールド内補間信号と前記ベクトル補間値算出回路より得られた前記ベクトル補間信号を混合する混合回路と、現フィールドの画像信号、及び前記混合回路より出力された走査線補間信号から、ノンインターレース走査された画像信号を出力するノンインターレース信号出力回路とからなる走査線補間装置であり、
前記ベクトル補間値算出回路は、所定の範囲内のベクトル毎に、ベクトルに対応した第１のフィールド及び第２のフィールドの画素を用い、補間値を算出するベクトル補間値算出回路であり、
前記ベクトル相関値算出回路および前記ベクトル補間値算出回路より算出された所定の範囲内のベクトルに対応した相関値および補間値を用い、相関値が小さいと見なされる複数のベクトルに対応した複数の補間値間の差が大きいときベクトルの信頼性を低いと判定し、複数の補間値間の差が小さいときベクトルの信頼性を高いと判定することにより、動きベクトルの信頼性を判定する信頼性判定信号を算出する動きベクトル信頼性判定回路を備え、前記動きベクトル信頼性判定回路より算出された信頼性判定信号に従い、前記混合回路における混合度合いを制御することを特徴とする走査線補間装置。A pixel block including a corresponding pixel for each vector within a predetermined range in an image signal of a first field which is a field one field before the current field and a second field which is a field one field after the current field A vector correlation value calculation circuit for calculating a correlation value in the signal, a motion vector detection circuit for detecting a motion vector from the correlation value calculated by the vector correlation value calculation circuit, and an intra-field interpolation signal using an image signal of the current field An intra-field interpolation circuit to be generated; a vector interpolation value calculation circuit that corresponds to the motion vector detected by the motion vector detection circuit and generates a vector interpolation signal from the pixels of the first field or the second field; The intra-field interpolation signal obtained from the intra-field interpolation circuit; A non-interlaced scanned image signal is output from the mixing circuit that mixes the vector interpolation signal obtained from the vector interpolation value calculation circuit, the current field image signal, and the scanning line interpolation signal output from the mixing circuit. A non-interlaced signal output circuit that performs scanning line interpolation,
The vector interpolation value calculation circuit is a vector interpolation value calculation circuit that calculates an interpolation value using pixels of a first field and a second field corresponding to a vector for each vector within a predetermined range,
A plurality of interpolations corresponding to a plurality of vectors whose correlation values are considered to be small using correlation values and interpolation values corresponding to vectors within a predetermined range calculated by the vector correlation value calculation circuit and the vector interpolation value calculation circuit Reliability judgment that judges the reliability of a motion vector by judging that the reliability of a vector is low when the difference between values is large, and that the reliability of a vector is high when the difference between multiple interpolation values is small A scanning line interpolation apparatus comprising: a motion vector reliability determining circuit for calculating a signal, and controlling a degree of mixing in the mixing circuit according to a reliability determination signal calculated by the motion vector reliability determining circuit. ベクトル相関値算出回路は、前記第１のフィールド及び前記第２のフィールドの画像信号において、所定の範囲内のベクトル毎に、画素ブロック内の各画素毎に差分値を算出し、ベクトル相関値として差分値の絶対値和もしくは前記差分値の二乗和を算出する回路であることを特徴とする請求項１記載の走査線補間装置。  The vector correlation value calculation circuit calculates a difference value for each pixel in the pixel block for each vector within a predetermined range in the image signals of the first field and the second field, and obtains a vector correlation value 2. The scanning line interpolation apparatus according to claim 1, wherein the scanning line interpolation apparatus is a circuit that calculates an absolute value sum of difference values or a square sum of the difference values. 動きベクトル検出回路は、前記ベクトル相関値算出回路より算出されたベクトル相関値が最小になる動きベクトルを検出する回路であることを特徴とする請求項１記載の走査線補間装置。  2. The scanning line interpolation apparatus according to claim 1, wherein the motion vector detection circuit is a circuit for detecting a motion vector having a minimum vector correlation value calculated by the vector correlation value calculation circuit. 動きベクトル信頼性判定回路は、前記相関値算出回路より算出された、
所定の範囲内のベクトルに対応した相関値が一定値以下であることを検出する相関レベル検出回路と、前記相関レベル検出回路の出力に基づき、相関値が一定値以下であるベクトルにおいて前記補間値の最大値および最小値を求める最大値回路および最小値回路と、
前記最大値および最小値の差分を検出し出力する差分レベル検出回路からなり、差分が一定値以下であれば信頼性が高いとする信頼性判定信号を出力する
ことを特徴とする請求項１記載の走査線補間装置。The motion vector reliability determination circuit is calculated by the correlation value calculation circuit.
A correlation level detection circuit for detecting that a correlation value corresponding to a vector within a predetermined range is equal to or less than a predetermined value; A maximum value circuit and a minimum value circuit for obtaining a maximum value and a minimum value of
2. A reliability determination signal that outputs a difference level detection circuit that detects and outputs a difference between the maximum value and the minimum value, and outputs high reliability if the difference is equal to or less than a predetermined value. Scanning line interpolation device. 動きベクトル信頼性判定回路は、前記相関値算出回路より算出された所定の範囲内のベクトルに対応した相関値の中で最小相関値を算出する最小相関値検出回路と、前記所定の範囲内のベクトルに対応した相関値と前記最小相関値との差が一定値以下であるベクトルにおいて前記補間値の最大値および最小値を求める最大値回路および最小値回路と、
前記最大値および最小値の差が一定値以下であることを検出する差分レベル検出回路からなり、差分が一定値以下であれば信頼性が高いとする信頼性判定信号を出力する
ことを特徴とする請求項１記載の走査線補間装置。The motion vector reliability determination circuit includes: a minimum correlation value detection circuit that calculates a minimum correlation value among correlation values corresponding to vectors within a predetermined range calculated by the correlation value calculation circuit; A maximum value circuit and a minimum value circuit for obtaining a maximum value and a minimum value of the interpolated value in a vector in which a difference between a correlation value corresponding to a vector and the minimum correlation value is a predetermined value or less;
It comprises a difference level detection circuit that detects that the difference between the maximum value and the minimum value is equal to or less than a certain value, and outputs a reliability determination signal that indicates high reliability if the difference is equal to or less than a certain value. The scanning line interpolation apparatus according to claim 1. 混合回路は、前記ベクトル補間信号と前記フィールド内補間信号との差分を算出する差分回路と、前記差分回路出力を前記動きベクトル信頼性判定回路より算出された信頼性判定信号に従い制御する可変クリップ回路と、前記フィールド内補間信号と前記可変クリップ回路出力とを加算する加算器からなることを特徴とする請求項１記載の走査線補間装置。  The mixing circuit includes a difference circuit that calculates a difference between the vector interpolation signal and the intra-field interpolation signal, and a variable clip circuit that controls the output of the difference circuit according to the reliability determination signal calculated by the motion vector reliability determination circuit. 2. The scanning line interpolating apparatus according to claim 1, further comprising an adder for adding the intra-field interpolation signal and the variable clip circuit output.

Images