JP4806849B2 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents
画像処理装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP4806849B2 JP4806849B2 JP2001006365A JP2001006365A JP4806849B2 JP 4806849 B2 JP4806849 B2 JP 4806849B2 JP 2001006365 A JP2001006365 A JP 2001006365A JP 2001006365 A JP2001006365 A JP 2001006365A JP 4806849 B2 JP4806849 B2 JP 4806849B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- image
- field
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、インタレーススキャン画像をプログレッシブスキャン画像に変換させる際に、静止画領域の垂直解像度を向上させ、動画領域におけるエッジをなだらかに補間させるようにすると共に、変換におけるエラーを抑制するようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
インタレーススキャン方式の画像をプログレッシブスキャン方式の画像に変換（IP変換）させる技術が一般に普及しつつある。
【０００３】
インタレーススキャン方式は、飛び越し走査と呼ばれる走査方式であり、実際の表示画像の走査線を１本おきに走査する（走査線１本おきに飛び越して走査する）方式である。インタレーススキャン方式で走査された１つの画像は、フィールドと呼ばれ、連続する画像を表示するとき、隣り合うフィールドは、走査線１本分ずれた状態で画素が存在しており、そのフィールドが連続して交互に表示されている。
【０００４】
プログレッシブスキャン方式は、インタレーススキャン方式に対して、表示画像の全走査線を走査する方式である。
【０００５】
従って、インタレーススキャン方式の画像からプログレッシブスキャン方式の画像への変換処理は、インタレーススキャン方式の画像の中の、画素が存在しないライン上に、元々存在する画素を使用して、画素を補間させ、全ての走査線上に画素を生成する処理である。
【０００６】
従来では、補間の方法としては、走査線１本分を遅延して、表示させることで、各走査線を２度スキャンする２度書きと呼ばれる方法や、上下方向の画素を用いて、線形補間するといった方法が用いられていた。
【０００７】
また、垂直解像度を上げるために、複数のフィールドの情報を利用する方法も提案された。この方法は、インタレーススキャン方式では、連続するフィールドの１個前のフィールドが、上述のように走査線１本分だけずれた関係にあるので、１個前のフィールド上には、現在のフィールド上の補間すべき位置に画素が存在する。そこで、複数のフィールドを使用する補間処理では、この画素を利用する。すなわち、その補間すべき画素が静止画素の場合、１個前のフィールドの画素を、そのまま使用して補間し、また、動画素の場合、現在のフィールドの上下の画素を用いて線形補間により画素を補間するというものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の方法では、例えば２度書きを使用した場合、斜めエッジとなる映像は、IP変換により大きな階段状に表示されることになってしまうという課題があった。
【０００９】
また、線形補間を用いた場合、２度書きに比べると、表示画像は向上されるものの、多少ぼけて表示されてしまうことがあり、また、２度書きを用いた場合と同様に斜めのエッジは、階段状に表示されてしまうという課題があった。
【００１０】
そこで、斜め方向のエッジが階段状に表示されてしまうのを防ぐために、エッジの方向を検出しながらIP変換を実行するという方法が提案された。これは、特公平３−４２８３２に記載されているものであり、補間すべき注目画素を中心として、上下、右上左下、および、右下左上の３組の画素の差分の絶対値を調べて、最も小さい値をとる画素の組合せで補間を行い、全てが所定の値より大きい値であれば上の画素値をコピーして補間するという方法である。これにより、斜め方向のエッジが存在す場合でも、その方向が滑らかに補間されるようになった。
【００１１】
しかしならが、エッジの方向を検出しながら変換する方法においては、斜め方向のエッジの表示が改善されるものの、静止画領域では、複数のフィールドを用いる方法に比べて、垂直解像度が不利となってしまうという課題がった。また、エッジの方向を検出しながら変換する方法は、実画像に適用すると、例えば、ノイズや照明条件によって、斜め方向の相関関係が上下方向よりも若干高く、算出されてしまうことがあり、実際の絵柄は上下に連続していても、正確に表示されないといったエラーが発生し易くなるという課題があった。
【００１２】
さらに、複数フィールドを使用する方法では、斜めエッジが階段状に表示される問題は改善されるものの、静止画領域では、複数のフィールドを使用するため、垂直解像度が多少犠牲にされてしまうという課題があった。
【００１３】
また、一般的なビデオ信号などにおいては、高周波成分がわずかしか含まれておらず、エッジはぼんやりとしか現れないので、局地的にエッジ方向を正確に検出するのは困難であり、特定方向のエッジを強調しようとしても、複数のエッジ方向の候補が検出されて、選別することができず、結局、従来の線形補間と同程度の画質でしか、画像を生成することができないという課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、インタレーススキャン画像からプログレッシブスキャン画像への変換の際に、静止画部分の垂直解像度を向上させ、動画領域におけるエッジをなだらかに補間させると共に、変換におけるエラーを抑制できるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値を、それぞれ垂直方向、および、水平方向の中心画素エネルギとして算出する中心画素エネルギ算出手段と、中心画素エネルギ算出手段により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施して、変換しようとするインタレース方式の画像のエッジを強調するエッジ強調手段と、エッジ強調手段によりエッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間手段と、エッジ強調手段によりエッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間手段と、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定手段と、判定手段の判定結果に基づいて、フィールド内補間手段により補間された画素か、または、フィールド間補間手段により補間された画素のいずれかを選択する選択手段とを備えることを特徴とする。
【００１７】
前記エッジ強調手段には、インタレース方式の画像の各画素毎に水平方向、および、垂直方向の１次元フィルタ処理を施し、画像のエッジを強調させるようにすることができる。
【００２０】
前記変換しようとするインタレース方式の画像のフィールド内に、補間しようとする画素の上下の水平ライン上であって、補間しようとする画素の近傍の画素のうち、補間しようとする画素を中心として点対照な位置となる上下の水平ライン上のそれぞれの方向毎の画素同士の相関を検出する相関検出手段をさらに設けるようにさせることができ、フィールド内補間手段には、相関検出手段により検出された相関の最も強い方向の画素同士から画素を補間させるようにすることができる。
【００２１】
前記相関検出手段には、補間しようとする画素を中心として、点対照な位置同士の画素の画素値の差分の絶対値を相関として検出させるようにすることができる。
【００２２】
前記補間しようとする画素の近傍の画素値のうち、補間しようとする画素を挟んで、その上下に水平方向に伸びるライン上の所定数の画素であって、ラインに垂直に対向し合う画素の画素値の差分の絶対値の和、または、補間しようとする画素を中心として、点対称の位置に存在する画素の画素値の差分の絶対値の和を、補間しようとする画素の近傍エネルギとして算出する近傍エネルギ算出手段をさらに設けるようにさせることができ、近傍エネルギ算出手段により算出された補間しようとする画素の近傍エネルギの値が、所定の閾値より大きい場合、フィールド内補間手段には、相関検出手段により検出された相関の最も強い方向の画素に基づいて補間を行わせるようにすることができる。
【００２４】
本発明の画像処理方法は、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値を、それぞれ垂直方向、および、水平方向の中心画素エネルギとして算出する中心画素エネルギ算出ステップと、中心画素エネルギ算出ステップの処理により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施して、変換しようとするインタレース方式の画像のエッジを強調するエッジ強調ステップと、エッジ強調ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、エッジ強調ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、フィールド内補間ステップの処理で補間された画素か、または、フィールド間補間ステップの処理で補間された画素のいずれかを選択する選択ステップとを備えることを特徴とする。
【００２５】
本発明のプログラムは、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値の、それぞれ垂直方向、および、水平方向の中心画素エネルギとしての算出を制御する中心画素エネルギ算出制御ステップと、中心画素エネルギ算出制御ステップの処理により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施して、変換しようとするインタレース方式の画像のエッジの強調を制御するエッジ強調制御ステップと、エッジ強調制御ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素の補間を制御するフィールド間補間制御ステップと、エッジ強調制御ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素の補間を制御するフィールド内補間制御ステップと、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかの判定を制御する判定制御ステップと、判定制御ステップの処理での判定結果に基づいて、フィールド内補間制御ステップの処理で補間された画素か、または、フィールド間補間制御ステップの処理で補間された画素のいずれかの選択を制御する選択制御ステップとを含むことを特徴とする。
【００２６】
本発明の記録媒体のプログラムは、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値の、それぞれ垂直方向、および、水平方向の中心画素エネルギとしての算出を制御する中心画素エネルギ算出制御ステップと、中心画素エネルギ算出制御ステップの処理により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施して、変換しようとするインタレース方式の画像のエッジの強調を制御するエッジ強調制御ステップと、エッジ強調制御ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素の補間を制御するフィールド間補間制御ステップと、エッジ強調制御ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素の補間を制御するフィールド内補間制御ステップと、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかの判定を制御する判定制御ステップと、判定制御ステップの処理での判定結果に基づいて、フィールド内補間制御ステップの処理で補間された画素か、または、フィールド間補間制御ステップの処理で補間された画素のいずれかの選択を制御する選択制御ステップとを含むことを特徴とする。
【００２７】
本発明の画像処理装置および方法、並びにプログラムにおいては、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値が、それぞれ垂直方向、および、水平方向の中心画素エネルギとして算出され、算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理が施されて、変換しようとするインタレース方式の画像のエッジが強調され、エッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素が補間され、エッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素が補間され、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかが判定され、判定結果に基づいて、フィールド内補間された画素か、または、フィールド間補間された画素のいずれかが選択される。
【００２８】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の一実施の形態の構成を示す図である。フィールドメモリ１１ａ乃至１１ｆは、入力されたインタレーススキャン方式の画像（以下、インタレース画像と称する）の１フィールド分の情報を一時的に記憶し、後段の装置に出力する。すなわち、フィールドメモリ１１ａは、所定の時刻ｔのタイミングで入力された１フィールド分の画像情報を記憶し、次の時刻t+1のタイミングで、記憶していた時刻ｔのフィールドデータを、イメージリフレッシャ１２ａおよび静止/動画領域判定部１７に出力すると共に、フィールドメモリ１１ｂに出力する。そして、それと同時に、フィールドメモリ１１ａは、新たに時刻t+1のフィールドデータを記憶する。フィールドメモリ１１ｂは、時刻t+1のタイミングで、フィールドメモリ１１ａより入力された時刻tのフィールドデータを記憶する。
【００２９】
また、時刻t+2のタイミングで、フィールドメモリ１１ａは、時刻t+1のフィールドデータをイメージリフレッシャ１２ａ、静止/動画領域判定部１７、および、フィールドメモリ１１ｂに出力し、新たな、時刻t+2のフィールドデータを記憶する。同時に、時刻t+2において、フィールドメモリ１１ｂは、時刻ｔのフィールドデータを、フィールドメモリ１１ｃ、イメージリフレッシャ１２ｂ、および、静止/動画領域判定部１７に出力し、フィールドメモリ１１ａより入力された時刻t+1のフィールドデータを記憶する。フィールドメモリ１１ｃは、フィールドメモリ１１ｂより入力された時刻tのフィールドデータを記憶する。
【００３０】
さらに、時刻t+3において、フィールドメモリ１１ａは、それまで記憶していた時刻t+2のフィールドデータをフィールドメモリ１１ｂ、イメージリフレッシャ１２ａ、および、静止/動画領域判定部１７に出力し、時刻t+3のフィールドデータを記憶する。同時に、フィールドメモリ１１ｂは、時刻t+1のフィールドデータをフィールドメモリ１１ｃ、イメージリフレッシャ１２ｂ、および、静止/動画領域判定部１７に出力し、フィールドメモリ１１ｂより入力された時刻t+2のフィールドデータを記憶する。また、フィールドメモリ１１ｃは、記憶していた時刻tのフィールドデータをフィールドメモリ１１ｄ、および、静止/動画領域判定部１７に出力する。
【００３１】
また、時刻t+4において、フィールドメモリ１１ａは、記憶していた時刻t+3のフィールドデータをフィールドメモリ１１ｂ、イメージリフレッシャ１２ａ、および、静止/動画領域判定部１７に出力し、入力された時刻t+4のフィールドデータを記憶する。フィールドメモリ１１ｂは、記憶していた時刻t+2のフィールドデータをフィールドメモリ１１ｃ、イメージリフレッシャ１２ｂ、および、静止/動画領域判定部１７に出力し、フィールドメモリ１１ａより入力された時刻t+3のフィールドデータを記憶する。フィールドメモリ１１ｃは、記憶していた時刻t+1のフィールドデータをフィールドメモリ１１ｄおよび静止/動画領域判定部１７に出力し、フィールドメモリ１１ｂより入力された時刻t+2のフィールドデータを記憶する。フィールドメモリ１１ｄは、記憶していた時刻ｔのフィールドデータを静止/動画領域判定部１７に出力し、フィールドメモリ１１ｃより入力された時刻t+1のフィールドデータを記憶する。
【００３２】
このように、フィールドメモリ１１ａ乃至１１ｄは、順次フィールドデータを伝達しながら、常に、４個の連続したフィールドデータを記憶している。また、フィールドメモリ１１ｅ，１１ｆは、イメージリフレッシャ１２ａ，１２ｂから供給される垂直方向のエッジ、および、水平方向のエッジのそれぞれが強調されたフィールドデータを記憶し、順次フィールド内補間部１４、および、フィールド間補間部１５に出力する。
【００３３】
イメージリフレッシャ１２ａは、バッファ１３ａを適宜利用しながら、フィールドメモリ１１ａより入力されたフィールドデータに、１次元の垂直フィルタ、および、１次元の水平フィルタの処理を施し、垂直方向および水平方向のエッジ部分を強調した後、フィールドメモリ１１ｅに出力する。イメージリフレッシャ１２ｂ、および、バッファ１３ｂについても処理は、同様であるが、１フィールド分だけ時刻的に遅れたフィールドデータの処理を行う。
【００３４】
フィールド内補間部１４は、エッジ強調処理されたフィールドメモリ１１ｅに記憶されているフィールドデータからプログレッシブ画像の動画領域の画素を補間して生成し、プログレッシブ画像として補間メモリ１６ａに出力し、記憶させる。尚、フィールド内補間処理については、詳細を後述する。
【００３５】
フィールド間補間部１５は、フィールドメモリ１１ｅ，１１ｆに記憶されている連続する２個のフィールドデータからプログレッシブ画像の静止画領域の画素を補間して生成し、生成したプログレッシブ画像を補間メモリ１６ｂに出力し、記憶させる。尚、フィールド間補間処理については、詳細を後述する。
【００３６】
静止/動画領域判定部１７は、フィールドメモリ１１ａ乃至１１ｄより入力される、連続する４個のフィールドデータから、最新のフィールドデータの補間しようとする画素が静止画領域の画素であるのか、または、動画領域の画素であるのかを判定し、記憶する。尚、静止画領域の画素であるか、または、動画領域の画素であるかの判定処理については、詳細を後述する。
【００３７】
セレクタ１８は、静止/動画領域判定部１７に記憶された情報に基づいて、補間しようとする画素が動画領域の画素である場合、フィールド間補間部１５により補間された画素を補間メモリ１６ｂから読出し、また、補間しようとする画素が静止画領域の画素である場合、フィールド内補間部１４により補間された画素を補間メモリ１６ａから読み出して、最終的なプログレッシブ画像を生成し、出力する。
【００３８】
次に、図２のフローチャートを参照して、本発明を適用した画像処理装置のIP変換処理について説明する。
【００３９】
ステップＳ１において、フィールドメモリ１１ａは、記憶していたフィールドデータをフィールドメモリ１１ｂ、イメージリフレッシャ１２ａ、および、静止/動画領域判定部１７に出力し、入力されたフィールドデータを記憶する。同時に、フィールドメモリ１１ｂは、それまで記憶していたフィールドデータをフィールドメモリ１１ｃ、イメージリフレッシャ１２ｂ、および、静止/動画領域判定部１７に出力する。また、フィールドメモリ１１ｃは、それまで記憶していたフィールドデータをフィールドメモリ１１ｄ、および、静止/動画領域判定部１７に出力し、フィールドメモリ１１ｂより入力されたフィールドデータを記憶する。さらに、フィールドメモリ１１ｄは、それまで記憶していたフィールドデータを静止/動画領域判定部１７に出力し、フィールドメモリ１１ｃより入力されたフィールドデータを記憶する。
【００４０】
ステップＳ２において、イメージリフレッシャ１２ａ，１２ｂは、１次元垂直エッジ強調処理を施す。
【００４１】
ここで、図３のフローチャートを参照して、イメージリフレッシャ１２ａ，１２ｂの１次元垂直エッジ強調処理について説明する。尚、イメージリフレッシャ１２ａ，１２ｂの処理は、連続する２個のフィールドデータに対して、同様の処理が実行されることになるので、ここでは、イメージリフレッシャ１２ａの処理について説明する。
【００４２】
ステップＳ２１において、イメージリフレッシャ１２ａは、フィールドメモリ１１ａより入力されたフィールドデータのうち、処理していない画素があるか否かを判定し、処理していない画素があると判定された場合、その処理は、ステップＳ２２に進む。
【００４３】
ステップＳ２２において、イメージリフレッシャ１２ａは、未処理画素を検索し、検索された未処理画素の垂直方向中心画素エネルギを算出する。例えば、図４に示すようなフィールドデータが存在し、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、画素ｈの近傍のＡエリア（図中実線で囲まれた範囲）の垂直方向中心画素エネルギEV-hは、以下の式により求められる。
EV-h＝｜（ｂ＋ｃ＋ｄ）−（ｌ＋ｍ＋ｎ）｜・・・（１）
【００４４】
ここで、ｂ，ｃ，ｄ，ｌ，ｍ，およびｎは、画素ｂ，ｃ，ｄ，ｌ，ｍ，およびｎの画素値である。すなわち、式（１）の垂直方向中心画素エネルギEVは、未処理画素を中心とした上のラインと下のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が上下にある場合は、その画素値の差分には、大きな差がないので、垂直方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が上下にある場合、その画素値の差分には大きな差が現れることが多く、結果として垂直方向中心画素エネルギも大きくなる。
【００４５】
イメージリフレッシャ１２ａは、未処理画素の垂直方向中心画素エネルギEV-hを上記の式（１）を演算することにより求める。
【００４６】
ステップＳ２３において、イメージリフレッシャ１２ａは、求められた垂直方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が垂直方向の画素との間に強い相関が見られないと判定した場合、その処理は、ステップＳ２４に進む。
【００４７】
ステップＳ２４において、イメージリフレッシャ１２ａは、未処理画素を含めた上下３個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図４に示すように、未処理画素が画素ｈであった場合、それを含めた上下の画素ｃ，ｈ，ｍ（図４中の実線で囲まれたＢエリア）の各画素値を読出し、図５に示すように、その内の最大値（ｃ，ｈ，ｍ）と最小値（ｃ，ｈ，ｍ）を求める。
【００４８】
ステップＳ２５において、イメージリフレッシャ１２ａは、図４に示すBエリアの画素ｃ，ｈ，ｍに、図５に示すような１次元垂直フィルタ処理を施す。すなわち、１次元垂直フィルタとしては、（1/2−α/2，α，1/2−α/2）（１<α≦２）といったものであり、以下の式（２）に示すような演算により、フィルタ処理された画素値ｈV-filterが求められる。
ｈV-filter＝ｃ×（1/2−α/2）＋ｈ×α＋ｍ×（1/2−α/2）・・・（２）
【００４９】
ここで、αは、１<α≦２の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【００５０】
ステップＳ２６において、イメージリフレッシャ１２ａは、図５に示すように、フィルタ処理した画素値ｈV-filterと最大値（ｃ，ｈ，ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上であるか否かを判定し、最大値（ｃ，ｈ，ｍ）以上であると判定した場合、ステップＳ２７において、イメージリフレッシャ１２ａは、画素値ｈV-filterを最大値（ｃ，ｈ，ｍ）に置き換える。
【００５１】
ステップＳ２８において、イメージリフレッシャ１２ａは、最大値（ｃ，ｈ，ｍ）に置き換えられた画素値を画素ｈの画素値としてバッファ１３ａに記憶させ、その処理は、ステップＳ２１に戻り、全ての画素に１次元垂直エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【００５２】
ステップＳ２３において、垂直方向中心画素エネルギEVが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が上下の画素との間に強い相関が認められると判定された場合、その処理は、ステップＳ２８に進み、イメージリフレッシャ１２ａは、画素ｈの画素値を、フィルタ処理することなく、そのままバッファ１３ａに記憶させ、その処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００５３】
ステップＳ２６において、フィルタ処理した画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上ではないと判定した場合、ステップＳ２９において、イメージリフレッシャ１２ａは、フィルタ処理した画素値ｈV-filterと最小値（ｃ，ｈ，ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であるか否かを判定し、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であると判定した場合、その処理は、ステップＳ３０に進む。
【００５４】
ステップＳ３０において、イメージリフレッシャ１２ａは、画素値ｈV-filterを最小値（ｃ，ｈ，ｍ）に置き換え、ステップＳ２８において、最小値（ｃ，ｈ，ｍ）に置き換えられた画素値を、画素ｈの画素値としてバッファ１３ａに記憶する。
【００５５】
ステップＳ２９において、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下ではないと判定した場合、その処理は、ステップＳ２８に進み、イメージリフレッシャ１２ａは、フィルタ処理された画素値ｈV-filterを、画素ｈの画素値としてバッファ１３ａに記憶させ、その処理は、ステップＳ２１に戻る。
【００５６】
すなわち、ステップＳ２３の処理で、垂直方向中心画素エネルギの値が所定の閾値以上である場合（未処理画素が上下の画素との間に強い相関が認められない場合）、図５に示すように、ステップＳ２４の処理で求められた最大値（ｃ，ｈ，ｍ）、および、最小値（ｃ，ｈ，ｍ）が、画素ｃ，ｈ，ｍの局所的な範囲の最大値と最小値とみなされ、ステップＳ２５の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をバッファ１３ａに記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、バッファ１３ａに記憶させる。ステップＳ２３の処理で、垂直方向中心画素エネルギの値が所定の閾値以上ではない場合、すなわち、上下の画素と相関が強い場合、元の画素値がそのままバッファ１３ａに記憶される。
【００５７】
ここで、図２のフローチャートの説明に戻る。
【００５８】
ステップＳ２において、１次元エッジ強調処理が実行された後、ステップＳ３において、イメージリフレッシャ１２ａは、１次元水平エッジ強調処理を実行する。
【００５９】
ここで、図６のフローチャートを参照して、１次元水平エッジ強調処理について説明する。
【００６０】
ステップＳ４１において、イメージリフレッシャ１２ａは、バッファ１３ａに記憶された１次元垂直エッジ強調処理されているフィールドデータの各画素について１次元水平エッジ処理を施していない画素があるか否かを判定し、未処理の画素が存在すると判定した場合、その処理は、ステップＳ４２に進む。
【００６１】
ステップＳ４２において、イメージリフレッシャ１２ａは、未処理画素を検索し、検索された未処理画素の水平方向中心画素エネルギを算出する。例えば、図７に示すようなフィールドデータが存在し、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、画素ｈの近傍のＡエリア（図中実線で囲まれた範囲）の水平方向中心画素エネルギEH-hは、以下の式により求められる。
EH-h＝｜（ｄ＋ｉ＋ｎ）−（ｂ＋ｇ＋ｌ）｜・・・（３）
【００６２】
ここで、ｂ，ｄ，ｇ，ｉ，ｌ、およびｎは、画素ｂ，ｄ，ｇ，ｉ，ｌ、およびｎの画素値である。すなわち、式（３）の水平方向中心画素エネルギEHは、未処理画素を中心とした右のラインと左のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が左右にある場合は、その画素値の差分には、大きな差がないので、水平方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が左右にある場合、その画素値の差分には大きな差が現れることが多いので、水平方向中心画素エネルギも大きくなる。
【００６３】
イメージリフレッシャ１２ａは、上記の式（３）を演算し、未処理画素の水平方向中心画素エネルギEHを求める。
【００６４】
ステップＳ４３において、イメージリフレッシャ１２ａは、求められた水平方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が左右の画素と強い相関が見られないと判定した場合、その処理は、ステップＳ４４に進む。
【００６５】
ステップＳ４４において、イメージリフレッシャ１２ａは、未処理画素を含めた左右５個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図７に示すように、未処理画素が画素ｈであった場合、それを含めた左右の画素ｆ乃至ｊ（図７中の実線で囲まれたＢエリア）の各画素値を読出し、図８に示すように、その内の最大値（ｆ，ｇ，ｈ，ｉ，ｊ）と最小値（ｆ，ｇ，ｈ，ｉ，ｊ）を求める。
【００６６】
ステップＳ４５において、イメージリフレッシャ１２ａは、図７に示すBエリアの画素ｆ乃至ｊに、図８に示すような１次元水平フィルタ処理を施す。すなわち、１次元垂直フィルタとしては、（1/4−α/2，1/4，α，1/4，1/4−α/2）（１<α≦２）といったものであり、以下に示す式（４）を演算することにより、フィルタ処理された画素値ｈH-filterが求められる。
ｈH-filter＝ｆ×（1/4−α/2）＋ｇ×1/4＋ｈ×α＋ｉ×1/4＋ｊ×（1/4−α/2） ・・・（４）
【００６７】
ここで、αは、１<α≦２の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【００６８】
ステップＳ４６において、イメージリフレッシャ１２ａは、フィルタ処理した画素値ｈH-filterと最大値（ｆ，ｇ，ｈ，ｉ，ｊ）を比較し、フィルタ処理した画素値ｈH-filterが最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上であるか否かを判定し、最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上であると判定した場合、ステップＳ４７において、イメージリフレッシャ１２ａは、画素値ｈH-filterを最大値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換える。
【００６９】
ステップＳ４８において、イメージリフレッシャ１２ａは、最大値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換えられた画素値を画素ｈの画素値としてフィールドメモリ１１ｅに記憶させ、その処理は、ステップＳ４１に戻り、全ての画素に１次元水平エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【００７０】
ステップＳ４３において、水平方向中心画素エネルギEHが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が左右の画素との間に強い相関が見られると判定された場合、その処理は、ステップＳ４８に進み、イメージリフレッシャ１２ａは、画素ｈの画素値をそのままフィールドメモリ１１ｅに記憶させ、その処理は、ステップＳ４１に戻る。
【００７１】
ステップＳ４６において、フィルタ処理した画素値ｈH-filterが最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上ではないと判定した場合、ステップＳ４９において、イメージリフレッシャ１２ａは、フィルタ処理した画素値ｈH-filterと最小値（ｆ，ｇ，ｈ，ｉ，ｊ）を比較し、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下であるか否かを判定し、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下であると判定した場合、その処理は、ステップＳ５０に進む。
【００７２】
ステップＳ５０において、イメージリフレッシャ１２ａは、画素値ｈH-filterを最小値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換え、ステップＳ４８において、最小値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換えられた画素値を、画素ｈの画素値としてフィールドメモリ１１ｅに記憶する。
【００７３】
ステップＳ４９において、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下ではないと判定した場合、その処理は、ステップＳ４８に進み、イメージリフレッシャ１２ａは、フィルタ処理された画素値ｈH-filterを、画素ｈの画素値としてフィールドメモリ１１ｅに記憶させ、その処理は、ステップＳ４１に戻る。
【００７４】
すなわち、ステップＳ４３の処理で、水平方向中心画素エネルギの値が所定の閾値以上である場合（未処理画素が左右の画素との間に強い相関が認められない場合）、図８に示すように、ステップＳ４４の処理で求められた最大値（ｆ，ｇ，ｈ，ｉ，ｊ）、および、最小値（ｆ，ｇ，ｈ，ｉ，ｊ）が、画素ｆ，ｇ，ｈ，ｉ，ｊの局所的な範囲の最大値と最小値とみなされ、ステップＳ４５の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をフィールドメモリ１１ｅに記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、フィールドメモリ１１ｅに記憶させる。ステップＳ４３の処理で、水平方向中心画素エネルギの値が所定の閾値以上ではない場合、元の画素値がそのままフィールドメモリ１１ｅに記憶される。
【００７５】
ここで、図２のフローチャートの説明に戻る。
【００７６】
尚、イメージリフレッシャ１２ｂは、同じタイミングで１フィールド分遅れたフィールドデータをフィールドメモリ１１ｂから読込んで、イメージリフレッシャ１２ａと同様に、図２のステップＳ２，Ｓ３の処理で、１次元垂直エッジ強調処理、および、１次元水平エッジ強調処理を施し、エッジ強調したフィールドデータを生成して、フィールドメモリ１１ｆに記憶させている。ここでは、同様の処理であるので、その説明は省略する。
【００７７】
ステップＳ３において、１次元水平エッジ強調処理が実行された後、ステップＳ４において、フィールド間補間部１５は、フィールド間補間処理を実行する。
【００７８】
ここで、図９のフローチャートを参照して、フィールド間補間処理について説明する。
【００７９】
ステップＳ６１において、フィールド間補間部１５は、フィールドメモリ１１ｅ，１１ｆに記憶されているフィールドデータを読み出す。ステップＳ６２において、フィールドメモリ１１ｅから読み出したフィールドデータと、フィールドメモリ１１ｆから読み出したフィールドデータを合成して、補間メモリ１６ｂに記憶させる。
【００８０】
すなわち、例えば、時刻tのタイミングで読込まれたフィールドデータがフィールドメモリ１１ｅに記憶されているとすれば、フィールドメモリ１１ｆに記憶されているフィールドデータは、時刻t-1のタイミングで読込まれたフィールドデータである。このため、時刻tのタイミングで読込まれたフィールドデータと、時刻t-1のタイミングで読込まれたフィールドデータの垂直方向に配置された画素の位置は、図１０に示すように、時刻ｔのフィールドデータ上の画素Ａ，Ｂと、時刻t-1のフィールドデータ上の画素Ｃ，Ｄのようにずれて配置されることになる。このとき、時刻ｔのフィールドデータに補間しようとする画素の位置は、時刻t-1のフィールドデータの画素の位置と同様である。
【００８１】
そこで、時刻ｔのフィールドデータの各画素の間のラインに、時刻t-1のフィールドデータを、例えば、図１０の画素Ｃ，Ｄをコピーするように、画素Ｅ，Ｆとして合成し、プログレッシブ画面を生成し、補間メモリ１６ｂに記憶させる。
【００８２】
すなわち、静止画領域の画素は、その画素値が時刻により大きく変化しないので、このようなフィールド間補間処理により生成することができる。
【００８３】
ここで、図２のフローチャートの説明に戻る。
【００８４】
ステップＳ４において、フィールド間補間処理が実行された後、ステップＳ５において、フィールド内補間部１４は、フィールド内補間処理を実行する。
【００８５】
ここで、図１１を参照して、フィールド内補間部１４のフィールド内補間処理について説明する。
【００８６】
ステップＳ７１において、フィールド内補間部１４は、フィールドメモリ１１ｅに記憶されたフィールドデータを検索し、補間されていない画素が存在するか否かを判定し、補間されていない画素が存在すると判定した場合、その処理は、ステップＳ７２に進む。
【００８７】
ステップＳ７２において、フィールド内補間部１４は、補間しようとする画素の位置を読み出し、ステップＳ７３において、補間しようとする画素位置近傍の近傍エネルギＥnearを求める。ここで、補間しようとする画素位置近傍の近傍エネルギＥnearは、例えば、図１２に示すように、垂直方向にｙ−１，ｙ＋１のライン上に、それぞれ画素ａ乃至ｅおよび画素ｇ乃至ｋが存在し、その間のｙのライン上に画素ｆを補間しようとする場合、以下の式（５）から求められる。
Ｅnear-f＝｜ａ−ｋ｜＋｜ｂ−ｊ｜＋｜ｃ−ｉ｜＋｜ｄ−ｈ｜＋｜ｅ−ｇ｜・・・（５）
【００８８】
ここで、ａ乃至ｋは、画素ａ乃至ｋの画素値である。
【００８９】
すなわち、補間しようとする画素位置近傍の近傍エネルギＥnearは、補間しようとする画素位置の上下のライン上に存在する画素のうち、補間しようとする画素位置を中心として点対称となる位置の画素値同士の差分の絶対値を加算したものである。このため、近傍エネルギＥnearの値が大きいほど、補間しようとする画素は、エッジ部分を形成している可能性が高く、逆に、その値が小さいほど、補間しようとする画素は、エッジやテクスチャ部分には存在しない可能性が高くなる。
【００９０】
ステップＳ７４において、フィールド内補間部１４は、近傍エネルギＥnearが所定の値より大きいか否かを判定し、大きいと判定した場合（エッジ部分を形成している可能性が高いと判定した場合）、その処理は、ステップＳ７５に進む。
【００９１】
ステップＳ７５において、フィールド内補間部１４は、補間しようとする画素の近傍の画素から、相関の高い方向の画素の組合せを求める。すなわち、相関とは、補間しようとする画素を中心として、その点対称の位置に存在する画素間の画素値の差分の絶対値である。例えば、図１２にしめすように、画素ｆを補間しようとするとき、求めるべき相関は、｜ａ−ｋ｜、｜ｂ−ｊ｜、｜ｃ−ｉ｜、｜ｄ−ｈ｜、｜ｅ−ｇ｜である。さらに、これらを求めた後、最も小さい値をとる組合せを検出し、これを最も相関の高い画素の組合せとする。すなわち、相関が高いということは、画素値に大きな変化がないことになるので、差分の絶対値が小さいものほど相関が高いことになる。例えば、｜ｂ−ｊ｜が最も小さい値をとった場合、画素ｂ，ｊを結ぶ直線方向が相関の高い方向の画素の組合せと言うことになる。
【００９２】
ステップＳ７６において、検出された方向の画素の組合せから補間画素を生成する。すなわち、例えば、図１２に示す画素ｂ，ｊの組合せが最も相関の高い方向の画素の組合せであるとき、補間される画素ｆの画素値は、以下の式（６）から求められる。
ｆ＝1/2×（ｂ＋ｊ）・・・（６）
【００９３】
ステップＳ７７において、フィールド間補間部１４は、補間された画素値が上下方向に対して正しく変化しているか否かを判定する。例えば、図１２に示す画素ｆを補間するとき、フィールド内補間部１４は、以下の式（７）に示す判定式Ｊを演算し、その演算結果の正負によりこれを判定する。
Ｊ＝（ｆ−ｃ）×（ｉ−ｆ）・・・（７）
【００９４】
ここで、ｃ，ｆは、補間された画素ｆの上下に存在する画素ｃ，ｆの画素値である。
【００９５】
すなわち、通常上下方向には、画素値は単調増加するか、単調減少する可能性が高いので、これをもって画素値の変化が正しいか否かを判定する。判定式Ｊは、単調増加、または、単調減少する場合、正の値となり、逆に、単調増加、または、単調減少しない場合、負の値となる。
【００９６】
そこで、判定式Ｊが正の値である場合、フィールド内補間部１４は、画素値が上下方向に対して正しく変化していると判定し、その処理は、ステップＳ７８に進む。
【００９７】
ステップＳ７８において、フィールド内補間部１４は、相関の高い方向の画素の組合せから生成された画素値を補間画素の画素値として補間メモリ１６ａに記憶させ、その処理は、ステップＳ７１に戻り、全ての画素が補間されるまで以上の処理が繰り返される。
【００９８】
ステップＳ７４において、近傍エネルギＥnearが所定の閾値よりも大きくないと判定された場合、ステップＳ７９において、上下の画素を用いた線形補間により画素値を生成し、生成した画素値を補間メモリ１６ａに記憶させる。すなわち、例えば、図１２に示す画素ｆを補間する場合、その上下に存在する画素ｃ，ｉの画素値から以下の式（８）より線形補間により画素値を求め、これを補間画素の画素値として補間メモリ１６ａに記憶させ、その処理は、ステップＳ７１に戻り、補間しようとする画素が全て補間されるまで処理が繰り返される。
ｆ＝1/2（ｃ＋ｉ）・・・（８）
【００９９】
ステップＳ７７において、画素値が上下方向に対して正しく変化していないと判定された場合、すなわち、判定式Ｊが負の値である場合、その処理は、ステップＳ７９に進む。
【０１００】
ここで、図２のフローチャートの説明に戻る。
【０１０１】
ステップＳ５において、フィールド内補間処理が実行された後、ステップＳ６において、静止/動画領域判定部１７が、静止動画領域判定処理を実行する。
【０１０２】
ここで、図１３のフローチャートを参照して、静止動画領域判定処理について説明する。
【０１０３】
ステップＳ９１において、静止/動画領域判定部１７は、静止/動画領域判定されていない画素が存在するか否かを判定し、静止/動画領域判定されていない画素が存在すると判定された場合、その処理は、ステップＳ９２に進む。
【０１０４】
ステップＳ９２において、静止動画領域判定されていない画素を注目画素として検索し、その注目画素の位置を読み出す。ステップＳ９３において、静止/動画領域判定部１７は、注目画素近傍のフィールド間とフィールド内の画素間の時間差分（画素値の時間差分）の絶対値を計算する。すなわち、例えば、図１４に示すように、垂直方向に並ぶ画素として、時刻ｔのフィールドデータ上に画素ａ，ｂが存在し、その間に注目画素ｓ（補間しようとする画素）が存在するものとする。また、時刻t-1のフィールドデータ上には、画素ｃ，ｄが、時刻t-2のフィールドデータ上には、画素ｅ，ｆが、時刻t-3のフィールドデータ上には、画素ｇ，ｈがそれぞれ存在するものとする。このとき、時刻tと時刻t-2のフィールドデータは、画素の存在する垂直方向のラインが同一であり、また、時刻t-1と時刻t-3のフィールドデータは、画素の存在する垂直方向のラインが同一であり、それぞれ相互に存在するラインが垂直方向に1ラインづつ、ずれた位置関係となっている。さらに、図１４中の時刻ｔ乃至t-3までのフィールドデータは、水平方向に対して同一のライン上の画素位置を示している。
【０１０５】
この状態で、フィールド間の時間差分の絶対値は、｜ａ−ｃ｜と｜ｂ−ｃ｜であり、また、フィールド内の時間差分の絶対値は、｜ａ−ｅ｜，｜ｃ−ｇ｜、および、｜ｂ−ｆ｜である。静止/動画領域判定部１７は、フィールドメモリ１１ａ乃至１１ｄより時刻ｔ乃至t-3のフィールドデータを読込み、これらのフィールドデータから、フィールド間の時間差分の絶対値（｜ａ−ｃ｜、および、｜ｂ−ｃ｜）と、フィールド内の時間差分の絶対値（｜ａ−ｅ｜，｜ｃ−ｇ｜、および、｜ｂ−ｆ｜）を演算する。
【０１０６】
ステップＳ９４において、静止/動画領域判定部１７は、フィールド間とフィールド内のそれぞれの時間的差分の絶対値の最大値を求める。
【０１０７】
ステップＳ９５において、静止/動画領域判定部１７は、フィールド内の時間的差分の絶対値の最大値が、フィールド間の時間的差分の絶対値の最大値の1/3倍よりも大きいか否かを判定し、フィールド内の時間的差分の絶対値の最大値が、フィールド間の時間的差分の絶対値の最大値の1/3倍よりも大きいと判定した場合、ステップＳ９６において、静止/動画領域判定部１７は、注目画素を動画素として記憶し、その処理は、ステップＳ９１に戻り、全ての画素が静止動画領域判定されるまで、同様の処理が繰り返される。
【０１０８】
ステップＳ９５において、フィールド内の時間的差分の絶対値の最大値が、フィールド間の時間的差分の絶対値の最大値の1/3倍よりも大きくないと判定された場合、ステップＳ９７において、静止/動画領域判定部１７は、２個のフィールド内の時間的差分同士の乗算結果が負で、かつ、加算結果の絶対値が所定の閾値よりも小さいか否かを判定し、２個のフィールド内の時間的差分同士の乗算結果が負で、かつ、加算結果の絶対値が所定の閾値よりも小さいと判定した場合、その処理は、ステップＳ９８に進む。
【０１０９】
ステップＳ９８において、静止/動画領域判定部１７は、２個のフィールド内時間的差分の絶対値の一方が所定の最小閾値よりも大きく、かつ、他方の1/2倍よりも大きいか否かを判定し、２個のフィールド内時間的差分の絶対値の一方が所定の最小閾値よりも大きく、かつ、他方の1/2倍よりも大きいと判定した場合、その処理は、ステップＳ９６に進み、２個のフィールド内時間的差分の絶対値の一方が所定の最小閾値よりも大きく、かつ、他方の1/2倍よりも大きくないと判定した場合、その処理は、ステップＳ９９に進む。
【０１１０】
ステップＳ９９において、静止/動画領域判定部１７は、２個のフィールド内時間的差分の絶対値の一方が所定の最大閾値よりも大きく、かつ、他方の1/4倍よりも大きいか否かを判定し、２個のフィールド内時間的差分の絶対値の一方が所定の最大閾値よりも大きく、かつ、他方の1/4倍よりも大きいと判定した場合、その処理は、ステップＳ９６に進み、２個のフィールド内時間的差分の絶対値の一方が所定の最大閾値よりも大きく、かつ、他方の1/4倍よりも大きくないと判定した場合、その処理は、ステップＳ１００に進む。
【０１１１】
ステップＳ１００において、静止/動画領域判定部１７は、注目画素を静止画領域の画素として記憶し、その処理は、ステップＳ９１に進む。
【０１１２】
ステップＳ９７において、２つのフィールド内の時間的差分同士の乗算結果が負で、かつ、加算結果の絶対値が所定の閾値よりも小さくないと判定された場合、その処理は、ステップＳ１００に進む。
【０１１３】
すなわち、ステップＳ９５の処理で、静止/動画領域判定部１７は、フィールド内の時間的差分の絶対値の最大値が、フィールド間時間的差分の絶対値の最大値の1/3倍よりも大きいと判定した場合、注目画素は、動画素とみなされ、それ以外の場合、２個のフィールド内の時間的差分の乗算結果が負で、かつ、加算結果の絶対値が所定の閾値よりも小さいという条件の下で、２個のフィールド内時間的差分の絶対値の一方が、所定の最小閾値よりも大きく、他方の1/2倍よりも大きいときか、或いは、２個のフィールド内時間的差分の絶対値の一方が所定の最大閾値よりも大きく、他方の1/4倍よりも大きいとき、やはり、注目画素は動画素とみなされ、それ以外の場合、注目画素は静止画素としてみなされる。
【０１１４】
ここで、図２のフローチャートの説明に戻る。
【０１１５】
ステップＳ６において、静止動画領域判定処理が実行されると、ステップＳ７において、セレクタ１８によりセレクト処理が実行される。
【０１１６】
ここで、図１５のフローチャートを参照して、セレクト処理について説明する。
【０１１７】
ステップＳ１１１において、セレクタ１８は、補間されていない注目画素が存在するか否かを判定する。ステップＳ１１２において、セレクタ１８は、注目画素の位置を読み出す。ステップＳ１１３において、セレクタ１８は、静止/動画領域判定部１７に、読み出した画素位置に対応する画素が、注目画素が動画素であるか否かを問い合わせて、判定し、動画素であると判定した場合、その処理は、ステップＳ１１４に進む。
【０１１８】
ステップＳ１１４において、セレクタ１８は、読み出した画素の位置に対応する、補間メモリ１６ａに記憶された動画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素として挿入して記憶すると共に、その処理は、ステップＳ１１１に戻る。
【０１１９】
ステップＳ１１３において、注目画素が動画素ではない、すなわち、静止画素であると判定された場合、ステップＳ１１５において、セレクタ１８は、読み出した画素の位置に対応する、補間メモリ１６ｂに記憶された静止画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素に挿入して記憶すると共に、その処理は、ステップＳ１１１に戻り、ステップＳ１１１において、全ての画素が補間されるまでこの処理を繰り返す。
【０１２０】
すなわち、セレクタ１８は、読み出した注目画素の位置に基づいて、静止/動画領域判定部１７に問い合わせて、各画素毎に静止画領域の画素として記憶されているか、動画領域の画素として記憶されているかを照合し、動画領域の画素であった場合、補間メモリ１６ａに記憶されたフィールド内補間部１４により動画素として補間された画素値を挿入し、また、注目画素が静止画領域であった場合、補間メモリ１６ｂに記憶されたフィールド間補間部１５により静止画素として補間された画素値を挿入する。
【０１２１】
ここで、図２のフローチャートの説明に戻る。
【０１２２】
ステップＳ７のセレクト処理が終了すると、ステップＳ８において、セレクタ１８は、生成されたプログレッシブ画像を図示せぬ後段の装置に出力する。
【０１２３】
以上においては、イメージリフレッシャ１２ａは、３タップの垂直フィルタと５タップの水平フィルタを用いた場合について説明してきたが、３タップの垂直フィルタと３タップの水平フィルタを用いるようにしてもよい。また、この場合、例えば、図１６に示すように、垂直フィルタは、（1/4−α/2，α＋1/2，1/4−α/2）となり、水平フィルタは、（1/4−α/2，α＋1/2，1/4−α/2）となるようにしてもよい。さらに、水平フィルタは、読み出した５個の画素値に対して１個おきに（例えば、画素ｆ，ｇ，ｈ，ｉ，ｊが順次読込まれたとき、画素ｆ，ｈ，ｊに対して）フィルタ処理を施す。また、３タップの垂直フィルタと５タップの水平フィルタの場合と、３タップの垂直フィルタと３タップの水平フィルタの場合とを、両方使用できるようにして、ユーザにより切替えられるようにしても良い。また、水平フィルタと垂直フィルタは、それ以外の異なるタップ数のものを使用するようにしても良い。また、補間に使用するフィールドデータ、または、画素は、連続するものでなくても良く、例えば、1個毎に使用したり、それ以上の数毎に使用するようにしても良い。
【０１２４】
さらに、未処理画素近傍の近傍エネルギの演算式は、式（５）のほかに、以下の式（９）を使用するようにしても良く、ユーザにより切替えられるようにしても良い。
Ｅnear-f＝｜ａ−ｇ｜＋｜ｂ−ｈ｜＋｜ｃ−ｉ｜＋｜ｄ−ｊ｜＋｜ｅ−ｋ｜・・・（９）
【０１２５】
以上によれば、インタレース画像からプログレッシブ画像に変換する処理において、高域成分の乏しい画像でも正しくエッジを強調させることが可能になると共に、静止画領域の垂直解像度を向上させ、動画領域の斜めエッジを滑らかに補間させることができ、さらに、変換処理時のエラーを抑制させるようにすることが可能となる。
【０１２６】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１２７】
図１８は、画像処理装置をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの動作の全体を制御する。また、CPU１０１は、バス１０４および入出力インターフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、または半導体メモリ１１４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。これにより、上述した画像処理装置の機能が、ソフトウェアにより実現されている。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１２８】
プログラムが記録されている記録媒体は、図１８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フロッピーディスクを含む）、光ディスク１１２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１１３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１２９】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１３０】
【発明の効果】
本発明の画像処理装置および方法、並びにプログラムによれば、インタレース画像からプログレッシブ画像に変換する処理において、高域成分の乏しい画像でも、エッジを強調させることができ、静止画領域の垂直解像度を向上させ、動画領域の斜めエッジを滑らかに補間することが可能になると共に、変換処理時のエラーを抑制することが可能になる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置のブロック図である。
【図２】図１の画像処理装置のIP変換処理を説明するフローチャートである。
【図３】１次元垂直エッジ強調処理を説明するフローチャートである。
【図４】１次元垂直フィルタを説明する図である。
【図５】１次元垂直フィルタを説明する図である。
【図６】１次元水平エッジ強調処理を説明するフローチャートである。
【図７】１次元水平フィルタを説明する図である。
【図８】１次元水平フィルタを説明する図である。
【図９】フィールド間補間処理を説明するフローチャートである。
【図１０】フィールド間補間処理を説明する図である。
【図１１】フィールド内補間処理を説明するフローチャートである。
【図１２】フィールド内補間処理を説明する図である。
【図１３】静止/動画領域判定処理を説明するフローチャートである。
【図１４】静止/動画領域判定処理を説明する図である。
【図１５】セレクト処理を説明するフローチャートである。
【図１６】１次元垂直フィルタを説明する図である。
【図１７】１次元水平フィルタを説明する図である。
【図１８】媒体を説明する図である。
【符号の説明】
１１ａ乃至１１ｆ フィールドメモリ，１２ａ，１２ｂ イメージリフレッシャ，１３ａ，１３ｂ バッファ，１４ フィールド内補間部，１５ フィールド間補間部，１６ａ，１６ｂ 補間メモリ，１７ 静止/動画領域判定部，１８ セレクタ
【発明の属する技術分野】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、インタレーススキャン画像をプログレッシブスキャン画像に変換させる際に、静止画領域の垂直解像度を向上させ、動画領域におけるエッジをなだらかに補間させるようにすると共に、変換におけるエラーを抑制するようにした画像処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
インタレーススキャン方式の画像をプログレッシブスキャン方式の画像に変換（IP変換）させる技術が一般に普及しつつある。
【０００３】
インタレーススキャン方式は、飛び越し走査と呼ばれる走査方式であり、実際の表示画像の走査線を１本おきに走査する（走査線１本おきに飛び越して走査する）方式である。インタレーススキャン方式で走査された１つの画像は、フィールドと呼ばれ、連続する画像を表示するとき、隣り合うフィールドは、走査線１本分ずれた状態で画素が存在しており、そのフィールドが連続して交互に表示されている。
【０００４】
プログレッシブスキャン方式は、インタレーススキャン方式に対して、表示画像の全走査線を走査する方式である。
【０００５】
従って、インタレーススキャン方式の画像からプログレッシブスキャン方式の画像への変換処理は、インタレーススキャン方式の画像の中の、画素が存在しないライン上に、元々存在する画素を使用して、画素を補間させ、全ての走査線上に画素を生成する処理である。
【０００６】
従来では、補間の方法としては、走査線１本分を遅延して、表示させることで、各走査線を２度スキャンする２度書きと呼ばれる方法や、上下方向の画素を用いて、線形補間するといった方法が用いられていた。
【０００７】
また、垂直解像度を上げるために、複数のフィールドの情報を利用する方法も提案された。この方法は、インタレーススキャン方式では、連続するフィールドの１個前のフィールドが、上述のように走査線１本分だけずれた関係にあるので、１個前のフィールド上には、現在のフィールド上の補間すべき位置に画素が存在する。そこで、複数のフィールドを使用する補間処理では、この画素を利用する。すなわち、その補間すべき画素が静止画素の場合、１個前のフィールドの画素を、そのまま使用して補間し、また、動画素の場合、現在のフィールドの上下の画素を用いて線形補間により画素を補間するというものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の方法では、例えば２度書きを使用した場合、斜めエッジとなる映像は、IP変換により大きな階段状に表示されることになってしまうという課題があった。
【０００９】
また、線形補間を用いた場合、２度書きに比べると、表示画像は向上されるものの、多少ぼけて表示されてしまうことがあり、また、２度書きを用いた場合と同様に斜めのエッジは、階段状に表示されてしまうという課題があった。
【００１０】
そこで、斜め方向のエッジが階段状に表示されてしまうのを防ぐために、エッジの方向を検出しながらIP変換を実行するという方法が提案された。これは、特公平３−４２８３２に記載されているものであり、補間すべき注目画素を中心として、上下、右上左下、および、右下左上の３組の画素の差分の絶対値を調べて、最も小さい値をとる画素の組合せで補間を行い、全てが所定の値より大きい値であれば上の画素値をコピーして補間するという方法である。これにより、斜め方向のエッジが存在す場合でも、その方向が滑らかに補間されるようになった。
【００１１】
しかしならが、エッジの方向を検出しながら変換する方法においては、斜め方向のエッジの表示が改善されるものの、静止画領域では、複数のフィールドを用いる方法に比べて、垂直解像度が不利となってしまうという課題がった。また、エッジの方向を検出しながら変換する方法は、実画像に適用すると、例えば、ノイズや照明条件によって、斜め方向の相関関係が上下方向よりも若干高く、算出されてしまうことがあり、実際の絵柄は上下に連続していても、正確に表示されないといったエラーが発生し易くなるという課題があった。
【００１２】
さらに、複数フィールドを使用する方法では、斜めエッジが階段状に表示される問題は改善されるものの、静止画領域では、複数のフィールドを使用するため、垂直解像度が多少犠牲にされてしまうという課題があった。
【００１３】
また、一般的なビデオ信号などにおいては、高周波成分がわずかしか含まれておらず、エッジはぼんやりとしか現れないので、局地的にエッジ方向を正確に検出するのは困難であり、特定方向のエッジを強調しようとしても、複数のエッジ方向の候補が検出されて、選別することができず、結局、従来の線形補間と同程度の画質でしか、画像を生成することができないという課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、インタレーススキャン画像からプログレッシブスキャン画像への変換の際に、静止画部分の垂直解像度を向上させ、動画領域におけるエッジをなだらかに補間させると共に、変換におけるエラーを抑制できるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値を、それぞれ垂直方向、および、水平方向の中心画素エネルギとして算出する中心画素エネルギ算出手段と、中心画素エネルギ算出手段により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施して、変換しようとするインタレース方式の画像のエッジを強調するエッジ強調手段と、エッジ強調手段によりエッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間手段と、エッジ強調手段によりエッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間手段と、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定手段と、判定手段の判定結果に基づいて、フィールド内補間手段により補間された画素か、または、フィールド間補間手段により補間された画素のいずれかを選択する選択手段とを備えることを特徴とする。
【００１７】
前記エッジ強調手段には、インタレース方式の画像の各画素毎に水平方向、および、垂直方向の１次元フィルタ処理を施し、画像のエッジを強調させるようにすることができる。
【００２０】
前記変換しようとするインタレース方式の画像のフィールド内に、補間しようとする画素の上下の水平ライン上であって、補間しようとする画素の近傍の画素のうち、補間しようとする画素を中心として点対照な位置となる上下の水平ライン上のそれぞれの方向毎の画素同士の相関を検出する相関検出手段をさらに設けるようにさせることができ、フィールド内補間手段には、相関検出手段により検出された相関の最も強い方向の画素同士から画素を補間させるようにすることができる。
【００２１】
前記相関検出手段には、補間しようとする画素を中心として、点対照な位置同士の画素の画素値の差分の絶対値を相関として検出させるようにすることができる。
【００２２】
前記補間しようとする画素の近傍の画素値のうち、補間しようとする画素を挟んで、その上下に水平方向に伸びるライン上の所定数の画素であって、ラインに垂直に対向し合う画素の画素値の差分の絶対値の和、または、補間しようとする画素を中心として、点対称の位置に存在する画素の画素値の差分の絶対値の和を、補間しようとする画素の近傍エネルギとして算出する近傍エネルギ算出手段をさらに設けるようにさせることができ、近傍エネルギ算出手段により算出された補間しようとする画素の近傍エネルギの値が、所定の閾値より大きい場合、フィールド内補間手段には、相関検出手段により検出された相関の最も強い方向の画素に基づいて補間を行わせるようにすることができる。
【００２４】
本発明の画像処理方法は、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値を、それぞれ垂直方向、および、水平方向の中心画素エネルギとして算出する中心画素エネルギ算出ステップと、中心画素エネルギ算出ステップの処理により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施して、変換しようとするインタレース方式の画像のエッジを強調するエッジ強調ステップと、エッジ強調ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、エッジ強調ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、フィールド内補間ステップの処理で補間された画素か、または、フィールド間補間ステップの処理で補間された画素のいずれかを選択する選択ステップとを備えることを特徴とする。
【００２５】
本発明のプログラムは、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値の、それぞれ垂直方向、および、水平方向の中心画素エネルギとしての算出を制御する中心画素エネルギ算出制御ステップと、中心画素エネルギ算出制御ステップの処理により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施して、変換しようとするインタレース方式の画像のエッジの強調を制御するエッジ強調制御ステップと、エッジ強調制御ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素の補間を制御するフィールド間補間制御ステップと、エッジ強調制御ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素の補間を制御するフィールド内補間制御ステップと、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかの判定を制御する判定制御ステップと、判定制御ステップの処理での判定結果に基づいて、フィールド内補間制御ステップの処理で補間された画素か、または、フィールド間補間制御ステップの処理で補間された画素のいずれかの選択を制御する選択制御ステップとを含むことを特徴とする。
【００２６】
本発明の記録媒体のプログラムは、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値の、それぞれ垂直方向、および、水平方向の中心画素エネルギとしての算出を制御する中心画素エネルギ算出制御ステップと、中心画素エネルギ算出制御ステップの処理により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施して、変換しようとするインタレース方式の画像のエッジの強調を制御するエッジ強調制御ステップと、エッジ強調制御ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素の補間を制御するフィールド間補間制御ステップと、エッジ強調制御ステップの処理によりエッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素の補間を制御するフィールド内補間制御ステップと、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかの判定を制御する判定制御ステップと、判定制御ステップの処理での判定結果に基づいて、フィールド内補間制御ステップの処理で補間された画素か、または、フィールド間補間制御ステップの処理で補間された画素のいずれかの選択を制御する選択制御ステップとを含むことを特徴とする。
【００２７】
本発明の画像処理装置および方法、並びにプログラムにおいては、変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、各画素の水平方向に隣接する左右の垂直ライン上に存在する、各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値が、それぞれ垂直方向、および、水平方向の中心画素エネルギとして算出され、算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理が施されて、変換しようとするインタレース方式の画像のエッジが強調され、エッジが強調された変換しようとするインタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、プログレッシブ方式の画像の画素が補間され、エッジが強調された変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素が補間され、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかが判定され、判定結果に基づいて、フィールド内補間された画素か、または、フィールド間補間された画素のいずれかが選択される。
【００２８】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の一実施の形態の構成を示す図である。フィールドメモリ１１ａ乃至１１ｆは、入力されたインタレーススキャン方式の画像（以下、インタレース画像と称する）の１フィールド分の情報を一時的に記憶し、後段の装置に出力する。すなわち、フィールドメモリ１１ａは、所定の時刻ｔのタイミングで入力された１フィールド分の画像情報を記憶し、次の時刻t+1のタイミングで、記憶していた時刻ｔのフィールドデータを、イメージリフレッシャ１２ａおよび静止/動画領域判定部１７に出力すると共に、フィールドメモリ１１ｂに出力する。そして、それと同時に、フィールドメモリ１１ａは、新たに時刻t+1のフィールドデータを記憶する。フィールドメモリ１１ｂは、時刻t+1のタイミングで、フィールドメモリ１１ａより入力された時刻tのフィールドデータを記憶する。
【００２９】
また、時刻t+2のタイミングで、フィールドメモリ１１ａは、時刻t+1のフィールドデータをイメージリフレッシャ１２ａ、静止/動画領域判定部１７、および、フィールドメモリ１１ｂに出力し、新たな、時刻t+2のフィールドデータを記憶する。同時に、時刻t+2において、フィールドメモリ１１ｂは、時刻ｔのフィールドデータを、フィールドメモリ１１ｃ、イメージリフレッシャ１２ｂ、および、静止/動画領域判定部１７に出力し、フィールドメモリ１１ａより入力された時刻t+1のフィールドデータを記憶する。フィールドメモリ１１ｃは、フィールドメモリ１１ｂより入力された時刻tのフィールドデータを記憶する。
【００３０】
さらに、時刻t+3において、フィールドメモリ１１ａは、それまで記憶していた時刻t+2のフィールドデータをフィールドメモリ１１ｂ、イメージリフレッシャ１２ａ、および、静止/動画領域判定部１７に出力し、時刻t+3のフィールドデータを記憶する。同時に、フィールドメモリ１１ｂは、時刻t+1のフィールドデータをフィールドメモリ１１ｃ、イメージリフレッシャ１２ｂ、および、静止/動画領域判定部１７に出力し、フィールドメモリ１１ｂより入力された時刻t+2のフィールドデータを記憶する。また、フィールドメモリ１１ｃは、記憶していた時刻tのフィールドデータをフィールドメモリ１１ｄ、および、静止/動画領域判定部１７に出力する。
【００３１】
また、時刻t+4において、フィールドメモリ１１ａは、記憶していた時刻t+3のフィールドデータをフィールドメモリ１１ｂ、イメージリフレッシャ１２ａ、および、静止/動画領域判定部１７に出力し、入力された時刻t+4のフィールドデータを記憶する。フィールドメモリ１１ｂは、記憶していた時刻t+2のフィールドデータをフィールドメモリ１１ｃ、イメージリフレッシャ１２ｂ、および、静止/動画領域判定部１７に出力し、フィールドメモリ１１ａより入力された時刻t+3のフィールドデータを記憶する。フィールドメモリ１１ｃは、記憶していた時刻t+1のフィールドデータをフィールドメモリ１１ｄおよび静止/動画領域判定部１７に出力し、フィールドメモリ１１ｂより入力された時刻t+2のフィールドデータを記憶する。フィールドメモリ１１ｄは、記憶していた時刻ｔのフィールドデータを静止/動画領域判定部１７に出力し、フィールドメモリ１１ｃより入力された時刻t+1のフィールドデータを記憶する。
【００３２】
このように、フィールドメモリ１１ａ乃至１１ｄは、順次フィールドデータを伝達しながら、常に、４個の連続したフィールドデータを記憶している。また、フィールドメモリ１１ｅ，１１ｆは、イメージリフレッシャ１２ａ，１２ｂから供給される垂直方向のエッジ、および、水平方向のエッジのそれぞれが強調されたフィールドデータを記憶し、順次フィールド内補間部１４、および、フィールド間補間部１５に出力する。
【００３３】
イメージリフレッシャ１２ａは、バッファ１３ａを適宜利用しながら、フィールドメモリ１１ａより入力されたフィールドデータに、１次元の垂直フィルタ、および、１次元の水平フィルタの処理を施し、垂直方向および水平方向のエッジ部分を強調した後、フィールドメモリ１１ｅに出力する。イメージリフレッシャ１２ｂ、および、バッファ１３ｂについても処理は、同様であるが、１フィールド分だけ時刻的に遅れたフィールドデータの処理を行う。
【００３４】
フィールド内補間部１４は、エッジ強調処理されたフィールドメモリ１１ｅに記憶されているフィールドデータからプログレッシブ画像の動画領域の画素を補間して生成し、プログレッシブ画像として補間メモリ１６ａに出力し、記憶させる。尚、フィールド内補間処理については、詳細を後述する。
【００３５】
フィールド間補間部１５は、フィールドメモリ１１ｅ，１１ｆに記憶されている連続する２個のフィールドデータからプログレッシブ画像の静止画領域の画素を補間して生成し、生成したプログレッシブ画像を補間メモリ１６ｂに出力し、記憶させる。尚、フィールド間補間処理については、詳細を後述する。
【００３６】
静止/動画領域判定部１７は、フィールドメモリ１１ａ乃至１１ｄより入力される、連続する４個のフィールドデータから、最新のフィールドデータの補間しようとする画素が静止画領域の画素であるのか、または、動画領域の画素であるのかを判定し、記憶する。尚、静止画領域の画素であるか、または、動画領域の画素であるかの判定処理については、詳細を後述する。
【００３７】
セレクタ１８は、静止/動画領域判定部１７に記憶された情報に基づいて、補間しようとする画素が動画領域の画素である場合、フィールド間補間部１５により補間された画素を補間メモリ１６ｂから読出し、また、補間しようとする画素が静止画領域の画素である場合、フィールド内補間部１４により補間された画素を補間メモリ１６ａから読み出して、最終的なプログレッシブ画像を生成し、出力する。
【００３８】
次に、図２のフローチャートを参照して、本発明を適用した画像処理装置のIP変換処理について説明する。
【００３９】
ステップＳ１において、フィールドメモリ１１ａは、記憶していたフィールドデータをフィールドメモリ１１ｂ、イメージリフレッシャ１２ａ、および、静止/動画領域判定部１７に出力し、入力されたフィールドデータを記憶する。同時に、フィールドメモリ１１ｂは、それまで記憶していたフィールドデータをフィールドメモリ１１ｃ、イメージリフレッシャ１２ｂ、および、静止/動画領域判定部１７に出力する。また、フィールドメモリ１１ｃは、それまで記憶していたフィールドデータをフィールドメモリ１１ｄ、および、静止/動画領域判定部１７に出力し、フィールドメモリ１１ｂより入力されたフィールドデータを記憶する。さらに、フィールドメモリ１１ｄは、それまで記憶していたフィールドデータを静止/動画領域判定部１７に出力し、フィールドメモリ１１ｃより入力されたフィールドデータを記憶する。
【００４０】
ステップＳ２において、イメージリフレッシャ１２ａ，１２ｂは、１次元垂直エッジ強調処理を施す。
【００４１】
ここで、図３のフローチャートを参照して、イメージリフレッシャ１２ａ，１２ｂの１次元垂直エッジ強調処理について説明する。尚、イメージリフレッシャ１２ａ，１２ｂの処理は、連続する２個のフィールドデータに対して、同様の処理が実行されることになるので、ここでは、イメージリフレッシャ１２ａの処理について説明する。
【００４２】
ステップＳ２１において、イメージリフレッシャ１２ａは、フィールドメモリ１１ａより入力されたフィールドデータのうち、処理していない画素があるか否かを判定し、処理していない画素があると判定された場合、その処理は、ステップＳ２２に進む。
【００４３】
ステップＳ２２において、イメージリフレッシャ１２ａは、未処理画素を検索し、検索された未処理画素の垂直方向中心画素エネルギを算出する。例えば、図４に示すようなフィールドデータが存在し、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、画素ｈの近傍のＡエリア（図中実線で囲まれた範囲）の垂直方向中心画素エネルギEV-hは、以下の式により求められる。
EV-h＝｜（ｂ＋ｃ＋ｄ）−（ｌ＋ｍ＋ｎ）｜・・・（１）
【００４４】
ここで、ｂ，ｃ，ｄ，ｌ，ｍ，およびｎは、画素ｂ，ｃ，ｄ，ｌ，ｍ，およびｎの画素値である。すなわち、式（１）の垂直方向中心画素エネルギEVは、未処理画素を中心とした上のラインと下のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が上下にある場合は、その画素値の差分には、大きな差がないので、垂直方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が上下にある場合、その画素値の差分には大きな差が現れることが多く、結果として垂直方向中心画素エネルギも大きくなる。
【００４５】
イメージリフレッシャ１２ａは、未処理画素の垂直方向中心画素エネルギEV-hを上記の式（１）を演算することにより求める。
【００４６】
ステップＳ２３において、イメージリフレッシャ１２ａは、求められた垂直方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が垂直方向の画素との間に強い相関が見られないと判定した場合、その処理は、ステップＳ２４に進む。
【００４７】
ステップＳ２４において、イメージリフレッシャ１２ａは、未処理画素を含めた上下３個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図４に示すように、未処理画素が画素ｈであった場合、それを含めた上下の画素ｃ，ｈ，ｍ（図４中の実線で囲まれたＢエリア）の各画素値を読出し、図５に示すように、その内の最大値（ｃ，ｈ，ｍ）と最小値（ｃ，ｈ，ｍ）を求める。
【００４８】
ステップＳ２５において、イメージリフレッシャ１２ａは、図４に示すBエリアの画素ｃ，ｈ，ｍに、図５に示すような１次元垂直フィルタ処理を施す。すなわち、１次元垂直フィルタとしては、（1/2−α/2，α，1/2−α/2）（１<α≦２）といったものであり、以下の式（２）に示すような演算により、フィルタ処理された画素値ｈV-filterが求められる。
ｈV-filter＝ｃ×（1/2−α/2）＋ｈ×α＋ｍ×（1/2−α/2）・・・（２）
【００４９】
ここで、αは、１<α≦２の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【００５０】
ステップＳ２６において、イメージリフレッシャ１２ａは、図５に示すように、フィルタ処理した画素値ｈV-filterと最大値（ｃ，ｈ，ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上であるか否かを判定し、最大値（ｃ，ｈ，ｍ）以上であると判定した場合、ステップＳ２７において、イメージリフレッシャ１２ａは、画素値ｈV-filterを最大値（ｃ，ｈ，ｍ）に置き換える。
【００５１】
ステップＳ２８において、イメージリフレッシャ１２ａは、最大値（ｃ，ｈ，ｍ）に置き換えられた画素値を画素ｈの画素値としてバッファ１３ａに記憶させ、その処理は、ステップＳ２１に戻り、全ての画素に１次元垂直エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【００５２】
ステップＳ２３において、垂直方向中心画素エネルギEVが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が上下の画素との間に強い相関が認められると判定された場合、その処理は、ステップＳ２８に進み、イメージリフレッシャ１２ａは、画素ｈの画素値を、フィルタ処理することなく、そのままバッファ１３ａに記憶させ、その処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００５３】
ステップＳ２６において、フィルタ処理した画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上ではないと判定した場合、ステップＳ２９において、イメージリフレッシャ１２ａは、フィルタ処理した画素値ｈV-filterと最小値（ｃ，ｈ，ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であるか否かを判定し、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であると判定した場合、その処理は、ステップＳ３０に進む。
【００５４】
ステップＳ３０において、イメージリフレッシャ１２ａは、画素値ｈV-filterを最小値（ｃ，ｈ，ｍ）に置き換え、ステップＳ２８において、最小値（ｃ，ｈ，ｍ）に置き換えられた画素値を、画素ｈの画素値としてバッファ１３ａに記憶する。
【００５５】
ステップＳ２９において、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下ではないと判定した場合、その処理は、ステップＳ２８に進み、イメージリフレッシャ１２ａは、フィルタ処理された画素値ｈV-filterを、画素ｈの画素値としてバッファ１３ａに記憶させ、その処理は、ステップＳ２１に戻る。
【００５６】
すなわち、ステップＳ２３の処理で、垂直方向中心画素エネルギの値が所定の閾値以上である場合（未処理画素が上下の画素との間に強い相関が認められない場合）、図５に示すように、ステップＳ２４の処理で求められた最大値（ｃ，ｈ，ｍ）、および、最小値（ｃ，ｈ，ｍ）が、画素ｃ，ｈ，ｍの局所的な範囲の最大値と最小値とみなされ、ステップＳ２５の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をバッファ１３ａに記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、バッファ１３ａに記憶させる。ステップＳ２３の処理で、垂直方向中心画素エネルギの値が所定の閾値以上ではない場合、すなわち、上下の画素と相関が強い場合、元の画素値がそのままバッファ１３ａに記憶される。
【００５７】
ここで、図２のフローチャートの説明に戻る。
【００５８】
ステップＳ２において、１次元エッジ強調処理が実行された後、ステップＳ３において、イメージリフレッシャ１２ａは、１次元水平エッジ強調処理を実行する。
【００５９】
ここで、図６のフローチャートを参照して、１次元水平エッジ強調処理について説明する。
【００６０】
ステップＳ４１において、イメージリフレッシャ１２ａは、バッファ１３ａに記憶された１次元垂直エッジ強調処理されているフィールドデータの各画素について１次元水平エッジ処理を施していない画素があるか否かを判定し、未処理の画素が存在すると判定した場合、その処理は、ステップＳ４２に進む。
【００６１】
ステップＳ４２において、イメージリフレッシャ１２ａは、未処理画素を検索し、検索された未処理画素の水平方向中心画素エネルギを算出する。例えば、図７に示すようなフィールドデータが存在し、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、画素ｈの近傍のＡエリア（図中実線で囲まれた範囲）の水平方向中心画素エネルギEH-hは、以下の式により求められる。
EH-h＝｜（ｄ＋ｉ＋ｎ）−（ｂ＋ｇ＋ｌ）｜・・・（３）
【００６２】
ここで、ｂ，ｄ，ｇ，ｉ，ｌ、およびｎは、画素ｂ，ｄ，ｇ，ｉ，ｌ、およびｎの画素値である。すなわち、式（３）の水平方向中心画素エネルギEHは、未処理画素を中心とした右のラインと左のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が左右にある場合は、その画素値の差分には、大きな差がないので、水平方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が左右にある場合、その画素値の差分には大きな差が現れることが多いので、水平方向中心画素エネルギも大きくなる。
【００６３】
イメージリフレッシャ１２ａは、上記の式（３）を演算し、未処理画素の水平方向中心画素エネルギEHを求める。
【００６４】
ステップＳ４３において、イメージリフレッシャ１２ａは、求められた水平方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が左右の画素と強い相関が見られないと判定した場合、その処理は、ステップＳ４４に進む。
【００６５】
ステップＳ４４において、イメージリフレッシャ１２ａは、未処理画素を含めた左右５個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図７に示すように、未処理画素が画素ｈであった場合、それを含めた左右の画素ｆ乃至ｊ（図７中の実線で囲まれたＢエリア）の各画素値を読出し、図８に示すように、その内の最大値（ｆ，ｇ，ｈ，ｉ，ｊ）と最小値（ｆ，ｇ，ｈ，ｉ，ｊ）を求める。
【００６６】
ステップＳ４５において、イメージリフレッシャ１２ａは、図７に示すBエリアの画素ｆ乃至ｊに、図８に示すような１次元水平フィルタ処理を施す。すなわち、１次元垂直フィルタとしては、（1/4−α/2，1/4，α，1/4，1/4−α/2）（１<α≦２）といったものであり、以下に示す式（４）を演算することにより、フィルタ処理された画素値ｈH-filterが求められる。
ｈH-filter＝ｆ×（1/4−α/2）＋ｇ×1/4＋ｈ×α＋ｉ×1/4＋ｊ×（1/4−α/2） ・・・（４）
【００６７】
ここで、αは、１<α≦２の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【００６８】
ステップＳ４６において、イメージリフレッシャ１２ａは、フィルタ処理した画素値ｈH-filterと最大値（ｆ，ｇ，ｈ，ｉ，ｊ）を比較し、フィルタ処理した画素値ｈH-filterが最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上であるか否かを判定し、最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上であると判定した場合、ステップＳ４７において、イメージリフレッシャ１２ａは、画素値ｈH-filterを最大値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換える。
【００６９】
ステップＳ４８において、イメージリフレッシャ１２ａは、最大値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換えられた画素値を画素ｈの画素値としてフィールドメモリ１１ｅに記憶させ、その処理は、ステップＳ４１に戻り、全ての画素に１次元水平エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【００７０】
ステップＳ４３において、水平方向中心画素エネルギEHが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が左右の画素との間に強い相関が見られると判定された場合、その処理は、ステップＳ４８に進み、イメージリフレッシャ１２ａは、画素ｈの画素値をそのままフィールドメモリ１１ｅに記憶させ、その処理は、ステップＳ４１に戻る。
【００７１】
ステップＳ４６において、フィルタ処理した画素値ｈH-filterが最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上ではないと判定した場合、ステップＳ４９において、イメージリフレッシャ１２ａは、フィルタ処理した画素値ｈH-filterと最小値（ｆ，ｇ，ｈ，ｉ，ｊ）を比較し、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下であるか否かを判定し、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下であると判定した場合、その処理は、ステップＳ５０に進む。
【００７２】
ステップＳ５０において、イメージリフレッシャ１２ａは、画素値ｈH-filterを最小値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換え、ステップＳ４８において、最小値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換えられた画素値を、画素ｈの画素値としてフィールドメモリ１１ｅに記憶する。
【００７３】
ステップＳ４９において、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下ではないと判定した場合、その処理は、ステップＳ４８に進み、イメージリフレッシャ１２ａは、フィルタ処理された画素値ｈH-filterを、画素ｈの画素値としてフィールドメモリ１１ｅに記憶させ、その処理は、ステップＳ４１に戻る。
【００７４】
すなわち、ステップＳ４３の処理で、水平方向中心画素エネルギの値が所定の閾値以上である場合（未処理画素が左右の画素との間に強い相関が認められない場合）、図８に示すように、ステップＳ４４の処理で求められた最大値（ｆ，ｇ，ｈ，ｉ，ｊ）、および、最小値（ｆ，ｇ，ｈ，ｉ，ｊ）が、画素ｆ，ｇ，ｈ，ｉ，ｊの局所的な範囲の最大値と最小値とみなされ、ステップＳ４５の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をフィールドメモリ１１ｅに記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、フィールドメモリ１１ｅに記憶させる。ステップＳ４３の処理で、水平方向中心画素エネルギの値が所定の閾値以上ではない場合、元の画素値がそのままフィールドメモリ１１ｅに記憶される。
【００７５】
ここで、図２のフローチャートの説明に戻る。
【００７６】
尚、イメージリフレッシャ１２ｂは、同じタイミングで１フィールド分遅れたフィールドデータをフィールドメモリ１１ｂから読込んで、イメージリフレッシャ１２ａと同様に、図２のステップＳ２，Ｓ３の処理で、１次元垂直エッジ強調処理、および、１次元水平エッジ強調処理を施し、エッジ強調したフィールドデータを生成して、フィールドメモリ１１ｆに記憶させている。ここでは、同様の処理であるので、その説明は省略する。
【００７７】
ステップＳ３において、１次元水平エッジ強調処理が実行された後、ステップＳ４において、フィールド間補間部１５は、フィールド間補間処理を実行する。
【００７８】
ここで、図９のフローチャートを参照して、フィールド間補間処理について説明する。
【００７９】
ステップＳ６１において、フィールド間補間部１５は、フィールドメモリ１１ｅ，１１ｆに記憶されているフィールドデータを読み出す。ステップＳ６２において、フィールドメモリ１１ｅから読み出したフィールドデータと、フィールドメモリ１１ｆから読み出したフィールドデータを合成して、補間メモリ１６ｂに記憶させる。
【００８０】
すなわち、例えば、時刻tのタイミングで読込まれたフィールドデータがフィールドメモリ１１ｅに記憶されているとすれば、フィールドメモリ１１ｆに記憶されているフィールドデータは、時刻t-1のタイミングで読込まれたフィールドデータである。このため、時刻tのタイミングで読込まれたフィールドデータと、時刻t-1のタイミングで読込まれたフィールドデータの垂直方向に配置された画素の位置は、図１０に示すように、時刻ｔのフィールドデータ上の画素Ａ，Ｂと、時刻t-1のフィールドデータ上の画素Ｃ，Ｄのようにずれて配置されることになる。このとき、時刻ｔのフィールドデータに補間しようとする画素の位置は、時刻t-1のフィールドデータの画素の位置と同様である。
【００８１】
そこで、時刻ｔのフィールドデータの各画素の間のラインに、時刻t-1のフィールドデータを、例えば、図１０の画素Ｃ，Ｄをコピーするように、画素Ｅ，Ｆとして合成し、プログレッシブ画面を生成し、補間メモリ１６ｂに記憶させる。
【００８２】
すなわち、静止画領域の画素は、その画素値が時刻により大きく変化しないので、このようなフィールド間補間処理により生成することができる。
【００８３】
ここで、図２のフローチャートの説明に戻る。
【００８４】
ステップＳ４において、フィールド間補間処理が実行された後、ステップＳ５において、フィールド内補間部１４は、フィールド内補間処理を実行する。
【００８５】
ここで、図１１を参照して、フィールド内補間部１４のフィールド内補間処理について説明する。
【００８６】
ステップＳ７１において、フィールド内補間部１４は、フィールドメモリ１１ｅに記憶されたフィールドデータを検索し、補間されていない画素が存在するか否かを判定し、補間されていない画素が存在すると判定した場合、その処理は、ステップＳ７２に進む。
【００８７】
ステップＳ７２において、フィールド内補間部１４は、補間しようとする画素の位置を読み出し、ステップＳ７３において、補間しようとする画素位置近傍の近傍エネルギＥnearを求める。ここで、補間しようとする画素位置近傍の近傍エネルギＥnearは、例えば、図１２に示すように、垂直方向にｙ−１，ｙ＋１のライン上に、それぞれ画素ａ乃至ｅおよび画素ｇ乃至ｋが存在し、その間のｙのライン上に画素ｆを補間しようとする場合、以下の式（５）から求められる。
Ｅnear-f＝｜ａ−ｋ｜＋｜ｂ−ｊ｜＋｜ｃ−ｉ｜＋｜ｄ−ｈ｜＋｜ｅ−ｇ｜・・・（５）
【００８８】
ここで、ａ乃至ｋは、画素ａ乃至ｋの画素値である。
【００８９】
すなわち、補間しようとする画素位置近傍の近傍エネルギＥnearは、補間しようとする画素位置の上下のライン上に存在する画素のうち、補間しようとする画素位置を中心として点対称となる位置の画素値同士の差分の絶対値を加算したものである。このため、近傍エネルギＥnearの値が大きいほど、補間しようとする画素は、エッジ部分を形成している可能性が高く、逆に、その値が小さいほど、補間しようとする画素は、エッジやテクスチャ部分には存在しない可能性が高くなる。
【００９０】
ステップＳ７４において、フィールド内補間部１４は、近傍エネルギＥnearが所定の値より大きいか否かを判定し、大きいと判定した場合（エッジ部分を形成している可能性が高いと判定した場合）、その処理は、ステップＳ７５に進む。
【００９１】
ステップＳ７５において、フィールド内補間部１４は、補間しようとする画素の近傍の画素から、相関の高い方向の画素の組合せを求める。すなわち、相関とは、補間しようとする画素を中心として、その点対称の位置に存在する画素間の画素値の差分の絶対値である。例えば、図１２にしめすように、画素ｆを補間しようとするとき、求めるべき相関は、｜ａ−ｋ｜、｜ｂ−ｊ｜、｜ｃ−ｉ｜、｜ｄ−ｈ｜、｜ｅ−ｇ｜である。さらに、これらを求めた後、最も小さい値をとる組合せを検出し、これを最も相関の高い画素の組合せとする。すなわち、相関が高いということは、画素値に大きな変化がないことになるので、差分の絶対値が小さいものほど相関が高いことになる。例えば、｜ｂ−ｊ｜が最も小さい値をとった場合、画素ｂ，ｊを結ぶ直線方向が相関の高い方向の画素の組合せと言うことになる。
【００９２】
ステップＳ７６において、検出された方向の画素の組合せから補間画素を生成する。すなわち、例えば、図１２に示す画素ｂ，ｊの組合せが最も相関の高い方向の画素の組合せであるとき、補間される画素ｆの画素値は、以下の式（６）から求められる。
ｆ＝1/2×（ｂ＋ｊ）・・・（６）
【００９３】
ステップＳ７７において、フィールド間補間部１４は、補間された画素値が上下方向に対して正しく変化しているか否かを判定する。例えば、図１２に示す画素ｆを補間するとき、フィールド内補間部１４は、以下の式（７）に示す判定式Ｊを演算し、その演算結果の正負によりこれを判定する。
Ｊ＝（ｆ−ｃ）×（ｉ−ｆ）・・・（７）
【００９４】
ここで、ｃ，ｆは、補間された画素ｆの上下に存在する画素ｃ，ｆの画素値である。
【００９５】
すなわち、通常上下方向には、画素値は単調増加するか、単調減少する可能性が高いので、これをもって画素値の変化が正しいか否かを判定する。判定式Ｊは、単調増加、または、単調減少する場合、正の値となり、逆に、単調増加、または、単調減少しない場合、負の値となる。
【００９６】
そこで、判定式Ｊが正の値である場合、フィールド内補間部１４は、画素値が上下方向に対して正しく変化していると判定し、その処理は、ステップＳ７８に進む。
【００９７】
ステップＳ７８において、フィールド内補間部１４は、相関の高い方向の画素の組合せから生成された画素値を補間画素の画素値として補間メモリ１６ａに記憶させ、その処理は、ステップＳ７１に戻り、全ての画素が補間されるまで以上の処理が繰り返される。
【００９８】
ステップＳ７４において、近傍エネルギＥnearが所定の閾値よりも大きくないと判定された場合、ステップＳ７９において、上下の画素を用いた線形補間により画素値を生成し、生成した画素値を補間メモリ１６ａに記憶させる。すなわち、例えば、図１２に示す画素ｆを補間する場合、その上下に存在する画素ｃ，ｉの画素値から以下の式（８）より線形補間により画素値を求め、これを補間画素の画素値として補間メモリ１６ａに記憶させ、その処理は、ステップＳ７１に戻り、補間しようとする画素が全て補間されるまで処理が繰り返される。
ｆ＝1/2（ｃ＋ｉ）・・・（８）
【００９９】
ステップＳ７７において、画素値が上下方向に対して正しく変化していないと判定された場合、すなわち、判定式Ｊが負の値である場合、その処理は、ステップＳ７９に進む。
【０１００】
ここで、図２のフローチャートの説明に戻る。
【０１０１】
ステップＳ５において、フィールド内補間処理が実行された後、ステップＳ６において、静止/動画領域判定部１７が、静止動画領域判定処理を実行する。
【０１０２】
ここで、図１３のフローチャートを参照して、静止動画領域判定処理について説明する。
【０１０３】
ステップＳ９１において、静止/動画領域判定部１７は、静止/動画領域判定されていない画素が存在するか否かを判定し、静止/動画領域判定されていない画素が存在すると判定された場合、その処理は、ステップＳ９２に進む。
【０１０４】
ステップＳ９２において、静止動画領域判定されていない画素を注目画素として検索し、その注目画素の位置を読み出す。ステップＳ９３において、静止/動画領域判定部１７は、注目画素近傍のフィールド間とフィールド内の画素間の時間差分（画素値の時間差分）の絶対値を計算する。すなわち、例えば、図１４に示すように、垂直方向に並ぶ画素として、時刻ｔのフィールドデータ上に画素ａ，ｂが存在し、その間に注目画素ｓ（補間しようとする画素）が存在するものとする。また、時刻t-1のフィールドデータ上には、画素ｃ，ｄが、時刻t-2のフィールドデータ上には、画素ｅ，ｆが、時刻t-3のフィールドデータ上には、画素ｇ，ｈがそれぞれ存在するものとする。このとき、時刻tと時刻t-2のフィールドデータは、画素の存在する垂直方向のラインが同一であり、また、時刻t-1と時刻t-3のフィールドデータは、画素の存在する垂直方向のラインが同一であり、それぞれ相互に存在するラインが垂直方向に1ラインづつ、ずれた位置関係となっている。さらに、図１４中の時刻ｔ乃至t-3までのフィールドデータは、水平方向に対して同一のライン上の画素位置を示している。
【０１０５】
この状態で、フィールド間の時間差分の絶対値は、｜ａ−ｃ｜と｜ｂ−ｃ｜であり、また、フィールド内の時間差分の絶対値は、｜ａ−ｅ｜，｜ｃ−ｇ｜、および、｜ｂ−ｆ｜である。静止/動画領域判定部１７は、フィールドメモリ１１ａ乃至１１ｄより時刻ｔ乃至t-3のフィールドデータを読込み、これらのフィールドデータから、フィールド間の時間差分の絶対値（｜ａ−ｃ｜、および、｜ｂ−ｃ｜）と、フィールド内の時間差分の絶対値（｜ａ−ｅ｜，｜ｃ−ｇ｜、および、｜ｂ−ｆ｜）を演算する。
【０１０６】
ステップＳ９４において、静止/動画領域判定部１７は、フィールド間とフィールド内のそれぞれの時間的差分の絶対値の最大値を求める。
【０１０７】
ステップＳ９５において、静止/動画領域判定部１７は、フィールド内の時間的差分の絶対値の最大値が、フィールド間の時間的差分の絶対値の最大値の1/3倍よりも大きいか否かを判定し、フィールド内の時間的差分の絶対値の最大値が、フィールド間の時間的差分の絶対値の最大値の1/3倍よりも大きいと判定した場合、ステップＳ９６において、静止/動画領域判定部１７は、注目画素を動画素として記憶し、その処理は、ステップＳ９１に戻り、全ての画素が静止動画領域判定されるまで、同様の処理が繰り返される。
【０１０８】
ステップＳ９５において、フィールド内の時間的差分の絶対値の最大値が、フィールド間の時間的差分の絶対値の最大値の1/3倍よりも大きくないと判定された場合、ステップＳ９７において、静止/動画領域判定部１７は、２個のフィールド内の時間的差分同士の乗算結果が負で、かつ、加算結果の絶対値が所定の閾値よりも小さいか否かを判定し、２個のフィールド内の時間的差分同士の乗算結果が負で、かつ、加算結果の絶対値が所定の閾値よりも小さいと判定した場合、その処理は、ステップＳ９８に進む。
【０１０９】
ステップＳ９８において、静止/動画領域判定部１７は、２個のフィールド内時間的差分の絶対値の一方が所定の最小閾値よりも大きく、かつ、他方の1/2倍よりも大きいか否かを判定し、２個のフィールド内時間的差分の絶対値の一方が所定の最小閾値よりも大きく、かつ、他方の1/2倍よりも大きいと判定した場合、その処理は、ステップＳ９６に進み、２個のフィールド内時間的差分の絶対値の一方が所定の最小閾値よりも大きく、かつ、他方の1/2倍よりも大きくないと判定した場合、その処理は、ステップＳ９９に進む。
【０１１０】
ステップＳ９９において、静止/動画領域判定部１７は、２個のフィールド内時間的差分の絶対値の一方が所定の最大閾値よりも大きく、かつ、他方の1/4倍よりも大きいか否かを判定し、２個のフィールド内時間的差分の絶対値の一方が所定の最大閾値よりも大きく、かつ、他方の1/4倍よりも大きいと判定した場合、その処理は、ステップＳ９６に進み、２個のフィールド内時間的差分の絶対値の一方が所定の最大閾値よりも大きく、かつ、他方の1/4倍よりも大きくないと判定した場合、その処理は、ステップＳ１００に進む。
【０１１１】
ステップＳ１００において、静止/動画領域判定部１７は、注目画素を静止画領域の画素として記憶し、その処理は、ステップＳ９１に進む。
【０１１２】
ステップＳ９７において、２つのフィールド内の時間的差分同士の乗算結果が負で、かつ、加算結果の絶対値が所定の閾値よりも小さくないと判定された場合、その処理は、ステップＳ１００に進む。
【０１１３】
すなわち、ステップＳ９５の処理で、静止/動画領域判定部１７は、フィールド内の時間的差分の絶対値の最大値が、フィールド間時間的差分の絶対値の最大値の1/3倍よりも大きいと判定した場合、注目画素は、動画素とみなされ、それ以外の場合、２個のフィールド内の時間的差分の乗算結果が負で、かつ、加算結果の絶対値が所定の閾値よりも小さいという条件の下で、２個のフィールド内時間的差分の絶対値の一方が、所定の最小閾値よりも大きく、他方の1/2倍よりも大きいときか、或いは、２個のフィールド内時間的差分の絶対値の一方が所定の最大閾値よりも大きく、他方の1/4倍よりも大きいとき、やはり、注目画素は動画素とみなされ、それ以外の場合、注目画素は静止画素としてみなされる。
【０１１４】
ここで、図２のフローチャートの説明に戻る。
【０１１５】
ステップＳ６において、静止動画領域判定処理が実行されると、ステップＳ７において、セレクタ１８によりセレクト処理が実行される。
【０１１６】
ここで、図１５のフローチャートを参照して、セレクト処理について説明する。
【０１１７】
ステップＳ１１１において、セレクタ１８は、補間されていない注目画素が存在するか否かを判定する。ステップＳ１１２において、セレクタ１８は、注目画素の位置を読み出す。ステップＳ１１３において、セレクタ１８は、静止/動画領域判定部１７に、読み出した画素位置に対応する画素が、注目画素が動画素であるか否かを問い合わせて、判定し、動画素であると判定した場合、その処理は、ステップＳ１１４に進む。
【０１１８】
ステップＳ１１４において、セレクタ１８は、読み出した画素の位置に対応する、補間メモリ１６ａに記憶された動画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素として挿入して記憶すると共に、その処理は、ステップＳ１１１に戻る。
【０１１９】
ステップＳ１１３において、注目画素が動画素ではない、すなわち、静止画素であると判定された場合、ステップＳ１１５において、セレクタ１８は、読み出した画素の位置に対応する、補間メモリ１６ｂに記憶された静止画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素に挿入して記憶すると共に、その処理は、ステップＳ１１１に戻り、ステップＳ１１１において、全ての画素が補間されるまでこの処理を繰り返す。
【０１２０】
すなわち、セレクタ１８は、読み出した注目画素の位置に基づいて、静止/動画領域判定部１７に問い合わせて、各画素毎に静止画領域の画素として記憶されているか、動画領域の画素として記憶されているかを照合し、動画領域の画素であった場合、補間メモリ１６ａに記憶されたフィールド内補間部１４により動画素として補間された画素値を挿入し、また、注目画素が静止画領域であった場合、補間メモリ１６ｂに記憶されたフィールド間補間部１５により静止画素として補間された画素値を挿入する。
【０１２１】
ここで、図２のフローチャートの説明に戻る。
【０１２２】
ステップＳ７のセレクト処理が終了すると、ステップＳ８において、セレクタ１８は、生成されたプログレッシブ画像を図示せぬ後段の装置に出力する。
【０１２３】
以上においては、イメージリフレッシャ１２ａは、３タップの垂直フィルタと５タップの水平フィルタを用いた場合について説明してきたが、３タップの垂直フィルタと３タップの水平フィルタを用いるようにしてもよい。また、この場合、例えば、図１６に示すように、垂直フィルタは、（1/4−α/2，α＋1/2，1/4−α/2）となり、水平フィルタは、（1/4−α/2，α＋1/2，1/4−α/2）となるようにしてもよい。さらに、水平フィルタは、読み出した５個の画素値に対して１個おきに（例えば、画素ｆ，ｇ，ｈ，ｉ，ｊが順次読込まれたとき、画素ｆ，ｈ，ｊに対して）フィルタ処理を施す。また、３タップの垂直フィルタと５タップの水平フィルタの場合と、３タップの垂直フィルタと３タップの水平フィルタの場合とを、両方使用できるようにして、ユーザにより切替えられるようにしても良い。また、水平フィルタと垂直フィルタは、それ以外の異なるタップ数のものを使用するようにしても良い。また、補間に使用するフィールドデータ、または、画素は、連続するものでなくても良く、例えば、1個毎に使用したり、それ以上の数毎に使用するようにしても良い。
【０１２４】
さらに、未処理画素近傍の近傍エネルギの演算式は、式（５）のほかに、以下の式（９）を使用するようにしても良く、ユーザにより切替えられるようにしても良い。
Ｅnear-f＝｜ａ−ｇ｜＋｜ｂ−ｈ｜＋｜ｃ−ｉ｜＋｜ｄ−ｊ｜＋｜ｅ−ｋ｜・・・（９）
【０１２５】
以上によれば、インタレース画像からプログレッシブ画像に変換する処理において、高域成分の乏しい画像でも正しくエッジを強調させることが可能になると共に、静止画領域の垂直解像度を向上させ、動画領域の斜めエッジを滑らかに補間させることができ、さらに、変換処理時のエラーを抑制させるようにすることが可能となる。
【０１２６】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１２７】
図１８は、画像処理装置をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの動作の全体を制御する。また、CPU１０１は、バス１０４および入出力インターフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、または半導体メモリ１１４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。これにより、上述した画像処理装置の機能が、ソフトウェアにより実現されている。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１２８】
プログラムが記録されている記録媒体は、図１８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フロッピーディスクを含む）、光ディスク１１２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１１３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１２９】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１３０】
【発明の効果】
本発明の画像処理装置および方法、並びにプログラムによれば、インタレース画像からプログレッシブ画像に変換する処理において、高域成分の乏しい画像でも、エッジを強調させることができ、静止画領域の垂直解像度を向上させ、動画領域の斜めエッジを滑らかに補間することが可能になると共に、変換処理時のエラーを抑制することが可能になる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置のブロック図である。
【図２】図１の画像処理装置のIP変換処理を説明するフローチャートである。
【図３】１次元垂直エッジ強調処理を説明するフローチャートである。
【図４】１次元垂直フィルタを説明する図である。
【図５】１次元垂直フィルタを説明する図である。
【図６】１次元水平エッジ強調処理を説明するフローチャートである。
【図７】１次元水平フィルタを説明する図である。
【図８】１次元水平フィルタを説明する図である。
【図９】フィールド間補間処理を説明するフローチャートである。
【図１０】フィールド間補間処理を説明する図である。
【図１１】フィールド内補間処理を説明するフローチャートである。
【図１２】フィールド内補間処理を説明する図である。
【図１３】静止/動画領域判定処理を説明するフローチャートである。
【図１４】静止/動画領域判定処理を説明する図である。
【図１５】セレクト処理を説明するフローチャートである。
【図１６】１次元垂直フィルタを説明する図である。
【図１７】１次元水平フィルタを説明する図である。
【図１８】媒体を説明する図である。
【符号の説明】
１１ａ乃至１１ｆ フィールドメモリ，１２ａ，１２ｂ イメージリフレッシャ，１３ａ，１３ｂ バッファ，１４ フィールド内補間部，１５ フィールド間補間部，１６ａ，１６ｂ 補間メモリ，１７ 静止/動画領域判定部，１８ セレクタ
Claims (8)
- インタレース方式の画像をプログレッシブ方式の画像に変換する画像処理装置において、
変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、前記各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、前記各画素の水平方向に隣接する左右の垂直ライン上に存在する、前記各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値を、それぞれ垂直方向、および、水平方向の中心画素エネルギとして算出する中心画素エネルギ算出手段と、
前記中心画素エネルギ算出手段により算出された前記垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた前記画素に対してフィルタ処理を施して、前記変換しようとするインタレース方式の画像のエッジを強調するエッジ強調手段と、
前記エッジ強調手段によりエッジが強調された前記変換しようとする前記インタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間手段と、
前記エッジ強調手段によりエッジが強調された前記変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間手段と、
前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記フィールド内補間手段により補間された前記画素か、または、前記フィールド間補間手段により補間された前記画素のいずれかを選択する選択手段と
を備えることを特徴とする画像処理装置。 - 前記エッジ強調手段は、前記インタレース方式の画像の各画素毎に水平方向、および、垂直方向の１次元フィルタ処理を施し、前記画像のエッジを強調する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記変換しようとするインタレース方式の画像のフィールド内に、補間しようとする画素の上下の水平ライン上であって、前記補間しようとする画素の近傍の画素のうち、前記補間しようとする画素を中心として点対照な位置となる前記上下の水平ライン上のそれぞれの方向毎の画素同士の相関を検出する相関検出手段をさらに備え、
前記フィールド内補間手段は、前記相関検出手段により検出された相関の最も強い方向の画素同士から前記画素を補間する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記相関検出手段は、前記補間しようとする画素を中心として、点対照な位置同士の画素の画素値の差分の絶対値を相関として検出する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記補間しようとする画素の近傍の画素のうち、前記補間しようとする画素を挟んで、その上下に水平方向に伸びるライン上の所定数の画素であって、前記ラインに垂直に対向し合う画素の画素値の差分の絶対値の和、または、補間しようとする画素を中心として、点対称の位置に存在する画素の画素値の差分の絶対値の和を、前記補間しようとする画素の近傍エネルギとして算出する近傍エネルギ算出手段をさらに備え、
前記近傍エネルギ算出手段により算出された前記補間しようとする画素の近傍エネルギの値が、所定の閾値より大きい場合、前記フィールド内補間手段は、前記相関検出手段により検出された相関の最も強い方向の画素に基づいて補間を行う
ことを特徴とする請求項４に記載の画像処理装置。 - インタレース方式の画像をプログレッシブ方式の画像に変換する画像処理装置の画像処理方法において、
変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、前記各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、前記各画素の水平方向に隣接する左右の垂直ライン上に存在する、前記各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値を、それぞれ垂直方向、および、水平方向の中心画素エネルギとして算出する中心画素エネルギ算出ステップと、
前記中心画素エネルギ算出ステップの処理により算出された前記垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた前記画素に対してフィルタ処理を施して、前記変換しようとするインタレース方式の画像のエッジを強調するエッジ強調ステップと、
前記エッジ強調ステップの処理によりエッジが強調された前記変換しようとする前記インタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、
前記エッジ強調ステップの処理によりエッジが強調された前記変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、
前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、
前記判定ステップの処理での判定結果に基づいて、前記フィールド内補間ステップの処理で補間された前記画素か、または、前記フィールド間補間ステップの処理で補間された前記画素のいずれかを選択する選択ステップと
を備えることを特徴とする画像処理方法。 - インタレース方式の画像をプログレッシブ方式の画像に変換する画像処理装置を制御するコンピュータに、
変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、前記各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、前記各画素の水平方向に隣接する左右の垂直ライン上に存在する、前記各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値の、それぞれ垂直方向、および、水平方向の中心画素エネルギとしての算出を制御する中心画素エネルギ算出制御ステップと、
前記中心画素エネルギ算出制御ステップの処理により算出された前記垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた前記画素に対してフィルタ処理を施して、前記変換しようとするインタレース方式の画像のエッジの強調を制御するエッジ強調制御ステップと、
前記エッジ強調制御ステップの処理によりエッジが強調された前記変換しようとする前記インタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、前記プログレッシブ方式の画像の画素の補間を制御するフィールド間補間制御ステップと、
前記エッジ強調制御ステップの処理によりエッジが強調された前記変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素の補間を制御するフィールド内補間制御ステップと、
前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかの判定を制御する判定制御ステップと、
前記判定制御ステップの処理での判定結果に基づいて、前記フィールド内補間制御ステップの処理で補間された前記画素か、または、前記フィールド間補間制御ステップの処理で補間された前記画素のいずれかの選択を制御する選択制御ステップと
を実行させるためのプログラム。 - インタレース方式の画像をプログレッシブ方式の画像に変換する画像処理装置を制御するプログラムであって、
変換しようとするインタレース方式の画像の各画素の垂直方向に隣接する上下の水平ライン上に存在する、前記各画素の近傍の画素の画素値の上下の水平ライン毎の和の差分絶対値、および、前記各画素の水平方向に隣接する左右の垂直ライン上に存在する、前記各画素の近傍の画素の画素値の垂直ライン毎の和の差分絶対値の、それぞれ垂直方向、および、水平方向の中心画素エネルギとしての算出を制御する中心画素エネルギ算出制御ステップと、
前記中心画素エネルギ算出制御ステップの処理により算出された前記垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた前記画素に対してフィルタ処理を施して、前記変換しようとするインタレース方式の画像のエッジの強調を制御するエッジ強調制御ステップと、
前記エッジ強調制御ステップの処理によりエッジが強調された前記変換しようとする前記インタレース方式の画像のフィールドの画素と、それとは異なるフィールドの画素から、前記プログレッシブ方式の画像の画素の補間を制御するフィールド間補間制御ステップと、
前記エッジ強調制御ステップの処理によりエッジが強調された前記変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素の補間を制御するフィールド内補間制御ステップと、
前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかの判定を制御する判定制御ステップと、
前記判定制御ステップの処理での判定結果に基づいて、前記フィールド内補間制御ステップの処理で補間された前記画素か、または、前記フィールド間補間制御ステップの処理で補間された前記画素のいずれかの選択を制御する選択制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001006365A JP4806849B2 (ja) | 2001-01-15 | 2001-01-15 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| US10/029,849 US7012649B2 (en) | 2001-01-15 | 2001-12-31 | Image processing apparatus and method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001006365A JP4806849B2 (ja) | 2001-01-15 | 2001-01-15 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002215121A JP2002215121A (ja) | 2002-07-31 |
| JP4806849B2 true JP4806849B2 (ja) | 2011-11-02 |
Family
ID=18874262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001006365A Expired - Fee Related JP4806849B2 (ja) | 2001-01-15 | 2001-01-15 | 画像処理装置および方法、プログラム、並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7012649B2 (ja) |
| JP (1) | JP4806849B2 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1790520B (zh) | 2000-01-21 | 2010-09-01 | 索尼公司 | 识别光盘的方法、重放光盘的方法和光盘设备 |
| US7023487B1 (en) * | 2002-01-25 | 2006-04-04 | Silicon Image, Inc. | Deinterlacing of video sources via image feature edge detection |
| JP2003274264A (ja) * | 2002-03-13 | 2003-09-26 | Sony Corp | 撮像装置及び映像信号生成方法 |
| JP3898546B2 (ja) * | 2002-03-27 | 2007-03-28 | 株式会社東芝 | 画像走査変換方法及び装置 |
| CN1647522B (zh) * | 2002-04-01 | 2010-04-07 | 松下电器产业株式会社 | 场内插方法判定装置 |
| JP3809411B2 (ja) * | 2002-09-27 | 2006-08-16 | キヤノン株式会社 | 画像処理方法及び装置並びに印刷装置 |
| JP3829985B2 (ja) | 2002-10-31 | 2006-10-04 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7359562B2 (en) * | 2003-03-19 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Enhancing low quality videos of illuminated scenes |
| GB2402288B (en) * | 2003-05-01 | 2005-12-28 | Imagination Tech Ltd | De-Interlacing of video data |
| US20040223084A1 (en) * | 2003-05-08 | 2004-11-11 | Stanger Leon J. | Methods and apparatus for border processing in video distribution systems |
| JP4217543B2 (ja) * | 2003-06-05 | 2009-02-04 | キヤノン株式会社 | 動き情報処理装置及び方法 |
| TWI220366B (en) * | 2003-08-11 | 2004-08-11 | Mediatek Inc | Scalable video format conversion system |
| US7345708B2 (en) * | 2003-12-23 | 2008-03-18 | Lsi Logic Corporation | Method and apparatus for video deinterlacing and format conversion |
| US7397973B2 (en) * | 2004-02-27 | 2008-07-08 | Mediatek Inc. | Method for controlling interpolation direction and related device |
| JP4641438B2 (ja) * | 2004-03-16 | 2011-03-02 | キヤノン株式会社 | 画素補間装置及び画素補間方法 |
| TWI257811B (en) * | 2004-08-16 | 2006-07-01 | Realtek Semiconductor Corp | De-interlacing method |
| US7280159B2 (en) * | 2004-06-16 | 2007-10-09 | Realtek Semiconductor Corp. | Method and apparatus for cross color and/or cross luminance suppression |
| KR101127220B1 (ko) * | 2004-07-28 | 2012-04-12 | 세종대학교산학협력단 | 움직임 보상 적응형 순차주사화 장치 및 그 방법 |
| JP4600011B2 (ja) * | 2004-11-29 | 2010-12-15 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4612433B2 (ja) * | 2005-02-25 | 2011-01-12 | 株式会社東芝 | 情報処理装置およびプログラム |
| US7567294B2 (en) * | 2005-03-28 | 2009-07-28 | Intel Corporation | Gradient adaptive video de-interlacing |
| US7982798B2 (en) * | 2005-09-08 | 2011-07-19 | Silicon Image, Inc. | Edge detection |
| US7787048B1 (en) * | 2005-09-08 | 2010-08-31 | Nvidia Corporation | Motion-adaptive video de-interlacer |
| US7796191B1 (en) | 2005-09-21 | 2010-09-14 | Nvidia Corporation | Edge-preserving vertical interpolation |
| US8274605B2 (en) * | 2005-11-10 | 2012-09-25 | Broadcom Corporation | System and method for adjacent field comparison in video processing |
| US7701508B2 (en) * | 2005-11-30 | 2010-04-20 | Lsi Corporation | Accurate motion detection for the combination of motion adaptive and motion compensation de-interlacing applications |
| KR100722773B1 (ko) | 2006-02-28 | 2007-05-30 | 삼성전자주식회사 | 동영상에서 그래픽 영역을 검출하는 방법 및 장치 |
| JP4929819B2 (ja) * | 2006-04-27 | 2012-05-09 | 富士通株式会社 | 映像信号の変換装置及び方法 |
| TW200811758A (en) * | 2006-08-24 | 2008-03-01 | Realtek Semiconductor Corp | Method for edge detection, method for motion detection, method for pixel interpolation utilizing up-sampling, and apparatuses thereof |
| JP2008219313A (ja) * | 2007-03-02 | 2008-09-18 | Seiko Epson Corp | 順次走査変換装置及び画像表示装置 |
| JP5333791B2 (ja) * | 2008-03-21 | 2013-11-06 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| US8559746B2 (en) * | 2008-09-04 | 2013-10-15 | Silicon Image, Inc. | System, method, and apparatus for smoothing of edges in images to remove irregularities |
| US20100067818A1 (en) * | 2008-09-15 | 2010-03-18 | Sony Corporation, A Japanese Corporation | System and method for high quality image and video upscaling |
| JP2013207673A (ja) * | 2012-03-29 | 2013-10-07 | Jvc Kenwood Corp | 映像信号処理装置及び方法 |
| CN103810675B (zh) * | 2013-09-09 | 2016-09-21 | 深圳市华星光电技术有限公司 | 图像超分辨率重构***及方法 |
| CN104574277A (zh) * | 2015-01-30 | 2015-04-29 | 京东方科技集团股份有限公司 | 图像插值方法和图像插值装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0342832A (ja) | 1989-07-10 | 1991-02-25 | Seiko Instr Inc | 多層絶縁膜の形成方法 |
| US5428398A (en) * | 1992-04-10 | 1995-06-27 | Faroudja; Yves C. | Method and apparatus for producing from a standard-bandwidth television signal a signal which when reproduced provides a high-definition-like video image relatively free of artifacts |
| US6141056A (en) * | 1997-08-08 | 2000-10-31 | Sharp Laboratories Of America, Inc. | System for conversion of interlaced video to progressive video using horizontal displacement |
| JP2000115720A (ja) * | 1998-09-30 | 2000-04-21 | Nec Corp | 走査線補間装置および走査線補間方法 |
-
2001
- 2001-01-15 JP JP2001006365A patent/JP4806849B2/ja not_active Expired - Fee Related
- 2001-12-31 US US10/029,849 patent/US7012649B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7012649B2 (en) | 2006-03-14 |
| US20020093587A1 (en) | 2002-07-18 |
| JP2002215121A (ja) | 2002-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4806849B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP4563603B2 (ja) | 両方向動きベクトルを用いたフォーマット変換装置及びその方法 | |
| JP4375080B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US6122017A (en) | Method for providing motion-compensated multi-field enhancement of still images from video | |
| US7057665B2 (en) | Deinterlacing apparatus and method | |
| JP5645699B2 (ja) | 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置 | |
| JP4973542B2 (ja) | 画素補間装置及び画素補間方法 | |
| US20070140346A1 (en) | Frame interpolator, frame interpolation method and motion reliability evaluator | |
| JP2006155179A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP5001684B2 (ja) | 走査変換装置 | |
| JP4659036B2 (ja) | エッジ適応画像拡大強化システム及び方法 | |
| JP4419062B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP5014987B2 (ja) | ビデオモード検出による動き補償 | |
| JP3212917B2 (ja) | 走査線補間装置および走査線補間方法 | |
| JP4239063B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JPH09200575A (ja) | 画像データ補間装置 | |
| JP2003289511A (ja) | 画像走査変換方法及び装置 | |
| JP4412435B2 (ja) | フィールド補間方法 | |
| JP2007019708A (ja) | 画像処理装置 | |
| JP2006173657A (ja) | 映像信号処理回路 | |
| JP5040992B2 (ja) | 画像変換装置、および変換方法 | |
| JP2003199054A (ja) | 走査線補間回路 | |
| JP2004056586A (ja) | 画像処理装置及び画像処理方法 | |
| JP2003274371A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JPH07327209A (ja) | 動きベクトル検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |