JP4239063B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4239063B2 JP4239063B2 JP2002318277A JP2002318277A JP4239063B2 JP 4239063 B2 JP4239063 B2 JP 4239063B2 JP 2002318277 A JP2002318277 A JP 2002318277A JP 2002318277 A JP2002318277 A JP 2002318277A JP 4239063 B2 JP4239063 B2 JP 4239063B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- field
- image
- variation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、インタレーススキャン画像をプログレッシブスキャン画像に変換させる際に、静止画領域と、動画領域とを正確に識別し、正しい補間画素を静止できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
インタレーススキャン方式の画像をプログレッシブスキャン方式の画像に変換（IP変換）させる技術が一般に普及しつつある。
【０００３】
インタレーススキャン方式は、飛び越し走査と呼ばれる走査方式であり、実際の表示画像の走査線を１本おきに走査する（走査線１本おきに飛び越して走査する）方式である。インタレーススキャン方式で走査された１つの画像は、フィールドと呼ばれ、連続する画像を表示するとき、隣り合うフィールドは、走査線１本分ずれた状態で画素が存在しており、そのフィールドが連続して交互に表示されている。
【０００４】
プログレッシブスキャン方式は、インタレーススキャン方式に対して、表示画像の全走査線を走査する方式である。
【０００５】
従って、インタレーススキャン方式の画像からプログレッシブスキャン方式の画像への変換処理は、インタレーススキャン方式の画像の中の、画素が存在しないライン上に、元々存在する画素を使用して、画素を補間させ、全ての走査線上に画素を生成する処理である。
【０００６】
従来では、補間の方法としては、走査線１本分を遅延して、表示させることで、各走査線を２度スキャンする２度書きと呼ばれる方法や、上下方向の画素を用いて、線形補間するといった方法が用いられていた。
【０００７】
また、垂直解像度を上げるために、複数のフィールドの情報を利用する方法も提案された。この方法は、インタレーススキャン方式では、連続するフィールドの１個前のフィールドが、上述のように走査線１本分だけずれた関係にあるので、１個前のフィールド上には、現在のフィールド上の補間すべき位置に画素が存在する。そこで、複数のフィールドを使用する補間処理では、この画素を利用する。すなわち、その補間すべき画素が静止画素の場合、１個前のフィールドの画素を、そのまま使用して補間し、また、動画素の場合、現在のフィールドの上下の画素を用いて線形補間により画素を補間するというものである。
【０００８】
また、従来、画像の走査方式を変換する際に発生するエラーを低減できるようにしているものがある（例えば、特許文献１参照）。
【０００９】
さらに、走査方式を変換する際、斜め線が不自然に見えないようにしているものがある（例えば、特許文献２参照）。
【００１０】
【特許文献１】
特開２００１−３５２５２５号公報
【特許文献２】
特開２００１−２１８１６９号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上記の方法では、例えば２度書きを使用した場合、斜めエッジとなる映像は、IP変換により大きな階段状に表示されることになってしまうという課題があった。
【００１２】
また、線形補間を用いた場合、２度書きに比べると、表示画像は向上されるものの、多少ぼけて表示されてしまうことがあり、また、２度書きを用いた場合と同様に斜めのエッジは、階段状に表示されてしまうという課題があった。
【００１３】
そこで、斜め方向のエッジが階段状に表示されてしまうのを防ぐために、エッジの方向を検出しながらIP変換を実行するという方法が提案された。これは、特公平３−４２８３２に記載されているものであり、補間すべき注目画素を中心として、上下、右上左下、および、右下左上の３組の画素の差分の絶対値を調べて、最も小さい値をとる画素の組合せで補間を行い、全てが所定の値より大きい値であれば上の画素値をコピーして補間するという方法である。これにより、斜め方向のエッジが存在する場合でも、その方向が滑らかに補間されるようになった。
【００１４】
しかしながら、エッジの方向を検出しながら変換する方法においては、斜め方向のエッジの表示が改善されるものの、静止画領域では、複数のフィールドを用いる方法に比べて、垂直解像度が不利となってしまうという課題がった。また、エッジの方向を検出しながら変換する方法は、実画像に適用すると、例えば、ノイズや照明条件によって、斜め方向の相関関係が上下方向よりも若干高く、算出されてしまうことがあり、実際の絵柄は上下に連続していても、正確に表示されないといったエラーが発生し易くなるという課題があった。
【００１５】
さらに、複数フィールドを使用する方法では、斜めエッジが階段状に表示される問題は改善されるものの、静止画領域では、複数のフィールドを使用するため、垂直解像度が多少犠牲にされてしまうという課題があった。
【００１６】
また、一般的なビデオ信号などにおいては、高周波成分がわずかしか含まれておらず、エッジはぼんやりとしか現れないので、局地的にエッジ方向を正確に検出するのは困難であり、特定方向のエッジを強調しようとしても、複数のエッジ方向の候補が検出されて、選別することができず、結局、従来の線形補間と同程度の画質でしか、画像を生成することができないという課題があった。
【００１７】
さらに、補間しようとする画素位置が静止画領域であるか、動画領域であるかを正確に識別できず、正しく画素を補間することができない恐れがあるという課題があった。
【００１８】
本発明はこのような状況に鑑みてなされたものであり、インタレーススキャン画像からプログレッシブスキャン画像への変換の際に、静止画部分の垂直解像度を向上させ、動画領域におけるエッジをなだらかに補間させ、変換におけるエラーを抑制できるようにすると共に、補間される画素が動画領域であるか静止画領域であるかを正確に識別し、正しい補間画素を生成するものである。
【００１９】
【課題を解決するための手段】
本発明の画像処理装置は、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間手段と、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定手段と、変動測定手段により測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間手段と、変動測定手段により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定手段と、判定手段の判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間手段により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間手段により補間された画素を選択する選択手段と、インタレース方式の画像のフィールドを帯域制限する帯域制限手段と、帯域制限手段により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引き手段とを備え、変動測定手段は、間引き手段により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引き手段により画素数を水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間手段は、変換しようとする画素が、間引き手段により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、変換しようとする画素が、間引き手段により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【００２０】
前記変換しようとするインタレース方式の画像のエッジを強調するエッジ強調手段をさらに設けるようにさせることができる。
【００２１】
前記エッジ強調手段には、インタレース方式の画像の各画素毎に水平方向、および、垂直方向の１次元フィルタ処理を施し、画像のエッジを強調させるようにすることができる。
【００２２】
前記各画素の近傍の画素値から、画素の近傍の、垂直方向、および、水平方向の中心画素エネルギを算出する中心画素エネルギ算出手段をさらに設けるようにさせることができ、エッジ強調手段には、中心画素エネルギ算出手段により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施すようにさせることができる。
【００２６】
前記変換しようとするインタレース方式の画像のフィールド内に、補間しようとする画素の上下の水平ライン上の、画素に点対照な位置の画素同士の相関を検出する相関検出手段をさらに設けるようにさせることができ、フィールド内補間手段には、相関検出手段により検出された相関の最も強い画素同士から画素を補間させるようにすることができる。
【００２７】
前記相関検出手段には、補間しようとする画素を中心として、点対照な位置同士の画素の画素値の差分の絶対値を相関として検出させるようにすることができる。
【００２８】
前記補間しようとする画素の近傍の画素値から、補間しようとする画素の近傍エネルギを算出する近傍エネルギ算出手段をさらに設けるようにさせることができ、傍エネルギ算出手段により算出された補間しようとする画素の近傍エネルギの値が、所定の閾値より大きい場合、フィールド内補間手段に、相関検出手段により検出された相関の最も強い画素に基づいて補間を行う用にさせることができる。
【００２９】
前記近傍エネルギは、補間しようとする画素を挟んで、その上下に水平方向に伸びるライン上の所定数の画素のうち、ラインに垂直に対向し合う画素の画素値の差分の絶対値の和を取ったものであるか、または、補間しようとする画素を中心として、点対称の位置に存在する画素の画素値の差分の絶対値の和を取ったものとするようにすることができる。
【００３０】
本発明の画像処理方法は、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含み、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【００３１】
本発明の記録媒体のプログラムは、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含み、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【００３２】
本発明のプログラムは、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含む処理を実行させ、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【００３３】
本発明の画像処理装置および方法、並びにプログラムにおいては、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素が補間され、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動が測定され、測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素が補間され、変動測定手段により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかが判定され、判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間された画素が選択され、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間された画素が選択され、インタレース方式の画像のフィールドが帯域制限され、帯域制限された、インタレース方式の画像のフィールドの画素数が水平方向に１／２に間引きされ、画素数が水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、画素数が水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分が、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定され、変換しようとする画素が、間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値が補間され、変換しようとする画素が、間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値が補間される。
【００３４】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の一実施の形態の構成を示す図である。フィールドメモリ１１，１４，２１は、入力されたインタレーススキャン方式の画像（以下、インタレース画像と称する）の１フィールド分の情報を一時的に記憶し、後段の装置に出力する。すなわち、フィールドメモリ１１，１４，２１は、所定の時刻ｔのタイミングで入力された１フィールド分の画像情報を記憶し、次の時刻t+1のタイミングで、記憶していた時刻ｔのフィールドデータを、イメージリフレッシャ１２、フィールド内補間部１５、フィールド間補間部１６、および、変動測定部２２に出力する。
【００３５】
イメージリフレッシャ１２は、バッファ１３を適宜利用しながら、フィールドメモリ１１より入力されたフィールドデータに、１次元の垂直フィルタ、および、１次元の水平フィルタの処理を施し、垂直方向および水平方向のエッジ部分を強調した後、フィールドメモリ１４に出力する。
【００３６】
フィールド内補間部１５は、エッジ強調処理されたフィールドメモリ１４に記憶されているフィールドデータからプログレッシブ画像の動画領域の画素を補間して生成し、プログレッシブ画像として補間メモリ１７−２に出力し、記憶させる。尚、フィールド内補間処理については、詳細を後述する。
【００３７】
フィールド間補間部１６は、フィールドメモリ１４に記憶されているフィールドデータと、変動測定部２２より入力される変動データからプログレッシブ画像の静止画領域の画素を補間して生成し、生成したプログレッシブ画像を補間メモリ１７−１に出力し、記憶させる。尚、フィールド間補間処理については、詳細を後述する。
【００３８】
LPF（Low Pass Filter）１９は、フィールドメモリ１４に記憶されているフィールドデータを予備的に帯域制限してダウンサンプラ２０に出力する。LPF１９は、フィールドデータに含まれるノイズによる信号の変調を軽減すると共に、後述する静止・動き領域判定処理の際、ノイズの影響で誤って静止画領域を動画領域として判定してしまうといった誤判定を抑制する。また、この帯域制限により、後段のダウンサンプラ２０によるダウンサンプル処理で生じやすいエリアジング現象を抑制することができる。
【００３９】
ダウンサンプラ２０は、LPF１９より入力された帯域制限されているフィールドデータの容量を削減するため、水平方向の画素数を１／２にダウンサンプルし（フィールドデータを１列おきに間引きし）、変動測定部２２、および、フィールドメモリ２１に出力する。尚、以下の説明において、ダウンサンプラ２０は、フィールドデータの各ラインの水平方向の座標xが偶数となる画素を有効画素とし、水平方向の座標xが奇数である画素を無効画素として間引きするものとするが、当然のことながら、間引かれる画素位置となる水平方向の座標ｘの遇奇の関係は逆であってもよい。
【００４０】
変動測定部２２は、注目画素の存在するフィールドの次のタイミングのフィールド、および、その前のタイミングのフィールドの注目画素に対して上下に位置する画素値の平均から注目画素の画素値を引いた値を変動データとして求め、変動データメモリ２３、および、静止/動画領域判定部２４に出力すると共に、変動情報をフィールド間補間部１６に出力する。
【００４１】
静止/動画領域判定部２４は、変動測定部２２より入力される今現在の変動データと、フィールド差分情報メモリ２３より入力される１タイミング前の変動データから静止／動画領域判定処理を実行し、最新のフィールドデータの補間しようとする画素が静止画領域の画素であるのか、または、動画領域の画素であるのかを判定し、記憶する。尚、静止画領域の画素であるか、または、動画領域の画素であるかの判定処理については、詳細を後述する。
【００４２】
セレクタ１８は、静止/動画領域判定部２４に記憶された情報に基づいて、補間しようとする画素が動画領域の画素である場合、フィールド間補間部１６により補間された画素を補間メモリ１７−１から読出し、また、補間しようとする画素が静止画領域の画素である場合、フィールド内補間部１５により補間された画素を補間メモリ１７−２から読み出して、最終的なプログレッシブ画像を生成し、出力する。
【００４３】
次に、図２のフローチャートを参照して、本発明を適用した画像処理装置のIP変換処理について説明する。
【００４４】
ステップＳ１において、フィールドメモリ１１は、記憶していたフィールドデータをイメージリフレッシャ１２に出力した後、入力されたフィールドデータを新たに記憶する。
【００４５】
ステップＳ２において、イメージリフレッシャ１２は、１次元垂直エッジ強調処理を施す。
【００４６】
ここで、図３のフローチャートを参照して、イメージリフレッシャ１２の１次元垂直エッジ強調処理について説明する。
【００４７】
ステップＳ２１において、イメージリフレッシャ１２は、フィールドメモリ１１より入力されたフィールドデータのうち、処理していない画素があるか否かを判定し、処理していない画素があると判定された場合、その処理は、ステップＳ２２に進む。
【００４８】
ステップＳ２２において、イメージリフレッシャ１２は、未処理画素を検索し、検索された未処理画素の垂直方向中心画素エネルギを算出する。例えば、図４に示すようなフィールドデータが存在し、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、画素ｈの近傍のＡエリア（図中実線で囲まれた範囲）の垂直方向中心画素エネルギEV-hは、以下の式により求められる。
【００４９】
EV-h＝｜（ｂ＋ｃ＋ｄ）−（ｌ＋ｍ＋ｎ）｜・・・（１）
【００５０】
ここで、ｂ，ｃ，ｄ，ｌ，ｍ，およびｎは、画素ｂ，ｃ，ｄ，ｌ，ｍ，およびｎの画素値である。すなわち、式（１）の垂直方向中心画素エネルギEVは、未処理画素を中心とした上のラインと下のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が上下にある場合は、その画素値の差分には、大きな差がないので、垂直方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が上下にある場合、その画素値の差分には大きな差が現れることが多く、結果として垂直方向中心画素エネルギも大きくなる。
【００５１】
イメージリフレッシャ１２は、未処理画素の垂直方向中心画素エネルギEV-hを上記の式（１）を演算することにより求める。
【００５２】
ステップＳ２３において、イメージリフレッシャ１２は、求められた垂直方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が垂直方向の画素との間に強い相関が見られないと判定した場合、その処理は、ステップＳ２４に進む。
【００５３】
ステップＳ２４において、イメージリフレッシャ１２は、未処理画素を含めた上下３個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図４に示すように、未処理画素が画素ｈであった場合、それを含めた上下の画素ｃ，ｈ，ｍ（図４中の実線で囲まれたＢエリア）の各画素値を読出し、図５に示すように、その内の最大値（ｃ，ｈ，ｍ）と最小値（ｃ，ｈ，ｍ）を求める。
【００５４】
ステップＳ２５において、イメージリフレッシャ１２は、図４に示すBエリアの画素ｃ，ｈ，ｍに、図５に示すような１次元垂直フィルタ処理を施す。すなわち、１次元垂直フィルタとしては、（1/2−α/2，α，1/2−α/2）（１<α≦２）といったものであり、以下の式（２）に示すような演算により、フィルタ処理された画素値ｈV-filterが求められる。
【００５５】
ｈV-filter＝ｃ×（1/2−α/2）＋ｈ×α＋ｍ×（1/2−α/2）・・・（２）
【００５６】
ここで、αは、１<α≦２の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【００５７】
ステップＳ２６において、イメージリフレッシャ１２は、図５に示すように、フィルタ処理した画素値ｈV-filterと最大値（ｃ，ｈ，ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上であるか否かを判定し、最大値（ｃ，ｈ，ｍ）以上であると判定した場合、ステップＳ２７において、イメージリフレッシャ１２は、画素値ｈV-filterを最大値（ｃ，ｈ，ｍ）に置き換える。
【００５８】
ステップＳ２８において、イメージリフレッシャ１２は、最大値（ｃ，ｈ，ｍ）に置き換えられた画素値を画素ｈの画素値としてバッファ１３に記憶させ、その処理は、ステップＳ２１に戻り、全ての画素に１次元垂直エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【００５９】
ステップＳ２３において、垂直方向中心画素エネルギEVが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が上下の画素との間に強い相関が認められると判定された場合、その処理は、ステップＳ２８に進み、イメージリフレッシャ１２は、画素ｈの画素値を、フィルタ処理することなく、そのままバッファ１３に記憶させ、その処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００６０】
ステップＳ２６において、フィルタ処理した画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上ではないと判定した場合、ステップＳ２９において、イメージリフレッシャ１２は、フィルタ処理した画素値ｈV-filterと最小値（ｃ，ｈ，ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であるか否かを判定し、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であると判定した場合、その処理は、ステップＳ３０に進む。
【００６１】
ステップＳ３０において、イメージリフレッシャ１２は、画素値ｈV-filterを最小値（ｃ，ｈ，ｍ）に置き換え、ステップＳ２８において、最小値（ｃ，ｈ，ｍ）に置き換えられた画素値を、画素ｈの画素値としてバッファ１３に記憶する。
【００６２】
ステップＳ２９において、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下ではないと判定した場合、その処理は、ステップＳ２８に進み、イメージリフレッシャ１２は、フィルタ処理された画素値ｈV-filterを、画素ｈの画素値としてバッファ１３に記憶させ、その処理は、ステップＳ２１に戻る。
【００６３】
すなわち、ステップＳ２３の処理で、垂直方向中心画素エネルギの値が所定の閾値以上である場合（未処理画素が上下の画素との間に強い相関が認められない場合）、図５に示すように、ステップＳ２４の処理で求められた最大値（ｃ，ｈ，ｍ）、および、最小値（ｃ，ｈ，ｍ）が、画素ｃ，ｈ，ｍの局所的な範囲の最大値と最小値とみなされ、ステップＳ２５の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をバッファ１３に記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、バッファ１３に記憶させる。ステップＳ２３の処理で、垂直方向中心画素エネルギの値が所定の閾値以上ではない場合、すなわち、上下の画素と相関が強い場合、元の画素値がそのままバッファ１３に記憶される。
【００６４】
ここで、図２のフローチャートの説明に戻る。
【００６５】
ステップＳ２において、１次元垂直エッジ強調処理が実行された後、ステップＳ３において、イメージリフレッシャ１２は、１次元水平エッジ強調処理を実行する。
【００６６】
ここで、図６のフローチャートを参照して、１次元水平エッジ強調処理について説明する。
【００６７】
ステップＳ４１において、イメージリフレッシャ１２は、バッファ１３に記憶された１次元垂直エッジ強調処理されているフィールドデータの各画素について１次元水平エッジ処理を施していない画素があるか否かを判定し、未処理の画素が存在すると判定した場合、その処理は、ステップＳ４２に進む。
【００６８】
ステップＳ４２において、イメージリフレッシャ１２は、未処理画素を検索し、検索された未処理画素の水平方向中心画素エネルギを算出する。例えば、図７に示すようなフィールドデータが存在し、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、画素ｈの近傍のＡエリア（図中実線で囲まれた範囲）の水平方向中心画素エネルギEH-hは、以下の式により求められる。
【００６９】
EH-h＝｜（ｄ＋ｉ＋ｎ）−（ｂ＋ｇ＋ｌ）｜・・・（３）
【００７０】
ここで、ｂ，ｄ，ｇ，ｉ，ｌ、およびｎは、画素ｂ，ｄ，ｇ，ｉ，ｌ、およびｎの画素値である。すなわち、式（３）の水平方向中心画素エネルギEHは、未処理画素を中心とした右のラインと左のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が左右にある場合は、その画素値の差分には、大きな差がないので、水平方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が左右にある場合、その画素値の差分には大きな差が現れることが多いので、水平方向中心画素エネルギも大きくなる。
【００７１】
イメージリフレッシャ１２は、上記の式（３）を演算し、未処理画素の水平方向中心画素エネルギEHを求める。
【００７２】
ステップＳ４３において、イメージリフレッシャ１２は、求められた水平方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が左右の画素と強い相関が見られないと判定した場合、その処理は、ステップＳ４４に進む。
【００７３】
ステップＳ４４において、イメージリフレッシャ１２は、未処理画素を含めた左右５個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図７に示すように、未処理画素が画素ｈであった場合、それを含めた左右の画素ｆ乃至ｊ（図７中の実線で囲まれたＢエリア）の各画素値を読出し、図８に示すように、その内の最大値（ｆ，ｇ，ｈ，ｉ，ｊ）と最小値（ｆ，ｇ，ｈ，ｉ，ｊ）を求める。
【００７４】
ステップＳ４５において、イメージリフレッシャ１２は、図７に示すBエリアの画素ｆ乃至ｊに、図８に示すような１次元水平フィルタ処理を施す。すなわち、１次元垂直フィルタとしては、（1/4−α/2，1/4，α，1/4，1/4−α/2）（１<α≦２）といったものであり、以下に示す式（４）を演算することにより、フィルタ処理された画素値ｈH-filterが求められる。
【００７５】
ｈH-filter＝ｆ×（1/4−α/2）＋ｇ×1/4＋ｈ×α＋ｉ×1/4＋ｊ×（1/4−α/2）・・・（４）
【００７６】
ここで、αは、１<α≦２の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【００７７】
ステップＳ４６において、イメージリフレッシャ１２は、フィルタ処理した画素値ｈH-filterと最大値（ｆ，ｇ，ｈ，ｉ，ｊ）を比較し、フィルタ処理した画素値ｈH-filterが最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上であるか否かを判定し、最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上であると判定した場合、ステップＳ４７において、イメージリフレッシャ１２は、画素値ｈH-filterを最大値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換える。
【００７８】
ステップＳ４８において、イメージリフレッシャ１２は、最大値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換えられた画素値を画素ｈの画素値としてフィールドメモリ１４に記憶させ、その処理は、ステップＳ４１に戻り、全ての画素に１次元水平エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【００７９】
ステップＳ４３において、水平方向中心画素エネルギEHが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が左右の画素との間に強い相関が見られると判定された場合、その処理は、ステップＳ４８に進み、イメージリフレッシャ１２は、画素ｈの画素値をそのままフィールドメモリ１４に記憶させ、その処理は、ステップＳ４１に戻る。
【００８０】
ステップＳ４６において、フィルタ処理した画素値ｈH-filterが最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上ではないと判定した場合、ステップＳ４９において、イメージリフレッシャ１２は、フィルタ処理した画素値ｈH-filterと最小値（ｆ，ｇ，ｈ，ｉ，ｊ）を比較し、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下であるか否かを判定し、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下であると判定した場合、その処理は、ステップＳ５０に進む。
【００８１】
ステップＳ５０において、イメージリフレッシャ１２は、画素値ｈH-filterを最小値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換え、ステップＳ４８において、最小値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換えられた画素値を、画素ｈの画素値としてフィールドメモリ１４に記憶する。
【００８２】
ステップＳ４９において、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下ではないと判定した場合、その処理は、ステップＳ４８に進み、イメージリフレッシャ１２は、フィルタ処理された画素値ｈH-filterを、画素ｈの画素値としてフィールドメモリ１４に記憶させ、その処理は、ステップＳ４１に戻る。
【００８３】
すなわち、ステップＳ４３の処理で、水平方向中心画素エネルギの値が所定の閾値以上である場合（未処理画素が左右の画素との間に強い相関が認められない場合）、図８に示すように、ステップＳ４４の処理で求められた最大値（ｆ，ｇ，ｈ，ｉ，ｊ）、および、最小値（ｆ，ｇ，ｈ，ｉ，ｊ）が、画素ｆ，ｇ，ｈ，ｉ，ｊの局所的な範囲の最大値と最小値とみなされ、ステップＳ４５の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をフィールドメモリ１４に記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、フィールドメモリ１４に記憶させる。ステップＳ４３の処理で、水平方向中心画素エネルギの値が所定の閾値以上ではない場合、元の画素値がそのままフィールドメモリ１４に記憶される。
【００８４】
ここで、図２のフローチャートの説明に戻る。
【００８５】
ステップＳ３において、１次元水平エッジ強調処理が実行された後、ステップＳ４において、LPF１９、ダウンサンプラ２０、フィールドメモリ２１、変動測定部２２、フィールド差分情報メモリ２３、および、静止/動画領域判定部２４は、協働して静止／動画領域判定処理を実行する。
【００８６】
ここで、図９のフローチャートを参照して、静止／動画領域判定処理について説明する。
【００８７】
ステップ６１において、LPF１９は、注目画素を中心とした、水平方向の画素に対して所定のフィルタにより画素値を平滑化することにより帯域制限して、ダウンサンプラ２０に出力する。すなわち、例えば、注目画素を中心とした水平方向に画素ｇ，ｈ，ｉが配置されていた場合（今の場合、注目画素は画素ｈ）、画素ｇ，ｈ，ｉは、（1/4，1/2，1/4）からなるフィルタにより平滑化され、画素ｈ’の画素値は、ｇ／４＋ｈ／２＋ｉ／４となり、帯域が制限されてダウンサンプラ２０に出力される。
【００８８】
ステップ６２において、ダウンサンプラ２０は、LPF１９により帯域制限された画像信号の画素数を水平方向に対して１／２に間引きすることにより、ダウンサンプルし、フィールド間補間部１６、フィールド差分情報メモリ２３、および、静止/動画領域判定部２４に出力する。すなわち、例えば、LPF１９により帯域制限されたフィールドデータとして、図１１に示すように、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、ダウンサンプラ２０は、水平方向の座標ｘが偶数となる、ライン（ｙ−１）上の画素ａ（ｘ＝０），ｃ（ｘ＝２），ｅ（ｘ＝４）、ラインｙ上の画素ｆ（ｘ＝０），ｈ（ｘ＝２），ｊ（ｘ＝４）、および、ライン（ｙ＋１）上の画素ｋ（ｘ＝０），ｍ（ｘ＝２），ｏ（ｘ＝４）を有効画素として残し、ライン（ｙ−１）上の画素ｂ（ｘ＝１），ｄ（ｘ＝３）、ラインｙ上の画素ｇ（ｘ＝１），ｉ（ｘ＝３）、および、ライン（ｙ＋１）上の画素ｌ（ｘ＝１），ｎ（ｘ＝３）を無効画素として残して間引きすることにより、全体として水平方向に１／２にダウンサンプルしたフィールドデータを生成して、フィールドメモリ２１、および、変動測定部２２に出力する。
【００８９】
ステップＳ６３において、変動測定部２２は、注目画素となる画素位置の情報を読み出し、ステップＳ６４において、ダウンサンプラ２０より入力される最新の（水平方向に１／２にダウンサンプルされている）フィールドデータとフィールドメモリ２１に記憶されている１タイミング前の（水平方向に１／２にダウンサンプルされている）フィールドデータから変動データを測定し、変動データメモリ２３、および、静止/動画領域判定部２４に出力する。すなわち、例えば、図１２で示す、時刻ｔ−１の場合、フィールド上に存在する画素Ｃが注目画素であるとき、その前のタイミングである時刻ｔ−２のフィールド上の画素Ｃの位置から見て水平方向に上下に位置する画素Ｄ，Ｅの画素値と画素Ｃの画素値から以下の式（５）を演算することに変動データdiff（Ｄ，Ｅ，Ｃ）が、測定される。
【００９０】
diff（Ｄ，Ｅ，Ｃ）＝（Ｄ＋Ｅ）／２−Ｃ・・・（５）
【００９１】
ここで、diff（Ｄ，Ｅ，Ｃ）は、画素Ｄ，Ｅ，Ｃから得られる変動データであり、Ｄ，Ｅ，Ｃは、画素Ｄ，Ｅ，Ｃの画素値を示す。すなわち、画素Ｃの位置から見て水平方向に上下に位置する画素Ｄ，Ｅの画素値をフィールドメモリ２１に記憶されている１タイミング前のフィールドデータから読出し、その平均を求め、最新フィールドデータから画素Ｃの画素値を読出し、画素Ｄ，Ｅの平均値から引いた値を変動データとする。また、この次のタイミング（時刻ｔ）では、diff（Ａ，Ｂ，Ｃ）が求められることになる。尚、以下の説明においては、注目画素について、今現在求められた変動データをdiff_cとし、その前のタイミングで求められた、変動データメモリ２３に記憶されている変動データをdiff_pと称するものとする。
【００９２】
ステップＳ６５において、静止/動画領域判定部２４は、変動測定部２２から入力されてくる注目画素の変動データdiff_cと、その前のタイミングで変動測定部２２から入力されてくる変動データdiff_pから、変動データdiff_cが所定の閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負或いはゼロであるか否かを判定し、例えば、変動データdiff_cが所定の閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負あるいはゼロであると判定した場合、ステップＳ６６において、注目画素を動画領域の画素として記憶する。
【００９３】
また、ステップＳ６５において、変動データdiff_cが所定の閾値thよりも小さいか、または、変動データdiff_cと変動データdiff_pの乗算結果が正であると判定された場合、ステップＳ６７において、注目画素を静止画領域の画素として記憶する。
【００９４】
そして、ステップＳ６８において、未処理の画素があるか否かが判定され、未処理の画素があると判定された場合、その処理は、ステップＳ６３に戻り、それ以降の処理が繰り返され、未処理の画素がなくなるまで、ステップＳ６３乃至Ｓ６８の処理が繰り返される。すなわち、全ての画素が動画素か、または、静止画素のいずれであるかの判定が終了すると、その処理は，終了する。
【００９５】
すなわち、図１２における時刻t-1のフィールドデータ上に存在する画素Ｃが注目画素である場合、その前のタイミングである時刻t-2のフィールドデータ上の画素Ｄ，Ｅにより得られる変動データdiff_pは、上述のように、diff_p＝diff（Ｄ，Ｅ，Ｃ）＝（Ｄ＋Ｅ）／２−Ｃとなり、次のタイミングである、時刻ｔのフィールドデータ上の画素Ａ，Ｂと注目画素Ｃにより得られる変動データdiff_cは、diff_c＝diff（Ａ，Ｂ，Ｃ）＝（Ａ＋Ｂ）／２−Ｃとなる。このとき、変動データdiff_c＝diff（Ａ，Ｂ，Ｃ）が閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負或いはゼロであるとき、注目画素Ｃは、動画領域の画素であると判定され、静止/動画領域判定部２４に記憶される。逆に、変動データdiff_c＝diff（Ａ，Ｂ，Ｃ）が閾値thよりも小さいか、または、変動データdiff_cと変動データdiff_pの乗算結果が１以上であるとき、注目画素Ｃは、静止画領域の画素であると判定され、静止/動画領域判定部２４に記憶される。
【００９６】
このような静止/動画領域判定処理により、以下のような効果が得られる。
【００９７】
すなわち、例えば、図１３で示すように、１ラインごとに白と黒の画素が垂直方向に配置されるような静止画の場合、フィールドデータは、時刻毎に（フィールドデータ毎に）、時刻tのフィールドデータには、白の画素がPix(ｙ-2，ｔ)，Pix(ｙ，ｔ)，Pix(ｙ+2，ｔ)に配置され、時刻t-1のフィールドデータには、黒の画素がPix(ｙ-1，t-1)，Pix(ｙ+1，t-1)，Pix(ｙ+3，t-1)に配置され、時刻t-2のフィールドデータには、白の画素がPix(ｙ-2，t-2)，Pix(ｙ，t-2)，Pix(ｙ+2，t-2)に配置されるものとする。
【００９８】
このような場合、例えば、垂直方向の変化が単調減少、または、単調増加である場合、すなわち、画素の変化（Pix(ｙ-2，ｔ)−Pix（y-1，t-1））×（Pix(y-1，t-1)−Pix（y，t））＞０である場合、静止画であるとみなすものとしていると、図１３の場合、（Pix(ｙ-2，ｔ)−Pix（y-1，t-1））×（Pix(y-1，t-1)−Pix（y，t））＞０とはならないため、動画像領域であるとみなされることがある。このとき、例えば、動画像領域の画素を補間するときは、注目画素の上下の画素の平均であるとすると、時刻ｔ、または、t-2上のフィールドデータで補間されるが画素は、全て白に、時刻ｔ-1上のフィールドデータで補間されるが画素は、黒に、補間されてしまうことになる。このような処理により、時刻の変化と共にプログレッシブ画像は、図１４Ａ，Ｂ，Ｃ，Ｄで示すように、時刻が進むと共に図１４Ａ，Ｂ，Ｃ，Ｄのように画像が白、黒、白、黒と連続的に切り替わってしまうため、いわゆる、フリッカを生じてしまう。
【００９９】
これに対して、本発明によれば、diff（Pix(y-2，ｔ)，Pix(y，ｔ)，Pix(y-1，t-1)）×diff（Pix(y-2，ｔ-2)，Pix(y，ｔ-2)，Pix(y-1，t-1)）＞０で、かつ、diff（Pix(y-2，ｔ)，Pix(y，ｔ)，Pix(y-1，t-1)）＞thであるとき、注目画素を静止画領域とするので、図１３で示すような静止画であっても、誤判定することなく、注目画素が静止画領域であると認識することができる。結果的に、図１３で示すような画像が変換されても、各画素の垂直方向の座標位置毎に同一の画素が設定されることになるので、図１５Ａ、Ｂ，Ｃ，Ｄで示すように、時系列的に、変化する画像が表示されても、全ての画像で図１３で示した画像を表示させることが可能となる。結果として、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別することが可能となる。
【０１００】
尚、以上においては、静止/動画領域判定処理においては、1画素の判定結果に基づいて、静止/動画領域の判定を行っていたが、例えば、注目画素を中心としたＮ（画素数）×Ｍ（画素数）のうち、1画素でも動画領域を判定された場合、注目画素を動画領域であると判定し、それ以外の場合、静止画領域であると判定するようにしてもよい。
【０１０１】
ここで、図２のフローチャートの説明に戻る。
【０１０２】
ステップＳ４において、静止/動画素領域判定処理が実行された後、ステップＳ６において、フィールド間補間部１６は、フィールド間補間処理を実行する。
【０１０３】
ここで、図１６のフローチャートを参照して、フィールド間補間処理について説明する。
【０１０４】
ステップＳ８１において、フィールド間補間部１６は、注目画素（フィールド間補間、または、フィールド内補間処理における注目画素とは、補間しようとする画素である）の位置を読出し、ステップＳ８２において、注目画素位置の水平方向の画素位置が奇数であるか否かを判定する。例えば、注目画素の水平方向の座標位置が奇数であると判定された場合、ステップＳ８３において、フィールド補間部１６は、フィールドメモリ１４に記憶されているフィールドデータから注目画素位置の上下に存在する画素間の平均値と、変動測定部２２より入力されてくる注目画素の左右に存在する画素の変動データの平均値との和を注目画素の画素値として補間し、補間メモリ１７−１に記憶させる。
【０１０５】
また、ステップＳ８２において、注目画素の水平方向の画素位置が奇数ではない、すなわち、水平方向の画素位置が偶数であると判定された場合、ステップＳ８４において、フィールド補間部１６は、フィールドメモリ１４に記憶されているフィールドデータから注目画素位置の上下に存在する画素間の平均値と、変動測定部２２より入力されてくる注目画素と同位置に存在する帯域制限されて、水平方向に１／２に間引きされた１フィールド前の画素の変動データの１／２の値との和を注目画素の画素値として補間し、補間メモリ１７−１に記憶させる。
【０１０６】
ステップＳ８５において、フィールド間補間部１６は、未処理の画素がまだ存在するか否かを判定し、未処理の画素があると判定した場合、その処理は、ステップＳ８１に戻り、それ以降の処理が繰り返され、未処理の画素がなくなるまで、ステップＳ８１乃至Ｓ８５の処理が繰り返される。そして、ステップＳ８５において、未処理の画素がないと判定された場合、その処理は、終了する。
【０１０７】
すなわち、例えば、図１７で示すように、フィールドメモリ１４に記憶されている時刻ｔのフィールドデータが垂直方向の座標がｙとなる位置に水平方向に画素Ａ，Ｂ，Ｃと存在し、インタレースの画像なので、１ラインおいた垂直方向の座標がｙ＋２となる位置に水平方向にＧ，Ｈ，Ｉが存在するものとする。また、１タイミング過去の時刻t-1の帯域制限されて、水平方向に１／２に間引きされたフィールドデータ上の垂直方向の座標がｙ＋１となる位置に画素Ｄ，Ｅ，Ｆが配置されているものとする。尚、図中、時刻ｔの画素は、黒丸で示されており、時刻t-1の画素は、白丸で示されており、さらに、間引きされた画素は点線で表示されている。また、図中のＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌは、画素を示すと共に以下の説明において画素値としても使用する。さらに、画素値の表示において、「’」は、LPF１９により帯域制限処理された画素値であることを示している。
【０１０８】
このように示された、図１７において、注目画素が奇数である場合、例えば、注目画素は、画素Ｋとなる。すなわち、帯域制限されて、水平方向に１／２に間引きされたフィールドデータにおいては、水平方向の座標位置が奇数の画素が間引きされており、今の場合、画素Ｅが間引きされているので、対応する画素Ｋが補間しようとする画素のうち水平方向の座標位置が奇数となるものとなる。
【０１０９】
この場合、注目画素Ｋは、以下の式（６）により求められることになる。
【０１１０】
Ｋ＝（Ｂ＋Ｈ）／２−（diff（Ｃ’，Ｉ’，Ｆ’）＋diff（Ａ’，Ｇ’，Ｄ’）／２・・・（６）
【０１１１】
また、注目画素が、偶数である場合、例えば、注目画素は、画素ＪまたはＬとなる。すなわち、帯域制限されて、水平方向に１／２に間引きされたフィールドデータにおいては、水平方向の座標位置が奇数の画素が間引きされており、今の場合、画素Ｄ，Ｆは間引きされないので、対応する画素Ｊ，Ｌが補間しようとする画素のうち水平方向の座標位置が偶数のものとなる。
【０１１２】
この場合、例えば、注目画素Ｌは、以下の式（７）により求められることになる。
【０１１３】
Ｌ＝（Ｃ＋Ｉ）／２−（diff（Ｃ’，Ｉ’，Ｆ’）／２ ・・・（７）
【０１１４】
すなわち、式（６），式（７）の「（Ｂ＋Ｈ）／２」と「（Ｃ＋Ｉ）／２」の項は、垂直方向の平均であり、もともと存在しない画素の値を垂直方向に隣接する画素間で補間して、設定するものである。また、「（diff（Ｃ’，Ｉ’，Ｆ’）＋diff（Ａ’，Ｇ’，Ｄ’）／２）と「（diff（Ｃ’，Ｉ’，Ｆ’）／２）の項は、異なるフィールド上に存在する補間しようとする画素と垂直位置が異なる画素間の関係を示す変動データである。従って、以上の方法で、フィールド間補間することにより、注目画素（補間しようとする画素）を補間しようとするときフィールド間の同位置に存在すべき画素間の関係を考慮して補間画素を生成することができる。結果として、正しい補間画素を生成することが可能となる。
【０１１５】
ここで、図２のフローチャートの説明に戻る。
【０１１６】
ステップＳ５において、フィールド間補間処理が実行された後、ステップＳ６において、フィールド内補間部１５は、フィールド内補間処理を実行する。
【０１１７】
ここで、図１８を参照して、フィールド内補間部１５のフィールド内補間処理について説明する。
【０１１８】
ステップＳ１０１において、フィールド内補間部１５は、フィールドメモリ１４に記憶されたフィールドデータを検索し、補間されていない画素が存在するか否かを判定し、補間されていない画素が存在すると判定した場合、その処理は、ステップＳ１０２に進む。
【０１１９】
ステップＳ１０２において、フィールド内補間部１５は、補間しようとする画素の位置を読み出し、ステップＳ１０３において、補間しようとする画素位置近傍の近傍エネルギＥnearを求める。ここで、補間しようとする画素位置近傍の近傍エネルギＥnearは、例えば、図１９に示すように、垂直方向にｙ−１，ｙ＋１のライン上に、それぞれ画素ａ乃至ｅおよび画素ｇ乃至ｋが存在し、その間のｙのライン上に画素ｆを補間しようとする場合、以下の式（８）から求められる。
【０１２０】
Ｅnear-f＝｜ａ−ｋ｜＋｜ｂ−ｊ｜＋｜ｃ−ｉ｜＋｜ｄ−ｈ｜＋｜ｅ−ｇ｜・・・（８）
【０１２１】
ここで、ａ乃至ｋは、画素ａ乃至ｋの画素値である。
【０１２２】
すなわち、補間しようとする画素位置近傍の近傍エネルギＥnearは、補間しようとする画素位置の上下のライン上に存在する画素のうち、補間しようとする画素位置を中心として点対称となる位置の画素値同士の差分の絶対値を加算したものである。このため、近傍エネルギＥnearの値が大きいほど、補間しようとする画素は、エッジ部分を形成している可能性が高く、逆に、その値が小さいほど、補間しようとする画素は、エッジやテクスチャ部分には存在しない可能性が高くなる。
【０１２３】
ステップＳ１０４において、フィールド内補間部１５は、近傍エネルギＥnearが所定の値より大きいか否かを判定し、大きいと判定した場合（エッジ部分を形成している可能性が高いと判定した場合）、その処理は、ステップＳ１０５に進む。
【０１２４】
ステップＳ１０５において、フィールド内補間部１５は、補間しようとする画素の近傍の画素から、相関の高い方向の画素の組合せを求める。すなわち、相関とは、補間しようとする画素を中心として、その点対称の位置に存在する画素間の画素値の差分の絶対値である。例えば、図１９に示すように、画素ｆを補間しようとするとき、求めるべき相関は、｜ａ−ｋ｜、｜ｂ−ｊ｜、｜ｃ−ｉ｜、｜ｄ−ｈ｜、｜ｅ−ｇ｜である。さらに、これらを求めた後、最も小さい値をとる組合せを検出し、これを最も相関の高い画素の組合せとする。すなわち、相関が高いということは、画素値に大きな変化がないことになるので、差分の絶対値が小さいものほど相関が高いことになる。例えば、｜ｂ−ｊ｜が最も小さい値をとった場合、画素ｂ，ｊを結ぶ直線方向が相関の高い方向の画素の組合せと言うことになる。
【０１２５】
ステップＳ１０６において、検出された方向の画素の組合せから補間画素を生成する。すなわち、例えば、図１９に示す画素ｂ，ｊの組合せが最も相関の高い方向の画素の組合せであるとき、補間される画素ｆの画素値は、以下の式（９）から求められる。
【０１２６】
ｆ＝1/2×（ｂ＋ｊ）・・・（９）
【０１２７】
ステップＳ１０７において、フィールド間補間部１４は、補間された画素値が上下方向に対して正しく変化しているか否かを判定する。例えば、図１９に示す画素ｆを補間するとき、フィールド内補間部１５は、以下の式（１０）に示す判定式Ｊを演算し、その演算結果の正負によりこれを判定する。
【０１２８】
Ｊ＝（ｆ−ｃ）×（ｉ−ｆ）・・・（１０）
【０１２９】
ここで、ｃ，ｆは、補間された画素ｆの上下に存在する画素ｃ，ｆの画素値である。
【０１３０】
すなわち、通常上下方向には、画素値は単調増加するか、単調減少する可能性が高いので、これをもって画素値の変化が正しいか否かを判定する。判定式Ｊは、単調増加、または、単調減少する場合、正の値となり、逆に、単調増加、または、単調減少しない場合、負の値となる。
【０１３１】
そこで、判定式Ｊが正の値である場合、フィールド内補間部１５は、画素値が上下方向に対して正しく変化していると判定し、その処理は、ステップＳ１０８に進む。
【０１３２】
ステップＳ１０８において、フィールド内補間部１５は、相関の高い方向の画素の組合せから生成された画素値を補間画素の画素値として補間メモリ１７−２に記憶させ、その処理は、ステップＳ１０１に戻り、全ての画素が補間されるまで以上の処理が繰り返される。
【０１３３】
ステップＳ１０４において、近傍エネルギＥnearが所定の閾値よりも大きくないと判定された場合、ステップＳ１０９において、上下の画素を用いた線形補間により画素値を生成し、生成した画素値を補間メモリ１７−２に記憶させる。すなわち、例えば、図１９に示す画素ｆを補間する場合、その上下に存在する画素ｃ，ｉの画素値から以下の式（１１）より線形補間により画素値を求め、これを補間画素の画素値として補間メモリ１７−２に記憶させ、その処理は、ステップＳ１０１に戻り、補間しようとする画素が全て補間されるまで処理が繰り返される。
【０１３４】
ｆ＝1/2（ｃ＋ｉ）・・・（１１）
【０１３５】
ステップＳ１０７において、画素値が上下方向に対して正しく変化していないと判定された場合、すなわち、判定式Ｊが負の値である場合、その処理は、ステップＳ１０９に進む。
【０１３６】
ここで、図２のフローチャートの説明に戻る。
【０１３７】
ステップＳ６において、フィールド内補間処理が実行されると、ステップＳ７において、セレクタ１８によりセレクト処理が実行される。
【０１３８】
ここで、図２０のフローチャートを参照して、セレクト処理について説明する。
【０１３９】
ステップＳ１２１において、セレクタ１８は、補間されていない注目画素が存在するか否かを判定する。ステップＳ１２２において、セレクタ１８は、注目画素の位置を読み出す。ステップＳ１２３において、セレクタ１８は、静止/動画領域判定部２４に、読み出した画素位置に対応する画素が、注目画素が動画素であるか否かを問い合わせて、判定し、動画素であると判定した場合、その処理は、ステップＳ１２４に進む。
【０１４０】
ステップＳ１２４において、セレクタ１８は、読み出した画素の位置に対応する、補間メモリ１７−２に記憶された動画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素として挿入して記憶すると共に、その処理は、ステップＳ１２１に戻る。
【０１４１】
ステップＳ１２３において、注目画素が動画素ではない、すなわち、静止画素であると判定された場合、ステップＳ１２５において、セレクタ１８は、読み出した画素の位置に対応する、補間メモリ１７−１に記憶された静止画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素に挿入して記憶すると共に、その処理は、ステップＳ１２１に戻り、ステップＳ１２１において、全ての画素が補間されるまでこの処理を繰り返す。
【０１４２】
すなわち、セレクタ１８は、読み出した注目画素の位置に基づいて、静止/動画領域判定部２４に問い合わせて、各画素毎に静止画領域の画素として記憶されているか、動画領域の画素として記憶されているかを照合し、動画領域の画素であった場合、補間メモリ１７−２に記憶されたフィールド内補間部１５により動画素として補間された画素値を挿入し、また、注目画素が静止画領域であった場合、補間メモリ１７−１に記憶されたフィールド間補間部１６により静止画素として補間された画素値を挿入する。
【０１４３】
ここで、図２のフローチャートの説明に戻る。
【０１４４】
ステップＳ７のセレクト処理が終了すると、ステップＳ８において、セレクタ１８は、生成されたプログレッシブ画像を図示せぬ後段の装置に出力する。
【０１４５】
以上においては、イメージリフレッシャ１２は、３タップの垂直フィルタと５タップの水平フィルタを用いた場合について説明してきたが、３タップの垂直フィルタと３タップの水平フィルタを用いるようにしてもよい。また、この場合、例えば、図２１に示すように、垂直フィルタは、（1/4−α/2，α＋1/2，1/4−α/2）となり、図２２に示すように、水平フィルタは、（1/4−α/2，α＋1/2，1/4−α/2）となるようにしてもよい。ここで、水平フィルタは、読み出した５個の画素値に対して１個おきに（例えば、画素ｆ，ｇ，ｈ，ｉ，ｊが順次読込まれたとき、画素ｆ，ｈ，ｊに対して）フィルタ処理を施す。また、３タップの垂直フィルタと５タップの水平フィルタの場合と、３タップの垂直フィルタと３タップの水平フィルタの場合とを、両方使用できるようにして、ユーザにより切替えられるようにしても良い。また、水平フィルタと垂直フィルタは、それ以外の異なるタップ数のものを使用するようにしても良い。また、補間に使用するフィールドデータ、または、画素は、連続するものでなくても良く、例えば、1個毎に使用したり、それ以上の数毎に使用するようにしても良い。
【０１４６】
さらに、未処理画素近傍の近傍エネルギの演算式は、式（８）のほかに、以下の式（１２）を使用するようにしても良く、ユーザにより切替えられるようにしても良い。
【０１４７】
Ｅnear-f＝｜ａ−ｇ｜＋｜ｂ−ｈ｜＋｜ｃ−ｉ｜＋｜ｄ−ｊ｜＋｜ｅ−ｋ｜・・・（１２）
【０１４８】
以上によれば、インタレース画像からプログレッシブ画像に変換する処理において、高域成分の乏しい画像でも正しくエッジを強調させることが可能になると共に、静止画領域の垂直解像度を向上させ、動画領域の斜めエッジを滑らかに補間させることができ、さらに、変換処理時のエラーを抑制させるようにすることが可能となると共に、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別し、正しい補間画素を生成することが可能となる。。
【０１４９】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１５０】
図２３は、画像処理装置をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの動作の全体を制御する。また、CPU１０１は、バス１０４および入出力インターフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、または半導体メモリ１１４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。これにより、上述した画像処理装置の機能が、ソフトウェアにより実現されている。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１５１】
プログラムが記録されている記録媒体は、図２３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フレキシブルディスクを含む）、光ディスク１１２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１１３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１５２】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１５３】
【発明の効果】
本発明の画像処理装置および方法、並びにプログラムによれば、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別し、正しい補間画素を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置のブロック図である。
【図２】図１の画像処理装置のIP変換処理を説明するフローチャートである。
【図３】１次元垂直エッジ強調処理を説明するフローチャートである。
【図４】１次元垂直フィルタを説明する図である。
【図５】１次元垂直フィルタを説明する図である。
【図６】１次元水平エッジ強調処理を説明するフローチャートである。
【図７】１次元水平フィルタを説明する図である。
【図８】１次元水平フィルタを説明する図である。
【図９】静止/動画領域判定処理を説明するフローチャートである。
【図１０】静止/動画領域判定処理を説明する図である。
【図１１】静止/動画領域判定処理を説明する図である。
【図１２】静止/動画領域判定処理を説明する図である。
【図１３】静止/動画領域判定処理を説明する図である。
【図１４】静止/動画領域判定処理を説明する図である。
【図１５】静止/動画領域判定処理を説明する図である。
【図１６】フィールド間補間処理を説明するフローチャートである。
【図１７】フィールド間補間処理を説明する図である。
【図１８】フィールド内補間処理を説明するフローチャートである。
【図１９】フィールド内補間処理を説明する図である。
【図２０】セレクト処理を説明するフローチャートである。
【図２１】１次元垂直フィルタを説明する図である。
【図２２】１次元水平フィルタを説明する図である。
【図２３】媒体を説明する図である。
【符号の説明】
１１ フィールドメモリ，１２ イメージリフレッシャ，１３ バッファ， １４ フィールドメモリ，１５ フィールド内補間部，１６ フィールド間補間部，１７−１，１７−２ 補間メモリ，１８ セレクタ， １９ LPF， ２０ダウンサンプラ， ２１ フィールドメモリ， ２２ 変動測定部， ２３ 変動データメモリ， ２４ 静止/動画領域判定部
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、インタレーススキャン画像をプログレッシブスキャン画像に変換させる際に、静止画領域と、動画領域とを正確に識別し、正しい補間画素を静止できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
インタレーススキャン方式の画像をプログレッシブスキャン方式の画像に変換（IP変換）させる技術が一般に普及しつつある。
【０００３】
インタレーススキャン方式は、飛び越し走査と呼ばれる走査方式であり、実際の表示画像の走査線を１本おきに走査する（走査線１本おきに飛び越して走査する）方式である。インタレーススキャン方式で走査された１つの画像は、フィールドと呼ばれ、連続する画像を表示するとき、隣り合うフィールドは、走査線１本分ずれた状態で画素が存在しており、そのフィールドが連続して交互に表示されている。
【０００４】
プログレッシブスキャン方式は、インタレーススキャン方式に対して、表示画像の全走査線を走査する方式である。
【０００５】
従って、インタレーススキャン方式の画像からプログレッシブスキャン方式の画像への変換処理は、インタレーススキャン方式の画像の中の、画素が存在しないライン上に、元々存在する画素を使用して、画素を補間させ、全ての走査線上に画素を生成する処理である。
【０００６】
従来では、補間の方法としては、走査線１本分を遅延して、表示させることで、各走査線を２度スキャンする２度書きと呼ばれる方法や、上下方向の画素を用いて、線形補間するといった方法が用いられていた。
【０００７】
また、垂直解像度を上げるために、複数のフィールドの情報を利用する方法も提案された。この方法は、インタレーススキャン方式では、連続するフィールドの１個前のフィールドが、上述のように走査線１本分だけずれた関係にあるので、１個前のフィールド上には、現在のフィールド上の補間すべき位置に画素が存在する。そこで、複数のフィールドを使用する補間処理では、この画素を利用する。すなわち、その補間すべき画素が静止画素の場合、１個前のフィールドの画素を、そのまま使用して補間し、また、動画素の場合、現在のフィールドの上下の画素を用いて線形補間により画素を補間するというものである。
【０００８】
また、従来、画像の走査方式を変換する際に発生するエラーを低減できるようにしているものがある（例えば、特許文献１参照）。
【０００９】
さらに、走査方式を変換する際、斜め線が不自然に見えないようにしているものがある（例えば、特許文献２参照）。
【００１０】
【特許文献１】
特開２００１−３５２５２５号公報
【特許文献２】
特開２００１−２１８１６９号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上記の方法では、例えば２度書きを使用した場合、斜めエッジとなる映像は、IP変換により大きな階段状に表示されることになってしまうという課題があった。
【００１２】
また、線形補間を用いた場合、２度書きに比べると、表示画像は向上されるものの、多少ぼけて表示されてしまうことがあり、また、２度書きを用いた場合と同様に斜めのエッジは、階段状に表示されてしまうという課題があった。
【００１３】
そこで、斜め方向のエッジが階段状に表示されてしまうのを防ぐために、エッジの方向を検出しながらIP変換を実行するという方法が提案された。これは、特公平３−４２８３２に記載されているものであり、補間すべき注目画素を中心として、上下、右上左下、および、右下左上の３組の画素の差分の絶対値を調べて、最も小さい値をとる画素の組合せで補間を行い、全てが所定の値より大きい値であれば上の画素値をコピーして補間するという方法である。これにより、斜め方向のエッジが存在する場合でも、その方向が滑らかに補間されるようになった。
【００１４】
しかしながら、エッジの方向を検出しながら変換する方法においては、斜め方向のエッジの表示が改善されるものの、静止画領域では、複数のフィールドを用いる方法に比べて、垂直解像度が不利となってしまうという課題がった。また、エッジの方向を検出しながら変換する方法は、実画像に適用すると、例えば、ノイズや照明条件によって、斜め方向の相関関係が上下方向よりも若干高く、算出されてしまうことがあり、実際の絵柄は上下に連続していても、正確に表示されないといったエラーが発生し易くなるという課題があった。
【００１５】
さらに、複数フィールドを使用する方法では、斜めエッジが階段状に表示される問題は改善されるものの、静止画領域では、複数のフィールドを使用するため、垂直解像度が多少犠牲にされてしまうという課題があった。
【００１６】
また、一般的なビデオ信号などにおいては、高周波成分がわずかしか含まれておらず、エッジはぼんやりとしか現れないので、局地的にエッジ方向を正確に検出するのは困難であり、特定方向のエッジを強調しようとしても、複数のエッジ方向の候補が検出されて、選別することができず、結局、従来の線形補間と同程度の画質でしか、画像を生成することができないという課題があった。
【００１７】
さらに、補間しようとする画素位置が静止画領域であるか、動画領域であるかを正確に識別できず、正しく画素を補間することができない恐れがあるという課題があった。
【００１８】
本発明はこのような状況に鑑みてなされたものであり、インタレーススキャン画像からプログレッシブスキャン画像への変換の際に、静止画部分の垂直解像度を向上させ、動画領域におけるエッジをなだらかに補間させ、変換におけるエラーを抑制できるようにすると共に、補間される画素が動画領域であるか静止画領域であるかを正確に識別し、正しい補間画素を生成するものである。
【００１９】
【課題を解決するための手段】
本発明の画像処理装置は、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間手段と、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定手段と、変動測定手段により測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間手段と、変動測定手段により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定手段と、判定手段の判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間手段により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間手段により補間された画素を選択する選択手段と、インタレース方式の画像のフィールドを帯域制限する帯域制限手段と、帯域制限手段により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引き手段とを備え、変動測定手段は、間引き手段により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引き手段により画素数を水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間手段は、変換しようとする画素が、間引き手段により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、変換しようとする画素が、間引き手段により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【００２０】
前記変換しようとするインタレース方式の画像のエッジを強調するエッジ強調手段をさらに設けるようにさせることができる。
【００２１】
前記エッジ強調手段には、インタレース方式の画像の各画素毎に水平方向、および、垂直方向の１次元フィルタ処理を施し、画像のエッジを強調させるようにすることができる。
【００２２】
前記各画素の近傍の画素値から、画素の近傍の、垂直方向、および、水平方向の中心画素エネルギを算出する中心画素エネルギ算出手段をさらに設けるようにさせることができ、エッジ強調手段には、中心画素エネルギ算出手段により算出された垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた画素に対してフィルタ処理を施すようにさせることができる。
【００２６】
前記変換しようとするインタレース方式の画像のフィールド内に、補間しようとする画素の上下の水平ライン上の、画素に点対照な位置の画素同士の相関を検出する相関検出手段をさらに設けるようにさせることができ、フィールド内補間手段には、相関検出手段により検出された相関の最も強い画素同士から画素を補間させるようにすることができる。
【００２７】
前記相関検出手段には、補間しようとする画素を中心として、点対照な位置同士の画素の画素値の差分の絶対値を相関として検出させるようにすることができる。
【００２８】
前記補間しようとする画素の近傍の画素値から、補間しようとする画素の近傍エネルギを算出する近傍エネルギ算出手段をさらに設けるようにさせることができ、傍エネルギ算出手段により算出された補間しようとする画素の近傍エネルギの値が、所定の閾値より大きい場合、フィールド内補間手段に、相関検出手段により検出された相関の最も強い画素に基づいて補間を行う用にさせることができる。
【００２９】
前記近傍エネルギは、補間しようとする画素を挟んで、その上下に水平方向に伸びるライン上の所定数の画素のうち、ラインに垂直に対向し合う画素の画素値の差分の絶対値の和を取ったものであるか、または、補間しようとする画素を中心として、点対称の位置に存在する画素の画素値の差分の絶対値の和を取ったものとするようにすることができる。
【００３０】
本発明の画像処理方法は、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含み、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【００３１】
本発明の記録媒体のプログラムは、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含み、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【００３２】
本発明のプログラムは、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、変動測定ステップの処理で測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、変動測定ステップの処理により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、判定ステップの処理での判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間ステップの処理により補間された画素を選択し、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間ステップの処理により補間された画素を選択する選択ステップと、インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、帯域制限ステップの処理により帯域制限された、インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含む処理を実行させ、変動測定ステップの処理は、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分を、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、フィールド間補間ステップの処理は、変換しようとする画素が、間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、変換しようとする画素が、間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値を補間することを特徴とする。
【００３３】
本発明の画像処理装置および方法、並びにプログラムにおいては、変換しようとするインタレース方式の画像のフィールド内の画素から、プログレッシブ方式の画像の画素が補間され、変換しようとするインタレース方式の画像のフィールドの注目画素と、それとは異なるフィールドの画素のうちの、注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動が測定され、測定された変動と、変換しようとするインタレース方式の画像のフィールドの画素から、プログレッシブ方式の画像の画素が補間され、変動測定手段により測定された注目画素の変動の所定の閾値との大小関係、および、注目画素の変動と、注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかが判定され、判定結果に基づいて、補間されるプログレッシブ方式の画像の画素が動画素である場合、フィールド内補間された画素が選択され、補間されるプログレッシブ方式の画像の画素が静止画素である場合、フィールド間補間された画素が選択され、インタレース方式の画像のフィールドが帯域制限され、帯域制限された、インタレース方式の画像のフィールドの画素数が水平方向に１／２に間引きされ、画素数が水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、画素数が水平方向に１／２に間引きされたフィールド上の、上下に隣接する画素間の中央に位置する画素の画素値の差分が、上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定され、変換しようとする画素が、間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値が補間され、変換しようとする画素が、間引きされた画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の左右の画素の変動の平均との差により画素値が補間される。
【００３４】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の一実施の形態の構成を示す図である。フィールドメモリ１１，１４，２１は、入力されたインタレーススキャン方式の画像（以下、インタレース画像と称する）の１フィールド分の情報を一時的に記憶し、後段の装置に出力する。すなわち、フィールドメモリ１１，１４，２１は、所定の時刻ｔのタイミングで入力された１フィールド分の画像情報を記憶し、次の時刻t+1のタイミングで、記憶していた時刻ｔのフィールドデータを、イメージリフレッシャ１２、フィールド内補間部１５、フィールド間補間部１６、および、変動測定部２２に出力する。
【００３５】
イメージリフレッシャ１２は、バッファ１３を適宜利用しながら、フィールドメモリ１１より入力されたフィールドデータに、１次元の垂直フィルタ、および、１次元の水平フィルタの処理を施し、垂直方向および水平方向のエッジ部分を強調した後、フィールドメモリ１４に出力する。
【００３６】
フィールド内補間部１５は、エッジ強調処理されたフィールドメモリ１４に記憶されているフィールドデータからプログレッシブ画像の動画領域の画素を補間して生成し、プログレッシブ画像として補間メモリ１７−２に出力し、記憶させる。尚、フィールド内補間処理については、詳細を後述する。
【００３７】
フィールド間補間部１６は、フィールドメモリ１４に記憶されているフィールドデータと、変動測定部２２より入力される変動データからプログレッシブ画像の静止画領域の画素を補間して生成し、生成したプログレッシブ画像を補間メモリ１７−１に出力し、記憶させる。尚、フィールド間補間処理については、詳細を後述する。
【００３８】
LPF（Low Pass Filter）１９は、フィールドメモリ１４に記憶されているフィールドデータを予備的に帯域制限してダウンサンプラ２０に出力する。LPF１９は、フィールドデータに含まれるノイズによる信号の変調を軽減すると共に、後述する静止・動き領域判定処理の際、ノイズの影響で誤って静止画領域を動画領域として判定してしまうといった誤判定を抑制する。また、この帯域制限により、後段のダウンサンプラ２０によるダウンサンプル処理で生じやすいエリアジング現象を抑制することができる。
【００３９】
ダウンサンプラ２０は、LPF１９より入力された帯域制限されているフィールドデータの容量を削減するため、水平方向の画素数を１／２にダウンサンプルし（フィールドデータを１列おきに間引きし）、変動測定部２２、および、フィールドメモリ２１に出力する。尚、以下の説明において、ダウンサンプラ２０は、フィールドデータの各ラインの水平方向の座標xが偶数となる画素を有効画素とし、水平方向の座標xが奇数である画素を無効画素として間引きするものとするが、当然のことながら、間引かれる画素位置となる水平方向の座標ｘの遇奇の関係は逆であってもよい。
【００４０】
変動測定部２２は、注目画素の存在するフィールドの次のタイミングのフィールド、および、その前のタイミングのフィールドの注目画素に対して上下に位置する画素値の平均から注目画素の画素値を引いた値を変動データとして求め、変動データメモリ２３、および、静止/動画領域判定部２４に出力すると共に、変動情報をフィールド間補間部１６に出力する。
【００４１】
静止/動画領域判定部２４は、変動測定部２２より入力される今現在の変動データと、フィールド差分情報メモリ２３より入力される１タイミング前の変動データから静止／動画領域判定処理を実行し、最新のフィールドデータの補間しようとする画素が静止画領域の画素であるのか、または、動画領域の画素であるのかを判定し、記憶する。尚、静止画領域の画素であるか、または、動画領域の画素であるかの判定処理については、詳細を後述する。
【００４２】
セレクタ１８は、静止/動画領域判定部２４に記憶された情報に基づいて、補間しようとする画素が動画領域の画素である場合、フィールド間補間部１６により補間された画素を補間メモリ１７−１から読出し、また、補間しようとする画素が静止画領域の画素である場合、フィールド内補間部１５により補間された画素を補間メモリ１７−２から読み出して、最終的なプログレッシブ画像を生成し、出力する。
【００４３】
次に、図２のフローチャートを参照して、本発明を適用した画像処理装置のIP変換処理について説明する。
【００４４】
ステップＳ１において、フィールドメモリ１１は、記憶していたフィールドデータをイメージリフレッシャ１２に出力した後、入力されたフィールドデータを新たに記憶する。
【００４５】
ステップＳ２において、イメージリフレッシャ１２は、１次元垂直エッジ強調処理を施す。
【００４６】
ここで、図３のフローチャートを参照して、イメージリフレッシャ１２の１次元垂直エッジ強調処理について説明する。
【００４７】
ステップＳ２１において、イメージリフレッシャ１２は、フィールドメモリ１１より入力されたフィールドデータのうち、処理していない画素があるか否かを判定し、処理していない画素があると判定された場合、その処理は、ステップＳ２２に進む。
【００４８】
ステップＳ２２において、イメージリフレッシャ１２は、未処理画素を検索し、検索された未処理画素の垂直方向中心画素エネルギを算出する。例えば、図４に示すようなフィールドデータが存在し、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、画素ｈの近傍のＡエリア（図中実線で囲まれた範囲）の垂直方向中心画素エネルギEV-hは、以下の式により求められる。
【００４９】
EV-h＝｜（ｂ＋ｃ＋ｄ）−（ｌ＋ｍ＋ｎ）｜・・・（１）
【００５０】
ここで、ｂ，ｃ，ｄ，ｌ，ｍ，およびｎは、画素ｂ，ｃ，ｄ，ｌ，ｍ，およびｎの画素値である。すなわち、式（１）の垂直方向中心画素エネルギEVは、未処理画素を中心とした上のラインと下のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が上下にある場合は、その画素値の差分には、大きな差がないので、垂直方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が上下にある場合、その画素値の差分には大きな差が現れることが多く、結果として垂直方向中心画素エネルギも大きくなる。
【００５１】
イメージリフレッシャ１２は、未処理画素の垂直方向中心画素エネルギEV-hを上記の式（１）を演算することにより求める。
【００５２】
ステップＳ２３において、イメージリフレッシャ１２は、求められた垂直方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が垂直方向の画素との間に強い相関が見られないと判定した場合、その処理は、ステップＳ２４に進む。
【００５３】
ステップＳ２４において、イメージリフレッシャ１２は、未処理画素を含めた上下３個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図４に示すように、未処理画素が画素ｈであった場合、それを含めた上下の画素ｃ，ｈ，ｍ（図４中の実線で囲まれたＢエリア）の各画素値を読出し、図５に示すように、その内の最大値（ｃ，ｈ，ｍ）と最小値（ｃ，ｈ，ｍ）を求める。
【００５４】
ステップＳ２５において、イメージリフレッシャ１２は、図４に示すBエリアの画素ｃ，ｈ，ｍに、図５に示すような１次元垂直フィルタ処理を施す。すなわち、１次元垂直フィルタとしては、（1/2−α/2，α，1/2−α/2）（１<α≦２）といったものであり、以下の式（２）に示すような演算により、フィルタ処理された画素値ｈV-filterが求められる。
【００５５】
ｈV-filter＝ｃ×（1/2−α/2）＋ｈ×α＋ｍ×（1/2−α/2）・・・（２）
【００５６】
ここで、αは、１<α≦２の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【００５７】
ステップＳ２６において、イメージリフレッシャ１２は、図５に示すように、フィルタ処理した画素値ｈV-filterと最大値（ｃ，ｈ，ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上であるか否かを判定し、最大値（ｃ，ｈ，ｍ）以上であると判定した場合、ステップＳ２７において、イメージリフレッシャ１２は、画素値ｈV-filterを最大値（ｃ，ｈ，ｍ）に置き換える。
【００５８】
ステップＳ２８において、イメージリフレッシャ１２は、最大値（ｃ，ｈ，ｍ）に置き換えられた画素値を画素ｈの画素値としてバッファ１３に記憶させ、その処理は、ステップＳ２１に戻り、全ての画素に１次元垂直エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【００５９】
ステップＳ２３において、垂直方向中心画素エネルギEVが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が上下の画素との間に強い相関が認められると判定された場合、その処理は、ステップＳ２８に進み、イメージリフレッシャ１２は、画素ｈの画素値を、フィルタ処理することなく、そのままバッファ１３に記憶させ、その処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【００６０】
ステップＳ２６において、フィルタ処理した画素値ｈV-filterが最大値（ｃ，ｈ，ｍ）以上ではないと判定した場合、ステップＳ２９において、イメージリフレッシャ１２は、フィルタ処理した画素値ｈV-filterと最小値（ｃ，ｈ，ｍ）を比較し、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であるか否かを判定し、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下であると判定した場合、その処理は、ステップＳ３０に進む。
【００６１】
ステップＳ３０において、イメージリフレッシャ１２は、画素値ｈV-filterを最小値（ｃ，ｈ，ｍ）に置き換え、ステップＳ２８において、最小値（ｃ，ｈ，ｍ）に置き換えられた画素値を、画素ｈの画素値としてバッファ１３に記憶する。
【００６２】
ステップＳ２９において、フィルタ処理した画素値ｈV-filterが最小値（ｃ，ｈ，ｍ）以下ではないと判定した場合、その処理は、ステップＳ２８に進み、イメージリフレッシャ１２は、フィルタ処理された画素値ｈV-filterを、画素ｈの画素値としてバッファ１３に記憶させ、その処理は、ステップＳ２１に戻る。
【００６３】
すなわち、ステップＳ２３の処理で、垂直方向中心画素エネルギの値が所定の閾値以上である場合（未処理画素が上下の画素との間に強い相関が認められない場合）、図５に示すように、ステップＳ２４の処理で求められた最大値（ｃ，ｈ，ｍ）、および、最小値（ｃ，ｈ，ｍ）が、画素ｃ，ｈ，ｍの局所的な範囲の最大値と最小値とみなされ、ステップＳ２５の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をバッファ１３に記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、バッファ１３に記憶させる。ステップＳ２３の処理で、垂直方向中心画素エネルギの値が所定の閾値以上ではない場合、すなわち、上下の画素と相関が強い場合、元の画素値がそのままバッファ１３に記憶される。
【００６４】
ここで、図２のフローチャートの説明に戻る。
【００６５】
ステップＳ２において、１次元垂直エッジ強調処理が実行された後、ステップＳ３において、イメージリフレッシャ１２は、１次元水平エッジ強調処理を実行する。
【００６６】
ここで、図６のフローチャートを参照して、１次元水平エッジ強調処理について説明する。
【００６７】
ステップＳ４１において、イメージリフレッシャ１２は、バッファ１３に記憶された１次元垂直エッジ強調処理されているフィールドデータの各画素について１次元水平エッジ処理を施していない画素があるか否かを判定し、未処理の画素が存在すると判定した場合、その処理は、ステップＳ４２に進む。
【００６８】
ステップＳ４２において、イメージリフレッシャ１２は、未処理画素を検索し、検索された未処理画素の水平方向中心画素エネルギを算出する。例えば、図７に示すようなフィールドデータが存在し、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、画素ｈの近傍のＡエリア（図中実線で囲まれた範囲）の水平方向中心画素エネルギEH-hは、以下の式により求められる。
【００６９】
EH-h＝｜（ｄ＋ｉ＋ｎ）−（ｂ＋ｇ＋ｌ）｜・・・（３）
【００７０】
ここで、ｂ，ｄ，ｇ，ｉ，ｌ、およびｎは、画素ｂ，ｄ，ｇ，ｉ，ｌ、およびｎの画素値である。すなわち、式（３）の水平方向中心画素エネルギEHは、未処理画素を中心とした右のラインと左のラインに存在する画素値の和同士の差分の絶対値である。このため、相関のある画素同士が左右にある場合は、その画素値の差分には、大きな差がないので、水平方向中心画素エネルギも小さくなり、逆に、相関のない画素同士が左右にある場合、その画素値の差分には大きな差が現れることが多いので、水平方向中心画素エネルギも大きくなる。
【００７１】
イメージリフレッシャ１２は、上記の式（３）を演算し、未処理画素の水平方向中心画素エネルギEHを求める。
【００７２】
ステップＳ４３において、イメージリフレッシャ１２は、求められた水平方向中心画素エネルギEVが、所定の値以上であるか否かを判定し、所定の値以上であると判定した場合、すなわち、未処理の画素が左右の画素と強い相関が見られないと判定した場合、その処理は、ステップＳ４４に進む。
【００７３】
ステップＳ４４において、イメージリフレッシャ１２は、未処理画素を含めた左右５個の画素の画素値を比較して最大値と最小値を求める。すなわち、例えば、図７に示すように、未処理画素が画素ｈであった場合、それを含めた左右の画素ｆ乃至ｊ（図７中の実線で囲まれたＢエリア）の各画素値を読出し、図８に示すように、その内の最大値（ｆ，ｇ，ｈ，ｉ，ｊ）と最小値（ｆ，ｇ，ｈ，ｉ，ｊ）を求める。
【００７４】
ステップＳ４５において、イメージリフレッシャ１２は、図７に示すBエリアの画素ｆ乃至ｊに、図８に示すような１次元水平フィルタ処理を施す。すなわち、１次元垂直フィルタとしては、（1/4−α/2，1/4，α，1/4，1/4−α/2）（１<α≦２）といったものであり、以下に示す式（４）を演算することにより、フィルタ処理された画素値ｈH-filterが求められる。
【００７５】
ｈH-filter＝ｆ×（1/4−α/2）＋ｇ×1/4＋ｈ×α＋ｉ×1/4＋ｊ×（1/4−α/2）・・・（４）
【００７６】
ここで、αは、１<α≦２の範囲で任意に設定できる定数であり、エッジの強調の程度を調節することができる。
【００７７】
ステップＳ４６において、イメージリフレッシャ１２は、フィルタ処理した画素値ｈH-filterと最大値（ｆ，ｇ，ｈ，ｉ，ｊ）を比較し、フィルタ処理した画素値ｈH-filterが最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上であるか否かを判定し、最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上であると判定した場合、ステップＳ４７において、イメージリフレッシャ１２は、画素値ｈH-filterを最大値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換える。
【００７８】
ステップＳ４８において、イメージリフレッシャ１２は、最大値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換えられた画素値を画素ｈの画素値としてフィールドメモリ１４に記憶させ、その処理は、ステップＳ４１に戻り、全ての画素に１次元水平エッジ強調処理が施されたと判定されるまで同様の処理が繰り返される。
【００７９】
ステップＳ４３において、水平方向中心画素エネルギEHが、所定の値以上ではないと判定された場合、すなわち、未処理の画素が左右の画素との間に強い相関が見られると判定された場合、その処理は、ステップＳ４８に進み、イメージリフレッシャ１２は、画素ｈの画素値をそのままフィールドメモリ１４に記憶させ、その処理は、ステップＳ４１に戻る。
【００８０】
ステップＳ４６において、フィルタ処理した画素値ｈH-filterが最大値（ｆ，ｇ，ｈ，ｉ，ｊ）以上ではないと判定した場合、ステップＳ４９において、イメージリフレッシャ１２は、フィルタ処理した画素値ｈH-filterと最小値（ｆ，ｇ，ｈ，ｉ，ｊ）を比較し、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下であるか否かを判定し、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下であると判定した場合、その処理は、ステップＳ５０に進む。
【００８１】
ステップＳ５０において、イメージリフレッシャ１２は、画素値ｈH-filterを最小値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換え、ステップＳ４８において、最小値（ｆ，ｇ，ｈ，ｉ，ｊ）に置き換えられた画素値を、画素ｈの画素値としてフィールドメモリ１４に記憶する。
【００８２】
ステップＳ４９において、フィルタ処理した画素値ｈH-filterが最小値（ｆ，ｇ，ｈ，ｉ，ｊ）以下ではないと判定した場合、その処理は、ステップＳ４８に進み、イメージリフレッシャ１２は、フィルタ処理された画素値ｈH-filterを、画素ｈの画素値としてフィールドメモリ１４に記憶させ、その処理は、ステップＳ４１に戻る。
【００８３】
すなわち、ステップＳ４３の処理で、水平方向中心画素エネルギの値が所定の閾値以上である場合（未処理画素が左右の画素との間に強い相関が認められない場合）、図８に示すように、ステップＳ４４の処理で求められた最大値（ｆ，ｇ，ｈ，ｉ，ｊ）、および、最小値（ｆ，ｇ，ｈ，ｉ，ｊ）が、画素ｆ，ｇ，ｈ，ｉ，ｊの局所的な範囲の最大値と最小値とみなされ、ステップＳ４５の処理で求められたフィルタ処理した画素値が、その最小値と最大値の範囲に含まれたときは、フィルタ処理した画素値をフィールドメモリ１４に記憶させ、その範囲以下のときは画素値を最小値に、その範囲以上のときは画素値を最大値にして、フィールドメモリ１４に記憶させる。ステップＳ４３の処理で、水平方向中心画素エネルギの値が所定の閾値以上ではない場合、元の画素値がそのままフィールドメモリ１４に記憶される。
【００８４】
ここで、図２のフローチャートの説明に戻る。
【００８５】
ステップＳ３において、１次元水平エッジ強調処理が実行された後、ステップＳ４において、LPF１９、ダウンサンプラ２０、フィールドメモリ２１、変動測定部２２、フィールド差分情報メモリ２３、および、静止/動画領域判定部２４は、協働して静止／動画領域判定処理を実行する。
【００８６】
ここで、図９のフローチャートを参照して、静止／動画領域判定処理について説明する。
【００８７】
ステップ６１において、LPF１９は、注目画素を中心とした、水平方向の画素に対して所定のフィルタにより画素値を平滑化することにより帯域制限して、ダウンサンプラ２０に出力する。すなわち、例えば、注目画素を中心とした水平方向に画素ｇ，ｈ，ｉが配置されていた場合（今の場合、注目画素は画素ｈ）、画素ｇ，ｈ，ｉは、（1/4，1/2，1/4）からなるフィルタにより平滑化され、画素ｈ’の画素値は、ｇ／４＋ｈ／２＋ｉ／４となり、帯域が制限されてダウンサンプラ２０に出力される。
【００８８】
ステップ６２において、ダウンサンプラ２０は、LPF１９により帯域制限された画像信号の画素数を水平方向に対して１／２に間引きすることにより、ダウンサンプルし、フィールド間補間部１６、フィールド差分情報メモリ２３、および、静止/動画領域判定部２４に出力する。すなわち、例えば、LPF１９により帯域制限されたフィールドデータとして、図１１に示すように、垂直方向のｙ＋１，ｙ，ｙ−１の各ラインに、画素ａ乃至ｅ、画素ｆ乃至ｊ、および、画素ｋ乃至ｏが配置されているものとするとき、ダウンサンプラ２０は、水平方向の座標ｘが偶数となる、ライン（ｙ−１）上の画素ａ（ｘ＝０），ｃ（ｘ＝２），ｅ（ｘ＝４）、ラインｙ上の画素ｆ（ｘ＝０），ｈ（ｘ＝２），ｊ（ｘ＝４）、および、ライン（ｙ＋１）上の画素ｋ（ｘ＝０），ｍ（ｘ＝２），ｏ（ｘ＝４）を有効画素として残し、ライン（ｙ−１）上の画素ｂ（ｘ＝１），ｄ（ｘ＝３）、ラインｙ上の画素ｇ（ｘ＝１），ｉ（ｘ＝３）、および、ライン（ｙ＋１）上の画素ｌ（ｘ＝１），ｎ（ｘ＝３）を無効画素として残して間引きすることにより、全体として水平方向に１／２にダウンサンプルしたフィールドデータを生成して、フィールドメモリ２１、および、変動測定部２２に出力する。
【００８９】
ステップＳ６３において、変動測定部２２は、注目画素となる画素位置の情報を読み出し、ステップＳ６４において、ダウンサンプラ２０より入力される最新の（水平方向に１／２にダウンサンプルされている）フィールドデータとフィールドメモリ２１に記憶されている１タイミング前の（水平方向に１／２にダウンサンプルされている）フィールドデータから変動データを測定し、変動データメモリ２３、および、静止/動画領域判定部２４に出力する。すなわち、例えば、図１２で示す、時刻ｔ−１の場合、フィールド上に存在する画素Ｃが注目画素であるとき、その前のタイミングである時刻ｔ−２のフィールド上の画素Ｃの位置から見て水平方向に上下に位置する画素Ｄ，Ｅの画素値と画素Ｃの画素値から以下の式（５）を演算することに変動データdiff（Ｄ，Ｅ，Ｃ）が、測定される。
【００９０】
diff（Ｄ，Ｅ，Ｃ）＝（Ｄ＋Ｅ）／２−Ｃ・・・（５）
【００９１】
ここで、diff（Ｄ，Ｅ，Ｃ）は、画素Ｄ，Ｅ，Ｃから得られる変動データであり、Ｄ，Ｅ，Ｃは、画素Ｄ，Ｅ，Ｃの画素値を示す。すなわち、画素Ｃの位置から見て水平方向に上下に位置する画素Ｄ，Ｅの画素値をフィールドメモリ２１に記憶されている１タイミング前のフィールドデータから読出し、その平均を求め、最新フィールドデータから画素Ｃの画素値を読出し、画素Ｄ，Ｅの平均値から引いた値を変動データとする。また、この次のタイミング（時刻ｔ）では、diff（Ａ，Ｂ，Ｃ）が求められることになる。尚、以下の説明においては、注目画素について、今現在求められた変動データをdiff_cとし、その前のタイミングで求められた、変動データメモリ２３に記憶されている変動データをdiff_pと称するものとする。
【００９２】
ステップＳ６５において、静止/動画領域判定部２４は、変動測定部２２から入力されてくる注目画素の変動データdiff_cと、その前のタイミングで変動測定部２２から入力されてくる変動データdiff_pから、変動データdiff_cが所定の閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負或いはゼロであるか否かを判定し、例えば、変動データdiff_cが所定の閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負あるいはゼロであると判定した場合、ステップＳ６６において、注目画素を動画領域の画素として記憶する。
【００９３】
また、ステップＳ６５において、変動データdiff_cが所定の閾値thよりも小さいか、または、変動データdiff_cと変動データdiff_pの乗算結果が正であると判定された場合、ステップＳ６７において、注目画素を静止画領域の画素として記憶する。
【００９４】
そして、ステップＳ６８において、未処理の画素があるか否かが判定され、未処理の画素があると判定された場合、その処理は、ステップＳ６３に戻り、それ以降の処理が繰り返され、未処理の画素がなくなるまで、ステップＳ６３乃至Ｓ６８の処理が繰り返される。すなわち、全ての画素が動画素か、または、静止画素のいずれであるかの判定が終了すると、その処理は，終了する。
【００９５】
すなわち、図１２における時刻t-1のフィールドデータ上に存在する画素Ｃが注目画素である場合、その前のタイミングである時刻t-2のフィールドデータ上の画素Ｄ，Ｅにより得られる変動データdiff_pは、上述のように、diff_p＝diff（Ｄ，Ｅ，Ｃ）＝（Ｄ＋Ｅ）／２−Ｃとなり、次のタイミングである、時刻ｔのフィールドデータ上の画素Ａ，Ｂと注目画素Ｃにより得られる変動データdiff_cは、diff_c＝diff（Ａ，Ｂ，Ｃ）＝（Ａ＋Ｂ）／２−Ｃとなる。このとき、変動データdiff_c＝diff（Ａ，Ｂ，Ｃ）が閾値thよりも大きく、かつ、変動データdiff_cと変動データdiff_pの乗算結果が負或いはゼロであるとき、注目画素Ｃは、動画領域の画素であると判定され、静止/動画領域判定部２４に記憶される。逆に、変動データdiff_c＝diff（Ａ，Ｂ，Ｃ）が閾値thよりも小さいか、または、変動データdiff_cと変動データdiff_pの乗算結果が１以上であるとき、注目画素Ｃは、静止画領域の画素であると判定され、静止/動画領域判定部２４に記憶される。
【００９６】
このような静止/動画領域判定処理により、以下のような効果が得られる。
【００９７】
すなわち、例えば、図１３で示すように、１ラインごとに白と黒の画素が垂直方向に配置されるような静止画の場合、フィールドデータは、時刻毎に（フィールドデータ毎に）、時刻tのフィールドデータには、白の画素がPix(ｙ-2，ｔ)，Pix(ｙ，ｔ)，Pix(ｙ+2，ｔ)に配置され、時刻t-1のフィールドデータには、黒の画素がPix(ｙ-1，t-1)，Pix(ｙ+1，t-1)，Pix(ｙ+3，t-1)に配置され、時刻t-2のフィールドデータには、白の画素がPix(ｙ-2，t-2)，Pix(ｙ，t-2)，Pix(ｙ+2，t-2)に配置されるものとする。
【００９８】
このような場合、例えば、垂直方向の変化が単調減少、または、単調増加である場合、すなわち、画素の変化（Pix(ｙ-2，ｔ)−Pix（y-1，t-1））×（Pix(y-1，t-1)−Pix（y，t））＞０である場合、静止画であるとみなすものとしていると、図１３の場合、（Pix(ｙ-2，ｔ)−Pix（y-1，t-1））×（Pix(y-1，t-1)−Pix（y，t））＞０とはならないため、動画像領域であるとみなされることがある。このとき、例えば、動画像領域の画素を補間するときは、注目画素の上下の画素の平均であるとすると、時刻ｔ、または、t-2上のフィールドデータで補間されるが画素は、全て白に、時刻ｔ-1上のフィールドデータで補間されるが画素は、黒に、補間されてしまうことになる。このような処理により、時刻の変化と共にプログレッシブ画像は、図１４Ａ，Ｂ，Ｃ，Ｄで示すように、時刻が進むと共に図１４Ａ，Ｂ，Ｃ，Ｄのように画像が白、黒、白、黒と連続的に切り替わってしまうため、いわゆる、フリッカを生じてしまう。
【００９９】
これに対して、本発明によれば、diff（Pix(y-2，ｔ)，Pix(y，ｔ)，Pix(y-1，t-1)）×diff（Pix(y-2，ｔ-2)，Pix(y，ｔ-2)，Pix(y-1，t-1)）＞０で、かつ、diff（Pix(y-2，ｔ)，Pix(y，ｔ)，Pix(y-1，t-1)）＞thであるとき、注目画素を静止画領域とするので、図１３で示すような静止画であっても、誤判定することなく、注目画素が静止画領域であると認識することができる。結果的に、図１３で示すような画像が変換されても、各画素の垂直方向の座標位置毎に同一の画素が設定されることになるので、図１５Ａ、Ｂ，Ｃ，Ｄで示すように、時系列的に、変化する画像が表示されても、全ての画像で図１３で示した画像を表示させることが可能となる。結果として、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別することが可能となる。
【０１００】
尚、以上においては、静止/動画領域判定処理においては、1画素の判定結果に基づいて、静止/動画領域の判定を行っていたが、例えば、注目画素を中心としたＮ（画素数）×Ｍ（画素数）のうち、1画素でも動画領域を判定された場合、注目画素を動画領域であると判定し、それ以外の場合、静止画領域であると判定するようにしてもよい。
【０１０１】
ここで、図２のフローチャートの説明に戻る。
【０１０２】
ステップＳ４において、静止/動画素領域判定処理が実行された後、ステップＳ６において、フィールド間補間部１６は、フィールド間補間処理を実行する。
【０１０３】
ここで、図１６のフローチャートを参照して、フィールド間補間処理について説明する。
【０１０４】
ステップＳ８１において、フィールド間補間部１６は、注目画素（フィールド間補間、または、フィールド内補間処理における注目画素とは、補間しようとする画素である）の位置を読出し、ステップＳ８２において、注目画素位置の水平方向の画素位置が奇数であるか否かを判定する。例えば、注目画素の水平方向の座標位置が奇数であると判定された場合、ステップＳ８３において、フィールド補間部１６は、フィールドメモリ１４に記憶されているフィールドデータから注目画素位置の上下に存在する画素間の平均値と、変動測定部２２より入力されてくる注目画素の左右に存在する画素の変動データの平均値との和を注目画素の画素値として補間し、補間メモリ１７−１に記憶させる。
【０１０５】
また、ステップＳ８２において、注目画素の水平方向の画素位置が奇数ではない、すなわち、水平方向の画素位置が偶数であると判定された場合、ステップＳ８４において、フィールド補間部１６は、フィールドメモリ１４に記憶されているフィールドデータから注目画素位置の上下に存在する画素間の平均値と、変動測定部２２より入力されてくる注目画素と同位置に存在する帯域制限されて、水平方向に１／２に間引きされた１フィールド前の画素の変動データの１／２の値との和を注目画素の画素値として補間し、補間メモリ１７−１に記憶させる。
【０１０６】
ステップＳ８５において、フィールド間補間部１６は、未処理の画素がまだ存在するか否かを判定し、未処理の画素があると判定した場合、その処理は、ステップＳ８１に戻り、それ以降の処理が繰り返され、未処理の画素がなくなるまで、ステップＳ８１乃至Ｓ８５の処理が繰り返される。そして、ステップＳ８５において、未処理の画素がないと判定された場合、その処理は、終了する。
【０１０７】
すなわち、例えば、図１７で示すように、フィールドメモリ１４に記憶されている時刻ｔのフィールドデータが垂直方向の座標がｙとなる位置に水平方向に画素Ａ，Ｂ，Ｃと存在し、インタレースの画像なので、１ラインおいた垂直方向の座標がｙ＋２となる位置に水平方向にＧ，Ｈ，Ｉが存在するものとする。また、１タイミング過去の時刻t-1の帯域制限されて、水平方向に１／２に間引きされたフィールドデータ上の垂直方向の座標がｙ＋１となる位置に画素Ｄ，Ｅ，Ｆが配置されているものとする。尚、図中、時刻ｔの画素は、黒丸で示されており、時刻t-1の画素は、白丸で示されており、さらに、間引きされた画素は点線で表示されている。また、図中のＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌは、画素を示すと共に以下の説明において画素値としても使用する。さらに、画素値の表示において、「’」は、LPF１９により帯域制限処理された画素値であることを示している。
【０１０８】
このように示された、図１７において、注目画素が奇数である場合、例えば、注目画素は、画素Ｋとなる。すなわち、帯域制限されて、水平方向に１／２に間引きされたフィールドデータにおいては、水平方向の座標位置が奇数の画素が間引きされており、今の場合、画素Ｅが間引きされているので、対応する画素Ｋが補間しようとする画素のうち水平方向の座標位置が奇数となるものとなる。
【０１０９】
この場合、注目画素Ｋは、以下の式（６）により求められることになる。
【０１１０】
Ｋ＝（Ｂ＋Ｈ）／２−（diff（Ｃ’，Ｉ’，Ｆ’）＋diff（Ａ’，Ｇ’，Ｄ’）／２・・・（６）
【０１１１】
また、注目画素が、偶数である場合、例えば、注目画素は、画素ＪまたはＬとなる。すなわち、帯域制限されて、水平方向に１／２に間引きされたフィールドデータにおいては、水平方向の座標位置が奇数の画素が間引きされており、今の場合、画素Ｄ，Ｆは間引きされないので、対応する画素Ｊ，Ｌが補間しようとする画素のうち水平方向の座標位置が偶数のものとなる。
【０１１２】
この場合、例えば、注目画素Ｌは、以下の式（７）により求められることになる。
【０１１３】
Ｌ＝（Ｃ＋Ｉ）／２−（diff（Ｃ’，Ｉ’，Ｆ’）／２ ・・・（７）
【０１１４】
すなわち、式（６），式（７）の「（Ｂ＋Ｈ）／２」と「（Ｃ＋Ｉ）／２」の項は、垂直方向の平均であり、もともと存在しない画素の値を垂直方向に隣接する画素間で補間して、設定するものである。また、「（diff（Ｃ’，Ｉ’，Ｆ’）＋diff（Ａ’，Ｇ’，Ｄ’）／２）と「（diff（Ｃ’，Ｉ’，Ｆ’）／２）の項は、異なるフィールド上に存在する補間しようとする画素と垂直位置が異なる画素間の関係を示す変動データである。従って、以上の方法で、フィールド間補間することにより、注目画素（補間しようとする画素）を補間しようとするときフィールド間の同位置に存在すべき画素間の関係を考慮して補間画素を生成することができる。結果として、正しい補間画素を生成することが可能となる。
【０１１５】
ここで、図２のフローチャートの説明に戻る。
【０１１６】
ステップＳ５において、フィールド間補間処理が実行された後、ステップＳ６において、フィールド内補間部１５は、フィールド内補間処理を実行する。
【０１１７】
ここで、図１８を参照して、フィールド内補間部１５のフィールド内補間処理について説明する。
【０１１８】
ステップＳ１０１において、フィールド内補間部１５は、フィールドメモリ１４に記憶されたフィールドデータを検索し、補間されていない画素が存在するか否かを判定し、補間されていない画素が存在すると判定した場合、その処理は、ステップＳ１０２に進む。
【０１１９】
ステップＳ１０２において、フィールド内補間部１５は、補間しようとする画素の位置を読み出し、ステップＳ１０３において、補間しようとする画素位置近傍の近傍エネルギＥnearを求める。ここで、補間しようとする画素位置近傍の近傍エネルギＥnearは、例えば、図１９に示すように、垂直方向にｙ−１，ｙ＋１のライン上に、それぞれ画素ａ乃至ｅおよび画素ｇ乃至ｋが存在し、その間のｙのライン上に画素ｆを補間しようとする場合、以下の式（８）から求められる。
【０１２０】
Ｅnear-f＝｜ａ−ｋ｜＋｜ｂ−ｊ｜＋｜ｃ−ｉ｜＋｜ｄ−ｈ｜＋｜ｅ−ｇ｜・・・（８）
【０１２１】
ここで、ａ乃至ｋは、画素ａ乃至ｋの画素値である。
【０１２２】
すなわち、補間しようとする画素位置近傍の近傍エネルギＥnearは、補間しようとする画素位置の上下のライン上に存在する画素のうち、補間しようとする画素位置を中心として点対称となる位置の画素値同士の差分の絶対値を加算したものである。このため、近傍エネルギＥnearの値が大きいほど、補間しようとする画素は、エッジ部分を形成している可能性が高く、逆に、その値が小さいほど、補間しようとする画素は、エッジやテクスチャ部分には存在しない可能性が高くなる。
【０１２３】
ステップＳ１０４において、フィールド内補間部１５は、近傍エネルギＥnearが所定の値より大きいか否かを判定し、大きいと判定した場合（エッジ部分を形成している可能性が高いと判定した場合）、その処理は、ステップＳ１０５に進む。
【０１２４】
ステップＳ１０５において、フィールド内補間部１５は、補間しようとする画素の近傍の画素から、相関の高い方向の画素の組合せを求める。すなわち、相関とは、補間しようとする画素を中心として、その点対称の位置に存在する画素間の画素値の差分の絶対値である。例えば、図１９に示すように、画素ｆを補間しようとするとき、求めるべき相関は、｜ａ−ｋ｜、｜ｂ−ｊ｜、｜ｃ−ｉ｜、｜ｄ−ｈ｜、｜ｅ−ｇ｜である。さらに、これらを求めた後、最も小さい値をとる組合せを検出し、これを最も相関の高い画素の組合せとする。すなわち、相関が高いということは、画素値に大きな変化がないことになるので、差分の絶対値が小さいものほど相関が高いことになる。例えば、｜ｂ−ｊ｜が最も小さい値をとった場合、画素ｂ，ｊを結ぶ直線方向が相関の高い方向の画素の組合せと言うことになる。
【０１２５】
ステップＳ１０６において、検出された方向の画素の組合せから補間画素を生成する。すなわち、例えば、図１９に示す画素ｂ，ｊの組合せが最も相関の高い方向の画素の組合せであるとき、補間される画素ｆの画素値は、以下の式（９）から求められる。
【０１２６】
ｆ＝1/2×（ｂ＋ｊ）・・・（９）
【０１２７】
ステップＳ１０７において、フィールド間補間部１４は、補間された画素値が上下方向に対して正しく変化しているか否かを判定する。例えば、図１９に示す画素ｆを補間するとき、フィールド内補間部１５は、以下の式（１０）に示す判定式Ｊを演算し、その演算結果の正負によりこれを判定する。
【０１２８】
Ｊ＝（ｆ−ｃ）×（ｉ−ｆ）・・・（１０）
【０１２９】
ここで、ｃ，ｆは、補間された画素ｆの上下に存在する画素ｃ，ｆの画素値である。
【０１３０】
すなわち、通常上下方向には、画素値は単調増加するか、単調減少する可能性が高いので、これをもって画素値の変化が正しいか否かを判定する。判定式Ｊは、単調増加、または、単調減少する場合、正の値となり、逆に、単調増加、または、単調減少しない場合、負の値となる。
【０１３１】
そこで、判定式Ｊが正の値である場合、フィールド内補間部１５は、画素値が上下方向に対して正しく変化していると判定し、その処理は、ステップＳ１０８に進む。
【０１３２】
ステップＳ１０８において、フィールド内補間部１５は、相関の高い方向の画素の組合せから生成された画素値を補間画素の画素値として補間メモリ１７−２に記憶させ、その処理は、ステップＳ１０１に戻り、全ての画素が補間されるまで以上の処理が繰り返される。
【０１３３】
ステップＳ１０４において、近傍エネルギＥnearが所定の閾値よりも大きくないと判定された場合、ステップＳ１０９において、上下の画素を用いた線形補間により画素値を生成し、生成した画素値を補間メモリ１７−２に記憶させる。すなわち、例えば、図１９に示す画素ｆを補間する場合、その上下に存在する画素ｃ，ｉの画素値から以下の式（１１）より線形補間により画素値を求め、これを補間画素の画素値として補間メモリ１７−２に記憶させ、その処理は、ステップＳ１０１に戻り、補間しようとする画素が全て補間されるまで処理が繰り返される。
【０１３４】
ｆ＝1/2（ｃ＋ｉ）・・・（１１）
【０１３５】
ステップＳ１０７において、画素値が上下方向に対して正しく変化していないと判定された場合、すなわち、判定式Ｊが負の値である場合、その処理は、ステップＳ１０９に進む。
【０１３６】
ここで、図２のフローチャートの説明に戻る。
【０１３７】
ステップＳ６において、フィールド内補間処理が実行されると、ステップＳ７において、セレクタ１８によりセレクト処理が実行される。
【０１３８】
ここで、図２０のフローチャートを参照して、セレクト処理について説明する。
【０１３９】
ステップＳ１２１において、セレクタ１８は、補間されていない注目画素が存在するか否かを判定する。ステップＳ１２２において、セレクタ１８は、注目画素の位置を読み出す。ステップＳ１２３において、セレクタ１８は、静止/動画領域判定部２４に、読み出した画素位置に対応する画素が、注目画素が動画素であるか否かを問い合わせて、判定し、動画素であると判定した場合、その処理は、ステップＳ１２４に進む。
【０１４０】
ステップＳ１２４において、セレクタ１８は、読み出した画素の位置に対応する、補間メモリ１７−２に記憶された動画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素として挿入して記憶すると共に、その処理は、ステップＳ１２１に戻る。
【０１４１】
ステップＳ１２３において、注目画素が動画素ではない、すなわち、静止画素であると判定された場合、ステップＳ１２５において、セレクタ１８は、読み出した画素の位置に対応する、補間メモリ１７−１に記憶された静止画領域の画素として補間された画素値を読出し、プログレッシブ画面として出力しようとする画素に挿入して記憶すると共に、その処理は、ステップＳ１２１に戻り、ステップＳ１２１において、全ての画素が補間されるまでこの処理を繰り返す。
【０１４２】
すなわち、セレクタ１８は、読み出した注目画素の位置に基づいて、静止/動画領域判定部２４に問い合わせて、各画素毎に静止画領域の画素として記憶されているか、動画領域の画素として記憶されているかを照合し、動画領域の画素であった場合、補間メモリ１７−２に記憶されたフィールド内補間部１５により動画素として補間された画素値を挿入し、また、注目画素が静止画領域であった場合、補間メモリ１７−１に記憶されたフィールド間補間部１６により静止画素として補間された画素値を挿入する。
【０１４３】
ここで、図２のフローチャートの説明に戻る。
【０１４４】
ステップＳ７のセレクト処理が終了すると、ステップＳ８において、セレクタ１８は、生成されたプログレッシブ画像を図示せぬ後段の装置に出力する。
【０１４５】
以上においては、イメージリフレッシャ１２は、３タップの垂直フィルタと５タップの水平フィルタを用いた場合について説明してきたが、３タップの垂直フィルタと３タップの水平フィルタを用いるようにしてもよい。また、この場合、例えば、図２１に示すように、垂直フィルタは、（1/4−α/2，α＋1/2，1/4−α/2）となり、図２２に示すように、水平フィルタは、（1/4−α/2，α＋1/2，1/4−α/2）となるようにしてもよい。ここで、水平フィルタは、読み出した５個の画素値に対して１個おきに（例えば、画素ｆ，ｇ，ｈ，ｉ，ｊが順次読込まれたとき、画素ｆ，ｈ，ｊに対して）フィルタ処理を施す。また、３タップの垂直フィルタと５タップの水平フィルタの場合と、３タップの垂直フィルタと３タップの水平フィルタの場合とを、両方使用できるようにして、ユーザにより切替えられるようにしても良い。また、水平フィルタと垂直フィルタは、それ以外の異なるタップ数のものを使用するようにしても良い。また、補間に使用するフィールドデータ、または、画素は、連続するものでなくても良く、例えば、1個毎に使用したり、それ以上の数毎に使用するようにしても良い。
【０１４６】
さらに、未処理画素近傍の近傍エネルギの演算式は、式（８）のほかに、以下の式（１２）を使用するようにしても良く、ユーザにより切替えられるようにしても良い。
【０１４７】
Ｅnear-f＝｜ａ−ｇ｜＋｜ｂ−ｈ｜＋｜ｃ−ｉ｜＋｜ｄ−ｊ｜＋｜ｅ−ｋ｜・・・（１２）
【０１４８】
以上によれば、インタレース画像からプログレッシブ画像に変換する処理において、高域成分の乏しい画像でも正しくエッジを強調させることが可能になると共に、静止画領域の垂直解像度を向上させ、動画領域の斜めエッジを滑らかに補間させることができ、さらに、変換処理時のエラーを抑制させるようにすることが可能となると共に、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別し、正しい補間画素を生成することが可能となる。。
【０１４９】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１５０】
図２３は、画像処理装置をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの動作の全体を制御する。また、CPU１０１は、バス１０４および入出力インターフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、または半導体メモリ１１４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。これにより、上述した画像処理装置の機能が、ソフトウェアにより実現されている。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１５１】
プログラムが記録されている記録媒体は、図２３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フレキシブルディスクを含む）、光ディスク１１２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１１３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１５２】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１５３】
【発明の効果】
本発明の画像処理装置および方法、並びにプログラムによれば、補間する画素が動画領域であるか、または、静止画領域であるかを正確に識別し、正しい補間画素を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置のブロック図である。
【図２】図１の画像処理装置のIP変換処理を説明するフローチャートである。
【図３】１次元垂直エッジ強調処理を説明するフローチャートである。
【図４】１次元垂直フィルタを説明する図である。
【図５】１次元垂直フィルタを説明する図である。
【図６】１次元水平エッジ強調処理を説明するフローチャートである。
【図７】１次元水平フィルタを説明する図である。
【図８】１次元水平フィルタを説明する図である。
【図９】静止/動画領域判定処理を説明するフローチャートである。
【図１０】静止/動画領域判定処理を説明する図である。
【図１１】静止/動画領域判定処理を説明する図である。
【図１２】静止/動画領域判定処理を説明する図である。
【図１３】静止/動画領域判定処理を説明する図である。
【図１４】静止/動画領域判定処理を説明する図である。
【図１５】静止/動画領域判定処理を説明する図である。
【図１６】フィールド間補間処理を説明するフローチャートである。
【図１７】フィールド間補間処理を説明する図である。
【図１８】フィールド内補間処理を説明するフローチャートである。
【図１９】フィールド内補間処理を説明する図である。
【図２０】セレクト処理を説明するフローチャートである。
【図２１】１次元垂直フィルタを説明する図である。
【図２２】１次元水平フィルタを説明する図である。
【図２３】媒体を説明する図である。
【符号の説明】
１１ フィールドメモリ，１２ イメージリフレッシャ，１３ バッファ， １４ フィールドメモリ，１５ フィールド内補間部，１６ フィールド間補間部，１７−１，１７−２ 補間メモリ，１８ セレクタ， １９ LPF， ２０ダウンサンプラ， ２１ フィールドメモリ， ２２ 変動測定部， ２３ 変動データメモリ， ２４ 静止/動画領域判定部
Claims (11)
- インタレース方式の画像をプログレッシブ方式の画像に変換する画像処理装置において、
変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間手段と、
前記変換しようとする前記インタレース方式の画像のフィールドの注目画素と、前記それとは異なるフィールドの画素のうちの、前記注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定手段と、
前記変動測定手段により測定された前記変動と、前記変換しようとする前記インタレース方式の画像のフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間手段と、
前記変動測定手段により測定された前記注目画素の変動の所定の閾値との大小関係、および、前記注目画素の変動と、前記注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素である場合、前記フィールド内補間手段により補間された前記画素を選択し、前記補間されるプログレッシブ方式の画像の画素が静止画素である場合、前記フィールド間補間手段により補間された前記画素を選択する選択手段と、
前記インタレース方式の画像のフィールドを帯域制限する帯域制限手段と、
前記帯域制限手段により帯域制限された、前記インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引き手段とを備え、
前記変動測定手段は、前記間引き手段により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、前記間引き手段により画素数を水平方向に１／２に間引きされたフィールド上の、前記上下に隣接する画素間の中央に位置する画素の画素値の差分を、前記上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、
前記フィールド間補間手段は、
前記変換しようとする画素が、前記間引き手段により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、
前記変換しようとする画素が、前記間引き手段により間引きされた画素の水平方向の位置と同一である場合、前記その上下に存在する画素の平均画素値と、前記変換しようとする画素の左右の画素の変動の平均との差により画素値を補間する
ことを特徴とする画像処理装置。 - 前記変換しようとするインタレース方式の画像のエッジを強調するエッジ強調手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。 - 前記エッジ強調手段は、前記インタレース方式の画像の各画素毎に水平方向、および、垂直方向の１次元フィルタ処理を施し、前記画像のエッジを強調する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記各画素の近傍の画素値から、前記画素の近傍の、垂直方向、および、水平方向の中心画素エネルギを算出する中心画素エネルギ算出手段をさらに備え、
前記エッジ強調手段は、前記中心画素エネルギ算出手段により算出された前記垂直方向、および、水平方向の中心画素エネルギが、所定の値を越えた前記画素に対してフィルタ処理を施す
ことを特徴とする請求項２に記載の画像処理装置。 - 前記変換しようとするインタレース方式の画像のフィールド内に、補間しようとする画素の上下の水平ライン上の、前記画素に点対照な位置の画素同士の相関を検出する相関検出手段をさらに備え、
前記フィールド内補間手段は、前記相関検出手段により検出された相関の最も強い画素同士から前記画素を補間する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記相関検出手段は、前記補間しようとする画素を中心として、点対照な位置同士の画素の画素値の差分の絶対値を相関として検出する
ことを特徴とする請求項５に記載の画像処理装置。 - 前記補間しようとする画素の近傍の画素値から、前記補間しようとする画素の近傍エネルギを算出する近傍エネルギ算出手段をさらに備え、
前記近傍エネルギ算出手段により算出された前記補間しようとする画素の近傍エネルギの値が、所定の閾値より大きい場合、前記フィールド内補間手段は、前記相関検出手段により検出された相関の最も強い画素に基づいて補間を行う
ことを特徴とする請求項５に記載の画像処理装置。 - 前記近傍エネルギは、補間しようとする画素を挟んで、その上下に水平方向に伸びるライン上の所定数の画素のうち、前記ラインに垂直に対向し合う画素の画素値の差分の絶対値の和を取ったものであるか、または、補間しようとする画素を中心として、点対称の位置に存在する画素の画素値の差分の絶対値の和を取ったものである
ことを特徴とする請求項７に記載の画像処理装置。 - インタレース方式の画像をプログレッシブ方式の画像に変換する画像処理装置の画像処理方法において、
変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、
前記変換しようとする前記インタレース方式の画像のフィールドの注目画素と、前記それとは異なるフィールドの画素のうちの、前記注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、
前記変動測定ステップの処理で測定された前記変動と、前記変換しようとする前記インタレース方式の画像のフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、
前記変動測定ステップの処理により測定された前記注目画素の変動の所定の閾値との大小関係、および、前記注目画素の変動と、前記注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、
前記判定ステップの処理での判定結果に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素である場合、前記フィールド内補間ステップの処理により補間された前記画素を選択し、前記補間されるプログレッシブ方式の画像の画素が静止画素である場合、前記フィールド間補間ステップの処理により補間された前記画素を選択する選択ステップと、
前記インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、
前記帯域制限ステップの処理により帯域制限された、前記インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含み、
前記変動測定ステップの処理は、前記間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、前記間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、前記上下に隣接する画素間の中央に位置する画素の画素値の差分を、前記上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、
前記フィールド間補間ステップの処理は、
前記変換しようとする画素が、前記間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、
前記変換しようとする画素が、前記間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、前記その上下に存在する画素の平均画素値と、前記変換しようとする画素の左右の画素の変動の平均との差により画素値を補間する
ことを特徴とする画像処理方法。 - インタレース方式の画像をプログレッシブ方式の画像に変換する画像処理装置を制御するプログラムであって、
変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、
前記変換しようとする前記インタレース方式の画像のフィールドの注目画素と、前記それとは異なるフィールドの画素のうちの、前記注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、
前記変動測定ステップの処理で測定された前記変動と、前記変換しようとする前記インタレース方式の画像のフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、
前記変動測定ステップの処理により測定された前記注目画素の変動の所定の閾値との大小関係、および、前記注目画素の変動と、前記注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、
前記判定ステップの処理での判定結果に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素である場合、前記フィールド内補間ステップの処理により補間された前記画素を選択し、前記補間されるプログレッシブ方式の画像の画素が静止画素である場合、前記フィールド間補間ステップの処理により補間された前記画素を選択する選択ステップと、
前記インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、
前記帯域制限ステップの処理により帯域制限された、前記インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含み、
前記変動測定ステップの処理は、前記間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、前記間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、前記上下に隣接する画素間の中央に位置する画素の画素値の差分を、前記上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、
前記フィールド間補間ステップの処理は、
前記変換しようとする画素が、前記間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、
前記変換しようとする画素が、前記間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、前記その上下に存在する画素の平均画素値と、前記変換しようとする画素の左右の画素の変動の平均との差により画素値を補間する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - インタレース方式の画像をプログレッシブ方式の画像に変換する画像処理装置を制御するコンピュータに、
変換しようとする前記インタレース方式の画像のフィールド内の画素から、前記プログレッシブ方式の画像の画素を補間するフィールド内補間ステップと、
前記変換しようとする前記インタレース方式の画像のフィールドの注目画素と、前記それとは異なるフィールドの画素のうちの、前記注目画素に対して垂直方向、または、水平方向に隣接する２画素の平均画素値との差分から、フィールド間の変動を測定する変動測定ステップと、
前記変動測定ステップの処理で測定された前記変動と、前記変換しようとする前記インタレース方式の画像のフィールドの画素から、前記プログレッシブ方式の画像の画素を補間するフィールド間補間ステップと、
前記変動測定ステップの処理により測定された前記注目画素の変動の所定の閾値との大小関係、および、前記注目画素の変動と、前記注目画素と異なるフィールドであって同位置の画素の変動との乗算結果の正負に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素であるか、または、静止画素であるかを判定する判定ステップと、
前記判定ステップの処理での判定結果に基づいて、前記補間されるプログレッシブ方式の画像の画素が動画素である場合、前記フィールド内補間ステップの処理により補間された前記画素を選択し、前記補間されるプログレッシブ方式の画像の画素が静止画素である場合、前記フィールド間補間ステップの処理により補間された前記画素を選択する選択ステップと、
前記インタレース方式の画像のフィールドを帯域制限する帯域制限ステップと、
前記帯域制限ステップの処理により帯域制限された、前記インタレース方式の画像のフィールドの画素数を水平方向に１／２に間引きする間引きステップとを含む処理を実行させ、
前記変動測定ステップの処理は、前記間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールドの画素の上下に隣接する画素間の平均画素値と、そのフィールドの直前、または、直後の、前記間引きステップの処理により画素数を水平方向に１／２に間引きされたフィールド上の、前記上下に隣接する画素間の中央に位置する画素の画素値の差分を、前記上下に隣接する画素間の中央に位置する画素のフィールド間の変動として測定し、
前記フィールド間補間ステップの処理は、
前記変換しようとする画素が、前記間引きステップの処理により間引きされなかった画素の水平方向の位置と同一である場合、その上下に存在する画素の平均画素値と、変換しようとする画素の変動の１／２倍との差により画素値を補間し、
前記変換しようとする画素が、前記間引きステップの処理により間引きされた画素の水平方向の位置と同一である場合、前記その上下に存在する画素の平均画素値と、前記変換しようとする画素の左右の画素の変動の平均との差により画素値を補間する
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002318277A JP4239063B2 (ja) | 2002-10-31 | 2002-10-31 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002318277A JP4239063B2 (ja) | 2002-10-31 | 2002-10-31 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004153669A JP2004153669A (ja) | 2004-05-27 |
| JP4239063B2 true JP4239063B2 (ja) | 2009-03-18 |
Family
ID=32461445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002318277A Expired - Fee Related JP4239063B2 (ja) | 2002-10-31 | 2002-10-31 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4239063B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008038442A1 (fr) * | 2006-09-26 | 2008-04-03 | Panasonic Corporation | Procédé de conversion ip de signal de différence de couleur |
| JP4855956B2 (ja) * | 2007-01-23 | 2012-01-18 | シャープ株式会社 | 走査線補間装置 |
-
2002
- 2002-10-31 JP JP2002318277A patent/JP4239063B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004153669A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4806849B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| US7379626B2 (en) | Edge adaptive image expansion and enhancement system and method | |
| US6122017A (en) | Method for providing motion-compensated multi-field enhancement of still images from video | |
| KR100335862B1 (ko) | 에지 상관을 사용하여 인터레이스 비디오를 프로그레시브비디오로 변환하는 시스템 | |
| US7362379B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US20050008251A1 (en) | Edge enhancement process and system | |
| US20060115184A1 (en) | Information processing apparatus, information processing method, recording medium, and program | |
| JP4973542B2 (ja) | 画素補間装置及び画素補間方法 | |
| KR20040009967A (ko) | 디인터레이싱장치 및 방법 | |
| JP4659036B2 (ja) | エッジ適応画像拡大強化システム及び方法 | |
| KR100506086B1 (ko) | 영상의 재현 품질 향상 장치 및 그 방법 | |
| KR20050018023A (ko) | 수평 방향 에지의 패턴을 고려한 순차주사화 알고리즘 | |
| KR100611179B1 (ko) | 영상처리장치 | |
| US20090185756A1 (en) | Image processing device and image processing method | |
| KR100422575B1 (ko) | 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법 | |
| JP4239063B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| KR101235488B1 (ko) | 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법 | |
| KR101158847B1 (ko) | 에지맵을 이용한 디인터레이싱 장치 및 방법 | |
| KR100601638B1 (ko) | 디-인터레이싱 방법, 그 장치, 그 비디오 디코더 및 그재생 장치 | |
| JPH09200575A (ja) | 画像データ補間装置 | |
| JP2658625B2 (ja) | 補間信号生成回路 | |
| JP4366836B2 (ja) | 画像変換方法および画像変換装置 | |
| RU2308817C1 (ru) | Способ и устройство масштабирования динамического видеоизображения | |
| KR100552685B1 (ko) | 비월주사 영상을 순차 영상으로 변환하는 방법 및 장치 | |
| KR100382651B1 (ko) | 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081210 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |