JP2004072528A - 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置 - Google Patents

Abstract

【課題】補間ミスの発生を極力抑えることができ、高品質な画像を合成することができる補間処理方法、補間処理プログラムおよびこれを記録した記録媒体を提供する、さらに、前記補間処理方法を用いて画像を処理する画像処理装置およびこれを備えた画像形成装置を提供すること。
【解決手段】補間画素を起点とする補間方向を複数種類定め（ａ４）、補間方向先の双方にそれぞれ位置し、補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を補間方向ごとに抽出する（ａ５）。抽出したブロック対ごとに、２つのブロック間の相関関係を求め（ａ６）、これに基づいて、少なくとも１つの補間方向を選択する（ａ７）。選択した補間方向に基づいて、前記補間画素の画素データを生成する（ａ８）。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を構成する複数の画素の画素データを用いて補間処理を行い、補間画素の画素データを生成する補間処理方法、補間処理プログラムおよびこれを記録した記録媒体に関し、さらに前記補間処理方法によって補間画素の画素データを生成する画像処理装置および前記画像処理装置を備える画像形成装置に関する。
【０００２】
【従来の技術】
補間処理の対象となる画像には、静止画像と動画像とがある。このうち、動画像を出力するビデオテープレコーダや、ビデオ信号に基づいた画像を出力するビデオプリンタの一部には、インターレース走査方式が採用されている。
【０００３】
インターレース走査方式とは、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ：陰極線管）の画像表示方式のひとつであり、人間の視覚特性上の残像効果を利用したものである。この方式によると、動画像は、２枚のフィールドで構成される１枚のフレームが連続することによって映し出される。フィールドとは、飛び越し走査された水平走査線上に並ぶ画素によって構成される画像である。飛び越し走査とは、フィールドの奇数番目の走査線上、あるいは、偶数番目の走査線上のいずれかのみの走査を行うことをいい、１回目の走査によって生じた走査線間の隙間は、２回目の走査によって埋められる。この時間的にずれのある２回の走査によって構成される２枚のフィールドが、視覚特性上の残像効果によって、人間には１枚の画像として認識されるのである。
【０００４】
このようなインターレース走査方式による動画像（以下、「インターレース画像」という。）をＣＲＴ（陰極線管）などの表示装置に表示させる場合、１度に伝送する画素データの量は１フレームの半分の情報量であるので、スムーズな伝送を行うことができる。
【０００５】
インターレース画像を、表示装置に連続的に表示させる場合には特に問題はない。しかしながら、インターレース画像を一時停止させる場合のように、静止画像を表示する場合には問題が生じる。問題とは、２回に分けて伝送される２枚のフィールドを単純に合成して静止画像とすると、たとえば、画像中に表示される被写体が完全に静止していない場合には、フィールド間の時間上のずれによって、画像の連続性が損なわれ、合成された１枚の合成画像にずれが生じることである。この結果、表示される合成画像の品質が低下する。
【０００６】
また、表示装置に連続的に表示させる場合であっても、液晶テレビなどノンインターレース走査方式を採用する表示装置にインターレース画像を表示させる場合には、上述と同様の問題が生じる。なお、ノンインターレース走査方式とは、別名、順次走査方式と呼ばれ、走査線を飛び越さずに走査し、表示する方式である。
【０００７】
そこで、フィールド間の時間上のずれによって生じる画像の不連続性を排除するため、１枚のフィールドのみを用い、フィールド中の走査線間に補間画素の画素データを生成することが考えられる。これによって、画像の不連続性といった画像の劣化を防止することができ、高品質な１枚の画像を合成することができる。
【０００８】
以下、水平走査線間に補間画素の画素データを生成する補間技術について、図８〜図１６を参照して説明する。
【０００９】
図８は、インターレース画像を構成する１枚のフィールドを表す図である。図には、水平走査線上に並ぶ画素の画素データに基づいて表示されたひし形の画像Ｖが示されている。図９は、図８において〇印で示した部分Ｒの拡大図である。図１０〜図１２は、従来の補間技術によって補間されたフィールドの一部分を示す拡大図である。なお、以下の説明において、Ｂ（０）は補間画素とともに、補間画素の画素データを表し、Ａ（ｎ）およびＣ（ｎ）は、補間画素Ｂ（０）の画素データを生成する際に参照される画素を表すとともに、その画素の画素データを表すものとする。なお、画素Ａ（ｎ），Ｃ（ｎ）は、補間画素Ｂ（０）に対して補間走査線に隣接する上下の水平走査線上に並ぶ画素である。ここで、ｎは補間画素Ｂ（０）を基準とした場合の、水平走査線方向の画素の配列位置番号を表している。
【００１０】
従来の補間技術の第１番目としては、図１０に示すように、補間走査線の上に位置する水平走査線上に並ぶ画素の画素データを、そのまま用いる方法である。すなわち、フィールドの奇数番目の走査線１、走査線３、走査線５、…に並ぶ画素の画素データの１つをそのまま補間走査線である偶数番目の走査線２、走査線４、…に並ぶ画素の画素データとする補間処理方法である。なお、補間走査線が奇数番目の走査線である場合には、偶数番目の走査線上に並ぶ画素の画素データを用いて補間処理を行い、補間画素の画素データを生成してもよい。この方法では、
Ｂ（０）＝Ａ（０）
として補間処理を行う。この方法によると、画像の垂直方向の解像度が２分の１となり、斜線などをうまく補間することができず、生成された補間画素の画素データを基に、ギザギザが極めて目立つ、低品質の画像が合成されてしまう。
【００１１】
第２番目の補間技術としては、図１１に示すように、補間走査線の上下に位置する２つの走査線上に並ぶ画素の画素データの平均値を算出する方法である。この方法では、
Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２
として補間処理を行う。この方法によると、補間処理後において画像に生じるギザギザは若干目立たなくなるが、画像のエッジが劣化することによって、画像がぼけてしまう。
【００１２】
さらに、第３番目の補間技術としては、図１２に示すように、画像のエッジの方向に注目し、画素間の連続性を示す相関関係を求め、求めた相関関係に基づいて補間処理を行う方法である。具体的には、補間画素に対する上下方向だけでなく、右上から左下方向、および左上から右下方向の全部で３つの方向に位置する画素対の画素データを用いて、これらの画素対の画素データの差分絶対値を計算することによって相関関係を求める。画素対の画素データの差分絶対値が小さければ、画像の連続性は高く、滑らかであるといえる。したがって、相関関係が大きい部分に位置する画素の画素データから、補間画素の画素データを生成すると、滑らかな画像を得ることができるので、差分絶対値が最小となる方向に位置する画素対を抽出し、これらの画素データの平均値を求め、求めた平均値を補間画素の画素データとして生成する。この方法では、
Ｂ（０）＝（Ａ（−１）＋Ｃ（１））／２
Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２
Ｂ（０）＝（Ａ（１）＋Ｃ（−１））／２
をそれぞれ算出し、算出した３つの画素データＢ（０）のうち、最小値を補間画素の画素データとして生成する。
【００１３】
このように、第３番目の補間技術によって補間処理すると、滑らかな画像を合成することができる。
【００１４】
しかしながら、第３番目の補間技術によっても、すべてのインターレース画像について高品質な画像が合成できるとは限らない。これは、画像には水平に限りなく近い傾斜エッジが存在する場合があり、このような傾斜エッジの検出は、前記の３方向における相関関係を求めるのみでは不十分だからである。
【００１５】
そこで、前述の第３番目の補間技術のように３方向だけでなく、たとえば、５つあるいは７つの方向における画素の相関関係を求めて補間処理を行う補間技術も提案されている。図１３は５方向において相関関係を検出する補間技術を説明するための図であり、図１４は７方向において相関関係を検出する補間技術を説明するための図である。このように、補間処理を行うために相関関係を求める方向を増やすことで、画素間に相関関係がある方向を正確に決定することができる。
【００１６】
しかしながら、これらの補間技術にも問題がある。それは、本来は関連性が低い画素間であるにもかかわらず、関連性が高いと判断されてしまう場合があることである。たとえば、図１４に示す画素Ａ（−３），Ｃ（３）、あるいは、画素Ａ（３），Ｃ（−３）のように、補間画素Ｂ（０）から遠い画素間における画素データは、補間画素の画素データとのデータ的な関連性は低い場合が多い。しかしながら、画素Ａ（−３），Ｃ（３）、あるいは、画素Ａ（３），Ｃ（−３）の画素データがたまたま一致するような場合は、この画素間の相関関係が大きいと判断されてしまう。そして、補間画素の画素データは、画素Ａ（−３），Ｃ（３）の画素データに基づいて生成される。このような場合は、補間画素Ｂ（０）の画素データは、隣接する画素の画素データとは不連続で全く異なる値が設定されてしまうこととなり、極めて目立つノイズとなってしまう。
【００１７】
そこで、このように補間処理がうまくいかず、妥当な画素データの生成が行われない「補間ミス」を低減すべく、改良された技術として、特開平５−１５３５６２号公報には、以下のような補間技術が提案されている。
【００１８】
当該技術において参照される画素は、図１４に示すように７方向に位置する１４個の画素である。この７方向の中から、補間画素の画素データを生成することとなる補間方向を所定の方法で決定している。
【００１９】
まず、図１４に示す画素Ａ（−１），Ｃ（１）、画素Ａ（０），Ｃ（０）、画素Ａ（１），Ｃ（−１）が含まれる領域を第１の領域とし、当該領域における３方向について相関性（相関関係）を判断する。そして、この第１の領域における斜め方向、すなわち、画素Ａ（−１）と画素Ｃ（１）とを結ぶ方向、あるいは、画素Ａ（１）と画素Ｃ（−１）とを結ぶ方向に相関関係があるか否かを判断し、相関関係がある場合には、画素Ａ（０）と画素Ｃ（０）とを結ぶ方向に対してさらに浅い角度を成す方向についても相関関係を判断する。浅い角度を成す方向とは、画素Ａ（１）と画素Ｃ（−１）、画素Ａ（２）と画素Ｃ（−２）および画素Ａ（３）と画素Ｃ（−３）、あるいは、画素Ａ（−１）と画素Ｃ（１）、画素Ａ（−２）と画素Ｃ（２）および画素Ａ（−３）と画素Ｃ（３）とを結ぶ方向である。すなわち、最初の段階で画素Ａ（１）と画素Ｃ（−１）に相関関係があると判断されたならば、画素Ａ（１），Ｃ（−１）、画素Ａ（２），Ｃ（−２）、画素Ａ（３），Ｃ（−３）を含む領域を第２の領域として、各画素間の相関関係を判断する。他方、画素Ａ（−１）と画素Ｃ（１）に相関関係があると判断されたならば、画素Ａ（−１），Ｃ（１）、画素Ａ（−２），Ｃ（２）、画素Ａ（−３），Ｃ（３）を含む領域を第３の領域として、各画素間の相関関係を判断し、最も相関関係が大きいものを補間方向として決定し、決定した補間方向に基づいて補間画素の画素データを生成している。
【００２０】
他の補間技術として、特開２０００−４４４９号公報に開示の補間技術がある。当該技術において参照される画素は、図１３に示すように５方向に位置する１０個の画素である。この５方向の中から、補間画素の画素データを生成することとなる補間方向を所定の方法で決定している。図１３に示すように、一方のフィールドの画素間の相関関係をＡ番目の水平走査線上に並ぶ各画素の画素データＡ（−２）〜Ａ（２）とＣ番目の水平走査線上に並び、Ａ番目の前述の画素に対応する画素の画素データＣ（−２）〜Ｃ（２）との差に基づき、各方向の相関関係を評価し、５方向のうち、相関評価指数の値が最も小さい方向を補間軸として定めている。なお、高域成分が最も多く含まれている画素成分に基づいて上下の水平走査線上に並ぶ所定画素の相関関係を評価して、補間軸を決定する技術、均等色空間の座標値に基づいて上下の水平走査線上に並ぶ所定画素の相関関係を評価して補間軸を決定する方法についても示されている。
【００２１】
【発明が解決しようとする課題】
前述の補間技術によれば、いずれの技術を用いても補間処理が必ずしも正確に行われない場合があり、結果として、生成された補間画素の画素データから成る画像には、本来滑らかな輪郭線であるべき部分に凹凸が発生したり、ノイズが目についたりする補間ミスが発生するといった問題がある。このような補間ミスが発生するのは、画像のエッジが常に、デジタル化された画像中の画素に沿って存在しているわけではないからである。
【００２２】
図１５は、画像のエッジとなる部分がデジタル化された画像中の画素の配列方向に沿って存在しない例を示す図である。図のように、エッジを示す直線Ｌは、画素Ａ（０）と画素Ａ（１）との境界部分から画素Ｃ（−１）と画素Ｃ（０）との境界部分を横切って存在している。画素Ａ（０），Ａ（１），Ｃ（−１），Ｃ（０）の画素データはそれぞれ、５、５、６、３であり、画素Ａ（３），Ｃ（−３）の画素データは、両者とも「Ｘ」であって、同じ値である。なお、「Ｘ」は、他の画素の画素データとの相関は低いものとする。このような画像は、印刷などと比べ、解像度があまり高くない画像、たとえば、インターレース走査方式を採用するＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｃｏｍｍｉｔｔｅｅ　Ｓｙｓｔｅｍ）方式によるテレビの画像を、デジタル化した画像として取り扱う場合に十分生じ得る。
【００２３】
図１５に示す画像において、前述の第１〜第３番目の補間技術によって、補間画素Ｂ（０）の画素データを生成する場合、補間処理は正確に行われない。すなわち、画素Ａ（０）と画素Ｃ（０）との差分絶対値は２であり、画素Ａ（１）と画素Ｃ（−１）との差分絶対値は１であるのに対して、画素Ａ（３）と画素Ｃ（−３）との差分絶対値は０であるため、差分絶対値が一番小さい画素Ａ（３）と画素Ｃ（−３）との相関関係が一番大きいものと判定されるからである。結果的に、相関関係が必ずしも大きくない画素Ａ（３）と画素Ｃ（−３）との画素データの平均値が補間画素Ｂ（０）の画素データとして生成されるため、補間画像の品質が低下する。
【００２４】
また、前述の特開平５−１５３５６２号公報に開示の技術によっても、当該画像の補間処理は正確に行われない。第１の領域の判定によって斜め方向に相関関係があるとされると、第２の領域の判定がなされ、最終的に、画素Ａ（３）と画素Ｃ（−３）を結ぶ方向が相関関係が大きいと判断されるので、同様の問題を有している。また、特開２０００−４４４９号公報に開示の技術を用いても同様に補間ミスが生じる。
【００２５】
さらに、前述とは逆の場合、すなわち、画素Ａ（３），Ｃ（−３）の画素データを用いて補間処理を行うのが正しい場合でも、補間ミスは生じる。
【００２６】
特開平５−１５３５６２号公報に開示の技術によると、次のような補間ミスが生じる。図１６は、図１５の画像を第１、第２および第３の領域に区切った図である。当該技術では、まず、図に示す画素Ａ（０），Ｃ（０）、画素Ａ（−１），Ｃ（１）、画素Ａ（１），Ｃ（−１）とから成る第１の領域における３方向の相関関係が求められるが、画素Ａ（−１），Ｃ（１）、画素Ａ（１），Ｃ（−１）において、相関関係が大きいと判断されない場合、たとえば、画素Ａ（−１）と画素Ｃ（１）との差分絶対値が１の場合には、画素Ａ（１）と画素Ｃ（−１）との差分絶対値と同じ値であるため、相関関係を示す方向はいずれでもないと判定される。したがって、この場合、次の判定ステップとしての第２および第３の領域における相関関係は判定されないため、画素Ａ（−３）と画素Ｃ（３）とを結ぶ方向、すなわち、浅い角度のエッジが検出されないことになる。したがって、画素Ａ（−３）と画素Ｃ（３）とを結ぶ方向のように、相関関係が最も大きい方向があっても、補間画素データの生成には用いられない場合が生じるのである。
【００２７】
また、別の問題として、前述の補間技術によると、１枚のフィールドのみを用いて１枚のフレームを合成しているため、補間が正しく行われても、所定の部分については画像が劣化してしまう場合がある。これは、フィールド間において、画像に時間的なずれがない部分についても補間処理を行うからである。すなわち、フィールド間で画素データの変動がほとんどなく、画像に動きの無いとされる部分は、他方のフィールドの画素の画素データをそのまま用いれば足りるところ、線形補間などの補間処理を行うために、画像がぼけてしまうからである。
【００２８】
本発明の目的は、補間ミスの発生を極力抑えることができ、高品質な画像を合成することができる補間処理方法、補間処理プログラムおよびこれを記録した記録媒体を提供することであり、さらに、前記補間処理方法を用いて画像を処理する画像処理装置およびこれを備えた画像形成装置を提供することである。
【００２９】
【課題を解決するための手段】
本発明は、複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理方法において、
前記補間画素を起点として双方向に向いた補間方向を複数種類定め、
同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記補間方向ごとに抽出し、
抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
求めた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択し、
選択した補間方向に関して前記補間画素を起点としたときに当該補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法である。
【００３０】
また本発明は、複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理部を備える画像処理装置において、
前記補間画素を起点として双方向に向いた補間方向を複数種類定める補間方向設定手段と、
同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記複数種類の補間方向ごとに抽出する抽出手段と、
前記抽出手段によって抽出されたブロック対ごとに、２つのブロック間の相関関係を求める相関関係導出手段と、
前記相関関係導出手段によって求められた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択する選択手段と、
前記選択手段によって選択された補間方向に関して前記補間画素を起点としたときに前記補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成する画素データ生成手段とを含むことを特徴とする画像処理装置である。
【００３１】
本発明に従えば、補間画素を起点として双方向に向いた複数種類の補間方向が定められる。これらの補間方向先に位置し、補間画素を対称点として互いに点対称の位置関係にある２つのブロックがブロック対として複数組抽出され、ブロック対ごとにブロック間の相関関係が求められる。この相関関係に基づいて、複数種類の補間方向の中から少なくとも１つの補間方向が選択される。そして、選択された補間方向に関し、補間画素を起点としたときに、補間方向先の双方にそれぞれ位置する画素が選択される。選択された画素の画素データに基づいて、補間画素の画素データが生成される。
【００３２】
このように、ブロック間の相関関係は、ブロック内の複数の画素を用いて求めることができるので、単純に１対の画素間で求める場合に比べると、信頼性の高い相関関係を求めることができる。したがって、信頼性の高い相関関係に基づいて、信頼性の高い補間方向を選択することができるので、精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【００３３】
また本発明は、複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理方法において、
同じ数の画素から成る２つのブロックであって、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を複数組抽出し、
抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
求めた相関関係に基づいて、前記複数組のブロック対の中から少なくとも１つのブロック対を選択し、選択したブロック対の２つのブロック間の相関方向を求め、求めた相関方向を補間方向として定め、
定めた補間方向に関して前記補間画素を起点としたときに当該補間方向先に位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法である。
【００３４】
本発明に従えば、補間画素を対称点として互いに点対称の位置関係にある２つのブロックが、１つのブロック対として複数組抽出され、複数組のブロック対ごとにブロック間の相関関係が求められる。この相関関係に基づいて、複数組のブロック対の中から、少なくとも１つのブロック対が選択され、選択されたブロック対の２つのブロック間の相関関係に基づいて、複数組のブロック対の中から少なくとも１つのブロック対が選択される。選択されたブロック対の２つのブロック間の相関方向が求められ、この相関方向は補間方向として定められる。そして、定められた補間方向に関し、補間画素を起点としたときに、補間方向先に位置する画素が選択され、選択された画素の画素データに基づいて、補間画素の画素データが生成される。
【００３５】
このように、ブロック間の相関関係は、ブロック内の複数の画素を用いて求めることができるので、単純に１対の画素間で求める場合に比べると、信頼性の高い相関関係を求めることができる。したがって、信頼性の高い相関関係に基づいて、信頼性の高い補間方向を選択することができるので、精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【００３６】
また本発明は、インターレース走査によって得られた１フィールドの画像に対して当該フィールドの水平走査線間に設定される補間走査線上に設定された補間画素の画素データを、前記水平走査線上に並ぶ複数の画素の画素データを用いて生成する補間処理方法において、
前記補間画素を起点として双方向に向いた補間方向を複数種類定め、
前記補間画素が設定されている補間走査線を挟む２つの水平走査線上にそれぞれ並ぶ同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記補間方向ごとに抽出し、
抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
求めた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択し、
選択した補間方向に関して前記補間画素を起点としたときに前記選択した補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法である。
【００３７】
本発明に従えば、まず、フィールドの水平走査線間に設定される補間走査線上に並ぶ補間画素を起点として双方向に向いた複数種類の補間方向が定められる。補間走査線を挟む２つの水平走査線上に並ぶ２つのブロックであって、定められた補間方向先に位置し、補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対が複数組抽出される。抽出されたブロック対ごとにブロック間の相関関係が求められ、求められた相関関係に基づいて、少なくとも１つの方向が補間方向として選択される。そして、選択された補間方向に関し補間画素が起点とされたときに、補間方向先に位置する画素が選択され、この選択された画素の画素データに基づいて、補間画素の画素データが生成される。
【００３８】
このように、ブロック間の相関関係は、ブロック内の複数の画素を用いて求めることができるので、単純に１対の画素間で求める場合に比べると、信頼性の高い相関関係を求めることができる。したがって、信頼性の高い相関関係に基づいて、信頼性の高い補間方向を選択することができるので、精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【００３９】
また本発明は、前記２つのブロック間の相関関係は、
前記２つのブロックの画素の中から、前記補間画素を対称点として互いに点対称の位置関係にある画素対のうち、少なくとも１組の画素対を基準画素対として定め、前記基準画素対以外の画素を補助画素とし、
前記基準画素対の画素データの差分絶対値を算出するとともに、２つのブロック間で相互に対応関係にある補助画素間の画素データの差分絶対値を算出し、
算出した各差分絶対値に基づいて求めることを特徴とする。
【００４０】
本発明に従えば、２つのブロック間の相関関係は、補間画素を対称点として互いに点対称の位置関係にある基準画素対の画素データの差分絶対値と、基準画素以外の補助画素間の画素データの差分絶対値を算出する。
【００４１】
このように、基準画素間の相関関係を基準とし、さらに、補助画素間の相関関係を求めるので、１の画素間で相関関係を求める場合と比べると、ブロック間の相関関係の信頼性を、複数の補助画素間の相関関係によって高めることができる。
【００４２】
また本発明は、補助画素間の画素データの差分絶対値を算出するときは、補助画素間を結んで成る線分が、前記基準画素間を結んで成る線分とほぼ平行となるような補助画素間について画素データの差分絶対値を算出することを特徴とする。
【００４３】
本発明に従えば、基準画素間を結んで成る線分が、補助画素間を結んで成る線分にほぼ平行となるような補助画素間の画素データの差分絶対値を算出する。このように、補助画素間を結ぶ線分が基準画素を結ぶ線分とほぼ平行となるような補助画素を選んで相関関係を求めるので、基準画素間の相関関係に対応した相関関係を求めることができる。
【００４４】
また本発明は、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択するときは、前記複数種類の補間方向を近似する方向ごとにグループ分けし、各グループの中でその補間方向先の双方に位置する画素間の相関関係が最も大きい補間方向を抽出し、各グループから抽出された補間方向の相関関係を比較して補間方向を選択することを特徴とする。
【００４５】
本発明に従えば、少なくとも１つの補間方向が選択されるときは、複数の補間方向が近似する方向ごとにグループ分けされ、各グループの中でその補間方向先の双方に位置する画素間の相関関係が最も大きい補間方向が抽出される。各グループから抽出された補間方向の相関関係が比較されて、補間方向が選択される。
【００４６】
このように、補間方向の選択には、近似する方向ごとにグループ分けされた各グループから１つの補間方向を抽出し、抽出した補間方向を比較し、抽出した補間方向の関係によって、１つの補間方向を選択するので、複数の補間方向の中から相関関係が一番大きいものを単純に選択する場合に比べて、相関方向に基づいた正確な補間方向を選択することができる。
【００４７】
また本発明は、補間処理対象のフィールドとこのフィールドと１フレームを構成する対応フィールドとの間の相関関係を求め、求めた相関関係が予め定める関係である場合は、前記補間方向の選択を行わずに、前記対応フィールドにおける前記補間画素に対応する画素の画素データを補間画素の画素データとして生成することを特徴とする。
【００４８】
本発明に従えば、まず、補間処理対象のフィールドと、このフィールドと１フレームを構成する対応フィールドとの間の相関関係が求められる。求めたフィールド間の相関関係が予め定める関係となる場合には、補間方向の選択は行われない。この場合、対応フィールドにおける補間画素に対応する画素の画素データが補間画素の画素データとして生成される。
【００４９】
このように、フィールド間の相関関係が大きく、予め定める関係となる場合、たとえば、フィールド間に画像の動きがない場合には、無理に補間処理を行わなくとも、対応フィールドの画素データをそのまま用いることで、もとの画像により近い画像を再現することができるので、画像の劣化を防止することができる。
【００５０】
また本発明は、前記補間画素の画素データを生成した後、前記補間画素の画素データと前記補間画素の周囲に位置する所定の複数画素の画素データとを比較して、生成した前記補間画素の画素データに誤りが生じているか否かを判定し、誤りが生じている場合には、所定の画素の画素データを用いて新たな画素データを生成し、生成した新たな画素データを前記補間画素の画素データとして置き換えることを特徴とする。
【００５１】
本発明に従えば、補間画素の画素データを生成した後に、当該画素データの値の妥当性を検証すべく、補間画素の画素データと補間画素の周囲に位置する所定の複数画素の画素データとが比較され、生成した補間画素の画素データに誤りが生じているか否かが判定される。画素データの誤りとは、たとえば、生成した画素データが孤立点状態となっている場合が挙げられる。生成した補間画素の画素データに誤りが生じている場合には、所定の画素の画素データが用いられて新たな画素データが生成される。そして、この生成された新たな画素データが補間画素の画素データとして置き換えられる。
【００５２】
このように、補間画素の画素データを生成した後、生成した画素データに誤りが生じていれば、再補間処理を行うことによって、より正確な画素データを生成することができる。したがって、補間ミスの発生をさらに抑えることができる。
【００５３】
また本発明は、前記画素データは、輝度値であることを特徴とする。
本発明に従えば、補間処理には輝度値を用いるので、モノクロおよびカラー画像の双方の画像の補間処理に対応することができる。
【００５４】
また本発明は、コンピュータに上記の補間処理方法を実行させるための補間処理プログラムである。
本発明に従えば、補間処理をコンピュータに実行させることができる。
【００５５】
また本発明は、上記の補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００５６】
本発明に従えば、補間処理方法を実行する補間処理プログラムをコンピュータに容易に供給することができる。
【００５７】
また本発明は、上記の画像処理装置を備え、前記画像処理装置によって補間処理が施された画像データに基づいて画像を形成し、出力することを特徴とする画像形成装置である。
【００５８】
本発明に従えば、前述の画像処理装置によって生成された補間画素の画素データを用いて成る高画質の画像を出力することができる。
【００５９】
【発明の実施の形態】
［第１実施形態］
図１は、本発明の実施の一形態である補間処理方法の処理手順を示すフローチャートである。本発明の補間処理方法の対象となる画像は、特に、インターレース走査方式による画像（「インターレース画像」）であり、インターレース画像は、２枚のフィールドから１枚のフレームが構成される。なお、以下の説明における画素データの例としては、輝度値が挙げられるが、輝度値のみならず、色の値を示す色差などの画素データであってもよい。
【００６０】
インターレース画像を、一時停止させて静止画像として表示させる場合、あるいは、液晶テレビなどのノンインターレース走査方式を採用する表示装置に表示させる場合、以下のような補間処理を行う。
【００６１】
まず、フィールドを構成する画素の画素データが入力され、ステップａ１では、補間処理が開始される。画素データの入力は、１画素ごと、１走査線ごと、１プレーンごとなど、どのような入力でも構わない。ここにいうプレーンとは、色成分ごとの画素データをいう。補間画素に対する所定の周囲画素の画素データが入力された時点で、次の処理が開始される。それまでは、随時画素データの入力が行われる。
【００６２】
ステップａ２では、画像ノイズ部分の抽出が行われる。画像ノイズ部分とは、フリッカノイズから成るノイズ部分をいう。被写体に動きがあると、２つのフィールド間での被写体像のずれが生じるが、このずれが生じている２つのフィールドの画素の画素データを基に画像を合成すると、画像上では１走査線おきのずれとなり、ノイズとなって現れる。このノイズがフリッカノイズである。このように、被写体に動きがある場合、合成された画像の画質は劣悪となってしまうため、まず、このフリッカノイズが画像のいずれの部分に存在するのかを抽出する必要がある。
【００６３】
図２は、画像ノイズ部分を抽出する抽出処理を説明するための図である。抽出処理には、補間画素Ｂ（０）の上下２本の水平走査線上に並ぶ画素の画素データであって、補間画素Ｂ（０）の垂直方向に位置する各２画素の画素データが参照される。図では、上部２本の水平走査線上に並ぶ画素Ａ（０），Ｄ（０）の画素データと、下部２本の水平走査線上に並ぶ画素Ｃ（０），Ｅ（０）の画素データが参照されている。
【００６４】
なお、ここにいう補間画素Ｂ（０）とは、補間画素の画素データが生成される補間処理対象のフィールドに対応するフィールド、すなわち、補間処理対象のフィールドと１フレームを構成するフィールド上の画素であって、当該画素は、補間画素に対応する位置にある。なお、以下の説明では、画素を示す参照符号「Ｂ（０）」などは、画素を表すとともに、その画素の画素データを表すものとする。
【００６５】
まず、参照する画素の画素データから、補間画素Ｂ（０）と画素Ｄ（０）との画素データの差分絶対値、すなわち、｜Ｄ（０）−Ｂ（０）｜を算出するとともに、補間画素Ｂ（０）と画素Ｅ（０）との画素データの差分絶対値、すなわち、｜Ｅ（０）−Ｂ（０）｜を算出する。算出結果のうち、小さい値を選択する。さらに、画素Ａ（０）と画素Ｃ（０）との画素データの差分絶対値、すなわち、｜Ａ（０）−Ｃ（０）｜を算出し、先に選択した小さい値と比較する。この２つの値のうち、大きい値をＤ１とする。
【００６６】
次に、補間画素Ｂ（０）の画素データを生成しようとするフィールドにおいて、＋１／４画素分だけずれた位置の画素データを以下の式（１）によって算出する。
Ｓ１＝Ｂ（０）×３＋Ｅ（０）　　　　　　　　　　　　　　　…（１）
【００６７】
同様に、もう一方のフィールドにおいて、＋１／４画素分だけずれた位置の画素データを以下の式（２）によって算出する。
Ｓ２＝Ａ（０）＋Ｃ（０）×３　　　　　　　　　　　　　　　…（２）
【００６８】
そして、式（１）および（２）の算出結果の差分絶対値、｜Ｓ１−Ｓ２｜を算出する。さらに、｜Ｓ１−Ｓ２｜と、Ｄ１にある定数値を掛けた値を比較することで、画像ノイズ部分であるか否かを判定する。｜Ｓ１−Ｓ２｜の方が、Ｄ１にある定数値を掛けた値よりも大きければ、補間画素Ｂ（０）は、画像ノイズ部分であるとする。逆に、｜Ｓ１−Ｓ２｜の方が小さければ、両フィールドで、さらに、−１／４画素分だけずれた位置の画素データを算出することによって、画像ノイズ部分であるか否かの判定を続ける。なお、補間画素Ｂ（０）が画像ノイズ部分であると判定された場合でも、補間処理の正確性を高めるため、両フィールドで、さらに、−１／４画素分だけずれた位置の画素データの算出を行ってもよい。
【００６９】
補間画素Ｂ（０）の画素データを生成しようとするフィールドにおいて、−１／４だけずれた位置の画素データを算出するため、以下の式（３）を計算する。
Ｓ３＝Ｂ（０）×３＋Ｄ（０）　　　　　　　　　　　　　　　…（３）
【００７０】
同様に、もう一方のフィールドにおいて、−１／４画素分だけずれた位置の画素データを算出するため、以下の式（４）を計算する。
Ｓ４＝Ｃ（０）＋Ａ（０）×３　　　　　　　　　　　　　　　…（４）
【００７１】
そして、式（３）および（４）の算出結果の差分絶対値、｜Ｓ３−Ｓ４｜を算出し、｜Ｓ３−Ｓ４｜と、Ｄ１にある定数値を掛けた値を比較する。｜Ｓ３−Ｓ４｜とＤ１との関係から、Ｄ１にある定数値を掛けた値よりも｜Ｓ３−Ｓ４｜の方が、Ｄ１にある定数値を掛けた値よりも大きければ、補間画素Ｂ（０）は、画像ノイズ部分であると判定する。逆に、｜Ｓ３−Ｓ４｜の方が小さければ、画像ノイズ部分ではないと判定する。
【００７２】
以上のように、フィールド間の相関関係を画素データの差に基づいて求めることで、画像ノイズ部分を抽出することができる。これは、フィールド間の画素データの変化が大きければ、相関関係が低いものであり、画像ノイズ部分である可能性が大きいということに基づく。
【００７３】
ステップａ３では、ステップａ２における判定結果に基づいて、画像ノイズ部分であるか否かが判断される。画像ノイズ部分であると判断された場合にはステップａ４に進み、画像ノイズ部分でないと判断された場合にはステップａ９に進む。
【００７４】
ステップａ９では、補間走査線が設定されるフィールドに対応する対応フィールドの画素データが抽出され、この画素データをそのまま補間画素の画素データとして生成する。すなわち、補間画素が画像ノイズ部分でないと判定されると、補間画素の画素データとして、対応フィールドの画素データをそのまま用いるのである。
【００７５】
ステップａ４では、補間方向が複数設定される。補間方向は、補間画素Ｂ（０）を起点として双方向に向いた複数種類の方向である。
【００７６】
図３は、補間画素Ｂ（０）の補間処理の際に参照する画素を表した図である。図中の、補間画素Ｂ（０）を含む左右方向（水平方向）１列の走査線が補間走査線である。補間走査線上に並ぶ補間画素の補間処理に参照される画素は、補間走査線を挟む走査線であって、補間走査線の上下に位置する水平走査線上に並んでいる画素である。すなわち、画素Ａ（ｎ）および画素Ｃ（ｎ）（ｎは整数）である。
【００７７】
補間画素Ｂ（０）に対する補間方向は、画素Ａ（−３）とＣ（３）間、画素Ａ（−２）とＣ（２）間、画素Ａ（−１）とＣ（１）間、画素Ａ（０）とＣ（０）間、画素Ａ（１）とＣ（−１）間、画素Ａ（２）とＣ（−２）間、画素Ａ（３）とＣ（−３）間を結ぶ線分上の７方向である。
【００７８】
ステップａ５では、ブロック対が補間方向ごとに抽出される。ブロック対を構成する２つのブロックは、補間走査線の上下の水平走査線上に並ぶ同じ数の画素から成る。ここでは、１のブロックの構成画素は３画素であり、これら３画素は水平方向に連続して並んでいる。２つのブロックの位置関係は、補間画素を対象点として互いに点対称となっている。
【００７９】
具体的には図３を参照して、たとえば補間方向が、画素Ａ（−３）とＣ（３）間を結ぶ線分上の方向であるとすると、ブロック対は、画素Ａ（−４），Ａ（−３），Ａ（−２）の３画素で構成されるブロックと、画素Ｃ（２），Ｃ（３），Ｃ（４）の３画素で構成されるブロックとから成る。補間方向は７方向であるので、他の６つのブロック対は、
画素Ａ（−３），Ａ（−２），Ａ（−１）のブロックと画素Ｃ（１），Ｃ（２），Ｃ（３）のブロックとから成るブロック対、
画素Ａ（−２），Ａ（−１），Ａ（０）のブロックと画素Ｃ（０），Ｃ（１），Ｃ（２）のブロックとから成るブロック対、
画素Ａ（−１），Ａ（０），Ａ（１）のブロックと画素Ｃ（−１），Ｃ（０），Ｃ（１）のブロックとから成るブロック対、
画素Ａ（０），Ａ（１），Ａ（２）のブロックと画素Ｃ（−２），Ｃ（−１），Ｃ（０）までのブロックとから成るブロック対、
画素Ａ（１），Ａ（２），Ａ（３）までのブロックと画素Ｃ（−３），Ｃ（−２），Ｃ（−１）のブロックとから成るブロック対、
画素Ａ（２），Ａ（３），Ａ（４）のブロックと画素Ｃ（−４），Ｃ（−３），Ｃ（−２）のブロックから成るブロック対である。
【００８０】
ステップａ６では、ブロック対ごとの相関関係を求めるため、各ブロック対におけるブロック間の相関値が算出される。相関値とは、相関関係を数値で表したものである。具体的には、１のブロックの画素と当該画素に対応する他方のブロックの画素との画素データの差分絶対値をそれぞれ算出し、算出した差分絶対値の総和を算出する。そして、算出した総和に所定の重み係数を掛けることによって、ブロックの相関値とする。
【００８１】
図３を用いて説明する。たとえば、画素Ａ（−４）〜Ａ（−２）までのブロックと、それに対応する画素Ｃ（２）〜Ｃ（４）までのブロックでは、ブロック対を構成する２つのブロック間において、画素間の画素データの差分絶対値が算出される。すなわち、画素Ａ（−４）とＣ（２）、画素Ａ（−３）とＣ（３）、画素Ａ（−２）とＣ（４）のそれぞれの差分絶対値が算出され、算出された差分絶対値の総和が求められる。この総和に対し、所定の重み係数が掛けられる。他の６個のブロック対についても、同様に相関値を算出する。この２つのブロックにおいては、補間方向が画素Ａ（−３）とＣ（３）間を結ぶ線分上の方向であるので、画素Ａ（−３）とＣ（３）の１組の画素対が基準画素対として定め、この基準画素対以外の画素、すなわち、画素Ａ（−４），Ａ（−２），画素Ｃ（２），Ｃ（４）を補助画素として定める。
【００８２】
ここで、相関値の算出に用いる画素の組み合わせを、前述のように設定すると、当該画素間を結んで成る線分は、他の線分とほぼ平行となる。すなわち、画素Ａ（−４）とＣ（２）、画素Ａ（−３）とＣ（３）、画素Ａ（−２）とＣ（４）とを結ぶ線分は、ほぼ平行である。このように、画素間を結ぶ各線分が互いにほぼ平行となるため、算出される相関値は互いに対応がとれていることになる。これによって、相関値の信頼性を高めることができる。
【００８３】
ステップａ７では、補間方向が選択される。算出した７つの相関値のうち、最小の相関値に基づいて、補間方向を選択する。具体的には、補間画素Ｂ（０）を対称点として左上方向と右下方向との位置関係にある補間方向を第１のグループとし、右上方向と左下方向との位置関係にある補間方向を第２のグループとしてグループ分けし、各グループにおいて相関値が最小となる補間方向を選択し、選択した補間方向に基づいて１の補間方向を選択する。なお、上下方向は、両方のグループに含めるものとする。
【００８４】
すなわち、画素Ａ（−３）とＣ（３）間、画素Ａ（−２）とＣ（２）間、画素Ａ（−１）とＣ（１）間、画素Ａ（０）とＣ（０）間の補間方向を第１のグループとし、画素Ａ（０）とＣ（０）間、画素Ａ（１）とＣ（−１）間、画素Ａ（２）とＣ（−２）間、画素Ａ（３）とＣ（−３）間上を通る補間方向を第２のグループとする。そして、第１のグループにおいて、相関値が最小となる補間方向と、第２のグループにおいて、相関値が最小となる補間方向とを選択する。選択された２つの補間方向から、次の条件に基づいて、最終的な補間方向を決定する。
【００８５】
選択された２つの補間方向が、双方とも画素Ａ（０）とＣ（０）間上を通る補間方向である場合、あるいは、双方とも画素Ａ（０）とＣ（０）間上を通る補間方向でない場合は、画素Ａ（０）とＣ（０）間上を通る補間方向を補間方向として選択する。
【００８６】
これに対し、選択された２つの補間方向のいずれか一方が、画素Ａ（０）とＣ（０）間上を通る補間方向である場合は、画素Ａ（０）とＣ（０）間上を通る補間方向ではない他方の方向を、補間方向として選択する。
【００８７】
ステップａ８では、補間処理が行われる。具体的には、選択された補間方向先の双方にそれぞれ位置する２つ画素を選択し、選択した画素の画素データに基づいて、線形補間処理を行う。
【００８８】
ステップａ１０では、前述のステップａ２〜ａ９の処理が、１の補間走査線について終了したか否かが判断される。処理が終了したと判断された場合にはステップａ１１に進み、処理が終了していないと判断された場合にはステップａ１５に進む。ステップａ１５では、次の補間画素へと対象を移動させる。たとえば、１の補間走査線についての補間処理を、補間画素を１画素ずつ、ずらしながら行う場合は、次の対象となる補間画素は、補間処理が終了した画素の右へ１画素ずれた画素となる。
【００８９】
ステップａ１１では、生成された補間画素の画素データの正当性が評価される。具体的には、対象となる補間画素の周囲に位置する画素であって、対象補間画素を中心とする縦、横、右斜めおよび左斜めの４方向に位置する画素の画素データと、対象補間画素の画素データとを比較し、対象補間画素の画素データが全方向に対して一定値以上の値となるか否かによって評価する。なお、横方向に位置する画素とは、対象補間画素に隣接する補間画素である。対象補間画素の画素データが全方向に対して一定値以上の値となっている場合には、対象補間画素の画素データは正当でないと判断され、一定値より小さい値と成っている場合には、対象補間画素の画素データは正当であると判断される。
【００９０】
ステップａ１２で補間画素の画素データが正当であると判断された場合にはステップａ１４に進み、正当でないと判断された場合にはステップａ１３に進む。ステップａ１３では、再補間処理が行われる。再補間処理には、補間画素の上下に位置する画素の画素データが用いられ、線形補間処理がされる。すなわち、補間画素Ｂ（０）の再補間処理には、画素Ａ（０），Ｃ（０）の画素データが用いられることになる。
【００９１】
この正当性評価は、画像ノイズ部分と判定されて補間処理された補間画素に対して、必ず行われる。なぜなら、補間方向の選択の際に、たまたま条件に合致したために、実際の画像には適合しない補間画素の画素データを生成してしまう場合があり、正確でない補間方向が選択されるということが生じ得るからである。これは、補間処理に参照される画素の範囲が限定されていることによるものである。このことから、正確でない補間方向に基づいて補間処理するよりは、補間画素の上下に位置し、最近傍である画素の画素データを用いて補間処理を行うことで、妥当でない補間画素の画素データが生成されるのを防止することができる。
【００９２】
ステップａ１４では、前述のステップａ１１〜ａ１３の処理が１の補間走査線について終了したか否かが判断される。１の補間走査線について、処理が終了した場合にはステップａ１７に進み、補間処理を終了させる。処理が終了していない場合にはステップａ１６に進む。ステップａ１６では、補間処理対象を次の補間画素へと移動させる。
【００９３】
１の補間走査線における補間処理が終了したならば、次の補間走査線が補間処理の対象となり、当該補間走査線上の補間画素について補間処理が行われる。
【００９４】
以上のように、相関関係を示す相関値は、ブロック内の複数の画素を用いて求められるので、単純に１対の画素間で求める場合に比べると、相関値の信頼性が高まる。したがって、この信頼性の高い相関値に基づいて、正確な補間方向を選択することができ、正確な補間方向に基づく精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【００９５】
次に、前述の補間処理に関し、具体的な数値を用いて説明する。図４は、補間画素Ｂ（０）と、その補間処理の際に参照される周囲の画素とを示した図である。図中の数値は、画素データを表しており、図では１０進数で示しているが、実際には８ビットデータであり、０〜２５５の値をとる。なお、補間画素Ｂ（０）を含む補間走査線上に並ぶ画素、画素Ｄ（０），Ｅ（０）が存在するフィールドと、画素Ａ（ｎ），Ｃ（ｎ）が存在するフィールドとは、実際には異なるフィールドであるが、便宜上、１つの図で示している。
【００９６】
まず、画像ノイズ部分の抽出を行う（ステップａ２）。補間画素Ｂ（０）に対して上下２画素ずつ、すなわち、上側の画素Ａ（０）および画素Ｄ（０）と、下側の画素Ｃ（０）および画素Ｅ（０）との４画素を参照する。
【００９７】
まず、参照する画素の画素データから、補間画素Ｂ（０）と画素Ｄ（０）および画素Ｅ（０）との画素データの差分絶対値を算出する。
｜Ｄ（０）−Ｂ（０）｜＝｜２−１｜＝１
｜Ｅ（０）−Ｂ（０）｜＝｜０−１｜＝１
【００９８】
ここで、どちらか小さい方を選択するが、ここでは同じ値なので、仮に最初の値を選択することとする。さらに、画素Ａ（０）と画素Ｃ（０）との画素データの差分絶対値を算出する。
｜Ａ（０）−Ｃ（０）｜＝｜５−３｜＝２
【００９９】
算出した２つの値のうち、大きい値をＤ１とする。
Ｄ１＝２
【０１００】
次に、補間画素Ｂ（０）の画素データを生成しようとするフィールドおよびもう一方のフィールドにおいて、それぞれ、＋１／４画素分だけずれた位置の画素データを算出する。
Ｓ１＝Ｂ（０）×３＋Ｅ（０）＝１×３＋０＝３
Ｓ２＝Ａ（０）＋Ｃ（０）×３＝５＋３×３＝１４
【０１０１】
Ｓ１とＳ２との差分絶対値と、Ｄ１にある定数を掛けた値とを比較することで、画像ノイズ部分であるか否かを判定する。ここでは、ある定数として５を用いる。なお、この定数は、複数の画像に対し、実験的に任意の定数を設定して補間処理を行った結果、得られた最適の数値である。比較を行うと、
｜Ｓ１−Ｓ２｜＝｜３−１４｜＝１１＞１０（＝Ｄ１×５＝２×５）
となり、｜Ｓ１−Ｓ２｜の方が大きいので、補間画素Ｂ（０）は画像ノイズ部分であると判定する。
【０１０２】
このように、補間画素Ｂ（０）は、画像ノイズ部分であると判定された場合、さらに、両フィールドにおいて−１／４画素分だけずれた位置の画素データを算出する必要はないが、補間処理の正確性を高めるため、両フィールドで、さらに、−１／４画素分だけずれた位置の画素データの算出を行ってもよい。実際には、以下の算出処理は省略しても問題ない。
【０１０３】
補間画素Ｂ（０）の画素データを生成しようとするフィールドおよびもう一方のフィールドにおいて、−１／４画素分だけずれた位置の画素データを算出する。
Ｓ３＝Ｂ（０）×３＋Ｄ（０）＝１×３＋２＝５
Ｓ４＝Ｃ（０）＋Ａ（０）×３＝３＋５×３＝１８
【０１０４】
同様に、Ｓ３とＳ４との差分絶対値とＤ１に５を掛けた値とを比較する。
｜Ｓ３−Ｓ４｜＝｜５−１８｜＝１３＞１０（＝Ｄ１×５＝２×５）
【０１０５】
比較した結果、｜Ｓ３−Ｓ４｜の方が大きいので、補間画素Ｂ（０）は画像ノイズ部分であると判定する。
【０１０６】
次に、補間方向を複数設定する（ステップａ４）。補間方向としては、画素Ａ（−３），Ｃ（３）間、画素Ａ（−２），Ｃ（２）間、画素Ａ（−１），Ｃ（１）間、画素Ａ（０），Ｃ（０）間、画素Ａ（１），Ｃ（−１）間、画素Ａ（２），Ｃ（−２）間、画素Ａ（３），Ｃ（−３）間上の７方向を定める。
【０１０７】
次に、ブロック対を抽出する（ステップａ５）。ブロック対を補間方向ごとに抽出するので、前述の７方向に対応させて、
画素Ａ（−４）〜Ａ（−２）のブロックと画素Ｃ（２）〜Ｃ（４）のブロックから成るブロック対、
画素Ａ（−３）〜Ａ（−１）のブロックと画素Ｃ（１）〜Ｃ（３）のブロックとから成るブロック対、
画素Ａ（−２）〜Ａ（０）までのブロックと画素Ｃ（０）〜Ｃ（２）のブロックとから成るブロック対、
画素Ａ（−１）〜Ａ（１）のブロックと画素Ｃ（−１）〜Ｃ（１）のブロックとから成るブロック対、
画素Ａ（０）〜Ａ（２）までのブロックと画素Ｃ（−２）〜Ｃ（０）のブロックとから成るブロック対、
画素Ａ（１）〜Ａ（３）のブロックと画素Ｃ（−３）〜Ｃ（−１）のブロックとから成るブロック対、
画素Ａ（２）〜Ａ（４）のブロックと画素Ｃ（−４）〜Ｃ（−２）のブロックから成るブロック対の７対を抽出する。
【０１０８】
そして、ブロック対におけるブロック間ごとに相関値を算出する（ステップａ６）。まず、画素Ａ（−４）〜Ａ（−２）のブロックと画素Ｃ（２）〜Ｃ（４）のブロックから成るブロック対の相関値を算出する。なお、算出した相関値をＨ１とする。同様に、他の６対のブロック対の相関値を算出し、算出した相関値を順にＨ２，Ｈ３，Ｈ５，Ｈ６，Ｈ７とする。ここで、相関値の算出に用いる重み係数は、Ｈ１，Ｈ２，Ｈ３，Ｈ５，Ｈ６，Ｈ７については２とし、Ｈ４については１とする。この重み係数も、実験的にいくつかの画像に対して補間処理を行った結果、得られた値である。重み係数は、補間画素を中心とすると、中心から遠くに離れるほど、大きな重みとし、左右対称となる補間方向には同じ重みとする。
Ｈ１＝｛｜Ａ（−４）−Ｃ（２）｜＋｜Ａ（−３）−Ｃ（３）｜
＋｜Ａ（−２）−Ｃ（−４）｜｝×２
＝（｜０−１｜＋｜０−５｜＋｜１−５｜）×２
＝２０
【０１０９】
同様に、相関値Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６，Ｈ７を算出する。
Ｈ２＝（｜０−１｜＋｜１−１｜＋｜２−５｜）×２＝８
Ｈ３＝（｜１−３｜＋｜２−１｜＋｜５−１｜）×２＝１４
Ｈ４＝（｜２−６｜＋｜５−３｜＋｜５−１｜）×１＝１０
Ｈ５＝（｜５−３｜＋｜５−６｜＋｜１−３｜）×２＝１０
Ｈ６＝（｜５−１｜＋｜１−３｜＋｜１−６｜）×２＝２２
Ｈ７＝（｜１−０｜＋｜１−１｜＋｜５−３｜）×２＝６
【０１１０】
このように、相関値の算出に用いる画素間を結んで成る線分を、他の線分とほぼ平行とすることで、算出される相関値は互いに対応がとれていることになる。これによって、相関値の信頼性を高めることができる。
【０１１１】
そして、補間方向を選択する（ステップａ７）。まず、相関値Ｈ１〜Ｈ７のうち、相関値Ｈ１〜Ｈ４を第１のグループとし、相関値Ｈ７〜Ｈ４を第２のグループとする。各グループにおいて相関値が最小値をとる相関値を求める。相関値Ｈ１〜Ｈ４の中では、相関値Ｈ２が最小値をとり、相関値Ｈ７〜Ｈ４の中では、相関値Ｈ７が最小値をとる。ここで、各グループとも相関値Ｈ４が選択されてないことから、所定の条件、「双方とも画素Ａ（０）と画素Ｃ（０）との組み合わせでない場合は、画素Ａ（０）と画素Ｃ（０）間上を通る補間方向を補間方向として選択する」に従い、補間方向として、画素Ａ（０）と画素Ｃ（０）とを結ぶ補間方向を選択する。
【０１１２】
そして、選択した補間方向先の双方にそれぞれ位置する画素の画素データを用いて、補間画素の画素データを生成する（ステップａ８）。
Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２＝（５＋３）／２＝４
【０１１３】
以上の処理を１の補間走査線について、補間走査線上に並ぶ画素に対し順番に行う。
【０１１４】
ここで、図４に示すように、補間画素Ｂ（−１），Ｂ（１）について、補間処理により、Ｂ（−１）＝２、Ｂ（１）＝０として生成され、これらの補間画素が並ぶ補間走査線の補間処理が終了したとする。
【０１１５】
次に、補間画素Ｂ（０）の画素データの正当性を評価する（ステップａ１１）。具体的には、対象となる補間画素の画素データと、対象補間画素の縦、横、右斜め、左斜めの４方向に位置する画素の画素データとを用いて、１次元のマスク処理を行う。なお、対象補間画素の横方向に位置する画素は、隣接する補間画素である。
【０１１６】
そして、マスク処理によって算出した値と、予め定められた閾値とを比較することによって、正当性を評価する。ここでマスク処理に用いる１次元のマスクを［−１　２　−１］とし、閾値として用いる値を１０とする。この閾値は、実験的にいくつかの画像に対して補間処理を行った結果、目で見て孤立点になっているような画素が選択されている閾値を求めたものである。
【０１１７】
それぞれの方向についてマスク処理を行い、値を算出する。
縦方向：｜５×（−１）＋４×２＋３×（−１）｜＝０
横方向：｜２×（−１）＋４×２＋０×（−１）｜＝６
右斜め：｜５×（−１）＋４×２＋６×（−１）｜＝３
左斜め：｜２×（−１）＋４×２＋１×（−１）｜＝５
このように、いずれの方向においても、閾値１０より小さい値となったので、補間画素Ｂ（０）の画素データは正当であると評価する。したがって、求められた画素データ「４」を最終的に、補間画素Ｂ（０）の画素データとする。
【０１１８】
仮に、縦、横、右斜め、左斜めの４方向において算出した値のいずれかが閾値よりも大きな値となった場合には、再補間処理を行う（ステップａ１３）。再補間処理とは、画素Ａ（０），Ｃ（０）の画素データを用いた線形補間処理である。
【０１１９】
なお、前述の例では、選択された補間方向は、画素Ａ（０），Ｃ（０）間の方向であり、補間処理の正当性評価によって補間が正当でないと判断された場合は、再度、画素Ａ（０），Ｃ（０）の画素データを用いて再補間処理を行うことになり、生成した補間画素Ｂ（０）の画素データは、「４」となる。
【０１２０】
以上の処理を１の補間走査線上に並ぶすべての補間画素に対して行う。
なお、前述の例では近傍１８画素および画素Ｄ（０），Ｅ（０）の２画素を用いて補間処理しているが、これ以外の周辺画素数を用いても構わない。
【０１２１】
［第２実施形態］
次に、本発明の第２実施形態について説明する。図５は、第２実施形態である補間処理方法の処理手順を示すフローチャートである。
【０１２２】
ステップｂ１〜ステップｂ３の処理は、第１実施形態におけるステップａ１〜ステップａ３の処理と同様である。
【０１２３】
ステップｂ３で、画像ノイズ部分であると判断された場合にはステップｂ４に進み、画像ノイズ部分でないと判断された場合にはステップｂ８に進む。
【０１２４】
ステップｂ８では、ステップａ９と同様、補間走査線が設定されるフィールドに対応する対応フィールドの画素データが抽出され、この画素データがそのまま補間画素の画素データとして生成される。
【０１２５】
ステップｂ４では、ブロック対が複数組抽出される。このブロック対は、補間画素を対象点として互いに点対象の位置関係にある２つのブロックから成る。
【０１２６】
ステップｂ５では、ブロック対ごとに、２つのブロック間の相関関係が求められる。
【０１２７】
ステップｂ６では、補間方向が設定される。この補間方向を定めるにあたって、まず、ステップｂ５において求められた相関関係に基づいて、複数のブロック対の中から少なくとも１つのブロック対が選択され、選択されたブロック対の２つのブロック間の相関方向が求められる。そして、この相関方向を補間方向とする。
【０１２８】
ステップｂ７では、補間処理が行われる。補間処理は、ステップｂ６で定めた補間方向先に位置する画素を選択し、選択した画素の画素データに基づいて生成する。
【０１２９】
なお、ステップｂ９〜ステップｂ１６の処理は、第１実施形態のステップａ１０〜ステップａ１７の処理と同様である。
【０１３０】
以上のように、相関関係を示す相関値は、ブロック内の複数の画素を用いて求められるので、単純に１対の画素間で求める場合に比べると、相関値の信頼性が高まる。したがって、この信頼性の高い相関値に基づいて、正確な補間方向を選択することができ、正確な補間方向に基づく精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【０１３１】
［第３実施形態］
続いて、本発明の画像処理装置を構成する補間処理部Ａについて説明する。図６は、補間処理部Ａの構成を示すブロック図である。補間処理部Ａは、画像ノイズ部分抽出手段１、補間方向設定手段２、抽出手段３、補間関係導出手段４、選択手段５、画素データ生成手段６、フィールドデータ抽出手段７、画素データ合成手段８、１走査線終了判定手段９、補間正当性評価手段１０および再補間手段１１から成る。
【０１３２】
補間処理部Ａの画像ノイズ部分抽出手段１は、アナログデータとして入力され画像処理装置中でＡ／Ｄ（アナログ／デジタル）変換処理された画像データ、あるいは、デジタルの画像データに対し、５本の水平走査線分の画素データをバッファに保持した後、補間対象画素に対する画像ノイズ部分抽出処理を行う。画像ノイズ部分抽出処理によって、画像ノイズ部分でないと判断された部分に対しては、フィールドデータ抽出手段７が現在保持している補間画素の画素データをそのまま抽出する。他方、画像ノイズ部分抽出処理によって、画像ノイズ部分であると判断された部分に対しては、補間方向設定手段２が制御されて、次の処理が行われる。
【０１３３】
補間方向設定手段２は、補間画素を起点とする補間方向を複数種類定め、定めた補間方向に関する情報を抽出手段３に出力する。
【０１３４】
抽出手段３は、補間方向に関する情報に基づいて、複数組のブロック対を補間方向ごとに抽出する。ブロック対は、補間方向先の双方に位置し、補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成る。抽出したブロック対に関する情報は、相関関係導出手段４に出力される。
【０１３５】
相関関係導出手段４は、補間走査線の上下の水平走査線上の画素の画素データを用いて、ブロックの相関値を算出し、算出した相関値を選択手段５に出力する。
【０１３６】
選択手段５は、相関値に基づいて、相関関係の最も大きい補間方向を探索し、複数種類の補間方向の中から少なくとも１つの補間方向を選択する。選択された補間方向に関する情報は、画素データ生成手段６に出力される。
【０１３７】
画素データ生成手段６は、補間方向先の上下の水平走査線上の画素の画素データを用いて線形補間処理を行う。
【０１３８】
１走査線終了判定手段９は、補間処理が１つの補間走査線について終了したか否かを判定する。補間処理が終了していなければ、補間対象を１つ右の画素へとずらす。そして、画像ノイズ部分抽出手段１に制御が移される。補間処理が、１つの補間走査線について終了したと判定された場合には、画素データ合成手段８に制御が移される。
【０１３９】
画素データ合成手段８は、フィールドデータ抽出手段７で抽出された画素の画素データと、画素データ生成手段６で生成された補間画素の画素データとを合成する。同時に、いずれの画素が補間処理された画素であるかについての情報もあわせて、補間正当性評価手段１０に出力する。
【０１４０】
補間正当性評価手段１０は、画素データ合成手段８によって入力された補間走査線上の画素の画素データと、その上下の水平走査線上の画素の画素データと、さらに、補間処理された画素であるかについての情報とを用いて、画素データ生成手段６で補間処理された画素に対してのみ、生成された補間画素の画素データの正当性を評価する。評価結果は、再補間手段１１へ出力される。
【０１４１】
再補間手段１１は、評価結果に基づいて次の処理を行う。補間画素の画素データの値が妥当であると判断した場合には、その値をそのまま出力する。他方、補間画素の画素データの値が妥当でないと判断した場合には、補間走査線の上下の水平走査線の画素の画素データを用いて線形補間処理を行い、生成した画素データを出力する。そして、出力された画素データは、画像処理装置の階調補正部に出力される。
【０１４２】
以上によって、信頼性の高い相関関係に基づいて、正確な補間方向を選択するとができるので、正確な補間方向に基づく精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【０１４３】
図７に、本発明のカラー画像処理装置Ｂを備えるカラー画像形成装置Ｃのブロック図である。
【０１４４】
図７に示すように、カラー画像処理装置Ｂは、Ａ／Ｄ変換部３０、補間処理部Ａ、入力階調補正部３１、領域分離処理部３２、空間フィルタ処理部３３、変倍処理部３４、色空間変換部３５、色補正部３６、黒生成下色除去部３７、出力階調補正部３８および階調再現処理部３９とを備える。
【０１４５】
このカラー画像処理装置Ｂに、カラー画像入力装置（アナログ入力装置）５０ａあるいは、カラー画像入力装置（デジタル入力装置）５０ｂと、カラー画像出力装置５１とが接続され、たとえば複合機やプリンタなどのカラー画像形成装置Ｃを構成している。
【０１４６】
カラー画像入力装置５０ａは、たとえばＴＶチューナやビデオカメラなどのインターレース画像読取部によって構成され、ＴＶ局からのＮＴＳＣ信号などのテレビ信号や、ビデオカメラのＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）から入力されるＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号を、カラー画像処理装置Ｂに入力するものである。カラー画像処理装置Ｂにデジタルのカラー画像入力装置５０ｂが接続されている場合、デジタルＴＶ信号やデジタルビデオカメラ出力など、デジタル信号が入力される。その場合には、Ａ／Ｄ変換部３０は必要ない。
【０１４７】
このカラー画像出力装置５１は、画像データを紙などの記録媒体上、あるいは、ディスプレイなどの表示媒体上に出力するもので、たとえば、電子写真方式やインクジェット方式を用いた画像出力装置、テレビなどの画像表示装置を挙げることができるが特に限定されるものではない。
【０１４８】
カラー画像入力装置にて読み取られたアナログ信号の画像データは、カラー画像処理装置Ｂ内を、Ａ／Ｄ変換部３０、補間処理部Ａ、入力階調補正部３１、領域分離処理部３２、空間フィルタ処理部３３、変倍処理部３４、色空間変換部３５、色補正部３６、黒生成下色除去部３７、出力階調補正部３８および階調再現処理部３９の順で処理され、Ｃ，Ｍ，Ｙ，Ｋ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の各デジタルカラー信号として、カラー画像出力装置５１へ出力される。
【０１４９】
入力がデジタル信号の画像データの場合は、カラー画像処理装置Ｂ内を、補間処理部Ａから階調再現処理部３９へと順に処理され、同様にＣ，Ｍ，Ｙ，Ｋの各デジタルカラー信号として、カラー画像出力装置へ出力される。
【０１５０】
Ａ／Ｄ変換部３０は、カラー画像入力装置５０ａから入力されるＹ，Ｃｂ，Ｃｒの各アナログ信号をデジタル信号に変換して、補間処理部Ａに出力する。
【０１５１】
補間処理部Ａでは、Ａ／Ｄ変換部３０において、Ａ／Ｄ変換処理された画像データ、あるいは、カラー画像入力装置５０ｂから入力されたＹ，Ｃｂ，Ｃｒの各画像データに対し、画像データを構成する複数の画素の画素データを用いて、画素間に設定される補間画素の画素データを生成する。生成した画素データを入力階調補正部３１に出力する。
【０１５２】
入力階調補正部３１は、補間処理部Ａにて補間処理されたＹ，Ｃｂ，Ｃｒの各信号に対して、必要に応じてトーンスケールの補正処理やカラーバランスの補正処理を行う。処理されたＹ，Ｃｂ，Ｃｒの各信号は、領域分離処理部３２に出力される。
【０１５３】
領域分離処理部３２は、入力されたＹ，Ｃｂ，Ｃｒの各信号の画像データに基づいて、画像を構成する各画素を文字領域、網点領域、写真領域のいずれかに分離する領域分離処理を行う。領域分離処理部３２は、分離結果に基づき、画素がいずれの領域に属しているかを示す領域識別信号を、空間フィルタ処理部３３、黒生成下色除去部３７および階調再現処理部３９に出力するとともに、入力階調補正処理部３１から入力された入力信号をそのまま空間フィルタ処理部３３に出力する。
【０１５４】
空間フィルタ処理部３３は、領域分離処理部３２から入力されたＹ，Ｃｂ，Ｃｒの各信号の画像データに対して、領域識別信号をもとに、デジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒状性劣化を防ぐ処理を行う。
【０１５５】
たとえば、領域分離処理部３２にて文字に分離された領域に関しては、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理の鮮鋭強調処理によって高周波数の強調量の増大がなされる。また、領域分離処理部３２によって網点に分離された領域に関しては、入力網点成分を除去するためのローパス・フィルタ処理が施される。空間フィルタ処理部３３は、空間フィルタ処理されたＹ，Ｃｂ，Ｃｒの各信号の画像データを変倍処理部３４に出力する。
【０１５６】
変倍処理部３４では、ユーザからの指定などに応じて、出力画像の解像度や大きさに応じて、拡大や縮小などの変倍処理によって、画像データを所定のサイズに変更する。変倍処理されたＹ，Ｃｂ，Ｃｒの各信号の画像データは、色変換処理部３５に出力される。
【０１５７】
色空間変換部３５は、入力されたＹ，Ｃｂ，Ｃｒの各信号の画像データを、ＣＭＹの色空間に変換し、Ｃ，Ｍ，Ｙの各信号（ＣＭＹ信号）の画像データとし、これを色補正部３６に出力する。
【０１５８】
色補正部３６は、カラー画像出力装置５１の出力形式に合わせた色補正を行い、色補正したＣＭＹ信号の画像データを黒生成下色除去部３７に出力する。
【０１５９】
黒生成下色除去部３７は、入力されたＣＭＹ信号から、黒（Ｋ）信号を生成する黒生成処理と、もとのＣＭＹ信号から黒生成処理で得られたＫ信号を差し引いて新たなＣＭＹ信号を生成する処理とを行い、ＣＭＹ信号をＣ，Ｍ，Ｙ，Ｋの４色信号（ＣＭＫＹ信号）に変換する。黒生成下色除去処理は、一般的な方法であるスケルトンブラックによって行われる。スケルトンブラックによる黒生成下色除去処理は、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）とし、入力される信号をＣ，Ｍ，Ｙとし、出力される信号をＣ’，Ｍ’，Ｙ’，Ｋ’とし、ＵＣＲ（Ｕｎｄｅｒ　Ｃｏｌｏｒ　Ｒｅｍｏｖａｌ）率をα（０＜α＜１）とすると、以下の式（５）〜（８）で表される。なお、ｍｉｎは、最小値（ｍｉｎｉｍｕｍ）を表す。
Ｋ’＝ｆ｛ｍｉｎ（Ｃ，Ｍ，Ｙ）｝　　　　　　　　　　　　…（５）
Ｃ’＝Ｃ−αＫ’　　　　　　　　　　　　　　　　　　　　…（６）
Ｍ’＝Ｍ−αＫ’　　　　　　　　　　　　　　　　　　　　…（７）
Ｙ’＝Ｙ−αＫ’　　　　　　　　　　　　　　　　　　　　…（８）
【０１６０】
階調再現処理部３９は、ＣＭＹＫ信号の画像データに対して、空間フィルタ処理部３３と同様に、領域識別信号をもとに所定の処理を施する。
【０１６１】
たとえば、領域分離処理部３２にて文字に分離された領域は、特に黒文字或いは色文字の再現性を高めるために、階調再現処理部３９においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
【０１６２】
また、領域分離処理部３２にて網点に分離された領域に関しては、出力階調補正部３８で、濃度信号などの信号をカラー画像出力装置５１の特性値である網点面積率に変換する出力階調補正処理を行った後、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）を行う。領域分離処理部３２にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理を行う。
【０１６３】
以上の各処理が行われた画像データは、カラー画像処理装置Ｂの有する画像メモリに一旦記憶され、所定のタイミングで読み出されてカラー画像出力装置５１に入力される。
【０１６４】
前述のカラー画像処理装置Ｂの説明において、補間処理部Ａは、Ａ／Ｄ変換処理部３０の処理後に用いられているが、本発明はこの形態に限定されるものではなく、Ｙ，Ｃｂ，Ｃｒデータを扱う部分であれば、どこに用いても構わない。
【０１６５】
前述の補間処理手順は、補間処理プログラム、あるいは、他の処理と組み合わせた画像処理プログラムによってコンピュータに実行させることができる。補間処理プログラムは、コンピュータ読み取り可能な記録媒体に記録される。たとえば、プリンタドライバとして適用することができる。これによって、補間処理プログラムを記録した記録媒体を持ち運び自在に提供することができる。
【０１６６】
この補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体としては、マイクロコンピュータに補間処理手順を行わせるためメモリ、たとえばＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のようなものそのものがプログラムメディアであってもよい。また、外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
【０１６７】
いずれの場合においても、格納されている補間処理プログラムはマイクロプロセッサがアクセスして実行させる構成であってもよい。補間処理プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、実行される方式であってもよい。このダウンロード用のプログラムは予め画像処理装置Ｂに格納されているものとする。
【０１６８】
ここで、前述のプログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、フロッピディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ
Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）、ＭＤ（Ｍｉｎｉ　Ｄｉｓｋ）およびＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）などの光ディスクのディスク系、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ
Ｃｉｒｃｕｉｔｓ）カード（メモリカードを含む）、光カードなどのカード系あるいはマスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１６９】
また、本実施形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークから補間処理プログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークから、補間処理プログラムをダウンロードする場合には、そのダウンロード用のプログラムを予め本体装置に格納しておくか、あるいは、別の記録媒体からインストールされるものであってもよい。
【０１７０】
前述の記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読取装置で読み取られることによって、補間処理方法を実行する。
【０１７１】
コンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることによって前述の画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴ（陰極線管）ディスプレイ・液晶ディスプレイなどの画像表示装置、および、コンピュータの処理結果を紙などに出力するプリンタを備えて構成される。さらには、このコンピュータシステムには、ネットワークを介してサーバなどに接続するための通信手段としてのモデムなどが備えられる。
【０１７２】
なお、前述のように、本発明の補間処理方法の対象となる画像を、インターレース画像として説明したが、本発明は、当該画像に限定されるものではない。
【０１７３】
【発明の効果】
以上のように本発明によれば、複数の画素から成るブロック間の相関関係に基づいて、補間画素に対する補間方向を選択するので、１対の画素間の相関関係に基づいて選択する場合に比べて、信頼性の高い補間方向を選択することができる。これによって、信頼性の高い補間方向に基づく精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【０１７４】
また本発明によれば、インターレース画像に対しても、信頼性の高い補間処理を行うことができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【０１７５】
また本発明によれば、２つのブロック間の相関関係は、基準画素間の相関関係を基準とし、さらに、補助画素間の相関関係を求めるので、１の画素間で相関関係を求める場合と比べて、信頼性の高いブロック間の相関関係求めることができる。これによって、信頼性の高い補間方向を選択することができる。
【０１７６】
また本発明によれば、２つのブロック間の相関関係を求めるときは、補助画素間を結ぶ線分が基準画素を結ぶ線分とほぼ平行となるような補助画素を選んで相関関係を求めるので、基準画素間の相関関係に対応した相関関係を求めることができる。
【０１７７】
また本発明によれば、補間方向を選択するときは、近似する方向ごとにグループ分けされた各グループから１つの補間方向を抽出し、抽出した補間方向を比較し、抽出した補間方向の関係に基づいて１つの補間方向を選択するので、複数の補間方向の中から相関関係が一番大きいものを単純に選択する場合に比べて、信頼性の高い補間方向を選択することができる。
【０１７８】
また本発明によれば、インターレース画像においてフィールド間の相関関係が大きく、予め定める関係となる場合、たとえば、フィールド間に画像の動きがない場合には、無理に補間処理を行わなくとも、対応フィールドの画素データをそのまま用いることで、もとの画像により近い画像を再現することができるので、画像の劣化を防止することができる。
【０１７９】
また本発明によれば、補間画素の画素データを生成した後、生成した画素データに誤りが生じていれば、再補間処理を行うことによって、より正確な画素データを生成することができる。したがって、補間ミスの発生をさらに抑えることができる。
【０１８０】
また本発明によれば、補間処理には輝度値を用いるので、モノクロおよびカラー画像の双方の画像の補間処理に対応することができる。
【０１８１】
また本発明によれば、補間処理をコンピュータに実行させることができる。
また本発明によれば、補間処理方法を実行する補間処理プログラムをコンピュータに容易に供給することができる。
【０１８２】
また本発明によれば、前述の画像処理装置によって生成された補間画素の画素データを用いて成る高画質の画像を出力することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である補間処理方法の処理手順を示すフローチャートである。
【図２】画像ノイズ部分を抽出する抽出処理を説明するための図である。
【図３】補間画素Ｂ（０）の補間処理の際に参照する画素を表した図である。
【図４】補間画素Ｂ（０）と補間処理の際に参照される周囲の画素を示した図である。
【図５】第２実施形態である補間処理方法の処理手順を示すフローチャートである。
【図６】補間処理部Ａの構成を示すブロック図である。
【図７】本発明のカラー画像処理装置Ｂを備えるカラー画像形成装置Ｃのブロック図である。
【図８】インターレース走査方式の画像を構成する１枚のフィールドを表す図である。
【図９】図７のひし形の画像Ｖ中、〇印で示した部分Ｒの拡大図である。
【図１０】従来の補間技術によって補間されたフィールドの一部分を示す拡大図である。
【図１１】従来の補間技術によって補間されたフィールドの一部分を示す拡大図である。
【図１２】従来の補間技術によって補間されたフィールドの一部分を示す拡大図である。
【図１３】５方向において相関関係を検出する補間技術を説明するための図である。
【図１４】７方向において相関関係を検出する補間技術を説明するための図である。
【図１５】画像のエッジと成る部分がデジタル化された画像中の画素に沿って存在しない例を示す図である。
【図１６】従来の補間技術によって補間されたフィールドの一部分を示す図である。
【符号の説明】
１　画像ノイズ部分抽出手段
２　補間方向設定手段
３　抽出手段
４　相関関係導出手段
５　選択手段
６　画素データ生成手段
７　フィールドデータ抽出手段
８　画素データ合成手段
９　１走査線終了判定手段
１０　補間正当性評価手段
１１　再補間手段
３０　Ａ／Ｄ（アナログ／デジタル）変換部
３１　入力階調補正部
３２　領域分離処理部
３３　空間フィルタ処理部
３４　変倍処理部
３５　色空間変換部
３６　色補正部
３７　黒生成下色除去部
３８　出力階調補正部
３９　階調再現処理部
Ａ　補間処理部
Ｂ　カラー画像処理装置
Ｃ　カラー画像形成装置

Claims (13)

1. 複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理方法において、
   前記補間画素を起点として双方向に向いた補間方向を複数種類定め、
   同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記補間方向ごとに抽出し、
   抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
   求めた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択し、
   選択した補間方向に関して前記補間画素を起点としたときに当該補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法。
2. 複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理方法において、
   同じ数の画素から成る２つのブロックであって、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を複数組抽出し、
   抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
   求めた相関関係に基づいて、前記複数組のブロック対の中から少なくとも１つのブロック対を選択し、選択したブロック対の２つのブロック間の相関方向を求め、求めた相関方向を補間方向として定め、
   定めた補間方向に関して前記補間画素を起点としたときに当該補間方向先に位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法。
3. インターレース走査によって得られた１フィールドの画像に対して当該フィールドの水平走査線間に設定される補間走査線上に設定された補間画素の画素データを、前記水平走査線上に並ぶ複数の画素の画素データを用いて生成する補間処理方法において、
   前記補間画素を起点として双方向に向いた補間方向を複数種類定め、
   前記補間画素が設定されている補間走査線を挟む２つの水平走査線上にそれぞれ並ぶ同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記補間方向ごとに抽出し、
   抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
   求めた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択し、
   選択した補間方向に関して前記補間画素を起点としたときに前記選択した補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法。
4. 前記２つのブロック間の相関関係は、
   前記２つのブロックの画素の中から、前記補間画素を対称点として互いに点対称の位置関係にある画素対のうち、少なくとも１組の画素対を基準画素対として定め、前記基準画素対以外の画素を補助画素とし、
   前記基準画素対の画素データの差分絶対値を算出するとともに、２つのブロック間で相互に対応関係にある補助画素間の画素データの差分絶対値を算出し、
   算出した各差分絶対値に基づいて求めることを特徴とする請求項１〜３のいずれか１つに記載の補間処理方法。
5. 補助画素間の画素データの差分絶対値を算出するときは、補助画素間を結んで成る線分が、前記基準画素間を結んで成る線分とほぼ平行となるような補助画素間について画素データの差分絶対値を算出することを特徴とする請求項４記載の補間処理方法。
6. 前記複数種類の補間方向の中から少なくとも１つの補間方向を選択するときは、前記複数種類の補間方向を近似する方向ごとにグループ分けし、各グループの中でその補間方向先の双方に位置する画素間の相関関係が最も大きい補間方向を抽出し、各グループから抽出された補間方向の相関関係を比較して補間方向を選択することを特徴とする請求項３記載の補間処理方法。
7. 補間処理対象のフィールドとこのフィールドと１フレームを構成する対応フィールドとの間の相関関係を求め、求めた相関関係が予め定める関係である場合は、前記補間方向の選択を行わずに、前記対応フィールドにおける前記補間画素に対応する画素の画素データを補間画素の画素データとして生成することを特徴とする請求項３記載の補間処理方法。
8. 前記補間画素の画素データを生成した後、前記補間画素の画素データと前記補間画素の周囲に位置する所定の複数画素の画素データとを比較して、生成した前記補間画素の画素データに誤りが生じているか否かを判定し、誤りが生じている場合には、所定の画素の画素データを用いて新たな画素データを生成し、生成した新たな画素データを前記補間画素の画素データとして置き換えることを特徴とする請求項１〜３のいずれか１つに記載の補間処理方法。
9. 前記画素データは、輝度値であることを特徴とする請求項１〜３のいずれか１つに記載の補間処理方法。
10. コンピュータに請求項１〜８のいずれか１つに記載の補間処理方法を実行させるための補間処理プログラム。
11. 請求項１０記載の補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理部を備える画像処理装置において、
    前記補間画素を起点として双方向に向いた補間方向を複数種類定める補間方向設定手段と、
    同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記複数種類の補間方向ごとに抽出する抽出手段と、
    前記抽出手段によって抽出されたブロック対ごとに、２つのブロック間の相関関係を求める相関関係導出手段と、
    前記相関関係導出手段によって求められた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択する選択手段と、
    前記選択手段によって選択された補間方向に関して前記補間画素を起点としたときに前記補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成する画素データ生成手段とを含むことを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置を備え、前記画像処理装置によって補間処理が施された画像データに基づいて画像を形成し、出力することを特徴とする画像形成装置。

Images