JP3960965B2 - 画像補間装置及び画像補間方法 - Google Patents

Description

本発明は、時系列的に連続して入力される複数枚の画像データから、高品質のフレーム画像を生成する画像補間装置及び画像補間方法に関する。

画像データを補間する技術は、画像を拡大する場合や、画像の解像度を高める場合、あるいはインターレース走査された画像をプログレッシブ走査の画像に変換する場合など、様々な場面で必要とされる。

従来の補間方法は、例えば垂直方向にライン数を増やす場合、補間するラインの上または下のラインの値をそのまま使用したり、上下のラインの平均値を使用するなどの手法が採用されてきた。しかしこのような方法では、撮影対象に斜めの線がある場合では、補間された画像の輪郭にガタツキが生じたり、ボケが生じてしまうなどの問題があった。

そこで、特許文献１では、インターレース走査によって得られるフィールドデータの内、第１フィールド、第２フィールド、第３フィールド、の３つの連続するフィールドのデータが与えられたときに、第２フィールドの画像をフレーム画像に変換するために、第１及び第３フィールド画像上で第２フィールドの補間する画素に対応するそれぞれの位置に設定されたウィンドウ内の画像中に動きがあるかどうかを判定し、その判定に応じた補間を行う手法を提案している。

ここで、動きがあるかどうかの判定は、補間する画素位置に対応する第１フィールドと第３フィールドのウィンドウ内の間で画素レベルの絶対値差を加算し、得られた加算値が予め定められたある閾値を越えるかどうかにより判断している。そして、ウィンドウ間に動きがあると判定された場合には、第１フィールドと第３フィールドのウィンドウ間の相関よりも、第２フィールド画像のウィンドウ内の相関が強いとして、上下方向に隣接する画素に基づいて補間画素データが生成される。また、ウィンドウ間に動きがないと判定された場合には、ウィンドウ内での相関のある方向を調べるために、補間する位置に水平方向に隣接する画素の上下にある画素データを抽出し、これらの加算値を求め、得られた加算値が水平方向に存在する画素についての加算値ほど増加または減少しているかどうかの判定をする。そして、増加または減少していない場合には、補間する位置の上下の画素データを使用して補間値を生成し、増加または減少している場合には、その部分の画像は階段状の領域であると判断して、補間する画素の上下及び斜め上下の３方向の相関の高い画素データから補間データが生成される。
特開平８−３１７３３６号公報

しかしながら、上記特許文献１に開示の手法では、補間すべき領域上の被写体に動きがあるかどうかを調べる際に、補間する位置の周囲にウィンドウを生成し、そのウィンドウ内の全ての画素について前後のフィールドで対応する画素の絶対値差を求めて加算しなければならないため、計算が繁雑となってしまう。

また、ウィンドウの画像間に動きが検出されなかった場合には、注目領域に斜め方向の線があるかどうかを判断して、第１フィールド及び第３フィールドのデータから第２フィールド上の対応する位置の補間値を求めているが、場合によっては判断を誤る可能性がある。図１２に判定を誤る場合の例を示す。ここでは、同図の中央の「？」の印のついた画素の値を推定することとし、図中の数字は画素値データであるとする。ハッチングの付された画素はデータが得られていないものとする。この図に示したようなデータ配列の場合、前述の方法により、補間する位置に隣接する画素の上下の画素値を加算すると、全ての場合において加算値が同一の値となり、水平方向には増加も減少もしていないことになる。そのため、周辺部は階段状の分布ではないと判断され、上下の画素の相加平均が補間値として求められてしまう。この図の場合、実際には斜め方向に相関があるにもかかわらず、相関のある方向を誤判定してしまっている。

本発明は、上記の点に鑑みてなされたもので、高精度な補間画像を生成することができる画像補間装置及び画像補間方法を提供することを目的とする。

本発明の画像補間装置の第１の態様は、ラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、補間された１枚の画像データを生成する画像補間装置において、上記１枚の画像データの画素位置に対応する上記フィールドにおける画素位置の近傍で、所定の方向に並ぶ複数組の上記画素データから、上記所定の方向に関する指標値を算出する指標値算出手段と、上記画素位置における相関性の強い方向を、上記指標値算出手段で算出した指標値に基づいて検出する方向判別手段と、補間されるフィールドが上記ラインの読み取り方が周期的に切り替えられた上記フィールドのいずれであるか、および上記方向判別手段によって検出された上記相関性の強い方向に基づいて、上記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを選択して切替える切替え手段と、上記切替え手段によって切替えられた演算データを用い、上記画素位置における画素データを求める補間手段とを具備することを特徴とする。

また、本発明の画像補間装置の第２の態様は、カラーフィルタを前面に配置した撮像素子からラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、補間された１枚の画像データを生成する画像補間装置において、上記１枚の画像データの画素位置に対応する上記フィールドにおける画素位置の近傍で、所定の方向に並ぶ複数組の上記画素データから、上記所定の方向に関する指標値を算出する指標値算出手段と、上記画素位置における相関性の強い方向を、上記指標値算出手段で算出した指標値に基づいて検出する方向判別手段と、補間されるフィールドが上記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および上記方向判別手段によって検出された上記相関性の強い方向に基づいて、上記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、上記カラーフィルタのそれぞれの色に関して選択して切替える切替え手段と、上記切替え手段によって切替えられた演算データを用い、上記画素位置における画素データを求める補間手段とを具備することを特徴とする。

また、本発明の画像補間装置の第３の態様は、カラーフィルタを前面に配置した撮像素子からラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、水平方向及び垂直方向の少なくとも一方について、大きさが変倍された１枚の画像データを生成する画像補間装置において、上記フィールドから離散的な画素データを抽出し、それら抽出した画素データの内の上記１枚の画像データの画素位置に対応する画素位置の近傍の画素データから、所定の方向に並ぶ複数組の画素データを選択し、上記所定の方向に関する指標値を算出する指標値算出手段と、上記画素位置における相関性の強い方向を、上記指標値算出手段で算出した指標値に基づいて検出する方向判別手段と、変倍されるときに補間されるフィールドが上記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および上記方向判別手段によって検出された上記相関性の強い方向に基づいて、上記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、上記カラーフィルタのそれぞれの色に関して選択して切替える切替え手段と、上記切替え手段によって切替えられた演算データを用い、上記画素位置における画素データを求める補間手段とを具備することを特徴とする。

また、本発明の画像補間装置の第４の態様は、ラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、水平方向及び垂直方向の少なくとも一方について、大きさが変倍された１枚のカラー画像データを生成する画像補間装置において、上記フィールドから離散的な画素データを抽出し、それら抽出した画素データの内の上記１枚の画像データの画素位置に対応する画素位置の近傍の画素データから、所定の方向に並ぶ複数組の画素データを選択し、上記所定の方向に関する指標値を算出する指標値算出手段と、上記画素位置における相関性の強い方向を、上記指標値算出手段で算出した指標値に基づいて検出する方向判別手段と、変倍されるときに補間されるフィールドが上記ラインの読み取り方が周期的に切り替えられた上記フィールドのいずれであるか、および上記方向判別手段によって検出された上記相関性の強い方向に基づいて、上記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、上記カラー画像データを構成する複数の原色のそれぞれに関して選択して切替える切替え手段と、上記切替え手段によって切替えられた演算データを用い、上記画素位置における画素データを求める補間手段とを具備することを特徴とする。

一方、本発明の画像補間方法の第１の態様は、ラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、補間された１枚の画像データを生成する画像補間方法において、上記１枚の画像データの画素位置に対応する上記フィールドにおける画素位置の近傍で、所定の方向に並ぶ複数組の上記画素データから、上記所定の方向に関する指標値を算出する指標値算出工程と、上記画素位置における相関性の強い方向を、上記指標値に基づいて検出する方向判別工程と、補間されるフィールドが上記ラインの読み取り方が周期的に切り替えられた上記フィールドのいずれであるか、および上記相関性の強い方向に基づいて、上記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを選択して切替える切替え工程と、上記演算データを用い、上記画素位置における画素データを求める補間工程とを具備することを特徴とする。

また、本発明の画像補間方法の第２の態様は、カラーフィルタを前面に配置した撮像素子からラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、補間された１枚の画像データを生成する画像補間方法において、上記１枚の画像データの画素位置に対応する上記フィールドにおける画素位置の近傍で、所定の方向に並ぶ複数組の上記画素データから、上記所定の方向に関する指標値を算出する指標値算出工程と、上記画素位置における相関性の強い方向を、上記指標値に基づいて検出する方向検出工程と、補間されるフィールドが上記ラインの読み取り方が周期的に切り替えられた上記フィールドのいずれであるか、および上記相関性の強い方向に基づいて、上記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、上記カラーフィルタのそれぞれの色に関して選択して切替える切替え工程と、上記演算データを用い、上記画素位置における画素データを求める補間工程とを具備することを特徴とする。

また、本発明の画像補間方法の第３の態様は、カラーフィルタを前面に配置した撮像素子からラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、水平方向及び垂直方向の少なくとも一方について、大きさが変倍された１枚の画像データを生成する画像補間方法において、上記フィールドから離散的な画素データを抽出し、それら抽出した画素データの内の上記１枚の画像データの画素位置に対応する画素位置の近傍の画素データから、所定の方向に並ぶ複数組の画素データを選択し、上記所定の方向に関する指標値を算出する指標値算出工程と、上記画素位置における相関性の強い方向を、上記指標値に基づいて検出する方向検出工程と、変倍されるときに補間されるフィールドが上記ラインの読み取り方が周期的に切り替えられた上記フィールドのいずれであるか、および上記相関性の強い方向に基づいて、上記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、上記カラーフィルタのそれぞれの色に関して選択して切替える切替え工程と、上記演算データを用い、上記画素位置における画素データを求める補間工程とを具備することを特徴とする。

また、本発明の画像補間方法の第４の態様は、ラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、水平方向及び垂直方向の少なくとも一方について、大きさが変倍された１枚のカラー画像データを生成する画像補間方法において、上記フィールドから離散的な画素データを抽出し、それら抽出した画素データの内の前記１枚の画像データの画素位置に対応する画素位置の近傍の画素データから、所定の方向に並ぶ複数組の画素データを選択し、上記所定の方向に関する指標値を算出する指標値算出工程と、上記画素位置における相関性の強い方向を、上記指標値に基づいて検出する方向検出工程と、変倍されるときに補間されるフィールドが上記ラインの読み取り方が周期的に切り替えられた上記フィールドのいずれであるか、および上記相関性の強い方向に基づいて、上記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、上記カラー画像データを構成する複数の原色のそれぞれに関して選択して切替える切替え工程と、上記演算データを用い、上記画素位置における画素データを求める補間工程とを具備することを特徴とする。

本発明によれば、相関性の強い方向を高精度に検知することで、高精度な補間画像を生成可能な画像補間装置及び画像補間方法を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
（構成）
図１（Ａ）は、本発明の第１実施形態に係る画像補間装置の構成を示す図である。

即ち、イメージセンサ１０による撮影で得られた映像データは、Ａ／Ｄ変換器１１にてディジタル画像データに変換される。このＡ／Ｄ変換器１１から出力される画像データは、データ制御部１２の制御により、該データ制御部１２に接続された第１のメモリ１３または第２のメモリ１４に転送され、そこに保存される。

上記第１のメモリ１３及び第２のメモリ１４には、指標値算出部１５が接続されている。この指標値算出部１５には、方向判別部１６が接続されており、該方向判別部１６は、指標値算出部１５の出力するデータを受け取り動作する。この方向判別部１６と上記データ制御部１２、第１のメモリ１３及び第２のメモリ１４が切替え部１７に接続されており、該切替え部１７は、上記方向判別部１６の出力するデータと、上記データ制御部１２の制御とに従って動作する。また、この切替え部１７には、補間部１８が接続されている。

この補間部１８から出力される画像データは、モニタあるいはメモリカードなどの出力部１９に転送され、データの表示または保存記録がなされる。

（作用）
上記のような構成における信号の流れを説明する。

イメージセンサ１０は、図示しないレンズ系、ローパスフィルタを通過して入射された被写体像に応じたアナログの映像データを出力し、それがＡ／Ｄ変換器１１によってディジタル画像データに変換される。なお、本実施形態では、イメージセンサ１０は、カラーフィルタのない白黒のものを使用しているとする。

Ａ／Ｄ変換器１１から出力された画像データは、データ制御部１２の制御に従って、接続されているフレームメモリである第１のメモリ１３と第２のメモリ１４に保存される。即ち、データ制御部１２では、上記２つのメモリ１３，１４に連続する画像データが保存されるように、フレームごとに、接続を第１のメモリ１３と第２のメモリ１４とに切替えて、交互にデータを転送する。例えばインターレース走査の場合では、奇数ラインの画素データからなる画像データと、偶数ラインの画素データからなる画像データとが、それぞれのメモリに保存されることとなる。

これら２つのメモリ１３，１４に接続された指標値算出部１５では、補間する位置の周囲の画素データをそれぞれのメモリ１３，１４から受け取り、所定の方向に関する指標値を求める。

求められた所定の方向に関する指標値は方向判別部１６へと送られ、補間する位置において、どの方向に相関性が強いかが判定される。

切替え部１７には、データ制御部１２、方向判別部１６と第１のメモリ１３及び第２のメモリ１４とが接続されており、データ制御部１２からの制御と、方向判別部１６から出力される相関性の強い方向に応じて動作を切替え、補間に必要な画素データを第１のメモリ１３または第２のメモリ１４から補間部１８へと送る。

補間部１８では、切替え部１７から受け取った画素データを用いて補間値を求め、補間された画像データを形成する。

形成された画像データは、出力部１９において、モニタなどの表示媒体に表示されたり、メモリカードなどの記録媒体に記録される。

以下、各部の動作をより詳細に説明する。

図２（Ａ）乃至（Ｅ）は、本実施形態において、画像のサイズを１／２に縮小する場合の、第１のメモリ１３及び第２のメモリ１４に保存されるデータ形式の一例を表している図である。なお、これらの図において、白色の画素がデータ制御部１２への入力データの内で読み出されてメモリ１３または１４に保存される画素を表し、灰色の画素が読み出されない、つまり保存されない画素を表している。

即ち、間引きサンプリングを行う場合には、データ制御部１２から第１のメモリ１３及び第２のメモリ１４へと転送されて保存されるデータは、図２（Ａ）及び（Ｂ）に示すように、水平方向には１画素おきのデータを、垂直方向には１ラインおきのデータとなるようにしている。このとき、データ制御部１２では、読み取らないラインをフレームごとにシフトさせ、読み取り画素位置が連続する画像データで重ならないように制御する。そして、データ制御部１２の制御により切替え部１７によって、それぞれのメモリ１３，１４に保存されたデータを合わせることで、図２（Ｃ）に示すようなデータが得られる。

また、連続する画素データを加算平均してサンプリングする場合には、第１のメモリ１３及び第２のメモリ１４に保存されるデータは、例えば図２（Ｄ）及び（Ｅ）に示すようにする。この場合、データ制御部１２によって、それらの図中の白丸印で結ばれた画素データを加算した値を、つまり、水平方向に連続する２画素のデータを加算平均化して、各メモリ１３，１４に保存している。この結果、データ制御部１２の制御により切替え部１７によって、これら２つのメモリ１３，１４に保存されたデータを合わせることで、上記間引きサンプリングの場合と同様に、図２（Ｃ）に示すような配列に相当するデータを得ることができる。

そして、補間部１８により、図２（Ｃ）中の白丸印で示した位置における補間値を求めることによって、１／２に縮小された補間画像を生成することができる。

また、この例では画像のサイズを１／２に縮小する場合について説明したが、本発明は、縮小率を１／２に限定するものではないことは勿論である。

例えば、１／３に縮小する場合でも同様である。但しこの場合、第１のメモリ、第２のメモリ、第３のメモリの３つのメモリが構成されることが必要である。そして、データ制御部１２では、水平方向には２画素おきの、垂直方向には２ラインおきのデータをフレームごとにそれら３つのメモリに順番に転送していく。またこの場合も、読み取らないラインは画像ごとにシフトさせ、読み取り画素位置が連続する画像データで重ならないように制御される。このとき、連続する３画面分の間引かれたデータから、１フレーム分の画像データを生成する。

図１（Ｂ）は、本実施形態で用いられている指標値算出部１５の詳細構成を示す図である。即ち、この指標値算出部１５は、データ取り込み部２１、絶対値差検出部２２、及び加算部２３から構成される。ここで、上記第１のメモリ１３及び第２のメモリ１４とデータ取り込み部２１とが接続され、データ取り込み部２１と絶対値差検出部２２とが接続し、絶対値差検出部２２と加算部２３とが接続し、加算部２３は上記方向判別部１６へと接続されている。

係る構成の指標値算出部１５では、任意の１点を補間するために、データ取り込み部２１によって、上記第１のメモリ１３及び第２のメモリ１４から、補間する画素位置を中心とした、所定サイズのブロック内の周囲の画素データが取り込まれる。絶対値差検出部２２では、このデータ取り込み部２１によって取り込まれたブロック内の画素データの内、所定の方向に隣接する画素の組を複数の箇所で抽出し、それぞれの組の画素値の絶対値差を計算する。そして、求められた絶対値差は、加算部２３において上記所定の方向に関しての総和が求められ、それぞれの方向に関する指標値が出力される。

図３は、所定サイズ（ここでは４×４画素）のブロックの中央の白丸印の位置の画素データ補間値を求めたい場合に、データ取り込み部２１で取り込まれるデータの一例を示す図である。ここで、図中の奇数ラインのデータが上記第１のメモリ１３から転送されたデータを表し、偶数ラインのデータが上記第２のメモリから転送されたデータを表している。即ち、本実施形態においては、補間する位置を中心とし、２つのメモリ１３，１４に保存されているデータを合わせて周囲４×４画素分のブロック内の画素データが取り込まれる。なお、図中の白色の画素が読み出された画素データを表す。

図４は、絶対値差検出部２２において、上記取り込まれた画素データから、所定の方向に関しての絶対値差を検出する際に使用する画素データの組の例を示している。本例では、上記所定の方向として、水平方向、垂直方向、右上がり４５度方向、右下がり４５度方向の４つの場合について検出している。

加算部２３では、それぞれの方向に関して画素の組の絶対値差の総和を求め、指標値を算出する。それぞれの方向における指標値は、水平方向に関する指標値をＶ_hor、垂直方向に関する指標値をＶ_ver、右上がり方向に関する指標値をＶ_sla、右下がり方向に関する指標値をＶ_bacとすると、以下の数１により求められる。

なお、本実施形態では、指標値は画素の２画素間の絶対値差の平均値により求めたが、本発明はこれに限定される必要はない。絶対値差の累積値や、２点の画素値の比などで代用しても構わない。また、絶対値差を求める画素の組は、それぞれの方向に並ぶ画素の組であれば、上記数１で示した組のような場合に限らない。さらに、絶対値差を求める画素の組の数も、上記数１に示したような場合に限らない。

上記方向判別部１６では、この指標値算出部１５から出力される上記所定の方向に関する指標値データを受け取り、補間する位置において、最も相関性の強い方向を判別する。この相関性の判定には、それぞれの指標値が他の指標値に対する割合を用いる。つまり、以下の数２に示す条件に当てはまる場合、それぞれの方向に対して相関性が強いと判定する。

但し、上記の何れの条件にも当てはまらず、特定の方向に相関性がない場合、あるいはそれぞれの指標値の値が予め定めた所定の値よりも小さく、相関性が全ての方向に関して同程度あるような場合には、特定の方向には相関性がないと判定する。

而して、方向判別部１６からは、それぞれの方向に対応づけられた識別信号が出力される。例えば、水平方向＝１、垂直方向＝２、右上がり４５度方向＝３、右下がり４５度方向＝４、相関性がない＝０などの値である。

なお、本実施形態では、方向判別は指標値の割合により求めたが、これに限定される必要はない。指標値の最小値を示す方向を相関の強い方向であると判定するなどの方法も利用できる。

切替え部１７に接続されているデータ制御部１２では、上述したように、２つのメモリ１３，１４への接続をフレームごとに切替えて、連続する画像データをそれら２つのメモリ１３，１４に交互に保存している。そして、最新の入力データがどちらのメモリに記録したデータであるかを示す制御信号を、切替え部１７に送信している。例えば、インターレース走査の場合、フレームごとに偶数ラインの画素データからなる画像データと、奇数ラインの画素データからなる画像データとを順次メモリ１３，１４に保存しているが、最新の入力データが偶数ラインの画素データである場合には「０」を、奇数ラインの画素データである場合には「１」を、上記制御信号として切替え部１７に送信している。

なお、ここでは、この制御信号の値に数字を用いたが、最新の入力データがどちらであるのかが区別できるものであれば、制御信号はこれに限られる必要はないことは勿論である。

切替え部１７では、方向判別部１６の出力する上記識別信号と、データ制御部１２からの上記制御信号とに従って、接続されている第１のメモリ１３及び第２のメモリ１４に保存されている画像データの内、補間のために使用するデータを切替え、その選択した画素データを補間部１８に転送する。

図５は、本実施形態において、方向判別部１６から入力される上記識別信号とデータ制御部１２からの上記制御信号とに応じて決定される、使用する画素データの一例を示す図である。この図に示す表では、相関性の強い方向が、水平方向の場合、垂直方向の場合、右上がり４５度方向の場合、右下がり４５度方向の場合、及びなしの場合、について横軸方向に表現され、最新の入力データが、偶数ラインデータの場合、奇数ラインデータの場合、について縦軸方向に表現されている。

補間部１８では、こうして切替え部１７から入力された画素データを用いて、それぞれの画素データの位置と、補間値を求める位置との距離に応じた重みづけ係数をかけた平均により、補間値を求める。即ち、本実施形態では、最新の入力データと、相関性の強い方向とに応じて、以下の数３または数４により、補間値が求められる。

＜＜最新の入力データが奇数ラインデータのとき＞＞

＜＜最新の入力データが偶数ラインデータのとき＞＞

なお、本実施形態では、補間値を求める際に重みづけ平均を用いたが、本発明はこれに限定される必要はない。例えば、隣接する画素の中央値や最頻値、相加平均などの他の方法も利用できる。

こうして補間された画像データは、補間部１８から出力部１９へと転送され、メモリカード、ハードディスクなどの記録媒体に保存されたり、モニタなどの表示媒体に表示される。

以上説明したように、本第１実施形態によれば、相関性の強い方向を高精度に検知し、高精度な補間画像を生成することができる。

また、指標値算出部１５において、例えば垂直方向であればＩ₂₂−Ｉ₄₂の絶対値とＩ₁₃−Ｉ₃₃の絶対値との差分というように、それぞれの方向に関して画素の組の絶対値の差分を指標値として利用することで、方向判別部１６において、フレーム間での被写体やカメラの動きの方向を判別することが可能となり、切替え部１７において、補間部１８で補間のために使用する画素データを、その被写体やカメラの状態に応じて切替えることも可能となる。

［第２実施形態］
（構成）
図６（Ａ）は、本発明の第２実施形態に係る画像補間装置の構成を示す図である。

即ち、図示しないレンズ系及びローパスフィルタを通過して、カラーフィルタ３０を前面に配置したイメージセンサ１０に入射した被写体像は、該イメージセンサ１０で撮影される。このイメージセンサ１０で得られたカラーの映像データは、Ａ／Ｄ変換器１１にてディジタルのカラー画像データに変換される。

このＡ／Ｄ変換器１１から出力されるカラー画像データは、データ制御部１２の制御により、該データ制御部１２に接続された接続された第１のメモリ１３または第２のメモリ１４に転送され、保存される。

これら第１のメモリ１３及び第２のメモリ１４には、指標値算出部１５が接続されている。この指標値算出部１５には、方向判別部１６が接続されており、該方向判別部１６は、指標値算出部１５の出力するデータを受け取り動作する。この方向判別部１６と上記データ制御部１２、第１のメモリ１３及び第２のメモリ１４が切替え部１７に接続されており、該切替え部１７は、上記方向判別部１６の出力するデータと、上記データ制御部１２の制御とに従って動作する。また、この切替え部１７には、補間部１８が接続されている。

この補間部１８から出力されるカラー画像データは、モニタあるいはメモリカードなどの出力部１９に転送され、データの表示または保存記録がなされる。

（作用）
次に、図６（Ａ）の構成における信号の流れを説明するが、本実施形態に係る画像補間装置の基本的な動作としては、上記第１実施形態とほぼ同等である。よって、以下では、主に上記第１実施形態と異なる部分について説明する。

本実施形態においては、イメージセンサ１０の前面にカラーフィルタ３０を配置しており、イメージセンサ１０からはアナログのカラー映像データが得られ、それがＡ／Ｄ変換器１１にてディジタルカラー画像データへと変換される。本実施形態では、上記イメージセンサ１０は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）であるとし、カラーフィルタ３０は、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色からなる原色ベイヤ型を使用している。ベイヤ型のフィルタは、Ｇ画素の出現頻度が他のＲ画素，Ｂ画素に対して２倍となる出現頻度を持つものである。

Ａ／Ｄ変換器１１を介してイメージセンサ１０から読み出されたカラー画像データは、データ制御部１２の制御に従って、接続されているフレームメモリである第１のメモリ１３と第２のメモリ１４に保存される。即ち、データ制御部１２では、フレームごとに、接続を第１のメモリ１３と第２のメモリ１４とに切替えて、交互にデータを転送する。

例えば、画像のサイズを１／２に縮小する場合、メモリ１３，１４に保存されるデータは、以下のようなものとなる。即ち、画素データは、イメージセンサ１０に原色ベイヤ型のカラーフィルタ３０が装着されているため、水平及び垂直方向ともに２画素周期で出現が繰り返される。イメージセンサ１０がＣＭＯＳの場合、水平方向に関して隣り合う同色の画素データを平均化して読み出すことができる。この様子を図６（Ｂ）に示す。図中の上段の画素群が入力されたデータを表し、図中の下段の画素群が読み取られたデータを表す。ライン方向の画素データを一度だけ読み取り、ライン方向に隣り合う同色の画素データを加算することにより、読み取りデータが得られる。従って、水平方向には隣接する同色の画素を加算平均した画素データを、２画素おきに２画素ずつ抽出したことと同等のデータが得られる。また、垂直方向には、２ライン周期で読み取る画素ラインと読み取らない画素ラインを繰り返す。その結果、２つのメモリ１３，１４に保存されるデータ形式は、図７（Ａ）及び（Ｂ）に示すようになる。このとき、データ制御部１２の制御により、イメージセンサ１０から読み出されるラインは画像データごとに位置を変えてシフトされ、読み取りライン位置が、連続する画像データで重ならないように変化する。

こうして２つのメモリ１３，１４に保存されたデータを切替え部１７でまとめると、図７（Ｃ）に示すようなデータが得られる。そして、補間部１８にて同図の白丸印で示した位置における補間値を求めることで、１／２に縮小された補間画像を生成することができる。

また、本実施形態では画像のサイズを１／２に縮小する場合について説明したが、画像サイズを拡大・縮小する割合は、１／２に限定されることはない。例えば、１／３に縮小する場合でも同様である。この場合は、第１のメモリ、第２のメモリ、第３のメモリの３つが構成され、データ制御部１２では、水平方向には隣接する同色３画素を加算平均したデータを、垂直方向には６ライン周期で２ラインずつのデータを３つのメモリに順番に転送していくこととなる。この際にも、間引き位置は画像ごとにシフトさせ、読み取り画素位置が連続する画像データで重ならないようにデータ制御部１２によって制御される。このとき、メモリに保存された連続する３画面分の間引かれたデータから、１フレーム分の画像データを生成する。

なお、本実施形態での指標値算出部１５の構成は、第１実施形態で示した構成と同様に、図１（Ｂ）で示した構成となる。即ち、任意の１点の補間のために、補間する位置を取り囲むブロック内の画素データがデータ取り込み部２１によって取り込まれる。絶対値差検出部２２では、このデータ取り込み部２１によって取り込まれた画素データの内、所定の方向に並んで位置する画素の組を複数の箇所で抽出し、それぞれの画素組の画素値の絶対値差を計算する。そして、求められた絶対値差は、加算部２３において上記所定の方向に関しての総和が求められ、それぞれの方向に関する指標値が出力される。

図８は、本第２実施形態で用いられているデータ取り込み部２１で、画像のサイズを１／２に縮小する場合にメモリ１３，１４から取り込まれるデータの一例を示している。この場合、図中の白丸印で示した位置における補間値を求めることとなる。なお、図中、ハッチングを付して示す画素が、読み出された画素データを表している。また、図中の１行目（Ｒ₁₁，Ｇ₁₂，Ｒ₁₃，Ｇ₁₄）、２行目（Ｇ₂₁，Ｂ₂₂，Ｇ₂₃，Ｂ₂₄）、及び５行目（Ｒ₅₁，Ｇ₅₂，Ｒ₅₃，Ｇ₅₄）、６行目（Ｇ₆₁，Ｂ₆₂，Ｇ₆₃，Ｂ₆₄）のラインデータが第１のメモリ１３から転送されたデータであり、図中の３行目（Ｒ₃₁，Ｇ₃₂，Ｒ₃₃，Ｇ₃₄）、４行目（Ｇ₄₁，Ｂ₄₂，Ｇ₄₃，Ｂ₄₄）、及び７行目（Ｒ₇₁，Ｇ₇₂，Ｒ₇₃，Ｇ₇₄）、８行目（Ｇ₈₁，Ｂ₈₂，Ｇ₈₃，Ｂ₈₄）のラインデータが第２のメモリ１４から転送されたデータを表している。本実施形態では、２つのメモリ１３，１４からのデータを合わせて補間する位置を含む周囲８×８画素分のブロック内の画素データが取り込まれている。

図９は、絶対値差検出部２２において、図８の白丸印の位置の補間値を推定する場合に、取り込まれた画素データから所定の方向に関しての指標値を検出する際に使用される画素データ組の一例を示す図である。本実施形態において、方向は、垂直方向、水平方向、右上がり４５度方向、右下がり４５度方向、の４つのパターンについて検出し、それぞれの方向に位置する同色の画素データを用いる。この図９の表に示されるように、求めたい方向に応じて使用する画素を切替えている。

加算部２３では、それぞれの方向に関して画素値の絶対値差の総和を求め、指標値を算出する。本実施形態の場合、求められる指標値は、垂直方向の指標値をＶ_ver、水平方向の指標値をＶ_hor、右上がり４５度方向の指標値をＶ_sla、右下がり４５度方向の指標値をＶ_bacとすると、以下の数５により求められる。

方向判別部１６では、この指標値算出部１５から出力される上記所定の方向に関する指標値データを受け取り、補間する位置において、最も相関性の強い方向を出力する。この相関性の判定には、上記第１実施形態と同様に、それぞれの指標値が他の指標値に対して占める比率を用いる。垂直方向、水平方向、右上がり４５度方向、右下がり４５度方向、のどの方向に相関性が強いか、または特定の相関性がないかが判定され、それぞれの方向に対応づけられた識別信号が出力される。

なお、本実施形態では、指標値は画素値の絶対値差の和により求めたが、これに限定される必要はなく、２点の画素値の比などを用いる方法でも構わない。また、所定の方向に並ぶ画素の組は、上式の組のような場合に限らない。さらに、相関性の判定では、それぞれの指標値の比率により判別したが、指標値の最小値を求めるなどの方法でも構わない。

切替え部１７に接続されたデータ制御部１２では、２つのメモリ１３，１４への接続を画像ごとに切替えて、連続する画像データを交互に保存しているが、最新の入力データがどちらのメモリに記録したデータであるのかの制御信号を切替え部１７に送信している。

例えば、読み取るラインと読み取らないラインを２ライン周期で切替えている場合、画像データは始めの２ラインを読み取り、次の２ラインを読み取らないという周期を繰り返すフレーム（以降、トップフィールドと称する）と、始めの２ラインを読み取らず、次の２ラインを読み取るという周期を繰り返すフレーム（以降、ボトムフィールドと称する）とで構成される。

このとき、データ制御部１２は、トップフィールドの画像データが最新の入力データであるならば、「０」の制御信号を、また、ボトムフィールドの画像データが最新の入力データであるならば、「１」の制御信号を、切替え部１７に送信する。但し、この制御信号は、最新の入力データがどちらのメモリデータであるのかを区別できるものであれば、そのような数字に限られる必要はない。アルファベットや、文字などの信号でも構わない。

切替え部１７では、方向判別部１６の出力する上記識別信号と、データ制御部１２の出力する上記制御信号とに従って、接続されている第１のメモリ１３及び第２のメモリ１４に保存されている画像データの内、補間のために使用するデータの選択を切替える。

図１０は、本実施形態において、入力された識別信号と制御信号とから、それぞれの場合において使用する画素データの内、Ｇ（緑）の場合の一例を示す図である。この図に示す表では、相関性の強い方向が、水平方向、垂直方向、右上がり４５度方向、右下がり４５度方向、なし、の場合について分けられ、最新の入力データが、トップフィールドデータ、ボトムフィールドデータ、の場合について記載されている。

補間部１８では、こうして切替え部１７から入力された相関性の強い方向に位置する画素データを用いて、それぞれの画素データの位置と、補間値を求めたい位置との距離に応じた重みづけ係数をかけた平均により補間値を求める。

Ｒ，Ｇ，Ｂのそれぞれの補間値を求めることで、該補間部１８の出力はカラー画像データとなる。

例として、縦方向に相関性が強い場合について、Ｇ（緑）の補間値の求め方を図１１（Ａ）及び（Ｂ）に示す。この場合、補間に用いる３点の画素データの内、相関性の強い縦方向に並ぶ２点のみの画素データから一旦、黒丸印で示した位置における補間値を求め、その値ともう１点の画素データとで図８の白丸印の位置における補間値を求めている。

本実施形態では、図８の白丸印の位置のＧの補間値は、入力データと相関方向の違いによって以下の数６または数７により求められる。

＜＜最新の入力データがトップフィールドのデータであるとき＞＞

＜＜最新の入力データがボトムフィールドのデータであるとき＞＞

Ｇ以外のＲやＢの色についても同様に、補間に使用する画素データの位置と、補間値を求める位置との距離に応じた重みづけ平均により求める。

但し、補間する位置の近傍に参照する同色の画素データが少ない場合には、他の色との色相関関係を用いて補間値を求める。

以上説明したように、本第２実施形態においても、上記第１実施形態と同様、相関性の強い方向を高精度に検知し、高精度な補間画像を生成することができる。

また、上記第１実施形態の場合と同様に、被写体やカメラの動きの方向を判別して、補間のために使用する画素データを被写体やカメラの状態に応じて切替えるよう構成することも可能である。

なお、本実施形態では、補間値を求める際に重みづけ平均を用いたが、これに限定される必要はない。相加平均などの他の方法も利用できる。

また、カラーフィルタ３０は、原色型に限定される必要はない。Ｃ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）、Ｇ（グリーン）の色からなる補色型のフィルタなども利用できる。

さらに、イメージセンサ１０は、ＣＭＯＳに限定される必要はない。ＣＣＤ（Charge Coupled device）なども利用できる。但しこの場合は、サンプリングによって得られるデータは水平方向と垂直方向が入れ替わったような形態となる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、イメージセンサ１０からの画像データを補間することに限定するものではなく、テレビジョン等の放送画像データであっても同様に補間することが可能である。

（Ａ）は本発明の第１実施形態に係る画像補間装置の構成を示す図であり、（Ｂ）は（Ａ）中の指標値算出部の詳細構成を示す図である。 （Ａ）及び（Ｂ）はそれぞれ間引きサンプリングを行う場合に第１のメモリ及び第２のメモリに保存されるデータの例を示す図、（Ｃ）はそれら２つのメモリから得られるデータの例を示す図であり、（Ｄ）及び（Ｅ）はそれぞれ連続する画素データを加算平均してサンプリングする場合に第１のメモリ及び第２のメモリに保存されるデータの例を示す図である。 補間時にデータ取り込み部によって取り込まれる画素データの例を示す図である。 相関性の強い方向の検出に使用する画素組の例を示す図である。 相関方向に応じた使用画素の例を示す図である。 （Ａ）は本発明の第２実施形態に係る画像補間装置の構成を示す図であり、（Ｂ）は水平方向のサンプリング例を示す図である。 （Ａ）及び（Ｂ）はそれぞれ画像のサイズを１／２に縮小する場合に第１のメモリ及び第２のメモリに保存されるデータの例を示す図であり、（Ｃ）はそれら２つのメモリから得られるデータの例を示す図である。 補間時にデータ取り込み部によって取り込まれる画素データの例を示す図である。 相関性の強い方向の検出に使用する画素組の例を示す図である。 相関方向に応じた使用画素（Ｇのみ）の例を示す図である。 （Ａ）及び（Ｂ）はそれぞれ垂直方向に相関性が強い場合のトップフィールド及びボトムフィールドの補間方法を説明するための図である。 従来技術において相関方向の誤判定を引き起こす画素データ配列を示す図である。

符号の説明

１０…イメージセンサ、 １１…Ａ／Ｄ変換器、 １２…データ制御部、 １３…第１のメモリ、 １４…第２のメモリ、 １５…指標値算出部、 １６…方向判別部、 １７…切替え部、 １８…補間部、 １９…出力部、 ２１…データ取り込み部、 ２２…絶対値差検出部、 ２３…加算部、 ３０…カラーフィルタ。

Claims (17)

1. ラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、補間された１枚の画像データを生成する画像補間装置において、
   前記１枚の画像データの画素位置に対応する前記フィールドにおける画素位置の近傍で、所定の方向に並ぶ複数組の前記画素データから、前記所定の方向に関する指標値を算出する指標値算出手段と、
   前記画素位置における相関性の強い方向を、前記指標値算出手段で算出した指標値に基づいて検出する方向判別手段と、
   補間されるフィールドが前記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および前記方向判別手段によって検出された前記相関性の強い方向に基づいて、前記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを選択して切替える切替え手段と、
   前記切替え手段によって切替えられた演算データを用い、前記画素位置における画素データを求める補間手段と、
   を具備することを特徴とする画像補間装置。
2. カラーフィルタを前面に配置した撮像素子からラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、補間された１枚の画像データを生成する画像補間装置において、
   前記１枚の画像データの画素位置に対応する前記フィールドにおける画素位置の近傍で、所定の方向に並ぶ複数組の前記画素データから、前記所定の方向に関する指標値を算出する指標値算出手段と、
   前記画素位置における相関性の強い方向を、前記指標値算出手段で算出した指標値に基づいて検出する方向判別手段と、
   補間されるフィールドが前記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および前記方向判別手段によって検出された前記相関性の強い方向に基づいて、前記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、前記カラーフィルタのそれぞれの色に関して選択して切替える切替え手段と、
   前記切替え手段によって切替えられた演算データを用い、前記画素位置における画素データを求める補間手段と、
   を具備することを特徴とする画像補間装置。
3. カラーフィルタを前面に配置した撮像素子からラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、水平方向及び垂直方向の少なくとも一方について、大きさが変倍された１枚の画像データを生成する画像補間装置において、
   前記フィールドから離散的な画素データを抽出し、それら抽出した画素データの内の前記１枚の画像データの画素位置に対応する画素位置の近傍の画素データから、所定の方向に並ぶ複数組の画素データを選択し、前記所定の方向に関する指標値を算出する指標値算出手段と、
   前記画素位置における相関性の強い方向を、前記指標値算出手段で算出した指標値に基づいて検出する方向判別手段と、
   変倍されるときに補間されるフィールドが前記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および前記方向判別手段によって検出された前記相関性の強い方向に基づいて、前記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、前記カラーフィルタのそれぞれの色に関して選択して切替える切替え手段と、
   前記切替え手段によって切替えられた演算データを用い、前記画素位置における画素データを求める補間手段と、
   を具備することを特徴とする画像補間装置。
4. 前記指標値算出手段は、
   前記１枚の画像データの画素位置に対応する、前記フィールドにおける画素位置の近傍の画素データを取り込むデータ取り込み手段と、
   前記データ取り込み手段で取り込んだ画素データの内、前記所定の方向に並ぶ複数組の画素データの輝度値の絶対値差を算出する絶対値差検出手段と、
   前記絶対値差検出手段によって算出した絶対値差を前記所定の方向ごとに加算する加算手段と、
   を備えることを特徴とする請求項１に記載の画像補間装置。
5. 前記指標値算出手段は、
   前記１枚の画像データの画素位置に対応する、前記フィールドにおける画素位置の近傍の画素データを取り込むデータ取り込み手段と、
   前記データ取り込み手段で取り込んだ画素データの内、前記所定の方向に並ぶ複数組の同色の画素データの輝度値の絶対値差を算出する絶対値差検出手段と、
   前記絶対値差を前記所定の方向ごとに加算する加算手段と、
   を備えることを特徴とする請求項２または３に記載の画像補間装置。
6. 前記データ取り込み手段は、前記フィールドから、間引いた画素データを取り込むことを特徴とする請求項４または５に記載の画像補間装置。
7. 前記データ取り込み手段は、前記フィールドから、隣り合う画素データを加算平均した値を取り込むことを特徴とする請求項４または５に記載の画像補間装置。
8. 前記方向判別手段は、前記指標値の前記所定の方向別の割合を比較することにより、相関性の強い方向を判別することを特徴とする請求項１乃至３の何れかに記載の画像補間装置。
9. 前記方向判別手段は、前記指標値算出手段で算出した指標値の前記所定の方向別の絶対値を比較することにより、相関性の強い方向を判別することを特徴とする請求項１乃至３の何れかに記載の画像補間装置。
10. 前記切替え手段は、前記データ取り込み手段により取り込まれた画素データの内、前記相関性の強い方向に並ぶ画素を前記演算データとして選択することを特徴とする請求項４または５に記載の画像補間装置。
11. 前記補間手段は、前記１枚の画像データの画素位置と前記演算データとの距離に基づいて補間値を求めることを特徴とする請求項１乃至３の何れかに記載の画像補間装置。
12. 前記補間手段は、前記１枚の画像データの画素位置と前記演算データとの距離に反比例した重みづけ平均によって補間値を求めることを特徴とする請求項１乃至３の何れかに記載の画像補間装置。
13. ラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、補間された１枚の画像データを生成する画像補間方法において、
    前記１枚の画像データの画素位置に対応する前記フィールドにおける画素位置の近傍で、所定の方向に並ぶ複数組の前記画素データから、前記所定の方向に関する指標値を算出する指標値算出工程と、
    前記画素位置における相関性の強い方向を、前記指標値に基づいて検出する方向判別工程と、
    補間されるフィールドが前記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および前記相関性の強い方向に基づいて、前記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを選択して切替える切替え工程と、
    前記演算データを用い、前記画素位置における画素データを求める補間工程と、
    を具備することを特徴とする画像補間方法。
14. カラーフィルタを前面に配置した撮像素子からラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、補間された１枚の画像データを生成する画像補間方法において、
    前記１枚の画像データの画素位置に対応する前記フィールドにおける画素位置の近傍で、所定の方向に並ぶ複数組の前記画素データから、前記所定の方向に関する指標値を算出する指標値算出工程と、
    前記画素位置における相関性の強い方向を、前記指標値に基づいて検出する方向検出工程と、
    補間されるフィールドが前記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および前記相関性の強い方向に基づいて、前記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、前記カラーフィルタのそれぞれの色に関して選択して切替える切替え工程と、
    前記演算データを用い、前記画素位置における画素データを求める補間工程と、
    を具備することを特徴とする画像補間方法。
15. カラーフィルタを前面に配置した撮像素子からラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、水平方向及び垂直方向の少なくとも一方について、大きさが変倍された１枚の画像データを生成する画像補間方法において、
    前記フィールドから離散的な画素データを抽出し、それら抽出した画素データの内の前記１枚の画像データの画素位置に対応する画素位置の近傍の画素データから、所定の方向に並ぶ複数組の画素データを選択し、前記所定の方向に関する指標値を算出する指標値算出工程と、
    前記画素位置における相関性の強い方向を、前記指標値に基づいて検出する方向検出工程と、
    変倍されるときに補間されるフィールドが前記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および前記相関性の強い方向に基づいて、前記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、前記カラーフィルタのそれぞれの色に関して選択して切替える切替え工程と、
    前記演算データを用い、前記画素位置における画素データを求める補間工程と、
    を具備することを特徴とする画像補間方法。
16. ラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、水平方向及び垂直方向の少なくとも一方について、大きさが変倍された１枚のカラー画像データを生成する画像補間装置において、
    前記フィールドから離散的な画素データを抽出し、それら抽出した画素データの内の前記１枚の画像データの画素位置に対応する画素位置の近傍の画素データから、所定の方向に並ぶ複数組の画素データを選択し、前記所定の方向に関する指標値を算出する指標値算出手段と、
    前記画素位置における相関性の強い方向を、前記指標値算出手段で算出した指標値に基づいて検出する方向判別手段と、
    変倍されるときに補間されるフィールドが前記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および前記方向判別手段によって検出された前記相関性の強い方向に基づいて、前記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、前記カラー画像データを構成する複数の原色のそれぞれに関して選択して切替える切替え手段と、
    前記切替え手段によって切替えられた演算データを用い、前記画素位置における画素データを求める補間手段と、
    を具備することを特徴とする画像補間装置。
17. ラインの読み取り方が周期的に切り替えられて時系列的に複数枚入力されるフィールドの中の画素データを使用して、水平方向及び垂直方向の少なくとも一方について、大きさが変倍された１枚のカラー画像データを生成する画像補間方法において、
    前記フィールドから離散的な画素データを抽出し、それら抽出した画素データの内の前記１枚の画像データの画素位置に対応する画素位置の近傍の画素データから、所定の方向に並ぶ複数組の画素データを選択し、前記所定の方向に関する指標値を算出する指標値算出工程と、
    前記画素位置における相関性の強い方向を、前記指標値に基づいて検出する方向検出工程と、
    変倍されるときに補間されるフィールドが前記ラインの読み取り方が周期的に切り替えられた前記フィールドのいずれであるか、および前記相関性の強い方向に基づいて、前記複数枚入力されるフィールドの中から補間のための演算に使用する演算データを、前記カラー画像データを構成する複数の原色のそれぞれに関して選択して切替える切替え工程と、
    前記演算データを用い、前記画素位置における画素データを求める補間工程と、
    を具備することを特徴とする画像補間方法。

Images