JP6932260B2 - 画素補間装置及び画素補間方法、並びに画像処理装置、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、画素補間装置及び画素補間方法、並びに画像処理装置、並びにプログラム及び記録媒体に関する。

読取対象物（原稿）を一次元撮像部（ラインセンサ）で読取り、原稿に対応する画像データを生成する画像読取装置が実用されている。ラインセンサとしては、各々その長手方向に直線に沿って配列された複数の光電変換素子を有する、複数のセンサチップを連結したものが広く用いられている。

センサチップは、半導体製造技術で製造されるため、センサチップ上の光電変換素子間の間隔は比較的小さい。これに対し、ラインセンサは、複数のセンサチップを連結して基板に固定する方法等で製造されるため、連結されるセンサチップの隣接端部に位置する光電変換素子間の間隔が比較的大きい。このようなラインセンサで原稿を読み取って画像データを取得した場合、連結されるセンサチップの隣接端部間の位置では画素値が得られない。このような画素については画素値を補間する必要がある。

また、センサーチップ内の光電変換素子の不具合、光電変換素子と原稿との光路中に存在する本来透明であるべき部品の汚れ等によって、光電変換素子での読取りで得られた画素信号の画素値が不正なもの、或いは信頼性の低いものとなる場合がある。そのような画素値についても補間が必要となる。

光電変換素子が存在しない位置の画素、並びに画素値が不正である或いは画素値の信頼性が低い等の理由で補間が必要となる画素を、画素値が欠落した画素或いは単に欠落画素と言う。

欠落画素の補間のために、種々の補間方法が提案されている。特許文献１では欠落画素が、画素値が周期的に変化する画像領域内にあると判定された場合に、欠落画素の補間にパターンマッチング法を用いることが示されている。

特許第５６９９６２１号（段落００３７〜００６８、図２）

特許文献１に記載された方法では、画素値の変化の周期毎に最適なパターンを予め用意しておく必要がある。パターンの数が少ないと欠落画素が不自然に見える画素値が算出されてしまう。一方、パターンの数が増大すると必要な記憶容量或いはデータ処理量が増えるという問題がある。

本発明に係る画素補間装置は、
各々入力画像中の欠落画素の画素値を、当該入力画像を構成する画素の画素値に基づいて補間する複数の補間演算部と、
判定部と、
出力部とを有し、
前記複数の補間演算部の各々は、前記欠落画素の画素値を補間し、補間された画素値を、補間候補値として出力し、前記欠落画素の近傍の複数の非欠落画素をテスト画素として、前記テスト画素の各々の画素値を補間し、補間された画素値を、当該テスト画素のテスト補間値として出力し、
前記テスト画素の補間は、前記欠落画素の補間と同じ補間演算方法で行われ、
前記複数の補間演算部は、第１群の補間演算部と、第２群の補間演算部とを含み、
前記第１群の補間演算部は、平均維持補間演算により補間を行うものであり、
前記第１群の補間演算部相互間では、参照される画素の数が互いに異なり、
前記第２群の補間演算部は、前記平均維持補間演算とは異なる補間演算で補間を行うものであり、
前記第２群の補間演算部相互間では、補間演算方法及び参照される画素の数の少なくとも一方が互いに異なり、
前記判定部は、各欠落画素の近傍の複数のテスト画素の各々についての前記テスト補間値と、当該テスト画素の画素値との差分絶対値に基づいて、各補間演算部についての誤差指標値を算出し、算出した誤差指標値に基づいて前記複数の補間演算部のいずれかを選択し、
前記出力部は、各欠落画素について前記複数の補間演算部から出力される補間候補値のうち、前記判定部で選択された補間演算部から出力される補間候補値を選択して出力する。

本発明によれば、補間した画素が不自然に見えないように補間を行うことができ、しかも必要な記憶容量及びデータ処理量が比較的少なくて済む。

本発明の実施の形態１の画素補間装置の概略構成を示す機能ブロック図である。 密着イメージセンサの概要を示す図である。 図２の密着イメージセンサを構成するセンサチップ間の連結部分を詳細に示す図である。 図１に示される平均維持補間演算部における補間で参照される画素を示す図である。 図１に示される平均維持補間演算部の構成例を示す機能ブロック図である。 実施の形態２で用いられる平均維持補間演算部における補間で参照される画素を示す図である。 実施の形態２で用いられる平均維持補間演算部の構成例を示す機能ブロック図である。 本発明の実施の形態３の画素補間装置の概略構成を示す機能ブロック図である。 図８に示される平均維持補間演算部における補間で参照される画素を示す図である。 図８に示される平均維持補間演算部の構成例を示す機能ブロック図である。 本発明の実施の形態４の画像処理装置の概略構成を示す機能ブロック図である。

実施の形態１．
図１は本発明の実施の形態１の画素補間装置１の概略構成を示す機能ブロック図である。
画素補間装置１は入力端子１ａに供給される画像データＤｉで表される画像中の欠落画素の画素値を補間する。

画像データＤｉは、例えば、図２に示される密着イメージセンサー９００を備えた撮像部により読取対象物（原稿）を読み取ることで得られるものである。
図２に示される密着イメージセンサー９００は複数のセンサーチップ９０２を基板９０４上に、直線に沿って並べて互いに連結することで構成されている。密着イメージセンサー９００の長手方向が主走査方向となる。

図３は、隣り合うセンサーチップ９０２相互間の連結部分をより詳細に示す。
センサーチップ９０２の各々は、図示のように、複数の光電変換素子９０６を有する。

各センサーチップ９０２内では、複数の光電変換素子９０６は、一定の間隔ｄａで直線上に配置されている。一方、連結される２つのセンサーチップ９０２の隣接端部に位置する光電変換素子は互いに距離ｄｂだけ隔てられている。一般に距離ｄｂは間隔ｄａほどに小さくすることはできない。
その場合、ｄｂが、ｄａの２倍になるようにセンサーチップを配置するのが望ましい。そうすれば、センサーチップ相互間に一つの画素が欠落しているものとして補間処理をすることができ、高品質な補間結果を得ることができるためである。以下そのような場合について説明する。
但し、ｄｂはｄａの２倍でなくても良く、ｄａとｄｂの比率に応じた補間を行うことも可能である。

また、以下で説明する補間処理は、センサーチップ間の、光電変換素子が存在しない位置の画素の補間に限らず、センサーチップ内の光電変換素子での読み取りで得られた画素信号が存在しても、その画素値が不正なもの、或いは信頼性の低いものである場合の補間にも適用可能である。そのような不正な画素値或いは信頼性が低い画素値が生じる理由としては、光電変換素子の不具合、光路中に存在する本来透明であるべき部品の汚れなどがある。

以下の説明における「欠落画素」には、光電変換素子が存在しない位置の画素のみならず、画素値が不正である或いは画素値の信頼性が低い等の理由で補間が必要となる画素を意味する。一方、画素値が存在し、補間が必要ではない画素を非欠落画素と言う。

密着イメージセンサー９００によって撮像を一度行うことで、１ラインの画像を表す撮像信号Ａｉが得られ、撮像信号ＡｉをＡ／Ｄ変換することで画像データＤｉが得られる。
密着イメージセンサー９００に対して原稿を副走査方向に移動させることで、複数ラインの画像データＤｉが順次得られる。

以下では、画像データＤｉで表される画像を入力画像と言い、同じ符号Ｄｉで表す。さらに画像データＤｉで表される画素値を原画素値と言い、同じ符号Ｄｉで表す。他の画像及び画素値についても同様である。

画素補間装置１は処理回路で実現可能である。処理回路は、専用のハードウェアで構成されていても良く、ソフトウェアで構成されていても良く、ハードウェアとソフトウェアの組合せで構成されていても良い。ソフトウェアで構成される場合、画素補間装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えたマイクロコンピュータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等で構成される。

画素補間装置１は、データ格納部２と、複数の補間演算部１１−１〜１１−Ｎ、２１−１〜２１−Ｍと、判定部４と、出力部５と、補間データ挿入部６とを有する。

データ格納部２は、画像データＤｉを格納する。
データ格納部２に格納された画像データＤｉは、読み出されて、複数の補間演算部１１−１〜１１−Ｎ、２１−１〜２１−Ｍと、判定部４と、補間データ挿入部６とに供給される。

複数の補間演算部１１−１〜１１−Ｎ、２１−１〜２１−Ｍの各々は、入力画像Ｄｉ中の欠落画素の画素値を補間し、補間された画素値（補間値）を、欠落画素の補間候補値Ｐ（ｈ）として出力部５に供給するとともに、欠落画素の近傍（近隣）の複数の非欠落画素をテスト画素として、当該テスト画素の各々の画素値を補間し、補間された画素値（補間値）を、当該テスト画素のテスト補間値Ｐ（ｔ）として判定部４に供給する。
テスト画素の補間をテスト補間と言う。テスト補間は、テスト画素の画素値が不明であると仮定して行われる。

各欠落画素の補間には、当該欠落画素の周辺の画素が参照される。
各テスト画素の補間（テスト補間）には、当該テスト画素の周辺の画素が参照される。
各テスト画素のテスト補間で参照される周辺の画素の、当該テスト画素に対する相対的位置は、各欠落画素の補間で参照される周辺の画素の、当該欠落画素に対する相対的位置と同じである。
テスト補間で用いられる補間演算方法は、欠落画素の補間で用いられる補間演算方法と同じである。

各欠落画素の近傍の複数の非欠落画素をテスト画素として行われるテスト補間を、当該欠落画素についてのテスト補間と言うことがある。

複数の補間演算部１１−１〜１１−Ｎ、２１−１〜２１−Ｍは、第１群の補間演算部１１−１〜１１−Ｎと第２群の補間演算部２１−１〜２１−Ｍと含む。

第１群の補間演算部１１−１〜１１−Ｎは、第１乃至第Ｎの平均維持補間演算部１１−１〜１１−Ｎから成る。Ｎは２以上の整数である。

第１乃至第Ｎの平均維持補間演算部１１−１〜１１−Ｎは、平均維持補間演算により補間を行う。
第１乃至第Ｎの平均維持補間演算部１１−１〜１１−Ｎ相互間では、補間で参照される画素の数が互いに異なる。

以下、平均維持補間演算部１１−１〜１１−Ｎの動作について説明する。最初に欠落画素の補間を行う場合の動作を説明する。

図４は入力画像Ｄｉの一部を示す図であり、平均維持補間演算部１１−１〜１１−Ｎの一つ、即ち第ｎの平均維持補間演算部１１−ｎ（ｎは１からＮのいずれか）における補間で参照される画素の位置を示す。入力画像Ｄｉ中における、欠落画素ＭＰの位置が予め分っているものとする。〇は非欠落画素を示し、×は欠落画素ＭＰを示す。

符号ＭＳ及びＮＡはそれぞれ、複数の相連続する画素から成る画素列を示す。画素列ＭＳは欠落画素ＭＰを含み、画素列ＮＡは欠落画素ＭＰを含まない。画素列ＭＳを欠落部と言い、画素列ＮＡを非欠落部と言う。以下の説明から明らかなように欠落部ＭＳ及び非欠落部ＮＡの画素は補間で参照される。欠落部ＭＳを構成する画素の数と非欠落部ＮＡを構成する画素の数とは互いに等しい。この数をｋで表す。ｋは図示の例では３である。
ｋはパラメータとして各平均維持補間演算部に予め設定されている。

複数の平均維持補間演算部１１−１〜１１−Ｎには互いに異なる値のパラメータｋが設定されており、その結果、平均維持補間演算部１１−１〜１１−Ｎ間では、補間で参照される画素の数が互いに異なるものとなる。

平均維持補間演算部１１−ｎは、欠落部ＭＳの画素の画素値の平均値が非欠落部ＮＡの画素の画素値の平均値と等しくなるように欠落画素ＭＰの画素値を補間する。即ち、欠落部ＭＳのうちの欠落画素ＭＰ以外の画素の画素値と、欠落画素ＭＰの補間値Ｐとの平均値が、非欠落部ＮＡの画素の画素値の平均値と等しくなるように、上記補間値Ｐを定める。

図５は平均維持補間演算部１１−ｎの構成例を示す機能ブロック図である。
平均維持補間演算部１１−ｎは、欠落部加算部１０１と、非欠落部加算部１０２と、減算部１０３とを有する。

データ格納部２から読み出された画像データＤｉは欠落部加算部１０１及び非欠落部加算部１０２に入力される。

欠落部加算部１０１は、欠落部ＭＳに含まれるｋ個の画素のうち欠落画素ＭＰ以外の画素の画素値の和を求め、欠落部合計ＭＱとして出力する。
非欠落部加算部１０２は、非欠落部ＮＡに含まれるｋ個の画素の画素値の和を求め、非欠落部合計ＳＡとして出力する。
減算部１０３は非欠落部合計ＳＡから欠落部合計ＭＱを減算する。
減算の結果得られる差分値が、欠落画素ＭＰの補間値Ｐとして用いられる。

以上の処理を数式で表すと、以下の通りとなる。
Ｐ＝ＳＡ−ＭＱ （１）

以上の処理を行うことで、減算部１０３から出力される補間値Ｐは、欠落部ＭＳの画素の画素値の平均値が非欠落部ＮＡの画素の画素値の平均値と等しくなるように定められたものとなる。

以下、その理由を説明する。
欠落部ＭＳの画素の画素値の平均値ＭＳａｖは、
ＭＳａｖ＝（ＭＱ＋Ｐ）／ｋ （２）
非欠落部ＮＡの画素の画素値の平均値ＮＡａｖは、
ＮＡａｖ＝ＳＡ／ｋ （３）
ＭＳａｖとＮＡａｖを等しくするには、下記の式が満たされるように補間値Ｐが定められれば良い。
（ＭＱ＋Ｐ）／ｋ＝ＳＡ／ｋ （４）
式（４）を変形することで、式（１）が得られる。
従って、上記の式（１）で表される処理によって補間値Ｐを定めれば、欠落部ＭＳの画素の画素値の平均値が非欠落部ＮＡの画素の画素値の平均値と等しくなる。

各平均維持補間演算部１１−ｎで各欠落画素について算出された補間値Ｐは、補間候補値Ｐ（ｈ）として出力部５に供給される。

平均維持補間演算部１１−１〜１１−Ｎは、画像のエッジ部分及び画素値が周期的に変化する画像部分で高精度に補間を行うことができる。画素値が周期的に変化する画像部分に関しては、高精度に補間できる画素値の変化の周期（従って空間周波数）は、補間で参照される画素の数によって変わる。そこで、平均維持補間演算部１１−１〜１１−Ｎが補間で参照する画素の数は、高精度に補間を行うことが望まれる画素値の変化の周期の範囲（言い換えれば、空間周波数の範囲）に応じて定められる。

図５に示される平均維持補間演算部１１−ｎは、テスト補間にも用いられる。
平均維持補間演算部１１−ｎでテスト補間を行うときの動作は、上記した欠落画素ＭＰの補間(補間候補値Ｐ（ｈ）の算出)を行うときの動作と同じである。但し、テスト補間の際は、各テスト画素を欠落画素と見なして補間演算が行われ、算出された画素値Ｐがテスト補間値Ｐ（ｔ）として出力される。

第２群の補間演算部２１−１〜２１−Ｍは、第１乃至第Ｍの補間演算部２１−１〜２１−Ｍから成る。Ｍは２以上の整数である。
第１乃至第Ｍの補間演算部２１−１〜２１−Ｍは、上記の平均維持補間演算とは異なる補間演算方法で補間を行う。
第１乃至第Ｍの補間演算部２１−１〜２１−Ｍ相互間では、補間に用いられる補間演算方法及び補間で参照される画素の数の少なくとも一方が互いに異なる。
第１乃至第Ｍの補間演算部２１−１〜２１−Ｍで行われる補間演算の例としては、線形補間演算、バイキュービック補間演算、及びランチョス補間演算がある。

第１乃至第Ｍの補間演算部２１−１〜２１−Ｍも、第１乃至第Ｎの平均維持補間演算部１１−１〜１１−Ｎと同様に、各欠落画素の補間候補値Ｐ（ｈ）を算出して、出力部５に供給するのみならず、当該欠落画素の近傍の複数の非欠落画素の各々についてテスト補間値Ｐ（ｔ）を算出して、判定部４に供給する。

判定部４には、補間演算部１１−１〜１１−Ｎ及び２１−１〜２１−Ｍからテスト補間値Ｐ（ｔ）が供給されるのみならず、データ格納部２からテスト画素の画素値（原画素値）Ｄｉが入力される。

判定部４は、補間演算部１１−１〜１１−Ｎ及び２１−１〜２１−Ｍから入力されたテスト補間値Ｐ（ｔ）と、データ格納部２から入力された原画素値Ｄｉとに基づいて、評価を行い、評価結果を示す誤差指標値を算出する。評価は、補間演算部の各々について、欠落画素毎に行われる。

各補間演算部についての誤差指標値は、例えば、各欠落画素についてのテスト補間の結果を集計することで求められる。例えば、各補間演算部についての誤差指標値は、当該補間演算部で各欠落画素の近傍の複数のテスト画素の各々について算出されたテスト補間値Ｐ（ｔ）と当該テスト画素の原画素値Ｄｉとの差分絶対値を、当該欠落画素の近傍のすべてのテスト画素について集計することで求められる。

例えば、上記の誤差指標値は、上記の差分絶対値の、全テスト画素についての積算値をテスト画素の数で割ることで得られる値、即ち、上記の差分絶対値の平均値（差分平均値）であっても良い。

テスト補間値Ｐ（ｔ）が算出されたテスト画素の数が全ての補間演算部相互間で等しい場合には、上記の誤差指標値は、上記の差分絶対値の、全テスト画素についての積算値（差分積算値）であっても良い。

上記の誤差指標値は、各欠落画素の近傍における、各補間演算部の適性、即ち、各補間演算部による補間演算の精度を表すものであり、当該誤差指標値が小さいほど、精度が高い（誤差の程度が小さい）と見ることができる。

補間演算部１１−１〜１１−Ｎ及び２１−１〜２１−Ｍの各々について、上記の誤差指標値が欠落画素毎に算出される。
判定部４は、各欠落画素について、上記の誤差指標値が最も小さい補間演算部を特定し、特定した補間演算部を示す信号（選択信号）ＨＳを出力部５に出力する。

上記のように、補間演算部１１−１〜１１−Ｎ及び２１−１〜２１−Ｍで各欠落画素について算出された補間値Ｐは補間候補値Ｐ（ｈ）として出力部５に入力される。

出力部５は、補間演算部１１−１〜１１−Ｎ及び２１−１〜２１−Ｍの出力（補間候補値）Ｐ（ｈ）の中から、判定部４からの選択信号ＨＳで示される補間演算部の出力を選択して、欠落画素の補間値ＨＶとして出力する。

補間データ挿入部６は、データ格納部２から読み出された画像データＤｉを受けるとともに、出力部５から出力された補間値ＨＶを受け、入力画像Ｄｉ中の各欠落画素の画素値として、出力部５から出力された当該欠落画素についての補間値ＨＶを挿入することで、欠落画素の画素値が充填された画像データＤｕを生成して出力する。

画像データＤｕは、欠落画素については補間値ＨＶを有し、非欠落画素については原画素値Ｄｉを有する。即ち、画像データＤｕで表される画素値Ｄｕは、欠落画素については補間値ＨＶと同じであり、非欠落画素については原画素値Ｄｉと同じである。

画素補間装置を以上のように構成することで、欠落画素の補間演算として当該欠落画素の近傍のテスト画素についてのテスト補間値が原画素値Ｄｉに最も近い補間演算を選択することができる。従って、画像（欠落画素の近傍の画像部分）の特徴に応じて最適な補間演算の結果を用いた画素補間を行うことができる。

上記のように、平均維持補間演算部１１−１〜１１−Ｎは、画像のエッジ部分及び画素値が周期的に変化する画像部分で高精度に補間を行うことができる。そして、画素値が周期的に変化する画像部分に関しては、画素値が変化する周期に応じて、複数の平均維持補間演算部のうちの最適のものが選択される。一方、画像のエッジ部分及び画素値が周期的に変化する画像部分以外では、平均維持補間演算部よりも他の補間演算部のいずれかによる補間の方が高精度となることがあり、その場合には、平均維持補間演算部以外の、補間がより高精度である補間演算部が選択される。従って、本実施の形態の画素補間装置では、画像の特徴に応じて最適な補間演算部が選択される。

また補間演算として平均維持補間を含むことで高い周波数で周期的に変化する画像部分及びエッジ部分を高精度で再現することができるようになる。

実施の形態２．
実施の形態２に係る画素補間装置１の全体的構成は、図１に示す如くである。
実施の形態２では平均維持補間演算部１１−１〜１１−Ｎの各々での処理内容が実施の形態１とは異なる。

即ち、実施の形態１では、各平均維持補間演算部１１−ｎが補間で参照する欠落部の画素の数と非欠落部の画素の数とが同じであるが、実施の形態２では、非欠落部の画素の数が欠落部の画素の数よりも多い。

図６は入力画像Ｄｉの一部を示す図であり、本実施の形態における平均維持補間演算部１１−ｎにおける補間で参照される画素の位置を示す。
図４と同様に、入力画像Ｄｉ中における、欠落画素ＭＰの位置が予め分っているものとする。〇は非欠落画素を示し、×は欠落画素ＭＰを示す。
欠落部ＭＳ及び非欠落部ＮＡは、図４と同様に、複数の画素から成る画素列であり、欠落部ＭＳは、欠落画素ＭＰを含み、非欠落部ＮＡは欠落画素ＭＰを含まない。
図４とは異なり、欠落部ＭＳを構成する画素の数ｋａより、非欠落部ＮＡを構成する画素の数ｋｂが多い。
図示の例ではｋａ＝３、ｋｂ＝６である。
ｋａ及びｋｂはパラメータとして各平均維持補間演算部に予め設定されている。

複数の平均維持補間演算部１１−１〜１１−Ｎは、パラメータｋａ及びｋｂの少なくとも一方の値が互いに異なる。
パラメータｋａ、ｋｂの値によって補間で参照される画素の数が決まる。従って、複数の平均維持補間演算部１１−１〜１１−Ｎは、補間で参照される画素の数が互いに異なる。

実施の形態１と同様に、平均維持補間演算部１１−ｎは、欠落部ＭＳの画素の画素値の平均値が非欠落部ＮＡの画素の画素値の平均値と等しくなるように欠落画素ＭＰの画素値Ｐを補間する。

図７は実施の形態２で用いられる平均維持補間演算部１１−ｎの構成例を示す機能ブロック図である。
図７の平均維持補間演算部１１−ｎは図５の平均維持補間演算部１１−ｎと概して同じである。異なるのは、乗算部１０４が付加されている点である。
乗算部１０４は、非欠落部加算部１０２の出力ＳＡにパラメータ比ｋａ／ｋｂを掛ける。

減算部１０３は、乗算部１０４の出力（ＳＡ・ｋａ／ｋｂ）から欠落部加算部１０１の出力ＭＱを減算する。
減算の結果得られる差分値が、欠落画素ＭＰの補間値Ｐとして用いられる。

以上の処理を数式で表すと、以下の通りとなる。
Ｐ＝ＳＡ・ｋａ／ｋｂ−ＭＱ （５）

以上の処理を行うことで、減算部１０３から出力される補間値Ｐは、欠落部ＭＳの画素の画素値の平均値が非欠落部ＮＡの画素の画素値の平均値と等しくなるように定められたものとなる。
欠落画素ＭＰについて算出された補間値Ｐは補間候補値Ｐ（ｈ）として出力部５に供給される。

テスト補間は欠落画素の補間と同様に行われ、補間値Ｐがテスト補間値Ｐ（ｔ）として判定部４に供給される。

なお図６では非欠落部は連続した複数の画素から成るが、不連続な複数の画素で非欠落部を構成しても良い。例えば、欠落画素ＭＰの一方の側（図で左側）に位置する複数の相連続する画素と、欠落画素ＭＰの他方の側（図で右側）に位置する複数の相連続する画素とで、非欠落部を構成しても良い。

平均維持補間演算部１１−１〜１１−Ｎを上記のような構成にすることで、非欠落部の画素の画素数が多くなり、実施の形態１の方法に比べて欠落画素の補間値がより自然なものとなる。

実施の形態３．
実施の形態３に係る画素補間装置１ｃの概略構成は、図８に示す如くである。
図８に示される画素補間装置１ｃは、図１の画素補間装置１と概して同じであるが、以下の点で異なる。

即ち、図１の平均維持補間演算部１１−１〜１１−Ｎの代わりに、平均維持補間演算部１３−１〜１３−Ｎが設けられている。

第１乃至第Ｎの平均維持補間演算部１３−１〜１３−Ｎはいずれも平均維持補間演算を行うものであるが、補間で参照する画素の数が互いに異なる。
第１乃至第Ｎの平均維持補間演算部１３−１〜１３−Ｎの各々、即ち第ｎの平均維持補間演算部１３−ｎは、実施の形態１の第ｎの平均維持補間演算部１１−ｎと同様のものであるが、補間で参照する画素の配置が異なり、さらに欠落画素の一方の側に位置する複数の非欠落画素の画素値の和と他方の側に位置する複数の非欠落画素の画素値の和との差分を算出する機能を有する。

以下、実施の形態３の平均維持補間演算部１３−１〜１３−Ｎの動作について、実施の形態１及び２の平均維持補間演算部１１−１〜１１−Ｎと比較しながら説明する。最初に欠落画素の補間について説明する。

図９は、入力画像Ｄｉの一部を示す図であり、本実施の形態における平均維持補間演算部１３−ｎにおける補間で参照される画素の位置を示す。
図４及び図６と同様に、入力画像Ｄｉ中における、欠落画素ＭＰの位置が予め分っているものとする。〇は非欠落画素を示し、×は欠落画素ＭＰを示す。

欠落部ＭＳは、図６と同様に、ｋａ個の画素から成る画素列であり、欠落部ＭＳは、欠落画素ＭＰを含む。

非欠落部ＮＡは、図４及び図６とは異なり、欠落画素ＭＰの一方の側に位置する第１の部分ＮＬと、欠落画素ＭＰの他方の側に位置する第２の部分ＮＲとに分かれている。
以下では、第１の部分ＮＬを左側部と言い、第２の部分ＮＲを右側部と言う。

左側部ＮＬ及び右側部ＮＲの各々は複数の画素から成る画素列であり、いずれも欠落画素ＭＰを含まない。
左側部ＮＬと右側部ＮＲとは、互いに同じ数の画素から成り、欠落画素ＭＰを中心として対称となるように形成されている。
例えば左側部ＮＬ及び右側部ＮＲの各々を構成する画素の数ｋｃは、欠落部ＭＳを構成する画素の数ｋａと同じである。
図示の例ではｋａ＝ｋｃ＝３である。
従って、左側部ＮＬと右側部ＮＲから成る非欠落部ＮＡを構成する画素の数ｋｂはｋｃの２倍である。
ｋａ及びｋｃは、パラメータとして各平均維持補間演算部に予め設定されている。

第１乃至第Ｎの平均維持補間演算部１３−１〜１３−Ｎは、パラメータｋａ及びｋｃの少なくとも一方の値が互いに異なる。従って補間で参照される画素の数が異なる。

なお、ｋａ及びｋｃの代わりに、ｋａ及びｋｂをパラメータとして各平均維持補間演算部に予め設定しておくこととしても良い。

第ｎの平均維持補間演算部１３−ｎは、実施の形態１及び２の第ｎの平均維持補間演算部１１−ｎと同様に、欠落部ＭＳの画素の画素値の平均値が非欠落部ＮＡの画素の画素値の平均値と等しくなるように欠落画素ＭＰの画素値を補間する。但し、非欠落部ＮＡには、左側部ＮＬと右側部ＮＲとが含まれる。

図１０は平均維持補間演算部１３−ｎの構成例を示す機能ブロック図である。
図１０の平均維持補間演算部１３−ｎは、欠落部加算部１０１と、左側部加算部１０５と、右側部加算部１０６と、合計算出部１０７と、乗算部１０４と、減算部１０３と、差分算出部１０８とを有する。

欠落部加算部１０１は欠落部ＭＳに含まれるｋａ個の画素のうち欠落画素ＭＰ以外の画素の画素値の和を求め、欠落部合計ＭＱとして出力する。

左側部加算部１０５は左側部ＮＬに含まれるｋｃ個の画素の画素値の和を求め、左側部分和ＳＬとして出力する。
右側部加算部１０６は右側部ＮＲに含まれるｋｃ個の画素の画素値の和を求め、右側部分和ＳＲとして出力する。
合計算出部１０７は、左側部分和ＳＬと右側部分和ＳＲとを加算し、加算結果を非欠落部合計ＳＡとして出力する。
左側部加算部１０５と、右側部加算部１０６と、合計算出部１０７とで、非欠落部加算部１０２ｃが構成されている。

乗算部１０４は、非欠落部加算部１０２ｃの出力ＳＡにパラメータ比ｋａ／ｋｂを掛ける。
減算部１０３は、乗算部１０４の出力（ＳＡ・ｋａ／ｋｂ）から欠落部加算部１０１の出力ＭＱを減算する。
減算の結果得られる差分値が、欠落画素ＭＰの補間値Ｐとして用いられる。
以上の処理を数式で表すと、以下の通りとなる。
Ｐ＝（ＳＬ＋ＳＲ）・ｋａ／ｋｂ−ＭＱ （６）

以上の処理を行うことで、減算部１０３からは、部分和ＳＬ、ＳＲ、及び欠落部合計ＭＱに基づいて、欠落部ＭＳの画素の画素値の平均値が非欠落部ＮＡの画素の画素値の平均値と等しくなるように定められた欠落画素ＭＰの補間値Ｐが出力される。
欠落画素ＭＰについて算出された補間値Ｐは補間候補値Ｐ（ｈ）として出力部５に供給される。

差分算出部１０８は、左側部加算部１０５の出力（左側部分和）ＳＬと、右側部加算部１０６の出力（右側部分和）ＳＲとの差分絶対値を算出する。算出された差分絶対値は、左右差分値ＤＬＲとして判定部４ｃに送られる。

各欠落画素について算出された左右差分値ＤＬＲは、当該欠落画素の左側に位置する左側部（一方の側に位置する第１の部分）の画素の画素値の和と、当該欠落画素の右側に位置する右側部（他方の側に位置する第２の部分）の画素の画素値の和との差分を表すものである。

テスト補間値の演算も上記と同様に行われる。即ち、各平均維持補間演算部１３−ｎは、平均維持補間演算部１１−ｎと同様に、欠落画素の近傍の複数の非欠落画素をテスト画素として、当該テスト画素の各々について補間演算を行って補間値Ｐを算出し、算出した補間値Ｐをテスト補間値Ｐ（ｔ）として判定部４ｃに供給する。
但し、テスト画素については、左右差分値ＤＬＲの算出は行わない。

補間演算部２１−１〜２１−Ｍの動作は実施の形態１と同じである。
平均維持補間演算部１３−１〜１３−Ｎ及び補間演算部２１−１〜２１−Ｍから供給されたテスト補間値Ｐ（ｔ）に基づいて、判定部４ｃが誤差指標値を算出する点は、実施の形態１及び２と同じである。

実施の形態３の判定部４ｃは、誤差指標値が最も小さい補間演算部が平均維持補間演算部１３−１〜１３−Ｎのいずれかである場合の動作が実施の形態１及び実施の形態２の判定部４とは異なる。
上記のような場合、判定部４ｃは誤差指標値が最も小さいと判断された平均維持補間演算部に対応する左右差分値ＤＬＲが予め定められた閾値ＤＬＲｔｈよりも大きいかどうかの判定を行い、当該左右差分値ＤＬＲが閾値ＤＬＲｔｈよりも大きい場合には、判定部４ｃは、補間演算部２１−１〜２１−Ｍのうちの予め指定された補間演算部を選択し、選択結果を出力部５に通知する。

予め指定された補間演算部は、例えば、欠落画素に近接する画素、例えば隣接する画素を用いて補間演算を行うものである。補間演算としては、例えば線形補間演算又はバイキュービック補間演算が用いられる。線形補間演算を行う場合には、欠落画素に隣接する一対の非欠落画素の平均値を求める。バイキュービック補間演算を行う場合には、欠落画素に隣接する一対の非欠落画素及び当該一対の非欠落画素に隣接する画素（当該一対の非欠落画素のいずれかに隣接し、欠落画素とは反対側に位置する画素）を参照画素として用いる。

欠落画素の左側と右側とで画素値の差が大きい場合には、平均維持補間では不自然な画素値が算出される場合がある。そこで、本実施の形態では、そのような場合に適した補間演算方法を用いることで、より自然な画素値が得られるようにしている。

上記の実施の形態では、複数の平均維持補間演算部１３−１〜１３−Ｎの各々において、左右差分値を求め、複数の平均維持補間演算部１３−１〜１３−Ｎのうちの、誤差指標値に基づいて選択された平均維持補間演算部で求められた左右差分値が閾値よりも大きいかどうかの判定をしている。
このようにする代わりに、複数の平均維持補間演算部１３−１〜１３−Ｎのいずれか一つで左右差分値を求め、求められた左右差分値が閾値よりも大きいかどうかの判定をすることとしても良い。

また、第２群の補間演算部２１−１〜２１−Ｍのいずれか一つで左右差分値を求め、求められた左右差分値が閾値よりも大きいかどうかの判定をすることとしても良い。
さらに、複数の補間演算部のうちの２以上の補間演算部で左右差分値を求め、求められた２以上の左右差分値に基づいて差分指標値を求め、求められた差分指標値が閾値よりも大きいか否かの判定をすることとしても良い。

要するに、複数の補間演算部（１３−１〜１３−Ｎ、２１−１〜２１−Ｍ）のうちの一つ以上の補間演算部で左右差分値を求め、求めた左右差分値、又は、左右差分値に基づいて算出した差分指標値が、閾値よりも大きいか否かの判定を行うこととすれば良い。

以上の実施の形態３で画素の位置、非欠落部の位置に関し「左」、「右」と言った表現を用いたが、これは便宜上のものであって、要するに欠落画素の一方の側、他方の側を意味する。
即ち、判定部は、第１の部分ＮＬの画素値の和と第２の部分ＮＲの画素値の和との差分絶対値又は該差分絶対値に基づいて定められた差分指標値が予め定められた閾値よりも大きい場合には、第２群の補間演算部のうちの予め指定された補間演算部を選択することとすれば良い。

実施の形態１〜３で、データ格納部２から出力される画像データは画像の輝度を表すものであっても良く、色成分を表すものであっても良い。言い換えれば、画素補間装置で処理の対象となる画素値は輝度値であっても良く、色成分値であっても良い。

画像がカラー画像である場合には、実施の形態１〜３で説明した画素補間装置を色成分値毎に設けることとすれば良い。
次に、３つの色成分値にそれぞれ対応して設けられた３つの画素補間装置を備えるとともに、色差成分値に対してクリップ処理を行う画像処理装置を、実施の形態４として説明する。

実施の形態４．
図１１は、本発明の実施の形態４の画像処理装置の概略構成を示す機能ブロック図である。
図１１に示される画像処理装置は、Ｒ画素補間装置２０１、Ｇ画素補間装置２０２、Ｂ画素補間装置２０３、輝度色差算出部２０５、色差算出部２０６、クリップ値決定部２０７、クリップ処理部２０８、及び色成分復元部２０９を有する。

Ｒ画素補間装置２０１、Ｇ画素補間装置２０２及びＢ画素補間装置２０３の各々は、実施の形態１、２又は３の画素補間装置と同様の構成を有する。実施の形態１、２又は３の画素補間装置においては画像データＤｉを入力し、画像データＤｕを出力するが、本実施の形態のＲ画素補間装置２０１、Ｇ画素補間装置２０２、Ｂ画素補間装置２０３はそれぞれＲ画像データＲｉ、Ｇ画像データＧｉ、Ｂ画像データＢｉを入力し、Ｒ画像データＲｕ、Ｇ画像データＧｕ、Ｂ画像データＢｕを出力するものである。

Ｒ画像データＲｉ、Ｇ画像データＧｉ、Ｂ画像データＢｉは、例えば、それぞれＲ、Ｇ、Ｂの光（波長成分）に感度を有する光電変換素子を含む撮像部で原稿を読み取ることで得られる。Ｒ、Ｇ、Ｂの光に感度を有する光電変換素子は、例えば、Ｒ、Ｇ、Ｂの光を透過させるカラーフィルタを備えた光電変換素子である。

Ｒ画素補間装置２０１は、入力されるＲ画像データＲｉで表される画像中の欠落画素の画素値（Ｒ成分値）を補間する。即ち、Ｒ画像データＲｉで表される原画素値（Ｒ成分値）Ｒｉに基づいて、欠落画素の補間値を決定し、補間値が欠落画素のＲ成分値として充填された画像データＲｕを出力する。
画像データＲｕで表されるＲ成分値Ｒｕは、欠落画素については補間値と同じであり、非欠落画素については原画素値（入力されたＲ成分値）Ｒｉと同じである。

Ｇ画素補間装置２０２は、入力されるＧ画像データＧｉで表される画像中の欠落画素の画素値（Ｇ成分値）を補間する。即ち、Ｇ画像データＧｉで表される原画素値（Ｇ成分値）Ｇｉに基づいて、欠落画素の補間値を決定し、補間値が欠落画素のＧ成分値として充填された画像データＧｕを出力する。
画像データＧｕで表されるＧ成分値Ｇｕは、欠落画素については補間値と同じであり、非欠落画素については原画素値（入力されたＧ成分値）Ｇｉと同じである。

Ｂ画素補間装置２０３は、入力されるＢ画像データＢｉで表される画像中の欠落画素の画素値（Ｂ成分値）を補間する。即ち、Ｂ画像データＢｉで表される原画素値（Ｂ成分値）Ｂｉに基づいて、欠落画素の補間値を決定し、補間値が欠落画素のＢ成分値として充填された画像データＢｕを出力する。
画像データＢｕで表されるＢ成分値Ｂｕは、欠落画素については補間値と同じであり、非欠落画素については原画素値（入力されたＢ成分値）Ｂｉと同じである。

Ｒ画素補間装置２０１、Ｇ画素補間装置２０２及びＢ画素補間装置２０３の各々で行われる画素補間は、例えば、実施の形態１、２及び３のいずれかの画素補間装置で行われる画素補間と同じである。但し、画素補間装置に含まれる補間演算部の数、各補間演算部における補間で用いられる補間演算方法及び補間で参照される画素の数を、色成分毎に異なるものとしても良い。そうすることで、色成分毎に、当該色成分の画像の特徴に応じてより適切な補間を行うことが可能となる。

輝度色差算出部２０５は、画像データＲｕ、Ｇｕ、Ｂｕ中の、同じ画素についてのＲ成分値Ｒｕ、Ｇ成分値Ｇｕ、Ｂ成分値Ｂｕを、輝度値Ｙｕと色差成分値Ｃｂｕ、Ｃｒｕとに変換し、変換で得られた輝度値Ｙｕと色差成分値Ｃｂｕ、Ｃｒｕとを出力する。
変換には公知の変換式が用いられる。例えば色成分値が８ビットで表されるものである場合には、以下の式が用いられる。
Ｙｕ＝０．２５７・Ｒｕ＋０．５０４・Ｇｕ＋０．０９８・Ｂｕ＋１６
Ｃｂｕ＝−０．１４８・Ｒｕ−０．２９１・Ｇｕ＋０．４３９・Ｂｕ＋１２８
Ｃｒｕ＝０．４３９・Ｒｕ−０．３６８・Ｇｕ−０．０７１・Ｂｕ＋１２８

色差算出部２０６は、画像データＲｉ、Ｇｉ、Ｂｉ中の、同じ画素についてのＲ成分値Ｒｉ、Ｇ成分値Ｇｉ及びＢ成分値Ｂｉを、色差成分値Ｃｂｉ、Ｃｒｉに変換し、変換で得られた色差成分値Ｃｂｉ、Ｃｒｉを出力する。色差成分値Ｃｂｉ、Ｃｒｉへの変換には、ＲＧＢからＹＣｂＣｒへの公知の変換式を利用することができる。但し、Ｙ（輝度値）は用いないので算出不要である。例えば、色成分値が８ビットで表されるものである場合には以下の式が用いられる。
Ｃｂｉ＝−０．１４８・Ｒｉ−０．２９１・Ｇｉ＋０．４３９・Ｂｉ＋１２８
Ｃｒｉ＝０．４３９・Ｒｉ−０．３６８・Ｇｉ−０．０７１・Ｂｉ＋１２８

クリップ値決定部２０７では、入力画像の予め定められた範囲内の画素を、クリップ値の算出のために参照する画素（クリップ値算出参照画素）と指定し、クリップ値算出参照画素について色差算出部２０６での変換で得られたＣｂ成分値及びＣｒ成分値から、クリップ値を決定する。
クリップ値決定部２０７は、例えば各欠落画素に対してクリップ値を決定する。その場合、上記の予め定められた範囲は、当該欠落画素の周辺の画素から成る範囲である。
欠落画素の周辺とは、例えば欠落画素からの距離が予め定められた値以下である範囲を言う。

クリップ値としては、例えば、Ｃｂ成分及びＣｒ成分の各々に対して上側クリップ値及び下側クリップ値が決定される。
例えば、クリップ値算出参照画素の色差成分値Ｃｂｉのうちの最大値又は最大値に近い値がＣｂ成分上側クリップ値Ｃｂｍａｘと決定され、クリップ値算出参照画素の色差成分値Ｃｂｉのうちの最小値又は最小値に近い値がＣｂ成分下側クリップ値Ｃｂｍｉｎと決定され、クリップ値算出参照画素の色差成分値Ｃｒｉのうちの最大値又は最大値に近い値がＣｒ成分上側クリップ値Ｃｒｍａｘと決定され、クリップ値算出参照画素の色差成分値Ｃｒｉのうちの最小値又は最小値に近い値がＣｒ成分下側クリップ値Ｃｒｍｉｎと決定される。

「最大値に近い値」とは、例えば、色差成分値を大きいものから順に並べたときに予め定められた順位のものが有する値である。予め定められた順位は、クリップ値算出参照画素の数に応じて定められていても良い。例えば、クリップ値算出参照画素のうちの、予め定められた割合に相当する数に等しい値に定められていても良い。
同様に、「最小値に近い値」とは、例えば、色差成分値を小さいものから順に並べたときに予め定められた順位のものが有する値である。予め定められた順位は、クリップ値算出参照画素の数に応じて定められていても良い。

クリップ処理部２０８では、クリップ値決定部２０７で決定された上側クリップ値及び下側クリップ値をそれぞれ上限及び下限として、色差成分値Ｃｂｕ、Ｃｒｕに対してクリップ処理を行い、クリップ処理後の色差成分値Ｃｂｅ、Ｃｒｅを出力する。

色成分復元部２０９は、クリップ処理部２０８から出力された色差成分値Ｃｂｅ、Ｃｒｅと、輝度色差算出部２０５から出力された輝度値Ｙｕとから色成分値への変換を行い、変換後のＲ、Ｇ、Ｂ成分値Ｒｏ、Ｇｏ、Ｂｏを出力する。
変換には公知の変換式を用いることができる。例えば、Ｙｕ、Ｃｂｅ、Ｃｒｅが８ビットで表される場合には、以下の式を用いることができる。
Ｒｏ＝１．１６４・（Ｙｕ−１６）＋１．５９６・（Ｃｒｅ−１２８）
Ｇｏ＝１．１６４・（Ｙｕ−１６）−０．３９１・（Ｃｂｅ−１２８）−０．８１３・（Ｃｒｅ−１２８）
Ｂｏ＝１．１６４・（Ｙｕ−１６）＋２．０１８・（Ｃｂｅ−１２８）

以上ＲＧＢからＣｂＣｒへの変換で生成されるＣｂ成分値及びＣｒ成分値に対してクリップ処理をすることとしているが、ＹＰｂＰｒへの変換で生成されるＰｂ成分値及びＰｒ成分値に対してクリップ処理することとしても良い。また、ＹＵＶへの変換で生成されるＵ成分値及びＶ成分値に対してクリップ処理することとしても良い。
要するに、輝度成分と色差成分への変換で生成される色差成分に対してクリップ処理を行うこととすれば良い。
そうすることで、輝度については変更を加えず、偽色の発生を抑えることが可能である。

上記の例ではクリップ値として、上側クリップ値及び下側クリップ値を含むが上側クリップ値及び下側クリップ値の一方のみであっても良い。

画素補間装置を以上のように構成することで、Ｒ、Ｇ、Ｂの色成分毎の補間演算が独立に実施され、カラー画像における欠落画素部分に発生する偽色を抑制することができる。また、カラー画像における補間画素が不自然となるのを抑制することができる。

以上本発明を画素補間装置及び画像処理装置として説明した。上記の画素補間装置で実施される画素補間方法及び上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。
また、上記の画素補間装置又は画素補間方法における処理をコンピュータに実行させるためのプログラム、並びに上記の画像処理装置又は画像処理方法における処理をコンピュータに実行させるためのプログラムもまた本発明の一部を成す。
さらに、上記のプログラムを記録した、コンピュータで読取り可能な記録媒体もまた本発明の一部を成す。

１、１ｃ 画素補間装置、 ２ データ格納部、 ４、４ｃ 判定部、 ５ 出力部、 ６ 補間データ挿入部、 １１−１〜１１−Ｎ、１３−１〜１３−Ｎ 平均維持補間演算部、 ２１−１〜２１−Ｍ 補間演算部、 １０１ 欠落部加算部、 １０２ 非欠落部加算部、 １０３ 減算部、 １０４ 乗算部、 １０５ 左側部加算部、 １０６ 右側部加算部、 １０７ 合計算出部、 １０８ 差分算出部、 ２０１ Ｒ画素補間装置、 ２０２ Ｇ画素補間装置、 ２０３ Ｂ画素補間装置、 ２０５ 輝度色差算出部、 ２０６ 色差算出部、 ２０７ クリップ値決定部、 ２０８ クリップ処理部、 ２０９ 色成分復元部。

Claims (18)

1. 各々入力画像中の欠落画素の画素値を、当該入力画像を構成する画素の画素値に基づいて補間する複数の補間演算部と、
   判定部と、
   出力部とを有し、
   前記複数の補間演算部の各々は、前記欠落画素の画素値を補間し、補間された画素値を、補間候補値として出力し、前記欠落画素の近傍の複数の非欠落画素をテスト画素として、前記テスト画素の各々の画素値を補間し、補間された画素値を、当該テスト画素のテスト補間値として出力し、
   前記テスト画素の補間は、前記欠落画素の補間と同じ補間演算方法で行われ、
   前記複数の補間演算部は、第１群の補間演算部と、第２群の補間演算部とを含み、
   前記第１群の補間演算部は、平均維持補間演算により補間を行うものであり、
   前記第１群の補間演算部相互間では、参照される画素の数が互いに異なり、
   前記第２群の補間演算部は、前記平均維持補間演算とは異なる補間演算で補間を行うものであり、
   前記第２群の補間演算部相互間では、補間演算方法及び参照される画素の数の少なくとも一方が互いに異なり、
   前記判定部は、各欠落画素の近傍の複数のテスト画素の各々についての前記テスト補間値と、当該テスト画素の画素値との差分絶対値に基づいて、各補間演算部についての誤差指標値を算出し、算出した誤差指標値に基づいて前記複数の補間演算部のいずれかを選択し、
   前記出力部は、各欠落画素について前記複数の補間演算部から出力される補間候補値のうち、前記判定部で選択された補間演算部から出力される補間候補値を選択して出力する
   画素補間装置。
2. 前記平均維持補間演算は、
   前記欠落画素を含む複数の画素から成る欠落部の画素の画素値の平均値が前記欠落画素を含まない複数の画素から成る非欠落部の画素の画素値の平均値と等しくなるように前記欠落画素の画素値を補間する
   ことを特徴とする請求項１に記載の画素補間装置。
3. 前記欠落部の画素の数と前記非欠落部の画素の数とが互いに等しいことを特徴とする請求項２に記載の画素補間装置。
4. 前記平均維持補間演算において、
   前記欠落部のうちの前記欠落画素以外の画素の画素値の和を欠落部合計として求め、
   前記非欠落部の画素の画素値の和を非欠落部合計として求め、
   前記非欠落部合計から前記欠落部合計を減算することで得られる差分値を前記欠落画素の画素値として算出する
   ことを特徴とする請求項３に記載の画素補間装置。
5. 前記欠落部の画素の数よりも前記非欠落部の画素の数の方が多いことを特徴とする請求項２に記載の画素補間装置。
6. 前記平均維持補間演算において、
   前記欠落部のうちの前記欠落画素以外の画素の画素値の和を欠落部合計として求め、
   前記非欠落部の画素の画素値の和を非欠落部合計として求め、
   前記非欠落部の画素の数に対する前記欠落部の画素の数の比と前記非欠落部合計との積から前記欠落部合計を減算することで得られる差分値を前記欠落画素の画素値として算出する
   ことを特徴とする請求項５に記載の画素補間装置。
7. 複数の前記平均維持補間演算のうちの少なくとも一つの平均維持補間演算における補間で参照される前記非欠落部が、前記欠落画素の一方の側に位置する第１の部分と、前記欠落画素の他方の側に位置する第２の部分とから成り、
   前記判定部は、
   前記第１の部分の画素の画素値の和と前記第２の部分の画素の画素値の和との差分絶対値又は該差分絶対値に基づいて定められる差分指標値が予め定められた閾値よりも大きい場合には、前記第２群の補間演算部のうちの予め指定された補間演算部を選択する
   請求項２に記載の画素補間装置。
8. 前記予め指定された補間演算部は線形補間演算又はバイキュービック補間演算を行うものである請求項７に記載の画素補間装置。
9. 前記線形補間演算は、欠落画素に隣接する非欠落画素を参照して行われるものである請求項８に記載の画素補間装置。
10. 前記バイキュービック補間演算は、欠落画素に隣接する非欠落画素及び当該非欠落画素に隣接し、前記欠落画素とは反対の側に位置する非欠落画素を参照して行われるものである請求項８に記載の画素補間装置。
11. 前記入力画像は３つの色成分値で表されるカラー画像であり、
    それぞれ色成分値に対応して設けられ、各々対応する色成分値の補間を行う３つの画素補間装置と、
    前記３つの画素補間装置から出力された色成分値を、輝度値と第１及び第２の色差成分値とに変換する輝度色差算出部と、
    前記入力画像の色成分値を、第１及び第２の色差成分値に変換する色差算出部と、
    前記色差算出部での変換で得られた前記第１及び第２の色差成分値から少なくとも一つのクリップ値を決定するクリップ値決定部と、
    前記輝度色差算出部での変換で得られた前記第１及び第２の色差成分値を、前記クリップ値決定部で決定された前記少なくとも一つのクリップ値で制限するクリップ処理部と、
    前記クリップ処理部で制限された前記第１及び第２の色差成分値と、前記輝度色差算出部での変換で得られた前記輝度値とを、色成分値に変換する色成分値復元部とを有し、
    前記画素補間装置の各々が請求項１から１０のいずれか１項に記載された画素補間装置であり、対応する色成分値を画素値として補間を行う
    画像処理装置。
12. 前記クリップ値決定部で決定される前記少なくとも一つのクリップ値が、上側クリップ値と下側クリップ値とを含むことを特徴とする請求項１１に記載の画像処理装置。
13. 前記クリップ値決定部が、前記入力画像の予め定められた範囲内の画素について前記色差算出部での変換で得られた前記第１及び第２の色差成分値から、前記少なくとも一つのクリップ値を決定することを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 前記予め定められた範囲が各欠落画素の周辺の画素から成る範囲であることを特徴とする請求項１３に記載の画像処理装置。
15. 前記輝度色差算出部での変換で得られる前記第１の色差成分値及び前記色差算出部での変換で得られる前記第１の色差成分値がＣｂ成分値であり、
    前記輝度色差算出部での変換で得られる前記第２の色差成分値及び前記色差算出部での変換で得られる前記第２の色差成分値がＣｒ成分値である
    ことを特徴とする請求項１１から１４のいずれか１項に記載の画像処理装置。
16. 各々入力画像中の欠落画素の画素値を、当該入力画像を構成する画素の画素値に基づいて補間する複数の補間演算ステップと、
    判定ステップと、
    出力ステップとを有し、
    前記複数の補間演算ステップの各々は、前記欠落画素の画素値を補間し、補間された画素値を、補間候補値として出力し、前記欠落画素の近傍の複数の非欠落画素をテスト画素として、前記テスト画素の各々の画素値を補間し、補間された画素値を、当該テスト画素のテスト補間値として出力し、
    前記テスト画素の補間は、前記欠落画素の補間と同じ補間演算方法で行われ、
    前記複数の補間演算ステップは、第１群の補間演算ステップと、第２群の補間演算ステップとを含み、
    前記第１群の補間演算ステップは、平均維持補間演算により補間を行うものであり、
    前記第１群の補間演算ステップ相互間では、参照される画素の数が互いに異なり、
    前記第２群の補間演算ステップは、前記平均維持補間演算とは異なる補間演算で補間を行うものであり、
    前記第２群の補間演算ステップ相互間では、補間演算方法及び参照される画素の数の少なくとも一方が互いに異なり、
    前記判定ステップは、各欠落画素の近傍の複数のテスト画素の各々についての前記テスト補間値と、当該テスト画素の画素値との差分絶対値に基づいて、各補間演算ステップについての誤差指標値を算出し、算出した誤差指標値に基づいて前記複数の補間演算ステップのいずれかを選択し、
    前記出力ステップは、各欠落画素について前記複数の補間演算ステップから出力される補間候補値のうち、前記判定ステップで選択された補間演算ステップから出力される補間候補値を選択して出力する
    画素補間方法。
17. 請求項１６に記載の画素補間方法における処理をコンピュータに実行させるプログラム。
18. 請求項１７に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images