JP4451044B2 - 混成画素補間装置および混成画素補間方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、１画素につき１つの色成分のみをもつ原画像データについて、当該画素に欠けている色成分を補間する画素補間装置および画素補間方法に関する。
【０００２】
【従来の技術】
デジタルカメラでは、被写体から入射した光は、レンズなどの光学系や光学フィルタなどを透過した後に結像し、ＣＣＤセンサやＣＭＯＳセンサなどの撮像センサで検出され光電変換を施されて、原画像データ（Raw Image Data）として出力される。一般に、撮像センサに入射した光は、光電変換を施される前に、色フィルタアレイを透過して各画素毎に着色される。色フィルタアレイは、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の３原色、若しくは、Ｙ（黄色），Ｍ（マゼンダ色），Ｇ（緑色），Ｃ（シアン色）などの補色の色フィルタを所定の規則で配列したものが一般的である。一枚の撮像センサを用いる単板式の色フィルタアレイの場合は、各画素につき一色の色フィルタしか形成されていないため、撮像センサは、各画素につき１色成分しか持たない原画像データを出力する。その原画像データはそのままディスプレイ・モニターに表示できないため、原画像データ中の各画素に欠けている色成分を、周辺画素の色成分を参照して補間するという画素補間処理を行う必要がある。
【０００３】
図７および図８は、色フィルタの配列に合わせて各色成分をマトリクス状に配列した原画像データ１００，１１０を例示する模式図である。図７は、３原色系の色フィルタアレイの透過光を撮像した原画像データ１００を示しており、各画素にＲ，Ｇ，Ｂの何れかの色成分が一対一で対応している。太線枠１０１で囲まれる２×２画素領域の色成分配列が基本配列である。また、図８は、補色系の色フィルタアレイの透過光を撮像した原画像データ１１０を示しており、各画素にＹ，Ｍ，Ｇ，Ｃの何れかの色成分が一対一で対応している。太線枠１１１で囲まれる２×２画素領域の色成分配列が基本配列である。
【０００４】
画素補間処理においては、例えば、図７に示すように、Ｂ成分のみをもつ中央部の着目画素に対して周辺画素における４つのＲ成分と４つのＧ成分とが参照される。そして、参照した色成分を各色毎に平均化するなどして、当該着目画素に欠けているＲ成分とＧ成分とが補間される。補色系の原画像データ１１０についても同様である。例えば、図８に示すように、Ｍ成分のみをもつ着目画素に対して周辺画素における４つのＣ成分、２つのＧ成分および２つのＹ成分を参照して、欠けているＣ成分，Ｇ成分およびＹ成分が補間される。このような画素補間法に限らず、多種多様な画素補間法が存在する。
【０００５】
しかしながら、着目画素近傍の周辺画素を参照して色成分を作り出すのであるから、本来存在しない偽色の発生や、ノイズ成分の拡大などの画質劣化が生じる。特に、金属質の画像領域、色のエッジ部分および色の偏りが大きな画像領域においては、偽色が発生し易いことが知られている。また、周辺画素を各色毎に平均化して補間するため、細かい模様などを示す高周波数成分が除去され易い。
【０００６】
また、図７，図８に示したように撮像センサ上の各画素は規則的に配列しているため、細かい縞模様や格子状のパターンを撮像すると、画素補間処理により着目画素近傍の周辺画素が互いに干渉し合い、モアレ（干渉縞）が発生することも知られている。
【０００７】
従って、以上の画質劣化を避けるために、従来から、着目画素近傍の画像パターンを検出し、各画像パターンに適した補間法に切り換えるという適応型画素補間処理が行われているが、上記画質劣化を完全に除去するに至っていないのが現状である。また、補間方法を画素単位で切り換えた場合、局所的な不連続性が発生し、画質がかえって劣化するという問題もある。
【０００８】
【発明が解決しようとする課題】
以上の現状などに鑑みて本発明が目的とするところは、画素補間処理に伴う画質劣化を大幅に改善し得る混成画素補間装置および混成画素補間方法を提供する点にある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１に係る発明は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素における色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、を備え、前記画素補間部の一は、前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、を有し、前記画素補間部の前記一に割り当てられる前記混合係数は、前記第２局所領域の色成分の偏りが大きいほど小さいことを特徴としたものである。
【００１０】
請求項２に係る発明は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、を備え、前記画素補間部の一は、前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、を有し、前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さい。
請求項３に係る発明は、請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する手段を有するものである。
【００１１】
請求項４に係る発明は、請求項２記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出するものである。
【００１２】
請求項５に係る発明は、請求項１または２記載の混成画素補間装置であって、前記混合係数演算部は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する手段を有するものである。
【００１３】
請求項６に係る発明は、請求項５記載の混成画素補間装置であって、前記統計値を、前記第２局所領域における各色毎の輝度の総和または平均値としたものである。
【００１４】
請求項７に係る発明は、請求項５記載の混成画素補間装置であって、前記統計値を、前記第２局所領域における前記色成分の各色毎の標準偏差または分散としたものである。
【００１５】
請求項８に係る発明は、請求項５〜７の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記混合係数を算出する手段を有するものである。
【００１６】
請求項９に係る発明は、請求項８記載の混成画素補間装置であって、前記偏り度を前記統計値の各色間の比率としたものである。
【００１７】
請求項１０に係る発明は、請求項９記載の混成画素補間装置であって、前記比率を前記統計値の中の最大値と最小値との比としたものである。
【００１８】
請求項１１に係る発明は、請求項８記載の混成画素補間装置であって、前記偏り度を前記統計値の各色間の差分としたものである。
【００１９】
請求項１２に係る発明は、請求項５〜１１の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出するものである。
【００２０】
請求項１３に係る発明は、請求項１〜１２の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える手段を更に備えたものである。
【００２２】
請求項１４に係る発明は、請求項１〜１３の何れか１項に記載の混成画素補間装置であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである。
【００２３】
次に、請求項１５に係る発明は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素における色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、（ｂ）前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データを前記混合係数に応じて画素単位で混合して前記画素補間データを生成する工程と、を備え、前記工程（ａ）の前記複数の画素補間工程のうち、一の画素補間工程は、（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、を有し、前記一の前記画素補間部に割り当てられる前記混合係数は、前記第２局所領域の色成分の偏りが大きいほど小さいことを特徴としたものである。
【００２４】
請求項１６に係る発明は、１画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、（ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、（ｂ）前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、（ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データを前記混合係数に応じて画素単位で混合して前記画素補間データを生成する工程と、を備え、前記工程（ａ）の前記複数の画素補間工程のうち、一の画素補間工程は、（ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、（ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、を有し、前記画素補間部の前記一に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さいことを特徴としたものである。
請求項１７に係る発明は、請求項１６記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルに基づいて前記各混合係数を算出するものである。
【００２５】
請求項１８に係る発明は、請求項１５又は１６記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する工程を備えるものである。
【００２６】
請求項１９に係る発明は、請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する工程を備えたものである。
【００２７】
請求項２０に係る発明は、請求項１９記載の混成画素補間方法であって、前記統計値を、前記第２局所領域における各色毎の輝度の総和または平均値としたものである。
【００２８】
請求項２１に係る発明は、請求項１９記載の混成画素補間方法であって、前記統計値を、前記局所領域における前記色成分の各色毎の標準偏差または分散としたものである。
【００２９】
請求項２２に係る発明は、請求項１９〜２１の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記各混合係数を算出する工程を備えたものである。
【００３０】
請求項２３に係る発明は、請求項２２記載の混成画素補間方法であって、前記偏り度を前記統計値の各色間の比率としたものである。
【００３１】
請求項２４に係る発明は、請求項２３記載の混成画素補間方法であって、前記比率を、前記統計値のうち最大値と最小値との比としたものである。
【００３２】
請求項２５に係る発明は、請求項２２記載の混成画素補間方法であって、前記偏り度を前記統計値の各色間の差分としたものである。
【００３３】
請求項２６に係る発明は、請求項１９〜２５の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換工程を有し、該変換工程で変換した値に基づいて前記各混合係数を算出する工程を備えるものである。
【００３４】
請求項２７に係る発明は、請求項１５〜２６の何れか１項に記載の混成画素補間方法であって、（ｄ）前記工程（ｂ）で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える工程、を更に備えるものである。
【００３６】
請求項２８に係る発明は、請求項１５〜２７の何れか１項に記載の混成画素補間方法であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである。
【００３７】
【発明の実施の形態】
以下、本発明の種々の実施の形態について説明する。
【００３８】
実施の形態１．
図１は、本発明の実施の形態１に係る混成画素補間装置１の概略構成を示す機能ブロック図である。この混成画素補間装置１には、単板式のＣＣＤセンサまたはＣＭＯＳセンサから出力されＡ／Ｄ変換などの信号処理を施された原画像データ（Raw Image Data）Ｄ１が入力している。上述した通り、この原画像データＤ１は、各画素につき１つの色成分のみを有するものである。
【００３９】
混成画素補間装置１は、入力する原画像データＤ１中の所定の画素領域内の画素データを保持するレジスタ２と、このレジスタ２から入力する画素データＤ２をサンプリングして画素補間処理を行う複数の画素補間部４₁，４₂，…，４_n-1，４_n（ｎ：２以上の整数）と、混合係数α₁，α₂，…，α_nを算出する混合係数演算部３とを備えると共に、各画素補間部４₁〜４_nから出力された補間データＤＩ₁，ＤＩ₂，…，ＤＩ_nを取り込み混合して出力する混合部５とを備えて構成されている。
【００４０】
本実施の形態１では、画素補間部４₁〜４_n、混合係数演算部３および混合部５はハードウェア構成を有するが、本発明ではこれに限らず、画素補間部４₁〜４_n、混合係数演算部３および混合部５のうち少なくとも一つの機能ブロックがソフトウェア処理で実現されるものでもよい。
【００４１】
前記レジスタ２は、例えば、３×３画素や５×５画素などの２次元画像領域の画素データを順次保持するシフトレジスタ（図示せず）やラインメモリ（図示せず）などから構成されている。このレジスタ２は、この２次元画像領域中の中央部の画素を着目画素として他の画素と区別してその色成分を保持する。また、前記画素補間部４₁〜４_nは、互いに異なる画素補間方法で、レジスタ２から入力する画素データＤ２をサンプリングして利用し、当該着目画素に欠けている色成分を補間する機能を有するものである。
【００４２】
また、前記混合係数演算部３は、レジスタ２から入力する画素データＤ２、或いは、画素補間部４₁〜４_nで処理したデータＤＰ₁，ＤＰ₂，…、ＤＰ_n-1，ＤＰ_nに基づいて、各画素補間部４₁〜４_nに割り当てる混合係数α₁，α₂，…，α_n（係数情報Ｍ_c）を画素単位で演算する。それら混合係数α₁〜α_nは、画素補間部４₁〜４_nの各々が全体の画素補間処理の中で寄与する割合に比例する数値であり、混合係数の総和α₁＋α₂＋…＋α_nは一定値に設定される。
【００４３】
また、混合部５は、前記混合係数演算部３から入力する混合係数α₁〜α_nを、画素補間部４₁〜４_nから入力する補間データＤＩ₁〜ＤＩ_nに重み付けして（乗算して）出力する乗算回路６₁〜６_nを有し、更に、これら乗算回路６₁〜６_nから出力された全ての乗算データを加算し、画素補間データＤ_cとして出力する加算回路７を有している。乗算回路６₁〜６_nには、それぞれ、画素補間部４₁〜４_nから補間データＤＩ₁〜ＤＩ_nが入力し、混合係数演算部３からは、各補間データＤＩ₁〜ＤＩ_nに対応した混合係数α₁〜α_nが入力している。
【００４４】
上記混合係数演算部３は、着目画素近傍の３×３画素や５×５画素程度の局所領域の色成分に関する統計値（総和，平均値，分散，標準偏差など）を算出し、解析して、画素補間部４₁〜４_nの各々に割り当てる混合係数α₁〜α_nを算出する。その統計値の算出に利用するデータとしては、その局所領域における各色成分の輝度、色相、彩度、明度などが挙げられる。また、画素データＤ２の色空間（表色系）を、国際照明委員会（ＣＩＥ）により策定されたＸＹＺ表色系に変換したり、その色成分を、明度Ｙと色度ｘ，ｙ（ｘ，ｙ：色相と彩度を表す値）とからなる色度座標系に変換したりした後に、局所領域における統計値を算出してもよい。
【００４５】
以上の混成画素補間装置１によれば、各画素補間部４₁〜４_nから出力された補間データＤＩ₁〜ＤＩ_nは、混合係数演算部３によって割り当てられた混合係数α₁〜α_nの比率で混合される。混合係数演算部３は前述の統計値に基づいて、各画素補間部４₁〜４_nが有する利点または弱点に応じて混合係数α₁〜α_nを算出する。従って、各画素補間部４₁〜４_nが有する弱点を互いに補い合い得るように、若しくは各画素補間部４₁〜４_nが有する利点を強調し得るように、局所領域の画像の特性に応じて最適な画素補間処理を実行でき、高品位の補間データＤ_cを得ることが可能となる。
【００４６】
尚、本実施の形態１では、画素補間部４₁〜４_nは並列処理で生成した補間データＤＩ₁〜ＤＩ_nを出力し、これら補間データＤＩ₁〜ＤＩ_nが混合係数α₁〜α_nの比率で同時に混合されているが、本発明では必ずしも補間データＤＩ₁〜ＤＩ_nを同時に混合する必要は無く、補間データＤＩ₁〜ＤＩ_nの混合処理を多段階で行ってもよい。例えば、２種類の画素補間部の出力データを混合して得られる混合データを出力した後に、この混合データと他の画素補間部の出力データとを混合するという２段階の混合処理が可能である。
【００４７】
実施の形態２．
次に、上記実施の形態１に係る混成画素補間装置１の具体例として、実施の形態２に係る混成画素補間装置およびその方法について説明する。図２は、本実施の形態に係る混成画素補間装置の概略構成図である。この混成画素補間装置は、外部から入力する原画像データＤ１の局所領域の画素データを保持するレジスタ２と、互いに異なる方法で画素補間処理を行う画素補間部４₁，４₂と、混合係数α，１−α（０≦α≦１）を算出する混合係数演算部３と、各画素補間部４₁，４₂から出力された補間データＤＩ₁，ＤＩ₂を混合する混合部５とを備えている。尚、混合係数αの数値範囲（０≦α≦１）は１０進表記の小数で表現されているが、実際には、混合係数αの上限である"１"の値はデジタル処理系に応じて決められるものである。
【００４８】
図３は、レジスタ２に保持される５×５画素領域の画像データ３０を例示する模式図である。同図に示されるように、画像データ３０は、図７に示した色成分配列に従って構成されており、斜線で示される中央部の画素が着目画素Ｐ_cである。図２に示す画素補間部４₁，４₂は、図３に示す画素領域のうち、太線枠３２の内部の５×５画素領域もしくは太線枠３１の内部の３×３画素領域の局所領域の画素データをサンプリングして画素補間処理を実行する機能をもつ。
【００４９】
前記画素補間部４₁は、局所領域内のＲ，Ｇ，Ｂ，…の輝度値を各色毎に平均化した平均値（統計値）ＡＶ１，ＡＶ２，ＡＶ３を算出する平均化回路１０Ａ，１０Ｂ，１０Ｃと、除算回路１１Ａ，１１Ｂと、乗算回路１２，１３とで構成される。平均化回路１０Ａは、着目画素Ｐ_cが有する色成分に関する平均値ＡＶ１を算出するものである。図３に示した例では、その平均値ＡＶ１として、局所領域内の全てのＢ成分の算術平均値が求められる。その他の平均化回路１０Ｂ，１０Ｃは、それぞれ、当該着目画素Ｐ_cに欠けている色成分に関する平均値ＡＶ２，ＡＶ３を算出するものである。図３に示した例では、それら平均値ＡＶ２，ＡＶ３として、局所領域内の全てのＲ成分とＧ成分の算術平均値が求められることになる。
【００５０】
除算回路１１Ａには、着目画素Ｐ_cの色成分に関する平均値ＡＶ１とその他の平均値ＡＶ２とが入力し、除算回路１１Ａは、平均値ＡＶ２を平均値ＡＶ１で除算して得られる比率（＝ＡＶ２／ＡＶ１）を乗算回路１２に出力する。他方の除算回路１１Ｂには、着目画素Ｐ_cの色成分に関する平均値ＡＶ１とその他の平均値ＡＶ３とが入力し、除算回路１１Ｂは、平均値ＡＶ３を平均値ＡＶ１で除算して得られる比率（＝ＡＶ３／ＡＶ１）を乗算回路１３に出力する。乗算回路１２，１３は、それぞれ、除算回路１１Ａ，１１Ｂから入力するデータと着目画素Ｐ_cの画素データと乗算し、当該着目画素Ｐ_cに欠けている色成分として出力する。そして、これら乗算回路１２，１３から出力された各色成分は、信号線上で結合されデータＤＩ₁となって混合部５に出力される。
【００５１】
以上の画素補間部４₁の処理内容は数学的には次の通りである。着目画素Ｐ_cの画素値をＳ_cで表し、当該着目画素Ｐ_cに欠けている色成分の画素値をＳ１，Ｓ２で表すとき、以下の式（１），（２）が成立する。
【００５２】
Ｓ１＝（ＡＶ２／ＡＶ１）×Ｓ_c …（１）
Ｓ２＝（ＡＶ３／ＡＶ１）×Ｓ_c …（２）
尚、上式（１），（２）に示すように、画素値Ｓ１，Ｓ２を算出する際に、局所領域内の輝度値の平均値ＡＶ１〜ＡＶ３を使用したが、本発明ではこれに限らず、局所領域内における各色の画素数が等しい場合には、平均値ＡＶ１〜ＡＶ３の代わりに、その局所領域の各色の輝度の総和を用いても同一の画素値Ｓ１，Ｓ２を得ることができる。
【００５３】
このように、着目画素Ｐ_cの周辺画素のデータは、比率（ＡＶ２／ＡＶ１，ＡＶ３／ＡＶ１）を算出する際に使用されるが、周辺画素を使用した内挿補間などの従来法では使用されない。また、当該着目画素Ｐ_cに欠けている色成分は、それら比率を着目画素の画素値Ｓ_cに重み付けして得られるものである。従って、画素補間後の画像中に偽色は発生せず、周辺画素同士が干渉し合うモアレも発生せず、高周波数成分が損なわれることがないため、欠けている色成分を高い精度で再現することができる。尚、上記では、着目画素がＢ成分をもつ場合について説明したが、着目画素が他の色成分（Ｒ成分、Ｇ成分）をもつ場合にも同様の補間法を適用できることは自明である。
【００５４】
但し、画素補間部４₁の画素補間法では、ＳＮ比が悪くて当該着目画素Ｐ_cにノイズが混入している場合には、そのノイズが強調され完全に再現されるという弱点がある。特に原画像データの低輝度部分にはノイズが混入され易いことから、着目画素Ｐ_cが低輝度をもつ場合には画素補間部４₁に割り当てる混合係数の値を小さくすることが望ましい。
【００５５】
更に、色のエッジ部分や比較的狭い画素領域において、色が白黒に変化し脱色が起こるという弱点もある。欠けている色成分を正確に算出するには、局所領域において平均値ＡＶ１〜ＡＶ３を算出する際に、当該局所領域中に各色毎にある程度の平均信号レベルが必要とされるが、色の偏り度合いが大きい場合には特定の色の平均信号レベルが低くなり、前述の脱色が起きて色再現性が低下してしまう。この色再現性の低下を避けるには、局所領域における色の偏り度合いが小さい場合には、画素補間部４₁に割り当てる混合係数の値を大きく調整し、その色の偏り度合いが大きい場合には当該混合係数の値を小さく調整するのが望ましい。
【００５６】
図２に示す画素補間部４₂は、レジスタ２から入力する画素データＤ２を用いて、従来の周辺画素を利用した内挿補間法による画素補間機能を有し、補間データＤＩ₂を混合部５に出力する。但し、画素補間部４₂は必ずしも内挿補間法を採用する必要は無く、上述した画素補間部４₁の弱点を補い得る画素補間機能を有していればよい。
【００５７】
尚、本実施の形態では、混合係数演算部３は、画素補間部４₁の平均化回路１０Ａ，１０Ｂ，１０Ｃから伝達した値を利用しているが、本発明ではその代わりに、混合係数演算部３の内部に上記平均値ＡＶ１，ＡＶ２，ＡＶ３を算出する平均化回路が形成されていてもよい。
【００５８】
混合係数演算部３は、上述の画素補間部４₁が有する弱点を補い、またこの画素補間部４₁が有する利点を強調し得るように、混合係数α，１−αを算出する機能をもつ。図２に示すように、混合係数演算部３は、レジスタ２から伝達する着目画素Ｐ_cの画素値Ｓ_cを所定の変換テーブル２０ｃに従って変換する第１の変換回路２０を備えている。図４は、入力値と出力値との対応例を示すグラフである。このグラフには、入力値に関して一様に増加する関数を表す変換曲線３３ａ，３３ｂ，３３ｃが示されており、変換テーブル２０ｃは、このような変換曲線３３ａ〜３３ｃ上の入力値と出力値との組を格納している。
【００５９】
このような変換回路２０は、レジスタ２から入力する着目画素Ｐ_cのデータを、前記変換テーブル２０ｃに従って変換して加算回路２４に出力する。図４に示す変換曲線３３ａ〜３３ｃは、何れも、低輝度の入力値に対して出力値を低く抑えた形状をもつ。これは、原画像データの低輝度部分に含まれるノイズの影響を低く抑えるためである。
【００６０】
また、混合係数演算部３は、更に、上記平均化回路１０Ａ，１０Ｂ，１０Ｃから伝達する平均値ＡＶ１，ＡＶ２，ＡＶ３を昇順または降順に並べ替えて出力するソート回路２１と、除算回路２２と、この除算回路２２から入力する画素値を所定の変換テーブル２３ｃに従って変換する第２の変換回路２３とを備えている。除算回路２２は、ソート回路２１から出力される各色の平均値ＡＶ１，ＡＶ２，ＡＶ３のうち最小値（Ｍｎ）を最大値（Ｍｘ）で除算した値（Ｍｎ／Ｍｘ）を、偏り度として算出する。このように最小値と最大値とを抽出し、常に最小値を最大値で除算することにより、ゼロ値除算によるオーバーフローの発生を回避することができる。
【００６１】
尚、本実施の形態では、色の偏り度として平均値ＡＶ１〜ＡＶ３の中の最小値と最大値との比を採用するが、その代わりに、その最小値（Ｍｎ）と最大値（Ｍｘ）との差分もしくは差分絶対値を採用してもよい。
【００６２】
また、図５は、第２の変換回路２３が備える変換テーブル２３ｃの入力値と出力値との対応例を示すグラフである。図４に示したグラフと同様に、図５には、入力値に関して一様に増加する関数を表す変換曲線３４が示されており、変換テーブル２３ｃは、このような変換曲線３４上の入力値と出力値との組を格納している。この第２の変換回路２３は、除算回路２２から入力するデータを前記変換テーブル２３ｃに従って変換して加算回路２４に出力する。
【００６３】
尚、上記の変換回路２０，２３には、入力値をアドレス・データとし、このアドレス・データに対応する記憶データを出力値として出力するメモリ回路（ＬＵＴ（ルック・アップ・テーブル）回路）を使用すればよい。また、この種のメモリ回路の代わりに、入力値に対応する４点程度の出力値のみを記憶するレジスタを備え、実際の入力値がレジスタのデータと対応している場合はそのデータを出力し、それが対応していない場合はレジスタの４点のデータを用いて内挿補間して出力する簡易的な演算回路を使用しても構わない。
【００６４】
除算回路２２で算出した除算値（Ｍｎ／Ｍｘ）は、局所領域における色の偏り度を示す値である。図５に示すように、変換回路２３に入力するその除算値が小さい程に色の偏り度が大きくなり、その除算値が大きい程に色の偏り度が小さくなる。変換回路２３は、図５のようなグラフに従って、色の偏り度が大きい程に小さな値を出力し、色の偏り度が小さい程に大きな値を出力する。
【００６５】
そして、加算回路２４は、第１および第２の変換回路２０，２３から入力する値を加算して内部係数β（０≦β≦１）を、減算回路２５と、第１セレクタ２７の"０"側端子と、第２セレクタ２８の"１"側端子とにそれぞれ出力する。減算回路２５は、内部係数βの上限値から内部係数βを減算した値（＝１−β）を第１セレクタ２７の"１"側端子に出力する。
【００６６】
また、第１セレクタ２７は、レジスタ２６から供給される選択信号Ｓｔの論理値が"０"か"１"かに応じて"０"側端子または"１"側端子を選択し、選択した端子から入力するデータを混合係数αとして混合部５に出力するものである。レジスタ２６は、ＣＰＵ（図示せず）などから伝達した選択信号Ｓｔを保持し、第１セレクタ２７と第２セレクタ２８とに供給している。その選択信号Ｓｔの論理値は、デフォルトでは"０"に設定されている。また、他方の第２セレクタ２８は、レジスタ２６から伝達する選択信号Ｓｔの論理値が"０"か"１"かに応じて"０"側端子または"１"側端子を選択し、選択した端子から入力するデータを混合係数１−αとして混合部５に出力するものである。
【００６７】
混合部５には、混合係数演算部３から混合係数α，１−αが入力している。この混合部５において、乗算回路６₁は、第１の画素補間部４₁から入力する補間データＤＩ₁と混合係数αとを乗算して加算回路７に出力し、他方の乗算回路６₂は、第２の画素補間部４₂から入力する補間データＤＩ₂と混合係数１−αとを乗算して加算回路７に出力する。最終的に、加算回路７は、各乗算回路６₁，６₂から入力するデータを画素単位で加算して画素補間データＤ_cとして出力する。
【００６８】
以上の実施の形態２に係る混成画素補間装置によれば、着目画素Ｐ_cの輝度値と、除算回路２２から出力される最大値（Ｍｘ）および最小値（Ｍｎ）の比（Ｍｎ／Ｍｘ）とに応じて混合係数α，１−αが算出される。よって、原画像データの局所領域中に、上述した第１の画素補間部４₁が有する弱点を出現させる特性（色の偏り度合いが大きいこと、ノイズの多い低輝度部分）が含まれていた場合には、混合係数αの値を小さく調整し、第１の画素補間部４₁の寄与を小さく、第２の画素補間部４₂の寄与を大きくすることができる。従って、画質劣化が抑制された高品位の画素補間データＤ_cを得ることが可能である。
【００６９】
尚、本実施の形態では、局所領域における各色毎の輝度の平均値ＡＶ１〜ＡＶ３の最小値と最大値との比（＝Ｍｎ／Ｍｘ）を色の偏り度として採用したが、本発明ではその比に限らず、統計量である標準偏差σや分散σ²を算出しこれら統計量を用いて偏り度を算出して使用することもできる。尚、局所領域内の任意の画素値Ｓ_xに対して偏差Δは、Δ＝（Ｓ_x−Ｋ）（Ｋ：ＡＶ１〜ＡＶ３の何れか）で定義される。このとき、分散σ²は、局所領域内におけるΔ²の平均値であり、標準偏差σは、分散σ²の正平方根である。
【００７０】
また、変換回路２０，２３は、変換テーブル２０ｃ，２３ｃに従って、着目画素Ｐ_cの画素値Ｓ_cや色の偏り度を示す比（＝Ｍｎ／Ｍｘ）を別の値に変換している。従って、各変換テーブル２０ｃ，２３ｃの変換曲線を調整することにより混合係数α，１−αを最適化して上記画質劣化を最小に抑制できる。また、変換回路２０，２３が複数の変換テーブルを切り換え自在に有する場合には、複数の状況に対応して変換テーブルを切り換えることにより混合係数α，１−αを最適化することができる。具体的には、この混成画素補間装置を複数の撮影モードに対応したデジタルカメラに組み込んだ場合が想定される。撮影モードとしては「風景撮影モード」，「ポートレート撮影モード」，「接写モード」，「夜間撮影モード」などが挙げられるが、各撮影モードに最適な変換テーブルを選択することができる。
【００７１】
更に、本実施の形態に係る混成画素補間装置は、レジスタ２６の選択信号Ｓｔの論理値に応じて内部係数β，１−βを入れ替えて出力するセレクタ２７，２８を備えているため、選択信号Ｓｔの論理値を外部から指定することで、状況に柔軟に対応した混合係数α，１−αを算出できる。例えば、この混成画素補間装置を複数の撮影モードに対応したデジタルカメラに組み込んだ場合は、ＣＰＵなどの判断により前述の各撮影モードに応じて画質劣化が小さくなるように、選択信号Ｓｔの論理値を指定することができる。
【００７２】
尚、本実施の形態１では、変換回路２０，２３の出力値を加算する加算回路２４を用いて内部係数βを算出していたが、その加算回路２４に代えて、双方の出力値の大小関係を判定し、大きい方または小さい方の出力値を選択して出力する大小判定回路を用いてもよい。その種の大小判定回路を用いる場合は、着目画素の輝度値の変換値（変換回路２０の出力値）と、色の偏り度の変換値（変換回路２３の出力値）との何れか一方を他方に優先して使用できることから、変換回路２０，２３の双方から中レベルの変換値が出力され、内部係数βが上限値付近で容易に飽和してしまうのを避けることが可能となる。
【００７３】
実施の形態１の変形例．
図６は、上記実施の形態１の変形例に係る混成画素補間装置の概略構成図である。本変形例に係る混成画素補間装置は、補色系の色フィルタアレイを有する単板式の撮像センサで撮像した原画像データＤ１に対応しており、その基本構成は、図２に示した混成画素補間装置と同じである。図６中、図２に示した符号と同一符号を付された構成要素は、上記の構成要素の機能と略同じ機能を有するものとして詳細な説明を省略する。
【００７４】
この混成画素補間装置は、図８に示したような４種類の補色成分をもつ原画像データＤ１の局所領域における画素データを保持するレジスタ２と、このレジスタ２から入力する画素データＤ２をサンプリングして画素補間処理を行う２種類の画素補間部４₃，４₄と、混合係数α，１−α（０≦α≦１）を算出する混合係数演算部３Ｆと、各画素補間部４₃，４₄から出力された補間データＤＩ₃，ＤＩ₄を混合する混合部５とを備えている。
【００７５】
第１の画素補間部４₃は、図２に示した画素補間部４₁の機能と略同じ機能を有する。また、第２の画素補間部４₄は、第１の画素補間部４₃が有する弱点を補う画素補間処理機能を有するものである。第１の画素補間部４₃は、局所領域内の４種類の補色成分を各色毎に平均化した平均値（統計値）ＡＶ１，ＡＶ２，ＡＶ３，ＡＶ３を算出する平均化回路４０Ａ，４０Ｂ，４０Ｃ，４０Ｄと、除算回路４１Ａ，４１Ｂ，４１Ｃと、乗算回路４２，４３，４４とで構成されている。平均化回路４０Ａ〜４０Ｄのうち平均化回路４０Ａは、着目画素Ｐ_cの補色成分に関する平均値ＡＶ１を算出する。また、除算回路４１Ａ，４１Ｂ，４１Ｃは、それぞれ、平均値ＡＶ２，ＡＶ３，ＡＶ４を着目画素Ｐ_cの平均値ＡＶ１で除算した値を乗算回路４２，４３，４４に出力する。そして、乗算回路４２，４３，４４は、次式（３），（４），（５）に従って、当該着目画素Ｐ_cに欠けている補色成分の画素値Ｓ１，Ｓ２，Ｓ３を算出し、これらを信号線上で束ねて補間データＤＩ₃として混合部５に出力する。
【００７６】
Ｓ１＝（ＡＶ２／ＡＶ１）×Ｓ_c …（３）
Ｓ２＝（ＡＶ３／ＡＶ１）×Ｓ_c …（４）
Ｓ３＝（ＡＶ４／ＡＶ１）×Ｓ_c …（５）
また、混合係数演算部３Ｆは、図２に示した混合係数演算部３の機能と略同じ機能を有する。すなわち、この混合係数演算部３Ｆにおいて、変換回路５０は、図２に示した変換回路２０と同様に、内部の変換テーブル５０ｃに従って着目画素Ｐ_cの輝度値を変換して出力する。また、ソート回路５１は、画素補間部４₃から入力する平均値ＡＶ１〜ＡＶ４を昇順または降順に並べ替えて出力し、除算回路２２は、ソート回路５１から入力する平均値ＡＶ１〜ＡＶ４の最大値（Ｍｘ）と最小値（Ｍｎ）との比（Ｍｎ／Ｍｘ）を算出し、変換回路５３は、図２に示した変換回路２３と同様に、内部の変換テーブル５３ｃに従って除算回路２２から入力する除算値を変換して出力する。
【００７７】
また、加算回路５４は、変換回路５０と変換回路５３とから入力するデータを加算して内部係数βとして出力し、減算回路２５は、内部係数βの上限値（＝１）から当該内部係数βを除算した値（＝１−β）を出力する。そして、セレクタ２７，２８は、レジスタ２６から供給される選択信号Ｓｔの論理値に応じて内部係数β、１−βを選択し、混合係数α，１−αとして混合部５に出力する。
【００７８】
最終的に、混合部５は、画素補間部４₃から入力する補間データＤＩ₃と混合係数αとを乗算した値と、画素補間部４₄から入力する補間データＤＩ₄と混合係数１−αとを乗算した値とを加算し、画素補間データＤ_cとして出力することになる。
【００７９】
【発明の効果】
以上の如く、本発明の請求項１に係る混成画素補間装置および請求項１５に係る混成画素補間方法によれば、各画素補間部から出力された補間データは、混合係数演算部によって算出された混合係数の比率で混合されるため、上記局所領域における画像の特性に応じて最適な画素補間処理を実行でき、画質劣化が抑えられた高品位の画素補間データを得ることが可能となる。また、偽色やモアレを含まず、高周波数成分を含む高解像度の画素補間データを得ることができる。
【００８０】
請求項２に係る混成画素補間装置および請求項１６に係る混成画素補間方法によれば、着目画素の信号レベルに応じて最適な混合係数を算出できるため、高品位の画素補間データを得ることができる。また、偽色やモアレを含まず、高周波数成分を含む高解像度の画素補間データを得ることができる。更に、請求項３に係る混成画素補間装置および請求項１７に係る混成画素補間方法によれば、その信号レベルを変換して使用できるので、混合係数をより最適化することが可能となる。
【００８１】
請求項４，５，６に係る混成画素補間装置および請求項１８，１９，２０に係る混成画素補間方法によれば、上記局所領域における画像の特性をより正確に算出して、画素補間データの画質劣化をより効果的に抑制することが可能となる。
【００８２】
請求項７に係る混成画素補間装置および請求項２１に係る混成画素補間方法によれば、色の偏り度合いに応じて混合係数を算出できるため、画素補間データの画質劣化をより効果的に抑制することが可能となる。
【００８３】
請求項８，９，１０に係る混成画素補間装置および請求項２２，２３，２４に係る混成画素補間方法によれば、比較的簡素な構成および方法で色の偏り度を算出することが可能となる。
【００８４】
請求項１１に係る混成画素補間装置および請求項２５に係る混成画素補間方法によれば、上記統計値や偏り度をそのまま使用する場合と比べて、混合係数を最適化できるため、高品位の画素補間データを得ることができる。
【００８５】
請求項１２に係る混成画素補間装置および請求項２６に係る混成画素補間方法によれば、制御信号の値を切り換えることにより、細かい状況に柔軟に対応した混合係数を算出することが可能となる。
【００８７】
請求項１４に係る混成画素補間装置および請求項２８に係る混成画素補間方法によれば、デジタルカメラで撮像した画像の画質向上が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る混成画素補間装置の概略構成を示す機能ブロック図である。
【図２】本発明の実施の形態２に係る混成画素補間装置の概略構成図である。
【図３】レジスタに保持される５×５画素領域の画像データを例示する模式図である。
【図４】第１の変換回路での入力値と出力値との対応例を示すグラフである。
【図５】第２の変換回路での入力値と出力値との対応例を示すグラフである。
【図６】実施の形態１の変形例に係る混成画素補間装置の概略構成図である。
【図７】Ｒ，Ｇ，Ｂの３原色成分をマトリクス状に配列した原画像データを例示する模式図である。
【図８】Ｙ，Ｍ，Ｇ，Ｃの補色成分をマトリクス状に配列した原画像データを例示する模式図である。
【符号の説明】
１ 混成画素補間装置
２ レジスタ
３ 混合係数演算部
４₁〜４_n 画素補間部
５ 混合部
６₁〜６_n 乗算回路
７ 加算回路

Claims (28)

1. １画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、
   前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、
   前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、
   前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、
   を備え、
   前記複数の画素補間部のうち、少なくとも一の前記画素補間部は、
   前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、
   当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、
   を有し、
   前記少なくとも一の前記画素補間部に割り当てられる前記混合係数は、前記第２局所領域の色成分の偏りが大きいほど小さいことを特徴とする混成画素補間装置。
2. １画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間装置であって、
   前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を互いに異なる方法で補間する複数の画素補間部と、
   前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記画素補間部の各々に割り当てられる混合係数を算出する混合係数演算部と、
   前記複数の画素補間部の各々から入力する補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する混合部と、
   を備え、
   前記複数の画素補間部のうち、少なくとも一の前記画素補間部は、
   前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する手段と、
   当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する手段と、
   を有し、
   前記少なくとも一の前記画素補間部に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さい、混成画素補間装置。
3. 請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する手段を有する、混成画素補間装置。
4. 請求項１または２記載の混成画素補間装置であって、前記混合係数演算部は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する、混成画素補間装置。
5. 請求項１記載の混成画素補間装置であって、前記混合係数演算部は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する手段を有する、混成画素補間装置。
6. 請求項５記載の混成画素補間装置であって、前記統計値は、前記第２局所領域における各色毎の輝度の総和または平均値である、混成画素補間装置。
7. 請求項５記載の混成画素補間装置であって、前記統計値は、前記第２局所領域における前記色成分の各色毎の標準偏差または分散である、混成画素補間装置。
8. 請求項５〜７の何れか１項に記載の混成画素補間装置であって、混合係数演算部は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記混合係数を算出する手段を有する、混成画素補間装置。
9. 請求項８記載の混成画素補間装置であって、前記偏り度は前記統計値の各色間の比率である、混成画素補間装置。
10. 請求項９記載の混成画素補間装置であって、前記比率は、前記統計値の中の最大値と最小値との比である、混成画素補間装置。
11. 請求項８記載の混成画素補間装置であって、前記偏り度は前記統計値の各色間の差分である、混成画素補間装置。
12. 請求項５〜１１の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する、混成画素補間装置。
13. 請求項１〜１２の何れか１項に記載の混成画素補間装置であって、前記混合係数演算部で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える手段を更に備える混成画素補間装置。
14. 請求項１〜１３の何れか１項に記載の混成画素補間装置であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである、混成画素補間装置。
15. １画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、
    （ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、
    （ｂ）前記原画像データ中の当該着目画素を囲む第２局所領域における全ての画素の色成分を用いて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、
    （ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、
    を備え、
    前記工程（ａ）の前記複数の画素補間工程のうち、少なくとも一の画素補間工程は、
    （ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、
    （ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、
    を有し、
    前記少なくとも一の前記画素補間部に割り当てられる前記混合係数は、前記第２局所領域の色成分の偏りが大きいほど小さいことを特徴とする混成画素補間方法。
16. １画素につき１つの色成分のみを有する原画像データを、１画素につき複数の色成分を有する画素補間データへ変換する混成画素補間方法であって、
    （ａ）前記原画像データ中の着目画素を囲む第１局所領域に含まれ、当該着目画素に欠けている色成分と同じ色の色成分を有する全ての画素の色成分を用いて、当該着目画素に欠けている色成分を、互いに異なる複数の画素補間工程で補間する工程と、
    （ｂ）前記原画像データ中の画素のうち当該着目画素のみの信号レベルに基づいて、前記工程（ａ）における前記各画素補間工程の各々に割り当てられる混合係数を算出する工程と、
    （ｃ）前記工程（ａ）において前記各画素補間工程で補間された補間データに前記混合係数を乗じて画素単位で混合して前記画素補間データを生成する工程と、
    を備え、
    前記工程（ａ）の前記複数の画素補間工程のうち、少なくとも一の画素補間工程は、
    （ａ−１）前記第１局所領域において当該着目画素と同じ色の色成分の平均値または総和と、当該着目画素に欠けている色成分の平均値または総和との比率を各色毎に算出する工程と、
    （ａ−２）前記工程（ａ−１）で算出された当該比率と前記着目画素が有する色成分とを乗算して前記欠けている色成分を生成する工程と、
    を有し、
    前記少なくとも一の前記画素補間部に割り当てられる前記混合係数は、当該着目画素の信号レベルが小さいほど小さいことを特徴とする混成画素補間方法。
17. 請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルに基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
18. 請求項１６または１７記載の混成画素補間方法であって、前記工程（ｂ）は、前記着目画素の信号レベルを所定の変換テーブルに従って変換する変換手段を有し、該変換手段で変換した値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
19. 請求項１５記載の混成画素補間方法であって、前記工程（ｂ）は、前記第２局所領域における前記色成分に関する統計値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
20. 請求項１９記載の混成画素補間方法であって、前記統計値は、前記第２局所領域における各色毎の輝度の総和または平均値である、混成画素補間方法。
21. 請求項１９記載の混成画素補間方法であって、前記統計値は、前記第２局所領域における前記色成分の各色毎の標準偏差または分散である、混成画素補間方法。
22. 請求項１９〜２１の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値を用いて前記第２局所領域の色の偏り度を算出し、該偏り度に応じて前記各混合係数を算出する工程を備える、混成画素補間方法。
23. 請求項２２記載の混成画素補間方法であって、前記偏り度は前記統計値の各色間の比率である、混成画素補間方法。
24. 請求項２３記載の混成画素補間方法であって、前記比率は、前記統計値のうち最大値と最小値との比である、混成画素補間方法。
25. 請求項２２記載の混成画素補間方法であって、前記偏り度は前記統計値の各色間の差分である、混成画素補間方法。
26. 請求項１９〜２５の何れか１項に記載の混成画素補間方法であって、前記工程（ｂ）は、前記統計値または前記偏り度の値を所定の変換テーブルに従って変換する変換工程を有し、該変換工程で変換した値に基づいて前記各混合係数を算出する工程を備える、混成画素補間方法。
27. 請求項１５〜２６の何れか１項に記載の混成画素補間方法であって、
    （ｄ）前記工程（ｂ）で算出された前記各混合係数を、外部入力の制御信号に応じて入れ替える工程、
    を更に備える、混成画素補間方法。
28. 請求項１５〜２７の何れか１項に記載の混成画素補間方法であって、前記原画像データは、デジタルカメラに搭載される単板式の撮像素子で撮像したものである、混成画素補間方法。

Images