JP4352371B2 - 適応モザイク減少法を実装するディジタル画像処理方法 - Google Patents
適応モザイク減少法を実装するディジタル画像処理方法 Download PDFInfo
- Publication number
- JP4352371B2 JP4352371B2 JP2002247617A JP2002247617A JP4352371B2 JP 4352371 B2 JP4352371 B2 JP 4352371B2 JP 2002247617 A JP2002247617 A JP 2002247617A JP 2002247617 A JP2002247617 A JP 2002247617A JP 4352371 B2 JP4352371 B2 JP 4352371B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- color
- pixel
- value
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000009467 reduction Effects 0.000 title description 42
- 230000003044 adaptive effect Effects 0.000 title description 40
- 238000003672 processing method Methods 0.000 title 1
- 230000008859 change Effects 0.000 description 26
- 239000013598 vector Substances 0.000 description 24
- 238000009499 grossing Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000010076 replication Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001428800 Cell fusing agent virus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般にディジタル画像処理に関し、特に各画素位置で色の補間を行うモザイク減少（demosaicing）方法に関する。
【０００２】
【従来の技術】
ディジタルカラー画像センサは、２つのタイプが主流である。つまり、ＣＣＤ（電荷結合素子）とＣＭＯＳ−ＡＰＳ（相補型金属酸化物半導体−アクティブ方式画素センサ）である。これらのタイプのセンサは両方とも、一般に、行と列に配置されて画像内の色をサンプリングする光検出器（画素）のアレイを含む。各画素は、１つまたは複数の色に対応して１つまたは複数の波長の範囲内の光の強度を測定する。
【０００３】
加えて、両方のタイプのセンサには、Ｂａｙｅｒに付与された米国特許第３，９７１，０６５号に記載されたカラーフィルタアレイ（以下、ベイヤーと呼ぶ）等のカラーフィルタアレイ（ＣＦＡ）が含まれる。これは参照により本明細書に援用される。ベイヤーＣＦＡでは、各画素は赤、緑または青の１色のみを捕らえる。このサンプリングパターンを以下に示す。
【０００４】
【数１】
【０００５】
ベイヤーＣＦＡを備えるセンサは、色空間と空間領域の両方でサンプリングされたモザイク状の画像を生成する。このサンプリング方法は、色空間と空間領域の両方で折り返しアーチファクト（aliasing artifact）を生ずる。例えば、フルカラーのスペクトルが（ＣＦＡの色に応じて）特定の画素位置だけでサンプリングされるので、画像の真の色を正確に再構成することは不可能であり、これによって色空間の折り返しアーチファクトが発生する。加えて、原画像における高い空間周波数が非常に低い周波数でサンプリングされるので、画像の元の高い周波数を画像処理によって後から再現することはできず、これによって空間領域の折り返しアーチファクトが発生する。
【０００６】
色空間と空間領域の折り返しアーチファクト問題に対する一つの解決策は、モザイク減少法（demosaicing）である。モザイク減少法は、画像センサから得られるディジタル画像の色を補間して、一つの画素位置で三原色の全てを得る方法である。これにより得られるモザイク減少画像は、画像を見たときに、モザイク状の画像よりも優れた品質が得られ、より視覚的に満足できる画像を与える。
【０００７】
従来のモザイク減少法は、例えば画素複製（pixel replication）、双一次補間（bi-linear interpolation）及び中央値補間（median interpolation）等が挙げられる。画素複製では、左、上、左斜め上の最近傍の画素からそれぞれの欠損値（missing value）が取り込まれる。双一次補間は、画素複製よりも改善されるが複雑さは少し増加する。双一次補間法では、水平、垂直及び／または対角方向の近傍（neighboring）の画素値の平均に基づいて、各欠損値が算出される。中央値補間は非線形補間法であり、特に欠陥画素があるときにこれらの３つのアルゴリズム（画素複製、双一次補間、中央値補間）のうちで最高の結果が得られるが、最も複雑である。中央値補間は、２つのステップからなる。第１に、４つの対角近傍を有する欠損値がそれら４つの値の中央値を用いて補間される。第２に、残りの欠損画素が東西南北の近傍の中央値によって補間される。
【０００８】
しかしながら、上述のモザイク減少法ではすべて、見て分かる折り返しアーチファクトが画像内のエッジに現れ、モザイク減少画像に「ジッパー（zipper）」効果を生じさせる。ジッパー効果とは、画像中の直線のエッジをジッパーのように見せてしまうことである。ジッパー効果の解決策は、Ａｄａｍｓ，Ｊｒらに付与された米国特許第５，６５２，６２１号（以下、アダムズ−ハミルトンアルゴリズムと呼ぶ）と、１９９９年１０月発行のJournal of Electronic Imaging, Vol. 8, No. 4, pp. 457-466に記載されたＫｕｎｏらによる「Aliasing reduction method for color digital still cameras with a single-chip charge-coupled device（以下、Ｋｕｎｏアルゴリズムと呼ぶ）」に提案されており、これらは両方とも参照により本明細書に援用される。
【０００９】
アダムズ−ハミルトン補間アルゴリズムは、水平エッジ及び垂直エッジを持つ画像をサンプリングする画像システムの性能の最適化を目指すものである。アダムズ−ハミルトン補間アルゴリズムでは、欠損する色値を補間する補間法が選択される。補間方向は、補間対象である色平面と画素位置の色平面から得られる値に基づいて、水平分類子と垂直分類子（または、正対角分類子と負対角分類子）の値を算出することによって選択される。
【００１０】
２つの分類子の値は、補間法を選択するために、予め定義された閾値と及びお互いに比較される。例えば、分類子の値のうち１つまたは複数が予め定義された閾値より大きい場合、欠損している色値は、その色値と同じ色の近傍値及びその画素位置の色の近傍値の両方から補間される。欠損している色値は、どの分類子の値が予め定められた閾値を上回ったかに応じて、水平方向の近傍値、垂直方向の近傍値、または水平方向及び垂直方向の両方の近傍値から補間される。アダムズ−ハミルトンアルゴリズムは、細部を保存して、ジッパー効果の出現を低減する。しかし、アダムズ−ハミルトンアルゴリズムを用いても、依然として若干の「ジッパリング」が見られる。
【００１１】
Ｋｕｎｏの補間アルゴリズムは、ＩＩＥＥＪ年会報（１９８８年版）第１６巻（２）８６乃至８８頁に掲載された「Method to display full-color image by using the correlation of color」にＫｏｄｅｒａ等が発表した細部の相関の仮定(correlation of details assumption)に基づくものであり、参照により本明細書に援用される。細部の相関の仮定は、画像の局所領域において色の間に高い相関が存在することを仮定するものである。例えば、ベイヤーＣＦＡを備える画像センサを用いたときに、細部の相関の仮定は画像の局所領域内では赤、青、緑の色値が比較的似ていると仮定する（例えば、赤画素位置の赤値が１０である場合に、細部の相関の仮定は、近傍の緑と青の画素位置がそれぞれ１０に近い緑及び青の色値を生成すると仮定する）。
【００１２】
Ｋｕｎｏアルゴリズムはさらに、色の変化が急である領域においてさえ、色相関が一方向（すなわち、水平方向または垂直方向）に存在することを仮定する。従って、Ｋｕｎｏアルゴリズムは、水平方向には色値の低い相関しか存在しない垂直の補間方向と、垂直方向には色値の低い相関しか存在しない水平の補間方向を使用する。具体的には、Ｋｕｎｏアルゴリズムは、欠損色値と関連する色平面の水平勾配（グラジエント）と垂直勾配を計算し、水平勾配と垂直勾配を予め定義された閾値と比較して補間方向を決定する。例えば、水平勾配と垂直勾配の両方が予め定義された閾値未満の場合、補間は水平方向と垂直方向の両方に実行される。しかし、どちらの勾配も予め定義された閾値よりも大きい場合、補間方向は２つの勾配のうちのより小さな方になる。
【００１３】
補間方向が決定すると、Ｋｕｎｏアルゴリズムは分割処理を用いて欠損色値を補間する。アダムズ−ハミルトンアルゴリズムと同様に、Ｋｕｎｏアルゴリズムはジッパー効果を低減し、画素複製、双一次補間及び中央値補間といった従来のモザイク減少法と比べると色解像度を改善する。しかし、Ｋｕｎｏアルゴリズムを用いても、依然として若干のジッパー効果が見られる。加えて、Ｋｕｎｏアルゴリズムでは分割処理をあらゆる画素位置で実行することが必要とされ、その実装には費用がかかる。
【００１４】
【発明が解決しようとする課題】
従って、アダムズ−ハミルトンアルゴリズムやＫｕｎｏアルゴリズムと比べてジッパー効果の可視性をさらに低減し、Ｋｕｎｏアルゴリズムが必要とするハードウェアの複雑さなしで実装することができる、モザイク減少方法が必要とされている。
【００１５】
【課題を解決するための手段】
本発明の過程では、アダムズ−ハミルトンアルゴリズムとＫｕｎｏアルゴリズムを用いてモザイクを減少した画像にジッパー効果が出現する理由について分析を行なった。分析の結果、どちらのアルゴリズムも少なくとも２つの色平面における勾配を別々に考慮しておらず、またどちらのアルゴリズムも所与の画素を補間するときに近傍画素における意思決定（decision）を適用していないために、アダムズ−ハミルトンアルゴリズムとＫｕｎｏアルゴリズムを用いてモザイクを減少した画像においても依然としてジッパー効果が見られるという結論が得られた。
【００１６】
本発明は、少なくとも２つの色平面において水平方向と垂直方向の両方における変化の度合（例えば、勾配（グラジエント）、ラプラシアン、または変化の度合の他の尺度）を別々に考慮することによって、各画素位置を補間する適応モザイク減少方法を提供する。適応モザイク減少アルゴリズムは、各画素位置で補間方向を決定するために投票方式を使用する。各色平面は、その色平面における変化の度合の垂直成分と水平成分との間の比較に基づいて水平か垂直に投票する。ある実施形態では、投票は画素位置それ自体で得られる測定からカウントされる他、近傍の画素からもカウントされる。
【００１７】
一実施形態では、補間方向は輝度（luminance）色平面にのみ適用される。輝度平面が十分に補間されると、クロミナンス（chrominance）平面は差分クロミナンス値の単純な双一次補間または中央値補間により埋められる。適応モザイク減少アルゴリズムの拡張により、適応平滑化と鮮明化（sharpening）が可能になる。例えば、適応モザイク減少アルゴリズムは、低い光レベル（すなわちノイズの多い）画像に適応させて、輝度画素間の不均衡を低減することができる。
【００１８】
適応モザイク減少アルゴリズムは、加算、減算、桁送り及び比較のみを必要とし、これらはいずれもハードウェアによる実装が簡単であるので、適応モザイク減少アルゴリズムは、従来のモザイク減少法に存在したハードウェアの複雑さを低減する。加えて、適応モザイク減少アルゴリズムは従来のモザイク減少方法と比較して、モザイクを減少した画像に現われるジッパー効果を低減する。さらに、本発明は上述した実施形態の他にまたはこれらに代えて、他の特徴と長所を備えた実施形態を与える。これらの特徴と長所の多くは以下の説明から明らかになろう。
【００１９】
【発明の実施の形態】
図１は、本発明による適応モザイク減少アルゴリズム４０を実装したディジタル画像システム１０を示す。ディジタル画像システム１０は、ディジタルカメラ、ビデオカメラ、医用撮像装置等の任意のディジタル画像装置である。ディジタル画像システム１０は、画像データを記憶するメモリを有するパーソナルコンピュータやサーバ等のコンピュータシステムであっても良い。適応モザイク減少アルゴリズム４０は、ディジタル画像装置の内部に存在したり、またはパーソナルコンピュータやサーバ上で動作する画像処理ソフトウェアの一部であっても良い。
【００２０】
ディジタル画像システム１０は、ＣＭＯＳセンサチップやＣＣＤセンサチップ等のディジタル画像センサ２０であって、列と行で構成された二次元アレイの画素を含む。ディジタル画像センサは、各画素が１色だけを検出するカラーフィルタアレイ（ＣＦＡ）によって覆われる。例えば、ＣＦＡは前述のＣＦＡであっても良い。このアレイでは、輝度（luminance）色（緑）の市松模様の間にクロミナンス（chrominance：色光度）色（赤と青）が配置されている。ベイヤーＣＦＡの代わりに他のＣＦＡも使用できることは理解されよう。
【００２１】
ディジタル画像センサ２０は、ディジタル信号プロセッサ４０に元の赤、青、緑の画素値を含む生データ２５を供給する。ディジタル信号プロセッサは、生データ２５に対して本発明の適応モザイク減少アルゴリズム適用し、画素値を補間して各画素位置において赤、緑、青の値を得る。生データ２５は、ディジタル信号処理プロセッサ４０に一度に供給される。従って、処理開始に必要な生データ２５の必要量が得られるまで、生データ２５はバッファ３０に記憶される。
【００２２】
処理開始に必要な生データ２５の数は、処理の種類に依存する。例えば、生データ２５に対応する画素値は、通常、センサ２０の１行から一度に読み出される。所与の画素の近傍補間を開始するために、少なくとも１つの水平方向の画素近傍と、好ましくは１つの垂直画素近傍がバッファ３０に格納される。加えて、大半のディジタルカメラは、画像を選択して永久に記憶させる前に複数の画像を撮影して露出が適正かどうかを確認するので、バッファ３０内には一度に１つまたは複数の画像が格納される。
【００２３】
モザイク減少の結果は、３つの補間された色平面３５（すなわち、Ｒ、Ｇ、Ｂ）であり、それぞれが元の値と補間された値を含む。本明細書で説明する赤、青、緑の色空間の代わりに、黄、シアン、マゼンタ等の他の色空間を用いることもできることは理解されよう。補間された赤、緑、青の色平面３５は、表示または処理されるまでメモリ５０内に記憶される。メモリ５０に記憶する前に、ＪＰＥＧ規格等の圧縮法（図示せず）を用いて色平面３５を圧縮できることに注意されたい。出力装置６０（例えば、ビデオスクリーン、コンピュータスクリーンまたはプリンタ）上に圧縮画像を表示または処理するため、圧縮画像はまず復元され、復元された画像が出力装置６０へ出力される。
【００２４】
ディジタル信号プロセッサ４０は、図２に示す適応モザイク減少アルゴリズムに従って、バッファ３０に記憶された各画像を補間する。図２に示した適応モザイク減少アルゴリズムは、ここでは主ベクトル法（ＰＶＭ）と呼ぶことにする。ＰＶＭは、色エッジの検出と近傍投票（neighborhood voting）に基づくものである。画像内には、光の強度が急激に変わる多くのエッジが存在する。鮮明な出力画像を生成するには、色補間はエッジを横切るよりも、エッジに沿って行うべきである。従って、ＰＶＭアルゴリズムは各画素位置で画素がエッジ上にあるかどうかを検出し、エッジ上にある場合には、そのエッジの方向を推定する。本明細書において用語「エッジ」とは、オブジェクトの境界や強度が急激に変化する他の境界上にある画素のことを指すことは理解されよう。用語「エッジ」は、画像の４つの自然な境界のうちの１つの境界上にある画素（すなわち、センサ自身のエッジ上にある画素）を指すわけではない。
【００２５】
一実施形態では、エッジ検出とエッジ方向の推定は、例えば緑の単色平面を用いることによって試行される。しかし、単一の色平面に依存すると、依存した色が存在しない画像領域や、依存した色が固定されている色付きのエッジにおいて、エラーを生じることがある。他の実施形態では、エッジ検出とエッジ方向の推定は、２つまたは３つの色平面から出し合う（pool）ことができる。３つの色平面すべてからの結果を出し合うと、一般により優れた結果が得られる。従って、図２のＰＶＭアルゴリズムは、３つの色平面からのエッジに関連する情報（例えば、エッジの検出とエッジ方向の推定）の出し合いを示している。
【００２６】
生データ２５がディジタル信号プロセッサ４０に着くと、生データ２５はそれぞれが欠損要素を有する３つの生データ色平面２５ａ、２５ｂ、２５ｃに分離される。ディジタル信号プロセッサ４０は、各位置で欠損する輝度値を決定するために、輝度生データ色平面２５ｂ（すなわち、緑）に適応補間ロジック４２を適用する。例えば、適応補間ロジック４２は、投票メカニズムに基づいて、水平方向の補間、垂直方向の補間、または水平方向の補間と垂直方向の補間の組み合わせを用いて、赤画素と青画素のそれぞれで緑値を補間する。この投票メカニズムについては図４及び５を参照してより詳細に説明する。これによって得られる補間された緑色平面３５ｂは、元の緑値（大文字のＧで表す）と、補間された緑値（小文字のｇで表す）の両方を含む。
【００２７】
欠損緑値が決定すると、欠損する赤と青の値が補間される。最初に、減算ロジック４４ａ及び４４ｂが、赤または青のそれぞれの画素位置における欠損緑値と、対応する元の赤または青の画素値との間の差を計算する。例えば、青の生データ色平面２５ｃの左下隅の青値Ｂを取り込み、減算ロジック４４ｂは、補間された緑色平面３５ｂの左下隅の補間された緑値ｇを、青の生データ色平面２５ｃの左下隅の青値Ｂから減算する。
【００２８】
得られた差分色平面２８ａ及び２８ｂは、差分補間ロジック４６ａ及び４６ｂにより、それぞれ中央値補間、双一次補間、画素複製等の既知の方法によって補間される。図２は双一次補間法を示している。赤と青の差分色平面２８ａ及び２８ｂが双一次補間ロジック４６ａ及び４６ｂに入力され、それぞれ赤及び青の差分補間色平面（図示せず）を出力する。最終的な赤及び青の補間色平面３５ａ及び３５ｃは、赤及び青の差分補間色平面をそれぞれ加算ロジック４８ａ及び４８ｂへ入力することによって得られる。この加算ロジックは、赤及び青の差分補間色平面を、対応する画素位置について、補間された緑色平面３５ｂの緑値ｇ及びＧに加算する。ＤＳＰ４０からメモリ５０（図１）に出力されるのは、これらの補間された赤、青、緑の色平面３５ａ、３５ｂ及び３５ｃである。
【００２９】
図３は、ＰＶＭモザイク減少アルゴリズムを実行するステップを示す。最初に、ＤＳＰは生データを受け取り（ステップ３００）、生データを３つの生データ色平面に分離する（ステップ３１０）。ＤＳＰは、適応補間技術（図４，５で後述）を輝度色平面（すなわち、緑）に適用する（ステップ３２０）。補間された輝度色平面を用いて、ＤＳＰは、補間された輝度値を対応する画素クロミナンス色値から減算することによって、差分クロミナンス色平面（赤と青）を求める（ステップ３３０）。例えば、補間された緑平面をチルダーＧで表わすと、欠損する赤値及び青値は、次式に示すように赤画素位置または青画素位置における差を形成することによって補間することができる。
【００３０】
【数２】
【００３１】
これによって２つの差分画像ＤＲＧとＤＢＧが得られ、これらの値は赤画素位置と青画素位置においてのみそれぞれ知られている。
【００３２】
その後、ＤＳＰは差分クロミナンス値（difference chrominance value）を用いて差分クロミナンス色平面（difference chrominance color plane）を補間する（ステップ３４０）。上述のように、差分クロミナンス色平面は、中央値補間、双一次補間、画素複製等の任意の既知の方法を用いて補間することができる。
【００３３】
最も単純な形態のクロミナンス補間は、画素複製である。例えば、画素複製では、各欠損値が左、上、左斜め上の最近傍の画素から取り込まれる。人間の視覚系では、クロミナンス色に対する鋭さは輝度色に対するよりも低いので、画素複製は大半の状況で優れた結果をもたらす。
【００３４】
双一次補間は、複雑さが僅かに増すが画素複製よりも改善される点がいくつかある。双一次補間法では、以下の３×３フィルタを用いて差分赤値または差分青値が畳み込まれる。
【００３５】
【数３】
【００３６】
上述のフィルタでは、乗算と除算が２のべき乗によるものであり、従って桁送り（シフト）で実現できることに注意されたい。
【００３７】
非線形補間法である中央値補間は、特に欠陥画素があるときに最高の結果を与えるが、複雑さは最大である。中央値補間は２つのステップからなる。第１は、４つの対角近傍を有する欠損値をこれら４つの値の中央値を用いて補間するステップである。第２は、残る欠損値を東西南北の近傍の中央値によって補間するステップである。
【００３８】
一例として、画素値の近傍において差分画像ＤＲＧが以下の値を有すると仮定する。
【００３９】
【数４】
【００４０】
第１のステップの後、４つの対角近傍を有する欠損値は、それらの近傍の中央値によって補間される。第１のステップの結果は以下の通りである。
【００４１】
【数５】
【００４２】
＊と記した位置も補間されているが、それらの値が示されていないのは、図示の５×５の領域の外側にある近傍値に依存するからである。第２のステップは、以下のように、東西南北の４つの近傍の中央値を用いて残りの欠損値を埋める。
【００４３】
【数６】
【００４４】
チルダーＤRG及びチルダーＤBGで表される補間された差分画像が得られると、最終的な補間された赤値と青値は、次式のように元の緑値と補間された緑値の加算（ステップ３５０）によって求めることができる。
【００４５】
【数７】
【００４６】
これらの補間された輝度（緑）色平面とクロミナンス（赤と青）色平面は、メモリへ出力される（ステップ３６０）。
【００４７】
ここで、図４を参照して適応補間ロジック４２をさらに詳細に説明する。適応補間ロジック４２が生データ色平面２５ａ、２５ｂ、２５ｃを受け取ると、それぞれの勾配ロジックｌ００ａ、ｌ００ｂ、ｌ００ｃが、各色平面２５ａ、２５ｂ、２５ｃの勾配ｌ０５ａ、１０５ｂ、１０５ｃを求め、ヤコビアンロジック１１０が色平面２５ａ、２５ｂ、２５ｃのヤコビアン１１５を求める。続いて、色平面２５ａ、２５ｂ、２５ｃの勾配ｌ０５ａ、１０５ｂ、１０５ｃとヤコビアン１１５を説明する。
【００４８】
カラー画像は、二次元（２Ｄ）領域から三次元（３Ｄ）空間すなわち色空間への写像であるから、カラー画像の各成分は、（ｘ,ｙ）領域上で定義される関数、すなわちＲ(ｘ,ｙ)、Ｇ(ｘ,ｙ)、Ｂ(ｘ,ｙ)と見なすことができる。Ｂ．Ｊａｈｎｅ及びＨ．Ｈａｕｓｓｅｃｋｅｒの編集による「Computer vision and applications: a guide for students and practitioners, San Diego: Academic Press, 2000, pp. 334-335」は、参照により本明細書に援用されるが、これに記載されているように、カラー画像における局所方向の計測法は、二次元平面から三次元色平面への写像のヤコビアン（Ｊ）を作成することから始まる。
【００４９】
【数８】
ここで、∇は勾配（すなわち、最も増加が急な方向）を表わす。ヤコビアンは、水平（ｘ）及び垂直（ｙ）方向のカラー画像の局所的な一次変化率をとらえる。
【００５０】
例えば、以下の生データが適応補間ロジック４２へ供給されると仮定する。
【００５１】
【数９】
【００５２】
画素位置Ｒ１の緑の勾配を決定するためには、画素Ｒ１の水平方向の緑導関数と垂直方向の緑導関数を計算しなければならない。水平方向の緑導関数は（Ｇｘ１−Ｇｘ２）であり、垂直方向の緑導関数は（Ｇｙ１−Ｇｙ２）である。画素位置Ｒ１における赤の勾配と青の勾配も、同様の方法で算出される。例えば、水平方向の青導関数は（（Ｂ１＋Ｂ３）／２−（Ｂ２＋Ｂ４）／２）であり、垂直方向の青導関数は（（Ｂ１＋Ｂ２）／２−（Ｂ３＋Ｂ４）／２）である。赤導関数は、上述していないが水平方向及び垂直方向の赤値を用いて算出される。
【００５３】
ヤコビアンの特異値分解（ＳＶＤ）は、次式のように書くことができる。
【００５４】
【数１０】
Ｊ＝ＵＳＶｔ＝ｓ１ｕ１ｖ１ ｔ＋ｓ２ｕ２ｖ２ ｔ （式７）
ここで、ｓ１≧ｓ２≧０は特異値であり、ｕｋ、ｖｋはそれぞれ左、右のｋ番目の特異ベクトルである。（二乗誤差の合計を最小化するという意味での）Ｊに対する最高位の近似の１つが以下のようになることは、当分野において周知である。
【００５５】
【数１１】
【００５６】
ベクトルｕ１はカラー画像の最大の変化方向を与えるので、ベクトルｕ１はヤコビアンの主ベクトル、または簡単に主ベクトルという。
【００５７】
ヤコビアンのＳＶＤは、カラー画像のエッジ構造に関して有益な情報を与える。式６に示すように、Ｊの３つの列はそれぞれＲ、Ｇ、Ｂの色平面の一つにおける勾配である。勾配が互いに平行であるときは、エッジは３つの平面において整合している（consistent）と言うことができる。この場合、主ベクトルは勾配と同じ方向を指し、小さい方の特異値ｓ２は０に等しい。Ｒ、Ｇ、Ｂ勾配が平行でないときは、主ベクトルは３つの勾配に対し最も「適合（fit）」する。主ベクトルが勾配に適合する度合は、特異値から決定することができる。例えば、適合の程度は次式のように求めることができる。
【００５８】
【数１２】
λ＝ｓ２／（ｓ１＋ｓ２） （式９）
【００５９】
ｓ１≧ｓ２であり、０≦λ≦１／２であるので、λ＝０のとき（勾配は全て平行であるから）主ベクトルは完全に適合し、一方、λ＝１／２のとき適合は最低である。λ＝１／２が起こる状況の例は、３つの勾配のうちの２つが直角の方向を指し、第３の勾配が０であるときである。
【００６０】
上述のように、主ベクトルｕ１は、変化が最大の方向を指し示す。しかし、ＰＶＭアルゴリズムを用いた適応モザイク減少法は、実際には変化が最小の方向の近傍から補間を行い、エッジがぼやける危険を最小化する。従って、ｕ１に直交し変化が最小の方向を指すベクトルｕ２が補間方向として用いられる。例えば、Ｉ１がｕ１に沿って補間を行った結果であり、Ｉ２がｕ２に沿って補間を行った結果であると仮定する。すると、Ｉで表わされる全補間はＩ１とＩ２の重み付き結合となり、重み付けは次式のように適合度λに基づく。
【００６１】
【数１３】
Ｊ＝λＩ１＋（１−λ）Ｉ２ （式１０）
【００６２】
この重み付けによって、全補間が、Ｉ２（λ＝０、従って主ベクトルが勾配に完全に適合するとき）とＩ＝（Ｉ１＋Ｉ２）／２（λ＝１／２、適合が最小のとき）との間で連続して変化することが保証される。
【００６３】
矩形状にサンプリングされる生データ２５ａ、２５ｂ、２５ｃからＩ１、Ｉ２を計算するため、ＩｈとＩｖがそれぞれ水平方向と垂直方向の補間を表わすものとする。ＩｈとＩｖは、（Ｉｈについては）行に沿って画素値を単純に線形結合することによって、または（Ｉｖについては）列に沿って画素値を単純に線形結合することによって計算することができる。次に、ｕ１＝[ｕ１(１),ｕ１(２)]ｔ、ｕ２＝[ｕ２(１),ｕ２(２)]ｔとし、ｕ１、ｕ２が単位長ベクトルであるとすると、次式が成り立つ。
【００６４】
【数１４】
Ｉ１＝ｕ１(１)２Ｉｈ＋ｕ１(２)２Ｉｖ （式１１）
Ｉ２＝ｕ２(１)２Ｉｈ＋ｕ２(２)２Ｉｖ （式１２）
式１０に式１１と式１２を組み合わせることで、Ｉは次式のようになる。
【００６５】
【数１５】
Ｉ＝αＩｈ＋(１−α)Ｉｖ （式１３）
（但し、α＝λｕ１(１)２＋(１−λ)ｕ２(１)２）
【００６６】
これから分るように、式１３の値Ｉの計算には、Ｉｈ、Ｉｖ、αの３つが必要である。最初の２つＩｈ、Ｉｖは直接的に計算されるが、これは画素値の単純な線形結合にのみ含むからである。しかし、３つ目のαはＪのＳＶＤから導出される項に基づいている。これは、各画素でＪのＳＶＤ計算を要求することになる可能性があり、コストが非常に高い。
【００６７】
しかし、一実施形態では、計算を簡単にするために、αの近似値を推定することができる。例えば、αの計算を簡単にするため、適応補間ロジック４２は、αの値を３つのレベルすなわち０、１、１／２に量子化できると仮定することができる。これは、式１３の全補間Ｉが純粋に水平、純粋に垂直、または２つの平均のいずれかであることを意味する。適応補間ロジック４２は、主ベクトルｕ１の方向をただ２つの可能性すなわち水平または垂直のうちの１つに量子化できると仮定することもできる。例えば、水平軸からのｕ１の傾きが±４５未満のときｕ１は水平となり、それ以外のときｕ１は垂直となる。同様に、|ｕ１(１)|≧|ｕ１(２)|であるときはｕ１は水平となり、そうでない場合は垂直となる。
【００６８】
適応補間ロジック４２は、多数決ルールを適用することによって主ベクトルが水平であるか垂直であるかの判定を行なうと仮定することもできる。多数決ルールとは以下の通りである。すなわち、ヤコビアン１１５の最下行の成分の大部分（垂直方向の導関数）が絶対値でヤコビアン１１５の最上行の対応する成分（水平方向の導関数）を越える場合、主ベクトルは垂直となる。それ以外の場合、主ベクトルは水平となる。例えば、ヤコビアン１１５が次式で表されるとすると、最上行の成分のうちの２つが絶対値で最下行の対応する成分を越えていることになる。
【００６９】
【数１６】
従って、このヤコビアン１１５の主ベクトルは水平と仮定される。
【００７０】
多数決ルールによって主ベクトルの方向を得ることはできるが、多数決ルール単独では｛０,１／２,１｝の中からαを決定できない。上述したように、主ベクトル自体が補間方向として用いられることはない。むしろ、補間方向は、主ベクトルの方向に対して直角である。従って、重み付け係数αの選択時に、適応補間ロジック４２は垂直方向の導関数を上回る水平方向の導関数の実際の数を考慮する（またはその逆を考慮する）。
【００７１】
例えば、全ての水平方向の導関数がそれらの対応する垂直方向の導関数を上回る場合、αは０に設定され、（主ベクトルに直交する方向である）垂直方向の補間を強制する。画像内の垂直エッジ上にある画素については、垂直方向の補間が好ましい。水平方向に隣接する（adjacent）画素では急な輝度の変化が存在するため、垂直エッジ上にある画素に対して水平方向の補間を行うと適切な補間値が得られない。上述の重み付け係数αの選択法は、画素が垂直エッジ上にあることを検出するが、これは垂直エッジ画素の一次導関数が垂直方向よりも水平方向で大きいからである。重み付け係数αが垂直エッジ上にある画素に対応する場合、垂直方向の補間が適用される。
【００７２】
しかし、水平方向の導関数のいずれも対応する垂直方向の導関数を上回らない場合、αは水平方向の補間を強制するよう１に設定される。垂直エッジ上の画素と関連して上述したのと同じ理由から、画像内の水平エッジ上にある画素については水平方向の補間が好ましい。しかし、水平方向の導関数のうちの１つまたは２つのみが対応する垂直方向の導関数を上回る場合は、αは水平方向及び垂直方向の補間の両方を含むように１／２に設定される。これは勾配が平行でない箇所では主ベクトルの適合が最低であるからである。画素がエッジ上にないときは、適合は通常最低であり、従って、水平方向の補間と垂直方向の補間の両方を行うことが好ましい。
【００７３】
図４に示すように、上述のαの選択メカニズムは、適応補間ロジック４２内の列投票ロジック１２０に実装される。列投票ロジック１２０は、ある特定の画素についてヤコビアン１１５の各列を取り込み、各列に１つの票を割り当てる。最下値が最上値を上回る場合、列は水平方向に投票し、最上値が最下値を上回る場合は、列は垂直方向に投票する。こうして、３つの列投票１２５が各画素で集められる。
【００７４】
この投票方式は、各画素での投票だけでなく近傍画素の投票も含めるようさらに拡張することができる。このように、重み付け係数αを決定する前に、適応補間ロジック４２は、列投票１２５に加えて近傍投票のデータ１４０を考慮することができる。例えば、２つの近傍の画素において、各近傍画素のヤコビアン１１５の２つ以上の列が水平方向へ投票した場合、近傍投票データ１４０は２つの水平方向の投票を含むことになる。この拡張された投票方式は、近傍画素での個々のヤコビアン１１５の列投票を用いず、多数決ルールの結果を考慮するだけであるが、他の実施形態においては、拡張された投票方式は近傍画素における各列の投票を含むことができる点に注意されたい。
【００７５】
近傍投票データ１４０は、画像のラスタースキャン内の現在の画素に先行する画素の任意のサブセットからのデータと定義することができる。例えば、近傍投票データ１４０は、現在の画素の左及び上に隣接する画素からのデータを含むことができる。この近傍は、距離１の近傍と呼ばれる。しかし、異なる距離の他の近傍画素も選ぶことができることを理解されたい。
【００７６】
列投票ロジック１１０が特定の画素の各列についての投票を求めると、列投票ロジック１１０は最多投票１３５を決定（すなわち、垂直方向または水平方向）して、メモリ１３０（図１に示したのと同じメモリ５０でよい）に最多投票１３５を記憶する。例えば、最多投票１３５が水平方向（すなわち、２以上の列が水平方向に投票）の場合、列投票ロジック１１０はその画素についてメモリ１３０に「１」を記憶する。最多投票１３５が垂直方向である場合、列投票ロジック１１０はその画素についてメモリ１３０に「０」を記憶する。従って、適応補間ロジック４２が生データ２５ａ、２５ｂ、２５ｃを補間するときに、近傍距離Ｎに対応する多くの先行するライン上の多数決ルールの結果がメモリ１３０に記憶される。有利であることに、必要なメモリは記憶する各ラインについて１画素につき１ビットだけである。
【００７７】
列投票ロジック１１０と、１以上の多数決投票１３５を含む近傍投票データ１４０からの列投票１２５が全て集められると、加算ロジック１５０は、列投票ロジック１１０によって供給された現在の画素についての列投票１２５を、近傍投票データ１４０によって供給された近傍投票に加算する。投票の加算結果１５５は、重み付け決定ロジック１６０へ送られて重み付け係数αを割り当てる。一例として、投票は３つの範囲に分割される。第１に、水平方向への投票の数が第１の閾値Ｔ１未満の場合は、α＝０となる。第２に、水平方向への投票の数が第１の閾値Ｔ１と第２の閾値Ｔ２の間である場合は、α＝０．５となる。第３に、水平方向への投票の数が第２の閾値Ｔ２よりも大きい場合は、α＝１となる。
【００７８】
Ｔ１とＴ２の選択は、近傍Ｎの大きさに依存する。例えば、Ｎが１の距離である場合、一実施形態ではＴ１＝１、Ｔ２＝４となる。従って、１の距離を有する近傍については、最大投票数は５となる（すなわち、現在の画素に３票、隣接する画素にそれぞれ１票）。Ｔ１とＴ２をこのように選択することで、水平方向補間への投票が１以下の場合、α＝０によって垂直方向補間が選択される。水平方向補間への投票が４または５の場合、α＝１によって水平方向補間が選択される。２または３の投票が得られる中間の場合は、α＝０．５によって水平方向補間と垂直方向補間の平均が適用される。異なる近傍Ｎが選択されれば他の閾値が使用できることを理解されたい。重み付け係数αが決定すると、補間ロジック１７０はαを用いて欠損する緑値を補間し、補間された緑色平面３５ｂを出力する。
【００７９】
図５を参照すると、輝度色平面を補間するステップ（すなわち、クロミナンス画素位置での欠損緑値の決定）が示されている。第１のステップとして、各生データクロミナンス色平面（すなわち、赤と青）の勾配が、水平方向と垂直方向の一次導関数をとることによって推定される（ステップ５００）。一次導関数の代わりに、二次導関数等の変化の度合を測る他の尺度も使用できることを理解されたい。
【００８０】
各画素位置での勾配が推定されると、式６に示すように、各画素位置のヤコビアンが既知となる（ステップ５１０）。ヤコビアンの各列（すなわち、各勾配）は水平方向か垂直方向のいずれかに投票する（ステップ５２０）。各勾配（列）からそれぞれ票が得られ、最多投票（すなわち、どちらが最も多く票を得たかによる垂直または水平の結果）がメモリに記憶される（ステップ５３０）。
【００８１】
一般に、ＤＳＰは行ごとに生データを処理する。従って、現在処理中の画素位置の右及び下に隣接する画素についての生データが既知であっても、これらの隣接画素に対する最多投票は未知である。従って、一般に近傍投票を考慮すると（ステップ５４０）、投票を完了してメモリ内に最多投票を記憶させた隣接画素だけが、現在処理中の画素位置の左及び上に隣接する画素となる。例えば、以下に示すベイヤーパターンの画素位置Ｒ１を考えると、近傍投票データはＧｘ１とＧｙ１からの最多投票を含むことになる。近傍投票の数を増やして、現在処理された画素から２画素またはそれ以上離れた近傍を考慮することもできることを理解されたい。
【００８２】
【数１７】
【００８３】
距離１の近傍については、現在処理中の画素位置の左と上の隣接画素それぞれからの最多投票が、現在処理中の画素位置の列投票に加算され、結果として計５票が得られる（ステップ５５０）。重み付け係数αは、上述のように水平方向への投票の総数対垂直方向への投票の総数に基づいて決定される（ステップ５６０）。例えば、上述の画素位置Ｒ１を考えると、赤勾配（列）が水平方向に投票し、青勾配（列）が垂直方向に投票し、緑勾配（列）が水平方向に投票した場合、画素位置Ｇｘ１の最多投票は水平方向となる。加えて、画素位置Ｇｘ１からの最多投票が水平方向であり、画素位置Ｇｙ１についての最多投票が垂直方向であった場合、水平方向への投票の総数は３であり、垂直方向への投票の総数は２となる。
【００８４】
上述のように、水平方向への投票の総数または垂直方向への投票の総数のいずれかに基づいた１つまたは複数の閾値は、重み付け係数αを決定するために設定することができる。図４に関連して上述した例では、２つの閾値Ｔ１、Ｔ２が水平方向への投票の総数に基づいて設定された。図４の例では、Ｔ１＝１、Ｔ２＝４である。従って、上述の画素位置Ｒ１からの全投票数を用いると、３票の水平方向の票があったため、重み付け係数αは０．５となる。従って、画素位置Ｒ１における欠損緑値の補間は、水平方向と垂直方向の画素値の両方に基づくことになる。
【００８５】
補間結果は、通常、線形予測を適用して改善される。滑らかな関数ｆ(ｘ)については、線形予測は次式のようになる。
【００８６】
【数１８】
【００８７】
例えば、上述のベイヤーパターン内のＲ１を含むラインを延長すると、水平方向の近傍には以下の画素が存在する。
Ｒ２Ｇｘ１Ｒ１Ｇｘ２Ｒ３
Ｇｘ１からＲ１における緑値の線形予測は、差分近似ｆ’(ｘ０)＝(Ｒ１−Ｒ２)／２を用い、ｘ−ｘ０＝１と置くと、次式のようになる。
【００８８】
【数１９】
Ｇｘ１＋{(Ｒ１−Ｒ２)／２} （式１５）
この色の混合は、色平面間の強固な局所相関の仮定に基づくものであり、従って同じ方向の差分は同等となるはずである。
【００８９】
同様にＧｘ２からＲ１における線形予測は、ｘ−ｘ０＝−１とすると、次式のようになる。
【００９０】
【数２０】
Ｇｘ２−{(Ｒ３−Ｒ１)／２} （式１６）
従って、式１３においてＩｈで表わされる、Ｒ１における水平方向に補間された緑値は、式１５と式１６の結果の平均となる。
【００９１】
【数２１】
【００９２】
低光（low-light）レベルの画像処理状況では、ノイズによって線形予測の有効性が阻害される。画像が低光の画像であるか否かは、画素値を見ることによって一般に判断される。画素値は、通常０〜２５５の範囲にある。例えば、大半の画素値が低光の閾値（オペレータによる判定またはディジタル撮像システム内にプログラムされた値）に満たない場合、画像は低光の画像であるとみなされる。従って、０≦γ≦１である係数γ（入力画素に対して適用されるゲインに従って設定される）によって線形補間の大きさを変えることは有利である。具体的には、式１７は次式のように書き換えることができる。
【００９３】
【数２２】
【００９４】
低光レベルに対しては、ゲインは高く、その結果ノイズも多く、γは０または小さな正の値に等しくなる。通常の照明では、γは１に等しい。
【００９５】
式１８に示したのと同様の補間が、青と緑をもつラインの水平方向補間に使用され、また垂直方向補間にも使用される。画素位置Ｒ１における補間された輝度値を計算するには、上述のように水平方向補間と垂直方向補間の平均が使用される。
【００９６】
欠損輝度値が補間される（ステップ５７０）と、補間された輝度色平面は、図２に関連して上述したように、任意の既知のモザイク減少技法を用いて、クロミナンス色平面の補間に使用される図２の適応補間ロジックによって出力される（ステップ５８０）。適応モザイク減少ＰＶＭアルゴリズムを用いることで、画像は孤立した補間誤差が減少する。従って、近傍を用いることによって、従来のモザイク減少法よりも滑らかな画像が再生される。
【００９７】
ＰＶＭの性能は、追加の処理ステップによりさらに改良することができる。ＰＶＭモザイク減少アルゴリズムの拡張方法の一種を図６Ａに示す。図６Ａは、Ｇ１：Ｇ２の不一致を補償するための例示的なステップである。図２に示した生データ２５内の緑画素は、２つのカテゴリに分類される。すなわち、（１）水平方向の近傍として赤画素を、垂直方向の近傍として青画素を持つ、「Ｇ１」画素と、（２）水平方向の近傍として青画素を、垂直方向の近傍として赤画素を持つ、「Ｇ２」画素である。Ｇ１画素は、センサの構造とＣＦＡの不良を含む要因によって、同じ照明に対してＧ２画素とかなり異なる値を呈することが多い。緑が一様である画像領域では緑値の変化が最も目立ち、詳細に検査すると市松模様状に見える。
【００９８】
Ｇ１画素とＧ２画素の間の不一致は、ＰＶＭモザイク減少アルゴリズムの前に適用される２つの事前処理ステップを用いて補正することができる。図６Ａに示され「平均バランス化（mean balancing）ステップ」と呼ばれる第１のステップは、全体的な補正を行う。この平均バランス化ステップは、画像全体のＧ１画素の平均値を計測し（ステップ６００）、別に画像全体のＧ２画素の平均値を計測する（ステップ６１０）ことによって進められる。２つの平均値が等しい場合（ステップ６２０）、不一致は存在せず、処理は終了する（ステップ６３０）。しかし、２つの平均値が等しくない場合（ステップ６２０）には、２つの平均値の間の差の百分率が求められる（ステップ６４０）。その後、２つの平均（Ｇ１平均またはＧ２平均）のうちの小さな方の緑画素値が、差の百分率を用いて拡大される（ステップ６５０）。
【００９９】
この平均バランス化ステップは、ＰＶＭアルゴリズムを用いたモザイク減少前に適用することができる。上述のように、ディジタルカメラでは画像を選択して永久に記憶させる前に複数の画像を撮影して露出が適正かどうかを確認することが多い。従って、この平均バランス化ステップは、画像を記憶させる前に、撮影した画像のうちの１つに対して実行される。
【０１００】
第２のステップが図６Ｂに示されており、これを「適応平滑化」と呼ぶ。この第２のステップも、緑の色平面の補間前に実行することができ、平均バランス化ステップの後に実行するのが好ましい。適応平滑化ステップは、エッジ上にない画素における生の緑値に平滑フィルタを適用し、平滑化された緑値を補間に用いる。画素がエッジ上にあるか否かは、式６に示したヤコビ行列からエントリの絶対値の合計を計算することによって決定することができる。ヤコビアンのエントリの絶対値の合計が所定の閾値（実験においては、閾値として６４を用いた）未満である場合（ステップ６７０）、画素はエッジ上には無く、従って生の緑値に対し平滑化が適用される。合計が所定の閾値未満でない場合（ステップ６７０）、画素はエッジ上にあり、処理はこの画素に関して終了する（ステップ６８０）。適応平滑化ステップにとって、緑の画素値のヤコビアンの緑の列は、同等の緑画素、すなわちＧ１値とＧ１値またはＧ２値とＧ２値の差を取ることによって計算され、Ｇ１値とＧ２値の差を取ることによって計算されるのではないことに注意されたい。
【０１０１】
緑画素がエッジ上に無いと決定されると（ステップ６７０）、平滑化は以下のような３×３のフィルタを用いて緑値を畳み込むことによって実現される（ステップ６９０）。
【０１０２】
【数２３】
式１９のフィルタは、以下に示すのと同様のベイヤーパターンを仮定する。
【０１０３】
【数２４】
ここで、Ｇ２値は、４つのＧ１値により囲まれている。Ｇ２値を平滑化するために、Ｇ２値は４倍されて周囲にあるＧ１値にそれぞれ加算される。加算後の合計は８で除算され、得られた値がＧ２値として用いられる。
【０１０４】
ＰＶＭモザイク減少技法に対するさらなる拡張を図７に示す。図７は、画像鮮明化（シャープ化）ステップを示す。画像は画素位置でのみサンプリングされるので、本質的に画像のアンダーサンプリングが存在し、画像内の一部の高周波成分が除かれてしまうことがある。従って、画像を鮮明化するため、二次導関数を元の画像へ付け加える。例えば、以下のベイヤーパターンを考える。
【０１０５】
【数２５】
【０１０６】
Ｇ３３の水平方向の二次導関数は、（２Ｇ３３−Ｇ３１−Ｇ３５）によって推定することができる。同様に、Ｇ３３の垂直方向の二次導関数は、（２Ｇ３３−Ｇ５３−Ｇ１３）によって推定することができる。
【０１０７】
鮮明化の量はユーザーの好みに応じて調整可能であるのが好ましい。例えば、ラプラシアンを∇２で表わし、κを０≦κ≦１の間で調整可能なパラメータとすると、次式により元の画像Ｉ(ｘ,ｙ)から鮮明化画像Ｉ(ｘ,ｙ)ハットが求められる。
【０１０８】
【数２６】
ここで、Ｉはモザイク減少後に得られる十分に密にされた（fully-populated）赤、緑、青の色平面のいずれかである。
【０１０９】
第１のステップとして、ユーザは調整可能なパラメータκを設定する（ステップ７００）。調整可能なパラメータκは、鮮明化を望まないときは０に、最大量の鮮明化を望むときは１に設定される。しかし、κに０と１の間の任意の値を使用できることを理解されたい。調整可能なパラメータκが０に設定されると（ステップ７１０）、鮮明化は実行されない（ステップ７２０）。調整可能なパラメータκが０に設定されない場合（ステップ７１０）、ラプラシアンが求められ（ステップ７３０）、調整可能なパラメータκを乗じられ（ステップ７４０）、元の画素値に加算される（ステップ７５０）。
【０１１０】
一実施形態では、鮮明化は、差分画像補間の前に、補間された緑画像に適用することができる。例えば、チルダーＧ(ｘ,ｙ)が補間された緑平面であるとすると、鮮明化された緑平面Ｇ(ｘ,ｙ)ハットは以下のようになる。
【０１１１】
【数２７】
【０１１２】
式１及び式２内のチルダーＧ(ｘ,ｙ)をＧ(ｘ,ｙ)ハットで置き換えることにより、最小の処理で鮮明化が実現される。
【０１１３】
ＰＶＭモザイク減少アルゴリズムについての別の拡張を図８に示す。図８は、画像のノイズを低減するステップである。Ｇ１：Ｇ２補償について提案された適応平滑化は、ノイズを低減するために、赤画素と青画素に簡単に拡張することができる。ノイズ低減用の適応平滑化は、エッジ上にない画素での生の赤値と青値へ平滑化フィルタを適用し、平滑化された赤値と青値を補間に用いる。図６に関連して上述したように、画素がエッジ上にあるか否かは、式６に示したヤコビ行列式からエントリの絶対値の合計を計算することによって決定することができる（ステップ８００）。ヤコビアンのエントリの絶対値の合計が所定の閾値未満の場合（ステップ８１０）、画素はエッジ上にはなく、従って生の赤値または青値に平滑化が適用される。合計が所定の閾値（ステップ８１０）未満でない場合、画素はエッジ上にあり、処理が終了する（ステップ８２０）。５×５のノイズ低減用平滑化フィルタは、以下のようになる（ステップ８３０）。
【０１１４】
【数２８】
赤画素値と青画素値用の上記フィルタを用いた適応平滑化は、エッジをぼかすことなくノイズを低減するという長所を有する。
【０１１５】
本発明には例として以下の実施形態が含まれる。
【０１１６】
（１）画素がディジタル画像のエッジ上にあるか否かを判定する方法であって、
前記画素について、第１の色の第１のエッジ方向と第２の色の第２エッジ方向を決定するステップと、
前記第１のエッジ方向と前記第２のエッジ方向に関連する個別の補間の投票を提供し、選択された補間方向を決定するステップであって、前記個別の補間の投票が第１の補間方向または第２の補間方向のいずれかであり、前記選択された補間方向が前記第１の補間方向と前記第２の補間方向への前記投票の数に基づいている、ステップと、
を含む方法。
【０１１７】
（２）前記第１のエッジ方向及び第２のエッジ方向はそれぞれ第１の勾配及び第２の勾配であり、該第１の勾配及び第２の勾配は前記画素のヤコビアンを形成する、上記(１)に記載の方法。
【０１１８】
（３）前記第１の補間方向は水平方向補間であり、前記第２の補間方向は垂直方向補間であり、
前記提供するステップは、
前記第１の勾配に関連する補間の投票の第１の票を設定するステップであって、前記第１の勾配の行成分の絶対値が該第１の勾配の列成分の絶対値よりも小さいとき、前記第１の補間投票は前記水平方向補間に設定され、前記第１の勾配の列成分の絶対値が該第１の勾配の行成分の絶対値よりも小さいとき、前記第１の補間投票は前記垂直方向補間に設定される、ステップと、
前記第２の勾配に関連する補間の投票の第２の票を設定するステップであって、前記第２の勾配の行成分の絶対値が該第２の勾配の列成分の絶対値よりも小さいとき、前記第２の補間投票は前記水平方向補間に設定され、前記第２の勾配の列成分の絶対値が該第２の勾配の行成分の絶対値よりも小さいとき、前記第２の補間投票は前記垂直方向補間に設定される、ステップと、
前記設定ステップに基づいて、選択された前記補間方向について、前記水平方向補間、前記垂直方向補間、または水平方向補間と垂直方向補間の組み合わせのいずれかを選択するステップと、
をさらに含む、上記(２)に記載の方法。
【０１１９】
（４）前記選択ステップは、
隣接投票データを提供するステップであって、該隣接投票データは少なくとも一つの隣接画素からの多数決投票を含み、該多数決投票は、前記隣接画素からの最多の補間投票が水平方向補間であるときは水平方向補間であり、前記隣接画素からの最多の補間投票が垂直方向補間であるときは垂直方向補間である、ステップと、
前記近傍投票データを前記補間投票に加算して前記選択された補間方向を決定するステップと、
をさらに含む、上記(３)に記載の方法。
【０１２０】
（５）前記選択ステップは、
前記水平方向補間と前記垂直方向補間のいずれかについて、前記補間投票の数に関連する第１の閾値及び第２の閾値を少なくとも設定するステップと、
前記水平方向補間と垂直方向補間のいずれかについて、前記補間投票の数が前記第１の閾値と第２の閾値の間にあるときに、前記水平方向補間と垂直方向補間の組み合わせを前記選択された補間方向として選択するステップと、
をさらに含む、上記(４)に記載の方法。
【０１２１】
（６）画素位置における値として表わされるディジタル画像をモザイク減少する方法であって、
一組の第１の色値と一組の第２の色値を受け取るステップと、
前記画素位置の所与の位置に関連する前記第１の色値のうちの所与の色値について、前記一組の第１の色値を使用して第１の変化の度合を決定するとともに、前記一組の第２の色値を使用して第２の変化の度合を決定するステップであって、前記第１の変化の度合及び第２の変化の度合はそれぞれ行成分と列成分を有する、ステップと、
前記第１の変化の度合及び第２の変化の度合の両方について、前記行成分を前記列成分と比較して、選択された補間方向を決定するステップと、
を含む方法。
【０１２２】
（７）前記選択された補間方向を使用して、前記所与の画素位置に関連する欠損する第２の色値を補間するステップをさらに含む、上記(６)に記載の方法。
【０１２３】
（８）前記補間ステップは、前記第１の色値と前記第２の色値を用いる線形予測関数を適用することによって、前記欠損する第２の色値を補間するステップをさらに含む、上記(７)に記載の方法。
【０１２４】
（９）前記補間ステップは、
低光（low-light）の閾値未満の前記第１の色値及び第２の色値の数を決定するステップと、
前記数が他の閾値を越えたとき、前記線形予測関数を無効とする（turn off）ステップと、
をさらに含む、上記(８)に記載の方法。
【０１２５】
（１０）前記所与の第１の色値から前記補間した欠損する第２の色値を減算することによって差分値を決定するステップと、
少なくとも前記差分値を用いて、欠損する第１の色値を補間するステップであって、該欠損する第１の色値は前記第１の色値を生成しなかった前記画素位置のうちの一つに関連する、ステップと、
をさらに含む、上記(７)に記載の方法。
【０１２６】
（１１）前記第１の変化の度合及び第２の変化の度合はそれぞれ前記第１の勾配及び第２の勾配であり、該第１の勾配及び第２の勾配は前記所与の第１の色値のヤコビアンを形成しており、
前記比較ステップは、
前記第１の勾配及び第２の勾配のそれぞれによって個々の補間投票を供給するステップであって、該補間投票は第１の補間方向または第２の補間方向のいずれかであり、前記選択された補間方向は前記第１の補間方向と前記第２の補間方向についての前記補間投票の数に基づく、ステップをさらに含む、上記(６)に記載の方法。
【０１２７】
（１２）前記第１の補間方向は水平方向補間であり、前記第２の補間方向は垂直方向補間であり、
前記供給ステップは、
前記第１の勾配及び第２の勾配のそれぞれの前記行成分の絶対値が該勾配の前記列成分の絶対値よりも小さいとき、前記第１の勾配及び第２の勾配のそれぞれによって前記補間投票を前記水平方向補間として設定するステップと、
前記第１の勾配及び第２の勾配のそれぞれの前記列成分の絶対値が該勾配の前記列成分の絶対値よりも小さいとき、前記第１の勾配及び第２の勾配のそれぞれによって前記補間投票を前記垂直方向補間として設定するステップと、
前記設定ステップに基づいて、前記選択された補間方向について、前記水平方向補間、前記垂直方向補間、または水平方向補間と垂直方向補間の組み合わせのいずれかを選択するステップと、
をさらに含む、上記(１１)に記載の方法。
【０１２８】
（１３）前記選択ステップは、
近傍投票データを提供するステップであって、該近傍投票データは前記画素位置に隣接する少なくとも１つの画素からの前記所与の画素位置に対する多数決投票を含み、該多数決投票は、前記画素位置の前記隣接画素からの最多の前記補間投票が水平方向補間であるときは水平方向補間であり、前記画素位置の前記隣接画素からの最多の前記補間投票が垂直方向補間であるときは垂直方向補間である、ステップと、
前記近傍投票データを前記補間投票に加算して、前記選択された補間方向を決定するステップと、
をさらに含む、上記(１２)に記載の方法。
【０１２９】
（１４）前記選択ステップは、
前記水平方向補間または前記垂直方向補間のいずれかついて、前記補間投票の数に関連する少なくとも第１の閾値と第２の閾値を設定するステップと、
前記水平方向補間か垂直方向補間のいずれかについて、前記補間投票の数が前記第１の閾値と第２の閾値の間にあるときに、前記水平方向補間と垂直方向補間の組み合わせを前記選択された補間方向として選択するステップと、
をさらに含む、上記(１３)に記載の方法。
【０１３０】
（１５）前記第１の色値はクロミナンス色値であり、前記第２の色値は輝度色値である、上記(６)に記載の方法。
【０１３１】
（１６）前記輝度色値の第１グループの第１の平均輝度値と前記輝度色値の第２グループの第２の平均輝度値を決定するステップと、
前記第１の平均輝度値と前記第２の平均輝度値との間の差の百分率を求めるステップと、
前記第１の平均輝度値が前記第２の平均輝度値未満であるときに、前記差の百分率により前記輝度色値の第１グループを増大させるステップと、
をさらに含む、上記(１５)のに記載の方法。
【０１３２】
（１７）前記一組の輝度色値から前記輝度色値のうちの所与の一つのヤコビアンを求めるステップと、
前記ヤコビアン内の値の絶対値の第１の合計を求めるステップと、
前記第１の合計が所定の閾値に満たない場合に、
前記所与の輝度色値に４を乗ずるステップと、
４個の対角に隣接する画素位置の前記輝度色値を加算して第２の合計を得るステップと、
前記第２の合計を８で除算するステップと、
をさらに含む、上記(１５)に記載の方法。
【０１３３】
（１８）前記所与の第１の色値のヤコビアンを求めるステップと、
前記ヤコビアン内の値の絶対値の第１の合計を求めるステップと、
前記第１の合計が所定の閾値未満である場合に、
前記所与の第１の色値に８を乗ずるステップと、
８個の最も近い画素位置の前記第１の色値を加算し、第２の合計を得るステップと、
前記第２の合計を１６で除算するステップと、
をさらに含む、上記(６)に記載の方法。
【０１３４】
（１９）画素位置における値として表わされるディジタル画像をモザイク減少するディジタル画像処理システムであって、
一組の第１の色値と一組の第２の色値を受け取るようにされたプロセッサであって、前記画素位置の所与の位置に関連する前記第１の色値のうちの所与の色値について、前記一組の第１の色値を使用して第１の変化の度合を決定するとともに、前記一組の第２の色値を使用して第２の変化の度合を決定し、前記第１の変化の度合及び第２の変化の度合はそれぞれ行成分と列成分を有しており、前記第１の変化の度合及び第２の変化の度合の両方について前記行成分を前記列成分と比較して選択された補間方向を決定するプロセッサを備えるシステム。
【０１３５】
（２０）前記プロセッサは、前記選択された補間方向を使用して、前記所与の画素位置に関連する前記画素位置の欠損する第２の色値を補間するようにさらに適応されている、上記(２０)に記載のシステム。
【０１３６】
（２１）前記プロセッサは、前記第１の色値と前記第２の色値を用いる線形予測関数を適用することによって、前記欠損する第２の色値を補間するようにさらに適応されている、上記(２０)に記載のシステム。
【０１３７】
（２２）前記プロセッサは、低輝度の閾値未満の前記第１の色値及び第２の色値の数を決定し、前記数が他の閾値を越えたときに前記線形予測関数を無効とするようにさらに適応されている、上記(２１)に記載のシステム。
【０１３８】
（２３）前記プロセッサは一組の第３の色値を受け取るように適応されており、前記一組の第１、第２及び第３の色値はそれぞれ異なる色に関連しており、前記プロセッサは前記第３の色値に関連する第３の変化の度合を決定することができる、上記(２０)に記載のシステム。
【０１３９】
（２４）前記プロセッサは、前記所与の第１の色値から前記補間された欠損する第２の色値を減算することによって差分値を決定し、少なくとも該差分値を用いて、前記第２の色値及び第３の色値に関連する前記画素位置について欠損する第１の色値を補間するようにさらに適応されている、上記(２３)に記載のシステム。
【０１４０】
（２５）前記第１、第２及び第３の変化の度合はそれぞれ第１、第２及び第３の勾配であり、
該第１、第２及び第３の勾配は前記所与の第１の色値のヤコビアンを形成しており、
該第１、第２及び第３の勾配のそれぞれが個々の補間投票を供給し、前記補間投票は第１の補間方向または第２の補間方向のいずれかであり、
前記選択された補間方向は前記第１の補間方向と前記第２の補間方向についての前記補間投票数に基づく、上記(２３)に記載のシステム。
【０１４１】
（２６）前記第１の補間方向は、前記画素位置と同一の行内の前記画素位置からの少なくとも１つ以上の前記第２の色値を、前記所与の画素位置として用いた水平方向補間であり、
前記第２の補間方向は、前記画素位置と同一の列内の前記画素位置からの少なくとも１つ以上の前記第２の色値を、前記所与の画素位置として用いた垂直方向補間であり、
前記第１、第２及び第３の勾配のそれぞれの前記補間投票は、前記それぞれの勾配の前記行成分の絶対値が該勾配の前記列成分の絶対値よりも小さいとき、前記水平方向補間であり、前記それぞれの勾配の前記列成分の絶対値が該勾配の前記行成分の絶対値よりも小さいとき、前記垂直方向補間であり、
前記選択された補間方向は、前記水平方向補間、前記垂直方向補間、または垂直方向補間と水平方向補間の組み合わせからなるグループから選択される、上記(２５)に記載のシステム。
【０１４２】
（２７）近傍投票データを記憶することのできるメモリをさらに備え、
該近傍投票データは前記所与の画素位置に対し前記画素位置に隣接する少なくとも一つの画素からの多数決投票を含み、
該多数決投票は前記画素位置の前記隣接画素からの最多の前記補間投票が水平方向補間であるときは水平方向補間であり、前記隣接画素からの最多の前記補間投票が垂直方向補間であるときは垂直方向補間であり、
前記近傍投票データを前記補間投票に加算して、前記選択された補間方向を決定する、上記(２６)に記載のシステム。
【０１４３】
（２８）前記水平方向補間または前記垂直方向補間のいずれかについて前記補間投票数に関連する少なくとも第１の閾値及び第２の閾値をさらに備え、
前記選択された補間方向は、前記水平方向補間または前記垂直方向補間のいずれかについて前記補間投票数が前記第１の閾値と第２の閾値の間にあるときに、前記水平方向補間と垂直方向補間の組み合わせとなる、上記(２７)に記載のシステム。
【０１４４】
（２９）前記第１の色値はクロミナンス色値であり、前記第２の色値は輝度色値である、上記(１９)に記載の前記システム。
【０１４５】
（３０）前記プロセッサは、
前記輝度色値の第１グループの第１の平均輝度値と前記輝度色値の第２グループの第２の平均輝度値を決定し、
前記第１の平均輝度値と前記第２の平均輝度値との間の差の百分率を求め、
前記第１の平均輝度値が前記第２の平均輝度値未満であるときに、前記差の百分率により前記輝度色値の第１グループを増大させるようにさらに適応されている、上記(２９)に記載のシステム。
【０１４６】
（３１）前記プロセッサは、
前記一組の輝度色値から前記輝度色値のうちの所与の一つのヤコビアンを求め、前記ヤコビアン内の値の絶対値の第１の合計を求め、
前記第１の合計が所定の閾値に満たないときに、前記所与の輝度色値に４を乗じ、４個の対角に隣接する画素位置の前記輝度色値を加算して第２の合計を求め、該第２の合計を８で除算するようさらに適応されている、上記(２９)に記載のシステム。
【０１４７】
（３２）前記プロセッサは、前記第１の色値の組と前記第２の色値の組のいずれかの内の選択された色値のラプラシアンを求め、調整可能なパラメータを乗じた前記ラプラシアンを前記選択された色値に加算するようさらに適応されている、上記(１９)に記載のシステム。
【０１４８】
（３３）前記プロセッサは、前記所与の第１の色値のヤコビアンを求め、前記ヤコビアン内の値の絶対値の第１の合計を求め、
前記第１の合計が所定の閾値未満であるときに、前記所定の第１の色値に８を乗じ、８個の最も近い画素位置の前記第１の色値を加算して第２の合計を求め、該第２の合計を１６で除算するようさらに適応されている、上記(１９)に記載のシステム。
【０１４９】
当業者はならば認めるように、本明細書に記載された発明の概念は、広範囲の用途に合せて修正、変更することができる。従って、本発明の範囲は、説明した特定の教示のいずれにも限定されるべきではない。
【図面の簡単な説明】
【図１】本発明の例示的な実施形態に従った適応モザイク減少アルゴリズムを用いたディジタル画像システムを示すブロック図である。
【図２】本発明の例示的な実施形態に従ったモザイク減少アルゴリズムを実装するロジックを示すブロック図である。
【図３】図２に示したモザイク減少アルゴリズムを実行する例示的なステップを示すフローチャートである。
【図４】本発明のモザイク減少アルゴリズムに従って輝度色平面の例示的な適応補間を実行するロジックを示すブロック図である。
【図５】図４に示した適応補間処理を実行する例示的なステップを示すフローチャートである。
【図６】画像の色の不一致を補償する本発明のモザイク減少アルゴリズムへの拡張の例示的なステップを示すフローチャートである。
【図７】画像をシャープにする本発明のモザイク減少アルゴリズムへの拡張の例示的なステップを示すフローチャートである。
【図８】画像のノイズを減らす本発明のモザイク減少アルゴリズムへの拡張の例示的なステップを示すフローチャートである。
【符合の説明】
２０ ディジタル画像センサ
２５ 生データ
２５ａ，２５ｂ，２５ｃ 生データ赤色平面
２８ａ，２８ｂ 差分クロミナンス色平面
３０ バッファ
３５ａ，３５ｂ，３５ｃ 補間色平面
４０ ディジタル信号プロセッサ
４２ 適応補間ロジック
４４ａ，４４ｂ 減算ロジック
４６ａ，４６ｂ 差分補間ロジック
４８ａ，４８ｂ 加算ロジック
５０ メモリ
６０ 出力装置
１００ａ，１００ｂ，１００ｃ 勾配ロジック
１０５ａ，１０５ｂ，１０５ｃ 勾配
１１０ ヤコビアンロジック
１１５ ヤコビアン
１２０ 列投票ロジック
１２５ 列投票
１３０ メモリ
１３５ 最多投票
１４０ 近傍投票データ
１５０ 加算ロジック
１５５ 加算結果
１６０ 重み付け係数判定ロジック
１７０ 補間ロジック
【発明の属する技術分野】
本発明は、一般にディジタル画像処理に関し、特に各画素位置で色の補間を行うモザイク減少（demosaicing）方法に関する。
【０００２】
【従来の技術】
ディジタルカラー画像センサは、２つのタイプが主流である。つまり、ＣＣＤ（電荷結合素子）とＣＭＯＳ−ＡＰＳ（相補型金属酸化物半導体−アクティブ方式画素センサ）である。これらのタイプのセンサは両方とも、一般に、行と列に配置されて画像内の色をサンプリングする光検出器（画素）のアレイを含む。各画素は、１つまたは複数の色に対応して１つまたは複数の波長の範囲内の光の強度を測定する。
【０００３】
加えて、両方のタイプのセンサには、Ｂａｙｅｒに付与された米国特許第３，９７１，０６５号に記載されたカラーフィルタアレイ（以下、ベイヤーと呼ぶ）等のカラーフィルタアレイ（ＣＦＡ）が含まれる。これは参照により本明細書に援用される。ベイヤーＣＦＡでは、各画素は赤、緑または青の１色のみを捕らえる。このサンプリングパターンを以下に示す。
【０００４】
【数１】
ベイヤーＣＦＡを備えるセンサは、色空間と空間領域の両方でサンプリングされたモザイク状の画像を生成する。このサンプリング方法は、色空間と空間領域の両方で折り返しアーチファクト（aliasing artifact）を生ずる。例えば、フルカラーのスペクトルが（ＣＦＡの色に応じて）特定の画素位置だけでサンプリングされるので、画像の真の色を正確に再構成することは不可能であり、これによって色空間の折り返しアーチファクトが発生する。加えて、原画像における高い空間周波数が非常に低い周波数でサンプリングされるので、画像の元の高い周波数を画像処理によって後から再現することはできず、これによって空間領域の折り返しアーチファクトが発生する。
【０００６】
色空間と空間領域の折り返しアーチファクト問題に対する一つの解決策は、モザイク減少法（demosaicing）である。モザイク減少法は、画像センサから得られるディジタル画像の色を補間して、一つの画素位置で三原色の全てを得る方法である。これにより得られるモザイク減少画像は、画像を見たときに、モザイク状の画像よりも優れた品質が得られ、より視覚的に満足できる画像を与える。
【０００７】
従来のモザイク減少法は、例えば画素複製（pixel replication）、双一次補間（bi-linear interpolation）及び中央値補間（median interpolation）等が挙げられる。画素複製では、左、上、左斜め上の最近傍の画素からそれぞれの欠損値（missing value）が取り込まれる。双一次補間は、画素複製よりも改善されるが複雑さは少し増加する。双一次補間法では、水平、垂直及び／または対角方向の近傍（neighboring）の画素値の平均に基づいて、各欠損値が算出される。中央値補間は非線形補間法であり、特に欠陥画素があるときにこれらの３つのアルゴリズム（画素複製、双一次補間、中央値補間）のうちで最高の結果が得られるが、最も複雑である。中央値補間は、２つのステップからなる。第１に、４つの対角近傍を有する欠損値がそれら４つの値の中央値を用いて補間される。第２に、残りの欠損画素が東西南北の近傍の中央値によって補間される。
【０００８】
しかしながら、上述のモザイク減少法ではすべて、見て分かる折り返しアーチファクトが画像内のエッジに現れ、モザイク減少画像に「ジッパー（zipper）」効果を生じさせる。ジッパー効果とは、画像中の直線のエッジをジッパーのように見せてしまうことである。ジッパー効果の解決策は、Ａｄａｍｓ，Ｊｒらに付与された米国特許第５，６５２，６２１号（以下、アダムズ−ハミルトンアルゴリズムと呼ぶ）と、１９９９年１０月発行のJournal of Electronic Imaging, Vol. 8, No. 4, pp. 457-466に記載されたＫｕｎｏらによる「Aliasing reduction method for color digital still cameras with a single-chip charge-coupled device（以下、Ｋｕｎｏアルゴリズムと呼ぶ）」に提案されており、これらは両方とも参照により本明細書に援用される。
【０００９】
アダムズ−ハミルトン補間アルゴリズムは、水平エッジ及び垂直エッジを持つ画像をサンプリングする画像システムの性能の最適化を目指すものである。アダムズ−ハミルトン補間アルゴリズムでは、欠損する色値を補間する補間法が選択される。補間方向は、補間対象である色平面と画素位置の色平面から得られる値に基づいて、水平分類子と垂直分類子（または、正対角分類子と負対角分類子）の値を算出することによって選択される。
【００１０】
２つの分類子の値は、補間法を選択するために、予め定義された閾値と及びお互いに比較される。例えば、分類子の値のうち１つまたは複数が予め定義された閾値より大きい場合、欠損している色値は、その色値と同じ色の近傍値及びその画素位置の色の近傍値の両方から補間される。欠損している色値は、どの分類子の値が予め定められた閾値を上回ったかに応じて、水平方向の近傍値、垂直方向の近傍値、または水平方向及び垂直方向の両方の近傍値から補間される。アダムズ−ハミルトンアルゴリズムは、細部を保存して、ジッパー効果の出現を低減する。しかし、アダムズ−ハミルトンアルゴリズムを用いても、依然として若干の「ジッパリング」が見られる。
【００１１】
Ｋｕｎｏの補間アルゴリズムは、ＩＩＥＥＪ年会報（１９８８年版）第１６巻（２）８６乃至８８頁に掲載された「Method to display full-color image by using the correlation of color」にＫｏｄｅｒａ等が発表した細部の相関の仮定(correlation of details assumption)に基づくものであり、参照により本明細書に援用される。細部の相関の仮定は、画像の局所領域において色の間に高い相関が存在することを仮定するものである。例えば、ベイヤーＣＦＡを備える画像センサを用いたときに、細部の相関の仮定は画像の局所領域内では赤、青、緑の色値が比較的似ていると仮定する（例えば、赤画素位置の赤値が１０である場合に、細部の相関の仮定は、近傍の緑と青の画素位置がそれぞれ１０に近い緑及び青の色値を生成すると仮定する）。
【００１２】
Ｋｕｎｏアルゴリズムはさらに、色の変化が急である領域においてさえ、色相関が一方向（すなわち、水平方向または垂直方向）に存在することを仮定する。従って、Ｋｕｎｏアルゴリズムは、水平方向には色値の低い相関しか存在しない垂直の補間方向と、垂直方向には色値の低い相関しか存在しない水平の補間方向を使用する。具体的には、Ｋｕｎｏアルゴリズムは、欠損色値と関連する色平面の水平勾配（グラジエント）と垂直勾配を計算し、水平勾配と垂直勾配を予め定義された閾値と比較して補間方向を決定する。例えば、水平勾配と垂直勾配の両方が予め定義された閾値未満の場合、補間は水平方向と垂直方向の両方に実行される。しかし、どちらの勾配も予め定義された閾値よりも大きい場合、補間方向は２つの勾配のうちのより小さな方になる。
【００１３】
補間方向が決定すると、Ｋｕｎｏアルゴリズムは分割処理を用いて欠損色値を補間する。アダムズ−ハミルトンアルゴリズムと同様に、Ｋｕｎｏアルゴリズムはジッパー効果を低減し、画素複製、双一次補間及び中央値補間といった従来のモザイク減少法と比べると色解像度を改善する。しかし、Ｋｕｎｏアルゴリズムを用いても、依然として若干のジッパー効果が見られる。加えて、Ｋｕｎｏアルゴリズムでは分割処理をあらゆる画素位置で実行することが必要とされ、その実装には費用がかかる。
【００１４】
【発明が解決しようとする課題】
従って、アダムズ−ハミルトンアルゴリズムやＫｕｎｏアルゴリズムと比べてジッパー効果の可視性をさらに低減し、Ｋｕｎｏアルゴリズムが必要とするハードウェアの複雑さなしで実装することができる、モザイク減少方法が必要とされている。
【００１５】
【課題を解決するための手段】
本発明の過程では、アダムズ−ハミルトンアルゴリズムとＫｕｎｏアルゴリズムを用いてモザイクを減少した画像にジッパー効果が出現する理由について分析を行なった。分析の結果、どちらのアルゴリズムも少なくとも２つの色平面における勾配を別々に考慮しておらず、またどちらのアルゴリズムも所与の画素を補間するときに近傍画素における意思決定（decision）を適用していないために、アダムズ−ハミルトンアルゴリズムとＫｕｎｏアルゴリズムを用いてモザイクを減少した画像においても依然としてジッパー効果が見られるという結論が得られた。
【００１６】
本発明は、少なくとも２つの色平面において水平方向と垂直方向の両方における変化の度合（例えば、勾配（グラジエント）、ラプラシアン、または変化の度合の他の尺度）を別々に考慮することによって、各画素位置を補間する適応モザイク減少方法を提供する。適応モザイク減少アルゴリズムは、各画素位置で補間方向を決定するために投票方式を使用する。各色平面は、その色平面における変化の度合の垂直成分と水平成分との間の比較に基づいて水平か垂直に投票する。ある実施形態では、投票は画素位置それ自体で得られる測定からカウントされる他、近傍の画素からもカウントされる。
【００１７】
一実施形態では、補間方向は輝度（luminance）色平面にのみ適用される。輝度平面が十分に補間されると、クロミナンス（chrominance）平面は差分クロミナンス値の単純な双一次補間または中央値補間により埋められる。適応モザイク減少アルゴリズムの拡張により、適応平滑化と鮮明化（sharpening）が可能になる。例えば、適応モザイク減少アルゴリズムは、低い光レベル（すなわちノイズの多い）画像に適応させて、輝度画素間の不均衡を低減することができる。
【００１８】
適応モザイク減少アルゴリズムは、加算、減算、桁送り及び比較のみを必要とし、これらはいずれもハードウェアによる実装が簡単であるので、適応モザイク減少アルゴリズムは、従来のモザイク減少法に存在したハードウェアの複雑さを低減する。加えて、適応モザイク減少アルゴリズムは従来のモザイク減少方法と比較して、モザイクを減少した画像に現われるジッパー効果を低減する。さらに、本発明は上述した実施形態の他にまたはこれらに代えて、他の特徴と長所を備えた実施形態を与える。これらの特徴と長所の多くは以下の説明から明らかになろう。
【００１９】
【発明の実施の形態】
図１は、本発明による適応モザイク減少アルゴリズム４０を実装したディジタル画像システム１０を示す。ディジタル画像システム１０は、ディジタルカメラ、ビデオカメラ、医用撮像装置等の任意のディジタル画像装置である。ディジタル画像システム１０は、画像データを記憶するメモリを有するパーソナルコンピュータやサーバ等のコンピュータシステムであっても良い。適応モザイク減少アルゴリズム４０は、ディジタル画像装置の内部に存在したり、またはパーソナルコンピュータやサーバ上で動作する画像処理ソフトウェアの一部であっても良い。
【００２０】
ディジタル画像システム１０は、ＣＭＯＳセンサチップやＣＣＤセンサチップ等のディジタル画像センサ２０であって、列と行で構成された二次元アレイの画素を含む。ディジタル画像センサは、各画素が１色だけを検出するカラーフィルタアレイ（ＣＦＡ）によって覆われる。例えば、ＣＦＡは前述のＣＦＡであっても良い。このアレイでは、輝度（luminance）色（緑）の市松模様の間にクロミナンス（chrominance：色光度）色（赤と青）が配置されている。ベイヤーＣＦＡの代わりに他のＣＦＡも使用できることは理解されよう。
【００２１】
ディジタル画像センサ２０は、ディジタル信号プロセッサ４０に元の赤、青、緑の画素値を含む生データ２５を供給する。ディジタル信号プロセッサは、生データ２５に対して本発明の適応モザイク減少アルゴリズム適用し、画素値を補間して各画素位置において赤、緑、青の値を得る。生データ２５は、ディジタル信号処理プロセッサ４０に一度に供給される。従って、処理開始に必要な生データ２５の必要量が得られるまで、生データ２５はバッファ３０に記憶される。
【００２２】
処理開始に必要な生データ２５の数は、処理の種類に依存する。例えば、生データ２５に対応する画素値は、通常、センサ２０の１行から一度に読み出される。所与の画素の近傍補間を開始するために、少なくとも１つの水平方向の画素近傍と、好ましくは１つの垂直画素近傍がバッファ３０に格納される。加えて、大半のディジタルカメラは、画像を選択して永久に記憶させる前に複数の画像を撮影して露出が適正かどうかを確認するので、バッファ３０内には一度に１つまたは複数の画像が格納される。
【００２３】
モザイク減少の結果は、３つの補間された色平面３５（すなわち、Ｒ、Ｇ、Ｂ）であり、それぞれが元の値と補間された値を含む。本明細書で説明する赤、青、緑の色空間の代わりに、黄、シアン、マゼンタ等の他の色空間を用いることもできることは理解されよう。補間された赤、緑、青の色平面３５は、表示または処理されるまでメモリ５０内に記憶される。メモリ５０に記憶する前に、ＪＰＥＧ規格等の圧縮法（図示せず）を用いて色平面３５を圧縮できることに注意されたい。出力装置６０（例えば、ビデオスクリーン、コンピュータスクリーンまたはプリンタ）上に圧縮画像を表示または処理するため、圧縮画像はまず復元され、復元された画像が出力装置６０へ出力される。
【００２４】
ディジタル信号プロセッサ４０は、図２に示す適応モザイク減少アルゴリズムに従って、バッファ３０に記憶された各画像を補間する。図２に示した適応モザイク減少アルゴリズムは、ここでは主ベクトル法（ＰＶＭ）と呼ぶことにする。ＰＶＭは、色エッジの検出と近傍投票（neighborhood voting）に基づくものである。画像内には、光の強度が急激に変わる多くのエッジが存在する。鮮明な出力画像を生成するには、色補間はエッジを横切るよりも、エッジに沿って行うべきである。従って、ＰＶＭアルゴリズムは各画素位置で画素がエッジ上にあるかどうかを検出し、エッジ上にある場合には、そのエッジの方向を推定する。本明細書において用語「エッジ」とは、オブジェクトの境界や強度が急激に変化する他の境界上にある画素のことを指すことは理解されよう。用語「エッジ」は、画像の４つの自然な境界のうちの１つの境界上にある画素（すなわち、センサ自身のエッジ上にある画素）を指すわけではない。
【００２５】
一実施形態では、エッジ検出とエッジ方向の推定は、例えば緑の単色平面を用いることによって試行される。しかし、単一の色平面に依存すると、依存した色が存在しない画像領域や、依存した色が固定されている色付きのエッジにおいて、エラーを生じることがある。他の実施形態では、エッジ検出とエッジ方向の推定は、２つまたは３つの色平面から出し合う（pool）ことができる。３つの色平面すべてからの結果を出し合うと、一般により優れた結果が得られる。従って、図２のＰＶＭアルゴリズムは、３つの色平面からのエッジに関連する情報（例えば、エッジの検出とエッジ方向の推定）の出し合いを示している。
【００２６】
生データ２５がディジタル信号プロセッサ４０に着くと、生データ２５はそれぞれが欠損要素を有する３つの生データ色平面２５ａ、２５ｂ、２５ｃに分離される。ディジタル信号プロセッサ４０は、各位置で欠損する輝度値を決定するために、輝度生データ色平面２５ｂ（すなわち、緑）に適応補間ロジック４２を適用する。例えば、適応補間ロジック４２は、投票メカニズムに基づいて、水平方向の補間、垂直方向の補間、または水平方向の補間と垂直方向の補間の組み合わせを用いて、赤画素と青画素のそれぞれで緑値を補間する。この投票メカニズムについては図４及び５を参照してより詳細に説明する。これによって得られる補間された緑色平面３５ｂは、元の緑値（大文字のＧで表す）と、補間された緑値（小文字のｇで表す）の両方を含む。
【００２７】
欠損緑値が決定すると、欠損する赤と青の値が補間される。最初に、減算ロジック４４ａ及び４４ｂが、赤または青のそれぞれの画素位置における欠損緑値と、対応する元の赤または青の画素値との間の差を計算する。例えば、青の生データ色平面２５ｃの左下隅の青値Ｂを取り込み、減算ロジック４４ｂは、補間された緑色平面３５ｂの左下隅の補間された緑値ｇを、青の生データ色平面２５ｃの左下隅の青値Ｂから減算する。
【００２８】
得られた差分色平面２８ａ及び２８ｂは、差分補間ロジック４６ａ及び４６ｂにより、それぞれ中央値補間、双一次補間、画素複製等の既知の方法によって補間される。図２は双一次補間法を示している。赤と青の差分色平面２８ａ及び２８ｂが双一次補間ロジック４６ａ及び４６ｂに入力され、それぞれ赤及び青の差分補間色平面（図示せず）を出力する。最終的な赤及び青の補間色平面３５ａ及び３５ｃは、赤及び青の差分補間色平面をそれぞれ加算ロジック４８ａ及び４８ｂへ入力することによって得られる。この加算ロジックは、赤及び青の差分補間色平面を、対応する画素位置について、補間された緑色平面３５ｂの緑値ｇ及びＧに加算する。ＤＳＰ４０からメモリ５０（図１）に出力されるのは、これらの補間された赤、青、緑の色平面３５ａ、３５ｂ及び３５ｃである。
【００２９】
図３は、ＰＶＭモザイク減少アルゴリズムを実行するステップを示す。最初に、ＤＳＰは生データを受け取り（ステップ３００）、生データを３つの生データ色平面に分離する（ステップ３１０）。ＤＳＰは、適応補間技術（図４，５で後述）を輝度色平面（すなわち、緑）に適用する（ステップ３２０）。補間された輝度色平面を用いて、ＤＳＰは、補間された輝度値を対応する画素クロミナンス色値から減算することによって、差分クロミナンス色平面（赤と青）を求める（ステップ３３０）。例えば、補間された緑平面をチルダーＧで表わすと、欠損する赤値及び青値は、次式に示すように赤画素位置または青画素位置における差を形成することによって補間することができる。
【００３０】
【数２】
これによって２つの差分画像ＤＲＧとＤＢＧが得られ、これらの値は赤画素位置と青画素位置においてのみそれぞれ知られている。
【００３２】
その後、ＤＳＰは差分クロミナンス値（difference chrominance value）を用いて差分クロミナンス色平面（difference chrominance color plane）を補間する（ステップ３４０）。上述のように、差分クロミナンス色平面は、中央値補間、双一次補間、画素複製等の任意の既知の方法を用いて補間することができる。
【００３３】
最も単純な形態のクロミナンス補間は、画素複製である。例えば、画素複製では、各欠損値が左、上、左斜め上の最近傍の画素から取り込まれる。人間の視覚系では、クロミナンス色に対する鋭さは輝度色に対するよりも低いので、画素複製は大半の状況で優れた結果をもたらす。
【００３４】
双一次補間は、複雑さが僅かに増すが画素複製よりも改善される点がいくつかある。双一次補間法では、以下の３×３フィルタを用いて差分赤値または差分青値が畳み込まれる。
【００３５】
【数３】
上述のフィルタでは、乗算と除算が２のべき乗によるものであり、従って桁送り（シフト）で実現できることに注意されたい。
【００３７】
非線形補間法である中央値補間は、特に欠陥画素があるときに最高の結果を与えるが、複雑さは最大である。中央値補間は２つのステップからなる。第１は、４つの対角近傍を有する欠損値をこれら４つの値の中央値を用いて補間するステップである。第２は、残る欠損値を東西南北の近傍の中央値によって補間するステップである。
【００３８】
一例として、画素値の近傍において差分画像ＤＲＧが以下の値を有すると仮定する。
【００３９】
【数４】
第１のステップの後、４つの対角近傍を有する欠損値は、それらの近傍の中央値によって補間される。第１のステップの結果は以下の通りである。
【００４１】
【数５】
＊と記した位置も補間されているが、それらの値が示されていないのは、図示の５×５の領域の外側にある近傍値に依存するからである。第２のステップは、以下のように、東西南北の４つの近傍の中央値を用いて残りの欠損値を埋める。
【００４３】
【数６】
チルダーＤRG及びチルダーＤBGで表される補間された差分画像が得られると、最終的な補間された赤値と青値は、次式のように元の緑値と補間された緑値の加算（ステップ３５０）によって求めることができる。
【００４５】
【数７】
これらの補間された輝度（緑）色平面とクロミナンス（赤と青）色平面は、メモリへ出力される（ステップ３６０）。
【００４７】
ここで、図４を参照して適応補間ロジック４２をさらに詳細に説明する。適応補間ロジック４２が生データ色平面２５ａ、２５ｂ、２５ｃを受け取ると、それぞれの勾配ロジックｌ００ａ、ｌ００ｂ、ｌ００ｃが、各色平面２５ａ、２５ｂ、２５ｃの勾配ｌ０５ａ、１０５ｂ、１０５ｃを求め、ヤコビアンロジック１１０が色平面２５ａ、２５ｂ、２５ｃのヤコビアン１１５を求める。続いて、色平面２５ａ、２５ｂ、２５ｃの勾配ｌ０５ａ、１０５ｂ、１０５ｃとヤコビアン１１５を説明する。
【００４８】
カラー画像は、二次元（２Ｄ）領域から三次元（３Ｄ）空間すなわち色空間への写像であるから、カラー画像の各成分は、（ｘ,ｙ）領域上で定義される関数、すなわちＲ(ｘ,ｙ)、Ｇ(ｘ,ｙ)、Ｂ(ｘ,ｙ)と見なすことができる。Ｂ．Ｊａｈｎｅ及びＨ．Ｈａｕｓｓｅｃｋｅｒの編集による「Computer vision and applications: a guide for students and practitioners, San Diego: Academic Press, 2000, pp. 334-335」は、参照により本明細書に援用されるが、これに記載されているように、カラー画像における局所方向の計測法は、二次元平面から三次元色平面への写像のヤコビアン（Ｊ）を作成することから始まる。
【００４９】
【数８】
【００５０】
例えば、以下の生データが適応補間ロジック４２へ供給されると仮定する。
【００５１】
【数９】
画素位置Ｒ１の緑の勾配を決定するためには、画素Ｒ１の水平方向の緑導関数と垂直方向の緑導関数を計算しなければならない。水平方向の緑導関数は（Ｇｘ１−Ｇｘ２）であり、垂直方向の緑導関数は（Ｇｙ１−Ｇｙ２）である。画素位置Ｒ１における赤の勾配と青の勾配も、同様の方法で算出される。例えば、水平方向の青導関数は（（Ｂ１＋Ｂ３）／２−（Ｂ２＋Ｂ４）／２）であり、垂直方向の青導関数は（（Ｂ１＋Ｂ２）／２−（Ｂ３＋Ｂ４）／２）である。赤導関数は、上述していないが水平方向及び垂直方向の赤値を用いて算出される。
【００５３】
ヤコビアンの特異値分解（ＳＶＤ）は、次式のように書くことができる。
【００５４】
【数１０】
Ｊ＝ＵＳＶｔ＝ｓ１ｕ１ｖ１ ｔ＋ｓ２ｕ２ｖ２ ｔ （式７）
ここで、ｓ１≧ｓ２≧０は特異値であり、ｕｋ、ｖｋはそれぞれ左、右のｋ番目の特異ベクトルである。（二乗誤差の合計を最小化するという意味での）Ｊに対する最高位の近似の１つが以下のようになることは、当分野において周知である。
【００５５】
【数１１】
ベクトルｕ１はカラー画像の最大の変化方向を与えるので、ベクトルｕ１はヤコビアンの主ベクトル、または簡単に主ベクトルという。
【００５７】
ヤコビアンのＳＶＤは、カラー画像のエッジ構造に関して有益な情報を与える。式６に示すように、Ｊの３つの列はそれぞれＲ、Ｇ、Ｂの色平面の一つにおける勾配である。勾配が互いに平行であるときは、エッジは３つの平面において整合している（consistent）と言うことができる。この場合、主ベクトルは勾配と同じ方向を指し、小さい方の特異値ｓ２は０に等しい。Ｒ、Ｇ、Ｂ勾配が平行でないときは、主ベクトルは３つの勾配に対し最も「適合（fit）」する。主ベクトルが勾配に適合する度合は、特異値から決定することができる。例えば、適合の程度は次式のように求めることができる。
【００５８】
【数１２】
λ＝ｓ２／（ｓ１＋ｓ２） （式９）
【００５９】
ｓ１≧ｓ２であり、０≦λ≦１／２であるので、λ＝０のとき（勾配は全て平行であるから）主ベクトルは完全に適合し、一方、λ＝１／２のとき適合は最低である。λ＝１／２が起こる状況の例は、３つの勾配のうちの２つが直角の方向を指し、第３の勾配が０であるときである。
【００６０】
上述のように、主ベクトルｕ１は、変化が最大の方向を指し示す。しかし、ＰＶＭアルゴリズムを用いた適応モザイク減少法は、実際には変化が最小の方向の近傍から補間を行い、エッジがぼやける危険を最小化する。従って、ｕ１に直交し変化が最小の方向を指すベクトルｕ２が補間方向として用いられる。例えば、Ｉ１がｕ１に沿って補間を行った結果であり、Ｉ２がｕ２に沿って補間を行った結果であると仮定する。すると、Ｉで表わされる全補間はＩ１とＩ２の重み付き結合となり、重み付けは次式のように適合度λに基づく。
【００６１】
【数１３】
Ｊ＝λＩ１＋（１−λ）Ｉ２ （式１０）
【００６２】
この重み付けによって、全補間が、Ｉ２（λ＝０、従って主ベクトルが勾配に完全に適合するとき）とＩ＝（Ｉ１＋Ｉ２）／２（λ＝１／２、適合が最小のとき）との間で連続して変化することが保証される。
【００６３】
矩形状にサンプリングされる生データ２５ａ、２５ｂ、２５ｃからＩ１、Ｉ２を計算するため、ＩｈとＩｖがそれぞれ水平方向と垂直方向の補間を表わすものとする。ＩｈとＩｖは、（Ｉｈについては）行に沿って画素値を単純に線形結合することによって、または（Ｉｖについては）列に沿って画素値を単純に線形結合することによって計算することができる。次に、ｕ１＝[ｕ１(１),ｕ１(２)]ｔ、ｕ２＝[ｕ２(１),ｕ２(２)]ｔとし、ｕ１、ｕ２が単位長ベクトルであるとすると、次式が成り立つ。
【００６４】
【数１４】
Ｉ１＝ｕ１(１)２Ｉｈ＋ｕ１(２)２Ｉｖ （式１１）
Ｉ２＝ｕ２(１)２Ｉｈ＋ｕ２(２)２Ｉｖ （式１２）
式１０に式１１と式１２を組み合わせることで、Ｉは次式のようになる。
【００６５】
【数１５】
Ｉ＝αＩｈ＋(１−α)Ｉｖ （式１３）
（但し、α＝λｕ１(１)２＋(１−λ)ｕ２(１)２）
【００６６】
これから分るように、式１３の値Ｉの計算には、Ｉｈ、Ｉｖ、αの３つが必要である。最初の２つＩｈ、Ｉｖは直接的に計算されるが、これは画素値の単純な線形結合にのみ含むからである。しかし、３つ目のαはＪのＳＶＤから導出される項に基づいている。これは、各画素でＪのＳＶＤ計算を要求することになる可能性があり、コストが非常に高い。
【００６７】
しかし、一実施形態では、計算を簡単にするために、αの近似値を推定することができる。例えば、αの計算を簡単にするため、適応補間ロジック４２は、αの値を３つのレベルすなわち０、１、１／２に量子化できると仮定することができる。これは、式１３の全補間Ｉが純粋に水平、純粋に垂直、または２つの平均のいずれかであることを意味する。適応補間ロジック４２は、主ベクトルｕ１の方向をただ２つの可能性すなわち水平または垂直のうちの１つに量子化できると仮定することもできる。例えば、水平軸からのｕ１の傾きが±４５未満のときｕ１は水平となり、それ以外のときｕ１は垂直となる。同様に、|ｕ１(１)|≧|ｕ１(２)|であるときはｕ１は水平となり、そうでない場合は垂直となる。
【００６８】
適応補間ロジック４２は、多数決ルールを適用することによって主ベクトルが水平であるか垂直であるかの判定を行なうと仮定することもできる。多数決ルールとは以下の通りである。すなわち、ヤコビアン１１５の最下行の成分の大部分（垂直方向の導関数）が絶対値でヤコビアン１１５の最上行の対応する成分（水平方向の導関数）を越える場合、主ベクトルは垂直となる。それ以外の場合、主ベクトルは水平となる。例えば、ヤコビアン１１５が次式で表されるとすると、最上行の成分のうちの２つが絶対値で最下行の対応する成分を越えていることになる。
【００６９】
【数１６】
【００７０】
多数決ルールによって主ベクトルの方向を得ることはできるが、多数決ルール単独では｛０,１／２,１｝の中からαを決定できない。上述したように、主ベクトル自体が補間方向として用いられることはない。むしろ、補間方向は、主ベクトルの方向に対して直角である。従って、重み付け係数αの選択時に、適応補間ロジック４２は垂直方向の導関数を上回る水平方向の導関数の実際の数を考慮する（またはその逆を考慮する）。
【００７１】
例えば、全ての水平方向の導関数がそれらの対応する垂直方向の導関数を上回る場合、αは０に設定され、（主ベクトルに直交する方向である）垂直方向の補間を強制する。画像内の垂直エッジ上にある画素については、垂直方向の補間が好ましい。水平方向に隣接する（adjacent）画素では急な輝度の変化が存在するため、垂直エッジ上にある画素に対して水平方向の補間を行うと適切な補間値が得られない。上述の重み付け係数αの選択法は、画素が垂直エッジ上にあることを検出するが、これは垂直エッジ画素の一次導関数が垂直方向よりも水平方向で大きいからである。重み付け係数αが垂直エッジ上にある画素に対応する場合、垂直方向の補間が適用される。
【００７２】
しかし、水平方向の導関数のいずれも対応する垂直方向の導関数を上回らない場合、αは水平方向の補間を強制するよう１に設定される。垂直エッジ上の画素と関連して上述したのと同じ理由から、画像内の水平エッジ上にある画素については水平方向の補間が好ましい。しかし、水平方向の導関数のうちの１つまたは２つのみが対応する垂直方向の導関数を上回る場合は、αは水平方向及び垂直方向の補間の両方を含むように１／２に設定される。これは勾配が平行でない箇所では主ベクトルの適合が最低であるからである。画素がエッジ上にないときは、適合は通常最低であり、従って、水平方向の補間と垂直方向の補間の両方を行うことが好ましい。
【００７３】
図４に示すように、上述のαの選択メカニズムは、適応補間ロジック４２内の列投票ロジック１２０に実装される。列投票ロジック１２０は、ある特定の画素についてヤコビアン１１５の各列を取り込み、各列に１つの票を割り当てる。最下値が最上値を上回る場合、列は水平方向に投票し、最上値が最下値を上回る場合は、列は垂直方向に投票する。こうして、３つの列投票１２５が各画素で集められる。
【００７４】
この投票方式は、各画素での投票だけでなく近傍画素の投票も含めるようさらに拡張することができる。このように、重み付け係数αを決定する前に、適応補間ロジック４２は、列投票１２５に加えて近傍投票のデータ１４０を考慮することができる。例えば、２つの近傍の画素において、各近傍画素のヤコビアン１１５の２つ以上の列が水平方向へ投票した場合、近傍投票データ１４０は２つの水平方向の投票を含むことになる。この拡張された投票方式は、近傍画素での個々のヤコビアン１１５の列投票を用いず、多数決ルールの結果を考慮するだけであるが、他の実施形態においては、拡張された投票方式は近傍画素における各列の投票を含むことができる点に注意されたい。
【００７５】
近傍投票データ１４０は、画像のラスタースキャン内の現在の画素に先行する画素の任意のサブセットからのデータと定義することができる。例えば、近傍投票データ１４０は、現在の画素の左及び上に隣接する画素からのデータを含むことができる。この近傍は、距離１の近傍と呼ばれる。しかし、異なる距離の他の近傍画素も選ぶことができることを理解されたい。
【００７６】
列投票ロジック１１０が特定の画素の各列についての投票を求めると、列投票ロジック１１０は最多投票１３５を決定（すなわち、垂直方向または水平方向）して、メモリ１３０（図１に示したのと同じメモリ５０でよい）に最多投票１３５を記憶する。例えば、最多投票１３５が水平方向（すなわち、２以上の列が水平方向に投票）の場合、列投票ロジック１１０はその画素についてメモリ１３０に「１」を記憶する。最多投票１３５が垂直方向である場合、列投票ロジック１１０はその画素についてメモリ１３０に「０」を記憶する。従って、適応補間ロジック４２が生データ２５ａ、２５ｂ、２５ｃを補間するときに、近傍距離Ｎに対応する多くの先行するライン上の多数決ルールの結果がメモリ１３０に記憶される。有利であることに、必要なメモリは記憶する各ラインについて１画素につき１ビットだけである。
【００７７】
列投票ロジック１１０と、１以上の多数決投票１３５を含む近傍投票データ１４０からの列投票１２５が全て集められると、加算ロジック１５０は、列投票ロジック１１０によって供給された現在の画素についての列投票１２５を、近傍投票データ１４０によって供給された近傍投票に加算する。投票の加算結果１５５は、重み付け決定ロジック１６０へ送られて重み付け係数αを割り当てる。一例として、投票は３つの範囲に分割される。第１に、水平方向への投票の数が第１の閾値Ｔ１未満の場合は、α＝０となる。第２に、水平方向への投票の数が第１の閾値Ｔ１と第２の閾値Ｔ２の間である場合は、α＝０．５となる。第３に、水平方向への投票の数が第２の閾値Ｔ２よりも大きい場合は、α＝１となる。
【００７８】
Ｔ１とＴ２の選択は、近傍Ｎの大きさに依存する。例えば、Ｎが１の距離である場合、一実施形態ではＴ１＝１、Ｔ２＝４となる。従って、１の距離を有する近傍については、最大投票数は５となる（すなわち、現在の画素に３票、隣接する画素にそれぞれ１票）。Ｔ１とＴ２をこのように選択することで、水平方向補間への投票が１以下の場合、α＝０によって垂直方向補間が選択される。水平方向補間への投票が４または５の場合、α＝１によって水平方向補間が選択される。２または３の投票が得られる中間の場合は、α＝０．５によって水平方向補間と垂直方向補間の平均が適用される。異なる近傍Ｎが選択されれば他の閾値が使用できることを理解されたい。重み付け係数αが決定すると、補間ロジック１７０はαを用いて欠損する緑値を補間し、補間された緑色平面３５ｂを出力する。
【００７９】
図５を参照すると、輝度色平面を補間するステップ（すなわち、クロミナンス画素位置での欠損緑値の決定）が示されている。第１のステップとして、各生データクロミナンス色平面（すなわち、赤と青）の勾配が、水平方向と垂直方向の一次導関数をとることによって推定される（ステップ５００）。一次導関数の代わりに、二次導関数等の変化の度合を測る他の尺度も使用できることを理解されたい。
【００８０】
各画素位置での勾配が推定されると、式６に示すように、各画素位置のヤコビアンが既知となる（ステップ５１０）。ヤコビアンの各列（すなわち、各勾配）は水平方向か垂直方向のいずれかに投票する（ステップ５２０）。各勾配（列）からそれぞれ票が得られ、最多投票（すなわち、どちらが最も多く票を得たかによる垂直または水平の結果）がメモリに記憶される（ステップ５３０）。
【００８１】
一般に、ＤＳＰは行ごとに生データを処理する。従って、現在処理中の画素位置の右及び下に隣接する画素についての生データが既知であっても、これらの隣接画素に対する最多投票は未知である。従って、一般に近傍投票を考慮すると（ステップ５４０）、投票を完了してメモリ内に最多投票を記憶させた隣接画素だけが、現在処理中の画素位置の左及び上に隣接する画素となる。例えば、以下に示すベイヤーパターンの画素位置Ｒ１を考えると、近傍投票データはＧｘ１とＧｙ１からの最多投票を含むことになる。近傍投票の数を増やして、現在処理された画素から２画素またはそれ以上離れた近傍を考慮することもできることを理解されたい。
【００８２】
【数１７】
距離１の近傍については、現在処理中の画素位置の左と上の隣接画素それぞれからの最多投票が、現在処理中の画素位置の列投票に加算され、結果として計５票が得られる（ステップ５５０）。重み付け係数αは、上述のように水平方向への投票の総数対垂直方向への投票の総数に基づいて決定される（ステップ５６０）。例えば、上述の画素位置Ｒ１を考えると、赤勾配（列）が水平方向に投票し、青勾配（列）が垂直方向に投票し、緑勾配（列）が水平方向に投票した場合、画素位置Ｇｘ１の最多投票は水平方向となる。加えて、画素位置Ｇｘ１からの最多投票が水平方向であり、画素位置Ｇｙ１についての最多投票が垂直方向であった場合、水平方向への投票の総数は３であり、垂直方向への投票の総数は２となる。
【００８４】
上述のように、水平方向への投票の総数または垂直方向への投票の総数のいずれかに基づいた１つまたは複数の閾値は、重み付け係数αを決定するために設定することができる。図４に関連して上述した例では、２つの閾値Ｔ１、Ｔ２が水平方向への投票の総数に基づいて設定された。図４の例では、Ｔ１＝１、Ｔ２＝４である。従って、上述の画素位置Ｒ１からの全投票数を用いると、３票の水平方向の票があったため、重み付け係数αは０．５となる。従って、画素位置Ｒ１における欠損緑値の補間は、水平方向と垂直方向の画素値の両方に基づくことになる。
【００８５】
補間結果は、通常、線形予測を適用して改善される。滑らかな関数ｆ(ｘ)については、線形予測は次式のようになる。
【００８６】
【数１８】
例えば、上述のベイヤーパターン内のＲ１を含むラインを延長すると、水平方向の近傍には以下の画素が存在する。
Ｒ２Ｇｘ１Ｒ１Ｇｘ２Ｒ３
Ｇｘ１からＲ１における緑値の線形予測は、差分近似ｆ’(ｘ０)＝(Ｒ１−Ｒ２)／２を用い、ｘ−ｘ０＝１と置くと、次式のようになる。
【００８８】
【数１９】
Ｇｘ１＋{(Ｒ１−Ｒ２)／２} （式１５）
この色の混合は、色平面間の強固な局所相関の仮定に基づくものであり、従って同じ方向の差分は同等となるはずである。
【００８９】
同様にＧｘ２からＲ１における線形予測は、ｘ−ｘ０＝−１とすると、次式のようになる。
【００９０】
【数２０】
Ｇｘ２−{(Ｒ３−Ｒ１)／２} （式１６）
従って、式１３においてＩｈで表わされる、Ｒ１における水平方向に補間された緑値は、式１５と式１６の結果の平均となる。
【００９１】
【数２１】
低光（low-light）レベルの画像処理状況では、ノイズによって線形予測の有効性が阻害される。画像が低光の画像であるか否かは、画素値を見ることによって一般に判断される。画素値は、通常０〜２５５の範囲にある。例えば、大半の画素値が低光の閾値（オペレータによる判定またはディジタル撮像システム内にプログラムされた値）に満たない場合、画像は低光の画像であるとみなされる。従って、０≦γ≦１である係数γ（入力画素に対して適用されるゲインに従って設定される）によって線形補間の大きさを変えることは有利である。具体的には、式１７は次式のように書き換えることができる。
【００９３】
【数２２】
低光レベルに対しては、ゲインは高く、その結果ノイズも多く、γは０または小さな正の値に等しくなる。通常の照明では、γは１に等しい。
【００９５】
式１８に示したのと同様の補間が、青と緑をもつラインの水平方向補間に使用され、また垂直方向補間にも使用される。画素位置Ｒ１における補間された輝度値を計算するには、上述のように水平方向補間と垂直方向補間の平均が使用される。
【００９６】
欠損輝度値が補間される（ステップ５７０）と、補間された輝度色平面は、図２に関連して上述したように、任意の既知のモザイク減少技法を用いて、クロミナンス色平面の補間に使用される図２の適応補間ロジックによって出力される（ステップ５８０）。適応モザイク減少ＰＶＭアルゴリズムを用いることで、画像は孤立した補間誤差が減少する。従って、近傍を用いることによって、従来のモザイク減少法よりも滑らかな画像が再生される。
【００９７】
ＰＶＭの性能は、追加の処理ステップによりさらに改良することができる。ＰＶＭモザイク減少アルゴリズムの拡張方法の一種を図６Ａに示す。図６Ａは、Ｇ１：Ｇ２の不一致を補償するための例示的なステップである。図２に示した生データ２５内の緑画素は、２つのカテゴリに分類される。すなわち、（１）水平方向の近傍として赤画素を、垂直方向の近傍として青画素を持つ、「Ｇ１」画素と、（２）水平方向の近傍として青画素を、垂直方向の近傍として赤画素を持つ、「Ｇ２」画素である。Ｇ１画素は、センサの構造とＣＦＡの不良を含む要因によって、同じ照明に対してＧ２画素とかなり異なる値を呈することが多い。緑が一様である画像領域では緑値の変化が最も目立ち、詳細に検査すると市松模様状に見える。
【００９８】
Ｇ１画素とＧ２画素の間の不一致は、ＰＶＭモザイク減少アルゴリズムの前に適用される２つの事前処理ステップを用いて補正することができる。図６Ａに示され「平均バランス化（mean balancing）ステップ」と呼ばれる第１のステップは、全体的な補正を行う。この平均バランス化ステップは、画像全体のＧ１画素の平均値を計測し（ステップ６００）、別に画像全体のＧ２画素の平均値を計測する（ステップ６１０）ことによって進められる。２つの平均値が等しい場合（ステップ６２０）、不一致は存在せず、処理は終了する（ステップ６３０）。しかし、２つの平均値が等しくない場合（ステップ６２０）には、２つの平均値の間の差の百分率が求められる（ステップ６４０）。その後、２つの平均（Ｇ１平均またはＧ２平均）のうちの小さな方の緑画素値が、差の百分率を用いて拡大される（ステップ６５０）。
【００９９】
この平均バランス化ステップは、ＰＶＭアルゴリズムを用いたモザイク減少前に適用することができる。上述のように、ディジタルカメラでは画像を選択して永久に記憶させる前に複数の画像を撮影して露出が適正かどうかを確認することが多い。従って、この平均バランス化ステップは、画像を記憶させる前に、撮影した画像のうちの１つに対して実行される。
【０１００】
第２のステップが図６Ｂに示されており、これを「適応平滑化」と呼ぶ。この第２のステップも、緑の色平面の補間前に実行することができ、平均バランス化ステップの後に実行するのが好ましい。適応平滑化ステップは、エッジ上にない画素における生の緑値に平滑フィルタを適用し、平滑化された緑値を補間に用いる。画素がエッジ上にあるか否かは、式６に示したヤコビ行列からエントリの絶対値の合計を計算することによって決定することができる。ヤコビアンのエントリの絶対値の合計が所定の閾値（実験においては、閾値として６４を用いた）未満である場合（ステップ６７０）、画素はエッジ上には無く、従って生の緑値に対し平滑化が適用される。合計が所定の閾値未満でない場合（ステップ６７０）、画素はエッジ上にあり、処理はこの画素に関して終了する（ステップ６８０）。適応平滑化ステップにとって、緑の画素値のヤコビアンの緑の列は、同等の緑画素、すなわちＧ１値とＧ１値またはＧ２値とＧ２値の差を取ることによって計算され、Ｇ１値とＧ２値の差を取ることによって計算されるのではないことに注意されたい。
【０１０１】
緑画素がエッジ上に無いと決定されると（ステップ６７０）、平滑化は以下のような３×３のフィルタを用いて緑値を畳み込むことによって実現される（ステップ６９０）。
【０１０２】
【数２３】
【０１０３】
【数２４】
【０１０４】
ＰＶＭモザイク減少技法に対するさらなる拡張を図７に示す。図７は、画像鮮明化（シャープ化）ステップを示す。画像は画素位置でのみサンプリングされるので、本質的に画像のアンダーサンプリングが存在し、画像内の一部の高周波成分が除かれてしまうことがある。従って、画像を鮮明化するため、二次導関数を元の画像へ付け加える。例えば、以下のベイヤーパターンを考える。
【０１０５】
【数２５】
Ｇ３３の水平方向の二次導関数は、（２Ｇ３３−Ｇ３１−Ｇ３５）によって推定することができる。同様に、Ｇ３３の垂直方向の二次導関数は、（２Ｇ３３−Ｇ５３−Ｇ１３）によって推定することができる。
【０１０７】
鮮明化の量はユーザーの好みに応じて調整可能であるのが好ましい。例えば、ラプラシアンを∇２で表わし、κを０≦κ≦１の間で調整可能なパラメータとすると、次式により元の画像Ｉ(ｘ,ｙ)から鮮明化画像Ｉ(ｘ,ｙ)ハットが求められる。
【０１０８】
【数２６】
【０１０９】
第１のステップとして、ユーザは調整可能なパラメータκを設定する（ステップ７００）。調整可能なパラメータκは、鮮明化を望まないときは０に、最大量の鮮明化を望むときは１に設定される。しかし、κに０と１の間の任意の値を使用できることを理解されたい。調整可能なパラメータκが０に設定されると（ステップ７１０）、鮮明化は実行されない（ステップ７２０）。調整可能なパラメータκが０に設定されない場合（ステップ７１０）、ラプラシアンが求められ（ステップ７３０）、調整可能なパラメータκを乗じられ（ステップ７４０）、元の画素値に加算される（ステップ７５０）。
【０１１０】
一実施形態では、鮮明化は、差分画像補間の前に、補間された緑画像に適用することができる。例えば、チルダーＧ(ｘ,ｙ)が補間された緑平面であるとすると、鮮明化された緑平面Ｇ(ｘ,ｙ)ハットは以下のようになる。
【０１１１】
【数２７】
式１及び式２内のチルダーＧ(ｘ,ｙ)をＧ(ｘ,ｙ)ハットで置き換えることにより、最小の処理で鮮明化が実現される。
【０１１３】
ＰＶＭモザイク減少アルゴリズムについての別の拡張を図８に示す。図８は、画像のノイズを低減するステップである。Ｇ１：Ｇ２補償について提案された適応平滑化は、ノイズを低減するために、赤画素と青画素に簡単に拡張することができる。ノイズ低減用の適応平滑化は、エッジ上にない画素での生の赤値と青値へ平滑化フィルタを適用し、平滑化された赤値と青値を補間に用いる。図６に関連して上述したように、画素がエッジ上にあるか否かは、式６に示したヤコビ行列式からエントリの絶対値の合計を計算することによって決定することができる（ステップ８００）。ヤコビアンのエントリの絶対値の合計が所定の閾値未満の場合（ステップ８１０）、画素はエッジ上にはなく、従って生の赤値または青値に平滑化が適用される。合計が所定の閾値（ステップ８１０）未満でない場合、画素はエッジ上にあり、処理が終了する（ステップ８２０）。５×５のノイズ低減用平滑化フィルタは、以下のようになる（ステップ８３０）。
【０１１４】
【数２８】
【０１１５】
本発明には例として以下の実施形態が含まれる。
【０１１６】
（１）画素がディジタル画像のエッジ上にあるか否かを判定する方法であって、
前記画素について、第１の色の第１のエッジ方向と第２の色の第２エッジ方向を決定するステップと、
前記第１のエッジ方向と前記第２のエッジ方向に関連する個別の補間の投票を提供し、選択された補間方向を決定するステップであって、前記個別の補間の投票が第１の補間方向または第２の補間方向のいずれかであり、前記選択された補間方向が前記第１の補間方向と前記第２の補間方向への前記投票の数に基づいている、ステップと、
を含む方法。
【０１１７】
（２）前記第１のエッジ方向及び第２のエッジ方向はそれぞれ第１の勾配及び第２の勾配であり、該第１の勾配及び第２の勾配は前記画素のヤコビアンを形成する、上記(１)に記載の方法。
【０１１８】
（３）前記第１の補間方向は水平方向補間であり、前記第２の補間方向は垂直方向補間であり、
前記提供するステップは、
前記第１の勾配に関連する補間の投票の第１の票を設定するステップであって、前記第１の勾配の行成分の絶対値が該第１の勾配の列成分の絶対値よりも小さいとき、前記第１の補間投票は前記水平方向補間に設定され、前記第１の勾配の列成分の絶対値が該第１の勾配の行成分の絶対値よりも小さいとき、前記第１の補間投票は前記垂直方向補間に設定される、ステップと、
前記第２の勾配に関連する補間の投票の第２の票を設定するステップであって、前記第２の勾配の行成分の絶対値が該第２の勾配の列成分の絶対値よりも小さいとき、前記第２の補間投票は前記水平方向補間に設定され、前記第２の勾配の列成分の絶対値が該第２の勾配の行成分の絶対値よりも小さいとき、前記第２の補間投票は前記垂直方向補間に設定される、ステップと、
前記設定ステップに基づいて、選択された前記補間方向について、前記水平方向補間、前記垂直方向補間、または水平方向補間と垂直方向補間の組み合わせのいずれかを選択するステップと、
をさらに含む、上記(２)に記載の方法。
【０１１９】
（４）前記選択ステップは、
隣接投票データを提供するステップであって、該隣接投票データは少なくとも一つの隣接画素からの多数決投票を含み、該多数決投票は、前記隣接画素からの最多の補間投票が水平方向補間であるときは水平方向補間であり、前記隣接画素からの最多の補間投票が垂直方向補間であるときは垂直方向補間である、ステップと、
前記近傍投票データを前記補間投票に加算して前記選択された補間方向を決定するステップと、
をさらに含む、上記(３)に記載の方法。
【０１２０】
（５）前記選択ステップは、
前記水平方向補間と前記垂直方向補間のいずれかについて、前記補間投票の数に関連する第１の閾値及び第２の閾値を少なくとも設定するステップと、
前記水平方向補間と垂直方向補間のいずれかについて、前記補間投票の数が前記第１の閾値と第２の閾値の間にあるときに、前記水平方向補間と垂直方向補間の組み合わせを前記選択された補間方向として選択するステップと、
をさらに含む、上記(４)に記載の方法。
【０１２１】
（６）画素位置における値として表わされるディジタル画像をモザイク減少する方法であって、
一組の第１の色値と一組の第２の色値を受け取るステップと、
前記画素位置の所与の位置に関連する前記第１の色値のうちの所与の色値について、前記一組の第１の色値を使用して第１の変化の度合を決定するとともに、前記一組の第２の色値を使用して第２の変化の度合を決定するステップであって、前記第１の変化の度合及び第２の変化の度合はそれぞれ行成分と列成分を有する、ステップと、
前記第１の変化の度合及び第２の変化の度合の両方について、前記行成分を前記列成分と比較して、選択された補間方向を決定するステップと、
を含む方法。
【０１２２】
（７）前記選択された補間方向を使用して、前記所与の画素位置に関連する欠損する第２の色値を補間するステップをさらに含む、上記(６)に記載の方法。
【０１２３】
（８）前記補間ステップは、前記第１の色値と前記第２の色値を用いる線形予測関数を適用することによって、前記欠損する第２の色値を補間するステップをさらに含む、上記(７)に記載の方法。
【０１２４】
（９）前記補間ステップは、
低光（low-light）の閾値未満の前記第１の色値及び第２の色値の数を決定するステップと、
前記数が他の閾値を越えたとき、前記線形予測関数を無効とする（turn off）ステップと、
をさらに含む、上記(８)に記載の方法。
【０１２５】
（１０）前記所与の第１の色値から前記補間した欠損する第２の色値を減算することによって差分値を決定するステップと、
少なくとも前記差分値を用いて、欠損する第１の色値を補間するステップであって、該欠損する第１の色値は前記第１の色値を生成しなかった前記画素位置のうちの一つに関連する、ステップと、
をさらに含む、上記(７)に記載の方法。
【０１２６】
（１１）前記第１の変化の度合及び第２の変化の度合はそれぞれ前記第１の勾配及び第２の勾配であり、該第１の勾配及び第２の勾配は前記所与の第１の色値のヤコビアンを形成しており、
前記比較ステップは、
前記第１の勾配及び第２の勾配のそれぞれによって個々の補間投票を供給するステップであって、該補間投票は第１の補間方向または第２の補間方向のいずれかであり、前記選択された補間方向は前記第１の補間方向と前記第２の補間方向についての前記補間投票の数に基づく、ステップをさらに含む、上記(６)に記載の方法。
【０１２７】
（１２）前記第１の補間方向は水平方向補間であり、前記第２の補間方向は垂直方向補間であり、
前記供給ステップは、
前記第１の勾配及び第２の勾配のそれぞれの前記行成分の絶対値が該勾配の前記列成分の絶対値よりも小さいとき、前記第１の勾配及び第２の勾配のそれぞれによって前記補間投票を前記水平方向補間として設定するステップと、
前記第１の勾配及び第２の勾配のそれぞれの前記列成分の絶対値が該勾配の前記列成分の絶対値よりも小さいとき、前記第１の勾配及び第２の勾配のそれぞれによって前記補間投票を前記垂直方向補間として設定するステップと、
前記設定ステップに基づいて、前記選択された補間方向について、前記水平方向補間、前記垂直方向補間、または水平方向補間と垂直方向補間の組み合わせのいずれかを選択するステップと、
をさらに含む、上記(１１)に記載の方法。
【０１２８】
（１３）前記選択ステップは、
近傍投票データを提供するステップであって、該近傍投票データは前記画素位置に隣接する少なくとも１つの画素からの前記所与の画素位置に対する多数決投票を含み、該多数決投票は、前記画素位置の前記隣接画素からの最多の前記補間投票が水平方向補間であるときは水平方向補間であり、前記画素位置の前記隣接画素からの最多の前記補間投票が垂直方向補間であるときは垂直方向補間である、ステップと、
前記近傍投票データを前記補間投票に加算して、前記選択された補間方向を決定するステップと、
をさらに含む、上記(１２)に記載の方法。
【０１２９】
（１４）前記選択ステップは、
前記水平方向補間または前記垂直方向補間のいずれかついて、前記補間投票の数に関連する少なくとも第１の閾値と第２の閾値を設定するステップと、
前記水平方向補間か垂直方向補間のいずれかについて、前記補間投票の数が前記第１の閾値と第２の閾値の間にあるときに、前記水平方向補間と垂直方向補間の組み合わせを前記選択された補間方向として選択するステップと、
をさらに含む、上記(１３)に記載の方法。
【０１３０】
（１５）前記第１の色値はクロミナンス色値であり、前記第２の色値は輝度色値である、上記(６)に記載の方法。
【０１３１】
（１６）前記輝度色値の第１グループの第１の平均輝度値と前記輝度色値の第２グループの第２の平均輝度値を決定するステップと、
前記第１の平均輝度値と前記第２の平均輝度値との間の差の百分率を求めるステップと、
前記第１の平均輝度値が前記第２の平均輝度値未満であるときに、前記差の百分率により前記輝度色値の第１グループを増大させるステップと、
をさらに含む、上記(１５)のに記載の方法。
【０１３２】
（１７）前記一組の輝度色値から前記輝度色値のうちの所与の一つのヤコビアンを求めるステップと、
前記ヤコビアン内の値の絶対値の第１の合計を求めるステップと、
前記第１の合計が所定の閾値に満たない場合に、
前記所与の輝度色値に４を乗ずるステップと、
４個の対角に隣接する画素位置の前記輝度色値を加算して第２の合計を得るステップと、
前記第２の合計を８で除算するステップと、
をさらに含む、上記(１５)に記載の方法。
【０１３３】
（１８）前記所与の第１の色値のヤコビアンを求めるステップと、
前記ヤコビアン内の値の絶対値の第１の合計を求めるステップと、
前記第１の合計が所定の閾値未満である場合に、
前記所与の第１の色値に８を乗ずるステップと、
８個の最も近い画素位置の前記第１の色値を加算し、第２の合計を得るステップと、
前記第２の合計を１６で除算するステップと、
をさらに含む、上記(６)に記載の方法。
【０１３４】
（１９）画素位置における値として表わされるディジタル画像をモザイク減少するディジタル画像処理システムであって、
一組の第１の色値と一組の第２の色値を受け取るようにされたプロセッサであって、前記画素位置の所与の位置に関連する前記第１の色値のうちの所与の色値について、前記一組の第１の色値を使用して第１の変化の度合を決定するとともに、前記一組の第２の色値を使用して第２の変化の度合を決定し、前記第１の変化の度合及び第２の変化の度合はそれぞれ行成分と列成分を有しており、前記第１の変化の度合及び第２の変化の度合の両方について前記行成分を前記列成分と比較して選択された補間方向を決定するプロセッサを備えるシステム。
【０１３５】
（２０）前記プロセッサは、前記選択された補間方向を使用して、前記所与の画素位置に関連する前記画素位置の欠損する第２の色値を補間するようにさらに適応されている、上記(２０)に記載のシステム。
【０１３６】
（２１）前記プロセッサは、前記第１の色値と前記第２の色値を用いる線形予測関数を適用することによって、前記欠損する第２の色値を補間するようにさらに適応されている、上記(２０)に記載のシステム。
【０１３７】
（２２）前記プロセッサは、低輝度の閾値未満の前記第１の色値及び第２の色値の数を決定し、前記数が他の閾値を越えたときに前記線形予測関数を無効とするようにさらに適応されている、上記(２１)に記載のシステム。
【０１３８】
（２３）前記プロセッサは一組の第３の色値を受け取るように適応されており、前記一組の第１、第２及び第３の色値はそれぞれ異なる色に関連しており、前記プロセッサは前記第３の色値に関連する第３の変化の度合を決定することができる、上記(２０)に記載のシステム。
【０１３９】
（２４）前記プロセッサは、前記所与の第１の色値から前記補間された欠損する第２の色値を減算することによって差分値を決定し、少なくとも該差分値を用いて、前記第２の色値及び第３の色値に関連する前記画素位置について欠損する第１の色値を補間するようにさらに適応されている、上記(２３)に記載のシステム。
【０１４０】
（２５）前記第１、第２及び第３の変化の度合はそれぞれ第１、第２及び第３の勾配であり、
該第１、第２及び第３の勾配は前記所与の第１の色値のヤコビアンを形成しており、
該第１、第２及び第３の勾配のそれぞれが個々の補間投票を供給し、前記補間投票は第１の補間方向または第２の補間方向のいずれかであり、
前記選択された補間方向は前記第１の補間方向と前記第２の補間方向についての前記補間投票数に基づく、上記(２３)に記載のシステム。
【０１４１】
（２６）前記第１の補間方向は、前記画素位置と同一の行内の前記画素位置からの少なくとも１つ以上の前記第２の色値を、前記所与の画素位置として用いた水平方向補間であり、
前記第２の補間方向は、前記画素位置と同一の列内の前記画素位置からの少なくとも１つ以上の前記第２の色値を、前記所与の画素位置として用いた垂直方向補間であり、
前記第１、第２及び第３の勾配のそれぞれの前記補間投票は、前記それぞれの勾配の前記行成分の絶対値が該勾配の前記列成分の絶対値よりも小さいとき、前記水平方向補間であり、前記それぞれの勾配の前記列成分の絶対値が該勾配の前記行成分の絶対値よりも小さいとき、前記垂直方向補間であり、
前記選択された補間方向は、前記水平方向補間、前記垂直方向補間、または垂直方向補間と水平方向補間の組み合わせからなるグループから選択される、上記(２５)に記載のシステム。
【０１４２】
（２７）近傍投票データを記憶することのできるメモリをさらに備え、
該近傍投票データは前記所与の画素位置に対し前記画素位置に隣接する少なくとも一つの画素からの多数決投票を含み、
該多数決投票は前記画素位置の前記隣接画素からの最多の前記補間投票が水平方向補間であるときは水平方向補間であり、前記隣接画素からの最多の前記補間投票が垂直方向補間であるときは垂直方向補間であり、
前記近傍投票データを前記補間投票に加算して、前記選択された補間方向を決定する、上記(２６)に記載のシステム。
【０１４３】
（２８）前記水平方向補間または前記垂直方向補間のいずれかについて前記補間投票数に関連する少なくとも第１の閾値及び第２の閾値をさらに備え、
前記選択された補間方向は、前記水平方向補間または前記垂直方向補間のいずれかについて前記補間投票数が前記第１の閾値と第２の閾値の間にあるときに、前記水平方向補間と垂直方向補間の組み合わせとなる、上記(２７)に記載のシステム。
【０１４４】
（２９）前記第１の色値はクロミナンス色値であり、前記第２の色値は輝度色値である、上記(１９)に記載の前記システム。
【０１４５】
（３０）前記プロセッサは、
前記輝度色値の第１グループの第１の平均輝度値と前記輝度色値の第２グループの第２の平均輝度値を決定し、
前記第１の平均輝度値と前記第２の平均輝度値との間の差の百分率を求め、
前記第１の平均輝度値が前記第２の平均輝度値未満であるときに、前記差の百分率により前記輝度色値の第１グループを増大させるようにさらに適応されている、上記(２９)に記載のシステム。
【０１４６】
（３１）前記プロセッサは、
前記一組の輝度色値から前記輝度色値のうちの所与の一つのヤコビアンを求め、前記ヤコビアン内の値の絶対値の第１の合計を求め、
前記第１の合計が所定の閾値に満たないときに、前記所与の輝度色値に４を乗じ、４個の対角に隣接する画素位置の前記輝度色値を加算して第２の合計を求め、該第２の合計を８で除算するようさらに適応されている、上記(２９)に記載のシステム。
【０１４７】
（３２）前記プロセッサは、前記第１の色値の組と前記第２の色値の組のいずれかの内の選択された色値のラプラシアンを求め、調整可能なパラメータを乗じた前記ラプラシアンを前記選択された色値に加算するようさらに適応されている、上記(１９)に記載のシステム。
【０１４８】
（３３）前記プロセッサは、前記所与の第１の色値のヤコビアンを求め、前記ヤコビアン内の値の絶対値の第１の合計を求め、
前記第１の合計が所定の閾値未満であるときに、前記所定の第１の色値に８を乗じ、８個の最も近い画素位置の前記第１の色値を加算して第２の合計を求め、該第２の合計を１６で除算するようさらに適応されている、上記(１９)に記載のシステム。
【０１４９】
当業者はならば認めるように、本明細書に記載された発明の概念は、広範囲の用途に合せて修正、変更することができる。従って、本発明の範囲は、説明した特定の教示のいずれにも限定されるべきではない。
【図面の簡単な説明】
【図１】本発明の例示的な実施形態に従った適応モザイク減少アルゴリズムを用いたディジタル画像システムを示すブロック図である。
【図２】本発明の例示的な実施形態に従ったモザイク減少アルゴリズムを実装するロジックを示すブロック図である。
【図３】図２に示したモザイク減少アルゴリズムを実行する例示的なステップを示すフローチャートである。
【図４】本発明のモザイク減少アルゴリズムに従って輝度色平面の例示的な適応補間を実行するロジックを示すブロック図である。
【図５】図４に示した適応補間処理を実行する例示的なステップを示すフローチャートである。
【図６】画像の色の不一致を補償する本発明のモザイク減少アルゴリズムへの拡張の例示的なステップを示すフローチャートである。
【図７】画像をシャープにする本発明のモザイク減少アルゴリズムへの拡張の例示的なステップを示すフローチャートである。
【図８】画像のノイズを減らす本発明のモザイク減少アルゴリズムへの拡張の例示的なステップを示すフローチャートである。
【符合の説明】
２０ ディジタル画像センサ
２５ 生データ
２５ａ，２５ｂ，２５ｃ 生データ赤色平面
２８ａ，２８ｂ 差分クロミナンス色平面
３０ バッファ
３５ａ，３５ｂ，３５ｃ 補間色平面
４０ ディジタル信号プロセッサ
４２ 適応補間ロジック
４４ａ，４４ｂ 減算ロジック
４６ａ，４６ｂ 差分補間ロジック
４８ａ，４８ｂ 加算ロジック
５０ メモリ
６０ 出力装置
１００ａ，１００ｂ，１００ｃ 勾配ロジック
１０５ａ，１０５ｂ，１０５ｃ 勾配
１１０ ヤコビアンロジック
１１５ ヤコビアン
１２０ 列投票ロジック
１２５ 列投票
１３０ メモリ
１３５ 最多投票
１４０ 近傍投票データ
１５０ 加算ロジック
１５５ 加算結果
１６０ 重み付け係数判定ロジック
１７０ 補間ロジック
Claims (2)
- 画素がディジタル画像のエッジ上にあるか否かにより、補間方向を決定する方法であって、
前記画素について、第１の色の第１の勾配と第２の色の第２の勾配を決定するステップを含み、前記第１および第２の勾配はそれぞれ、列成分および行成分を有しており、
前記第１の勾配の行成分の絶対値が該第１の勾配の前記列成分の絶対値よりも小さいとき、水平方向補間に第１の補間投票を提供し、前記第１の勾配の列成分の絶対値が該第１の勾配の行成分の絶対値よりも小さいとき、垂直方向補間に第１の補間投票を提供する、ステップと、
前記第２の勾配の行成分の絶対値が該第２の勾配の列成分の絶対値よりも小さいとき、水平方向補間に第２の補間投票を提供し、前記第２の勾配の列成分の絶対値が該第２の勾配の行成分の絶対値よりも小さいとき、垂直方向補間に第２の補間投票を提供する、ステップと、
前記補間投票の数に基づいて、前記水平方向補間、前記垂直方向補間、または前記水平方向補間および前記垂直方向補間の組み合わせの、いずれかを選択する、ステップとを含み、
前記第１の勾配及び第２の勾配は、前記画素のヤコビアンを形成し、
前記選択ステップは、
隣接投票データを提供するステップであって、該隣接投票データは少なくとも一つの隣接画素からの多数決投票を含み、該多数決投票は、前記隣接画素からの最多の補間投票が水平方向補間であるときは水平方向補間であり、前記隣接画素からの最多の補間投票が垂直方向補間であるときは垂直方向補間である、ステップと、
前記近傍投票データを前記補間投票に加算して前記選択された補間方向を決定するステップと、
をさらに含む方法。 - 前記選択ステップは、
前記水平方向補間と前記垂直方向補間のいずれかについて、前記補間投票の数に関連する第１のしきい値及び第２のしきい値を少なくとも設定するステップと、
前記水平方向補間と垂直方向補間のいずれかについて、前記補間投票の数が前記第１のしきい値と第２のしきい値の間にあるときに、前記水平方向補間と垂直方向補間の組み合わせを前記選択された補間方向として選択するステップと、
をさらに含む、請求項１に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/940,825 | 2001-08-27 | ||
| US09/940,825 US7088392B2 (en) | 2001-08-27 | 2001-08-27 | Digital image system and method for implementing an adaptive demosaicing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003163939A JP2003163939A (ja) | 2003-06-06 |
| JP2003163939A5 JP2003163939A5 (ja) | 2005-10-27 |
| JP4352371B2 true JP4352371B2 (ja) | 2009-10-28 |
Family
ID=25475488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002247617A Expired - Fee Related JP4352371B2 (ja) | 2001-08-27 | 2002-08-27 | 適応モザイク減少法を実装するディジタル画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7088392B2 (ja) |
| EP (1) | EP1289310B1 (ja) |
| JP (1) | JP4352371B2 (ja) |
Families Citing this family (111)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6707937B1 (en) * | 2000-07-14 | 2004-03-16 | Agilent Technologies, Inc. | Interpolation of edge portions of a digital image |
| US6900833B2 (en) * | 2001-01-15 | 2005-05-31 | Pentax Corporation | Image interpolating device |
| US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
| US20030117507A1 (en) * | 2001-12-21 | 2003-06-26 | Nasser Kehtarnavaz | Color filter array interpolation |
| US7196829B2 (en) * | 2002-01-10 | 2007-03-27 | Micron Technology Inc. | Digital image system and method for combining sensing and image processing on sensor with two-color photo-detector |
| US6992707B2 (en) * | 2002-03-06 | 2006-01-31 | Hewlett-Packard Development Company, L.P. | Delayed encoding based joint video and still image pipeline with still burst mode |
| JP4065155B2 (ja) * | 2002-07-12 | 2008-03-19 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
| US8040385B2 (en) * | 2002-12-02 | 2011-10-18 | Olympus Corporation | Image pickup apparatus |
| KR100695396B1 (ko) * | 2002-12-02 | 2007-03-16 | 올림푸스 가부시키가이샤 | 촬상장치 |
| JP4019417B2 (ja) * | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| EP1439715A1 (en) * | 2003-01-16 | 2004-07-21 | Dialog Semiconductor GmbH | Weighted gradient based colour interpolation for colour filter array |
| US20070292022A1 (en) * | 2003-01-16 | 2007-12-20 | Andreas Nilsson | Weighted gradient based and color corrected interpolation |
| JP4270892B2 (ja) * | 2003-01-27 | 2009-06-03 | Ｈｏｙａ株式会社 | 偽色低減装置 |
| US7333678B1 (en) * | 2003-05-20 | 2008-02-19 | Micronas Usa, Inc. | Edge adaptive demosaic system and method |
| JP4882374B2 (ja) * | 2003-06-12 | 2012-02-22 | 株式会社ニコン | 画像処理方法、画像処理プログラム、画像処理装置 |
| US7768500B2 (en) * | 2003-06-16 | 2010-08-03 | Humanscale Corporation | Ergonomic pointing device |
| US7269295B2 (en) * | 2003-07-31 | 2007-09-11 | Hewlett-Packard Development Company, L.P. | Digital image processing methods, digital image devices, and articles of manufacture |
| US7430334B2 (en) * | 2003-07-31 | 2008-09-30 | Hewlett Packard Development Company, L.P. | Digital imaging systems, articles of manufacture, and digital image processing methods |
| KR20050062709A (ko) * | 2003-12-22 | 2005-06-27 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 그 방법 |
| JP4128585B2 (ja) * | 2003-12-22 | 2008-07-30 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
| US7440016B2 (en) * | 2003-12-22 | 2008-10-21 | Hewlett-Packard Development Company, L.P. | Method of processing a digital image |
| EP1705902A4 (en) * | 2003-12-26 | 2008-12-17 | Olympus Corp | IMAGE INPUT APPARATUS |
| US7525584B2 (en) * | 2004-01-05 | 2009-04-28 | Lifesize Communications, Inc. | Fast edge directed demosaicing |
| US8165389B2 (en) * | 2004-03-15 | 2012-04-24 | Microsoft Corp. | Adaptive interpolation with artifact reduction of images |
| JP4037381B2 (ja) * | 2004-03-31 | 2008-01-23 | 富士フイルム株式会社 | 光情報読取方法および装置 |
| US7418130B2 (en) * | 2004-04-29 | 2008-08-26 | Hewlett-Packard Development Company, L.P. | Edge-sensitive denoising and color interpolation of digital images |
| CA2466466C (en) * | 2004-05-05 | 2020-05-26 | Dominion Voting Systems Corporation | System, method and computer program for vote tabulation with an electronic audit trail |
| CN100399834C (zh) * | 2004-05-17 | 2008-07-02 | 华晶科技股份有限公司 | 一种决定一感兴趣像素的边缘趋势的方法与装置 |
| US7376288B2 (en) * | 2004-05-20 | 2008-05-20 | Micronas Usa, Inc. | Edge adaptive demosaic system and method |
| US7557799B2 (en) * | 2004-06-17 | 2009-07-07 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System for determining pointer position, movement, and angle |
| ITVA20040038A1 (it) * | 2004-10-04 | 2005-01-04 | St Microelectronics Srl | Metodo di interpolazione del colore di una immagine acquisita da un sensore digitale mediante il filtraggio direzionale |
| US7864221B2 (en) * | 2004-10-15 | 2011-01-04 | Lifesize Communications, Inc. | White balance for video applications |
| US7545435B2 (en) * | 2004-10-15 | 2009-06-09 | Lifesize Communications, Inc. | Automatic backlight compensation and exposure control |
| EP1650979A1 (en) * | 2004-10-21 | 2006-04-26 | STMicroelectronics S.r.l. | Method and system for demosaicing artifact removal |
| TWI249336B (en) * | 2004-11-15 | 2006-02-11 | Ind Tech Res Inst | Method and apparatus of color filter array demosaicking for digital image acquisition system |
| CN100459718C (zh) * | 2004-11-26 | 2009-02-04 | 财团法人工业技术研究院 | 对色彩过滤阵列图像解马赛克的方法与装置 |
| US7620241B2 (en) * | 2004-11-30 | 2009-11-17 | Hewlett-Packard Development Company, L.P. | Artifact reduction in a digital video |
| WO2006081438A2 (en) * | 2005-01-27 | 2006-08-03 | Tandent Vision Science, Inc. | Differentiation of illumination and reflection boundaries |
| US7576783B2 (en) * | 2005-02-04 | 2009-08-18 | Hau Hwang | Confidence based weighting for color interpolation |
| JP4375269B2 (ja) * | 2005-03-29 | 2009-12-02 | セイコーエプソン株式会社 | 印刷制御方法、印刷制御装置、及び印刷制御プログラム |
| US7751642B1 (en) * | 2005-05-18 | 2010-07-06 | Arm Limited | Methods and devices for image processing, image capturing and image downscaling |
| GB2426881B (en) * | 2005-06-01 | 2010-12-29 | Snell & Wilcox Ltd | Method and apparatus for spatial interpolation of colour images |
| KR100782812B1 (ko) * | 2005-06-15 | 2007-12-06 | 삼성전자주식회사 | 에지 적응적 컬러 보간 방법 및 장치 |
| US7830430B2 (en) * | 2005-07-28 | 2010-11-09 | Eastman Kodak Company | Interpolation of panchromatic and color pixels |
| US7613357B2 (en) * | 2005-09-20 | 2009-11-03 | Gm Global Technology Operations, Inc. | Method for warped image object recognition |
| US7589772B2 (en) * | 2005-09-21 | 2009-09-15 | Coifman Ronald R | Systems, methods and devices for multispectral imaging and non-linear filtering of vector valued data |
| US7840086B2 (en) * | 2005-10-12 | 2010-11-23 | The Regents Of The University Of California | Method for inpainting of images |
| US7486844B2 (en) * | 2005-11-17 | 2009-02-03 | Avisonic Technology Corporation | Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels |
| US20070133902A1 (en) * | 2005-12-13 | 2007-06-14 | Portalplayer, Inc. | Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts |
| US8311129B2 (en) * | 2005-12-16 | 2012-11-13 | Lifesize Communications, Inc. | Temporal video filtering |
| CN100546335C (zh) * | 2005-12-21 | 2009-09-30 | 比亚迪股份有限公司 | 一种实现异常点数值校正的色彩插值方法 |
| US8005297B2 (en) | 2006-01-18 | 2011-08-23 | Qualcomm Incorporated | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing |
| US8014597B1 (en) | 2006-03-22 | 2011-09-06 | Woodman Labs | Method for efficient compression and decoding of single sensor color image data |
| JP4682070B2 (ja) * | 2006-03-23 | 2011-05-11 | Ｈｏｙａ株式会社 | 画像信号処理装置 |
| KR20080106585A (ko) * | 2006-03-27 | 2008-12-08 | 엔엑스피 비 브이 | 컬러 비디오 신호 생성 방법 및 장치 |
| JP4977395B2 (ja) * | 2006-04-14 | 2012-07-18 | 富士フイルム株式会社 | 画像処理装置及び方法 |
| KR20070103229A (ko) * | 2006-04-18 | 2007-10-23 | 삼성전자주식회사 | 컬러 보간 방법 및 장치 |
| JP5011814B2 (ja) * | 2006-05-15 | 2012-08-29 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| KR100780932B1 (ko) * | 2006-05-30 | 2007-11-30 | 엠텍비젼 주식회사 | 컬러 보간 방법 및 장치 |
| DE102006028735B4 (de) * | 2006-06-20 | 2009-04-09 | Sci-Worx Gmbh | Einrichtung zur Interpolation und Filterung von digitalen Bilddaten |
| US7667762B2 (en) * | 2006-08-01 | 2010-02-23 | Lifesize Communications, Inc. | Dual sensor video camera |
| US8761504B2 (en) | 2006-11-29 | 2014-06-24 | President And Fellows Of Harvard College | Spatio-spectral sampling paradigm for imaging and a novel color filter array design |
| US20080193037A1 (en) * | 2007-02-09 | 2008-08-14 | The Hong Kong University Of Science And Technology | Demosaicking methods and apparatus |
| JP4946581B2 (ja) * | 2007-04-05 | 2012-06-06 | ソニー株式会社 | 画像処理装置 |
| FR2917559B1 (fr) * | 2007-06-12 | 2009-12-25 | Centre Nat Rech Scient | Capteur d'images numeriques,procede d'acquisition et de reconstruction d'images,et systeme de mise en oeuvre |
| US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
| US8212837B1 (en) | 2007-10-02 | 2012-07-03 | Grandeye, Ltd. | Color processing pipelines generating a lower color bit-depth image compared to an unprocessed image from a wide-angle camera |
| US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
| US8270713B2 (en) * | 2007-10-16 | 2012-09-18 | Aptina Imaging Corporation | Method and apparatus providing hardware-efficient demosaicing of image data |
| JP5045421B2 (ja) * | 2007-12-21 | 2012-10-10 | ソニー株式会社 | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
| US8035704B2 (en) * | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
| US8135237B2 (en) * | 2008-02-25 | 2012-03-13 | Aptina Imaging Corporation | Apparatuses and methods for noise reduction |
| US7995840B2 (en) * | 2008-03-28 | 2011-08-09 | Seiko Epson Corporation | Image processing apparatus, image processing method, and program for attaining image processing |
| US8229212B2 (en) * | 2008-04-08 | 2012-07-24 | Qualcomm Incorporated | Interpolation system and method |
| EP2124187A1 (en) * | 2008-05-22 | 2009-11-25 | Telefonaktiebolaget LM Ericsson (PUBL) | Apparatus and method for demosaicing |
| US8045826B2 (en) * | 2008-07-03 | 2011-10-25 | Seiko Epson Corporation | Detecting edges in a digital images |
| JP5311916B2 (ja) * | 2008-07-31 | 2013-10-09 | 株式会社エルモ社 | 撮像装置 |
| US8111299B2 (en) * | 2008-08-15 | 2012-02-07 | Seiko Epson Corporation | Demosaicking single-sensor camera raw data |
| US8131067B2 (en) * | 2008-09-11 | 2012-03-06 | Seiko Epson Corporation | Image processing apparatus, image processing method, and computer-readable media for attaining image processing |
| US8380011B2 (en) * | 2008-09-30 | 2013-02-19 | Microsoft Corporation | Fast directional image interpolator with difference projection |
| US8571312B2 (en) * | 2009-01-16 | 2013-10-29 | Samsung Electronics Co., Ltd. | Image interpolation method and apparatus using pattern characteristics of color filter array |
| US20110032269A1 (en) * | 2009-08-05 | 2011-02-10 | Rastislav Lukac | Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process |
| KR101335127B1 (ko) * | 2009-08-10 | 2013-12-03 | 삼성전자주식회사 | 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말 |
| WO2011069055A2 (en) | 2009-12-04 | 2011-06-09 | Stc.Unm | System and methods of compressed sensing as applied to computer graphics and computer imaging |
| US8743957B2 (en) * | 2010-04-12 | 2014-06-03 | Sony Corporation | Context adaptive directional intra prediction |
| US8260044B2 (en) | 2010-07-07 | 2012-09-04 | DigitalOptics Corporation Europe Limited | Reducing erroneous colors in edge areas with chromatic abberation |
| JP5709131B2 (ja) * | 2011-05-11 | 2015-04-30 | 国立大学法人東京工業大学 | 画像処理システム |
| TWI449027B (zh) | 2011-08-30 | 2014-08-11 | Novatek Microelectronics Corp | 適應性畫素補償方法 |
| US20130077858A1 (en) * | 2011-09-22 | 2013-03-28 | Himax Imaging Limited | Image processing module and image processing method |
| JP2013251680A (ja) * | 2012-05-31 | 2013-12-12 | Jvc Kenwood Corp | 画像処理装置及び画像処理方法 |
| JP6077811B2 (ja) * | 2012-10-04 | 2017-02-08 | キヤノン株式会社 | 画像符号化装置、画像符号化方法およびプログラム |
| US9207759B1 (en) | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
| JP2014123814A (ja) * | 2012-12-20 | 2014-07-03 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
| US9013611B1 (en) * | 2013-09-06 | 2015-04-21 | Xilinx, Inc. | Method and device for generating a digital image based upon a selected set of chrominance groups |
| GB2519363A (en) * | 2013-10-21 | 2015-04-22 | Nokia Technologies Oy | Method, apparatus and computer program product for modifying illumination in an image |
| US9613396B2 (en) * | 2013-12-09 | 2017-04-04 | Marvell World Trade Ltd. | Method and apparatus for demosaicing of color filter array image |
| JP2015114729A (ja) | 2013-12-09 | 2015-06-22 | 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． | 画像処理装置、表示装置、画像処理方法およびプログラム |
| JP6415094B2 (ja) * | 2014-04-25 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| KR102189647B1 (ko) | 2014-09-02 | 2020-12-11 | 삼성전자주식회사 | 디스플레이 장치, 시스템 및 그 제어 방법 |
| CN106341670B (zh) | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106454289B (zh) * | 2016-11-29 | 2018-01-23 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106454288B (zh) * | 2016-11-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置、成像装置及电子装置 |
| GB2559776B (en) * | 2017-02-17 | 2022-04-06 | Grass Valley Ltd | Decoding a bayer-mask or like coded image |
| US10567724B2 (en) * | 2018-04-10 | 2020-02-18 | GM Global Technology Operations LLC | Dynamic demosaicing of camera pixels |
| CN110458766B (zh) * | 2019-07-11 | 2023-08-25 | 天津大学 | 一种快照式高光谱图像去马赛克方法 |
| CN112652027B (zh) * | 2020-12-30 | 2024-03-22 | 凌云光技术股份有限公司 | 一种伪彩检测方法及*** |
| CN113852768A (zh) * | 2021-09-24 | 2021-12-28 | 中音讯谷科技有限公司 | 一种基于fpga技术的音视频图像智能控制*** |
| US12035054B1 (en) * | 2021-12-09 | 2024-07-09 | Amazon Technologies, Inc. | Color filter array interpolation for RGB-IR image sensors |
| CN114202486B (zh) * | 2022-02-16 | 2022-05-20 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像的马赛克去除方法和*** |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4630307A (en) * | 1984-09-10 | 1986-12-16 | Eastman Kodak Company | Signal processing method and apparatus for sampled image signals |
| US5008739A (en) * | 1989-02-13 | 1991-04-16 | Eastman Kodak Company | Real-time digital processor for producing full resolution color signals from a multi-color image sensor |
| US5365604A (en) * | 1993-01-14 | 1994-11-15 | Rca Thomson Licensing Corporation | Error concealment apparatus for video signal processors |
| US6289137B1 (en) * | 1994-06-02 | 2001-09-11 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| KR100197366B1 (ko) * | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
| MY117289A (en) * | 1996-01-17 | 2004-06-30 | Sharp Kk | Image data interpolating apparatus |
| US5652621A (en) * | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| JP3755921B2 (ja) * | 1996-02-29 | 2006-03-15 | 株式会社コダックデジタルプロダクトセンター | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 |
| US5808674A (en) * | 1996-09-09 | 1998-09-15 | Eastman Kodak Company | Producing and improved digital image from digital signals corresponding to pairs of photosites |
| JP3503372B2 (ja) * | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| US6563537B1 (en) * | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
| JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
| US6528181B1 (en) | 1997-11-14 | 2003-03-04 | Toyo Kohan Co., Ltd. | Surface-treated steel sheet having lowered contact resistance and connecting terminal members made by using the same |
| US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
| JP4662584B2 (ja) | 1998-01-27 | 2011-03-30 | イーストマン コダック カンパニー | 画像センサのライン毎ノイズ除去装置及び方法 |
| KR100729559B1 (ko) | 1998-01-29 | 2007-06-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 색상 신호 보간 |
| US6507364B1 (en) * | 1998-03-13 | 2003-01-14 | Pictos Technologies, Inc. | Edge-dependent interpolation method for color reconstruction in image processing devices |
| US6567192B1 (en) * | 1998-03-17 | 2003-05-20 | Matsushita Electric Industrial Co., Ltd. | Image reading apparatus |
| JP4038867B2 (ja) | 1998-03-19 | 2008-01-30 | 株式会社ニコン | 補間処理方法 |
| US6836572B2 (en) * | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| US6075889A (en) * | 1998-06-12 | 2000-06-13 | Eastman Kodak Company | Computing color specification (luminance and chrominance) values for images |
| JP4000699B2 (ja) * | 1999-01-05 | 2007-10-31 | ソニー株式会社 | 水平周波数測定方法及び装置 |
| US6404918B1 (en) * | 1999-04-30 | 2002-06-11 | Hewlett-Packard Company | Image demosaicing method utilizing directional smoothing |
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| US6933970B2 (en) * | 1999-12-20 | 2005-08-23 | Texas Instruments Incorporated | Digital still camera system and method |
| EP1111904A3 (en) | 1999-12-20 | 2005-03-16 | Texas Instruments Incorporated | Digital camera system and method |
| JP4599672B2 (ja) * | 1999-12-21 | 2010-12-15 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2001186353A (ja) * | 1999-12-27 | 2001-07-06 | Noritsu Koki Co Ltd | 画像処理方法および画像処理プログラムを記録した記録媒体 |
| US6781626B1 (en) * | 2000-01-13 | 2004-08-24 | Biomorphic Vlsi, Inc. | System and method of color interpolation |
| JP3702783B2 (ja) * | 2000-12-14 | 2005-10-05 | 株式会社日立製作所 | ビデオ信号処理装置 |
| US6943831B2 (en) * | 2001-01-24 | 2005-09-13 | Eastman Kodak Company | Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images |
| US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
-
2001
- 2001-08-27 US US09/940,825 patent/US7088392B2/en not_active Expired - Lifetime
-
2002
- 2002-05-03 EP EP02009959A patent/EP1289310B1/en not_active Expired - Lifetime
- 2002-08-27 JP JP2002247617A patent/JP4352371B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1289310B1 (en) | 2011-07-13 |
| EP1289310A2 (en) | 2003-03-05 |
| JP2003163939A (ja) | 2003-06-06 |
| EP1289310A3 (en) | 2005-12-07 |
| US20030052981A1 (en) | 2003-03-20 |
| US7088392B2 (en) | 2006-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4352371B2 (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
| JP4184802B2 (ja) | 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法 | |
| US7082218B2 (en) | Color correction of images | |
| US7876956B2 (en) | Noise reduction of panchromatic and color image | |
| US8224085B2 (en) | Noise reduced color image using panchromatic image | |
| US6181376B1 (en) | Method of determining missing color values for pixels in a color filter array | |
| Losson et al. | Comparison of color demosaicing methods | |
| US6978050B2 (en) | Electronic image color plane reconstruction | |
| US7006686B2 (en) | Image mosaic data reconstruction | |
| US20080253652A1 (en) | Method of demosaicing a digital mosaiced image | |
| US20080123997A1 (en) | Providing a desired resolution color image | |
| JP2000341707A (ja) | 方向性平滑化演算を用いた画像のモザイク解除方法 | |
| Chen et al. | Effective demosaicking algorithm based on edge property for color filter arrays | |
| US7269295B2 (en) | Digital image processing methods, digital image devices, and articles of manufacture | |
| US7430334B2 (en) | Digital imaging systems, articles of manufacture, and digital image processing methods | |
| WO2001030087A1 (fr) | Appareil de captage d'image couleur | |
| JP4196055B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP3899144B2 (ja) | 画像処理装置 | |
| JP4239483B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4239480B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP3946913B2 (ja) | 信号生成方法および装置並びに記録媒体 | |
| Mariničová | Demosaicing as an ill-posed inverse problem | |
| JP4239484B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| WO2003101119A1 (fr) | Procede de traitement d'images, programme de traitement d'images et processeur d'images | |
| Lee et al. | An efficient demosaiced image enhancement method for a low cost single-chip CMOS image sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050713 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070727 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070821 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070919 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071018 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080616 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080616 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081226 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090716 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4352371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |