JP2003163939A - 適応モザイク減少法を実装するディジタル画像処理方法 - Google Patents
適応モザイク減少法を実装するディジタル画像処理方法Info
- Publication number
- JP2003163939A JP2003163939A JP2002247617A JP2002247617A JP2003163939A JP 2003163939 A JP2003163939 A JP 2003163939A JP 2002247617 A JP2002247617 A JP 2002247617A JP 2002247617 A JP2002247617 A JP 2002247617A JP 2003163939 A JP2003163939 A JP 2003163939A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- color
- pixel
- value
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000009467 reduction Effects 0.000 title abstract description 45
- 230000003044 adaptive effect Effects 0.000 title abstract description 35
- 238000003672 processing method Methods 0.000 title 1
- 230000008859 change Effects 0.000 abstract description 33
- 230000000694 effects Effects 0.000 abstract description 11
- 238000005259 measurement Methods 0.000 abstract description 2
- 239000000470 constituent Substances 0.000 abstract 1
- 235000019557 luminance Nutrition 0.000 description 40
- 239000013598 vector Substances 0.000 description 22
- 238000009499 grossing Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000010076 replication Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001436679 Adama Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 241001428800 Cell fusing agent virus Species 0.000 description 1
- UNPLRYRWJLTVAE-UHFFFAOYSA-N Cloperastine hydrochloride Chemical compound Cl.C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)OCCN1CCCCC1 UNPLRYRWJLTVAE-UHFFFAOYSA-N 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
(57)【要約】
【課題】ジッパー効果の可視性を低減し、ハードウェア
の複雑さなしで実装することができる画像のモザイク減
少方法を提供する。 【解決手段】本発明は、少なくとも２つの色平面におい
て水平方向と垂直方向の両方における変化の度合（例え
ば、勾配、ラプラシアン、または変化の度合の他の尺
度）を別々に考慮することによって、各画素位置を補間
する適応モザイク減少方法を提供する。適応モザイク減
少アルゴリズムは、各画素位置で補間方向を決定するた
めに投票方式を使用する。各色平面は、その色平面にお
ける変化の度合の垂直成分と水平成分との間の比較に基
づいて水平か垂直に投票する。一実施形態では、投票は
画素位置それ自体で得られる測定からカウントされる
他、近傍の画素からもカウントされる。
の複雑さなしで実装することができる画像のモザイク減
少方法を提供する。 【解決手段】本発明は、少なくとも２つの色平面におい
て水平方向と垂直方向の両方における変化の度合（例え
ば、勾配、ラプラシアン、または変化の度合の他の尺
度）を別々に考慮することによって、各画素位置を補間
する適応モザイク減少方法を提供する。適応モザイク減
少アルゴリズムは、各画素位置で補間方向を決定するた
めに投票方式を使用する。各色平面は、その色平面にお
ける変化の度合の垂直成分と水平成分との間の比較に基
づいて水平か垂直に投票する。一実施形態では、投票は
画素位置それ自体で得られる測定からカウントされる
他、近傍の画素からもカウントされる。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般にディジタル
画像処理に関し、特に各画素位置で色の補間を行うモザ
イク減少（demosaicing）方法に関する。 【０００２】 【従来の技術】ディジタルカラー画像センサは、２つの
タイプが主流である。つまり、ＣＣＤ（電荷結合素子）
とＣＭＯＳ−ＡＰＳ（相補型金属酸化物半導体−アクテ
ィブ方式画素センサ）である。これらのタイプのセンサ
は両方とも、一般に、行と列に配置されて画像内の色を
サンプリングする光検出器（画素）のアレイを含む。各
画素は、１つまたは複数の色に対応して１つまたは複数
の波長の範囲内の光の強度を測定する。 【０００３】加えて、両方のタイプのセンサには、Ｂａ
ｙｅｒに付与された米国特許第３，９７１，０６５号に
記載されたカラーフィルタアレイ（以下、ベイヤーと呼
ぶ）等のカラーフィルタアレイ（ＣＦＡ）が含まれる。
これは参照により本明細書に援用される。ベイヤーＣＦ
Ａでは、各画素は赤、緑または青の１色のみを捕らえ
る。このサンプリングパターンを以下に示す。 【０００４】 【数１】 【０００５】ベイヤーＣＦＡを備えるセンサは、色空間
と空間領域の両方でサンプリングされたモザイク状の画
像を生成する。このサンプリング方法は、色空間と空間
領域の両方で折り返しアーチファクト（aliasing artif
act）を生ずる。例えば、フルカラーのスペクトルが
（ＣＦＡの色に応じて）特定の画素位置だけでサンプリ
ングされるので、画像の真の色を正確に再構成すること
は不可能であり、これによって色空間の折り返しアーチ
ファクトが発生する。加えて、原画像における高い空間
周波数が非常に低い周波数でサンプリングされるので、
画像の元の高い周波数を画像処理によって後から再現す
ることはできず、これによって空間領域の折り返しアー
チファクトが発生する。 【０００６】色空間と空間領域の折り返しアーチファク
ト問題に対する一つの解決策は、モザイク減少法（demo
saicing）である。モザイク減少法は、画像センサから
得られるディジタル画像の色を補間して、一つの画素位
置で三原色の全てを得る方法である。これにより得られ
るモザイク減少画像は、画像を見たときに、モザイク状
の画像よりも優れた品質が得られ、より視覚的に満足で
きる画像を与える。 【０００７】従来のモザイク減少法は、例えば画素複製
（pixel replication）、双一次補間（bi-linear inter
polation）及び中央値補間（median interpolation）等
が挙げられる。画素複製では、左、上、左斜め上の最近
傍の画素からそれぞれの欠損値（missing value）が取
り込まれる。双一次補間は、画素複製よりも改善される
が複雑さは少し増加する。双一次補間法では、水平、垂
直及び／または対角方向の近傍（neighboring）の画素
値の平均に基づいて、各欠損値が算出される。中央値補
間は非線形補間法であり、特に欠陥画素があるときにこ
れらの３つのアルゴリズム（画素複製、双一次補間、中
央値補間）のうちで最高の結果が得られるが、最も複雑
である。中央値補間は、２つのステップからなる。第１
に、４つの対角近傍を有する欠損値がそれら４つの値の
中央値を用いて補間される。第２に、残りの欠損画素が
東西南北の近傍の中央値によって補間される。 【０００８】しかしながら、上述のモザイク減少法では
すべて、見て分かる折り返しアーチファクトが画像内の
エッジに現れ、モザイク減少画像に「ジッパー（zippe
r）」効果を生じさせる。ジッパー効果とは、画像中の
直線のエッジをジッパーのように見せてしまうことであ
る。ジッパー効果の解決策は、Ａｄａｍｓ，Ｊｒらに付
与された米国特許第５，６５２，６２１号（以下、アダ
ムズ−ハミルトンアルゴリズムと呼ぶ）と、１９９９年
１０月発行のJournal of Electronic Imaging, Vol. 8,
No. 4, pp. 457-466に記載されたＫｕｎｏらによる「A
liasing reduction method for color digital still c
ameras with a single-chip charge-coupled device
（以下、Ｋｕｎｏアルゴリズムと呼ぶ）」に提案されて
おり、これらは両方とも参照により本明細書に援用され
る。 【０００９】アダムズ−ハミルトン補間アルゴリズム
は、水平エッジ及び垂直エッジを持つ画像をサンプリン
グする画像システムの性能の最適化を目指すものであ
る。アダムズ−ハミルトン補間アルゴリズムでは、欠損
する色値を補間する補間法が選択される。補間方向は、
補間対象である色平面と画素位置の色平面から得られる
値に基づいて、水平分類子と垂直分類子（または、正対
角分類子と負対角分類子）の値を算出することによって
選択される。 【００１０】２つの分類子の値は、補間法を選択するた
めに、予め定義された閾値と及びお互いに比較される。
例えば、分類子の値のうち１つまたは複数が予め定義さ
れた閾値より大きい場合、欠損している色値は、その色
値と同じ色の近傍値及びその画素位置の色の近傍値の両
方から補間される。欠損している色値は、どの分類子の
値が予め定められた閾値を上回ったかに応じて、水平方
向の近傍値、垂直方向の近傍値、または水平方向及び垂
直方向の両方の近傍値から補間される。アダムズ−ハミ
ルトンアルゴリズムは、細部を保存して、ジッパー効果
の出現を低減する。しかし、アダムズ−ハミルトンアル
ゴリズムを用いても、依然として若干の「ジッパリン
グ」が見られる。 【００１１】Ｋｕｎｏの補間アルゴリズムは、ＩＩＥＥ
Ｊ年会報（１９８８年版）第１６巻（２）８６乃至８８
頁に掲載された「Method to display full-color image
byusing the correlation of color」にＫｏｄｅｒａ
等が発表した細部の相関の仮定(correlation of detail
s assumption)に基づくものであり、参照により本明細
書に援用される。細部の相関の仮定は、画像の局所領域
において色の間に高い相関が存在することを仮定するも
のである。例えば、ベイヤーＣＦＡを備える画像センサ
を用いたときに、細部の相関の仮定は画像の局所領域内
では赤、青、緑の色値が比較的似ていると仮定する（例
えば、赤画素位置の赤値が１０である場合に、細部の相
関の仮定は、近傍の緑と青の画素位置がそれぞれ１０に
近い緑及び青の色値を生成すると仮定する）。 【００１２】Ｋｕｎｏアルゴリズムはさらに、色の変化
が急である領域においてさえ、色相関が一方向（すなわ
ち、水平方向または垂直方向）に存在することを仮定す
る。従って、Ｋｕｎｏアルゴリズムは、水平方向には色
値の低い相関しか存在しない垂直の補間方向と、垂直方
向には色値の低い相関しか存在しない水平の補間方向を
使用する。具体的には、Ｋｕｎｏアルゴリズムは、欠損
色値と関連する色平面の水平勾配（グラジエント）と垂
直勾配を計算し、水平勾配と垂直勾配を予め定義された
閾値と比較して補間方向を決定する。例えば、水平勾配
と垂直勾配の両方が予め定義された閾値未満の場合、補
間は水平方向と垂直方向の両方に実行される。しかし、
どちらの勾配も予め定義された閾値よりも大きい場合、
補間方向は２つの勾配のうちのより小さな方になる。 【００１３】補間方向が決定すると、Ｋｕｎｏアルゴリ
ズムは分割処理を用いて欠損色値を補間する。アダムズ
−ハミルトンアルゴリズムと同様に、Ｋｕｎｏアルゴリ
ズムはジッパー効果を低減し、画素複製、双一次補間及
び中央値補間といった従来のモザイク減少法と比べると
色解像度を改善する。しかし、Ｋｕｎｏアルゴリズムを
用いても、依然として若干のジッパー効果が見られる。
加えて、Ｋｕｎｏアルゴリズムでは分割処理をあらゆる
画素位置で実行することが必要とされ、その実装には費
用がかかる。 【００１４】 【発明が解決しようとする課題】従って、アダムズ−ハ
ミルトンアルゴリズムやＫｕｎｏアルゴリズムと比べて
ジッパー効果の可視性をさらに低減し、Ｋｕｎｏアルゴ
リズムが必要とするハードウェアの複雑さなしで実装す
ることができる、モザイク減少方法が必要とされてい
る。 【００１５】 【課題を解決するための手段】本発明の過程では、アダ
ムズ−ハミルトンアルゴリズムとＫｕｎｏアルゴリズム
を用いてモザイクを減少した画像にジッパー効果が出現
する理由について分析を行なった。分析の結果、どちら
のアルゴリズムも少なくとも２つの色平面における勾配
を別々に考慮しておらず、またどちらのアルゴリズムも
所与の画素を補間するときに近傍画素における意思決定
（decision）を適用していないために、アダムズ−ハミ
ルトンアルゴリズムとＫｕｎｏアルゴリズムを用いてモ
ザイクを減少した画像においても依然としてジッパー効
果が見られるという結論が得られた。 【００１６】本発明は、少なくとも２つの色平面におい
て水平方向と垂直方向の両方における変化の度合（例え
ば、勾配（グラジエント）、ラプラシアン、または変化
の度合の他の尺度）を別々に考慮することによって、各
画素位置を補間する適応モザイク減少方法を提供する。
適応モザイク減少アルゴリズムは、各画素位置で補間方
向を決定するために投票方式を使用する。各色平面は、
その色平面における変化の度合の垂直成分と水平成分と
の間の比較に基づいて水平か垂直に投票する。ある実施
形態では、投票は画素位置それ自体で得られる測定から
カウントされる他、近傍の画素からもカウントされる。 【００１７】一実施形態では、補間方向は輝度（lumina
nce）色平面にのみ適用される。輝度平面が十分に補間
されると、クロミナンス（chrominance）平面は差分ク
ロミナンス値の単純な双一次補間または中央値補間によ
り埋められる。適応モザイク減少アルゴリズムの拡張に
より、適応平滑化と鮮明化（sharpening）が可能にな
る。例えば、適応モザイク減少アルゴリズムは、低い光
レベル（すなわちノイズの多い）画像に適応させて、輝
度画素間の不均衡を低減することができる。 【００１８】適応モザイク減少アルゴリズムは、加算、
減算、桁送り及び比較のみを必要とし、これらはいずれ
もハードウェアによる実装が簡単であるので、適応モザ
イク減少アルゴリズムは、従来のモザイク減少法に存在
したハードウェアの複雑さを低減する。加えて、適応モ
ザイク減少アルゴリズムは従来のモザイク減少方法と比
較して、モザイクを減少した画像に現われるジッパー効
果を低減する。さらに、本発明は上述した実施形態の他
にまたはこれらに代えて、他の特徴と長所を備えた実施
形態を与える。これらの特徴と長所の多くは以下の説明
から明らかになろう。 【００１９】 【発明の実施の形態】図１は、本発明による適応モザイ
ク減少アルゴリズム４０を実装したディジタル画像シス
テム１０を示す。ディジタル画像システム１０は、ディ
ジタルカメラ、ビデオカメラ、医用撮像装置等の任意の
ディジタル画像装置である。ディジタル画像システム１
０は、画像データを記憶するメモリを有するパーソナル
コンピュータやサーバ等のコンピュータシステムであっ
ても良い。適応モザイク減少アルゴリズム４０は、ディ
ジタル画像装置の内部に存在したり、またはパーソナル
コンピュータやサーバ上で動作する画像処理ソフトウェ
アの一部であっても良い。 【００２０】ディジタル画像システム１０は、ＣＭＯＳ
センサチップやＣＣＤセンサチップ等のディジタル画像
センサ２０であって、列と行で構成された二次元アレイ
の画素を含む。ディジタル画像センサは、各画素が１色
だけを検出するカラーフィルタアレイ（ＣＦＡ）によっ
て覆われる。例えば、ＣＦＡは前述のＣＦＡであっても
良い。このアレイでは、輝度（luminance）色（緑）の
市松模様の間にクロミナンス（chrominance：色光度）
色（赤と青）が配置されている。ベイヤーＣＦＡの代わ
りに他のＣＦＡも使用できることは理解されよう。 【００２１】ディジタル画像センサ２０は、ディジタル
信号プロセッサ４０に元の赤、青、緑の画素値を含む生
データ２５を供給する。ディジタル信号プロセッサは、
生データ２５に対して本発明の適応モザイク減少アルゴ
リズム適用し、画素値を補間して各画素位置において
赤、緑、青の値を得る。生データ２５は、ディジタル信
号処理プロセッサ４０に一度に供給される。従って、処
理開始に必要な生データ２５の必要量が得られるまで、
生データ２５はバッファ３０に記憶される。 【００２２】処理開始に必要な生データ２５の数は、処
理の種類に依存する。例えば、生データ２５に対応する
画素値は、通常、センサ２０の１行から一度に読み出さ
れる。所与の画素の近傍補間を開始するために、少なく
とも１つの水平方向の画素近傍と、好ましくは１つの垂
直画素近傍がバッファ３０に格納される。加えて、大半
のディジタルカメラは、画像を選択して永久に記憶させ
る前に複数の画像を撮影して露出が適正かどうかを確認
するので、バッファ３０内には一度に１つまたは複数の
画像が格納される。 【００２３】モザイク減少の結果は、３つの補間された
色平面３５（すなわち、Ｒ、Ｇ、Ｂ）であり、それぞれ
が元の値と補間された値を含む。本明細書で説明する
赤、青、緑の色空間の代わりに、黄、シアン、マゼンタ
等の他の色空間を用いることもできることは理解されよ
う。補間された赤、緑、青の色平面３５は、表示または
処理されるまでメモリ５０内に記憶される。メモリ５０
に記憶する前に、ＪＰＥＧ規格等の圧縮法（図示せず）
を用いて色平面３５を圧縮できることに注意されたい。
出力装置６０（例えば、ビデオスクリーン、コンピュー
タスクリーンまたはプリンタ）上に圧縮画像を表示また
は処理するため、圧縮画像はまず復元され、復元された
画像が出力装置６０へ出力される。 【００２４】ディジタル信号プロセッサ４０は、図２に
示す適応モザイク減少アルゴリズムに従って、バッファ
３０に記憶された各画像を補間する。図２に示した適応
モザイク減少アルゴリズムは、ここでは主ベクトル法
（ＰＶＭ）と呼ぶことにする。ＰＶＭは、色エッジの検
出と近傍投票（neighborhood voting）に基づくもので
ある。画像内には、光の強度が急激に変わる多くのエッ
ジが存在する。鮮明な出力画像を生成するには、色補間
はエッジを横切るよりも、エッジに沿って行うべきであ
る。従って、ＰＶＭアルゴリズムは各画素位置で画素が
エッジ上にあるかどうかを検出し、エッジ上にある場合
には、そのエッジの方向を推定する。本明細書において
用語「エッジ」とは、オブジェクトの境界や強度が急激
に変化する他の境界上にある画素のことを指すことは理
解されよう。用語「エッジ」は、画像の４つの自然な境
界のうちの１つの境界上にある画素（すなわち、センサ
自身のエッジ上にある画素）を指すわけではない。 【００２５】一実施形態では、エッジ検出とエッジ方向
の推定は、例えば緑の単色平面を用いることによって試
行される。しかし、単一の色平面に依存すると、依存し
た色が存在しない画像領域や、依存した色が固定されて
いる色付きのエッジにおいて、エラーを生じることがあ
る。他の実施形態では、エッジ検出とエッジ方向の推定
は、２つまたは３つの色平面から出し合う（pool）こと
ができる。３つの色平面すべてからの結果を出し合う
と、一般により優れた結果が得られる。従って、図２の
ＰＶＭアルゴリズムは、３つの色平面からのエッジに関
連する情報（例えば、エッジの検出とエッジ方向の推
定）の出し合いを示している。 【００２６】生データ２５がディジタル信号プロセッサ
４０に着くと、生データ２５はそれぞれが欠損要素を有
する３つの生データ色平面２５ａ、２５ｂ、２５ｃに分
離される。ディジタル信号プロセッサ４０は、各位置で
欠損する輝度値を決定するために、輝度生データ色平面
２５ｂ（すなわち、緑）に適応補間ロジック４２を適用
する。例えば、適応補間ロジック４２は、投票メカニズ
ムに基づいて、水平方向の補間、垂直方向の補間、また
は水平方向の補間と垂直方向の補間の組み合わせを用い
て、赤画素と青画素のそれぞれで緑値を補間する。この
投票メカニズムについては図４及び５を参照してより詳
細に説明する。これによって得られる補間された緑色平
面３５ｂは、元の緑値（大文字のＧで表す）と、補間さ
れた緑値（小文字のｇで表す）の両方を含む。 【００２７】欠損緑値が決定すると、欠損する赤と青の
値が補間される。最初に、減算ロジック４４ａ及び４４
ｂが、赤または青のそれぞれの画素位置における欠損緑
値と、対応する元の赤または青の画素値との間の差を計
算する。例えば、青の生データ色平面２５ｃの左下隅の
青値Ｂを取り込み、減算ロジック４４ｂは、補間された
緑色平面３５ｂの左下隅の補間された緑値ｇを、青の生
データ色平面２５ｃの左下隅の青値Ｂから減算する。 【００２８】得られた差分色平面２８ａ及び２８ｂは、
差分補間ロジック４６ａ及び４６ｂにより、それぞれ中
央値補間、双一次補間、画素複製等の既知の方法によっ
て補間される。図２は双一次補間法を示している。赤と
青の差分色平面２８ａ及び２８ｂが双一次補間ロジック
４６ａ及び４６ｂに入力され、それぞれ赤及び青の差分
補間色平面（図示せず）を出力する。最終的な赤及び青
の補間色平面３５ａ及び３５ｃは、赤及び青の差分補間
色平面をそれぞれ加算ロジック４８ａ及び４８ｂへ入力
することによって得られる。この加算ロジックは、赤及
び青の差分補間色平面を、対応する画素位置について、
補間された緑色平面３５ｂの緑値ｇ及びＧに加算する。
ＤＳＰ４０からメモリ５０（図１）に出力されるのは、
これらの補間された赤、青、緑の色平面３５ａ、３５ｂ
及び３５ｃである。 【００２９】図３は、ＰＶＭモザイク減少アルゴリズム
を実行するステップを示す。最初に、ＤＳＰは生データ
を受け取り（ステップ３００）、生データを３つの生デ
ータ色平面に分離する（ステップ３１０）。ＤＳＰは、
適応補間技術（図４，５で後述）を輝度色平面（すなわ
ち、緑）に適用する（ステップ３２０）。補間された輝
度色平面を用いて、ＤＳＰは、補間された輝度値を対応
する画素クロミナンス色値から減算することによって、
差分クロミナンス色平面（赤と青）を求める（ステップ
３３０）。例えば、補間された緑平面をチルダーＧで表
わすと、欠損する赤値及び青値は、次式に示すように赤
画素位置または青画素位置における差を形成することに
よって補間することができる。 【００３０】 【数２】 【００３１】これによって２つの差分画像ＤＲＧとＤ
ＢＧが得られ、これらの値は赤画素位置と青画素位置に
おいてのみそれぞれ知られている。 【００３２】その後、ＤＳＰは差分クロミナンス値（di
fference chrominance value）を用いて差分クロミナン
ス色平面（difference chrominance color plane）を補
間する（ステップ３４０）。上述のように、差分クロミ
ナンス色平面は、中央値補間、双一次補間、画素複製等
の任意の既知の方法を用いて補間することができる。 【００３３】最も単純な形態のクロミナンス補間は、画
素複製である。例えば、画素複製では、各欠損値が左、
上、左斜め上の最近傍の画素から取り込まれる。人間の
視覚系では、クロミナンス色に対する鋭さは輝度色に対
するよりも低いので、画素複製は大半の状況で優れた結
果をもたらす。 【００３４】双一次補間は、複雑さが僅かに増すが画素
複製よりも改善される点がいくつかある。双一次補間法
では、以下の３×３フィルタを用いて差分赤値または差
分青値が畳み込まれる。 【００３５】 【数３】 【００３６】上述のフィルタでは、乗算と除算が２のべ
き乗によるものであり、従って桁送り（シフト）で実現
できることに注意されたい。 【００３７】非線形補間法である中央値補間は、特に欠
陥画素があるときに最高の結果を与えるが、複雑さは最
大である。中央値補間は２つのステップからなる。第１
は、４つの対角近傍を有する欠損値をこれら４つの値の
中央値を用いて補間するステップである。第２は、残る
欠損値を東西南北の近傍の中央値によって補間するステ
ップである。 【００３８】一例として、画素値の近傍において差分画
像ＤＲＧが以下の値を有すると仮定する。 【００３９】 【数４】 【００４０】第１のステップの後、４つの対角近傍を有
する欠損値は、それらの近傍の中央値によって補間され
る。第１のステップの結果は以下の通りである。 【００４１】 【数５】 【００４２】＊と記した位置も補間されているが、それ
らの値が示されていないのは、図示の５×５の領域の外
側にある近傍値に依存するからである。第２のステップ
は、以下のように、東西南北の４つの近傍の中央値を用
いて残りの欠損値を埋める。 【００４３】 【数６】 【００４４】チルダーＤRG及びチルダーＤBGで表される
補間された差分画像が得られると、最終的な補間された
赤値と青値は、次式のように元の緑値と補間された緑値
の加算（ステップ３５０）によって求めることができ
る。 【００４５】 【数７】 【００４６】これらの補間された輝度（緑）色平面とク
ロミナンス（赤と青）色平面は、メモリへ出力される
（ステップ３６０）。 【００４７】ここで、図４を参照して適応補間ロジック
４２をさらに詳細に説明する。適応補間ロジック４２が
生データ色平面２５ａ、２５ｂ、２５ｃを受け取ると、
それぞれの勾配ロジックｌ００ａ、ｌ００ｂ、ｌ００ｃ
が、各色平面２５ａ、２５ｂ、２５ｃの勾配ｌ０５ａ、
１０５ｂ、１０５ｃを求め、ヤコビアンロジック１１０
が色平面２５ａ、２５ｂ、２５ｃのヤコビアン１１５を
求める。続いて、色平面２５ａ、２５ｂ、２５ｃの勾配
ｌ０５ａ、１０５ｂ、１０５ｃとヤコビアン１１５を説
明する。 【００４８】カラー画像は、二次元（２Ｄ）領域から三
次元（３Ｄ）空間すなわち色空間への写像であるから、
カラー画像の各成分は、（ｘ,ｙ）領域上で定義される
関数、すなわちＲ(ｘ,ｙ)、Ｇ(ｘ,ｙ)、Ｂ(ｘ,ｙ)と見
なすことができる。Ｂ．Ｊａｈｎｅ及びＨ．Ｈａｕｓｓ
ｅｃｋｅｒの編集による「Computer vision and applic
ations: a guide for students and practitioners, Sa
n Diego: Academic Press, 2000, pp. 334-335」は、参
照により本明細書に援用されるが、これに記載されてい
るように、カラー画像における局所方向の計測法は、二
次元平面から三次元色平面への写像のヤコビアン（Ｊ）
を作成することから始まる。 【００４９】 【数８】 ここで、∇は勾配（すなわち、最も増加が急な方向）を
表わす。ヤコビアンは、水平（ｘ）及び垂直（ｙ）方向
のカラー画像の局所的な一次変化率をとらえる。 【００５０】例えば、以下の生データが適応補間ロジッ
ク４２へ供給されると仮定する。 【００５１】 【数９】 【００５２】画素位置Ｒ１の緑の勾配を決定するために
は、画素Ｒ１の水平方向の緑導関数と垂直方向の緑導関
数を計算しなければならない。水平方向の緑導関数は
（Ｇｘ １−Ｇｘ２）であり、垂直方向の緑導関数は（Ｇ
ｙ１−Ｇｙ２）である。画素位置Ｒ１における赤の勾配
と青の勾配も、同様の方法で算出される。例えば、水平
方向の青導関数は（（Ｂ１＋Ｂ３）／２−（Ｂ２＋
Ｂ４）／２）であり、垂直方向の青導関数は（（Ｂ１＋
Ｂ２）／２−（Ｂ３＋Ｂ４）／２）である。赤導関数
は、上述していないが水平方向及び垂直方向の赤値を用
いて算出される。 【００５３】ヤコビアンの特異値分解（ＳＶＤ）は、次
式のように書くことができる。 【００５４】 【数１０】 Ｊ＝ＵＳＶｔ＝ｓ１ｕ１ｖ１ ｔ＋ｓ２ｕ２ｖ２ ｔ （式７） ここで、ｓ１≧ｓ２≧０は特異値であり、ｕｋ、ｖｋは
それぞれ左、右のｋ番目の特異ベクトルである。（二乗
誤差の合計を最小化するという意味での）Ｊに対する最
高位の近似の１つが以下のようになることは、当分野に
おいて周知である。 【００５５】 【数１１】 【００５６】ベクトルｕ１はカラー画像の最大の変化方
向を与えるので、ベクトルｕ１はヤコビアンの主ベクト
ル、または簡単に主ベクトルという。 【００５７】ヤコビアンのＳＶＤは、カラー画像のエッ
ジ構造に関して有益な情報を与える。式６に示すよう
に、Ｊの３つの列はそれぞれＲ、Ｇ、Ｂの色平面の一つ
における勾配である。勾配が互いに平行であるときは、
エッジは３つの平面において整合している（consisten
t）と言うことができる。この場合、主ベクトルは勾配
と同じ方向を指し、小さい方の特異値ｓ２は０に等し
い。Ｒ、Ｇ、Ｂ勾配が平行でないときは、主ベクトルは
３つの勾配に対し最も「適合（fit）」する。主ベクト
ルが勾配に適合する度合は、特異値から決定することが
できる。例えば、適合の程度は次式のように求めること
ができる。 【００５８】 【数１２】 λ＝ｓ２／（ｓ１＋ｓ２） （式９） 【００５９】ｓ１≧ｓ２であり、０≦λ≦１／２である
ので、λ＝０のとき（勾配は全て平行であるから）主ベ
クトルは完全に適合し、一方、λ＝１／２のとき適合は
最低である。λ＝１／２が起こる状況の例は、３つの勾
配のうちの２つが直角の方向を指し、第３の勾配が０で
あるときである。 【００６０】上述のように、主ベクトルｕ１は、変化が
最大の方向を指し示す。しかし、ＰＶＭアルゴリズムを
用いた適応モザイク減少法は、実際には変化が最小の方
向の近傍から補間を行い、エッジがぼやける危険を最小
化する。従って、ｕ１に直交し変化が最小の方向を指す
ベクトルｕ２が補間方向として用いられる。例えば、Ｉ
１がｕ１に沿って補間を行った結果であり、Ｉ２がｕ２
に沿って補間を行った結果であると仮定する。すると、
Ｉで表わされる全補間はＩ１とＩ２の重み付き結合とな
り、重み付けは次式のように適合度λに基づく。 【００６１】 【数１３】 Ｊ＝λＩ１＋（１−λ）Ｉ２ （式１０） 【００６２】この重み付けによって、全補間が、Ｉ
２（λ＝０、従って主ベクトルが勾配に完全に適合する
とき）とＩ＝（Ｉ１＋Ｉ２）／２（λ＝１／２、適合が
最小のとき）との間で連続して変化することが保証され
る。 【００６３】矩形状にサンプリングされる生データ２５
ａ、２５ｂ、２５ｃからＩ１、Ｉ２を計算するため、Ｉ
ｈとＩｖがそれぞれ水平方向と垂直方向の補間を表わす
ものとする。ＩｈとＩｖは、（Ｉｈについては）行に沿
って画素値を単純に線形結合することによって、または
（Ｉｖについては）列に沿って画素値を単純に線形結合
することによって計算することができる。次に、ｕ１＝
[ｕ１(１),ｕ１(２)] ｔ、ｕ２＝[ｕ２(１),ｕ２(２)]ｔ
とし、ｕ１、ｕ２が単位長ベクトルであるとすると、次
式が成り立つ。 【００６４】 【数１４】 Ｉ１＝ｕ１(１)２Ｉｈ＋ｕ１(２)２Ｉｖ （式１１） Ｉ２＝ｕ２(１)２Ｉｈ＋ｕ２(２)２Ｉｖ （式１２） 式１０に式１１と式１２を組み合わせることで、Ｉは次
式のようになる。 【００６５】 【数１５】 Ｉ＝αＩｈ＋(１−α)Ｉｖ （式１３） （但し、α＝λｕ１(１)２＋(１−λ)ｕ２(１)２） 【００６６】これから分るように、式１３の値Ｉの計算
には、Ｉｈ、Ｉｖ、αの３つが必要である。最初の２つ
Ｉｈ、Ｉｖは直接的に計算されるが、これは画素値の単
純な線形結合にのみ含むからである。しかし、３つ目の
αはＪのＳＶＤから導出される項に基づいている。これ
は、各画素でＪのＳＶＤ計算を要求することになる可能
性があり、コストが非常に高い。 【００６７】しかし、一実施形態では、計算を簡単にす
るために、αの近似値を推定することができる。例え
ば、αの計算を簡単にするため、適応補間ロジック４２
は、αの値を３つのレベルすなわち０、１、１／２に量
子化できると仮定することができる。これは、式１３の
全補間Ｉが純粋に水平、純粋に垂直、または２つの平均
のいずれかであることを意味する。適応補間ロジック４
２は、主ベクトルｕ１の方向をただ２つの可能性すなわ
ち水平または垂直のうちの１つに量子化できると仮定す
ることもできる。例えば、水平軸からのｕ１の傾きが±
４５未満のときｕ １は水平となり、それ以外のときｕ１
は垂直となる。同様に、|ｕ１(１)|≧|ｕ １(２)|である
ときはｕ１は水平となり、そうでない場合は垂直とな
る。 【００６８】適応補間ロジック４２は、多数決ルールを
適用することによって主ベクトルが水平であるか垂直で
あるかの判定を行なうと仮定することもできる。多数決
ルールとは以下の通りである。すなわち、ヤコビアン１
１５の最下行の成分の大部分（垂直方向の導関数）が絶
対値でヤコビアン１１５の最上行の対応する成分（水平
方向の導関数）を越える場合、主ベクトルは垂直とな
る。それ以外の場合、主ベクトルは水平となる。例え
ば、ヤコビアン１１５が次式で表されるとすると、最上
行の成分のうちの２つが絶対値で最下行の対応する成分
を越えていることになる。 【００６９】 【数１６】 従って、このヤコビアン１１５の主ベクトルは水平と仮
定される。 【００７０】多数決ルールによって主ベクトルの方向を
得ることはできるが、多数決ルール単独では｛０,１／
２,１｝の中からαを決定できない。上述したように、
主ベクトル自体が補間方向として用いられることはな
い。むしろ、補間方向は、主ベクトルの方向に対して直
角である。従って、重み付け係数αの選択時に、適応補
間ロジック４２は垂直方向の導関数を上回る水平方向の
導関数の実際の数を考慮する（またはその逆を考慮す
る）。 【００７１】例えば、全ての水平方向の導関数がそれら
の対応する垂直方向の導関数を上回る場合、αは０に設
定され、（主ベクトルに直交する方向である）垂直方向
の補間を強制する。画像内の垂直エッジ上にある画素に
ついては、垂直方向の補間が好ましい。水平方向に隣接
する（adjacent）画素では急な輝度の変化が存在するた
め、垂直エッジ上にある画素に対して水平方向の補間を
行うと適切な補間値が得られない。上述の重み付け係数
αの選択法は、画素が垂直エッジ上にあることを検出す
るが、これは垂直エッジ画素の一次導関数が垂直方向よ
りも水平方向で大きいからである。重み付け係数αが垂
直エッジ上にある画素に対応する場合、垂直方向の補間
が適用される。 【００７２】しかし、水平方向の導関数のいずれも対応
する垂直方向の導関数を上回らない場合、αは水平方向
の補間を強制するよう１に設定される。垂直エッジ上の
画素と関連して上述したのと同じ理由から、画像内の水
平エッジ上にある画素については水平方向の補間が好ま
しい。しかし、水平方向の導関数のうちの１つまたは２
つのみが対応する垂直方向の導関数を上回る場合は、α
は水平方向及び垂直方向の補間の両方を含むように１／
２に設定される。これは勾配が平行でない箇所では主ベ
クトルの適合が最低であるからである。画素がエッジ上
にないときは、適合は通常最低であり、従って、水平方
向の補間と垂直方向の補間の両方を行うことが好まし
い。 【００７３】図４に示すように、上述のαの選択メカニ
ズムは、適応補間ロジック４２内の列投票ロジック１２
０に実装される。列投票ロジック１２０は、ある特定の
画素についてヤコビアン１１５の各列を取り込み、各列
に１つの票を割り当てる。最下値が最上値を上回る場
合、列は水平方向に投票し、最上値が最下値を上回る場
合は、列は垂直方向に投票する。こうして、３つの列投
票１２５が各画素で集められる。 【００７４】この投票方式は、各画素での投票だけでな
く近傍画素の投票も含めるようさらに拡張することがで
きる。このように、重み付け係数αを決定する前に、適
応補間ロジック４２は、列投票１２５に加えて近傍投票
のデータ１４０を考慮することができる。例えば、２つ
の近傍の画素において、各近傍画素のヤコビアン１１５
の２つ以上の列が水平方向へ投票した場合、近傍投票デ
ータ１４０は２つの水平方向の投票を含むことになる。
この拡張された投票方式は、近傍画素での個々のヤコビ
アン１１５の列投票を用いず、多数決ルールの結果を考
慮するだけであるが、他の実施形態においては、拡張さ
れた投票方式は近傍画素における各列の投票を含むこと
ができる点に注意されたい。 【００７５】近傍投票データ１４０は、画像のラスター
スキャン内の現在の画素に先行する画素の任意のサブセ
ットからのデータと定義することができる。例えば、近
傍投票データ１４０は、現在の画素の左及び上に隣接す
る画素からのデータを含むことができる。この近傍は、
距離１の近傍と呼ばれる。しかし、異なる距離の他の近
傍画素も選ぶことができることを理解されたい。 【００７６】列投票ロジック１１０が特定の画素の各列
についての投票を求めると、列投票ロジック１１０は最
多投票１３５を決定（すなわち、垂直方向または水平方
向）して、メモリ１３０（図１に示したのと同じメモリ
５０でよい）に最多投票１３５を記憶する。例えば、最
多投票１３５が水平方向（すなわち、２以上の列が水平
方向に投票）の場合、列投票ロジック１１０はその画素
についてメモリ１３０に「１」を記憶する。最多投票１
３５が垂直方向である場合、列投票ロジック１１０はそ
の画素についてメモリ１３０に「０」を記憶する。従っ
て、適応補間ロジック４２が生データ２５ａ、２５ｂ、
２５ｃを補間するときに、近傍距離Ｎに対応する多くの
先行するライン上の多数決ルールの結果がメモリ１３０
に記憶される。有利であることに、必要なメモリは記憶
する各ラインについて１画素につき１ビットだけであ
る。 【００７７】列投票ロジック１１０と、１以上の多数決
投票１３５を含む近傍投票データ１４０からの列投票１
２５が全て集められると、加算ロジック１５０は、列投
票ロジック１１０によって供給された現在の画素につい
ての列投票１２５を、近傍投票データ１４０によって供
給された近傍投票に加算する。投票の加算結果１５５
は、重み付け決定ロジック１６０へ送られて重み付け係
数αを割り当てる。一例として、投票は３つの範囲に分
割される。第１に、水平方向への投票の数が第１の閾値
Ｔ１未満の場合は、α＝０となる。第２に、水平方向へ
の投票の数が第１の閾値Ｔ１と第２の閾値Ｔ２の間であ
る場合は、α＝０．５となる。第３に、水平方向への投
票の数が第２の閾値Ｔ２よりも大きい場合は、α＝１と
なる。 【００７８】Ｔ１とＴ２の選択は、近傍Ｎの大きさに依
存する。例えば、Ｎが１の距離である場合、一実施形態
ではＴ１＝１、Ｔ２＝４となる。従って、１の距離を有
する近傍については、最大投票数は５となる（すなわ
ち、現在の画素に３票、隣接する画素にそれぞれ１
票）。Ｔ１とＴ２をこのように選択することで、水平方
向補間への投票が１以下の場合、α＝０によって垂直方
向補間が選択される。水平方向補間への投票が４または
５の場合、α＝１によって水平方向補間が選択される。
２または３の投票が得られる中間の場合は、α＝０．５
によって水平方向補間と垂直方向補間の平均が適用され
る。異なる近傍Ｎが選択されれば他の閾値が使用できる
ことを理解されたい。重み付け係数αが決定すると、補
間ロジック１７０はαを用いて欠損する緑値を補間し、
補間された緑色平面３５ｂを出力する。 【００７９】図５を参照すると、輝度色平面を補間する
ステップ（すなわち、クロミナンス画素位置での欠損緑
値の決定）が示されている。第１のステップとして、各
生データクロミナンス色平面（すなわち、赤と青）の勾
配が、水平方向と垂直方向の一次導関数をとることによ
って推定される（ステップ５００）。一次導関数の代わ
りに、二次導関数等の変化の度合を測る他の尺度も使用
できることを理解されたい。 【００８０】各画素位置での勾配が推定されると、式６
に示すように、各画素位置のヤコビアンが既知となる
（ステップ５１０）。ヤコビアンの各列（すなわち、各
勾配）は水平方向か垂直方向のいずれかに投票する（ス
テップ５２０）。各勾配（列）からそれぞれ票が得ら
れ、最多投票（すなわち、どちらが最も多く票を得たか
による垂直または水平の結果）がメモリに記憶される
（ステップ５３０）。 【００８１】一般に、ＤＳＰは行ごとに生データを処理
する。従って、現在処理中の画素位置の右及び下に隣接
する画素についての生データが既知であっても、これら
の隣接画素に対する最多投票は未知である。従って、一
般に近傍投票を考慮すると（ステップ５４０）、投票を
完了してメモリ内に最多投票を記憶させた隣接画素だけ
が、現在処理中の画素位置の左及び上に隣接する画素と
なる。例えば、以下に示すベイヤーパターンの画素位置
Ｒ１を考えると、近傍投票データはＧｘ１とＧ ｙ１から
の最多投票を含むことになる。近傍投票の数を増やし
て、現在処理された画素から２画素またはそれ以上離れ
た近傍を考慮することもできることを理解されたい。 【００８２】 【数１７】 【００８３】距離１の近傍については、現在処理中の画
素位置の左と上の隣接画素それぞれからの最多投票が、
現在処理中の画素位置の列投票に加算され、結果として
計５票が得られる（ステップ５５０）。重み付け係数α
は、上述のように水平方向への投票の総数対垂直方向へ
の投票の総数に基づいて決定される（ステップ５６
０）。例えば、上述の画素位置Ｒ１を考えると、赤勾配
（列）が水平方向に投票し、青勾配（列）が垂直方向に
投票し、緑勾配（列）が水平方向に投票した場合、画素
位置Ｇｘ１の最多投票は水平方向となる。加えて、画素
位置Ｇｘ１からの最多投票が水平方向であり、画素位置
Ｇｙ１についての最多投票が垂直方向であった場合、水
平方向への投票の総数は３であり、垂直方向への投票の
総数は２となる。 【００８４】上述のように、水平方向への投票の総数ま
たは垂直方向への投票の総数のいずれかに基づいた１つ
または複数の閾値は、重み付け係数αを決定するために
設定することができる。図４に関連して上述した例で
は、２つの閾値Ｔ１、Ｔ２が水平方向への投票の総数に
基づいて設定された。図４の例では、Ｔ１＝１、Ｔ２＝
４である。従って、上述の画素位置Ｒ１からの全投票数
を用いると、３票の水平方向の票があったため、重み付
け係数αは０．５となる。従って、画素位置Ｒ１におけ
る欠損緑値の補間は、水平方向と垂直方向の画素値の両
方に基づくことになる。 【００８５】補間結果は、通常、線形予測を適用して改
善される。滑らかな関数ｆ(ｘ)については、線形予測は
次式のようになる。 【００８６】 【数１８】 【００８７】例えば、上述のベイヤーパターン内のＲ１
を含むラインを延長すると、水平方向の近傍には以下の
画素が存在する。 Ｒ２Ｇｘ１Ｒ１Ｇｘ２Ｒ３ Ｇｘ１からＲ１における緑値の線形予測は、差分近似
ｆ’(ｘ０)＝(Ｒ１−Ｒ２)／２を用い、ｘ−ｘ０＝１と
置くと、次式のようになる。 【００８８】 【数１９】 Ｇｘ１＋{(Ｒ１−Ｒ２)／２} （式１５） この色の混合は、色平面間の強固な局所相関の仮定に基
づくものであり、従って同じ方向の差分は同等となるは
ずである。 【００８９】同様にＧｘ２からＲ１における線形予測
は、ｘ−ｘ０＝−１とすると、次式のようになる。 【００９０】 【数２０】 Ｇｘ２−{(Ｒ３−Ｒ１)／２} （式１６） 従って、式１３においてＩｈで表わされる、Ｒ１におけ
る水平方向に補間された緑値は、式１５と式１６の結果
の平均となる。 【００９１】 【数２１】 Ｉｈ＝{(Ｇｘ１＋Ｇｘ２)／２}＋{(−Ｒ２＋２Ｒ１−Ｒ３)／４} （式１７） 【００９２】低光（low-light）レベルの画像処理状況
では、ノイズによって線形予測の有効性が阻害される。
画像が低光の画像であるか否かは、画素値を見ることに
よって一般に判断される。画素値は、通常０〜２５５の
範囲にある。例えば、大半の画素値が低光の閾値（オペ
レータによる判定またはディジタル撮像システム内にプ
ログラムされた値）に満たない場合、画像は低光の画像
であるとみなされる。従って、０≦γ≦１である係数γ
（入力画素に対して適用されるゲインに従って設定され
る）によって線形補間の大きさを変えることは有利であ
る。具体的には、式１７は次式のように書き換えること
ができる。 【００９３】 【数２２】 Ｉｈ＝{(Ｇｘ１＋Ｇｘ２)／２}＋γ{(−Ｒ２＋２Ｒ１−Ｒ３)／４} （式１８） 【００９４】低光レベルに対しては、ゲインは高く、そ
の結果ノイズも多く、γは０または小さな正の値に等し
くなる。通常の照明では、γは１に等しい。 【００９５】式１８に示したのと同様の補間が、青と緑
をもつラインの水平方向補間に使用され、また垂直方向
補間にも使用される。画素位置Ｒ１における補間された
輝度値を計算するには、上述のように水平方向補間と垂
直方向補間の平均が使用される。 【００９６】欠損輝度値が補間される（ステップ５７
０）と、補間された輝度色平面は、図２に関連して上述
したように、任意の既知のモザイク減少技法を用いて、
クロミナンス色平面の補間に使用される図２の適応補間
ロジックによって出力される（ステップ５８０）。適応
モザイク減少ＰＶＭアルゴリズムを用いることで、画像
は孤立した補間誤差が減少する。従って、近傍を用いる
ことによって、従来のモザイク減少法よりも滑らかな画
像が再生される。 【００９７】ＰＶＭの性能は、追加の処理ステップによ
りさらに改良することができる。ＰＶＭモザイク減少ア
ルゴリズムの拡張方法の一種を図６Ａに示す。図６Ａ
は、Ｇ１：Ｇ２の不一致を補償するための例示的なステ
ップである。図２に示した生データ２５内の緑画素は、
２つのカテゴリに分類される。すなわち、（１）水平方
向の近傍として赤画素を、垂直方向の近傍として青画素
を持つ、「Ｇ１」画素と、（２）水平方向の近傍として
青画素を、垂直方向の近傍として赤画素を持つ、「Ｇ
２」画素である。Ｇ１画素は、センサの構造とＣＦＡの
不良を含む要因によって、同じ照明に対してＧ２画素と
かなり異なる値を呈することが多い。緑が一様である画
像領域では緑値の変化が最も目立ち、詳細に検査すると
市松模様状に見える。 【００９８】Ｇ１画素とＧ２画素の間の不一致は、ＰＶ
Ｍモザイク減少アルゴリズムの前に適用される２つの事
前処理ステップを用いて補正することができる。図６Ａ
に示され「平均バランス化（mean balancing）ステッ
プ」と呼ばれる第１のステップは、全体的な補正を行
う。この平均バランス化ステップは、画像全体のＧ１画
素の平均値を計測し（ステップ６００）、別に画像全体
のＧ２画素の平均値を計測する（ステップ６１０）こと
によって進められる。２つの平均値が等しい場合（ステ
ップ６２０）、不一致は存在せず、処理は終了する（ス
テップ６３０）。しかし、２つの平均値が等しくない場
合（ステップ６２０）には、２つの平均値の間の差の百
分率が求められる（ステップ６４０）。その後、２つの
平均（Ｇ１平均またはＧ２平均）のうちの小さな方の緑
画素値が、差の百分率を用いて拡大される（ステップ６
５０）。 【００９９】この平均バランス化ステップは、ＰＶＭア
ルゴリズムを用いたモザイク減少前に適用することがで
きる。上述のように、ディジタルカメラでは画像を選択
して永久に記憶させる前に複数の画像を撮影して露出が
適正かどうかを確認することが多い。従って、この平均
バランス化ステップは、画像を記憶させる前に、撮影し
た画像のうちの１つに対して実行される。 【０１００】第２のステップが図６Ｂに示されており、
これを「適応平滑化」と呼ぶ。この第２のステップも、
緑の色平面の補間前に実行することができ、平均バラン
ス化ステップの後に実行するのが好ましい。適応平滑化
ステップは、エッジ上にない画素における生の緑値に平
滑フィルタを適用し、平滑化された緑値を補間に用い
る。画素がエッジ上にあるか否かは、式６に示したヤコ
ビ行列からエントリの絶対値の合計を計算することによ
って決定することができる。ヤコビアンのエントリの絶
対値の合計が所定の閾値（実験においては、閾値として
６４を用いた）未満である場合（ステップ６７０）、画
素はエッジ上には無く、従って生の緑値に対し平滑化が
適用される。合計が所定の閾値未満でない場合（ステッ
プ６７０）、画素はエッジ上にあり、処理はこの画素に
関して終了する（ステップ６８０）。適応平滑化ステッ
プにとって、緑の画素値のヤコビアンの緑の列は、同等
の緑画素、すなわちＧ１値とＧ１値またはＧ２値とＧ２
値の差を取ることによって計算され、Ｇ１値とＧ２値の
差を取ることによって計算されるのではないことに注意
されたい。 【０１０１】緑画素がエッジ上に無いと決定されると
（ステップ６７０）、平滑化は以下のような３×３のフ
ィルタを用いて緑値を畳み込むことによって実現される
（ステップ６９０）。 【０１０２】 【数２３】 式１９のフィルタは、以下に示すのと同様のベイヤーパ
ターンを仮定する。 【０１０３】 【数２４】 ここで、Ｇ２値は、４つのＧ１値により囲まれている。
Ｇ２値を平滑化するために、Ｇ２値は４倍されて周囲に
あるＧ１値にそれぞれ加算される。加算後の合計は８で
除算され、得られた値がＧ２値として用いられる。 【０１０４】ＰＶＭモザイク減少技法に対するさらなる
拡張を図７に示す。図７は、画像鮮明化（シャープ化）
ステップを示す。画像は画素位置でのみサンプリングさ
れるので、本質的に画像のアンダーサンプリングが存在
し、画像内の一部の高周波成分が除かれてしまうことが
ある。従って、画像を鮮明化するため、二次導関数を元
の画像へ付け加える。例えば、以下のベイヤーパターン
を考える。 【０１０５】 【数２５】 【０１０６】Ｇ３３の水平方向の二次導関数は、（２Ｇ
３３−Ｇ３１−Ｇ３５）によって推定することができ
る。同様に、Ｇ３３の垂直方向の二次導関数は、（２Ｇ
３３−Ｇ５３−Ｇ１３）によって推定することができ
る。 【０１０７】鮮明化の量はユーザーの好みに応じて調整
可能であるのが好ましい。例えば、ラプラシアンを∇２
で表わし、κを０≦κ≦１の間で調整可能なパラメータ
とすると、次式により元の画像Ｉ(ｘ,ｙ)から鮮明化画
像Ｉ(ｘ,ｙ)ハットが求められる。 【０１０８】 【数２６】 ここで、Ｉはモザイク減少後に得られる十分に密にされ
た（fully-populated）赤、緑、青の色平面のいずれか
である。 【０１０９】第１のステップとして、ユーザは調整可能
なパラメータκを設定する（ステップ７００）。調整可
能なパラメータκは、鮮明化を望まないときは０に、最
大量の鮮明化を望むときは１に設定される。しかし、κ
に０と１の間の任意の値を使用できることを理解された
い。調整可能なパラメータκが０に設定されると（ステ
ップ７１０）、鮮明化は実行されない（ステップ７２
０）。調整可能なパラメータκが０に設定されない場合
（ステップ７１０）、ラプラシアンが求められ（ステッ
プ７３０）、調整可能なパラメータκを乗じられ（ステ
ップ７４０）、元の画素値に加算される（ステップ７５
０）。 【０１１０】一実施形態では、鮮明化は、差分画像補間
の前に、補間された緑画像に適用することができる。例
えば、チルダーＧ(ｘ,ｙ)が補間された緑平面であると
すると、鮮明化された緑平面Ｇ(ｘ,ｙ)ハットは以下の
ようになる。 【０１１１】 【数２７】 【０１１２】式１及び式２内のチルダーＧ(ｘ,ｙ)をＧ
(ｘ,ｙ)ハットで置き換えることにより、最小の処理で
鮮明化が実現される。 【０１１３】ＰＶＭモザイク減少アルゴリズムについて
の別の拡張を図８に示す。図８は、画像のノイズを低減
するステップである。Ｇ１：Ｇ２補償について提案され
た適応平滑化は、ノイズを低減するために、赤画素と青
画素に簡単に拡張することができる。ノイズ低減用の適
応平滑化は、エッジ上にない画素での生の赤値と青値へ
平滑化フィルタを適用し、平滑化された赤値と青値を補
間に用いる。図６に関連して上述したように、画素がエ
ッジ上にあるか否かは、式６に示したヤコビ行列式から
エントリの絶対値の合計を計算することによって決定す
ることができる（ステップ８００）。ヤコビアンのエン
トリの絶対値の合計が所定の閾値未満の場合（ステップ
８１０）、画素はエッジ上にはなく、従って生の赤値ま
たは青値に平滑化が適用される。合計が所定の閾値（ス
テップ８１０）未満でない場合、画素はエッジ上にあ
り、処理が終了する（ステップ８２０）。５×５のノイ
ズ低減用平滑化フィルタは、以下のようになる（ステッ
プ８３０）。 【０１１４】 【数２８】 赤画素値と青画素値用の上記フィルタを用いた適応平滑
化は、エッジをぼかすことなくノイズを低減するという
長所を有する。 【０１１５】本発明には例として以下の実施形態が含ま
れる。 【０１１６】（１）画素がディジタル画像のエッジ上に
あるか否かを判定する方法であって、前記画素につい
て、第１の色の第１のエッジ方向と第２の色の第２エッ
ジ方向を決定するステップと、前記第１のエッジ方向と
前記第２のエッジ方向に関連する個別の補間の投票を提
供し、選択された補間方向を決定するステップであっ
て、前記個別の補間の投票が第１の補間方向または第２
の補間方向のいずれかであり、前記選択された補間方向
が前記第１の補間方向と前記第２の補間方向への前記投
票の数に基づいている、ステップと、を含む方法。 【０１１７】（２）前記第１のエッジ方向及び第２のエ
ッジ方向はそれぞれ第１の勾配及び第２の勾配であり、
該第１の勾配及び第２の勾配は前記画素のヤコビアンを
形成する、上記(１)に記載の方法。 【０１１８】（３）前記第１の補間方向は水平方向補間
であり、前記第２の補間方向は垂直方向補間であり、前
記提供するステップは、前記第１の勾配に関連する補間
の投票の第１の票を設定するステップであって、前記第
１の勾配の行成分の絶対値が該第１の勾配の列成分の絶
対値よりも小さいとき、前記第１の補間投票は前記水平
方向補間に設定され、前記第１の勾配の列成分の絶対値
が該第１の勾配の行成分の絶対値よりも小さいとき、前
記第１の補間投票は前記垂直方向補間に設定される、ス
テップと、前記第２の勾配に関連する補間の投票の第２
の票を設定するステップであって、前記第２の勾配の行
成分の絶対値が該第２の勾配の列成分の絶対値よりも小
さいとき、前記第２の補間投票は前記水平方向補間に設
定され、前記第２の勾配の列成分の絶対値が該第２の勾
配の行成分の絶対値よりも小さいとき、前記第２の補間
投票は前記垂直方向補間に設定される、ステップと、前
記設定ステップに基づいて、選択された前記補間方向に
ついて、前記水平方向補間、前記垂直方向補間、または
水平方向補間と垂直方向補間の組み合わせのいずれかを
選択するステップと、をさらに含む、上記(２)に記載の
方法。 【０１１９】（４）前記選択ステップは、隣接投票デー
タを提供するステップであって、該隣接投票データは少
なくとも一つの隣接画素からの多数決投票を含み、該多
数決投票は、前記隣接画素からの最多の補間投票が水平
方向補間であるときは水平方向補間であり、前記隣接画
素からの最多の補間投票が垂直方向補間であるときは垂
直方向補間である、ステップと、前記近傍投票データを
前記補間投票に加算して前記選択された補間方向を決定
するステップと、をさらに含む、上記(３)に記載の方
法。 【０１２０】（５）前記選択ステップは、前記水平方向
補間と前記垂直方向補間のいずれかについて、前記補間
投票の数に関連する第１の閾値及び第２の閾値を少なく
とも設定するステップと、前記水平方向補間と垂直方向
補間のいずれかについて、前記補間投票の数が前記第１
の閾値と第２の閾値の間にあるときに、前記水平方向補
間と垂直方向補間の組み合わせを前記選択された補間方
向として選択するステップと、をさらに含む、上記(４)
に記載の方法。 【０１２１】（６）画素位置における値として表わされ
るディジタル画像をモザイク減少する方法であって、一
組の第１の色値と一組の第２の色値を受け取るステップ
と、前記画素位置の所与の位置に関連する前記第１の色
値のうちの所与の色値について、前記一組の第１の色値
を使用して第１の変化の度合を決定するとともに、前記
一組の第２の色値を使用して第２の変化の度合を決定す
るステップであって、前記第１の変化の度合及び第２の
変化の度合はそれぞれ行成分と列成分を有する、ステッ
プと、前記第１の変化の度合及び第２の変化の度合の両
方について、前記行成分を前記列成分と比較して、選択
された補間方向を決定するステップと、を含む方法。 【０１２２】（７）前記選択された補間方向を使用し
て、前記所与の画素位置に関連する欠損する第２の色値
を補間するステップをさらに含む、上記(６)に記載の方
法。 【０１２３】（８）前記補間ステップは、前記第１の色
値と前記第２の色値を用いる線形予測関数を適用するこ
とによって、前記欠損する第２の色値を補間するステッ
プをさらに含む、上記(７)に記載の方法。 【０１２４】（９）前記補間ステップは、低光（low-li
ght）の閾値未満の前記第１の色値及び第２の色値の数
を決定するステップと、前記数が他の閾値を越えたと
き、前記線形予測関数を無効とする（turn off）ステッ
プと、をさらに含む、上記(８)に記載の方法。 【０１２５】（１０）前記所与の第１の色値から前記補
間した欠損する第２の色値を減算することによって差分
値を決定するステップと、少なくとも前記差分値を用い
て、欠損する第１の色値を補間するステップであって、
該欠損する第１の色値は前記第１の色値を生成しなかっ
た前記画素位置のうちの一つに関連する、ステップと、
をさらに含む、上記(７)に記載の方法。 【０１２６】（１１）前記第１の変化の度合及び第２の
変化の度合はそれぞれ前記第１の勾配及び第２の勾配で
あり、該第１の勾配及び第２の勾配は前記所与の第１の
色値のヤコビアンを形成しており、前記比較ステップ
は、前記第１の勾配及び第２の勾配のそれぞれによって
個々の補間投票を供給するステップであって、該補間投
票は第１の補間方向または第２の補間方向のいずれかで
あり、前記選択された補間方向は前記第１の補間方向と
前記第２の補間方向についての前記補間投票の数に基づ
く、ステップをさらに含む、上記(６)に記載の方法。 【０１２７】（１２）前記第１の補間方向は水平方向補
間であり、前記第２の補間方向は垂直方向補間であり、
前記供給ステップは、前記第１の勾配及び第２の勾配の
それぞれの前記行成分の絶対値が該勾配の前記列成分の
絶対値よりも小さいとき、前記第１の勾配及び第２の勾
配のそれぞれによって前記補間投票を前記水平方向補間
として設定するステップと、前記第１の勾配及び第２の
勾配のそれぞれの前記列成分の絶対値が該勾配の前記列
成分の絶対値よりも小さいとき、前記第１の勾配及び第
２の勾配のそれぞれによって前記補間投票を前記垂直方
向補間として設定するステップと、前記設定ステップに
基づいて、前記選択された補間方向について、前記水平
方向補間、前記垂直方向補間、または水平方向補間と垂
直方向補間の組み合わせのいずれかを選択するステップ
と、をさらに含む、上記(１１)に記載の方法。 【０１２８】（１３）前記選択ステップは、近傍投票デ
ータを提供するステップであって、該近傍投票データは
前記画素位置に隣接する少なくとも１つの画素からの前
記所与の画素位置に対する多数決投票を含み、該多数決
投票は、前記画素位置の前記隣接画素からの最多の前記
補間投票が水平方向補間であるときは水平方向補間であ
り、前記画素位置の前記隣接画素からの最多の前記補間
投票が垂直方向補間であるときは垂直方向補間である、
ステップと、前記近傍投票データを前記補間投票に加算
して、前記選択された補間方向を決定するステップと、
をさらに含む、上記(１２)に記載の方法。 【０１２９】（１４）前記選択ステップは、前記水平方
向補間または前記垂直方向補間のいずれかついて、前記
補間投票の数に関連する少なくとも第１の閾値と第２の
閾値を設定するステップと、前記水平方向補間か垂直方
向補間のいずれかについて、前記補間投票の数が前記第
１の閾値と第２の閾値の間にあるときに、前記水平方向
補間と垂直方向補間の組み合わせを前記選択された補間
方向として選択するステップと、をさらに含む、上記
(１３)に記載の方法。 【０１３０】（１５）前記第１の色値はクロミナンス色
値であり、前記第２の色値は輝度色値である、上記(６)
に記載の方法。 【０１３１】（１６）前記輝度色値の第１グループの第
１の平均輝度値と前記輝度色値の第２グループの第２の
平均輝度値を決定するステップと、前記第１の平均輝度
値と前記第２の平均輝度値との間の差の百分率を求める
ステップと、前記第１の平均輝度値が前記第２の平均輝
度値未満であるときに、前記差の百分率により前記輝度
色値の第１グループを増大させるステップと、をさらに
含む、上記(１５)のに記載の方法。 【０１３２】（１７）前記一組の輝度色値から前記輝度
色値のうちの所与の一つのヤコビアンを求めるステップ
と、前記ヤコビアン内の値の絶対値の第１の合計を求め
るステップと、前記第１の合計が所定の閾値に満たない
場合に、前記所与の輝度色値に４を乗ずるステップと、
４個の対角に隣接する画素位置の前記輝度色値を加算し
て第２の合計を得るステップと、前記第２の合計を８で
除算するステップと、をさらに含む、上記(１５)に記載
の方法。 【０１３３】（１８）前記所与の第１の色値のヤコビア
ンを求めるステップと、前記ヤコビアン内の値の絶対値
の第１の合計を求めるステップと、前記第１の合計が所
定の閾値未満である場合に、前記所与の第１の色値に８
を乗ずるステップと、８個の最も近い画素位置の前記第
１の色値を加算し、第２の合計を得るステップと、前記
第２の合計を１６で除算するステップと、をさらに含
む、上記(６)に記載の方法。 【０１３４】（１９）画素位置における値として表わさ
れるディジタル画像をモザイク減少するディジタル画像
処理システムであって、一組の第１の色値と一組の第２
の色値を受け取るようにされたプロセッサであって、前
記画素位置の所与の位置に関連する前記第１の色値のう
ちの所与の色値について、前記一組の第１の色値を使用
して第１の変化の度合を決定するとともに、前記一組の
第２の色値を使用して第２の変化の度合を決定し、前記
第１の変化の度合及び第２の変化の度合はそれぞれ行成
分と列成分を有しており、前記第１の変化の度合及び第
２の変化の度合の両方について前記行成分を前記列成分
と比較して選択された補間方向を決定するプロセッサを
備えるシステム。 【０１３５】（２０）前記プロセッサは、前記選択され
た補間方向を使用して、前記所与の画素位置に関連する
前記画素位置の欠損する第２の色値を補間するようにさ
らに適応されている、上記(２０)に記載のシステム。 【０１３６】（２１）前記プロセッサは、前記第１の色
値と前記第２の色値を用いる線形予測関数を適用するこ
とによって、前記欠損する第２の色値を補間するように
さらに適応されている、上記(２０)に記載のシステム。 【０１３７】（２２）前記プロセッサは、低輝度の閾値
未満の前記第１の色値及び第２の色値の数を決定し、前
記数が他の閾値を越えたときに前記線形予測関数を無効
とするようにさらに適応されている、上記(２１)に記載
のシステム。 【０１３８】（２３）前記プロセッサは一組の第３の色
値を受け取るように適応されており、前記一組の第１、
第２及び第３の色値はそれぞれ異なる色に関連してお
り、前記プロセッサは前記第３の色値に関連する第３の
変化の度合を決定することができる、上記(２０)に記載
のシステム。 【０１３９】（２４）前記プロセッサは、前記所与の第
１の色値から前記補間された欠損する第２の色値を減算
することによって差分値を決定し、少なくとも該差分値
を用いて、前記第２の色値及び第３の色値に関連する前
記画素位置について欠損する第１の色値を補間するよう
にさらに適応されている、上記(２３)に記載のシステ
ム。 【０１４０】（２５）前記第１、第２及び第３の変化の
度合はそれぞれ第１、第２及び第３の勾配であり、該第
１、第２及び第３の勾配は前記所与の第１の色値のヤコ
ビアンを形成しており、該第１、第２及び第３の勾配の
それぞれが個々の補間投票を供給し、前記補間投票は第
１の補間方向または第２の補間方向のいずれかであり、
前記選択された補間方向は前記第１の補間方向と前記第
２の補間方向についての前記補間投票数に基づく、上記
(２３)に記載のシステム。 【０１４１】（２６）前記第１の補間方向は、前記画素
位置と同一の行内の前記画素位置からの少なくとも１つ
以上の前記第２の色値を、前記所与の画素位置として用
いた水平方向補間であり、前記第２の補間方向は、前記
画素位置と同一の列内の前記画素位置からの少なくとも
１つ以上の前記第２の色値を、前記所与の画素位置とし
て用いた垂直方向補間であり、前記第１、第２及び第３
の勾配のそれぞれの前記補間投票は、前記それぞれの勾
配の前記行成分の絶対値が該勾配の前記列成分の絶対値
よりも小さいとき、前記水平方向補間であり、前記それ
ぞれの勾配の前記列成分の絶対値が該勾配の前記行成分
の絶対値よりも小さいとき、前記垂直方向補間であり、
前記選択された補間方向は、前記水平方向補間、前記垂
直方向補間、または垂直方向補間と水平方向補間の組み
合わせからなるグループから選択される、上記(２５)に
記載のシステム。 【０１４２】（２７）近傍投票データを記憶することの
できるメモリをさらに備え、該近傍投票データは前記所
与の画素位置に対し前記画素位置に隣接する少なくとも
一つの画素からの多数決投票を含み、該多数決投票は前
記画素位置の前記隣接画素からの最多の前記補間投票が
水平方向補間であるときは水平方向補間であり、前記隣
接画素からの最多の前記補間投票が垂直方向補間である
ときは垂直方向補間であり、前記近傍投票データを前記
補間投票に加算して、前記選択された補間方向を決定す
る、上記(２６)に記載のシステム。 【０１４３】（２８）前記水平方向補間または前記垂直
方向補間のいずれかについて前記補間投票数に関連する
少なくとも第１の閾値及び第２の閾値をさらに備え、前
記選択された補間方向は、前記水平方向補間または前記
垂直方向補間のいずれかについて前記補間投票数が前記
第１の閾値と第２の閾値の間にあるときに、前記水平方
向補間と垂直方向補間の組み合わせとなる、上記(２７)
に記載のシステム。 【０１４４】（２９）前記第１の色値はクロミナンス色
値であり、前記第２の色値は輝度色値である、上記(１
９)に記載の前記システム。 【０１４５】（３０）前記プロセッサは、前記輝度色値
の第１グループの第１の平均輝度値と前記輝度色値の第
２グループの第２の平均輝度値を決定し、前記第１の平
均輝度値と前記第２の平均輝度値との間の差の百分率を
求め、前記第１の平均輝度値が前記第２の平均輝度値未
満であるときに、前記差の百分率により前記輝度色値の
第１グループを増大させるようにさらに適応されてい
る、上記(２９)に記載のシステム。 【０１４６】（３１）前記プロセッサは、前記一組の輝
度色値から前記輝度色値のうちの所与の一つのヤコビア
ンを求め、前記ヤコビアン内の値の絶対値の第１の合計
を求め、前記第１の合計が所定の閾値に満たないとき
に、前記所与の輝度色値に４を乗じ、４個の対角に隣接
する画素位置の前記輝度色値を加算して第２の合計を求
め、該第２の合計を８で除算するようさらに適応されて
いる、上記(２９)に記載のシステム。 【０１４７】（３２）前記プロセッサは、前記第１の色
値の組と前記第２の色値の組のいずれかの内の選択され
た色値のラプラシアンを求め、調整可能なパラメータを
乗じた前記ラプラシアンを前記選択された色値に加算す
るようさらに適応されている、上記(１９)に記載のシス
テム。 【０１４８】（３３）前記プロセッサは、前記所与の第
１の色値のヤコビアンを求め、前記ヤコビアン内の値の
絶対値の第１の合計を求め、前記第１の合計が所定の閾
値未満であるときに、前記所定の第１の色値に８を乗
じ、８個の最も近い画素位置の前記第１の色値を加算し
て第２の合計を求め、該第２の合計を１６で除算するよ
うさらに適応されている、上記(１９)に記載のシステ
ム。 【０１４９】当業者はならば認めるように、本明細書に
記載された発明の概念は、広範囲の用途に合せて修正、
変更することができる。従って、本発明の範囲は、説明
した特定の教示のいずれにも限定されるべきではない。
画像処理に関し、特に各画素位置で色の補間を行うモザ
イク減少（demosaicing）方法に関する。 【０００２】 【従来の技術】ディジタルカラー画像センサは、２つの
タイプが主流である。つまり、ＣＣＤ（電荷結合素子）
とＣＭＯＳ−ＡＰＳ（相補型金属酸化物半導体−アクテ
ィブ方式画素センサ）である。これらのタイプのセンサ
は両方とも、一般に、行と列に配置されて画像内の色を
サンプリングする光検出器（画素）のアレイを含む。各
画素は、１つまたは複数の色に対応して１つまたは複数
の波長の範囲内の光の強度を測定する。 【０００３】加えて、両方のタイプのセンサには、Ｂａ
ｙｅｒに付与された米国特許第３，９７１，０６５号に
記載されたカラーフィルタアレイ（以下、ベイヤーと呼
ぶ）等のカラーフィルタアレイ（ＣＦＡ）が含まれる。
これは参照により本明細書に援用される。ベイヤーＣＦ
Ａでは、各画素は赤、緑または青の１色のみを捕らえ
る。このサンプリングパターンを以下に示す。 【０００４】 【数１】 【０００５】ベイヤーＣＦＡを備えるセンサは、色空間
と空間領域の両方でサンプリングされたモザイク状の画
像を生成する。このサンプリング方法は、色空間と空間
領域の両方で折り返しアーチファクト（aliasing artif
act）を生ずる。例えば、フルカラーのスペクトルが
（ＣＦＡの色に応じて）特定の画素位置だけでサンプリ
ングされるので、画像の真の色を正確に再構成すること
は不可能であり、これによって色空間の折り返しアーチ
ファクトが発生する。加えて、原画像における高い空間
周波数が非常に低い周波数でサンプリングされるので、
画像の元の高い周波数を画像処理によって後から再現す
ることはできず、これによって空間領域の折り返しアー
チファクトが発生する。 【０００６】色空間と空間領域の折り返しアーチファク
ト問題に対する一つの解決策は、モザイク減少法（demo
saicing）である。モザイク減少法は、画像センサから
得られるディジタル画像の色を補間して、一つの画素位
置で三原色の全てを得る方法である。これにより得られ
るモザイク減少画像は、画像を見たときに、モザイク状
の画像よりも優れた品質が得られ、より視覚的に満足で
きる画像を与える。 【０００７】従来のモザイク減少法は、例えば画素複製
（pixel replication）、双一次補間（bi-linear inter
polation）及び中央値補間（median interpolation）等
が挙げられる。画素複製では、左、上、左斜め上の最近
傍の画素からそれぞれの欠損値（missing value）が取
り込まれる。双一次補間は、画素複製よりも改善される
が複雑さは少し増加する。双一次補間法では、水平、垂
直及び／または対角方向の近傍（neighboring）の画素
値の平均に基づいて、各欠損値が算出される。中央値補
間は非線形補間法であり、特に欠陥画素があるときにこ
れらの３つのアルゴリズム（画素複製、双一次補間、中
央値補間）のうちで最高の結果が得られるが、最も複雑
である。中央値補間は、２つのステップからなる。第１
に、４つの対角近傍を有する欠損値がそれら４つの値の
中央値を用いて補間される。第２に、残りの欠損画素が
東西南北の近傍の中央値によって補間される。 【０００８】しかしながら、上述のモザイク減少法では
すべて、見て分かる折り返しアーチファクトが画像内の
エッジに現れ、モザイク減少画像に「ジッパー（zippe
r）」効果を生じさせる。ジッパー効果とは、画像中の
直線のエッジをジッパーのように見せてしまうことであ
る。ジッパー効果の解決策は、Ａｄａｍｓ，Ｊｒらに付
与された米国特許第５，６５２，６２１号（以下、アダ
ムズ−ハミルトンアルゴリズムと呼ぶ）と、１９９９年
１０月発行のJournal of Electronic Imaging, Vol. 8,
No. 4, pp. 457-466に記載されたＫｕｎｏらによる「A
liasing reduction method for color digital still c
ameras with a single-chip charge-coupled device
（以下、Ｋｕｎｏアルゴリズムと呼ぶ）」に提案されて
おり、これらは両方とも参照により本明細書に援用され
る。 【０００９】アダムズ−ハミルトン補間アルゴリズム
は、水平エッジ及び垂直エッジを持つ画像をサンプリン
グする画像システムの性能の最適化を目指すものであ
る。アダムズ−ハミルトン補間アルゴリズムでは、欠損
する色値を補間する補間法が選択される。補間方向は、
補間対象である色平面と画素位置の色平面から得られる
値に基づいて、水平分類子と垂直分類子（または、正対
角分類子と負対角分類子）の値を算出することによって
選択される。 【００１０】２つの分類子の値は、補間法を選択するた
めに、予め定義された閾値と及びお互いに比較される。
例えば、分類子の値のうち１つまたは複数が予め定義さ
れた閾値より大きい場合、欠損している色値は、その色
値と同じ色の近傍値及びその画素位置の色の近傍値の両
方から補間される。欠損している色値は、どの分類子の
値が予め定められた閾値を上回ったかに応じて、水平方
向の近傍値、垂直方向の近傍値、または水平方向及び垂
直方向の両方の近傍値から補間される。アダムズ−ハミ
ルトンアルゴリズムは、細部を保存して、ジッパー効果
の出現を低減する。しかし、アダムズ−ハミルトンアル
ゴリズムを用いても、依然として若干の「ジッパリン
グ」が見られる。 【００１１】Ｋｕｎｏの補間アルゴリズムは、ＩＩＥＥ
Ｊ年会報（１９８８年版）第１６巻（２）８６乃至８８
頁に掲載された「Method to display full-color image
byusing the correlation of color」にＫｏｄｅｒａ
等が発表した細部の相関の仮定(correlation of detail
s assumption)に基づくものであり、参照により本明細
書に援用される。細部の相関の仮定は、画像の局所領域
において色の間に高い相関が存在することを仮定するも
のである。例えば、ベイヤーＣＦＡを備える画像センサ
を用いたときに、細部の相関の仮定は画像の局所領域内
では赤、青、緑の色値が比較的似ていると仮定する（例
えば、赤画素位置の赤値が１０である場合に、細部の相
関の仮定は、近傍の緑と青の画素位置がそれぞれ１０に
近い緑及び青の色値を生成すると仮定する）。 【００１２】Ｋｕｎｏアルゴリズムはさらに、色の変化
が急である領域においてさえ、色相関が一方向（すなわ
ち、水平方向または垂直方向）に存在することを仮定す
る。従って、Ｋｕｎｏアルゴリズムは、水平方向には色
値の低い相関しか存在しない垂直の補間方向と、垂直方
向には色値の低い相関しか存在しない水平の補間方向を
使用する。具体的には、Ｋｕｎｏアルゴリズムは、欠損
色値と関連する色平面の水平勾配（グラジエント）と垂
直勾配を計算し、水平勾配と垂直勾配を予め定義された
閾値と比較して補間方向を決定する。例えば、水平勾配
と垂直勾配の両方が予め定義された閾値未満の場合、補
間は水平方向と垂直方向の両方に実行される。しかし、
どちらの勾配も予め定義された閾値よりも大きい場合、
補間方向は２つの勾配のうちのより小さな方になる。 【００１３】補間方向が決定すると、Ｋｕｎｏアルゴリ
ズムは分割処理を用いて欠損色値を補間する。アダムズ
−ハミルトンアルゴリズムと同様に、Ｋｕｎｏアルゴリ
ズムはジッパー効果を低減し、画素複製、双一次補間及
び中央値補間といった従来のモザイク減少法と比べると
色解像度を改善する。しかし、Ｋｕｎｏアルゴリズムを
用いても、依然として若干のジッパー効果が見られる。
加えて、Ｋｕｎｏアルゴリズムでは分割処理をあらゆる
画素位置で実行することが必要とされ、その実装には費
用がかかる。 【００１４】 【発明が解決しようとする課題】従って、アダムズ−ハ
ミルトンアルゴリズムやＫｕｎｏアルゴリズムと比べて
ジッパー効果の可視性をさらに低減し、Ｋｕｎｏアルゴ
リズムが必要とするハードウェアの複雑さなしで実装す
ることができる、モザイク減少方法が必要とされてい
る。 【００１５】 【課題を解決するための手段】本発明の過程では、アダ
ムズ−ハミルトンアルゴリズムとＫｕｎｏアルゴリズム
を用いてモザイクを減少した画像にジッパー効果が出現
する理由について分析を行なった。分析の結果、どちら
のアルゴリズムも少なくとも２つの色平面における勾配
を別々に考慮しておらず、またどちらのアルゴリズムも
所与の画素を補間するときに近傍画素における意思決定
（decision）を適用していないために、アダムズ−ハミ
ルトンアルゴリズムとＫｕｎｏアルゴリズムを用いてモ
ザイクを減少した画像においても依然としてジッパー効
果が見られるという結論が得られた。 【００１６】本発明は、少なくとも２つの色平面におい
て水平方向と垂直方向の両方における変化の度合（例え
ば、勾配（グラジエント）、ラプラシアン、または変化
の度合の他の尺度）を別々に考慮することによって、各
画素位置を補間する適応モザイク減少方法を提供する。
適応モザイク減少アルゴリズムは、各画素位置で補間方
向を決定するために投票方式を使用する。各色平面は、
その色平面における変化の度合の垂直成分と水平成分と
の間の比較に基づいて水平か垂直に投票する。ある実施
形態では、投票は画素位置それ自体で得られる測定から
カウントされる他、近傍の画素からもカウントされる。 【００１７】一実施形態では、補間方向は輝度（lumina
nce）色平面にのみ適用される。輝度平面が十分に補間
されると、クロミナンス（chrominance）平面は差分ク
ロミナンス値の単純な双一次補間または中央値補間によ
り埋められる。適応モザイク減少アルゴリズムの拡張に
より、適応平滑化と鮮明化（sharpening）が可能にな
る。例えば、適応モザイク減少アルゴリズムは、低い光
レベル（すなわちノイズの多い）画像に適応させて、輝
度画素間の不均衡を低減することができる。 【００１８】適応モザイク減少アルゴリズムは、加算、
減算、桁送り及び比較のみを必要とし、これらはいずれ
もハードウェアによる実装が簡単であるので、適応モザ
イク減少アルゴリズムは、従来のモザイク減少法に存在
したハードウェアの複雑さを低減する。加えて、適応モ
ザイク減少アルゴリズムは従来のモザイク減少方法と比
較して、モザイクを減少した画像に現われるジッパー効
果を低減する。さらに、本発明は上述した実施形態の他
にまたはこれらに代えて、他の特徴と長所を備えた実施
形態を与える。これらの特徴と長所の多くは以下の説明
から明らかになろう。 【００１９】 【発明の実施の形態】図１は、本発明による適応モザイ
ク減少アルゴリズム４０を実装したディジタル画像シス
テム１０を示す。ディジタル画像システム１０は、ディ
ジタルカメラ、ビデオカメラ、医用撮像装置等の任意の
ディジタル画像装置である。ディジタル画像システム１
０は、画像データを記憶するメモリを有するパーソナル
コンピュータやサーバ等のコンピュータシステムであっ
ても良い。適応モザイク減少アルゴリズム４０は、ディ
ジタル画像装置の内部に存在したり、またはパーソナル
コンピュータやサーバ上で動作する画像処理ソフトウェ
アの一部であっても良い。 【００２０】ディジタル画像システム１０は、ＣＭＯＳ
センサチップやＣＣＤセンサチップ等のディジタル画像
センサ２０であって、列と行で構成された二次元アレイ
の画素を含む。ディジタル画像センサは、各画素が１色
だけを検出するカラーフィルタアレイ（ＣＦＡ）によっ
て覆われる。例えば、ＣＦＡは前述のＣＦＡであっても
良い。このアレイでは、輝度（luminance）色（緑）の
市松模様の間にクロミナンス（chrominance：色光度）
色（赤と青）が配置されている。ベイヤーＣＦＡの代わ
りに他のＣＦＡも使用できることは理解されよう。 【００２１】ディジタル画像センサ２０は、ディジタル
信号プロセッサ４０に元の赤、青、緑の画素値を含む生
データ２５を供給する。ディジタル信号プロセッサは、
生データ２５に対して本発明の適応モザイク減少アルゴ
リズム適用し、画素値を補間して各画素位置において
赤、緑、青の値を得る。生データ２５は、ディジタル信
号処理プロセッサ４０に一度に供給される。従って、処
理開始に必要な生データ２５の必要量が得られるまで、
生データ２５はバッファ３０に記憶される。 【００２２】処理開始に必要な生データ２５の数は、処
理の種類に依存する。例えば、生データ２５に対応する
画素値は、通常、センサ２０の１行から一度に読み出さ
れる。所与の画素の近傍補間を開始するために、少なく
とも１つの水平方向の画素近傍と、好ましくは１つの垂
直画素近傍がバッファ３０に格納される。加えて、大半
のディジタルカメラは、画像を選択して永久に記憶させ
る前に複数の画像を撮影して露出が適正かどうかを確認
するので、バッファ３０内には一度に１つまたは複数の
画像が格納される。 【００２３】モザイク減少の結果は、３つの補間された
色平面３５（すなわち、Ｒ、Ｇ、Ｂ）であり、それぞれ
が元の値と補間された値を含む。本明細書で説明する
赤、青、緑の色空間の代わりに、黄、シアン、マゼンタ
等の他の色空間を用いることもできることは理解されよ
う。補間された赤、緑、青の色平面３５は、表示または
処理されるまでメモリ５０内に記憶される。メモリ５０
に記憶する前に、ＪＰＥＧ規格等の圧縮法（図示せず）
を用いて色平面３５を圧縮できることに注意されたい。
出力装置６０（例えば、ビデオスクリーン、コンピュー
タスクリーンまたはプリンタ）上に圧縮画像を表示また
は処理するため、圧縮画像はまず復元され、復元された
画像が出力装置６０へ出力される。 【００２４】ディジタル信号プロセッサ４０は、図２に
示す適応モザイク減少アルゴリズムに従って、バッファ
３０に記憶された各画像を補間する。図２に示した適応
モザイク減少アルゴリズムは、ここでは主ベクトル法
（ＰＶＭ）と呼ぶことにする。ＰＶＭは、色エッジの検
出と近傍投票（neighborhood voting）に基づくもので
ある。画像内には、光の強度が急激に変わる多くのエッ
ジが存在する。鮮明な出力画像を生成するには、色補間
はエッジを横切るよりも、エッジに沿って行うべきであ
る。従って、ＰＶＭアルゴリズムは各画素位置で画素が
エッジ上にあるかどうかを検出し、エッジ上にある場合
には、そのエッジの方向を推定する。本明細書において
用語「エッジ」とは、オブジェクトの境界や強度が急激
に変化する他の境界上にある画素のことを指すことは理
解されよう。用語「エッジ」は、画像の４つの自然な境
界のうちの１つの境界上にある画素（すなわち、センサ
自身のエッジ上にある画素）を指すわけではない。 【００２５】一実施形態では、エッジ検出とエッジ方向
の推定は、例えば緑の単色平面を用いることによって試
行される。しかし、単一の色平面に依存すると、依存し
た色が存在しない画像領域や、依存した色が固定されて
いる色付きのエッジにおいて、エラーを生じることがあ
る。他の実施形態では、エッジ検出とエッジ方向の推定
は、２つまたは３つの色平面から出し合う（pool）こと
ができる。３つの色平面すべてからの結果を出し合う
と、一般により優れた結果が得られる。従って、図２の
ＰＶＭアルゴリズムは、３つの色平面からのエッジに関
連する情報（例えば、エッジの検出とエッジ方向の推
定）の出し合いを示している。 【００２６】生データ２５がディジタル信号プロセッサ
４０に着くと、生データ２５はそれぞれが欠損要素を有
する３つの生データ色平面２５ａ、２５ｂ、２５ｃに分
離される。ディジタル信号プロセッサ４０は、各位置で
欠損する輝度値を決定するために、輝度生データ色平面
２５ｂ（すなわち、緑）に適応補間ロジック４２を適用
する。例えば、適応補間ロジック４２は、投票メカニズ
ムに基づいて、水平方向の補間、垂直方向の補間、また
は水平方向の補間と垂直方向の補間の組み合わせを用い
て、赤画素と青画素のそれぞれで緑値を補間する。この
投票メカニズムについては図４及び５を参照してより詳
細に説明する。これによって得られる補間された緑色平
面３５ｂは、元の緑値（大文字のＧで表す）と、補間さ
れた緑値（小文字のｇで表す）の両方を含む。 【００２７】欠損緑値が決定すると、欠損する赤と青の
値が補間される。最初に、減算ロジック４４ａ及び４４
ｂが、赤または青のそれぞれの画素位置における欠損緑
値と、対応する元の赤または青の画素値との間の差を計
算する。例えば、青の生データ色平面２５ｃの左下隅の
青値Ｂを取り込み、減算ロジック４４ｂは、補間された
緑色平面３５ｂの左下隅の補間された緑値ｇを、青の生
データ色平面２５ｃの左下隅の青値Ｂから減算する。 【００２８】得られた差分色平面２８ａ及び２８ｂは、
差分補間ロジック４６ａ及び４６ｂにより、それぞれ中
央値補間、双一次補間、画素複製等の既知の方法によっ
て補間される。図２は双一次補間法を示している。赤と
青の差分色平面２８ａ及び２８ｂが双一次補間ロジック
４６ａ及び４６ｂに入力され、それぞれ赤及び青の差分
補間色平面（図示せず）を出力する。最終的な赤及び青
の補間色平面３５ａ及び３５ｃは、赤及び青の差分補間
色平面をそれぞれ加算ロジック４８ａ及び４８ｂへ入力
することによって得られる。この加算ロジックは、赤及
び青の差分補間色平面を、対応する画素位置について、
補間された緑色平面３５ｂの緑値ｇ及びＧに加算する。
ＤＳＰ４０からメモリ５０（図１）に出力されるのは、
これらの補間された赤、青、緑の色平面３５ａ、３５ｂ
及び３５ｃである。 【００２９】図３は、ＰＶＭモザイク減少アルゴリズム
を実行するステップを示す。最初に、ＤＳＰは生データ
を受け取り（ステップ３００）、生データを３つの生デ
ータ色平面に分離する（ステップ３１０）。ＤＳＰは、
適応補間技術（図４，５で後述）を輝度色平面（すなわ
ち、緑）に適用する（ステップ３２０）。補間された輝
度色平面を用いて、ＤＳＰは、補間された輝度値を対応
する画素クロミナンス色値から減算することによって、
差分クロミナンス色平面（赤と青）を求める（ステップ
３３０）。例えば、補間された緑平面をチルダーＧで表
わすと、欠損する赤値及び青値は、次式に示すように赤
画素位置または青画素位置における差を形成することに
よって補間することができる。 【００３０】 【数２】 【００３１】これによって２つの差分画像ＤＲＧとＤ
ＢＧが得られ、これらの値は赤画素位置と青画素位置に
おいてのみそれぞれ知られている。 【００３２】その後、ＤＳＰは差分クロミナンス値（di
fference chrominance value）を用いて差分クロミナン
ス色平面（difference chrominance color plane）を補
間する（ステップ３４０）。上述のように、差分クロミ
ナンス色平面は、中央値補間、双一次補間、画素複製等
の任意の既知の方法を用いて補間することができる。 【００３３】最も単純な形態のクロミナンス補間は、画
素複製である。例えば、画素複製では、各欠損値が左、
上、左斜め上の最近傍の画素から取り込まれる。人間の
視覚系では、クロミナンス色に対する鋭さは輝度色に対
するよりも低いので、画素複製は大半の状況で優れた結
果をもたらす。 【００３４】双一次補間は、複雑さが僅かに増すが画素
複製よりも改善される点がいくつかある。双一次補間法
では、以下の３×３フィルタを用いて差分赤値または差
分青値が畳み込まれる。 【００３５】 【数３】 【００３６】上述のフィルタでは、乗算と除算が２のべ
き乗によるものであり、従って桁送り（シフト）で実現
できることに注意されたい。 【００３７】非線形補間法である中央値補間は、特に欠
陥画素があるときに最高の結果を与えるが、複雑さは最
大である。中央値補間は２つのステップからなる。第１
は、４つの対角近傍を有する欠損値をこれら４つの値の
中央値を用いて補間するステップである。第２は、残る
欠損値を東西南北の近傍の中央値によって補間するステ
ップである。 【００３８】一例として、画素値の近傍において差分画
像ＤＲＧが以下の値を有すると仮定する。 【００３９】 【数４】 【００４０】第１のステップの後、４つの対角近傍を有
する欠損値は、それらの近傍の中央値によって補間され
る。第１のステップの結果は以下の通りである。 【００４１】 【数５】 【００４２】＊と記した位置も補間されているが、それ
らの値が示されていないのは、図示の５×５の領域の外
側にある近傍値に依存するからである。第２のステップ
は、以下のように、東西南北の４つの近傍の中央値を用
いて残りの欠損値を埋める。 【００４３】 【数６】 【００４４】チルダーＤRG及びチルダーＤBGで表される
補間された差分画像が得られると、最終的な補間された
赤値と青値は、次式のように元の緑値と補間された緑値
の加算（ステップ３５０）によって求めることができ
る。 【００４５】 【数７】 【００４６】これらの補間された輝度（緑）色平面とク
ロミナンス（赤と青）色平面は、メモリへ出力される
（ステップ３６０）。 【００４７】ここで、図４を参照して適応補間ロジック
４２をさらに詳細に説明する。適応補間ロジック４２が
生データ色平面２５ａ、２５ｂ、２５ｃを受け取ると、
それぞれの勾配ロジックｌ００ａ、ｌ００ｂ、ｌ００ｃ
が、各色平面２５ａ、２５ｂ、２５ｃの勾配ｌ０５ａ、
１０５ｂ、１０５ｃを求め、ヤコビアンロジック１１０
が色平面２５ａ、２５ｂ、２５ｃのヤコビアン１１５を
求める。続いて、色平面２５ａ、２５ｂ、２５ｃの勾配
ｌ０５ａ、１０５ｂ、１０５ｃとヤコビアン１１５を説
明する。 【００４８】カラー画像は、二次元（２Ｄ）領域から三
次元（３Ｄ）空間すなわち色空間への写像であるから、
カラー画像の各成分は、（ｘ,ｙ）領域上で定義される
関数、すなわちＲ(ｘ,ｙ)、Ｇ(ｘ,ｙ)、Ｂ(ｘ,ｙ)と見
なすことができる。Ｂ．Ｊａｈｎｅ及びＨ．Ｈａｕｓｓ
ｅｃｋｅｒの編集による「Computer vision and applic
ations: a guide for students and practitioners, Sa
n Diego: Academic Press, 2000, pp. 334-335」は、参
照により本明細書に援用されるが、これに記載されてい
るように、カラー画像における局所方向の計測法は、二
次元平面から三次元色平面への写像のヤコビアン（Ｊ）
を作成することから始まる。 【００４９】 【数８】 ここで、∇は勾配（すなわち、最も増加が急な方向）を
表わす。ヤコビアンは、水平（ｘ）及び垂直（ｙ）方向
のカラー画像の局所的な一次変化率をとらえる。 【００５０】例えば、以下の生データが適応補間ロジッ
ク４２へ供給されると仮定する。 【００５１】 【数９】 【００５２】画素位置Ｒ１の緑の勾配を決定するために
は、画素Ｒ１の水平方向の緑導関数と垂直方向の緑導関
数を計算しなければならない。水平方向の緑導関数は
（Ｇｘ １−Ｇｘ２）であり、垂直方向の緑導関数は（Ｇ
ｙ１−Ｇｙ２）である。画素位置Ｒ１における赤の勾配
と青の勾配も、同様の方法で算出される。例えば、水平
方向の青導関数は（（Ｂ１＋Ｂ３）／２−（Ｂ２＋
Ｂ４）／２）であり、垂直方向の青導関数は（（Ｂ１＋
Ｂ２）／２−（Ｂ３＋Ｂ４）／２）である。赤導関数
は、上述していないが水平方向及び垂直方向の赤値を用
いて算出される。 【００５３】ヤコビアンの特異値分解（ＳＶＤ）は、次
式のように書くことができる。 【００５４】 【数１０】 Ｊ＝ＵＳＶｔ＝ｓ１ｕ１ｖ１ ｔ＋ｓ２ｕ２ｖ２ ｔ （式７） ここで、ｓ１≧ｓ２≧０は特異値であり、ｕｋ、ｖｋは
それぞれ左、右のｋ番目の特異ベクトルである。（二乗
誤差の合計を最小化するという意味での）Ｊに対する最
高位の近似の１つが以下のようになることは、当分野に
おいて周知である。 【００５５】 【数１１】 【００５６】ベクトルｕ１はカラー画像の最大の変化方
向を与えるので、ベクトルｕ１はヤコビアンの主ベクト
ル、または簡単に主ベクトルという。 【００５７】ヤコビアンのＳＶＤは、カラー画像のエッ
ジ構造に関して有益な情報を与える。式６に示すよう
に、Ｊの３つの列はそれぞれＲ、Ｇ、Ｂの色平面の一つ
における勾配である。勾配が互いに平行であるときは、
エッジは３つの平面において整合している（consisten
t）と言うことができる。この場合、主ベクトルは勾配
と同じ方向を指し、小さい方の特異値ｓ２は０に等し
い。Ｒ、Ｇ、Ｂ勾配が平行でないときは、主ベクトルは
３つの勾配に対し最も「適合（fit）」する。主ベクト
ルが勾配に適合する度合は、特異値から決定することが
できる。例えば、適合の程度は次式のように求めること
ができる。 【００５８】 【数１２】 λ＝ｓ２／（ｓ１＋ｓ２） （式９） 【００５９】ｓ１≧ｓ２であり、０≦λ≦１／２である
ので、λ＝０のとき（勾配は全て平行であるから）主ベ
クトルは完全に適合し、一方、λ＝１／２のとき適合は
最低である。λ＝１／２が起こる状況の例は、３つの勾
配のうちの２つが直角の方向を指し、第３の勾配が０で
あるときである。 【００６０】上述のように、主ベクトルｕ１は、変化が
最大の方向を指し示す。しかし、ＰＶＭアルゴリズムを
用いた適応モザイク減少法は、実際には変化が最小の方
向の近傍から補間を行い、エッジがぼやける危険を最小
化する。従って、ｕ１に直交し変化が最小の方向を指す
ベクトルｕ２が補間方向として用いられる。例えば、Ｉ
１がｕ１に沿って補間を行った結果であり、Ｉ２がｕ２
に沿って補間を行った結果であると仮定する。すると、
Ｉで表わされる全補間はＩ１とＩ２の重み付き結合とな
り、重み付けは次式のように適合度λに基づく。 【００６１】 【数１３】 Ｊ＝λＩ１＋（１−λ）Ｉ２ （式１０） 【００６２】この重み付けによって、全補間が、Ｉ
２（λ＝０、従って主ベクトルが勾配に完全に適合する
とき）とＩ＝（Ｉ１＋Ｉ２）／２（λ＝１／２、適合が
最小のとき）との間で連続して変化することが保証され
る。 【００６３】矩形状にサンプリングされる生データ２５
ａ、２５ｂ、２５ｃからＩ１、Ｉ２を計算するため、Ｉ
ｈとＩｖがそれぞれ水平方向と垂直方向の補間を表わす
ものとする。ＩｈとＩｖは、（Ｉｈについては）行に沿
って画素値を単純に線形結合することによって、または
（Ｉｖについては）列に沿って画素値を単純に線形結合
することによって計算することができる。次に、ｕ１＝
[ｕ１(１),ｕ１(２)] ｔ、ｕ２＝[ｕ２(１),ｕ２(２)]ｔ
とし、ｕ１、ｕ２が単位長ベクトルであるとすると、次
式が成り立つ。 【００６４】 【数１４】 Ｉ１＝ｕ１(１)２Ｉｈ＋ｕ１(２)２Ｉｖ （式１１） Ｉ２＝ｕ２(１)２Ｉｈ＋ｕ２(２)２Ｉｖ （式１２） 式１０に式１１と式１２を組み合わせることで、Ｉは次
式のようになる。 【００６５】 【数１５】 Ｉ＝αＩｈ＋(１−α)Ｉｖ （式１３） （但し、α＝λｕ１(１)２＋(１−λ)ｕ２(１)２） 【００６６】これから分るように、式１３の値Ｉの計算
には、Ｉｈ、Ｉｖ、αの３つが必要である。最初の２つ
Ｉｈ、Ｉｖは直接的に計算されるが、これは画素値の単
純な線形結合にのみ含むからである。しかし、３つ目の
αはＪのＳＶＤから導出される項に基づいている。これ
は、各画素でＪのＳＶＤ計算を要求することになる可能
性があり、コストが非常に高い。 【００６７】しかし、一実施形態では、計算を簡単にす
るために、αの近似値を推定することができる。例え
ば、αの計算を簡単にするため、適応補間ロジック４２
は、αの値を３つのレベルすなわち０、１、１／２に量
子化できると仮定することができる。これは、式１３の
全補間Ｉが純粋に水平、純粋に垂直、または２つの平均
のいずれかであることを意味する。適応補間ロジック４
２は、主ベクトルｕ１の方向をただ２つの可能性すなわ
ち水平または垂直のうちの１つに量子化できると仮定す
ることもできる。例えば、水平軸からのｕ１の傾きが±
４５未満のときｕ １は水平となり、それ以外のときｕ１
は垂直となる。同様に、|ｕ１(１)|≧|ｕ １(２)|である
ときはｕ１は水平となり、そうでない場合は垂直とな
る。 【００６８】適応補間ロジック４２は、多数決ルールを
適用することによって主ベクトルが水平であるか垂直で
あるかの判定を行なうと仮定することもできる。多数決
ルールとは以下の通りである。すなわち、ヤコビアン１
１５の最下行の成分の大部分（垂直方向の導関数）が絶
対値でヤコビアン１１５の最上行の対応する成分（水平
方向の導関数）を越える場合、主ベクトルは垂直とな
る。それ以外の場合、主ベクトルは水平となる。例え
ば、ヤコビアン１１５が次式で表されるとすると、最上
行の成分のうちの２つが絶対値で最下行の対応する成分
を越えていることになる。 【００６９】 【数１６】 従って、このヤコビアン１１５の主ベクトルは水平と仮
定される。 【００７０】多数決ルールによって主ベクトルの方向を
得ることはできるが、多数決ルール単独では｛０,１／
２,１｝の中からαを決定できない。上述したように、
主ベクトル自体が補間方向として用いられることはな
い。むしろ、補間方向は、主ベクトルの方向に対して直
角である。従って、重み付け係数αの選択時に、適応補
間ロジック４２は垂直方向の導関数を上回る水平方向の
導関数の実際の数を考慮する（またはその逆を考慮す
る）。 【００７１】例えば、全ての水平方向の導関数がそれら
の対応する垂直方向の導関数を上回る場合、αは０に設
定され、（主ベクトルに直交する方向である）垂直方向
の補間を強制する。画像内の垂直エッジ上にある画素に
ついては、垂直方向の補間が好ましい。水平方向に隣接
する（adjacent）画素では急な輝度の変化が存在するた
め、垂直エッジ上にある画素に対して水平方向の補間を
行うと適切な補間値が得られない。上述の重み付け係数
αの選択法は、画素が垂直エッジ上にあることを検出す
るが、これは垂直エッジ画素の一次導関数が垂直方向よ
りも水平方向で大きいからである。重み付け係数αが垂
直エッジ上にある画素に対応する場合、垂直方向の補間
が適用される。 【００７２】しかし、水平方向の導関数のいずれも対応
する垂直方向の導関数を上回らない場合、αは水平方向
の補間を強制するよう１に設定される。垂直エッジ上の
画素と関連して上述したのと同じ理由から、画像内の水
平エッジ上にある画素については水平方向の補間が好ま
しい。しかし、水平方向の導関数のうちの１つまたは２
つのみが対応する垂直方向の導関数を上回る場合は、α
は水平方向及び垂直方向の補間の両方を含むように１／
２に設定される。これは勾配が平行でない箇所では主ベ
クトルの適合が最低であるからである。画素がエッジ上
にないときは、適合は通常最低であり、従って、水平方
向の補間と垂直方向の補間の両方を行うことが好まし
い。 【００７３】図４に示すように、上述のαの選択メカニ
ズムは、適応補間ロジック４２内の列投票ロジック１２
０に実装される。列投票ロジック１２０は、ある特定の
画素についてヤコビアン１１５の各列を取り込み、各列
に１つの票を割り当てる。最下値が最上値を上回る場
合、列は水平方向に投票し、最上値が最下値を上回る場
合は、列は垂直方向に投票する。こうして、３つの列投
票１２５が各画素で集められる。 【００７４】この投票方式は、各画素での投票だけでな
く近傍画素の投票も含めるようさらに拡張することがで
きる。このように、重み付け係数αを決定する前に、適
応補間ロジック４２は、列投票１２５に加えて近傍投票
のデータ１４０を考慮することができる。例えば、２つ
の近傍の画素において、各近傍画素のヤコビアン１１５
の２つ以上の列が水平方向へ投票した場合、近傍投票デ
ータ１４０は２つの水平方向の投票を含むことになる。
この拡張された投票方式は、近傍画素での個々のヤコビ
アン１１５の列投票を用いず、多数決ルールの結果を考
慮するだけであるが、他の実施形態においては、拡張さ
れた投票方式は近傍画素における各列の投票を含むこと
ができる点に注意されたい。 【００７５】近傍投票データ１４０は、画像のラスター
スキャン内の現在の画素に先行する画素の任意のサブセ
ットからのデータと定義することができる。例えば、近
傍投票データ１４０は、現在の画素の左及び上に隣接す
る画素からのデータを含むことができる。この近傍は、
距離１の近傍と呼ばれる。しかし、異なる距離の他の近
傍画素も選ぶことができることを理解されたい。 【００７６】列投票ロジック１１０が特定の画素の各列
についての投票を求めると、列投票ロジック１１０は最
多投票１３５を決定（すなわち、垂直方向または水平方
向）して、メモリ１３０（図１に示したのと同じメモリ
５０でよい）に最多投票１３５を記憶する。例えば、最
多投票１３５が水平方向（すなわち、２以上の列が水平
方向に投票）の場合、列投票ロジック１１０はその画素
についてメモリ１３０に「１」を記憶する。最多投票１
３５が垂直方向である場合、列投票ロジック１１０はそ
の画素についてメモリ１３０に「０」を記憶する。従っ
て、適応補間ロジック４２が生データ２５ａ、２５ｂ、
２５ｃを補間するときに、近傍距離Ｎに対応する多くの
先行するライン上の多数決ルールの結果がメモリ１３０
に記憶される。有利であることに、必要なメモリは記憶
する各ラインについて１画素につき１ビットだけであ
る。 【００７７】列投票ロジック１１０と、１以上の多数決
投票１３５を含む近傍投票データ１４０からの列投票１
２５が全て集められると、加算ロジック１５０は、列投
票ロジック１１０によって供給された現在の画素につい
ての列投票１２５を、近傍投票データ１４０によって供
給された近傍投票に加算する。投票の加算結果１５５
は、重み付け決定ロジック１６０へ送られて重み付け係
数αを割り当てる。一例として、投票は３つの範囲に分
割される。第１に、水平方向への投票の数が第１の閾値
Ｔ１未満の場合は、α＝０となる。第２に、水平方向へ
の投票の数が第１の閾値Ｔ１と第２の閾値Ｔ２の間であ
る場合は、α＝０．５となる。第３に、水平方向への投
票の数が第２の閾値Ｔ２よりも大きい場合は、α＝１と
なる。 【００７８】Ｔ１とＴ２の選択は、近傍Ｎの大きさに依
存する。例えば、Ｎが１の距離である場合、一実施形態
ではＴ１＝１、Ｔ２＝４となる。従って、１の距離を有
する近傍については、最大投票数は５となる（すなわ
ち、現在の画素に３票、隣接する画素にそれぞれ１
票）。Ｔ１とＴ２をこのように選択することで、水平方
向補間への投票が１以下の場合、α＝０によって垂直方
向補間が選択される。水平方向補間への投票が４または
５の場合、α＝１によって水平方向補間が選択される。
２または３の投票が得られる中間の場合は、α＝０．５
によって水平方向補間と垂直方向補間の平均が適用され
る。異なる近傍Ｎが選択されれば他の閾値が使用できる
ことを理解されたい。重み付け係数αが決定すると、補
間ロジック１７０はαを用いて欠損する緑値を補間し、
補間された緑色平面３５ｂを出力する。 【００７９】図５を参照すると、輝度色平面を補間する
ステップ（すなわち、クロミナンス画素位置での欠損緑
値の決定）が示されている。第１のステップとして、各
生データクロミナンス色平面（すなわち、赤と青）の勾
配が、水平方向と垂直方向の一次導関数をとることによ
って推定される（ステップ５００）。一次導関数の代わ
りに、二次導関数等の変化の度合を測る他の尺度も使用
できることを理解されたい。 【００８０】各画素位置での勾配が推定されると、式６
に示すように、各画素位置のヤコビアンが既知となる
（ステップ５１０）。ヤコビアンの各列（すなわち、各
勾配）は水平方向か垂直方向のいずれかに投票する（ス
テップ５２０）。各勾配（列）からそれぞれ票が得ら
れ、最多投票（すなわち、どちらが最も多く票を得たか
による垂直または水平の結果）がメモリに記憶される
（ステップ５３０）。 【００８１】一般に、ＤＳＰは行ごとに生データを処理
する。従って、現在処理中の画素位置の右及び下に隣接
する画素についての生データが既知であっても、これら
の隣接画素に対する最多投票は未知である。従って、一
般に近傍投票を考慮すると（ステップ５４０）、投票を
完了してメモリ内に最多投票を記憶させた隣接画素だけ
が、現在処理中の画素位置の左及び上に隣接する画素と
なる。例えば、以下に示すベイヤーパターンの画素位置
Ｒ１を考えると、近傍投票データはＧｘ１とＧ ｙ１から
の最多投票を含むことになる。近傍投票の数を増やし
て、現在処理された画素から２画素またはそれ以上離れ
た近傍を考慮することもできることを理解されたい。 【００８２】 【数１７】 【００８３】距離１の近傍については、現在処理中の画
素位置の左と上の隣接画素それぞれからの最多投票が、
現在処理中の画素位置の列投票に加算され、結果として
計５票が得られる（ステップ５５０）。重み付け係数α
は、上述のように水平方向への投票の総数対垂直方向へ
の投票の総数に基づいて決定される（ステップ５６
０）。例えば、上述の画素位置Ｒ１を考えると、赤勾配
（列）が水平方向に投票し、青勾配（列）が垂直方向に
投票し、緑勾配（列）が水平方向に投票した場合、画素
位置Ｇｘ１の最多投票は水平方向となる。加えて、画素
位置Ｇｘ１からの最多投票が水平方向であり、画素位置
Ｇｙ１についての最多投票が垂直方向であった場合、水
平方向への投票の総数は３であり、垂直方向への投票の
総数は２となる。 【００８４】上述のように、水平方向への投票の総数ま
たは垂直方向への投票の総数のいずれかに基づいた１つ
または複数の閾値は、重み付け係数αを決定するために
設定することができる。図４に関連して上述した例で
は、２つの閾値Ｔ１、Ｔ２が水平方向への投票の総数に
基づいて設定された。図４の例では、Ｔ１＝１、Ｔ２＝
４である。従って、上述の画素位置Ｒ１からの全投票数
を用いると、３票の水平方向の票があったため、重み付
け係数αは０．５となる。従って、画素位置Ｒ１におけ
る欠損緑値の補間は、水平方向と垂直方向の画素値の両
方に基づくことになる。 【００８５】補間結果は、通常、線形予測を適用して改
善される。滑らかな関数ｆ(ｘ)については、線形予測は
次式のようになる。 【００８６】 【数１８】 【００８７】例えば、上述のベイヤーパターン内のＲ１
を含むラインを延長すると、水平方向の近傍には以下の
画素が存在する。 Ｒ２Ｇｘ１Ｒ１Ｇｘ２Ｒ３ Ｇｘ１からＲ１における緑値の線形予測は、差分近似
ｆ’(ｘ０)＝(Ｒ１−Ｒ２)／２を用い、ｘ−ｘ０＝１と
置くと、次式のようになる。 【００８８】 【数１９】 Ｇｘ１＋{(Ｒ１−Ｒ２)／２} （式１５） この色の混合は、色平面間の強固な局所相関の仮定に基
づくものであり、従って同じ方向の差分は同等となるは
ずである。 【００８９】同様にＧｘ２からＲ１における線形予測
は、ｘ−ｘ０＝−１とすると、次式のようになる。 【００９０】 【数２０】 Ｇｘ２−{(Ｒ３−Ｒ１)／２} （式１６） 従って、式１３においてＩｈで表わされる、Ｒ１におけ
る水平方向に補間された緑値は、式１５と式１６の結果
の平均となる。 【００９１】 【数２１】 Ｉｈ＝{(Ｇｘ１＋Ｇｘ２)／２}＋{(−Ｒ２＋２Ｒ１−Ｒ３)／４} （式１７） 【００９２】低光（low-light）レベルの画像処理状況
では、ノイズによって線形予測の有効性が阻害される。
画像が低光の画像であるか否かは、画素値を見ることに
よって一般に判断される。画素値は、通常０〜２５５の
範囲にある。例えば、大半の画素値が低光の閾値（オペ
レータによる判定またはディジタル撮像システム内にプ
ログラムされた値）に満たない場合、画像は低光の画像
であるとみなされる。従って、０≦γ≦１である係数γ
（入力画素に対して適用されるゲインに従って設定され
る）によって線形補間の大きさを変えることは有利であ
る。具体的には、式１７は次式のように書き換えること
ができる。 【００９３】 【数２２】 Ｉｈ＝{(Ｇｘ１＋Ｇｘ２)／２}＋γ{(−Ｒ２＋２Ｒ１−Ｒ３)／４} （式１８） 【００９４】低光レベルに対しては、ゲインは高く、そ
の結果ノイズも多く、γは０または小さな正の値に等し
くなる。通常の照明では、γは１に等しい。 【００９５】式１８に示したのと同様の補間が、青と緑
をもつラインの水平方向補間に使用され、また垂直方向
補間にも使用される。画素位置Ｒ１における補間された
輝度値を計算するには、上述のように水平方向補間と垂
直方向補間の平均が使用される。 【００９６】欠損輝度値が補間される（ステップ５７
０）と、補間された輝度色平面は、図２に関連して上述
したように、任意の既知のモザイク減少技法を用いて、
クロミナンス色平面の補間に使用される図２の適応補間
ロジックによって出力される（ステップ５８０）。適応
モザイク減少ＰＶＭアルゴリズムを用いることで、画像
は孤立した補間誤差が減少する。従って、近傍を用いる
ことによって、従来のモザイク減少法よりも滑らかな画
像が再生される。 【００９７】ＰＶＭの性能は、追加の処理ステップによ
りさらに改良することができる。ＰＶＭモザイク減少ア
ルゴリズムの拡張方法の一種を図６Ａに示す。図６Ａ
は、Ｇ１：Ｇ２の不一致を補償するための例示的なステ
ップである。図２に示した生データ２５内の緑画素は、
２つのカテゴリに分類される。すなわち、（１）水平方
向の近傍として赤画素を、垂直方向の近傍として青画素
を持つ、「Ｇ１」画素と、（２）水平方向の近傍として
青画素を、垂直方向の近傍として赤画素を持つ、「Ｇ
２」画素である。Ｇ１画素は、センサの構造とＣＦＡの
不良を含む要因によって、同じ照明に対してＧ２画素と
かなり異なる値を呈することが多い。緑が一様である画
像領域では緑値の変化が最も目立ち、詳細に検査すると
市松模様状に見える。 【００９８】Ｇ１画素とＧ２画素の間の不一致は、ＰＶ
Ｍモザイク減少アルゴリズムの前に適用される２つの事
前処理ステップを用いて補正することができる。図６Ａ
に示され「平均バランス化（mean balancing）ステッ
プ」と呼ばれる第１のステップは、全体的な補正を行
う。この平均バランス化ステップは、画像全体のＧ１画
素の平均値を計測し（ステップ６００）、別に画像全体
のＧ２画素の平均値を計測する（ステップ６１０）こと
によって進められる。２つの平均値が等しい場合（ステ
ップ６２０）、不一致は存在せず、処理は終了する（ス
テップ６３０）。しかし、２つの平均値が等しくない場
合（ステップ６２０）には、２つの平均値の間の差の百
分率が求められる（ステップ６４０）。その後、２つの
平均（Ｇ１平均またはＧ２平均）のうちの小さな方の緑
画素値が、差の百分率を用いて拡大される（ステップ６
５０）。 【００９９】この平均バランス化ステップは、ＰＶＭア
ルゴリズムを用いたモザイク減少前に適用することがで
きる。上述のように、ディジタルカメラでは画像を選択
して永久に記憶させる前に複数の画像を撮影して露出が
適正かどうかを確認することが多い。従って、この平均
バランス化ステップは、画像を記憶させる前に、撮影し
た画像のうちの１つに対して実行される。 【０１００】第２のステップが図６Ｂに示されており、
これを「適応平滑化」と呼ぶ。この第２のステップも、
緑の色平面の補間前に実行することができ、平均バラン
ス化ステップの後に実行するのが好ましい。適応平滑化
ステップは、エッジ上にない画素における生の緑値に平
滑フィルタを適用し、平滑化された緑値を補間に用い
る。画素がエッジ上にあるか否かは、式６に示したヤコ
ビ行列からエントリの絶対値の合計を計算することによ
って決定することができる。ヤコビアンのエントリの絶
対値の合計が所定の閾値（実験においては、閾値として
６４を用いた）未満である場合（ステップ６７０）、画
素はエッジ上には無く、従って生の緑値に対し平滑化が
適用される。合計が所定の閾値未満でない場合（ステッ
プ６７０）、画素はエッジ上にあり、処理はこの画素に
関して終了する（ステップ６８０）。適応平滑化ステッ
プにとって、緑の画素値のヤコビアンの緑の列は、同等
の緑画素、すなわちＧ１値とＧ１値またはＧ２値とＧ２
値の差を取ることによって計算され、Ｇ１値とＧ２値の
差を取ることによって計算されるのではないことに注意
されたい。 【０１０１】緑画素がエッジ上に無いと決定されると
（ステップ６７０）、平滑化は以下のような３×３のフ
ィルタを用いて緑値を畳み込むことによって実現される
（ステップ６９０）。 【０１０２】 【数２３】 式１９のフィルタは、以下に示すのと同様のベイヤーパ
ターンを仮定する。 【０１０３】 【数２４】 ここで、Ｇ２値は、４つのＧ１値により囲まれている。
Ｇ２値を平滑化するために、Ｇ２値は４倍されて周囲に
あるＧ１値にそれぞれ加算される。加算後の合計は８で
除算され、得られた値がＧ２値として用いられる。 【０１０４】ＰＶＭモザイク減少技法に対するさらなる
拡張を図７に示す。図７は、画像鮮明化（シャープ化）
ステップを示す。画像は画素位置でのみサンプリングさ
れるので、本質的に画像のアンダーサンプリングが存在
し、画像内の一部の高周波成分が除かれてしまうことが
ある。従って、画像を鮮明化するため、二次導関数を元
の画像へ付け加える。例えば、以下のベイヤーパターン
を考える。 【０１０５】 【数２５】 【０１０６】Ｇ３３の水平方向の二次導関数は、（２Ｇ
３３−Ｇ３１−Ｇ３５）によって推定することができ
る。同様に、Ｇ３３の垂直方向の二次導関数は、（２Ｇ
３３−Ｇ５３−Ｇ１３）によって推定することができ
る。 【０１０７】鮮明化の量はユーザーの好みに応じて調整
可能であるのが好ましい。例えば、ラプラシアンを∇２
で表わし、κを０≦κ≦１の間で調整可能なパラメータ
とすると、次式により元の画像Ｉ(ｘ,ｙ)から鮮明化画
像Ｉ(ｘ,ｙ)ハットが求められる。 【０１０８】 【数２６】 ここで、Ｉはモザイク減少後に得られる十分に密にされ
た（fully-populated）赤、緑、青の色平面のいずれか
である。 【０１０９】第１のステップとして、ユーザは調整可能
なパラメータκを設定する（ステップ７００）。調整可
能なパラメータκは、鮮明化を望まないときは０に、最
大量の鮮明化を望むときは１に設定される。しかし、κ
に０と１の間の任意の値を使用できることを理解された
い。調整可能なパラメータκが０に設定されると（ステ
ップ７１０）、鮮明化は実行されない（ステップ７２
０）。調整可能なパラメータκが０に設定されない場合
（ステップ７１０）、ラプラシアンが求められ（ステッ
プ７３０）、調整可能なパラメータκを乗じられ（ステ
ップ７４０）、元の画素値に加算される（ステップ７５
０）。 【０１１０】一実施形態では、鮮明化は、差分画像補間
の前に、補間された緑画像に適用することができる。例
えば、チルダーＧ(ｘ,ｙ)が補間された緑平面であると
すると、鮮明化された緑平面Ｇ(ｘ,ｙ)ハットは以下の
ようになる。 【０１１１】 【数２７】 【０１１２】式１及び式２内のチルダーＧ(ｘ,ｙ)をＧ
(ｘ,ｙ)ハットで置き換えることにより、最小の処理で
鮮明化が実現される。 【０１１３】ＰＶＭモザイク減少アルゴリズムについて
の別の拡張を図８に示す。図８は、画像のノイズを低減
するステップである。Ｇ１：Ｇ２補償について提案され
た適応平滑化は、ノイズを低減するために、赤画素と青
画素に簡単に拡張することができる。ノイズ低減用の適
応平滑化は、エッジ上にない画素での生の赤値と青値へ
平滑化フィルタを適用し、平滑化された赤値と青値を補
間に用いる。図６に関連して上述したように、画素がエ
ッジ上にあるか否かは、式６に示したヤコビ行列式から
エントリの絶対値の合計を計算することによって決定す
ることができる（ステップ８００）。ヤコビアンのエン
トリの絶対値の合計が所定の閾値未満の場合（ステップ
８１０）、画素はエッジ上にはなく、従って生の赤値ま
たは青値に平滑化が適用される。合計が所定の閾値（ス
テップ８１０）未満でない場合、画素はエッジ上にあ
り、処理が終了する（ステップ８２０）。５×５のノイ
ズ低減用平滑化フィルタは、以下のようになる（ステッ
プ８３０）。 【０１１４】 【数２８】 赤画素値と青画素値用の上記フィルタを用いた適応平滑
化は、エッジをぼかすことなくノイズを低減するという
長所を有する。 【０１１５】本発明には例として以下の実施形態が含ま
れる。 【０１１６】（１）画素がディジタル画像のエッジ上に
あるか否かを判定する方法であって、前記画素につい
て、第１の色の第１のエッジ方向と第２の色の第２エッ
ジ方向を決定するステップと、前記第１のエッジ方向と
前記第２のエッジ方向に関連する個別の補間の投票を提
供し、選択された補間方向を決定するステップであっ
て、前記個別の補間の投票が第１の補間方向または第２
の補間方向のいずれかであり、前記選択された補間方向
が前記第１の補間方向と前記第２の補間方向への前記投
票の数に基づいている、ステップと、を含む方法。 【０１１７】（２）前記第１のエッジ方向及び第２のエ
ッジ方向はそれぞれ第１の勾配及び第２の勾配であり、
該第１の勾配及び第２の勾配は前記画素のヤコビアンを
形成する、上記(１)に記載の方法。 【０１１８】（３）前記第１の補間方向は水平方向補間
であり、前記第２の補間方向は垂直方向補間であり、前
記提供するステップは、前記第１の勾配に関連する補間
の投票の第１の票を設定するステップであって、前記第
１の勾配の行成分の絶対値が該第１の勾配の列成分の絶
対値よりも小さいとき、前記第１の補間投票は前記水平
方向補間に設定され、前記第１の勾配の列成分の絶対値
が該第１の勾配の行成分の絶対値よりも小さいとき、前
記第１の補間投票は前記垂直方向補間に設定される、ス
テップと、前記第２の勾配に関連する補間の投票の第２
の票を設定するステップであって、前記第２の勾配の行
成分の絶対値が該第２の勾配の列成分の絶対値よりも小
さいとき、前記第２の補間投票は前記水平方向補間に設
定され、前記第２の勾配の列成分の絶対値が該第２の勾
配の行成分の絶対値よりも小さいとき、前記第２の補間
投票は前記垂直方向補間に設定される、ステップと、前
記設定ステップに基づいて、選択された前記補間方向に
ついて、前記水平方向補間、前記垂直方向補間、または
水平方向補間と垂直方向補間の組み合わせのいずれかを
選択するステップと、をさらに含む、上記(２)に記載の
方法。 【０１１９】（４）前記選択ステップは、隣接投票デー
タを提供するステップであって、該隣接投票データは少
なくとも一つの隣接画素からの多数決投票を含み、該多
数決投票は、前記隣接画素からの最多の補間投票が水平
方向補間であるときは水平方向補間であり、前記隣接画
素からの最多の補間投票が垂直方向補間であるときは垂
直方向補間である、ステップと、前記近傍投票データを
前記補間投票に加算して前記選択された補間方向を決定
するステップと、をさらに含む、上記(３)に記載の方
法。 【０１２０】（５）前記選択ステップは、前記水平方向
補間と前記垂直方向補間のいずれかについて、前記補間
投票の数に関連する第１の閾値及び第２の閾値を少なく
とも設定するステップと、前記水平方向補間と垂直方向
補間のいずれかについて、前記補間投票の数が前記第１
の閾値と第２の閾値の間にあるときに、前記水平方向補
間と垂直方向補間の組み合わせを前記選択された補間方
向として選択するステップと、をさらに含む、上記(４)
に記載の方法。 【０１２１】（６）画素位置における値として表わされ
るディジタル画像をモザイク減少する方法であって、一
組の第１の色値と一組の第２の色値を受け取るステップ
と、前記画素位置の所与の位置に関連する前記第１の色
値のうちの所与の色値について、前記一組の第１の色値
を使用して第１の変化の度合を決定するとともに、前記
一組の第２の色値を使用して第２の変化の度合を決定す
るステップであって、前記第１の変化の度合及び第２の
変化の度合はそれぞれ行成分と列成分を有する、ステッ
プと、前記第１の変化の度合及び第２の変化の度合の両
方について、前記行成分を前記列成分と比較して、選択
された補間方向を決定するステップと、を含む方法。 【０１２２】（７）前記選択された補間方向を使用し
て、前記所与の画素位置に関連する欠損する第２の色値
を補間するステップをさらに含む、上記(６)に記載の方
法。 【０１２３】（８）前記補間ステップは、前記第１の色
値と前記第２の色値を用いる線形予測関数を適用するこ
とによって、前記欠損する第２の色値を補間するステッ
プをさらに含む、上記(７)に記載の方法。 【０１２４】（９）前記補間ステップは、低光（low-li
ght）の閾値未満の前記第１の色値及び第２の色値の数
を決定するステップと、前記数が他の閾値を越えたと
き、前記線形予測関数を無効とする（turn off）ステッ
プと、をさらに含む、上記(８)に記載の方法。 【０１２５】（１０）前記所与の第１の色値から前記補
間した欠損する第２の色値を減算することによって差分
値を決定するステップと、少なくとも前記差分値を用い
て、欠損する第１の色値を補間するステップであって、
該欠損する第１の色値は前記第１の色値を生成しなかっ
た前記画素位置のうちの一つに関連する、ステップと、
をさらに含む、上記(７)に記載の方法。 【０１２６】（１１）前記第１の変化の度合及び第２の
変化の度合はそれぞれ前記第１の勾配及び第２の勾配で
あり、該第１の勾配及び第２の勾配は前記所与の第１の
色値のヤコビアンを形成しており、前記比較ステップ
は、前記第１の勾配及び第２の勾配のそれぞれによって
個々の補間投票を供給するステップであって、該補間投
票は第１の補間方向または第２の補間方向のいずれかで
あり、前記選択された補間方向は前記第１の補間方向と
前記第２の補間方向についての前記補間投票の数に基づ
く、ステップをさらに含む、上記(６)に記載の方法。 【０１２７】（１２）前記第１の補間方向は水平方向補
間であり、前記第２の補間方向は垂直方向補間であり、
前記供給ステップは、前記第１の勾配及び第２の勾配の
それぞれの前記行成分の絶対値が該勾配の前記列成分の
絶対値よりも小さいとき、前記第１の勾配及び第２の勾
配のそれぞれによって前記補間投票を前記水平方向補間
として設定するステップと、前記第１の勾配及び第２の
勾配のそれぞれの前記列成分の絶対値が該勾配の前記列
成分の絶対値よりも小さいとき、前記第１の勾配及び第
２の勾配のそれぞれによって前記補間投票を前記垂直方
向補間として設定するステップと、前記設定ステップに
基づいて、前記選択された補間方向について、前記水平
方向補間、前記垂直方向補間、または水平方向補間と垂
直方向補間の組み合わせのいずれかを選択するステップ
と、をさらに含む、上記(１１)に記載の方法。 【０１２８】（１３）前記選択ステップは、近傍投票デ
ータを提供するステップであって、該近傍投票データは
前記画素位置に隣接する少なくとも１つの画素からの前
記所与の画素位置に対する多数決投票を含み、該多数決
投票は、前記画素位置の前記隣接画素からの最多の前記
補間投票が水平方向補間であるときは水平方向補間であ
り、前記画素位置の前記隣接画素からの最多の前記補間
投票が垂直方向補間であるときは垂直方向補間である、
ステップと、前記近傍投票データを前記補間投票に加算
して、前記選択された補間方向を決定するステップと、
をさらに含む、上記(１２)に記載の方法。 【０１２９】（１４）前記選択ステップは、前記水平方
向補間または前記垂直方向補間のいずれかついて、前記
補間投票の数に関連する少なくとも第１の閾値と第２の
閾値を設定するステップと、前記水平方向補間か垂直方
向補間のいずれかについて、前記補間投票の数が前記第
１の閾値と第２の閾値の間にあるときに、前記水平方向
補間と垂直方向補間の組み合わせを前記選択された補間
方向として選択するステップと、をさらに含む、上記
(１３)に記載の方法。 【０１３０】（１５）前記第１の色値はクロミナンス色
値であり、前記第２の色値は輝度色値である、上記(６)
に記載の方法。 【０１３１】（１６）前記輝度色値の第１グループの第
１の平均輝度値と前記輝度色値の第２グループの第２の
平均輝度値を決定するステップと、前記第１の平均輝度
値と前記第２の平均輝度値との間の差の百分率を求める
ステップと、前記第１の平均輝度値が前記第２の平均輝
度値未満であるときに、前記差の百分率により前記輝度
色値の第１グループを増大させるステップと、をさらに
含む、上記(１５)のに記載の方法。 【０１３２】（１７）前記一組の輝度色値から前記輝度
色値のうちの所与の一つのヤコビアンを求めるステップ
と、前記ヤコビアン内の値の絶対値の第１の合計を求め
るステップと、前記第１の合計が所定の閾値に満たない
場合に、前記所与の輝度色値に４を乗ずるステップと、
４個の対角に隣接する画素位置の前記輝度色値を加算し
て第２の合計を得るステップと、前記第２の合計を８で
除算するステップと、をさらに含む、上記(１５)に記載
の方法。 【０１３３】（１８）前記所与の第１の色値のヤコビア
ンを求めるステップと、前記ヤコビアン内の値の絶対値
の第１の合計を求めるステップと、前記第１の合計が所
定の閾値未満である場合に、前記所与の第１の色値に８
を乗ずるステップと、８個の最も近い画素位置の前記第
１の色値を加算し、第２の合計を得るステップと、前記
第２の合計を１６で除算するステップと、をさらに含
む、上記(６)に記載の方法。 【０１３４】（１９）画素位置における値として表わさ
れるディジタル画像をモザイク減少するディジタル画像
処理システムであって、一組の第１の色値と一組の第２
の色値を受け取るようにされたプロセッサであって、前
記画素位置の所与の位置に関連する前記第１の色値のう
ちの所与の色値について、前記一組の第１の色値を使用
して第１の変化の度合を決定するとともに、前記一組の
第２の色値を使用して第２の変化の度合を決定し、前記
第１の変化の度合及び第２の変化の度合はそれぞれ行成
分と列成分を有しており、前記第１の変化の度合及び第
２の変化の度合の両方について前記行成分を前記列成分
と比較して選択された補間方向を決定するプロセッサを
備えるシステム。 【０１３５】（２０）前記プロセッサは、前記選択され
た補間方向を使用して、前記所与の画素位置に関連する
前記画素位置の欠損する第２の色値を補間するようにさ
らに適応されている、上記(２０)に記載のシステム。 【０１３６】（２１）前記プロセッサは、前記第１の色
値と前記第２の色値を用いる線形予測関数を適用するこ
とによって、前記欠損する第２の色値を補間するように
さらに適応されている、上記(２０)に記載のシステム。 【０１３７】（２２）前記プロセッサは、低輝度の閾値
未満の前記第１の色値及び第２の色値の数を決定し、前
記数が他の閾値を越えたときに前記線形予測関数を無効
とするようにさらに適応されている、上記(２１)に記載
のシステム。 【０１３８】（２３）前記プロセッサは一組の第３の色
値を受け取るように適応されており、前記一組の第１、
第２及び第３の色値はそれぞれ異なる色に関連してお
り、前記プロセッサは前記第３の色値に関連する第３の
変化の度合を決定することができる、上記(２０)に記載
のシステム。 【０１３９】（２４）前記プロセッサは、前記所与の第
１の色値から前記補間された欠損する第２の色値を減算
することによって差分値を決定し、少なくとも該差分値
を用いて、前記第２の色値及び第３の色値に関連する前
記画素位置について欠損する第１の色値を補間するよう
にさらに適応されている、上記(２３)に記載のシステ
ム。 【０１４０】（２５）前記第１、第２及び第３の変化の
度合はそれぞれ第１、第２及び第３の勾配であり、該第
１、第２及び第３の勾配は前記所与の第１の色値のヤコ
ビアンを形成しており、該第１、第２及び第３の勾配の
それぞれが個々の補間投票を供給し、前記補間投票は第
１の補間方向または第２の補間方向のいずれかであり、
前記選択された補間方向は前記第１の補間方向と前記第
２の補間方向についての前記補間投票数に基づく、上記
(２３)に記載のシステム。 【０１４１】（２６）前記第１の補間方向は、前記画素
位置と同一の行内の前記画素位置からの少なくとも１つ
以上の前記第２の色値を、前記所与の画素位置として用
いた水平方向補間であり、前記第２の補間方向は、前記
画素位置と同一の列内の前記画素位置からの少なくとも
１つ以上の前記第２の色値を、前記所与の画素位置とし
て用いた垂直方向補間であり、前記第１、第２及び第３
の勾配のそれぞれの前記補間投票は、前記それぞれの勾
配の前記行成分の絶対値が該勾配の前記列成分の絶対値
よりも小さいとき、前記水平方向補間であり、前記それ
ぞれの勾配の前記列成分の絶対値が該勾配の前記行成分
の絶対値よりも小さいとき、前記垂直方向補間であり、
前記選択された補間方向は、前記水平方向補間、前記垂
直方向補間、または垂直方向補間と水平方向補間の組み
合わせからなるグループから選択される、上記(２５)に
記載のシステム。 【０１４２】（２７）近傍投票データを記憶することの
できるメモリをさらに備え、該近傍投票データは前記所
与の画素位置に対し前記画素位置に隣接する少なくとも
一つの画素からの多数決投票を含み、該多数決投票は前
記画素位置の前記隣接画素からの最多の前記補間投票が
水平方向補間であるときは水平方向補間であり、前記隣
接画素からの最多の前記補間投票が垂直方向補間である
ときは垂直方向補間であり、前記近傍投票データを前記
補間投票に加算して、前記選択された補間方向を決定す
る、上記(２６)に記載のシステム。 【０１４３】（２８）前記水平方向補間または前記垂直
方向補間のいずれかについて前記補間投票数に関連する
少なくとも第１の閾値及び第２の閾値をさらに備え、前
記選択された補間方向は、前記水平方向補間または前記
垂直方向補間のいずれかについて前記補間投票数が前記
第１の閾値と第２の閾値の間にあるときに、前記水平方
向補間と垂直方向補間の組み合わせとなる、上記(２７)
に記載のシステム。 【０１４４】（２９）前記第１の色値はクロミナンス色
値であり、前記第２の色値は輝度色値である、上記(１
９)に記載の前記システム。 【０１４５】（３０）前記プロセッサは、前記輝度色値
の第１グループの第１の平均輝度値と前記輝度色値の第
２グループの第２の平均輝度値を決定し、前記第１の平
均輝度値と前記第２の平均輝度値との間の差の百分率を
求め、前記第１の平均輝度値が前記第２の平均輝度値未
満であるときに、前記差の百分率により前記輝度色値の
第１グループを増大させるようにさらに適応されてい
る、上記(２９)に記載のシステム。 【０１４６】（３１）前記プロセッサは、前記一組の輝
度色値から前記輝度色値のうちの所与の一つのヤコビア
ンを求め、前記ヤコビアン内の値の絶対値の第１の合計
を求め、前記第１の合計が所定の閾値に満たないとき
に、前記所与の輝度色値に４を乗じ、４個の対角に隣接
する画素位置の前記輝度色値を加算して第２の合計を求
め、該第２の合計を８で除算するようさらに適応されて
いる、上記(２９)に記載のシステム。 【０１４７】（３２）前記プロセッサは、前記第１の色
値の組と前記第２の色値の組のいずれかの内の選択され
た色値のラプラシアンを求め、調整可能なパラメータを
乗じた前記ラプラシアンを前記選択された色値に加算す
るようさらに適応されている、上記(１９)に記載のシス
テム。 【０１４８】（３３）前記プロセッサは、前記所与の第
１の色値のヤコビアンを求め、前記ヤコビアン内の値の
絶対値の第１の合計を求め、前記第１の合計が所定の閾
値未満であるときに、前記所定の第１の色値に８を乗
じ、８個の最も近い画素位置の前記第１の色値を加算し
て第２の合計を求め、該第２の合計を１６で除算するよ
うさらに適応されている、上記(１９)に記載のシステ
ム。 【０１４９】当業者はならば認めるように、本明細書に
記載された発明の概念は、広範囲の用途に合せて修正、
変更することができる。従って、本発明の範囲は、説明
した特定の教示のいずれにも限定されるべきではない。
【図面の簡単な説明】
【図１】本発明の例示的な実施形態に従った適応モザイ
ク減少アルゴリズムを用いたディジタル画像システムを
示すブロック図である。 【図２】本発明の例示的な実施形態に従ったモザイク減
少アルゴリズムを実装するロジックを示すブロック図で
ある。 【図３】図２に示したモザイク減少アルゴリズムを実行
する例示的なステップを示すフローチャートである。 【図４】本発明のモザイク減少アルゴリズムに従って輝
度色平面の例示的な適応補間を実行するロジックを示す
ブロック図である。 【図５】図４に示した適応補間処理を実行する例示的な
ステップを示すフローチャートである。 【図６】画像の色の不一致を補償する本発明のモザイク
減少アルゴリズムへの拡張の例示的なステップを示すフ
ローチャートである。 【図７】画像をシャープにする本発明のモザイク減少ア
ルゴリズムへの拡張の例示的なステップを示すフローチ
ャートである。 【図８】画像のノイズを減らす本発明のモザイク減少ア
ルゴリズムへの拡張の例示的なステップを示すフローチ
ャートである。 【符合の説明】 ２０ ディジタル画像センサ ２５ 生データ ２５ａ，２５ｂ，２５ｃ 生データ赤色平面 ２８ａ，２８ｂ 差分クロミナンス色平面 ３０ バッファ ３５ａ，３５ｂ，３５ｃ 補間色平面 ４０ ディジタル信号プロセッサ ４２ 適応補間ロジック ４４ａ，４４ｂ 減算ロジック ４６ａ，４６ｂ 差分補間ロジック ４８ａ，４８ｂ 加算ロジック ５０ メモリ ６０ 出力装置 １００ａ，１００ｂ，１００ｃ 勾配ロジック １０５ａ，１０５ｂ，１０５ｃ 勾配 １１０ ヤコビアンロジック １１５ ヤコビアン １２０ 列投票ロジック １２５ 列投票 １３０ メモリ １３５ 最多投票 １４０ 近傍投票データ １５０ 加算ロジック １５５ 加算結果 １６０ 重み付け係数判定ロジック １７０ 補間ロジック
ク減少アルゴリズムを用いたディジタル画像システムを
示すブロック図である。 【図２】本発明の例示的な実施形態に従ったモザイク減
少アルゴリズムを実装するロジックを示すブロック図で
ある。 【図３】図２に示したモザイク減少アルゴリズムを実行
する例示的なステップを示すフローチャートである。 【図４】本発明のモザイク減少アルゴリズムに従って輝
度色平面の例示的な適応補間を実行するロジックを示す
ブロック図である。 【図５】図４に示した適応補間処理を実行する例示的な
ステップを示すフローチャートである。 【図６】画像の色の不一致を補償する本発明のモザイク
減少アルゴリズムへの拡張の例示的なステップを示すフ
ローチャートである。 【図７】画像をシャープにする本発明のモザイク減少ア
ルゴリズムへの拡張の例示的なステップを示すフローチ
ャートである。 【図８】画像のノイズを減らす本発明のモザイク減少ア
ルゴリズムへの拡張の例示的なステップを示すフローチ
ャートである。 【符合の説明】 ２０ ディジタル画像センサ ２５ 生データ ２５ａ，２５ｂ，２５ｃ 生データ赤色平面 ２８ａ，２８ｂ 差分クロミナンス色平面 ３０ バッファ ３５ａ，３５ｂ，３５ｃ 補間色平面 ４０ ディジタル信号プロセッサ ４２ 適応補間ロジック ４４ａ，４４ｂ 減算ロジック ４６ａ，４６ｂ 差分補間ロジック ４８ａ，４８ｂ 加算ロジック ５０ メモリ ６０ 出力装置 １００ａ，１００ｂ，１００ｃ 勾配ロジック １０５ａ，１０５ｂ，１０５ｃ 勾配 １１０ ヤコビアンロジック １１５ ヤコビアン １２０ 列投票ロジック １２５ 列投票 １３０ メモリ １３５ 最多投票 １４０ 近傍投票データ １５０ 加算ロジック １５５ 加算結果 １６０ 重み付け係数判定ロジック １７０ 補間ロジック
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 ラマクリシュナ・カカララ
アメリカ合衆国94086カリフォルニア州サ
ニーヴェイル、イースト・イヴリン
1055、ナンバー ビー−９
(72)発明者 イザーク・バハラヴ
アメリカ合衆国95124カリフォルニア州サ
ン・ノゼ、セイント・ローレンス・ドライ
ヴ 2548
Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16
CB01 CB08 CB12 CB16 CC01
CD06 CH07
5C065 BB48 DD01 EE03 GG13 GG30
5C076 AA22 BA06 BB04 BB05
5C077 LL02 MP08 PP20 PP32 PP37
PP46 PP47 PQ12 PQ17 RR19
TT09
5C079 HB01 JA14 JA23 LA28 LA37
MA11 NA09
Claims (1)
- 【特許請求の範囲】 【請求項１】画素がディジタル画像のエッジ上にあるか
否かを判定する方法であって、 前記画素について、第１の色の第１のエッジ方向と第２
の色の第２エッジ方向を決定するステップと、 前記第１のエッジ方向と前記第２のエッジ方向に関連す
る個別の補間の投票を提供し、選択された補間方向を決
定するステップであって、前記個別の補間の投票が第１
の補間方向または第２の補間方向のいずれかであり、前
記選択された補間方向が前記第１の補間方向と前記第２
の補間方向への前記投票の数に基づいている、ステップ
と、を含む方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/940,825 | 2001-08-27 | ||
| US09/940,825 US7088392B2 (en) | 2001-08-27 | 2001-08-27 | Digital image system and method for implementing an adaptive demosaicing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003163939A true JP2003163939A (ja) | 2003-06-06 |
| JP2003163939A5 JP2003163939A5 (ja) | 2005-10-27 |
| JP4352371B2 JP4352371B2 (ja) | 2009-10-28 |
Family
ID=25475488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002247617A Expired - Fee Related JP4352371B2 (ja) | 2001-08-27 | 2002-08-27 | 適応モザイク減少法を実装するディジタル画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7088392B2 (ja) |
| EP (1) | EP1289310B1 (ja) |
| JP (1) | JP4352371B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004112401A1 (ja) * | 2003-06-12 | 2004-12-23 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置 |
| JP2008530863A (ja) * | 2005-02-04 | 2008-08-07 | クゥアルコム・インコーポレイテッド | 適応型色彩補間 |
| JP2009153013A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
| JP2010035114A (ja) * | 2008-07-31 | 2010-02-12 | Elmo Co Ltd | 撮像装置 |
| JP2010531560A (ja) * | 2007-06-12 | 2010-09-24 | サントル ナシオナル ドゥ ラ ルシェルシェサイアンティフィク（セエヌエールエス） | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
| JP2011514750A (ja) * | 2008-04-08 | 2011-05-06 | クゥアルコム・インコーポレイテッド | 補間システムおよび方法 |
| JP2013251680A (ja) * | 2012-05-31 | 2013-12-12 | Jvc Kenwood Corp | 画像処理装置及び画像処理方法 |
| JP2014123814A (ja) * | 2012-12-20 | 2014-07-03 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
Families Citing this family (102)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6707937B1 (en) * | 2000-07-14 | 2004-03-16 | Agilent Technologies, Inc. | Interpolation of edge portions of a digital image |
| US6900833B2 (en) * | 2001-01-15 | 2005-05-31 | Pentax Corporation | Image interpolating device |
| US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
| US20030117507A1 (en) * | 2001-12-21 | 2003-06-26 | Nasser Kehtarnavaz | Color filter array interpolation |
| US7196829B2 (en) * | 2002-01-10 | 2007-03-27 | Micron Technology Inc. | Digital image system and method for combining sensing and image processing on sensor with two-color photo-detector |
| US6992707B2 (en) * | 2002-03-06 | 2006-01-31 | Hewlett-Packard Development Company, L.P. | Delayed encoding based joint video and still image pipeline with still burst mode |
| JP4065155B2 (ja) * | 2002-07-12 | 2008-03-19 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
| EP1569442A4 (en) * | 2002-12-02 | 2009-08-12 | Olympus Corp | VIEWING DEVICE |
| US8040385B2 (en) * | 2002-12-02 | 2011-10-18 | Olympus Corporation | Image pickup apparatus |
| JP4019417B2 (ja) * | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US20070292022A1 (en) * | 2003-01-16 | 2007-12-20 | Andreas Nilsson | Weighted gradient based and color corrected interpolation |
| EP1439715A1 (en) * | 2003-01-16 | 2004-07-21 | Dialog Semiconductor GmbH | Weighted gradient based colour interpolation for colour filter array |
| JP4270892B2 (ja) * | 2003-01-27 | 2009-06-03 | Ｈｏｙａ株式会社 | 偽色低減装置 |
| US7333678B1 (en) * | 2003-05-20 | 2008-02-19 | Micronas Usa, Inc. | Edge adaptive demosaic system and method |
| US7768500B2 (en) * | 2003-06-16 | 2010-08-03 | Humanscale Corporation | Ergonomic pointing device |
| US7269295B2 (en) * | 2003-07-31 | 2007-09-11 | Hewlett-Packard Development Company, L.P. | Digital image processing methods, digital image devices, and articles of manufacture |
| US7430334B2 (en) * | 2003-07-31 | 2008-09-30 | Hewlett Packard Development Company, L.P. | Digital imaging systems, articles of manufacture, and digital image processing methods |
| US7440016B2 (en) * | 2003-12-22 | 2008-10-21 | Hewlett-Packard Development Company, L.P. | Method of processing a digital image |
| JP4128585B2 (ja) * | 2003-12-22 | 2008-07-30 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
| KR20050062709A (ko) * | 2003-12-22 | 2005-06-27 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 그 방법 |
| WO2005064925A1 (ja) * | 2003-12-26 | 2005-07-14 | Olympus Corporation | 撮像装置 |
| US7525584B2 (en) * | 2004-01-05 | 2009-04-28 | Lifesize Communications, Inc. | Fast edge directed demosaicing |
| US8165389B2 (en) * | 2004-03-15 | 2012-04-24 | Microsoft Corp. | Adaptive interpolation with artifact reduction of images |
| JP4037381B2 (ja) * | 2004-03-31 | 2008-01-23 | 富士フイルム株式会社 | 光情報読取方法および装置 |
| US7418130B2 (en) * | 2004-04-29 | 2008-08-26 | Hewlett-Packard Development Company, L.P. | Edge-sensitive denoising and color interpolation of digital images |
| CA2466466C (en) * | 2004-05-05 | 2020-05-26 | Dominion Voting Systems Corporation | System, method and computer program for vote tabulation with an electronic audit trail |
| CN100399834C (zh) * | 2004-05-17 | 2008-07-02 | 华晶科技股份有限公司 | 一种决定一感兴趣像素的边缘趋势的方法与装置 |
| US7376288B2 (en) * | 2004-05-20 | 2008-05-20 | Micronas Usa, Inc. | Edge adaptive demosaic system and method |
| US7557799B2 (en) * | 2004-06-17 | 2009-07-07 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System for determining pointer position, movement, and angle |
| ITVA20040038A1 (it) * | 2004-10-04 | 2005-01-04 | St Microelectronics Srl | Metodo di interpolazione del colore di una immagine acquisita da un sensore digitale mediante il filtraggio direzionale |
| US7864221B2 (en) * | 2004-10-15 | 2011-01-04 | Lifesize Communications, Inc. | White balance for video applications |
| US7545435B2 (en) * | 2004-10-15 | 2009-06-09 | Lifesize Communications, Inc. | Automatic backlight compensation and exposure control |
| EP1650979A1 (en) * | 2004-10-21 | 2006-04-26 | STMicroelectronics S.r.l. | Method and system for demosaicing artifact removal |
| TWI249336B (en) * | 2004-11-15 | 2006-02-11 | Ind Tech Res Inst | Method and apparatus of color filter array demosaicking for digital image acquisition system |
| CN100459718C (zh) * | 2004-11-26 | 2009-02-04 | 财团法人工业技术研究院 | 对色彩过滤阵列图像解马赛克的方法与装置 |
| US7620241B2 (en) * | 2004-11-30 | 2009-11-17 | Hewlett-Packard Development Company, L.P. | Artifact reduction in a digital video |
| JP4857287B2 (ja) * | 2005-01-27 | 2012-01-18 | タンデント ビジョン サイエンス インコーポレーティッド | 画像内の照明光を識別する方法、システム、ならびにコンピュータプログラムを記録した記録媒体 |
| JP4375269B2 (ja) * | 2005-03-29 | 2009-12-02 | セイコーエプソン株式会社 | 印刷制御方法、印刷制御装置、及び印刷制御プログラム |
| US7751642B1 (en) * | 2005-05-18 | 2010-07-06 | Arm Limited | Methods and devices for image processing, image capturing and image downscaling |
| GB2426881B (en) * | 2005-06-01 | 2010-12-29 | Snell & Wilcox Ltd | Method and apparatus for spatial interpolation of colour images |
| KR100782812B1 (ko) * | 2005-06-15 | 2007-12-06 | 삼성전자주식회사 | 에지 적응적 컬러 보간 방법 및 장치 |
| US7830430B2 (en) * | 2005-07-28 | 2010-11-09 | Eastman Kodak Company | Interpolation of panchromatic and color pixels |
| US7613357B2 (en) * | 2005-09-20 | 2009-11-03 | Gm Global Technology Operations, Inc. | Method for warped image object recognition |
| US7589772B2 (en) * | 2005-09-21 | 2009-09-15 | Coifman Ronald R | Systems, methods and devices for multispectral imaging and non-linear filtering of vector valued data |
| US7840086B2 (en) * | 2005-10-12 | 2010-11-23 | The Regents Of The University Of California | Method for inpainting of images |
| US7486844B2 (en) * | 2005-11-17 | 2009-02-03 | Avisonic Technology Corporation | Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels |
| US20070133902A1 (en) * | 2005-12-13 | 2007-06-14 | Portalplayer, Inc. | Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts |
| US8311129B2 (en) * | 2005-12-16 | 2012-11-13 | Lifesize Communications, Inc. | Temporal video filtering |
| CN100546335C (zh) * | 2005-12-21 | 2009-09-30 | 比亚迪股份有限公司 | 一种实现异常点数值校正的色彩插值方法 |
| US8005297B2 (en) | 2006-01-18 | 2011-08-23 | Qualcomm Incorporated | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing |
| US8014597B1 (en) * | 2006-03-22 | 2011-09-06 | Woodman Labs | Method for efficient compression and decoding of single sensor color image data |
| JP4682070B2 (ja) * | 2006-03-23 | 2011-05-11 | Ｈｏｙａ株式会社 | 画像信号処理装置 |
| EP2002663A2 (en) * | 2006-03-27 | 2008-12-17 | Nxp B.V. | Method and arrangement for generating a color video signal |
| JP4977395B2 (ja) * | 2006-04-14 | 2012-07-18 | 富士フイルム株式会社 | 画像処理装置及び方法 |
| KR20070103229A (ko) * | 2006-04-18 | 2007-10-23 | 삼성전자주식회사 | 컬러 보간 방법 및 장치 |
| JP5011814B2 (ja) * | 2006-05-15 | 2012-08-29 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| KR100780932B1 (ko) * | 2006-05-30 | 2007-11-30 | 엠텍비젼 주식회사 | 컬러 보간 방법 및 장치 |
| DE102006028735B4 (de) * | 2006-06-20 | 2009-04-09 | Sci-Worx Gmbh | Einrichtung zur Interpolation und Filterung von digitalen Bilddaten |
| US7667762B2 (en) * | 2006-08-01 | 2010-02-23 | Lifesize Communications, Inc. | Dual sensor video camera |
| US8761504B2 (en) | 2006-11-29 | 2014-06-24 | President And Fellows Of Harvard College | Spatio-spectral sampling paradigm for imaging and a novel color filter array design |
| US20080193037A1 (en) * | 2007-02-09 | 2008-08-14 | The Hong Kong University Of Science And Technology | Demosaicking methods and apparatus |
| JP4946581B2 (ja) * | 2007-04-05 | 2012-06-06 | ソニー株式会社 | 画像処理装置 |
| US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
| US8212837B1 (en) | 2007-10-02 | 2012-07-03 | Grandeye, Ltd. | Color processing pipelines generating a lower color bit-depth image compared to an unprocessed image from a wide-angle camera |
| US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
| US8270713B2 (en) * | 2007-10-16 | 2012-09-18 | Aptina Imaging Corporation | Method and apparatus providing hardware-efficient demosaicing of image data |
| US8035704B2 (en) * | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
| US8135237B2 (en) * | 2008-02-25 | 2012-03-13 | Aptina Imaging Corporation | Apparatuses and methods for noise reduction |
| US7995840B2 (en) * | 2008-03-28 | 2011-08-09 | Seiko Epson Corporation | Image processing apparatus, image processing method, and program for attaining image processing |
| EP2124187A1 (en) * | 2008-05-22 | 2009-11-25 | Telefonaktiebolaget LM Ericsson (PUBL) | Apparatus and method for demosaicing |
| US8045826B2 (en) * | 2008-07-03 | 2011-10-25 | Seiko Epson Corporation | Detecting edges in a digital images |
| US8111299B2 (en) * | 2008-08-15 | 2012-02-07 | Seiko Epson Corporation | Demosaicking single-sensor camera raw data |
| US8131067B2 (en) * | 2008-09-11 | 2012-03-06 | Seiko Epson Corporation | Image processing apparatus, image processing method, and computer-readable media for attaining image processing |
| US8380011B2 (en) * | 2008-09-30 | 2013-02-19 | Microsoft Corporation | Fast directional image interpolator with difference projection |
| US8571312B2 (en) * | 2009-01-16 | 2013-10-29 | Samsung Electronics Co., Ltd. | Image interpolation method and apparatus using pattern characteristics of color filter array |
| US20110032269A1 (en) * | 2009-08-05 | 2011-02-10 | Rastislav Lukac | Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process |
| KR101335127B1 (ko) * | 2009-08-10 | 2013-12-03 | 삼성전자주식회사 | 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말 |
| US8666180B2 (en) | 2009-12-04 | 2014-03-04 | Stc.Unm | System and methods of compressed sensing as applied to computer graphics and computer imaging |
| WO2011130051A1 (en) * | 2010-04-12 | 2011-10-20 | Sony Corporation | Context adaptive directional intra prediction |
| US8260044B2 (en) | 2010-07-07 | 2012-09-04 | DigitalOptics Corporation Europe Limited | Reducing erroneous colors in edge areas with chromatic abberation |
| JP5709131B2 (ja) * | 2011-05-11 | 2015-04-30 | 国立大学法人東京工業大学 | 画像処理システム |
| TWI449027B (zh) * | 2011-08-30 | 2014-08-11 | Novatek Microelectronics Corp | 適應性畫素補償方法 |
| US20130077858A1 (en) * | 2011-09-22 | 2013-03-28 | Himax Imaging Limited | Image processing module and image processing method |
| JP6077811B2 (ja) * | 2012-10-04 | 2017-02-08 | キヤノン株式会社 | 画像符号化装置、画像符号化方法およびプログラム |
| US9207759B1 (en) | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
| US9013611B1 (en) * | 2013-09-06 | 2015-04-21 | Xilinx, Inc. | Method and device for generating a digital image based upon a selected set of chrominance groups |
| GB2519363A (en) * | 2013-10-21 | 2015-04-22 | Nokia Technologies Oy | Method, apparatus and computer program product for modifying illumination in an image |
| JP2015114729A (ja) | 2013-12-09 | 2015-06-22 | 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． | 画像処理装置、表示装置、画像処理方法およびプログラム |
| US9613396B2 (en) * | 2013-12-09 | 2017-04-04 | Marvell World Trade Ltd. | Method and apparatus for demosaicing of color filter array image |
| JP6415094B2 (ja) | 2014-04-25 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| KR102189647B1 (ko) | 2014-09-02 | 2020-12-11 | 삼성전자주식회사 | 디스플레이 장치, 시스템 및 그 제어 방법 |
| CN106454288B (zh) * | 2016-11-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置、成像装置及电子装置 |
| CN106341670B (zh) | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106454289B (zh) * | 2016-11-29 | 2018-01-23 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
| GB2559776B (en) * | 2017-02-17 | 2022-04-06 | Grass Valley Ltd | Decoding a bayer-mask or like coded image |
| US10567724B2 (en) * | 2018-04-10 | 2020-02-18 | GM Global Technology Operations LLC | Dynamic demosaicing of camera pixels |
| CN110458766B (zh) * | 2019-07-11 | 2023-08-25 | 天津大学 | 一种快照式高光谱图像去马赛克方法 |
| CN112652027B (zh) * | 2020-12-30 | 2024-03-22 | 凌云光技术股份有限公司 | 一种伪彩检测方法及*** |
| CN113852768A (zh) * | 2021-09-24 | 2021-12-28 | 中音讯谷科技有限公司 | 一种基于fpga技术的音视频图像智能控制*** |
| CN114202486B (zh) * | 2022-02-16 | 2022-05-20 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像的马赛克去除方法和*** |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4630307A (en) * | 1984-09-10 | 1986-12-16 | Eastman Kodak Company | Signal processing method and apparatus for sampled image signals |
| US5008739A (en) * | 1989-02-13 | 1991-04-16 | Eastman Kodak Company | Real-time digital processor for producing full resolution color signals from a multi-color image sensor |
| US5365604A (en) * | 1993-01-14 | 1994-11-15 | Rca Thomson Licensing Corporation | Error concealment apparatus for video signal processors |
| US6289137B1 (en) * | 1994-06-02 | 2001-09-11 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| KR100197366B1 (ko) * | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
| MY117289A (en) * | 1996-01-17 | 2004-06-30 | Sharp Kk | Image data interpolating apparatus |
| US5652621A (en) | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| JP3755921B2 (ja) | 1996-02-29 | 2006-03-15 | 株式会社コダックデジタルプロダクトセンター | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 |
| US5808674A (en) | 1996-09-09 | 1998-09-15 | Eastman Kodak Company | Producing and improved digital image from digital signals corresponding to pairs of photosites |
| JP3503372B2 (ja) | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
| US6563537B1 (en) * | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
| JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
| CN1187132C (zh) | 1997-11-14 | 2005-02-02 | 东洋钢板株式会社 | 具有低接触电阻的表面处理钢板以及由此钢板制成的接线端子部件 |
| US6229578B1 (en) | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
| JP4662584B2 (ja) | 1998-01-27 | 2011-03-30 | イーストマン コダック カンパニー | 画像センサのライン毎ノイズ除去装置及び方法 |
| KR100729559B1 (ko) | 1998-01-29 | 2007-06-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 색상 신호 보간 |
| US6507364B1 (en) * | 1998-03-13 | 2003-01-14 | Pictos Technologies, Inc. | Edge-dependent interpolation method for color reconstruction in image processing devices |
| DE19980650T1 (de) * | 1998-03-17 | 2000-07-20 | Matsushita Electric Ind Co Ltd | Bildleseeinrichtung |
| JP4038867B2 (ja) | 1998-03-19 | 2008-01-30 | 株式会社ニコン | 補間処理方法 |
| US6836572B2 (en) * | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| US6075889A (en) * | 1998-06-12 | 2000-06-13 | Eastman Kodak Company | Computing color specification (luminance and chrominance) values for images |
| JP4000699B2 (ja) * | 1999-01-05 | 2007-10-31 | ソニー株式会社 | 水平周波数測定方法及び装置 |
| US6404918B1 (en) * | 1999-04-30 | 2002-06-11 | Hewlett-Packard Company | Image demosaicing method utilizing directional smoothing |
| EP1111904A3 (en) | 1999-12-20 | 2005-03-16 | Texas Instruments Incorporated | Digital camera system and method |
| US6933970B2 (en) * | 1999-12-20 | 2005-08-23 | Texas Instruments Incorporated | Digital still camera system and method |
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| JP4599672B2 (ja) * | 1999-12-21 | 2010-12-15 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2001186353A (ja) * | 1999-12-27 | 2001-07-06 | Noritsu Koki Co Ltd | 画像処理方法および画像処理プログラムを記録した記録媒体 |
| US6781626B1 (en) * | 2000-01-13 | 2004-08-24 | Biomorphic Vlsi, Inc. | System and method of color interpolation |
| JP3702783B2 (ja) * | 2000-12-14 | 2005-10-05 | 株式会社日立製作所 | ビデオ信号処理装置 |
| US6943831B2 (en) * | 2001-01-24 | 2005-09-13 | Eastman Kodak Company | Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images |
| US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
-
2001
- 2001-08-27 US US09/940,825 patent/US7088392B2/en not_active Expired - Lifetime
-
2002
- 2002-05-03 EP EP02009959A patent/EP1289310B1/en not_active Expired - Lifetime
- 2002-08-27 JP JP2002247617A patent/JP4352371B2/ja not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012016051A (ja) * | 2003-06-12 | 2012-01-19 | Nikon Corp | 画像処理方法 |
| JPWO2004112401A1 (ja) * | 2003-06-12 | 2006-07-20 | 株式会社ニコン | 画像処理方法、画像処理プログラム、画像処理装置 |
| US7391903B2 (en) | 2003-06-12 | 2008-06-24 | Nikon Corporation | Image processing method, image processing program and image processing processor for interpolating color components |
| WO2004112401A1 (ja) * | 2003-06-12 | 2004-12-23 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置 |
| JP4882374B2 (ja) * | 2003-06-12 | 2012-02-22 | 株式会社ニコン | 画像処理方法、画像処理プログラム、画像処理装置 |
| US7630546B2 (en) | 2003-06-12 | 2009-12-08 | Nikon Corporation | Image processing method, image processing program and image processor |
| JP2008530863A (ja) * | 2005-02-04 | 2008-08-07 | クゥアルコム・インコーポレイテッド | 適応型色彩補間 |
| JP2010531560A (ja) * | 2007-06-12 | 2010-09-24 | サントル ナシオナル ドゥ ラ ルシェルシェサイアンティフィク（セエヌエールエス） | デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム |
| JP2009153013A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
| US8363123B2 (en) | 2007-12-21 | 2013-01-29 | Sony Corporation | Image pickup apparatus, color noise reduction method, and color noise reduction program |
| JP2011514750A (ja) * | 2008-04-08 | 2011-05-06 | クゥアルコム・インコーポレイテッド | 補間システムおよび方法 |
| JP2010035114A (ja) * | 2008-07-31 | 2010-02-12 | Elmo Co Ltd | 撮像装置 |
| JP2013251680A (ja) * | 2012-05-31 | 2013-12-12 | Jvc Kenwood Corp | 画像処理装置及び画像処理方法 |
| JP2014123814A (ja) * | 2012-12-20 | 2014-07-03 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1289310A3 (en) | 2005-12-07 |
| EP1289310B1 (en) | 2011-07-13 |
| EP1289310A2 (en) | 2003-03-05 |
| US7088392B2 (en) | 2006-08-08 |
| JP4352371B2 (ja) | 2009-10-28 |
| US20030052981A1 (en) | 2003-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003163939A (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
| EP2130176B1 (en) | Edge mapping using panchromatic pixels | |
| EP2130175B1 (en) | Edge mapping incorporating panchromatic pixels | |
| US6934056B2 (en) | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel | |
| JP5260635B2 (ja) | パンクロマチック画像を用いたノイズ低減されたカラーの画像 | |
| EP1395041B1 (en) | Colour correction of images | |
| US6978050B2 (en) | Electronic image color plane reconstruction | |
| JP5156022B2 (ja) | パンクロマチックおよびカラーの画像のノイズ低減 | |
| US10129437B2 (en) | Image processing apparatus, image processing method, recording medium, and program | |
| JP2004214756A (ja) | 画像ノイズの低減 | |
| US7269295B2 (en) | Digital image processing methods, digital image devices, and articles of manufacture | |
| JPWO2002071761A1 (ja) | 画像処理装置および画像処理プログラム | |
| CN113454687A (zh) | 图像处理方法、装置和***，计算机可读存储介质 | |
| US6642932B2 (en) | Method and system for interpolation in color images | |
| JP4196055B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| US20060104537A1 (en) | System and method for image enhancement | |
| JP4239483B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4239480B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4239484B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| Mariničová | Demosaicing as an ill-posed inverse problem | |
| WO2003101119A1 (fr) | Procede de traitement d'images, programme de traitement d'images et processeur d'images | |
| Tanaka et al. | Color kernel regression for robust direct upsampling from raw data of general color filter array | |
| Lee et al. | An efficient demosaiced image enhancement method for a low cost single-chip CMOS image sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050713 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070727 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070821 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070919 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071018 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080616 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080616 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081226 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090716 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4352371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |