JP4162111B2 - 画像処理方法および装置並びに記録媒体 - Google Patents
画像処理方法および装置並びに記録媒体 Download PDFInfo
- Publication number
- JP4162111B2 JP4162111B2 JP2000155621A JP2000155621A JP4162111B2 JP 4162111 B2 JP4162111 B2 JP 4162111B2 JP 2000155621 A JP2000155621 A JP 2000155621A JP 2000155621 A JP2000155621 A JP 2000155621A JP 4162111 B2 JP4162111 B2 JP 4162111B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- line
- pixel
- value
- signal value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 59
- 238000000034 method Methods 0.000 claims description 80
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000003595 spectral effect Effects 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 16
- 230000035945 sensitivity Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 239000011800 void material Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 18
- 239000003086 colorant Substances 0.000 description 16
- 238000009499 grossing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、単板ＣＣＤのような撮像デバイスにおいて得られたカラー画像を表す画像データのように、全画素位置において全色を表す信号値を有さない画像データを用いて、全画素位置における信号値を推定する画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
デジタルカメラに用いられるＣＣＤ等の撮像デバイスとしては、分光感度が異なる複数種類の光電変換素子を同一平面上に交互に配置して構成されているものが知られている（以下単板ＣＣＤと称する）。ここで、Ｒ，Ｇ，Ｂのそれぞれに分光感度を有する光電変換素子、すなわちＲ，Ｇ，Ｂの各チャンネルの光電変換素子を交互に配置した単板ＣＣＤの場合、連続したＲ，Ｇ，Ｂチャンネルの３個の光電変換素子の組が１つの画素を構成することとなる。しかしながら、このような単板ＣＣＤにおいては各画素のＲ，Ｇ，Ｂ信号値を同一画素位置において得ることができないため、色ずれや偽色が生じることがある。また、各チャンネルの光電変換素子数は単板ＣＣＤを構成する全素子数よりも少ないため、高解像度の画像を得ることができない。例えばＲ，Ｇ，Ｂ各チャンネルの光電変換素子を交互に配置した単板ＣＣＤにおいては、各チャンネルの光電変換素子数は全素子数の１／３しかないため、同一素子数のモノクロ撮像装置に比べて解像度が１／３となってしまう。このため、Ｒ，Ｇ，Ｂ各チャンネルの光電変換素子が存在しない部分における信号値を補間処理により求める方法が提案されているが、単に補間処理を行うのみでは、信号値が大きく変化する部分において偽色が発生することがある。この場合、撮像系に光学ローパスフィルタを使用したり、撮像信号に対してローパスフィルタによる平滑化処理を行うことにより偽色の発生を防止することができるが、この場合解像度が悪化するという問題がある。
【０００３】
ここで、人間の視覚特性は色よりも輝度に対して感度が高いものである。このため、単板ＣＣＤにおいて得られたカラー撮像信号から、各画素の輝度を表す高周波の輝度信号と、上述した補間処理およびローパスフィルタによる平滑化処理によって得られた低周波の色信号とを生成し、輝度信号および色信号を用いてカラー画像信号を再構成するようにした方法が提案されている（特開平１０−２００９０６号等）。この方法によれば、人間の視覚特性において感度が高い輝度成分に対してより多くの情報が与えられることとなるため、見かけ上解像度が高い画像を再現可能なカラー画像信号を得ることができる。
【０００４】
ところで、単板ＣＣＤとして、例えば図１６に示すように市松状に画素が配置されたハニカム配列のアレイ構造を有するＣＣＤが知られている（例えば特開平１０−１３６３９１号）。なお、これを市松状の画素配列と称することもある。また、図１７に示すように正方状に画素が配置されたベイヤー配列のアレイ構造を有するＣＣＤも知られている。なお、これを正方状の画素配列と称することもある。このようなアレイ構造すなわち画素配列を有する単板ＣＣＤにおいても上記と同様に偽色の問題が生じる。このため、上述したベイヤー配列のＣＣＤにおいて得られた光量ベースの信号について偽色を除去するために、画像中の局所的な領域においてはｒ，ｇ，ｂの信号の比は略一定であるという仮定に基づいて、ベイヤー配列のＣＣＤにおける垂直方向または水平方向のラインにおいて、隣接するラインにおけるｒ信号とｇ信号との比をｇ信号に乗算することにより、そのラインにおけるｒ信号を算出するようにした方法が知られている（特開平９−２１４９８９号）。この方法は、具体的には、図１８に示す画素配列において、ｇ１２画素位置におけるｒ信号ｒ１２を求めるには、まずｒ１１画素位置におけるｇ１１信号を（ｇ６＋ｇ１６）／２の演算により算出し、ｒ１１：ｇ１１＝ｒ１２：ｇ１２という仮定に基づいて、ｒ１２＝ｇ１２×ｒ１１／ｇ１１の演算によりｒ１２信号を算出するものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記特開平１０−２００９０６号等に記載された方法においては、単板ＣＣＤにおいて得られた撮像信号に対してどのようなローパスフィルタにより平滑化処理を施しても、実際の画像における高周波成分が画像中にすでに折り返されてしまっているため、折り返しひずみによるモアレを取り除くことができず、その結果偽色を十分に除去することができない。
【０００６】
一方、上記特開平９−２１４９８９号に記載された方法によれば、効果的に偽色を除去することができる。とくにこの方法は、画像の局所的な領域においては、ｒ：ｇ：ｂの光量の比が一定であるという仮定に基づいており、得られたＲＧＢ信号の比が光量に比例しているアナログ信号である場合には、ベイヤー配列のＣＣＤにおいて得られる画像信号における偽色を効率よく除去することができる。しかしながら、デジタルカメラにより得られる画像信号は、Ａ／Ｄ変換を行って光量ｒｇｂをデジタルのＲＧＢ信号に変換する場合に、量子化誤差を低減するため、およびコンピュータ系のビデオ回路へ信号を入力するために、例えばＲ＝ｒ０．４５、Ｒ＝ｌｏｇ（ｒ）のように、光量に対する指数値、対数値となるように信号値が表されていることから、ｒ：ｇ：ｂ＝Ｒ：Ｇ：Ｂとはならないものである。このため、上記特開平９−２１４９８９号に記載された方法は、信号値が光量に比例するアナログ信号に対しては偽色を除去することができるが、信号値が光量の指数値や対数値により表されている場合には偽色を除去することはできない。また、偽色はベイヤー配列の単板ＣＣＤのみならずハニカム配列の単板ＣＣＤにおいても発生する。
【０００７】
本発明は上記事情に鑑みなされたものであり、どのような信号であっても偽色を低減することができる画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明による画像処理方法は、例えば単板ＣＣＤのような撮像デバイスにおいて得られた画像データを構成する信号値が光量に対する指数値や対数値により表されている場合には、画像上の局所的な領域において、各信号値の差分値が等しくなるという前提に基づいてなされたものである。すなわち、本発明による画像処理方法は、異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第１から第３信号値に基づいて、全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定する画像処理方法において、
前記第２ラインにおける前記第２信号値を、該第２ラインに隣接する前記第１ラインにおける前記第１および前記第２信号値の差分値に基づいて推定することを特徴とするものである。
【０００９】
すなわち、例えば図１６に示すようなハニカム配列の単板ＣＣＤがＲ，Ｇ，Ｂのそれぞれに分光感度を有するものとした場合、この単板ＣＣＤにおいてはＲ，Ｇ，Ｂの色信号からなる画像データが得られる。そしてこの画像データにより表される画像の画素の配列を図１６を参照して説明すると、第１から第３画素、第１信号値から第３信号値をそれぞれＧ，Ｒ，Ｂに対応させ、第１ラインを図１６上左上から右下方向にＧＲ画素を交互に配置したＧＲラインとし、第２ラインを第１ラインと同様の方向にＧＢ画素を交互に配置したＧＢラインとした場合、本発明による画像処理方法は、ＧＢラインにおけるＲ信号値を、ＧＲラインにおけるＧ信号値およびＲ信号値の差分値に基づいて推定することを特徴とするものである。
【００１０】
なお、本発明の内容を分かりやすく説明するために、第１から第３画素、第１信号値から第３信号値をそれぞれＧ，Ｒ，Ｂに対応させ、第１ラインはＧＲライン、第２ラインはＧＢラインとし、以下に述べる本発明の構成において（）内に本発明の実施形態における図４を参照して、Ｇ，Ｂ，Ｒに参照番号を付して記載するが、画像データにより表される画像の画素配列としてはこれに限定されるものではない。
【００１１】
上記本発明による画像処理方法においては、前記第２（ＧＢ）ラインの前記第１（Ｇ０６）画素における第２（Ｒ０６）信号値を、前記第１（ＧＲ）ラインの該第１（Ｇ０６）画素近傍の前記第２（Ｒ０９）画素における第２（Ｒ０９）信号値と、前記第１（ＧＲ）ライン上における前記第１（Ｇ０５，Ｇ１３）信号値に対して１次元補間演算を施すことにより算出した前記第２（Ｒ０９）画素における前記第１（Ｇ０９）信号値との差分値（Ｒ０９−Ｇ０９）に基づいて推定することが好ましい。
【００１２】
また、この場合、前記第２（ＧＢ）ラインの前記第１（Ｇ０６）画素における第１（Ｇ０６）信号値に前記差分値（Ｒ０９−Ｇ０９）を加算することにより前記第２（ＧＢ）ラインの前記第１（Ｇ０６）画素位置における第２（Ｒ０６）信号値を推定することが好ましい。
【００１３】
さらに、本発明による画像処理方法においては、前記第２（ＧＢ）ラインの前記第３（Ｂ１０）画素における第２（Ｒ１０）信号値を、前記第１（ＧＲ）ラインの該第３（Ｂ１０）画素近傍の前記第１（Ｇ１３）画素における第１（Ｇ１３）信号値と、前記第１（ＧＲ）ライン上における前記第２（Ｒ０９，Ｒ１７）信号値に対して１次元補間演算を施すことにより算出した前記第１（Ｇ１３）画素における前記第２（Ｒ１３）信号値との差分値（Ｒ１３−Ｇ１３）に基づいて推定することが好ましい。
【００１４】
この場合、前記第２（ＧＢ）ラインの前記第３（Ｂ１０）画素位置における第１（Ｇ１０）信号値を、該第２（ＧＢ）ライン上における前記第１（Ｇ０６，Ｇ１４）信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１（Ｇ１０）信号値に前記差分値（Ｒ１３−Ｇ１３）を加算することにより前記第２（ＧＢ）ラインの前記第３（Ｂ１０）画素位置における第２（Ｒ１０）信号値を推定することが好ましい。
【００１５】
さらに、本発明による画像処理方法においては、前記差分値は、前記第２（ＧＢ）ラインに隣接する２つの前記第１（ＧＲ）ラインにおける前記差分値（例えばＲ０９−Ｇ０９，Ｒ０３−Ｇ０３）の平均値であることが好ましい。
【００１６】
さらにまた、本発明による画像処理方法においては、前記第１（ＧＲ）ラインにおける前記第３（Ｂ）信号値を、該第１（ＧＲ）ラインに隣接する前記第２（ＧＢ）ラインにおける前記第１（Ｇ）および前記第３（Ｂ）信号値の差分値に基づいて推定することが好ましい。
【００１７】
また、この場合、前記第１（ＧＲ）ラインの前記第１（Ｇ１３）画素における第３（Ｂ１３）信号値を、前記第２（ＧＢ）ラインの該第１（Ｇ１３）画素近傍の前記第３（Ｂ１０）画素における第３（Ｂ１０）信号値と、前記第２（ＧＢ）ライン上における前記第１（Ｇ０６，Ｇ１４）信号値に対して１次元補間演算を施すことにより算出した前記第３（Ｂ１０）画素における前記第１（Ｇ１０）信号値との差分値（Ｂ１０−Ｇ１０）に基づいて推定することが好ましい。
【００１８】
さらにこの場合、前記第１（ＧＲ）ラインの前記第１（Ｇ１３）画素における第１（Ｇ１３）信号値に前記差分値（Ｂ１０−Ｇ１０）を加算することにより前記第１（ＧＲ）ラインの前記第１（Ｇ１３）画素位置における第３（Ｂ１３）信号値を推定することが好ましい。
【００１９】
また、本発明による画像処理方法においては、前記第１（ＧＲ）ラインの前記第２（Ｒ０９）画素における第３（Ｂ０９）信号値を、前記第２（ＧＢ）ラインの該第２（Ｒ０９）画素近傍の前記第１（Ｇ０６）画素における第１（Ｇ０６）信号値と、前記第２（ＧＢ）ライン上における前記第３（Ｂ０２，Ｂ１０）信号値に対して１次元補間演算を施すことにより算出した前記第１（Ｇ０６）画素における前記第３（Ｂ０６）信号値との差分値（Ｂ０６−Ｇ０６）に基づいて推定することが好ましい。
【００２０】
この場合、前記第１（ＧＲ）ラインの前記第２（Ｒ０９）画素における第１（Ｇ０９）信号値を、該第１（ＧＲ）ライン上における前記第１（Ｇ０５，Ｇ１３）信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１（Ｇ０９）信号値に前記差分値（Ｂ０６−Ｇ０６）を加算することにより前記第１（ＧＲ）ラインの前記第２（Ｒ０９）画素における第３（Ｂ０９）信号値を推定することが好ましい。
【００２１】
さらに、前記差分値は、前記第１（ＧＲ）ラインに隣接する２つの前記第２（ＧＢ）ラインにおける前記差分値（例えばＢ１０−Ｇ１０，Ｂ１６−Ｇ１６）の平均値であることが好ましい。
【００２２】
また、本発明による画像処理方法においては、前記画像データにより表される画像の前記所定方向（矢印Ａ方向）と直交する直交方向（矢印Ｂ方向）において、前記第１（Ｇ）および前記第２（Ｒ）画素が交互に、かつ前記第１（Ｇ）および前記第３（Ｂ）画素が交互に配置されて、前記直交方向における前記第１（ＧＲ）ラインおよび前記第２（ＧＢ）ラインを形成してなる場合、
信号値を推定する画素位置に応じて、前記所定方向における前記第１および前記第２ラインと、前記直交方向における前記第１および前記第２ラインとを切り替えて、前記第１から第３信号値のうち少なくとも１つの信号値を推定することが好ましい。
【００２３】
この場合、前記切り替えを、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて行うことが好ましい。
【００２４】
ここで、「尺度値」とは、信号値を推定する画素位置での信号値の変化方向を表すものであり、例えば前記所定方向および前記直交方向において信号値を推定する画素位置に隣接する画素位置における信号値の変化量により尺度値を表すことができる。
【００２５】
さらに、本発明による画像処理方法においては、前記画像データにより表される画像の前記所定方向（矢印Ａ方向）と直交する直交方向（矢印Ｂ方向）において、前記第１（Ｇ）および前記第２（Ｒ）画素が交互に、かつ前記第１（Ｇ）および前記第３（Ｂ）画素が交互に配置されて、前記直交方向における前記第１（ＧＲ）ラインおよび前記第２（ＧＢ）ラインを形成してなる場合、
前記所定方向における前記第１および前記第２ラインに基づく所定方向推定値、および前記直交方向における前記第１および前記第２ラインに基づく直交方向推定値を算出し、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第１から第３信号値のうち少なくとも１つの信号値を推定することが好ましい。
【００２６】
この場合、前記所定の重み付け係数が、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて算出されたものであることが好ましい。
【００２７】
ここで、「所定方向推定値」および「直交方向推定値」とは、所定方向および直交方向についてそれぞれ推定した第１から第３信号値のうち少なくとも１つの信号値のことである。
【００２８】
また、本発明による画像処理方法においては、前記第１（ＧＲ）ラインの画素配列が、前記第２（ＧＢ）ラインの画素配列に対して前記所定方向に略１／２画素相対的にずれることにより、前記画像データにより表される画像の前記第１から第３画素が市松状に配列されてなることが好ましい。
【００２９】
このような画素位置の配列の場合、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定することが好ましい。
【００３０】
ここで、「空孔画素位置」とは、図１６に示すようなハニカム配列の単板ＣＣＤにおいて、これを正方配列と見なした場合に、例えば図１６の横方向におけるＲとＢとの間、ＧとＧとの間の画素位置のように、信号値を有さない画素位置とみなせる位置のことをいう。
【００３１】
また、本発明による画像処理方法においては、前記第１から前記第３の信号値が、それぞれＧ（グリーン）、Ｂ（ブルー）、Ｒ（レッド）のいずれかの色、あるいはＹ（イエロー）、Ｇ（グリーン）、Ｃ（シアン）のいずれかの色信号であることが好ましい。
【００３２】
さらに、本発明による画像処理方法においては、前記画像データが、異なる分光感度を有する第１から第３の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第１および前記第２の光電変換素子を所定方向に交互に配置して第１ラインを形成し、前記第１および前記第３の光電変換素子を前記所定方向に交互に配置して第２ラインを形成し、さらに前記第１および前記第２ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであってもよい。
【００３３】
また、本発明による他の画像処理方法は、異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理方法において、
本発明による画像処理方法により、前記画像データにより表される画像の全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定して推定画像データを得、
前記画像データから高周波の輝度情報を表す高周波輝度信号を作成し、
前記推定画像データを、該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換し、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とするものである。
【００３４】
ここで、画像データから高周波輝度信号を作成する方法としては、画像データを構成する第１から第３の信号値をそのまま輝度信号とし、この輝度信号に対してハイパスフィルタによるフィルタリング処理を施す方法や、例えば特開平５−２２８１０８号、同６−３０４４４号、同６−２２５３４３号、同８−９１９９号などに記載された方法を採用することができる。
【００３５】
なお、本発明による他の画像処理方法においては、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することが好ましい。
【００３６】
また、本発明による他の画像処理方法においては、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することが好ましい。
【００３７】
ここで、「所定の通過帯域特性」としては、例えば画像データのノイズ成分に対応する周波数帯域の周波数成分をカットする特性のことをいう。
【００３８】
本発明による画像処理装置は、異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第１から第３信号値に基づいて、全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定する推定手段を備えた画像処理装置において、
前記推定手段は、前記第２ラインにおける前記第２信号値を、該第２ラインに隣接する前記第１ラインにおける前記第１および前記第２信号値の差分値に基づいて推定する手段であることを特徴とするものである。
【００３９】
なお、本発明による画像処理装置においては、前記推定手段は、前記第２ラインの前記第１画素における第２信号値を、前記第１ラインの該第１画素近傍の前記第２画素における第２信号値と、前記第１ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第２画素における前記第１信号値との差分値に基づいて推定する手段であることが好ましい。
【００４０】
また、この場合、前記推定手段は、前記第２ラインの前記第１画素における第１信号値に前記差分値を加算することにより、前記第２ラインの前記第１画素における第２信号値を推定する手段であることが好ましい。
【００４１】
さらに、本発明による画像処理装置においては、前記推定手段は、前記第２ラインの前記第３画素における第２信号値を、前記第１ラインの該第３画素近傍の前記第１画素における第１信号値と、前記第１ライン上における前記第２信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第２信号値との差分値に基づいて推定する手段であることが好ましい。
【００４２】
この場合、前記推定手段は、前記第２ラインの前記第３画素位置における第１信号値を、該第２ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１信号値に前記差分値を加算することにより前記第２ラインの前記第３画素位置における第２信号値を推定する手段であることが好ましい。
【００４３】
また、前記差分値は、前記第２ラインに隣接する２つの前記第１ラインにおける前記差分値の平均値であることが好ましい。
【００４４】
さらに、本発明による画像処理装置においては、前記推定手段は、前記第１ラインにおける前記第３信号値を、該第１ラインに隣接する前記第２ラインにおける前記第１および前記第３信号値の差分値に基づいて推定する手段であることが好ましい。
【００４５】
この場合、前記推定手段は、前記第１ラインの前記第１画素における第３信号値を、前記第２ラインの該第１画素近傍の前記第３画素における第３信号値と、前記第２ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第３画素における前記第１信号値との差分値に基づいて推定する手段であることが好ましい。
【００４６】
さらにこの場合、前記推定手段は、前記第１ラインの前記第１画素における第１信号値に前記差分値を加算することにより前記第１ラインの前記第１画素位置における第３信号値を推定する手段であることが好ましい。
【００４７】
また、本発明による画像処理装置においては、前記推定手段は、前記第１ラインの前記第２画素における第３信号値を、前記第２ラインの該第２画素近傍の前記第１画素における第１信号値と、前記第２ライン上における前記第３信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第３信号値との差分値に基づいて推定する手段であることが好ましい。
【００４８】
この場合、前記推定手段は、前記第１ラインの前記第２画素における第１信号値を、該第１ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１信号値に前記差分値を加算することにより前記第１ラインの前記第２画素における第３信号値を推定する手段であることが好ましい。
【００４９】
なお、前記推定手段は、前記差分値を、前記第１ラインに隣接する２つの前記第２ラインにおける前記差分値の平均値として算出する手段であることが好ましい。
【００５０】
また、本発明による画像処理装置においては、前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記推定手段は、信号値を推定する画素位置に応じて、前記所定方向における前記第１および前記第２ラインと、前記直交方向における前記第１および前記第２ラインとを切り替えて、前記第１から第３信号値のうち少なくとも１つの信号値を推定する手段であることが好ましい。
【００５１】
この場合、前記切り替えを、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて行うことが好ましい。
【００５２】
さらに、本発明による画像処理装置においては、前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記推定手段は、前記所定方向における前記第１および前記第２ラインに基づく所定方向推定値、および前記直交方向における前記第１および前記第２ラインに基づく直交方向推定値を算出する手段と、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第１から第３信号値のうち少なくとも１つの信号値を推定する手段とを有することが好ましい。
【００５３】
この場合、前記所定の重み付け係数が、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて算出されたものであることが好ましい。
【００５４】
また、本発明による画像処理装置においては、前記第１ラインの画素配列が、前記第２ラインの画素配列に対して前記所定方向に略１／２画素相対的にずれることにより、前記画像データにより表される画像の前記第１から第３の画素が市松状に配列されてなることが好ましい。
【００５５】
この場合、前記推定手段は、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定する手段であることが好ましい。
【００５６】
なお、本発明による画像処理装置においては、前記第１から前記第３の信号値が、それぞれＧ、Ｂ、Ｒのいずれかの色に、あるいはＹ、Ｇ、Ｃのいずれかの色信号であることが好ましい。
【００５７】
また、本発明による画像処理装置においては、前記画像データが、異なる分光感度を有する第１から第３の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第１および前記第２の光電変換素子を所定方向に交互に配置して第１ラインを形成し、前記第１および前記第３の光電変換素子を前記所定方向に交互に配置して第２ラインを形成し、さらに前記第１および前記第２ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであってもよい。
【００５８】
本発明による他の画像処理装置は、異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理装置において、
上記本発明による画像処理装置により、前記画像データにより表される画像の全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定して推定画像データを得る補間手段と、
前記画像データの高周波の輝度情報を表す高周波輝度信号を作成する高周波輝度信号作成手段と、
前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換する輝度色差変換手段と、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得る加算手段とを備え、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とするものである。
【００５９】
なお、本発明による他の画像処理装置においては、前記高周波輝度信号作成手段は、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることが好ましい。
【００６０】
また、本発明による他の画像処理装置においては、前記高周波輝度信号作成手段は、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることが好ましい。
【００６１】
なお、本発明による画像処理方法および本発明による他の画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００６２】
また、本発明による画像処理装置をデジタルカメラ等の撮像装置に設けてもよく、プリンタ等の出力装置に設けてもよい。
【００６３】
【発明の効果】
本発明による画像処理方法および装置によれば、画像データを構成する信号値が、光量に対する指数値や対数値により表されている場合、画像データにより表される画像の局所的な領域においてはＲＧＢ各信号値の差は一定であるという前提に基づいて、各画素位置における信号値を算出するようにしたため、画像データを構成する信号値が指数値や対数値により表されている場合であっても、偽色を発生させることなく、全画素位置における信号値を求めることができる。したがって、本発明により、偽色のない高解像度の画像を得ることができる。
【００６４】
また、信号値が変化する方向に応じて、所定方向および直交方向について算出された信号値を重み付け加算して、各画素位置における信号値を算出することにより、信号値の変化方向に拘わらず偽色の発生を防止できるとともに、アーチファクトの発生をも防止することができる。
【００６５】
さらに、市松状に画素が配列されている場合に、空孔画素位置の信号値を求めることにより、正方状に画素が配列された状態における信号値を得ることができる。
【００６６】
また、本発明の他の画像処理方法および装置によれば、本発明による画像処理方法および装置により画像データにより表される画像の全画素位置における第１から第３の信号値のうち少なくとも１つの信号値が推定されて推定画像データが得られる。また、画像データの高周波の輝度情報を表す高周波輝度信号が作成され、推定画像データは推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換される。そして、推定輝度信号と高周波輝度信号とが加算されて加算輝度信号が得られる。ここで、推定画像データは偽色が低減されているため、偽色を生じさせることなく画像データを取得したシーンの画像を再現することができる。一方、画像データについては、その高周波成分は画像データを取得したシーンの高周波成分を忠実に表すものであるが、低周波成分には偽色が含まれる。したがって、画像データの高周波の輝度情報を表す高周波輝度信号はシーンの高周波成分を忠実に表す信号となる。このため、高周波輝度信号と推定輝度信号とを加算することにより得られる加算輝度信号はシーンの高周波成分を忠実に表すとともに、低周波成分についても偽色が低減されたものとなる。その結果、加算輝度信号と推定色差信号とに基づいて画像を再現することにより、より高解像度の画像を得ることができる。
【００６７】
なお、第１から第３の信号値の比率が画像上の位置により急激に変化しないと仮定すると、本発明の他の画像処理方法および装置により、一層高解像度の画像を得ることができる。しかしながら、第１から第３の信号値の比率の変化が大きい場合には、高周波輝度信号に偽信号が含まれるため、この高周波輝度信号から加算輝度信号を作成して推定色差信号とともに画像を再現すると、画像中にグレイのノイズが現れてしまう。したがって、このような場合には、このグレイのノイズ成分に対応する周波数帯域の周波数成分をカットするバンドパスフィルタを用いて高周波輝度信号を作成することにより、グレイのノイズを低減できるとともに、画像の解像度をも向上させることができる。
【００６８】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように本発明の第１の実施形態による画像処理装置は、単板ＣＣＤ１を構成する各光電変換素子において得られた信号値に対して補間処理を施して、全画素位置における信号値を求めるものであり、各信号値により構成される画像データＳ０に対して補間処理を施して、補間済み画像データＳ１を得る補間手段２を備える。補間手段２は、後述するようにして補間演算によりＧ信号ＱＧを算出するＧ補間手段３と、Ｒ信号ＱＲおよびＢ信号ＱＢを算出するＲＢ補間手段４と、Ｇ信号ＱＧ、Ｒ信号ＱＲおよびＢ信号ＱＢから後述する図３に示す空孔画素位置＊の信号値を算出する市松正方補間手段５とを備える。なお、図１に示す単板ＣＣＤ１においては、これを構成する光電変換素子からはアナログ信号が得られるものであるが、本実施形態における画像データＳ０は、アナログ信号をＡ／Ｄ変換したデジタル信号であり、なおかつこのデジタル信号は単板ＣＣＤ１に入力する光量の０．４５乗あるいは対数値となるように変換されているものとする。
【００６９】
なお、本実施形態による画像処理装置は、デジタルカメラのような撮像装置やフイルムから画像を読み取るスキャナ等の読取装置に設けられるものであってもよく、これらの装置において得られた画像信号を再生するモニタやプリンタ等の再生装置に設けられるものであってもよい。また、画像処理装置単体として用いてもよい。
【００７０】
図２は本実施形態において用いられる単板ＣＣＤ１の画素配列を示す図である。図２（ａ）に示す画素配列は、ｙ方向にＲ，Ｇチャンネルに対応する画素を交互に配列した第１のラインと、ｙ方向にＧ，Ｂチャンネルに対応する画素を交互に配列した第２のラインとを、ｘ方向に交互に配列したものであり、ｘ方向における各ラインにおいてもＲ，ＧチャンネルおよびＧ，Ｂチャンネルが交互に配列された正方状の画素配列となっている。このような正方状の画素配列としては、図１７に示すベイヤー配列が知られており、本実施形態においては図２（ａ）に示す画素配列をベイヤー配列と称するものとする。
【００７１】
また、図２（ｂ）に示す画素配列は、ｙ方向にＲ，Ｂチャンネルに対応する画素を交互に配設したラインと、ｙ方向にＧチャンネルに対応する画素を配列したラインとを、各ラインの画素の配列間隔が他のラインの画素配列に対してｙ方向に略１／２相対的にずれるように配列したものであり、市松状の画素配列となっている。このような市松状の画素配列としては、上記特開平１０−１３６３９１号に記載されたハニカム配列（図１６）が知られており、本実施形態においては図２（ｂ）に示す画素配列をハニカム配列と称するものとする。このハニカム配列は、ｘ方向に対して４５度傾斜した方向についてみれば、Ｒ，Ｇチャンネルの画素を交互に配列したラインと、同様に４５度傾斜した方向にＧ，Ｂチャンネルの画素を交互に配列したラインとを、この方向に直交する方向に交互に配列したものとなっている。なお、ハニカム配列は図２（ａ）に示すようなベイヤー配列と画素の配列を４５度回転させた関係となっている。また、ハニカム配列は上述したように市松状に画素が配列されてなるものであり、信号値を有さない空孔画素位置＊を用いて図３に示すように正方状に表現することも可能である。本実施形態においては、図２（ｂ）すなわち図３に示すハニカム配列の単板ＣＣＤ１において得られた画像データＳ０に対して処理を行うものとして説明する。
【００７２】
図４は、ハニカム配列の単板ＣＣＤ１の画素位置を示す図であり、各画素位置に参照番号を付して示すものである。ここでは、図３の左上から右下に向かう方向、すなわち図４において破線で示すＲ０１，Ｇ０５，Ｒ０９，Ｇ１３，Ｒ１７の方向（矢印Ａ方向）を所定方向とし、この所定方向すなわち矢印Ａ方向に直交する直交方向を矢印Ｂ方向とする。なお、ここでは画素位置に付与された参照番号を信号値の参照番号としても使用する。
【００７３】
（１）まず、ＲおよびＢ画素位置におけるＧ信号の算出処理について説明する。このＧ信号の算出はＧ補間手段３において行われる。ＲおよびＢ画素位置におけるＧ信号は、その画素位置周辺のＧ画素位置において得られるＧ信号に対して単純な補間演算を施すことにより算出することができる。例えば図５において実線で囲んだＲ０９位置でのＧ０９信号およびＢ１０位置でのＧ１０信号は、破線で囲んだその周囲のＧ画素位置におけるＧ信号を用いて下記の式（１）、（２）により算出される。
【００７４】
Ｇ０９＝（Ｇ０５＋Ｇ０６＋Ｇ１２＋Ｇ１３）／４ （１）
Ｇ１０＝（Ｇ０６＋Ｇ０７＋Ｇ１３＋Ｇ１４）／４ （２）
なお、Ｇ信号を算出する画素位置周辺の４×４のＧ画素において得られるＧ信号に対して２次元のCubic スプライン補間演算を施して、Ｇ信号を算出してもよい。これにより、補間前にＧ信号が有する周波数成分を損なうことなく補間を行うことができ、この結果、全ての画素位置において元の周波数情報を保持したＧ信号を得ることができる。また、補間演算の手法としては図４における縦横２次元方向における補間演算であれば、いかなる手法をも適用することができる。
【００７５】
（２）次に、所定方向（矢印Ａ方向）においてＲ，Ｇ画素が並ぶライン（以下第１のラインとする）におけるＧ画素位置でのＲ信号の算出処理について説明する。なお、これ以降の信号の算出処理はＲＢ補間手段４において行われる。このＧ画素位置におけるＲ信号の算出処理は、そのＧ画素位置が含まれる第１のライン上におけるＲ信号に対して１次元線形補間演算を施すことにより行われる。例えば、図６における実線で囲んだＧ０５画素位置でのＲ０５信号は、破線で囲んだ第１のライン方向に隣接する２つのＲ画素位置におけるＲ０１，Ｒ０９信号を用いて下記の式（３）により算出される。
【００７６】
Ｒ０５＝（Ｒ０１＋Ｒ０９）／２ （３）
なお、このＧ画素位置が存在する第１のライン上におけるＧ画素位置周辺の４点のＲ画素位置において得られるＲ信号について１次元のCubic スプライン補間演算を施して、Ｒ信号を算出してもよい。なおこの場合、Ｒ信号値を算出するＧ画素位置をＧ１３とすると４点のＲ画素位置はＲ０１，Ｒ０９，Ｒ１７，Ｒ２５となる。また、補間演算の手法としてはこの第１のライン方向における１次元の補間演算であれば、いかなる手法をも適用することができる。そしてこれにより第１のライン上のＧ画素位置におけるＲ信号を算出することができる。
【００７７】
（３）次に、Ｂ，Ｇ画素が並ぶライン（以下第２のラインとする）におけるＧ画素位置でのＲ信号の算出処理について説明する。このＧ画素位置におけるＲ信号の算出処理は、以下のようにして行う。まず、Ｒ信号を算出するＧ画素位置が含まれる第２のラインに隣接する第１のライン上において、Ｇ画素位置に隣接する画素位置を求める。例えば、ここでは図７に示す実線で囲んだＧ０６画素位置でのＲ０６信号を算出するものとすると、Ｇ０６画素位置に隣接する画素位置は破線で囲んだＲ０９画素位置およびＲ０３画素位置となるが、ここではＲ０９画素位置における信号値を用いるものとする。そしてこのＲ０９画素位置におけるＲ信号とＧ信号との差を、第２のライン上のＧ画素位置におけるＧ信号に加算し、その加算結果をＧ画素位置におけるＲ信号とする。例えば、Ｇ０６画素位置でのＲ０６信号は下記の式（４）により算出される。
【００７８】
Ｒ０６＝Ｇ０６＋（Ｒ０９−Ｇ０９） （４）
すなわち、式（４）は画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提により定められるものである。例えば、Ｒ０９画素位置およびＧ０６画素位置でのＲ信号とＧ信号との差が等しいとは、
Ｒ０６−Ｇ０６＝Ｒ０９−Ｇ０９ （５）
の関係を満たすということであり、式（５）をＲ０６信号について解いたものが式（４）となる。なお、式（４）においてＧ０９信号は、上記式（１）により算出されたものではなく、下記の式（６）に示す線形補間演算や１次元Cubic スプライン補間演算のように、Ｒ０９画素位置が存在する第１のライン上におけるＧ信号に対して１次元補間演算を施すことにより算出したものである。
【００７９】
Ｇ０９＝（Ｇ０５＋Ｇ１３）／２ （６）
すなわち、ここでは、画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提により信号値を算出しており、信号値の算出に使用するのはＧ０６画素位置が存在する第２のラインと、Ｒ０９画素位置が存在する第１のラインである。これは、第１および第２のライン上にある画素値の相関関係に基づいて信号値を算出しているということであり、不明な信号値について第１および第２のライン方向における信号値の変化を反映させて信号値を算出する必要がある。（２）の処理において、第２のラインにおけるＧ０６画素位置でのＲ０６信号は上記式（５）に示す関係に基づいて算出されるが、Ｇ０９信号が不明であるため、これを推定する必要がある。ここで、式（５）は第１および第２のライン間における相関関係を表しているため、Ｇ０９信号を推定するには、第１のライン上での所定方向（矢印Ａ方向）の信号値の変化を反映させる必要がある。一方、上記（１）の方法により算出したＧ信号を使用することが考えられるが、このＧ信号は式（１）、（２）に示すように、別のラインの信号値を用いて算出しているものであるため、第１のライン上における信号値の変化を反映したものではない。このため、第１のラインにおける信号値の変化を反映させるために、式（６）のように第１のライン上において１次元補間演算を行ってＧ０９信号を算出しているものである。
【００８０】
また、この場合、Ｇ画素位置の片側に隣接する画素位置におけるＲ信号とＧ信号との差に基づいてＧ画素位置のＲ信号を算出しているが、片側にのみ隣接する画素位置の信号値を用いたのでは、画像の位相がその方向に近寄ってしまう。これを防止するために、下記の式（７）に示すように、Ｒ信号を算出するＧ画素位置（例えばＧ０６画素位置）の両隣の画素位置（Ｒ０９，Ｒ０３画素位置）におけるＲ信号とＧ信号との差の平均値を、Ｒ信号を算出するＧ画素位置におけるＧ信号に加算したものを、そのＧ画素位置におけるＲ信号としてもよい。
【００８１】
Ｒ０６＝Ｇ０６＋（（Ｒ０９−Ｇ０９）＋（Ｒ０３−Ｇ０３））／２ （７）
そしてこれにより、第２のライン上のＧ画素位置におけるＲ信号を算出することができる。
【００８２】
（４）次に、Ｂ，Ｇ画素が並ぶ第２のラインにおけるＢ画素位置でのＲ信号の算出処理について説明する。このＢ画素位置におけるＲ信号の算出処理は、以下のようにして行う。まず、Ｒ信号を算出するＢ画素位置が含まれる第２のラインに隣接する第１のライン上において、Ｂ画素位置に隣接する画素位置を求める。例えば、ここでは図８に示す実線で囲んだＢ１０画素位置でのＲ１０信号を算出するものとすると、Ｂ１０画素位置に隣接する画素位置は破線で囲んだＧ１３画素位置およびＧ０７画素位置となるが、ここではＧ１３画素位置における信号値を用いるものとする。そしてこのＧ１３画素位置におけるＲ信号とＧ信号との差を、第２のライン上のＢ画素位置におけるＧ信号に加算し、その加算結果をＢ画素位置におけるＲ信号とする。例えば、Ｂ１０画素位置でのＲ１０信号は下記の式（８）により算出される。
【００８３】
Ｒ１０＝Ｇ１０＋（Ｒ１３−Ｇ１３） （８）
すなわち、式（８）は上記式（４）と同様に、画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提により定められるものである。例えば、Ｂ１０画素位置およびＧ１３画素位置でのＲ信号とＧ信号との差が等しいとは、
Ｒ１０−Ｇ１０＝Ｒ１３−Ｇ１３ （９）
の関係を満たすということであり、式（９）をＲ１０信号について解いたものが式（８）となる。なお、式（９）においてＧ１０信号は、上記式（１）により算出されたものではなく、Ｒ信号を算出するために下記の式（１０）に示す線形補間演算や１次元Cubic スプライン補間演算のように、Ｂ１０画素位置が存在する第２のライン上におけるＧ信号に対して１次元補間演算を施すことにより算出したものである。
【００８４】
Ｇ１０＝（Ｇ０６＋Ｇ１４）／２ （１０）
また、式（９）においてＲ１３信号は、上記式（１０）と同様に、Ｇ１３画素位置が存在する第１のライン上におけるＲ信号に対して１次元補間演算を施すことにより算出したものである。
【００８５】
Ｒ１３＝（Ｒ０９＋Ｒ１７）／２ （１１）
なお、この場合、上記式（７）と同様に、下記の式（１２）に示すように、Ｒ信号を算出するＢ画素位置（例えばＢ１０画素位置）の両隣の画素位置（Ｇ１３，Ｇ０７画素位置）におけるＲ信号とＧ信号との差の平均値を、Ｒ信号を算出するＢ画素位置におけるＧ信号に加算したものを、そのＢ画素位置におけるＲ信号としてもよい。
【００８６】
そしてこれにより、第２のライン上のＢ画素位置におけるＲ信号を算出することができる。
【００８７】
そして、上記（１）から（４）の処理を行うことにより、Ｒ信号が存在しない全ての画素位置におけるＲ信号を算出することができる。
【００８８】
以上、各画素位置におけるＲ信号の算出について説明したが、Ｂ，Ｇ画素が並ぶ第２のラインにおけるＧ画素位置でのＢ信号、Ｒ，Ｇ画素が並ぶ第１のラインにおけるＧ画素位置でのＢ信号、Ｒ，Ｇ画素が並ぶ第１のラインにおけるＲ画素位置でのＢ信号についても、上記（２）から（４）の処理において説明したようにＲ信号と同様にして算出することができ、これによりＢ信号が存在しない全ての画素位置におけるＢ信号を算出することができる。
【００８９】
なお、図２（ａ）に示すベイヤー配列の単板ＣＣＤ１においては画素配列を４５度回転させると、その画素配列は図２（ｂ）に示すハニカム配列と空孔画素位置＊を除けば同様のものとなる。したがって、上記の説明において、所定方向を図２における紙面上下方向、所定方向に直交する方向を図２における紙面左右方向とすることにより、ベイヤー配列の場合もハニカム配列の場合と同様に、全画素位置におけるＲＧＢ信号を算出することができる。
【００９０】
このようにして、全ての画素位置においてＲＧＢ全ての信号値ＱＲ，ＱＧ，ＱＢが得られると、市松正方補間手段５において、図３における空孔画素位置＊でのＲＧＢ信号値を補間演算により算出して、画素が正方状に配列されてなる補間済み画像データＳ１を得る。この補間演算は、図９に示すような空孔画素位置＊周辺の４画素位置の信号値を用いた補間フィルタや、図１０に示すように４×４画素についての２次元Cubicスプライン補間演算を行う補間フィルタの補間係数の配置を４５度傾斜させた補間係数の配置を有する補間フィルタを用いて補間演算を行うことにより求めることができる。なお、この空孔画素位置＊における信号値を算出するための補間演算を市松正方補間演算とする。また、補間演算についてはこれらに限定されるものではなく、上述したように求められた各画素位置におけるＲＧＢ信号をＹＣＣ輝度色差空間に変換し、ＹＣＣ毎に異なる補間フィルタによる補間演算を施す等、空孔画素位置＊における信号値を算出するための補間演算であればいかなる方法をも採用可能である。
【００９１】
次いで、第１の実施形態の動作について説明する。図１１は第１の実施形態の動作を示すフローチャートである。まず、被写体を撮影して単板ＣＣＤ１において画像データＳ０を得る（ステップＳ１）。次いで、Ｇ補間手段３において上記（１）の処理により、所定方向におけるＲまたはＢ画素位置におけるＧ信号ＱＧが算出される（ステップＳ２）。そして、算出する信号をＲ信号にセットし（ステップＳ３）、ＲＢ補間手段４において、上記（２）の処理により第１のラインにおけるＧ画素位置でのＲ信号ＱＲが算出される（ステップＳ４）。そして、上記（３）の処理による第２のラインにおけるＧ画素位置でのＲ信号ＱＲの算出（ステップＳ５）および上記（４）の処理による第２のラインにおけるＢ画素位置でのＲ信号ＱＲの算出（ステップＳ６）が行われ、Ｒ，Ｂ全ての信号を算出したか否かが判断される（ステップＳ７）。ステップＳ７が否定された場合には、ステップＳ８において算出する信号をＢ信号にセットし、ステップＳ４に戻ってステップＳ４からステップＳ７の処理を繰り返してＢ信号ＱＢを算出する。
【００９２】
ステップＳ７が肯定されると、全ての画素位置においてＲＧＢ信号ＱＲ，ＱＧ，ＱＢが算出されたとして、各画素の信号値に対して図９あるいは図１０に示す補間フィルタによる市松正方補間演算を行って、図３に示す空孔画素位置＊における信号値を市松正方補間演算により算出し（ステップＳ９）、処理を終了する。
【００９３】
そして、これにより、図２（ｂ）に示すハニカム配列による単板ＣＣＤ１の全画素位置におけるＲＧＢ信号を得ることができ、各画素位置においてＲＧＢ信号を有する補間済み画像データＳ１を得ることができる。
【００９４】
なお、図１１に示すフローチャートのステップＳ３においては、算出する信号をＲ信号にセットしているが、先にＢ信号にセットしてもよい。この場合、ステップＳ７が否定されるとステップＳ８において、算出する信号がＢ信号からＲ信号に切り替えられることとなる。
【００９５】
このように、第１の実施形態によれば、画像の局所的な領域においては、ＲＧＢ各信号値の差は一定であるという前提に基づいて、各画素位置における信号値を算出するようにしたため、単板ＣＣＤ１において得られた信号値が指数値や対数値により表されている場合であっても、偽色を発生させることなく、全画素位置における信号値を求めることができる。したがって、本実施形態により、偽色のない高解像度の画像を再現可能な補間済み画像データＳ１を得ることができる。
【００９６】
なお、上記（１）から（４）の処理においては、所定方向（矢印Ａ方向）について、式（６）、（１０）に示すように１次元補間演算を行って各画素位置における信号値を求め、さらにこの信号値を用いて、上記式（５）および式（９）に示すように矢印Ａ方向に直交する矢印Ｂ方向に隣接する画素位置でのＧ信号とＲ信号との差、およびＧ信号とＢ信号との差が一定であるということを前提として、さらに信号値を推定している。したがって、上記方法によれば矢印Ａ方向にＲＧＢ各色の変化がそれほど大きくない画像領域における偽色の発生を防止することができる。一方、矢印Ｂ方向を所定方向とすれば、上記（１）から（４）の処理と同様の処理により、右上から左下方向にＲＧＢ各色の変化がそれほど大きくない画像領域における偽色の発生を防止することができる。しかしながら、上記矢印Ａ，Ｂ方向のうちいずれか一方の方向のみを信号値を算出するための所定方向として処理を行ったのでは、この所定方向に各色の変化が大きい場合には偽色を低減することができない。
【００９７】
したがって、画像データＳ０により表される画像における画素値の変化量を各画素毎に検出し、画素値の変化の方向に応じて信号値を算出するための所定方向を矢印Ａ方向および矢印Ｂ方向と切り替えて、全画素位置におけるＲＧＢ各色の信号値を算出することにより、信号値の変化に拘わらず偽色の発生を防止することができる。しかしながら、この方法では画素値が変化する境界部分において処理の方向が異なるものとなるため、アーチファクトが発生するおそれがある。以下、これに対処するための方法を第２の実施形態として説明する。
【００９８】
図１２は本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図である。図１２に示すように、第２の実施形態による画像処理装置は、単板ＣＣＤ１において得られた画像データＳ０に基づいて、上記式（１）または式（２）によりＲ画素位置およびＢ画素位置でのＧ信号を算出するＧ補間手段１１と、図４に示す矢印Ａ方向を所定方向として上記（２）から（４）の処理により全画素位置でのＲ信号およびＢ信号を算出する第１ＲＢ補間手段１２と、矢印Ｂ方向を所定方向として上記（２）から（４）の処理により全画素位置でのＲ信号およびＢ信号を算出する第２ＲＢ補間手段１３と、第１および第２のＲＢ補間手段１２，１３において得られたＲ信号およびＢ信号を重み付け加算する重み付け加算手段１４と、画像上における信号値の変動方向の尺度を算出する変動方向尺度算出手段１５と、全画素位置におけるＲＧＢ信号から、空孔画素位置＊での信号値を算出する市松正方補間手段１６とを備える。
【００９９】
なお、Ｇ信号については上記式（１）および（２）に示すように、処理方向に拘わらず全ての画素位置における信号値を算出することができるため、Ｇ補間手段１１においては図１に示すＧ補間手段３と同様に、とくに処理の方向を考慮することなくＧ信号が算出される。
【０１００】
また、第２の実施形態における第１および第２のＲＢ補間手段１２，１３において行われる処理は、図１に示すＲＢ補間手段４における処理と処理の方向が異なるのみであり、第２の実施形態における市松正方補間手段１６において行われる処理は市松正方補間手段５において行われる処理と同一であるため、ここでは詳細な説明は省略する。
【０１０１】
まず、変動方向尺度算出手段１５において行われる処理について説明する。なお、第２の実施形態においても上記第１の実施形態における図３に示すようにハニカム配列の単板ＣＣＤ１を使用するものとし、各画素位置に図１３に示すように参照符号を付して説明する。なお、図１３において、矢印Ａ方向に延在するＲａ，Ｇｅ，Ｒｉ，Ｇｍのラインを第１のライン、同様に矢印Ａ方向に延在するＢｂ，Ｇｆ，Ｂｊ，Ｇｎのラインを第２のライン、矢印Ｂ方向に延在するＲｃ，Ｇｆ，Ｒｉ，Ｇｌのラインを第３のライン、同様に矢印Ｂ方向に延在するＢｄ，Ｇｇ，Ｂｊ，Ｇｍのラインを第４のラインとして説明する。また、以降の説明において、矢印Ａ方向について算出された信号には参照符号に(A)を付し、矢印Ｂ方向について算出された信号には参照符号に(B)を付するものとする。
【０１０２】
まず、Ｂｊ画素位置におけるＲ信号は、上記式（１２）と同様に、下記の式（１３）または（１４）により求められた値となる。
【０１０３】
Rj(A)=Gj(A)+((Rm(A)-Gm)+(Rg(A)-Gg))/2 （１３）
Rj(B)=Gj(B)+((Rf(B)-Gf)+(Rn(B)-Gn))/2 （１４）
なお、信号値Ｇｊ(A)はＢｊ画素位置が属する矢印Ａ方向のライン（第２のライン）上におけるＧ信号に対して１次元補間演算を行うことにより算出されたＢｊ画素位置でのＧ信号、信号値Ｇｊ(B)はＢｊ画素位置が属する矢印Ｂ方向のライン（第４のライン）上におけるＧ信号に対して１次元補間演算を行うことにより算出されたＢｊ画素位置でのＧ信号である。また、信号値Ｒｍ(A)はＧｍ画素位置が属する矢印Ａ方向のライン（第１のライン）上におけるＲ信号に対して１次元補間演算を行うことにより算出されたＧｍ画素位置でのＲ信号、信号値Ｒｇ(A)はＧｇ画素位置が属する矢印Ａ方向のライン上におけるＲ信号に対して１次元補間演算を行うことにより算出されたＧｇ画素位置でのＲ信号である。さらに、信号値Ｒｆ(B)はＧｆ画素位置が属する矢印Ｂ方向のライン（第３のライン）上におけるＲ信号に対して１次元補間演算を行うことにより算出されたＧｆ画素位置でのＲ信号、信号値Ｒｎ(B)はＧｎ画素位置が属する矢印Ｂ方向のライン上におけるＲ信号に対して１次元補間演算を行うことにより算出されたＧｎ画素位置でのＲ信号である。
【０１０４】
第２の実施形態においては第１および第２のＲＢ補間手段１２，１３においてそれぞれ式（１３）、（１４）により算出された信号値Ｒｊ(A)，Ｒｊ(B)を重み付け加算することによりＲ信号を算出する。変動方向尺度算出手段１５はこの重み付け係数を変動方向尺度Ｓｊとして算出するものである。
【０１０５】
変動方向尺度Ｓｊは下記の式（１５）、（１６）、（１７）により算出することができる。
【０１０６】
Sjv=|Bj-Gj(A)|/(Bj+Gj(A)) （１５）
Sjh=|Bj-Gj(B)|/(Bj+Gj(B)) （１６）
Sj=Sjv/(Sjv+Sjh)(if Sjv+Sjh=0 then Sj=0.5) （１７）
ここで、ＳｊｖはＢｊ画素位置の矢印Ａ方向における信号値の変化を表し、ＳｊｈはＢｊ画素位置の矢印Ｂ方向における信号値の変化を表す。また、Ｓｊの範囲は０≦Ｓｊ≦１であり、矢印Ａ方向において信号値の変動が少ないほど０に近い値となる。
【０１０７】
そして、重み付け加算手段１４においては、変動方向尺度Ｓｊを使用して下記の式（１８）によりＲ信号を重み付け加算して算出する。
【０１０８】
Rj=(1-Sj)*Rj(A)+Sj*Rj(B) （１８）
これにより、画素値の変化が少ない方向ほど大きな重み付けがなされて、Ｂｊ画素位置のＲ信号が算出されることとなる。
【０１０９】
なお、Ｇｆ画素位置でのＲ信号は上記式（７）と同様に、下記の式（１９）または（２０）により求められた値となる。
【０１１０】
Rf(A)=Gf+((Ri-Gi(A))+(Rc-Gc(A)))/2 （１９）
Rf(B)=Rf′ （２０）
但し、信号値Ｇｉ(A)はＲｉ画素位置が属する矢印Ａ方向のライン（第１のライン）上におけるＧ信号に対して１次元補間演算を行うことにより算出されたＲｉ画素位置でのＧ信号、信号値Ｇｃ(A)はＲｃ画素位置が属する矢印Ａ方向のライン上におけるＧ信号に対して１次元補間演算を行うことにより算出されたＲｃ画素位置でのＧ信号である。Ｒｆ′はＧｆ画素位置が属する矢印Ｂ方向のライン上におけるＲ信号に対して１次元補間演算により算出されたＧｆ画素位置でのＲ信号である。
【０１１１】
この場合、変動方向尺度Ｓｆは下記の式（２１）、（２２）、（２３）により算出することができる。
【０１１２】
Sfv=|Bf(A)-Gf|/(Bf(A)+Gf) （２１）
但し、信号Ｂｆ(A)は、Ｇｆ画素位置が属する矢印Ａ方向のライン（第２のライン）上におけるＢ信号に対して１次元補間演算を行うことにより得られたＧｆ画素位置でのＢ信号である。
【０１１３】
Sfh=|Rf(B)-Gf|/(Rf(B)+Gf) （２２）
但し、信号Ｒｆ(B)は、Ｇｆ画素位置が属する矢印Ｂ方向のライン上におけるＲ信号に対して１次元補間演算を行うことにより得られたＧｆ画素位置でのＲ信号である。
【０１１４】
Sf=Sfv/(Sfv+Sfh)(if Sfv+Sfh=0 then Sf=0.5)（２３）
ここで、Ｓｆの範囲は０≦Ｓｆ≦１であり、矢印Ａ方向において信号値の変動が少ないほど０に近い値となる。
【０１１５】
そして、重み付け加算手段１４においては、変動方向尺度Ｓｆを使用して下記の式（２４）によりＲ信号を重み付け加算して算出する。
【０１１６】
Rf=(1-Sf)*Rf(A)+Sf*Rf(B) （２４）
これにより、画素値の変化が少ない方向ほど大きな重み付けがなされて、Ｇｆ画素位置のＲ信号が算出されることとなる。
【０１１７】
一方、Ｂ信号も、Ｒ信号と同様に変動方向尺度が求められ、これにより矢印Ａ，Ｂ方向について算出したＢ信号を重み付け加算することにより算出される。
【０１１８】
このようにして重み付け加算により得られたＲ信号およびＢ信号は、Ｇ信号とともに市松正方補間手段１６において補間演算が施され、空孔画素位置＊における信号値が算出されて補間済み画像データＳ１として出力される。
【０１１９】
このように、第２の実施形態によれば、信号値が変化する方向に応じて、矢印Ａ方向および矢印Ｂ方向について算出された信号値を重み付け加算して、各画素位置におけるＲ信号およびＢ信号を算出するようにしたため、信号値の変化に拘わらず偽色の発生を防止できるとともに、アーチファクトの発生をも防止することができる。
【０１２０】
なお、上記各実施形態においては単板ＣＣＤ１として、Ｇ画素がＲ，Ｂ画素に対して倍の密度を有するものについて説明したが、Ｒ画素がＧ，Ｂ画素に対して、あるいはＢ画素がＲ，Ｇ画素に対して倍の密度を有するものであってもよい。また、Ｒ，Ｇ，Ｂに対して分光感度を有するものについて説明したが、単板ＣＣＤ１としてはこれに限定されるものではなく、Ｙ（イエロー）、Ｇ（グリーン）、Ｃ（シアン）に対して分光感度を有するもの、あるいはＹ、Ｗ（ホワイト）、Ｃに対して分光感度を有するものであってもよい。
【０１２１】
また、上記各実施形態においては、３色全ての信号値を算出しているが、１色または２色のみの信号値を算出するようにしてもよい。
【０１２２】
次いで、本発明の第３の実施形態について説明する。図１４は本発明の第３の実施形態による画像処理装置の構成を示す概略ブロック図である。図１４に示すように、第３の実施形態による画像処理装置は、単板ＣＣＤ１において得られた画像データＳ０に対して処理を施すものであり、画像データＳ０に対して補間処理を施してＲ１，Ｇ１，Ｂ１の色信号からなる補間済み画像データＳ１を得る第１の実施形態と同様の補間手段２と、補間済み画像データＳ１をＹＣＣ変換して、補間済み画像データＳ１の輝度情報および色差情報を表す推定輝度信号Ｙ０および推定色差信号Ｃｂ，Ｃｒを得るＹＣＣ変換手段２１と、画像データＳ０の高周波の輝度情報を表す高周波輝度信号ＹＨを作成する高周波輝度信号作成手段２２と、高周波輝度信号ＹＨと推定輝度信号Ｙ０とを加算して加算輝度信号Ｙ１を得る加算手段２３と、加算輝度信号Ｙ１および色差信号Ｃｂ，ＣｒをＲＧＢ変換してＲ２，Ｇ２，Ｂ２の色信号からなる処理済み画像データＳ２を得るＲＧＢ変換手段２４とを備える。
【０１２３】
ＹＣＣ変換手段２１は、下記の式（２５）〜（２７）に示すように、補間済み画像データＳ１を推定輝度信号Ｙ０および推定色差信号Ｃｂ，Ｃｒに変換する。
【０１２４】
Ｙ０＝０．２９９Ｒ１＋０．５８７Ｇ１＋０．１１４Ｂ１ （２５）
Ｃｂ＝（Ｂ１−Ｙ０）／１．７７２ （２６）
Ｃｒ＝（Ｒ１−Ｙ０）／１．４０２ （２７）
但し、Ｒ１，Ｇ１，Ｂ１は補間済み画像データＳ１を構成する色信号
高周波輝度信号作成手段２２は、画像データＳ０を構成する各画素位置のＲ，Ｇ，Ｂ各信号値をそのまま輝度信号とし、この輝度信号に対して推定輝度信号Ｙ０に相当する周波数成分をカットするハイパスフィルタによるフィルタリング処理を施す方法により、画像データＳ０の高周波の輝度情報を表す高周波輝度信号ＹＨを得る。なお、高周波輝度信号ＹＨを得るための方法としては、Ｒ，Ｇ，Ｂ各信号値に対してハイパスフィルタによるフィルタリング処理を施した後、上記式（２５）により輝度信号を得る方法（特開平５−２２８１０８号）、Ｒ，Ｇ，Ｂ各信号値に対して上記式（２５）により輝度信号を得、この輝度信号に対してハイパスフィルタによるフィルタリング処理を施す方法（同６−３０４４４号）、画像データからフィールド間ＹＣ分離処理の技術により高周波輝度信号を抽出する方法（同６−２２５３４３号）、Ｒ，Ｇ，Ｂ各信号値に対して上記式（２５）により輝度信号を得、この輝度信号に対してガンマ補正処理を施した後ハイパスフィルタによるフィルタリング処理を施す方法（同８−９１９９号）等を採用することができる。
【０１２５】
ＲＧＢ変換手段２４は、加算輝度信号Ｙ１および色差信号Ｃｂ，Ｃｒについて、上記式（２５）から（２７）を逆に解くことにより、処理済み画像データＳ２を構成する色信号Ｒ２，Ｇ２，Ｂ２を得る。
【０１２６】
なお、画像データＳ０を構成する色信号Ｒ，Ｇ，Ｂの比率が、画像データＳ０により表される画像上の位置により急激に変化しないと仮定すると、画像データＳ０を構成する各画素位置のＲ，Ｇ，Ｂ各信号値をそのまま輝度信号とし、この輝度信号に対して推定輝度信号Ｙ０に相当する周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより得られた高周波輝度信号ＹＨは、画像データＳ０により表される画像の高周波成分を忠実に表すものとなる。したがって、画像データＳ０により表される画像が無彩色である場合、またはＲ，Ｇ，Ｂ信号値の比率の変化が小さい場合には、加算輝度信号Ｙ１を用いて処理済み画像データＳ２を得ることにより、処理済み画像データＳ２により表される処理済み画像の解像度を向上させることができる。
【０１２７】
しかしながら、画像データＳ０により表される画像が有彩色であり、かつＲ，Ｇ，Ｂ信号値の比率の変化が大きい場合には、高周波輝度信号ＹＨに偽信号が発生し、処理済み画像にグレイのノイズが現れてしまう。したがって、このような場合には、このグレイのノイズ成分に対応する周波数帯域の周波数成分をカットするバンドパスフィルタを用いて、処理済み画像の解像度と偽信号とのバランスに応じて高周波輝度信号を作成することにより、グレイのノイズを低減できるとともに、画像の解像度をも向上させることができる。
【０１２８】
次いで、第３の実施形態の動作について説明する。図１５は、第３の実施形態の動作を示すフローチャートである。まず、被写体を撮影して単板ＣＣＤ１において画像データＳ０を得る（ステップＳ１１）。次いで、補間手段２において上記第１または第２の実施形態と同様に補間演算が行われて補間済み画像データＳ１が得られる（ステップＳ１２）。補間済み画像データＳ１はＹＣＣ変換手段２１においてＹＣＣ変換されて、推定輝度信号Ｙ０および推定色差信号Ｃｂ，Ｃｒが得られる（ステップＳ１３）。一方、高周波輝度信号作成手段２２において画像データＳ０の高周波輝度信号ＹＨが作成される（ステップＳ１４）。なお、ステップＳ１４の処理をステップＳ１２，Ｓ１３の処理より先に行ってもよく、これらの処理を並列に行ってもよい。
【０１２９】
そして、加算手段２３において、高周波輝度信号ＹＨと推定輝度信号Ｙ０とが加算されて加算輝度信号Ｙ１が得られる（ステップＳ１５）。加算輝度信号Ｙ１は推定色差信号Ｃｂ，ＣｒとともにＲＧＢ色信号に変換されて処理済み画像データＳ２が得られ（ステップＳ１６）、処理を終了する。
【０１３０】
ここで、画像データＳ０により表される画像の高周波成分を忠実に表す高周波輝度信号ＹＨと、偽色が低減された補間済み画像データＳ１から得られた推定輝度信号Ｙ０とを加算することにより得られた加算輝度信号Ｙ１は、シーンの高周波成分を忠実に表すとともに、低周波成分についても偽色が低減されたものとなる。したがって、第３の実施形態のように、加算輝度信号Ｙ１と推定色差信号Ｃｂ，Ｃｒとに基づいて処理済み画像データＳ２を得ることにより、偽色がなくかつより高解像度の処理済み画像を得ることができる。
【０１３１】
なお、上記各実施形態においては、単板ＣＣＤ１において得られた画像データＳ０に対して処理を施しているが、図２（ａ）あるいは図２（ｂ）に示すような画素配列を有する画像を表す画像データであれば、いかなる態様にて取得した画像データに対しても同様に処理を施すことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】単板ＣＣＤにおける画素配列を示す図
【図３】ハニカム配列の単板ＣＣＤの画素配列を示す図
【図４】ハニカム配列の単板ＣＣＤの各画素位置を参照番号を付して示す図
【図５】信号値の算出を説明するための図（その１）
【図６】信号値の算出を説明するための図（その２）
【図７】信号値の算出を説明するための図（その３）
【図８】信号値の算出を説明するための図（その４）
【図９】市松正方フィルタの例を示す図（その１）
【図１０】市松正方フィルタの例を示す図（その２）
【図１１】第１の実施形態の動作を示すフローチャート
【図１２】本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図
【図１３】ハニカム配列の単板ＣＣＤの各画素位置を参照符号を付して示す図
【図１４】本発明の第３の実施形態による画像処理装置の構成を示す概略ブロック図
【図１５】第３の実施形態の動作を示すフローチャート
【図１６】ハニカム配列を示す図
【図１７】ベイヤー配列を示す図
【図１８】ベイヤー配列の各画素位置を参照符号を付して示す図
【符号の説明】
１ 単板ＣＣＤ
２ 補間手段
３，１１ Ｇ補間手段
４，１２，１３ ＲＢ補間手段
５，１６ 市松正方補間手段
２１ ＹＣＣ変換手段
２２ 高周波輝度信号作成手段
２３ 加算手段
２４ ＲＧＢ変換手段
【発明の属する技術分野】
本発明は、単板ＣＣＤのような撮像デバイスにおいて得られたカラー画像を表す画像データのように、全画素位置において全色を表す信号値を有さない画像データを用いて、全画素位置における信号値を推定する画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
デジタルカメラに用いられるＣＣＤ等の撮像デバイスとしては、分光感度が異なる複数種類の光電変換素子を同一平面上に交互に配置して構成されているものが知られている（以下単板ＣＣＤと称する）。ここで、Ｒ，Ｇ，Ｂのそれぞれに分光感度を有する光電変換素子、すなわちＲ，Ｇ，Ｂの各チャンネルの光電変換素子を交互に配置した単板ＣＣＤの場合、連続したＲ，Ｇ，Ｂチャンネルの３個の光電変換素子の組が１つの画素を構成することとなる。しかしながら、このような単板ＣＣＤにおいては各画素のＲ，Ｇ，Ｂ信号値を同一画素位置において得ることができないため、色ずれや偽色が生じることがある。また、各チャンネルの光電変換素子数は単板ＣＣＤを構成する全素子数よりも少ないため、高解像度の画像を得ることができない。例えばＲ，Ｇ，Ｂ各チャンネルの光電変換素子を交互に配置した単板ＣＣＤにおいては、各チャンネルの光電変換素子数は全素子数の１／３しかないため、同一素子数のモノクロ撮像装置に比べて解像度が１／３となってしまう。このため、Ｒ，Ｇ，Ｂ各チャンネルの光電変換素子が存在しない部分における信号値を補間処理により求める方法が提案されているが、単に補間処理を行うのみでは、信号値が大きく変化する部分において偽色が発生することがある。この場合、撮像系に光学ローパスフィルタを使用したり、撮像信号に対してローパスフィルタによる平滑化処理を行うことにより偽色の発生を防止することができるが、この場合解像度が悪化するという問題がある。
【０００３】
ここで、人間の視覚特性は色よりも輝度に対して感度が高いものである。このため、単板ＣＣＤにおいて得られたカラー撮像信号から、各画素の輝度を表す高周波の輝度信号と、上述した補間処理およびローパスフィルタによる平滑化処理によって得られた低周波の色信号とを生成し、輝度信号および色信号を用いてカラー画像信号を再構成するようにした方法が提案されている（特開平１０−２００９０６号等）。この方法によれば、人間の視覚特性において感度が高い輝度成分に対してより多くの情報が与えられることとなるため、見かけ上解像度が高い画像を再現可能なカラー画像信号を得ることができる。
【０００４】
ところで、単板ＣＣＤとして、例えば図１６に示すように市松状に画素が配置されたハニカム配列のアレイ構造を有するＣＣＤが知られている（例えば特開平１０−１３６３９１号）。なお、これを市松状の画素配列と称することもある。また、図１７に示すように正方状に画素が配置されたベイヤー配列のアレイ構造を有するＣＣＤも知られている。なお、これを正方状の画素配列と称することもある。このようなアレイ構造すなわち画素配列を有する単板ＣＣＤにおいても上記と同様に偽色の問題が生じる。このため、上述したベイヤー配列のＣＣＤにおいて得られた光量ベースの信号について偽色を除去するために、画像中の局所的な領域においてはｒ，ｇ，ｂの信号の比は略一定であるという仮定に基づいて、ベイヤー配列のＣＣＤにおける垂直方向または水平方向のラインにおいて、隣接するラインにおけるｒ信号とｇ信号との比をｇ信号に乗算することにより、そのラインにおけるｒ信号を算出するようにした方法が知られている（特開平９−２１４９８９号）。この方法は、具体的には、図１８に示す画素配列において、ｇ１２画素位置におけるｒ信号ｒ１２を求めるには、まずｒ１１画素位置におけるｇ１１信号を（ｇ６＋ｇ１６）／２の演算により算出し、ｒ１１：ｇ１１＝ｒ１２：ｇ１２という仮定に基づいて、ｒ１２＝ｇ１２×ｒ１１／ｇ１１の演算によりｒ１２信号を算出するものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記特開平１０−２００９０６号等に記載された方法においては、単板ＣＣＤにおいて得られた撮像信号に対してどのようなローパスフィルタにより平滑化処理を施しても、実際の画像における高周波成分が画像中にすでに折り返されてしまっているため、折り返しひずみによるモアレを取り除くことができず、その結果偽色を十分に除去することができない。
【０００６】
一方、上記特開平９−２１４９８９号に記載された方法によれば、効果的に偽色を除去することができる。とくにこの方法は、画像の局所的な領域においては、ｒ：ｇ：ｂの光量の比が一定であるという仮定に基づいており、得られたＲＧＢ信号の比が光量に比例しているアナログ信号である場合には、ベイヤー配列のＣＣＤにおいて得られる画像信号における偽色を効率よく除去することができる。しかしながら、デジタルカメラにより得られる画像信号は、Ａ／Ｄ変換を行って光量ｒｇｂをデジタルのＲＧＢ信号に変換する場合に、量子化誤差を低減するため、およびコンピュータ系のビデオ回路へ信号を入力するために、例えばＲ＝ｒ０．４５、Ｒ＝ｌｏｇ（ｒ）のように、光量に対する指数値、対数値となるように信号値が表されていることから、ｒ：ｇ：ｂ＝Ｒ：Ｇ：Ｂとはならないものである。このため、上記特開平９−２１４９８９号に記載された方法は、信号値が光量に比例するアナログ信号に対しては偽色を除去することができるが、信号値が光量の指数値や対数値により表されている場合には偽色を除去することはできない。また、偽色はベイヤー配列の単板ＣＣＤのみならずハニカム配列の単板ＣＣＤにおいても発生する。
【０００７】
本発明は上記事情に鑑みなされたものであり、どのような信号であっても偽色を低減することができる画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明による画像処理方法は、例えば単板ＣＣＤのような撮像デバイスにおいて得られた画像データを構成する信号値が光量に対する指数値や対数値により表されている場合には、画像上の局所的な領域において、各信号値の差分値が等しくなるという前提に基づいてなされたものである。すなわち、本発明による画像処理方法は、異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第１から第３信号値に基づいて、全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定する画像処理方法において、
前記第２ラインにおける前記第２信号値を、該第２ラインに隣接する前記第１ラインにおける前記第１および前記第２信号値の差分値に基づいて推定することを特徴とするものである。
【０００９】
すなわち、例えば図１６に示すようなハニカム配列の単板ＣＣＤがＲ，Ｇ，Ｂのそれぞれに分光感度を有するものとした場合、この単板ＣＣＤにおいてはＲ，Ｇ，Ｂの色信号からなる画像データが得られる。そしてこの画像データにより表される画像の画素の配列を図１６を参照して説明すると、第１から第３画素、第１信号値から第３信号値をそれぞれＧ，Ｒ，Ｂに対応させ、第１ラインを図１６上左上から右下方向にＧＲ画素を交互に配置したＧＲラインとし、第２ラインを第１ラインと同様の方向にＧＢ画素を交互に配置したＧＢラインとした場合、本発明による画像処理方法は、ＧＢラインにおけるＲ信号値を、ＧＲラインにおけるＧ信号値およびＲ信号値の差分値に基づいて推定することを特徴とするものである。
【００１０】
なお、本発明の内容を分かりやすく説明するために、第１から第３画素、第１信号値から第３信号値をそれぞれＧ，Ｒ，Ｂに対応させ、第１ラインはＧＲライン、第２ラインはＧＢラインとし、以下に述べる本発明の構成において（）内に本発明の実施形態における図４を参照して、Ｇ，Ｂ，Ｒに参照番号を付して記載するが、画像データにより表される画像の画素配列としてはこれに限定されるものではない。
【００１１】
上記本発明による画像処理方法においては、前記第２（ＧＢ）ラインの前記第１（Ｇ０６）画素における第２（Ｒ０６）信号値を、前記第１（ＧＲ）ラインの該第１（Ｇ０６）画素近傍の前記第２（Ｒ０９）画素における第２（Ｒ０９）信号値と、前記第１（ＧＲ）ライン上における前記第１（Ｇ０５，Ｇ１３）信号値に対して１次元補間演算を施すことにより算出した前記第２（Ｒ０９）画素における前記第１（Ｇ０９）信号値との差分値（Ｒ０９−Ｇ０９）に基づいて推定することが好ましい。
【００１２】
また、この場合、前記第２（ＧＢ）ラインの前記第１（Ｇ０６）画素における第１（Ｇ０６）信号値に前記差分値（Ｒ０９−Ｇ０９）を加算することにより前記第２（ＧＢ）ラインの前記第１（Ｇ０６）画素位置における第２（Ｒ０６）信号値を推定することが好ましい。
【００１３】
さらに、本発明による画像処理方法においては、前記第２（ＧＢ）ラインの前記第３（Ｂ１０）画素における第２（Ｒ１０）信号値を、前記第１（ＧＲ）ラインの該第３（Ｂ１０）画素近傍の前記第１（Ｇ１３）画素における第１（Ｇ１３）信号値と、前記第１（ＧＲ）ライン上における前記第２（Ｒ０９，Ｒ１７）信号値に対して１次元補間演算を施すことにより算出した前記第１（Ｇ１３）画素における前記第２（Ｒ１３）信号値との差分値（Ｒ１３−Ｇ１３）に基づいて推定することが好ましい。
【００１４】
この場合、前記第２（ＧＢ）ラインの前記第３（Ｂ１０）画素位置における第１（Ｇ１０）信号値を、該第２（ＧＢ）ライン上における前記第１（Ｇ０６，Ｇ１４）信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１（Ｇ１０）信号値に前記差分値（Ｒ１３−Ｇ１３）を加算することにより前記第２（ＧＢ）ラインの前記第３（Ｂ１０）画素位置における第２（Ｒ１０）信号値を推定することが好ましい。
【００１５】
さらに、本発明による画像処理方法においては、前記差分値は、前記第２（ＧＢ）ラインに隣接する２つの前記第１（ＧＲ）ラインにおける前記差分値（例えばＲ０９−Ｇ０９，Ｒ０３−Ｇ０３）の平均値であることが好ましい。
【００１６】
さらにまた、本発明による画像処理方法においては、前記第１（ＧＲ）ラインにおける前記第３（Ｂ）信号値を、該第１（ＧＲ）ラインに隣接する前記第２（ＧＢ）ラインにおける前記第１（Ｇ）および前記第３（Ｂ）信号値の差分値に基づいて推定することが好ましい。
【００１７】
また、この場合、前記第１（ＧＲ）ラインの前記第１（Ｇ１３）画素における第３（Ｂ１３）信号値を、前記第２（ＧＢ）ラインの該第１（Ｇ１３）画素近傍の前記第３（Ｂ１０）画素における第３（Ｂ１０）信号値と、前記第２（ＧＢ）ライン上における前記第１（Ｇ０６，Ｇ１４）信号値に対して１次元補間演算を施すことにより算出した前記第３（Ｂ１０）画素における前記第１（Ｇ１０）信号値との差分値（Ｂ１０−Ｇ１０）に基づいて推定することが好ましい。
【００１８】
さらにこの場合、前記第１（ＧＲ）ラインの前記第１（Ｇ１３）画素における第１（Ｇ１３）信号値に前記差分値（Ｂ１０−Ｇ１０）を加算することにより前記第１（ＧＲ）ラインの前記第１（Ｇ１３）画素位置における第３（Ｂ１３）信号値を推定することが好ましい。
【００１９】
また、本発明による画像処理方法においては、前記第１（ＧＲ）ラインの前記第２（Ｒ０９）画素における第３（Ｂ０９）信号値を、前記第２（ＧＢ）ラインの該第２（Ｒ０９）画素近傍の前記第１（Ｇ０６）画素における第１（Ｇ０６）信号値と、前記第２（ＧＢ）ライン上における前記第３（Ｂ０２，Ｂ１０）信号値に対して１次元補間演算を施すことにより算出した前記第１（Ｇ０６）画素における前記第３（Ｂ０６）信号値との差分値（Ｂ０６−Ｇ０６）に基づいて推定することが好ましい。
【００２０】
この場合、前記第１（ＧＲ）ラインの前記第２（Ｒ０９）画素における第１（Ｇ０９）信号値を、該第１（ＧＲ）ライン上における前記第１（Ｇ０５，Ｇ１３）信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１（Ｇ０９）信号値に前記差分値（Ｂ０６−Ｇ０６）を加算することにより前記第１（ＧＲ）ラインの前記第２（Ｒ０９）画素における第３（Ｂ０９）信号値を推定することが好ましい。
【００２１】
さらに、前記差分値は、前記第１（ＧＲ）ラインに隣接する２つの前記第２（ＧＢ）ラインにおける前記差分値（例えばＢ１０−Ｇ１０，Ｂ１６−Ｇ１６）の平均値であることが好ましい。
【００２２】
また、本発明による画像処理方法においては、前記画像データにより表される画像の前記所定方向（矢印Ａ方向）と直交する直交方向（矢印Ｂ方向）において、前記第１（Ｇ）および前記第２（Ｒ）画素が交互に、かつ前記第１（Ｇ）および前記第３（Ｂ）画素が交互に配置されて、前記直交方向における前記第１（ＧＲ）ラインおよび前記第２（ＧＢ）ラインを形成してなる場合、
信号値を推定する画素位置に応じて、前記所定方向における前記第１および前記第２ラインと、前記直交方向における前記第１および前記第２ラインとを切り替えて、前記第１から第３信号値のうち少なくとも１つの信号値を推定することが好ましい。
【００２３】
この場合、前記切り替えを、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて行うことが好ましい。
【００２４】
ここで、「尺度値」とは、信号値を推定する画素位置での信号値の変化方向を表すものであり、例えば前記所定方向および前記直交方向において信号値を推定する画素位置に隣接する画素位置における信号値の変化量により尺度値を表すことができる。
【００２５】
さらに、本発明による画像処理方法においては、前記画像データにより表される画像の前記所定方向（矢印Ａ方向）と直交する直交方向（矢印Ｂ方向）において、前記第１（Ｇ）および前記第２（Ｒ）画素が交互に、かつ前記第１（Ｇ）および前記第３（Ｂ）画素が交互に配置されて、前記直交方向における前記第１（ＧＲ）ラインおよび前記第２（ＧＢ）ラインを形成してなる場合、
前記所定方向における前記第１および前記第２ラインに基づく所定方向推定値、および前記直交方向における前記第１および前記第２ラインに基づく直交方向推定値を算出し、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第１から第３信号値のうち少なくとも１つの信号値を推定することが好ましい。
【００２６】
この場合、前記所定の重み付け係数が、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて算出されたものであることが好ましい。
【００２７】
ここで、「所定方向推定値」および「直交方向推定値」とは、所定方向および直交方向についてそれぞれ推定した第１から第３信号値のうち少なくとも１つの信号値のことである。
【００２８】
また、本発明による画像処理方法においては、前記第１（ＧＲ）ラインの画素配列が、前記第２（ＧＢ）ラインの画素配列に対して前記所定方向に略１／２画素相対的にずれることにより、前記画像データにより表される画像の前記第１から第３画素が市松状に配列されてなることが好ましい。
【００２９】
このような画素位置の配列の場合、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定することが好ましい。
【００３０】
ここで、「空孔画素位置」とは、図１６に示すようなハニカム配列の単板ＣＣＤにおいて、これを正方配列と見なした場合に、例えば図１６の横方向におけるＲとＢとの間、ＧとＧとの間の画素位置のように、信号値を有さない画素位置とみなせる位置のことをいう。
【００３１】
また、本発明による画像処理方法においては、前記第１から前記第３の信号値が、それぞれＧ（グリーン）、Ｂ（ブルー）、Ｒ（レッド）のいずれかの色、あるいはＹ（イエロー）、Ｇ（グリーン）、Ｃ（シアン）のいずれかの色信号であることが好ましい。
【００３２】
さらに、本発明による画像処理方法においては、前記画像データが、異なる分光感度を有する第１から第３の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第１および前記第２の光電変換素子を所定方向に交互に配置して第１ラインを形成し、前記第１および前記第３の光電変換素子を前記所定方向に交互に配置して第２ラインを形成し、さらに前記第１および前記第２ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであってもよい。
【００３３】
また、本発明による他の画像処理方法は、異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理方法において、
本発明による画像処理方法により、前記画像データにより表される画像の全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定して推定画像データを得、
前記画像データから高周波の輝度情報を表す高周波輝度信号を作成し、
前記推定画像データを、該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換し、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とするものである。
【００３４】
ここで、画像データから高周波輝度信号を作成する方法としては、画像データを構成する第１から第３の信号値をそのまま輝度信号とし、この輝度信号に対してハイパスフィルタによるフィルタリング処理を施す方法や、例えば特開平５−２２８１０８号、同６−３０４４４号、同６−２２５３４３号、同８−９１９９号などに記載された方法を採用することができる。
【００３５】
なお、本発明による他の画像処理方法においては、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することが好ましい。
【００３６】
また、本発明による他の画像処理方法においては、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することが好ましい。
【００３７】
ここで、「所定の通過帯域特性」としては、例えば画像データのノイズ成分に対応する周波数帯域の周波数成分をカットする特性のことをいう。
【００３８】
本発明による画像処理装置は、異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第１から第３信号値に基づいて、全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定する推定手段を備えた画像処理装置において、
前記推定手段は、前記第２ラインにおける前記第２信号値を、該第２ラインに隣接する前記第１ラインにおける前記第１および前記第２信号値の差分値に基づいて推定する手段であることを特徴とするものである。
【００３９】
なお、本発明による画像処理装置においては、前記推定手段は、前記第２ラインの前記第１画素における第２信号値を、前記第１ラインの該第１画素近傍の前記第２画素における第２信号値と、前記第１ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第２画素における前記第１信号値との差分値に基づいて推定する手段であることが好ましい。
【００４０】
また、この場合、前記推定手段は、前記第２ラインの前記第１画素における第１信号値に前記差分値を加算することにより、前記第２ラインの前記第１画素における第２信号値を推定する手段であることが好ましい。
【００４１】
さらに、本発明による画像処理装置においては、前記推定手段は、前記第２ラインの前記第３画素における第２信号値を、前記第１ラインの該第３画素近傍の前記第１画素における第１信号値と、前記第１ライン上における前記第２信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第２信号値との差分値に基づいて推定する手段であることが好ましい。
【００４２】
この場合、前記推定手段は、前記第２ラインの前記第３画素位置における第１信号値を、該第２ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１信号値に前記差分値を加算することにより前記第２ラインの前記第３画素位置における第２信号値を推定する手段であることが好ましい。
【００４３】
また、前記差分値は、前記第２ラインに隣接する２つの前記第１ラインにおける前記差分値の平均値であることが好ましい。
【００４４】
さらに、本発明による画像処理装置においては、前記推定手段は、前記第１ラインにおける前記第３信号値を、該第１ラインに隣接する前記第２ラインにおける前記第１および前記第３信号値の差分値に基づいて推定する手段であることが好ましい。
【００４５】
この場合、前記推定手段は、前記第１ラインの前記第１画素における第３信号値を、前記第２ラインの該第１画素近傍の前記第３画素における第３信号値と、前記第２ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第３画素における前記第１信号値との差分値に基づいて推定する手段であることが好ましい。
【００４６】
さらにこの場合、前記推定手段は、前記第１ラインの前記第１画素における第１信号値に前記差分値を加算することにより前記第１ラインの前記第１画素位置における第３信号値を推定する手段であることが好ましい。
【００４７】
また、本発明による画像処理装置においては、前記推定手段は、前記第１ラインの前記第２画素における第３信号値を、前記第２ラインの該第２画素近傍の前記第１画素における第１信号値と、前記第２ライン上における前記第３信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第３信号値との差分値に基づいて推定する手段であることが好ましい。
【００４８】
この場合、前記推定手段は、前記第１ラインの前記第２画素における第１信号値を、該第１ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１信号値に前記差分値を加算することにより前記第１ラインの前記第２画素における第３信号値を推定する手段であることが好ましい。
【００４９】
なお、前記推定手段は、前記差分値を、前記第１ラインに隣接する２つの前記第２ラインにおける前記差分値の平均値として算出する手段であることが好ましい。
【００５０】
また、本発明による画像処理装置においては、前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記推定手段は、信号値を推定する画素位置に応じて、前記所定方向における前記第１および前記第２ラインと、前記直交方向における前記第１および前記第２ラインとを切り替えて、前記第１から第３信号値のうち少なくとも１つの信号値を推定する手段であることが好ましい。
【００５１】
この場合、前記切り替えを、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて行うことが好ましい。
【００５２】
さらに、本発明による画像処理装置においては、前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記推定手段は、前記所定方向における前記第１および前記第２ラインに基づく所定方向推定値、および前記直交方向における前記第１および前記第２ラインに基づく直交方向推定値を算出する手段と、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第１から第３信号値のうち少なくとも１つの信号値を推定する手段とを有することが好ましい。
【００５３】
この場合、前記所定の重み付け係数が、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて算出されたものであることが好ましい。
【００５４】
また、本発明による画像処理装置においては、前記第１ラインの画素配列が、前記第２ラインの画素配列に対して前記所定方向に略１／２画素相対的にずれることにより、前記画像データにより表される画像の前記第１から第３の画素が市松状に配列されてなることが好ましい。
【００５５】
この場合、前記推定手段は、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定する手段であることが好ましい。
【００５６】
なお、本発明による画像処理装置においては、前記第１から前記第３の信号値が、それぞれＧ、Ｂ、Ｒのいずれかの色に、あるいはＹ、Ｇ、Ｃのいずれかの色信号であることが好ましい。
【００５７】
また、本発明による画像処理装置においては、前記画像データが、異なる分光感度を有する第１から第３の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第１および前記第２の光電変換素子を所定方向に交互に配置して第１ラインを形成し、前記第１および前記第３の光電変換素子を前記所定方向に交互に配置して第２ラインを形成し、さらに前記第１および前記第２ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであってもよい。
【００５８】
本発明による他の画像処理装置は、異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理装置において、
上記本発明による画像処理装置により、前記画像データにより表される画像の全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定して推定画像データを得る補間手段と、
前記画像データの高周波の輝度情報を表す高周波輝度信号を作成する高周波輝度信号作成手段と、
前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換する輝度色差変換手段と、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得る加算手段とを備え、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とするものである。
【００５９】
なお、本発明による他の画像処理装置においては、前記高周波輝度信号作成手段は、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることが好ましい。
【００６０】
また、本発明による他の画像処理装置においては、前記高周波輝度信号作成手段は、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることが好ましい。
【００６１】
なお、本発明による画像処理方法および本発明による他の画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００６２】
また、本発明による画像処理装置をデジタルカメラ等の撮像装置に設けてもよく、プリンタ等の出力装置に設けてもよい。
【００６３】
【発明の効果】
本発明による画像処理方法および装置によれば、画像データを構成する信号値が、光量に対する指数値や対数値により表されている場合、画像データにより表される画像の局所的な領域においてはＲＧＢ各信号値の差は一定であるという前提に基づいて、各画素位置における信号値を算出するようにしたため、画像データを構成する信号値が指数値や対数値により表されている場合であっても、偽色を発生させることなく、全画素位置における信号値を求めることができる。したがって、本発明により、偽色のない高解像度の画像を得ることができる。
【００６４】
また、信号値が変化する方向に応じて、所定方向および直交方向について算出された信号値を重み付け加算して、各画素位置における信号値を算出することにより、信号値の変化方向に拘わらず偽色の発生を防止できるとともに、アーチファクトの発生をも防止することができる。
【００６５】
さらに、市松状に画素が配列されている場合に、空孔画素位置の信号値を求めることにより、正方状に画素が配列された状態における信号値を得ることができる。
【００６６】
また、本発明の他の画像処理方法および装置によれば、本発明による画像処理方法および装置により画像データにより表される画像の全画素位置における第１から第３の信号値のうち少なくとも１つの信号値が推定されて推定画像データが得られる。また、画像データの高周波の輝度情報を表す高周波輝度信号が作成され、推定画像データは推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換される。そして、推定輝度信号と高周波輝度信号とが加算されて加算輝度信号が得られる。ここで、推定画像データは偽色が低減されているため、偽色を生じさせることなく画像データを取得したシーンの画像を再現することができる。一方、画像データについては、その高周波成分は画像データを取得したシーンの高周波成分を忠実に表すものであるが、低周波成分には偽色が含まれる。したがって、画像データの高周波の輝度情報を表す高周波輝度信号はシーンの高周波成分を忠実に表す信号となる。このため、高周波輝度信号と推定輝度信号とを加算することにより得られる加算輝度信号はシーンの高周波成分を忠実に表すとともに、低周波成分についても偽色が低減されたものとなる。その結果、加算輝度信号と推定色差信号とに基づいて画像を再現することにより、より高解像度の画像を得ることができる。
【００６７】
なお、第１から第３の信号値の比率が画像上の位置により急激に変化しないと仮定すると、本発明の他の画像処理方法および装置により、一層高解像度の画像を得ることができる。しかしながら、第１から第３の信号値の比率の変化が大きい場合には、高周波輝度信号に偽信号が含まれるため、この高周波輝度信号から加算輝度信号を作成して推定色差信号とともに画像を再現すると、画像中にグレイのノイズが現れてしまう。したがって、このような場合には、このグレイのノイズ成分に対応する周波数帯域の周波数成分をカットするバンドパスフィルタを用いて高周波輝度信号を作成することにより、グレイのノイズを低減できるとともに、画像の解像度をも向上させることができる。
【００６８】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように本発明の第１の実施形態による画像処理装置は、単板ＣＣＤ１を構成する各光電変換素子において得られた信号値に対して補間処理を施して、全画素位置における信号値を求めるものであり、各信号値により構成される画像データＳ０に対して補間処理を施して、補間済み画像データＳ１を得る補間手段２を備える。補間手段２は、後述するようにして補間演算によりＧ信号ＱＧを算出するＧ補間手段３と、Ｒ信号ＱＲおよびＢ信号ＱＢを算出するＲＢ補間手段４と、Ｇ信号ＱＧ、Ｒ信号ＱＲおよびＢ信号ＱＢから後述する図３に示す空孔画素位置＊の信号値を算出する市松正方補間手段５とを備える。なお、図１に示す単板ＣＣＤ１においては、これを構成する光電変換素子からはアナログ信号が得られるものであるが、本実施形態における画像データＳ０は、アナログ信号をＡ／Ｄ変換したデジタル信号であり、なおかつこのデジタル信号は単板ＣＣＤ１に入力する光量の０．４５乗あるいは対数値となるように変換されているものとする。
【００６９】
なお、本実施形態による画像処理装置は、デジタルカメラのような撮像装置やフイルムから画像を読み取るスキャナ等の読取装置に設けられるものであってもよく、これらの装置において得られた画像信号を再生するモニタやプリンタ等の再生装置に設けられるものであってもよい。また、画像処理装置単体として用いてもよい。
【００７０】
図２は本実施形態において用いられる単板ＣＣＤ１の画素配列を示す図である。図２（ａ）に示す画素配列は、ｙ方向にＲ，Ｇチャンネルに対応する画素を交互に配列した第１のラインと、ｙ方向にＧ，Ｂチャンネルに対応する画素を交互に配列した第２のラインとを、ｘ方向に交互に配列したものであり、ｘ方向における各ラインにおいてもＲ，ＧチャンネルおよびＧ，Ｂチャンネルが交互に配列された正方状の画素配列となっている。このような正方状の画素配列としては、図１７に示すベイヤー配列が知られており、本実施形態においては図２（ａ）に示す画素配列をベイヤー配列と称するものとする。
【００７１】
また、図２（ｂ）に示す画素配列は、ｙ方向にＲ，Ｂチャンネルに対応する画素を交互に配設したラインと、ｙ方向にＧチャンネルに対応する画素を配列したラインとを、各ラインの画素の配列間隔が他のラインの画素配列に対してｙ方向に略１／２相対的にずれるように配列したものであり、市松状の画素配列となっている。このような市松状の画素配列としては、上記特開平１０−１３６３９１号に記載されたハニカム配列（図１６）が知られており、本実施形態においては図２（ｂ）に示す画素配列をハニカム配列と称するものとする。このハニカム配列は、ｘ方向に対して４５度傾斜した方向についてみれば、Ｒ，Ｇチャンネルの画素を交互に配列したラインと、同様に４５度傾斜した方向にＧ，Ｂチャンネルの画素を交互に配列したラインとを、この方向に直交する方向に交互に配列したものとなっている。なお、ハニカム配列は図２（ａ）に示すようなベイヤー配列と画素の配列を４５度回転させた関係となっている。また、ハニカム配列は上述したように市松状に画素が配列されてなるものであり、信号値を有さない空孔画素位置＊を用いて図３に示すように正方状に表現することも可能である。本実施形態においては、図２（ｂ）すなわち図３に示すハニカム配列の単板ＣＣＤ１において得られた画像データＳ０に対して処理を行うものとして説明する。
【００７２】
図４は、ハニカム配列の単板ＣＣＤ１の画素位置を示す図であり、各画素位置に参照番号を付して示すものである。ここでは、図３の左上から右下に向かう方向、すなわち図４において破線で示すＲ０１，Ｇ０５，Ｒ０９，Ｇ１３，Ｒ１７の方向（矢印Ａ方向）を所定方向とし、この所定方向すなわち矢印Ａ方向に直交する直交方向を矢印Ｂ方向とする。なお、ここでは画素位置に付与された参照番号を信号値の参照番号としても使用する。
【００７３】
（１）まず、ＲおよびＢ画素位置におけるＧ信号の算出処理について説明する。このＧ信号の算出はＧ補間手段３において行われる。ＲおよびＢ画素位置におけるＧ信号は、その画素位置周辺のＧ画素位置において得られるＧ信号に対して単純な補間演算を施すことにより算出することができる。例えば図５において実線で囲んだＲ０９位置でのＧ０９信号およびＢ１０位置でのＧ１０信号は、破線で囲んだその周囲のＧ画素位置におけるＧ信号を用いて下記の式（１）、（２）により算出される。
【００７４】
Ｇ０９＝（Ｇ０５＋Ｇ０６＋Ｇ１２＋Ｇ１３）／４ （１）
Ｇ１０＝（Ｇ０６＋Ｇ０７＋Ｇ１３＋Ｇ１４）／４ （２）
なお、Ｇ信号を算出する画素位置周辺の４×４のＧ画素において得られるＧ信号に対して２次元のCubic スプライン補間演算を施して、Ｇ信号を算出してもよい。これにより、補間前にＧ信号が有する周波数成分を損なうことなく補間を行うことができ、この結果、全ての画素位置において元の周波数情報を保持したＧ信号を得ることができる。また、補間演算の手法としては図４における縦横２次元方向における補間演算であれば、いかなる手法をも適用することができる。
【００７５】
（２）次に、所定方向（矢印Ａ方向）においてＲ，Ｇ画素が並ぶライン（以下第１のラインとする）におけるＧ画素位置でのＲ信号の算出処理について説明する。なお、これ以降の信号の算出処理はＲＢ補間手段４において行われる。このＧ画素位置におけるＲ信号の算出処理は、そのＧ画素位置が含まれる第１のライン上におけるＲ信号に対して１次元線形補間演算を施すことにより行われる。例えば、図６における実線で囲んだＧ０５画素位置でのＲ０５信号は、破線で囲んだ第１のライン方向に隣接する２つのＲ画素位置におけるＲ０１，Ｒ０９信号を用いて下記の式（３）により算出される。
【００７６】
Ｒ０５＝（Ｒ０１＋Ｒ０９）／２ （３）
なお、このＧ画素位置が存在する第１のライン上におけるＧ画素位置周辺の４点のＲ画素位置において得られるＲ信号について１次元のCubic スプライン補間演算を施して、Ｒ信号を算出してもよい。なおこの場合、Ｒ信号値を算出するＧ画素位置をＧ１３とすると４点のＲ画素位置はＲ０１，Ｒ０９，Ｒ１７，Ｒ２５となる。また、補間演算の手法としてはこの第１のライン方向における１次元の補間演算であれば、いかなる手法をも適用することができる。そしてこれにより第１のライン上のＧ画素位置におけるＲ信号を算出することができる。
【００７７】
（３）次に、Ｂ，Ｇ画素が並ぶライン（以下第２のラインとする）におけるＧ画素位置でのＲ信号の算出処理について説明する。このＧ画素位置におけるＲ信号の算出処理は、以下のようにして行う。まず、Ｒ信号を算出するＧ画素位置が含まれる第２のラインに隣接する第１のライン上において、Ｇ画素位置に隣接する画素位置を求める。例えば、ここでは図７に示す実線で囲んだＧ０６画素位置でのＲ０６信号を算出するものとすると、Ｇ０６画素位置に隣接する画素位置は破線で囲んだＲ０９画素位置およびＲ０３画素位置となるが、ここではＲ０９画素位置における信号値を用いるものとする。そしてこのＲ０９画素位置におけるＲ信号とＧ信号との差を、第２のライン上のＧ画素位置におけるＧ信号に加算し、その加算結果をＧ画素位置におけるＲ信号とする。例えば、Ｇ０６画素位置でのＲ０６信号は下記の式（４）により算出される。
【００７８】
Ｒ０６＝Ｇ０６＋（Ｒ０９−Ｇ０９） （４）
すなわち、式（４）は画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提により定められるものである。例えば、Ｒ０９画素位置およびＧ０６画素位置でのＲ信号とＧ信号との差が等しいとは、
Ｒ０６−Ｇ０６＝Ｒ０９−Ｇ０９ （５）
の関係を満たすということであり、式（５）をＲ０６信号について解いたものが式（４）となる。なお、式（４）においてＧ０９信号は、上記式（１）により算出されたものではなく、下記の式（６）に示す線形補間演算や１次元Cubic スプライン補間演算のように、Ｒ０９画素位置が存在する第１のライン上におけるＧ信号に対して１次元補間演算を施すことにより算出したものである。
【００７９】
Ｇ０９＝（Ｇ０５＋Ｇ１３）／２ （６）
すなわち、ここでは、画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提により信号値を算出しており、信号値の算出に使用するのはＧ０６画素位置が存在する第２のラインと、Ｒ０９画素位置が存在する第１のラインである。これは、第１および第２のライン上にある画素値の相関関係に基づいて信号値を算出しているということであり、不明な信号値について第１および第２のライン方向における信号値の変化を反映させて信号値を算出する必要がある。（２）の処理において、第２のラインにおけるＧ０６画素位置でのＲ０６信号は上記式（５）に示す関係に基づいて算出されるが、Ｇ０９信号が不明であるため、これを推定する必要がある。ここで、式（５）は第１および第２のライン間における相関関係を表しているため、Ｇ０９信号を推定するには、第１のライン上での所定方向（矢印Ａ方向）の信号値の変化を反映させる必要がある。一方、上記（１）の方法により算出したＧ信号を使用することが考えられるが、このＧ信号は式（１）、（２）に示すように、別のラインの信号値を用いて算出しているものであるため、第１のライン上における信号値の変化を反映したものではない。このため、第１のラインにおける信号値の変化を反映させるために、式（６）のように第１のライン上において１次元補間演算を行ってＧ０９信号を算出しているものである。
【００８０】
また、この場合、Ｇ画素位置の片側に隣接する画素位置におけるＲ信号とＧ信号との差に基づいてＧ画素位置のＲ信号を算出しているが、片側にのみ隣接する画素位置の信号値を用いたのでは、画像の位相がその方向に近寄ってしまう。これを防止するために、下記の式（７）に示すように、Ｒ信号を算出するＧ画素位置（例えばＧ０６画素位置）の両隣の画素位置（Ｒ０９，Ｒ０３画素位置）におけるＲ信号とＧ信号との差の平均値を、Ｒ信号を算出するＧ画素位置におけるＧ信号に加算したものを、そのＧ画素位置におけるＲ信号としてもよい。
【００８１】
Ｒ０６＝Ｇ０６＋（（Ｒ０９−Ｇ０９）＋（Ｒ０３−Ｇ０３））／２ （７）
そしてこれにより、第２のライン上のＧ画素位置におけるＲ信号を算出することができる。
【００８２】
（４）次に、Ｂ，Ｇ画素が並ぶ第２のラインにおけるＢ画素位置でのＲ信号の算出処理について説明する。このＢ画素位置におけるＲ信号の算出処理は、以下のようにして行う。まず、Ｒ信号を算出するＢ画素位置が含まれる第２のラインに隣接する第１のライン上において、Ｂ画素位置に隣接する画素位置を求める。例えば、ここでは図８に示す実線で囲んだＢ１０画素位置でのＲ１０信号を算出するものとすると、Ｂ１０画素位置に隣接する画素位置は破線で囲んだＧ１３画素位置およびＧ０７画素位置となるが、ここではＧ１３画素位置における信号値を用いるものとする。そしてこのＧ１３画素位置におけるＲ信号とＧ信号との差を、第２のライン上のＢ画素位置におけるＧ信号に加算し、その加算結果をＢ画素位置におけるＲ信号とする。例えば、Ｂ１０画素位置でのＲ１０信号は下記の式（８）により算出される。
【００８３】
Ｒ１０＝Ｇ１０＋（Ｒ１３−Ｇ１３） （８）
すなわち、式（８）は上記式（４）と同様に、画像の局所的な領域におけるＲ信号とＧ信号との差は等しいという前提により定められるものである。例えば、Ｂ１０画素位置およびＧ１３画素位置でのＲ信号とＧ信号との差が等しいとは、
Ｒ１０−Ｇ１０＝Ｒ１３−Ｇ１３ （９）
の関係を満たすということであり、式（９）をＲ１０信号について解いたものが式（８）となる。なお、式（９）においてＧ１０信号は、上記式（１）により算出されたものではなく、Ｒ信号を算出するために下記の式（１０）に示す線形補間演算や１次元Cubic スプライン補間演算のように、Ｂ１０画素位置が存在する第２のライン上におけるＧ信号に対して１次元補間演算を施すことにより算出したものである。
【００８４】
Ｇ１０＝（Ｇ０６＋Ｇ１４）／２ （１０）
また、式（９）においてＲ１３信号は、上記式（１０）と同様に、Ｇ１３画素位置が存在する第１のライン上におけるＲ信号に対して１次元補間演算を施すことにより算出したものである。
【００８５】
Ｒ１３＝（Ｒ０９＋Ｒ１７）／２ （１１）
なお、この場合、上記式（７）と同様に、下記の式（１２）に示すように、Ｒ信号を算出するＢ画素位置（例えばＢ１０画素位置）の両隣の画素位置（Ｇ１３，Ｇ０７画素位置）におけるＲ信号とＧ信号との差の平均値を、Ｒ信号を算出するＢ画素位置におけるＧ信号に加算したものを、そのＢ画素位置におけるＲ信号としてもよい。
【００８６】
【００８７】
そして、上記（１）から（４）の処理を行うことにより、Ｒ信号が存在しない全ての画素位置におけるＲ信号を算出することができる。
【００８８】
以上、各画素位置におけるＲ信号の算出について説明したが、Ｂ，Ｇ画素が並ぶ第２のラインにおけるＧ画素位置でのＢ信号、Ｒ，Ｇ画素が並ぶ第１のラインにおけるＧ画素位置でのＢ信号、Ｒ，Ｇ画素が並ぶ第１のラインにおけるＲ画素位置でのＢ信号についても、上記（２）から（４）の処理において説明したようにＲ信号と同様にして算出することができ、これによりＢ信号が存在しない全ての画素位置におけるＢ信号を算出することができる。
【００８９】
なお、図２（ａ）に示すベイヤー配列の単板ＣＣＤ１においては画素配列を４５度回転させると、その画素配列は図２（ｂ）に示すハニカム配列と空孔画素位置＊を除けば同様のものとなる。したがって、上記の説明において、所定方向を図２における紙面上下方向、所定方向に直交する方向を図２における紙面左右方向とすることにより、ベイヤー配列の場合もハニカム配列の場合と同様に、全画素位置におけるＲＧＢ信号を算出することができる。
【００９０】
このようにして、全ての画素位置においてＲＧＢ全ての信号値ＱＲ，ＱＧ，ＱＢが得られると、市松正方補間手段５において、図３における空孔画素位置＊でのＲＧＢ信号値を補間演算により算出して、画素が正方状に配列されてなる補間済み画像データＳ１を得る。この補間演算は、図９に示すような空孔画素位置＊周辺の４画素位置の信号値を用いた補間フィルタや、図１０に示すように４×４画素についての２次元Cubicスプライン補間演算を行う補間フィルタの補間係数の配置を４５度傾斜させた補間係数の配置を有する補間フィルタを用いて補間演算を行うことにより求めることができる。なお、この空孔画素位置＊における信号値を算出するための補間演算を市松正方補間演算とする。また、補間演算についてはこれらに限定されるものではなく、上述したように求められた各画素位置におけるＲＧＢ信号をＹＣＣ輝度色差空間に変換し、ＹＣＣ毎に異なる補間フィルタによる補間演算を施す等、空孔画素位置＊における信号値を算出するための補間演算であればいかなる方法をも採用可能である。
【００９１】
次いで、第１の実施形態の動作について説明する。図１１は第１の実施形態の動作を示すフローチャートである。まず、被写体を撮影して単板ＣＣＤ１において画像データＳ０を得る（ステップＳ１）。次いで、Ｇ補間手段３において上記（１）の処理により、所定方向におけるＲまたはＢ画素位置におけるＧ信号ＱＧが算出される（ステップＳ２）。そして、算出する信号をＲ信号にセットし（ステップＳ３）、ＲＢ補間手段４において、上記（２）の処理により第１のラインにおけるＧ画素位置でのＲ信号ＱＲが算出される（ステップＳ４）。そして、上記（３）の処理による第２のラインにおけるＧ画素位置でのＲ信号ＱＲの算出（ステップＳ５）および上記（４）の処理による第２のラインにおけるＢ画素位置でのＲ信号ＱＲの算出（ステップＳ６）が行われ、Ｒ，Ｂ全ての信号を算出したか否かが判断される（ステップＳ７）。ステップＳ７が否定された場合には、ステップＳ８において算出する信号をＢ信号にセットし、ステップＳ４に戻ってステップＳ４からステップＳ７の処理を繰り返してＢ信号ＱＢを算出する。
【００９２】
ステップＳ７が肯定されると、全ての画素位置においてＲＧＢ信号ＱＲ，ＱＧ，ＱＢが算出されたとして、各画素の信号値に対して図９あるいは図１０に示す補間フィルタによる市松正方補間演算を行って、図３に示す空孔画素位置＊における信号値を市松正方補間演算により算出し（ステップＳ９）、処理を終了する。
【００９３】
そして、これにより、図２（ｂ）に示すハニカム配列による単板ＣＣＤ１の全画素位置におけるＲＧＢ信号を得ることができ、各画素位置においてＲＧＢ信号を有する補間済み画像データＳ１を得ることができる。
【００９４】
なお、図１１に示すフローチャートのステップＳ３においては、算出する信号をＲ信号にセットしているが、先にＢ信号にセットしてもよい。この場合、ステップＳ７が否定されるとステップＳ８において、算出する信号がＢ信号からＲ信号に切り替えられることとなる。
【００９５】
このように、第１の実施形態によれば、画像の局所的な領域においては、ＲＧＢ各信号値の差は一定であるという前提に基づいて、各画素位置における信号値を算出するようにしたため、単板ＣＣＤ１において得られた信号値が指数値や対数値により表されている場合であっても、偽色を発生させることなく、全画素位置における信号値を求めることができる。したがって、本実施形態により、偽色のない高解像度の画像を再現可能な補間済み画像データＳ１を得ることができる。
【００９６】
なお、上記（１）から（４）の処理においては、所定方向（矢印Ａ方向）について、式（６）、（１０）に示すように１次元補間演算を行って各画素位置における信号値を求め、さらにこの信号値を用いて、上記式（５）および式（９）に示すように矢印Ａ方向に直交する矢印Ｂ方向に隣接する画素位置でのＧ信号とＲ信号との差、およびＧ信号とＢ信号との差が一定であるということを前提として、さらに信号値を推定している。したがって、上記方法によれば矢印Ａ方向にＲＧＢ各色の変化がそれほど大きくない画像領域における偽色の発生を防止することができる。一方、矢印Ｂ方向を所定方向とすれば、上記（１）から（４）の処理と同様の処理により、右上から左下方向にＲＧＢ各色の変化がそれほど大きくない画像領域における偽色の発生を防止することができる。しかしながら、上記矢印Ａ，Ｂ方向のうちいずれか一方の方向のみを信号値を算出するための所定方向として処理を行ったのでは、この所定方向に各色の変化が大きい場合には偽色を低減することができない。
【００９７】
したがって、画像データＳ０により表される画像における画素値の変化量を各画素毎に検出し、画素値の変化の方向に応じて信号値を算出するための所定方向を矢印Ａ方向および矢印Ｂ方向と切り替えて、全画素位置におけるＲＧＢ各色の信号値を算出することにより、信号値の変化に拘わらず偽色の発生を防止することができる。しかしながら、この方法では画素値が変化する境界部分において処理の方向が異なるものとなるため、アーチファクトが発生するおそれがある。以下、これに対処するための方法を第２の実施形態として説明する。
【００９８】
図１２は本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図である。図１２に示すように、第２の実施形態による画像処理装置は、単板ＣＣＤ１において得られた画像データＳ０に基づいて、上記式（１）または式（２）によりＲ画素位置およびＢ画素位置でのＧ信号を算出するＧ補間手段１１と、図４に示す矢印Ａ方向を所定方向として上記（２）から（４）の処理により全画素位置でのＲ信号およびＢ信号を算出する第１ＲＢ補間手段１２と、矢印Ｂ方向を所定方向として上記（２）から（４）の処理により全画素位置でのＲ信号およびＢ信号を算出する第２ＲＢ補間手段１３と、第１および第２のＲＢ補間手段１２，１３において得られたＲ信号およびＢ信号を重み付け加算する重み付け加算手段１４と、画像上における信号値の変動方向の尺度を算出する変動方向尺度算出手段１５と、全画素位置におけるＲＧＢ信号から、空孔画素位置＊での信号値を算出する市松正方補間手段１６とを備える。
【００９９】
なお、Ｇ信号については上記式（１）および（２）に示すように、処理方向に拘わらず全ての画素位置における信号値を算出することができるため、Ｇ補間手段１１においては図１に示すＧ補間手段３と同様に、とくに処理の方向を考慮することなくＧ信号が算出される。
【０１００】
また、第２の実施形態における第１および第２のＲＢ補間手段１２，１３において行われる処理は、図１に示すＲＢ補間手段４における処理と処理の方向が異なるのみであり、第２の実施形態における市松正方補間手段１６において行われる処理は市松正方補間手段５において行われる処理と同一であるため、ここでは詳細な説明は省略する。
【０１０１】
まず、変動方向尺度算出手段１５において行われる処理について説明する。なお、第２の実施形態においても上記第１の実施形態における図３に示すようにハニカム配列の単板ＣＣＤ１を使用するものとし、各画素位置に図１３に示すように参照符号を付して説明する。なお、図１３において、矢印Ａ方向に延在するＲａ，Ｇｅ，Ｒｉ，Ｇｍのラインを第１のライン、同様に矢印Ａ方向に延在するＢｂ，Ｇｆ，Ｂｊ，Ｇｎのラインを第２のライン、矢印Ｂ方向に延在するＲｃ，Ｇｆ，Ｒｉ，Ｇｌのラインを第３のライン、同様に矢印Ｂ方向に延在するＢｄ，Ｇｇ，Ｂｊ，Ｇｍのラインを第４のラインとして説明する。また、以降の説明において、矢印Ａ方向について算出された信号には参照符号に(A)を付し、矢印Ｂ方向について算出された信号には参照符号に(B)を付するものとする。
【０１０２】
まず、Ｂｊ画素位置におけるＲ信号は、上記式（１２）と同様に、下記の式（１３）または（１４）により求められた値となる。
【０１０３】
Rj(A)=Gj(A)+((Rm(A)-Gm)+(Rg(A)-Gg))/2 （１３）
Rj(B)=Gj(B)+((Rf(B)-Gf)+(Rn(B)-Gn))/2 （１４）
なお、信号値Ｇｊ(A)はＢｊ画素位置が属する矢印Ａ方向のライン（第２のライン）上におけるＧ信号に対して１次元補間演算を行うことにより算出されたＢｊ画素位置でのＧ信号、信号値Ｇｊ(B)はＢｊ画素位置が属する矢印Ｂ方向のライン（第４のライン）上におけるＧ信号に対して１次元補間演算を行うことにより算出されたＢｊ画素位置でのＧ信号である。また、信号値Ｒｍ(A)はＧｍ画素位置が属する矢印Ａ方向のライン（第１のライン）上におけるＲ信号に対して１次元補間演算を行うことにより算出されたＧｍ画素位置でのＲ信号、信号値Ｒｇ(A)はＧｇ画素位置が属する矢印Ａ方向のライン上におけるＲ信号に対して１次元補間演算を行うことにより算出されたＧｇ画素位置でのＲ信号である。さらに、信号値Ｒｆ(B)はＧｆ画素位置が属する矢印Ｂ方向のライン（第３のライン）上におけるＲ信号に対して１次元補間演算を行うことにより算出されたＧｆ画素位置でのＲ信号、信号値Ｒｎ(B)はＧｎ画素位置が属する矢印Ｂ方向のライン上におけるＲ信号に対して１次元補間演算を行うことにより算出されたＧｎ画素位置でのＲ信号である。
【０１０４】
第２の実施形態においては第１および第２のＲＢ補間手段１２，１３においてそれぞれ式（１３）、（１４）により算出された信号値Ｒｊ(A)，Ｒｊ(B)を重み付け加算することによりＲ信号を算出する。変動方向尺度算出手段１５はこの重み付け係数を変動方向尺度Ｓｊとして算出するものである。
【０１０５】
変動方向尺度Ｓｊは下記の式（１５）、（１６）、（１７）により算出することができる。
【０１０６】
Sjv=|Bj-Gj(A)|/(Bj+Gj(A)) （１５）
Sjh=|Bj-Gj(B)|/(Bj+Gj(B)) （１６）
Sj=Sjv/(Sjv+Sjh)(if Sjv+Sjh=0 then Sj=0.5) （１７）
ここで、ＳｊｖはＢｊ画素位置の矢印Ａ方向における信号値の変化を表し、ＳｊｈはＢｊ画素位置の矢印Ｂ方向における信号値の変化を表す。また、Ｓｊの範囲は０≦Ｓｊ≦１であり、矢印Ａ方向において信号値の変動が少ないほど０に近い値となる。
【０１０７】
そして、重み付け加算手段１４においては、変動方向尺度Ｓｊを使用して下記の式（１８）によりＲ信号を重み付け加算して算出する。
【０１０８】
Rj=(1-Sj)*Rj(A)+Sj*Rj(B) （１８）
これにより、画素値の変化が少ない方向ほど大きな重み付けがなされて、Ｂｊ画素位置のＲ信号が算出されることとなる。
【０１０９】
なお、Ｇｆ画素位置でのＲ信号は上記式（７）と同様に、下記の式（１９）または（２０）により求められた値となる。
【０１１０】
Rf(A)=Gf+((Ri-Gi(A))+(Rc-Gc(A)))/2 （１９）
Rf(B)=Rf′ （２０）
但し、信号値Ｇｉ(A)はＲｉ画素位置が属する矢印Ａ方向のライン（第１のライン）上におけるＧ信号に対して１次元補間演算を行うことにより算出されたＲｉ画素位置でのＧ信号、信号値Ｇｃ(A)はＲｃ画素位置が属する矢印Ａ方向のライン上におけるＧ信号に対して１次元補間演算を行うことにより算出されたＲｃ画素位置でのＧ信号である。Ｒｆ′はＧｆ画素位置が属する矢印Ｂ方向のライン上におけるＲ信号に対して１次元補間演算により算出されたＧｆ画素位置でのＲ信号である。
【０１１１】
この場合、変動方向尺度Ｓｆは下記の式（２１）、（２２）、（２３）により算出することができる。
【０１１２】
Sfv=|Bf(A)-Gf|/(Bf(A)+Gf) （２１）
但し、信号Ｂｆ(A)は、Ｇｆ画素位置が属する矢印Ａ方向のライン（第２のライン）上におけるＢ信号に対して１次元補間演算を行うことにより得られたＧｆ画素位置でのＢ信号である。
【０１１３】
Sfh=|Rf(B)-Gf|/(Rf(B)+Gf) （２２）
但し、信号Ｒｆ(B)は、Ｇｆ画素位置が属する矢印Ｂ方向のライン上におけるＲ信号に対して１次元補間演算を行うことにより得られたＧｆ画素位置でのＲ信号である。
【０１１４】
Sf=Sfv/(Sfv+Sfh)(if Sfv+Sfh=0 then Sf=0.5)（２３）
ここで、Ｓｆの範囲は０≦Ｓｆ≦１であり、矢印Ａ方向において信号値の変動が少ないほど０に近い値となる。
【０１１５】
そして、重み付け加算手段１４においては、変動方向尺度Ｓｆを使用して下記の式（２４）によりＲ信号を重み付け加算して算出する。
【０１１６】
Rf=(1-Sf)*Rf(A)+Sf*Rf(B) （２４）
これにより、画素値の変化が少ない方向ほど大きな重み付けがなされて、Ｇｆ画素位置のＲ信号が算出されることとなる。
【０１１７】
一方、Ｂ信号も、Ｒ信号と同様に変動方向尺度が求められ、これにより矢印Ａ，Ｂ方向について算出したＢ信号を重み付け加算することにより算出される。
【０１１８】
このようにして重み付け加算により得られたＲ信号およびＢ信号は、Ｇ信号とともに市松正方補間手段１６において補間演算が施され、空孔画素位置＊における信号値が算出されて補間済み画像データＳ１として出力される。
【０１１９】
このように、第２の実施形態によれば、信号値が変化する方向に応じて、矢印Ａ方向および矢印Ｂ方向について算出された信号値を重み付け加算して、各画素位置におけるＲ信号およびＢ信号を算出するようにしたため、信号値の変化に拘わらず偽色の発生を防止できるとともに、アーチファクトの発生をも防止することができる。
【０１２０】
なお、上記各実施形態においては単板ＣＣＤ１として、Ｇ画素がＲ，Ｂ画素に対して倍の密度を有するものについて説明したが、Ｒ画素がＧ，Ｂ画素に対して、あるいはＢ画素がＲ，Ｇ画素に対して倍の密度を有するものであってもよい。また、Ｒ，Ｇ，Ｂに対して分光感度を有するものについて説明したが、単板ＣＣＤ１としてはこれに限定されるものではなく、Ｙ（イエロー）、Ｇ（グリーン）、Ｃ（シアン）に対して分光感度を有するもの、あるいはＹ、Ｗ（ホワイト）、Ｃに対して分光感度を有するものであってもよい。
【０１２１】
また、上記各実施形態においては、３色全ての信号値を算出しているが、１色または２色のみの信号値を算出するようにしてもよい。
【０１２２】
次いで、本発明の第３の実施形態について説明する。図１４は本発明の第３の実施形態による画像処理装置の構成を示す概略ブロック図である。図１４に示すように、第３の実施形態による画像処理装置は、単板ＣＣＤ１において得られた画像データＳ０に対して処理を施すものであり、画像データＳ０に対して補間処理を施してＲ１，Ｇ１，Ｂ１の色信号からなる補間済み画像データＳ１を得る第１の実施形態と同様の補間手段２と、補間済み画像データＳ１をＹＣＣ変換して、補間済み画像データＳ１の輝度情報および色差情報を表す推定輝度信号Ｙ０および推定色差信号Ｃｂ，Ｃｒを得るＹＣＣ変換手段２１と、画像データＳ０の高周波の輝度情報を表す高周波輝度信号ＹＨを作成する高周波輝度信号作成手段２２と、高周波輝度信号ＹＨと推定輝度信号Ｙ０とを加算して加算輝度信号Ｙ１を得る加算手段２３と、加算輝度信号Ｙ１および色差信号Ｃｂ，ＣｒをＲＧＢ変換してＲ２，Ｇ２，Ｂ２の色信号からなる処理済み画像データＳ２を得るＲＧＢ変換手段２４とを備える。
【０１２３】
ＹＣＣ変換手段２１は、下記の式（２５）〜（２７）に示すように、補間済み画像データＳ１を推定輝度信号Ｙ０および推定色差信号Ｃｂ，Ｃｒに変換する。
【０１２４】
Ｙ０＝０．２９９Ｒ１＋０．５８７Ｇ１＋０．１１４Ｂ１ （２５）
Ｃｂ＝（Ｂ１−Ｙ０）／１．７７２ （２６）
Ｃｒ＝（Ｒ１−Ｙ０）／１．４０２ （２７）
但し、Ｒ１，Ｇ１，Ｂ１は補間済み画像データＳ１を構成する色信号
高周波輝度信号作成手段２２は、画像データＳ０を構成する各画素位置のＲ，Ｇ，Ｂ各信号値をそのまま輝度信号とし、この輝度信号に対して推定輝度信号Ｙ０に相当する周波数成分をカットするハイパスフィルタによるフィルタリング処理を施す方法により、画像データＳ０の高周波の輝度情報を表す高周波輝度信号ＹＨを得る。なお、高周波輝度信号ＹＨを得るための方法としては、Ｒ，Ｇ，Ｂ各信号値に対してハイパスフィルタによるフィルタリング処理を施した後、上記式（２５）により輝度信号を得る方法（特開平５−２２８１０８号）、Ｒ，Ｇ，Ｂ各信号値に対して上記式（２５）により輝度信号を得、この輝度信号に対してハイパスフィルタによるフィルタリング処理を施す方法（同６−３０４４４号）、画像データからフィールド間ＹＣ分離処理の技術により高周波輝度信号を抽出する方法（同６−２２５３４３号）、Ｒ，Ｇ，Ｂ各信号値に対して上記式（２５）により輝度信号を得、この輝度信号に対してガンマ補正処理を施した後ハイパスフィルタによるフィルタリング処理を施す方法（同８−９１９９号）等を採用することができる。
【０１２５】
ＲＧＢ変換手段２４は、加算輝度信号Ｙ１および色差信号Ｃｂ，Ｃｒについて、上記式（２５）から（２７）を逆に解くことにより、処理済み画像データＳ２を構成する色信号Ｒ２，Ｇ２，Ｂ２を得る。
【０１２６】
なお、画像データＳ０を構成する色信号Ｒ，Ｇ，Ｂの比率が、画像データＳ０により表される画像上の位置により急激に変化しないと仮定すると、画像データＳ０を構成する各画素位置のＲ，Ｇ，Ｂ各信号値をそのまま輝度信号とし、この輝度信号に対して推定輝度信号Ｙ０に相当する周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより得られた高周波輝度信号ＹＨは、画像データＳ０により表される画像の高周波成分を忠実に表すものとなる。したがって、画像データＳ０により表される画像が無彩色である場合、またはＲ，Ｇ，Ｂ信号値の比率の変化が小さい場合には、加算輝度信号Ｙ１を用いて処理済み画像データＳ２を得ることにより、処理済み画像データＳ２により表される処理済み画像の解像度を向上させることができる。
【０１２７】
しかしながら、画像データＳ０により表される画像が有彩色であり、かつＲ，Ｇ，Ｂ信号値の比率の変化が大きい場合には、高周波輝度信号ＹＨに偽信号が発生し、処理済み画像にグレイのノイズが現れてしまう。したがって、このような場合には、このグレイのノイズ成分に対応する周波数帯域の周波数成分をカットするバンドパスフィルタを用いて、処理済み画像の解像度と偽信号とのバランスに応じて高周波輝度信号を作成することにより、グレイのノイズを低減できるとともに、画像の解像度をも向上させることができる。
【０１２８】
次いで、第３の実施形態の動作について説明する。図１５は、第３の実施形態の動作を示すフローチャートである。まず、被写体を撮影して単板ＣＣＤ１において画像データＳ０を得る（ステップＳ１１）。次いで、補間手段２において上記第１または第２の実施形態と同様に補間演算が行われて補間済み画像データＳ１が得られる（ステップＳ１２）。補間済み画像データＳ１はＹＣＣ変換手段２１においてＹＣＣ変換されて、推定輝度信号Ｙ０および推定色差信号Ｃｂ，Ｃｒが得られる（ステップＳ１３）。一方、高周波輝度信号作成手段２２において画像データＳ０の高周波輝度信号ＹＨが作成される（ステップＳ１４）。なお、ステップＳ１４の処理をステップＳ１２，Ｓ１３の処理より先に行ってもよく、これらの処理を並列に行ってもよい。
【０１２９】
そして、加算手段２３において、高周波輝度信号ＹＨと推定輝度信号Ｙ０とが加算されて加算輝度信号Ｙ１が得られる（ステップＳ１５）。加算輝度信号Ｙ１は推定色差信号Ｃｂ，ＣｒとともにＲＧＢ色信号に変換されて処理済み画像データＳ２が得られ（ステップＳ１６）、処理を終了する。
【０１３０】
ここで、画像データＳ０により表される画像の高周波成分を忠実に表す高周波輝度信号ＹＨと、偽色が低減された補間済み画像データＳ１から得られた推定輝度信号Ｙ０とを加算することにより得られた加算輝度信号Ｙ１は、シーンの高周波成分を忠実に表すとともに、低周波成分についても偽色が低減されたものとなる。したがって、第３の実施形態のように、加算輝度信号Ｙ１と推定色差信号Ｃｂ，Ｃｒとに基づいて処理済み画像データＳ２を得ることにより、偽色がなくかつより高解像度の処理済み画像を得ることができる。
【０１３１】
なお、上記各実施形態においては、単板ＣＣＤ１において得られた画像データＳ０に対して処理を施しているが、図２（ａ）あるいは図２（ｂ）に示すような画素配列を有する画像を表す画像データであれば、いかなる態様にて取得した画像データに対しても同様に処理を施すことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】単板ＣＣＤにおける画素配列を示す図
【図３】ハニカム配列の単板ＣＣＤの画素配列を示す図
【図４】ハニカム配列の単板ＣＣＤの各画素位置を参照番号を付して示す図
【図５】信号値の算出を説明するための図（その１）
【図６】信号値の算出を説明するための図（その２）
【図７】信号値の算出を説明するための図（その３）
【図８】信号値の算出を説明するための図（その４）
【図９】市松正方フィルタの例を示す図（その１）
【図１０】市松正方フィルタの例を示す図（その２）
【図１１】第１の実施形態の動作を示すフローチャート
【図１２】本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図
【図１３】ハニカム配列の単板ＣＣＤの各画素位置を参照符号を付して示す図
【図１４】本発明の第３の実施形態による画像処理装置の構成を示す概略ブロック図
【図１５】第３の実施形態の動作を示すフローチャート
【図１６】ハニカム配列を示す図
【図１７】ベイヤー配列を示す図
【図１８】ベイヤー配列の各画素位置を参照符号を付して示す図
【符号の説明】
１ 単板ＣＣＤ
２ 補間手段
３，１１ Ｇ補間手段
４，１２，１３ ＲＢ補間手段
５，１６ 市松正方補間手段
２１ ＹＣＣ変換手段
２２ 高周波輝度信号作成手段
２３ 加算手段
２４ ＲＧＢ変換手段
Claims (54)
- 異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第１から第３信号値に基づいて、全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定する画像処理方法において、
前記第２ラインにおける前記第２信号値を、該第２ラインに隣接する前記第１ラインにおける前記第１および前記第２信号値の差分値に基づいて推定することを特徴とする画像処理方法。 - 前記第２ラインの前記第１画素における第２信号値を、前記第１ラインの該第１画素近傍の前記第２画素における第２信号値と、前記第１ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第２画素における前記第１信号値との差分値に基づいて推定することを特徴とする請求項１記載の画像処理方法。
- 前記第２ラインの前記第１画素における第１信号値に前記差分値を加算することにより、前記第２ラインの前記第１画素における第２信号値を推定することを特徴とする請求項２記載の画像処理方法。
- 前記第２ラインの前記第３画素における第２信号値を、前記第１ラインの該第３画素近傍の前記第１画素における第１信号値と、前記第１ライン上における前記第２信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第２信号値との差分値に基づいて推定することを特徴とする請求項１から３のいずれか１項記載の画像処理方法。
- 前記第２ラインの前記第３画素位置における第１信号値を、該第２ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１信号値に前記差分値を加算することにより前記第２ラインの前記第３画素位置における第２信号値を推定することを特徴とする請求項４記載の画像処理方法。 - 前記差分値は、前記第２ラインに隣接する２つの前記第１ラインにおける前記差分値の平均値であることを特徴とする請求項２から５のいずれか１項記載の画像処理方法。
- 前記第１ラインにおける前記第３信号値を、該第１ラインに隣接する前記第２ラインにおける前記第１および前記第３信号値の差分値に基づいて推定することを特徴とする請求項１から６のいずれか１項記載の画像処理方法。
- 前記第１ラインの前記第１画素における第３信号値を、前記第２ラインの該第１画素近傍の前記第３画素における第３信号値と、前記第２ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第３画素における前記第１信号値との差分値に基づいて推定することを特徴とする請求項７記載の画像処理方法。
- 前記第１ラインの前記第１画素における第１信号値に前記差分値を加算することにより前記第１ラインの前記第１画素位置における第３信号値を推定することを特徴とする請求項８記載の画像処理方法。
- 前記第１ラインの前記第２画素における第３信号値を、前記第２ラインの該第２画素近傍の前記第１画素における第１信号値と、前記第２ライン上における前記第３信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第３信号値との差分値に基づいて推定することを特徴とする請求項７から９のいずれか１項記載の画像処理方法。
- 前記第１ラインの前記第２画素における第１信号値を、該第１ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出し、
該算出された第１信号値に前記差分値を加算することにより前記第１ラインの前記第２画素における第３信号値を推定することを特徴とする請求項１０記載の画像処理方法。 - 前記差分値は、前記第１ラインに隣接する２つの前記第２ラインにおける前記差分値の平均値であることを特徴とする請求項８から１１のいずれか１項記載の画像処理方法。
- 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
信号値を推定する画素位置に応じて、前記所定方向における前記第１および前記第２ラインと、前記直交方向における前記第１および前記第２ラインとを切り替えて、前記第１から第３信号値のうち少なくとも１つの信号値を推定することを特徴とする請求項１から１２のいずれか１項記載の画像処理方法。 - 前記切り替えを、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて行うことを特徴とする請求項１３記載の画像処理方法。
- 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記所定方向における前記第１および前記第２ラインに基づく所定方向推定値、および前記直交方向における前記第１および前記第２ラインに基づく直交方向推定値を算出し、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第１から第３信号値のうち少なくとも１つの信号値を推定することを特徴とする請求項１から１２のいずれか１項記載の画像処理方法。 - 前記所定の重み付け係数が、前記信号値を推定する画素位置における信号値の変化方向を表す尺度値に基づいて算出されたものであることを特徴とする請求項１５記載の画像処理方法。
- 前記第１ラインの画素配列が、前記第２ラインの画素配列に対して前記所定方向に略１／２画素相対的にずれることにより、前記画像データにより表される画像の前記第１から第３画素が市松状に配列されてなることを特徴とする請求項１から１６のいずれか１項記載の画像処理方法。
- 全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定することを特徴とする請求項１７記載の画像処理方法。
- 前記第１から前記第３の信号値が、それぞれＧ、Ｂ、Ｒのいずれかの色信号であることを特徴とする請求項１から１８のいずれか１項記載の画像処理方法。
- 前記第１から前記第３の信号値が、それぞれＹ、Ｇ、Ｃのいずれかの色信号であることを特徴とする請求項１から１８のいずれか１項記載の画像処理方法。
- 前記画像データが、異なる分光感度を有する第１から第３の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第１および前記第２の光電変換素子を所定方向に交互に配置して第１ラインを形成し、前記第１および前記第３の光電変換素子を前記所定方向に交互に配置して第２ラインを形成し、さらに前記第１および前記第２ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであることを特徴とする請求項１から２１のいずれか１項記載の画像処理方法。
- 異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理方法において、
請求項１から２１のいずれか１項記載の画像処理方法により、前記画像データにより表される画像の全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定して推定画像データを得、
前記画像データの高周波の輝度情報を表す高周波輝度信号を作成し、
前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換し、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とする画像処理方法。 - 前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することを特徴とする請求項２２記載の画像処理方法。
- 前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することを特徴とする請求項２２記載の画像処理方法。
- 異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第１から第３信号値に基づいて、全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定する推定手段を備えた画像処理装置において、
前記推定手段は、前記第２ラインにおける前記第２信号値を、該第２ラインに隣接する前記第１ラインにおける前記第１および前記第２信号値の差分値に基づいて推定する手段であることを特徴とする画像処理装置。 - 前記推定手段は、前記第２ラインの前記第１画素における第２信号値を、前記第１ラインの該第１画素近傍の前記第２画素における第２信号値と、前記第１ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第２画素における前記第１信号値との差分値に基づいて推定する手段であることを特徴とする請求項２５記載の画像処理装置。
- 前記推定手段は、前記第２ラインの前記第３画素における第２信号値を、前記第１ラインの該第３画素近傍の前記第１画素における第１信号値と、前記第１ライン上における前記第２信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第２信号値との差分値に基づいて推定する手段であることを特徴とする請求項２５または２６記載の画像処理装置。
- 前記推定手段は、前記第１ラインにおける前記第３信号値を、該第１ラインに隣接する前記第２ラインにおける前記第１および前記第３信号値の差分値に基づいて推定する手段であることを特徴とする請求項２５から２７のいずれか１項記載の画像処理装置。
- 前記推定手段は、前記第１ラインの前記第１画素における第３信号値を、前記第２ラインの該第１画素近傍の前記第３画素における第３信号値と、前記第２ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第３画素における前記第１信号値との差分値に基づいて推定する手段であることを特徴とする請求項２８記載の画像処理装置。
- 前記推定手段は、前記第１ラインの前記第２画素における第３信号値を、前記第２ラインの該第２画素近傍の前記第１画素における第１信号値と、前記第２ライン上における前記第３信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第３信号値との差分値に基づいて推定する手段であることを特徴とする請求項２８または２９記載の画像処理装置。
- 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記推定手段は、信号値を推定する画素位置に応じて、前記所定方向における前記第１および前記第２ラインと、前記直交方向における前記第１および前記第２ラインとを切り替えて、前記第１から第３信号値のうち少なくとも１つの信号値を推定する手段を備えたことを特徴とする請求項２５から３０のいずれか１項記載の画像処理装置。 - 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記推定手段は、前記所定方向における前記第１および前記第２ラインに基づく所定方向推定値、および前記直交方向における前記第１および前記第２ラインに基づく直交方向推定値を算出する手段と、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第１から第３信号値のうち少なくとも１つの信号値を推定する手段とを備えたことを特徴とする請求項２５から３０のいずれか１項記載の画像処理装置。 - 前記第１ラインの画素配列が、前記第２ラインの画素配列に対して前記所定方向に略１／２画素相対的にずれることにより、前記画像データにより表される画像の前記第１から第３画素が市松状に配列されてなることを特徴とする請求項２５から３２のいずれか１項記載の画像処理装置。
- 前記推定手段は、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定する手段であることを特徴とする請求項３３記載の画像処理装置。
- 前記画像データが、異なる分光感度を有する第１から第３の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第１および前記第２の光電変換素子を所定方向に交互に配置して第１ラインを形成し、前記第１および前記第３の光電変換素子を前記所定方向に交互に配置して第２ラインを形成し、さらに前記第１および前記第２ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであることを特徴とする請求項２５から３４のいずれか１項記載の画像処理装置。
- 異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理装置において、
請求項２５から３５のいずれか１項記載の画像処理装置により、前記画像データにより表される画像の全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定して推定画像データを得る補間手段と、
前記画像データの高周波の輝度情報を表す高周波輝度信号を作成する高周波輝度信号作成手段と、
前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換する輝度色差変換手段と、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得る加算手段とを備え、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とする画像処理装置。 - 前記高周波輝度信号作成手段は、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることを特徴とする請求項３６記載の画像処理装置。
- 前記高周波輝度信号作成手段は、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手段であることを特徴とする請求項３６記載の画像処理装置。
- 異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データの、前記第１から第３信号値に基づいて、全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、前記第２ラインにおける前記第２信号値を、該第２ラインに隣接する前記第１ラインにおける前記第１および前記第２信号値の差分値に基づいて推定する手順を有することを特徴とするコンピュータ読取り可能な記録媒体。 - 前記推定する手順は、前記第２ラインの前記第１画素における第２信号値を、前記第１ラインの該第１画素近傍の前記第２画素における第２信号値と、前記第１ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第２画素における前記第１信号値との差分値に基づいて推定する手順であることを特徴とする請求項３９記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、前記第２ラインの前記第３画素における第２信号値を、前記第１ラインの該第３画素近傍の前記第１画素における第１信号値と、前記第１ライン上における前記第２信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第２信号値との差分値に基づいて推定する手順であることを特徴とする請求項３９または４０記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、前記第１ラインにおける前記第３信号値を、該第１ラインに隣接する前記第２ラインにおける前記第１および前記第３信号値の差分値に基づいて推定する手順であることを特徴とする請求項３９から４１のいずれか１項記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、前記第１ラインの前記第１画素における第３信号値を、前記第２ラインの該第１画素近傍の前記第３画素における第３信号値と、前記第２ライン上における前記第１信号値に対して１次元補間演算を施すことにより算出した前記第３画素における前記第１信号値との差分値に基づいて推定する手順であることを特徴とする請求項４２記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、前記第１ラインの前記第２画素における第３信号値を、前記第２ラインの該第２画素近傍の前記第１画素における第１信号値と、前記第２ライン上における前記第３信号値に対して１次元補間演算を施すことにより算出した前記第１画素における前記第３信号値との差分値に基づいて推定する手順であることを特徴とする請求項４２または４３記載のコンピュータ読取り可能な記録媒体。
- 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記推定する手順は、信号値を推定する画素位置に応じて、前記所定方向における前記第１および前記第２ラインと、前記直交方向における前記第１および前記第２ラインとを切り替えて、前記第１から第３信号値のうち少なくとも１つの信号値を推定する手順を有することを特徴とする請求項３９から４４のいずれか１項記載のコンピュータ読取り可能な記録媒体。 - 前記画像データにより表される画像の前記所定方向と直交する直交方向において、前記第１および前記第２画素が交互に、かつ前記第１および前記第３画素が交互に配置されて、前記直交方向における前記第１ラインおよび前記第２ラインを形成してなる場合、
前記推定する手順は、前記所定方向における前記第１および前記第２ラインに基づく所定方向推定値、および前記直交方向における前記第１および前記第２ラインに基づく直交方向推定値を算出する手順と、
信号値を推定する画素位置に応じて、前記所定方向推定値および前記直交方向推定値を所定の重み付け係数により重み付け加算して、前記第１から第３信号値のうち少なくとも１つの信号値を推定する手順とを有することを特徴とする請求項３９から４４のいずれか１項記載のコンピュータ読取り可能な記録媒体。 - 前記第１ラインの画素配列が、前記第２ラインの画素配列に対して前記所定方向に略１／２画素相対的にずれることにより、前記画像データにより表される画像の前記第１から第３画素が市松状に配列されてなることを特徴とする請求項３９から４６のいずれか１項記載のコンピュータ読取り可能な記録媒体。
- 前記推定する手順は、全ての画素位置における信号値を推定するとともに、該推定された信号値に基づいて、空孔画素位置における信号値を推定する手順を有することを特徴とする請求項４７記載のコンピュータ読取り可能な記録媒体。
- 前記画像データが、異なる分光感度を有する第１から第３の光電変換素子を単一面上に配置して撮像面が形成された撮像デバイスであって、前記第１および前記第２の光電変換素子を所定方向に交互に配置して第１ラインを形成し、前記第１および前記第３の光電変換素子を前記所定方向に交互に配置して第２ラインを形成し、さらに前記第１および前記第２ラインを前記所定方向と略直交する方向に交互に配置することにより、前記撮像面が形成された撮像デバイスにおいて得られたものであることを特徴とする請求項３９から４８のいずれか１項記載のコンピュータ読取り可能な記録媒体。
- 異なる分光分布を有する第１から第３の信号値を有する第１から第３の画素からなる画像を表す画像データであって、前記第１および前記第２の画素が所定方向に交互に配置されて第１ラインが形成され、前記第１および前記第３の画素が前記所定方向に交互に配置されて第２ラインが形成され、さらに前記第１および前記第２ラインが前記所定方向と略直交する方向に交互に配置されてなる画像を表す画像データに対して画像処理を施す画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、請求項１から２１のいずれか１項記載の画像処理方法により、前記画像データにより表される画像の全画素位置における前記第１から第３信号値のうち少なくとも１つの信号値を推定して推定画像データを得る手順と、前記画像データの高周波の輝度情報を表す高周波輝度信号を作成する手順と、前記推定画像データを該推定画像データの輝度情報および色差情報を表す推定輝度信号および推定色差信号に変換するする手順と、
前記推定輝度信号と前記高周波輝度信号とを加算して加算輝度信号を得る手順とを有し、
該加算輝度信号および前記推定色差信号を前記画像データの輝度色差信号とすることを特徴とするコンピュータ読取り可能な記録媒体。 - 前記高周波輝度信号を作成する手順は、前記画像データに対して、前記推定輝度信号の周波数帯域の周波数成分をカットするハイパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成する手順であることを特徴とする請求項５０記載のコンピュータ読取り可能な記録媒体。
- 前記高周波輝度信号を作成する手順は、前記画像データに対して、所定の通過帯域特性を有するバンドパスフィルタによるフィルタリング処理を施すことにより、前記高周波輝度信号を作成することを特徴とする請求項５０記載のコンピュータ読取り可能な記録媒体。
- 請求項２５から３８のいずれか１項記載の画像処理装置を備えたことを特徴とする撮像装置。
- 請求項２５から３８のいずれか１項記載の画像処理装置を備えたことを特徴とする出力装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000155621A JP4162111B2 (ja) | 1999-07-27 | 2000-05-26 | 画像処理方法および装置並びに記録媒体 |
| US09/627,244 US6724932B1 (en) | 1999-07-27 | 2000-07-27 | Image processing method, image processor, and storage medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-212202 | 1999-07-27 | ||
| JP21220299 | 1999-07-27 | ||
| JP2000155621A JP4162111B2 (ja) | 1999-07-27 | 2000-05-26 | 画像処理方法および装置並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001101398A JP2001101398A (ja) | 2001-04-13 |
| JP4162111B2 true JP4162111B2 (ja) | 2008-10-08 |
Family
ID=26519071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000155621A Expired - Fee Related JP4162111B2 (ja) | 1999-07-27 | 2000-05-26 | 画像処理方法および装置並びに記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6724932B1 (ja) |
| JP (1) | JP4162111B2 (ja) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| JP2001203969A (ja) * | 2000-01-21 | 2001-07-27 | Fuji Photo Film Co Ltd | 撮像装置およびその動作制御方法 |
| JP4423452B2 (ja) * | 2000-12-27 | 2010-03-03 | 富士フイルム株式会社 | 固体撮像装置 |
| US20030063095A1 (en) * | 2000-12-29 | 2003-04-03 | Sun Microsystems, Inc. | Statistic logic for collecting a histogram of pixel exponent values |
| JP4703029B2 (ja) * | 2001-05-14 | 2011-06-15 | 三菱電機株式会社 | 画像表示システム及び画像表示方法 |
| US6845016B2 (en) | 2001-09-13 | 2005-01-18 | Seiko Epson Corporation | Electronic device and method of manufacturing the same, and electronic instrument |
| JP4657564B2 (ja) * | 2002-04-30 | 2011-03-23 | イーストマン コダック カンパニー | 電子スチルカメラ及び画像処理方法 |
| US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
| EP1594321A3 (en) * | 2004-05-07 | 2006-01-25 | Dialog Semiconductor GmbH | Extended dynamic range in color imagers |
| DE102004025645A1 (de) * | 2004-05-24 | 2005-12-29 | Jenoptik Laser, Optik, Systeme Gmbh | Verfahren zur Reduzierung von Farbmoire in digitalen Bildern |
| JP4633413B2 (ja) * | 2004-09-01 | 2011-02-16 | 富士フイルム株式会社 | 撮像装置及び信号処理方法 |
| US8571346B2 (en) | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
| US7885458B1 (en) | 2005-10-27 | 2011-02-08 | Nvidia Corporation | Illuminant estimation using gamut mapping and scene classification |
| US7750956B2 (en) * | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
| US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
| US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
| JP4548390B2 (ja) * | 2006-06-16 | 2010-09-22 | ソニー株式会社 | 撮像装置及び信号処理方法 |
| US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
| EP1887515B1 (en) * | 2007-02-27 | 2011-12-28 | Phase One A/S | Colour binning of a digital image |
| US7929807B2 (en) * | 2007-02-27 | 2011-04-19 | Phase One A/S | Colour binning of a digital image to reduce the image resolution |
| US8723969B2 (en) * | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
| US8564687B2 (en) * | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
| US8698917B2 (en) * | 2007-06-04 | 2014-04-15 | Nvidia Corporation | Reducing computational complexity in determining an illuminant of a scene |
| US8199230B2 (en) | 2007-06-28 | 2012-06-12 | Fujifilm Corporation | Signal processing apparatus, image pickup apparatus and computer readable medium |
| JP4914303B2 (ja) * | 2007-07-13 | 2012-04-11 | シリコン ヒフェ ベー．フェー． | 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム |
| US8724895B2 (en) * | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
| US20090051984A1 (en) * | 2007-08-23 | 2009-02-26 | O'brien Michele | Image sensor having checkerboard pattern |
| US8570634B2 (en) * | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
| US8780128B2 (en) | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
| US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
| US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
| US9379156B2 (en) * | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
| US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
| US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
| US8698918B2 (en) * | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
| US8830359B2 (en) * | 2010-03-30 | 2014-09-09 | Nikon Corporation | Image processing apparatus, imaging apparatus, and computer readable medium |
| CN102959959B (zh) * | 2011-03-30 | 2016-02-24 | 富士胶片株式会社 | 固态成像装置驱动方法、固态成像装置及成像设备 |
| US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
| US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
| US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
| US9870598B2 (en) | 2013-04-26 | 2018-01-16 | Nvidia Corporation | Low complexity adaptive filtering for mobile captures |
| US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
| US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
| US9524538B2 (en) * | 2014-09-19 | 2016-12-20 | Fujitsu Ten Limited | Image processing apparatus |
| DE112015005531T5 (de) * | 2015-01-08 | 2017-09-21 | Olympus Corporation | Bildverarbeitungsvorrichtung, Verfahren zum Betreiben einer Bildverarbeitungsvorrichtung, Programm zum Betreiben einer Bildverarbeitungsvorrichtung und Endoskopeinrichtung |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5253046A (en) * | 1991-03-07 | 1993-10-12 | Canon Kabushiki Kaisha | Color image pickup apparatus for object image conversion |
| JP3179166B2 (ja) | 1992-02-25 | 2001-06-25 | オリンパス光学工業株式会社 | 電子内視鏡装置 |
| JPH0630444A (ja) | 1992-07-08 | 1994-02-04 | Toshiba Corp | 画像符号化装置 |
| JPH06225343A (ja) | 1992-10-02 | 1994-08-12 | Hitachi Ltd | テレビジョン信号の構成装置 |
| US5373322A (en) * | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
| JPH089199A (ja) | 1994-06-20 | 1996-01-12 | Canon Inc | 撮像信号処理装置および撮像信号処理方法 |
| JPH09214989A (ja) | 1996-02-02 | 1997-08-15 | Naoki Ozawa | 画像信号の信号補間方法 |
| JP3707187B2 (ja) * | 1996-09-18 | 2005-10-19 | コニカミノルタホールディングス株式会社 | 電子カメラ |
| JP3065543B2 (ja) | 1996-11-08 | 2000-07-17 | ハウス食品株式会社 | 調味ソース |
| JP3806211B2 (ja) | 1997-01-08 | 2006-08-09 | 株式会社リコー | 撮像信号処理方法及び撮像信号処理装置 |
| JP3704238B2 (ja) * | 1997-03-31 | 2005-10-12 | 株式会社リコー | 撮像装置 |
| US6181376B1 (en) * | 1997-10-14 | 2001-01-30 | Intel Corporation | Method of determining missing color values for pixels in a color filter array |
| US6130960A (en) * | 1997-11-03 | 2000-10-10 | Intel Corporation | Block-matching algorithm for color interpolation |
| JP2991180B2 (ja) * | 1998-01-28 | 1999-12-20 | 日本電気株式会社 | 画素補間方法及び画素補間回路並びに画素補間プログラムを記録した記録媒体 |
| US5990950A (en) * | 1998-02-11 | 1999-11-23 | Iterated Systems, Inc. | Method and system for color filter array multifactor interpolation |
| TW404120B (en) * | 1998-03-17 | 2000-09-01 | Matsushita Electric Ind Co Ltd | Image reading apparatus |
| JP4045645B2 (ja) * | 1998-05-19 | 2008-02-13 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| US6549233B1 (en) * | 1998-08-07 | 2003-04-15 | Intel Corporation | Color interpolation system |
| US6496608B1 (en) * | 1999-01-15 | 2002-12-17 | Picsurf, Inc. | Image data interpolation system and method |
| US6404918B1 (en) * | 1999-04-30 | 2002-06-11 | Hewlett-Packard Company | Image demosaicing method utilizing directional smoothing |
| US6933970B2 (en) * | 1999-12-20 | 2005-08-23 | Texas Instruments Incorporated | Digital still camera system and method |
| US6476865B1 (en) * | 2001-03-07 | 2002-11-05 | Eastman Kodak Company | Sparsely sampled image sensing device with color and luminance photosites |
-
2000
- 2000-05-26 JP JP2000155621A patent/JP4162111B2/ja not_active Expired - Fee Related
- 2000-07-27 US US09/627,244 patent/US6724932B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6724932B1 (en) | 2004-04-20 |
| JP2001101398A (ja) | 2001-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP4284628B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
| JP5872408B2 (ja) | カラー撮像装置及び画像処理方法 | |
| JP4351825B2 (ja) | カラーのディジタルイメージを収集する方法 | |
| US8320714B2 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
| US8233733B2 (en) | Image processing device | |
| WO2015093253A1 (ja) | 画素補間処理装置、撮像装置、プログラムおよび集積回路 | |
| US20020158979A1 (en) | Contour filter for image sensor output signals | |
| JP3965460B2 (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
| JP4302855B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP4302854B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
| JP3576600B2 (ja) | カラー撮像装置 | |
| JP4239483B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP4196055B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP3946913B2 (ja) | 信号生成方法および装置並びに記録媒体 | |
| JP4239480B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP2000232655A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
| JP2003087808A (ja) | 画像処理方法および装置並びにプログラム | |
| JP2000341703A (ja) | 信号生成方法および装置並びに記録媒体 | |
| JP3965457B2 (ja) | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 | |
| JP4239484B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP2000341702A (ja) | 信号生成方法および装置並びに記録媒体 | |
| JP4006913B2 (ja) | 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050912 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080717 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |