JP3707187B2

JP3707187B2 - 電子カメラ

Info

Publication number: JP3707187B2
Application number: JP06138597A
Authority: JP
Inventors: 成温滝澤; 博哲洪
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 1996-09-18
Filing date: 1997-03-14
Publication date: 2005-10-19
Anticipated expiration: 2017-03-14
Also published as: JPH10178650A; US6388706B1

Description

【０００１】
【発明の属する技術分野】
本発明は電子カメラに関し、詳しくは、光電変換素子とカラーフィルタを用いた単板式の電子カメラにおいて、画素毎にフィルタ色と異なる色の信号値を補間により求める電子カメラに関する。
【０００２】
【従来の技術】
従来から、ＣＣＤ等の光電変換素子の各画素それぞれにカラーフィルタを重ね、カラー画像信号を得る単板式電子カメラが知られている。
前記単板式電子カメラにおいては、例えば図２に示すように、高解像度が要求される輝度信号（Ｇreen信号) を得るためのＧreenフィルタを市松状に配列する一方、残りの部分に比較的解像度が要求されない２種類の色信号（Ｒed，Ｂlue 信号) を得るためのＲed，Ｂlue フィルタそれぞれが市松状になるように配列したモザイク状のカラーフィルタが用いられている。
【０００３】
また、前記カラーフィルタとしては、図２に示すようなＲ，Ｇ，Ｂからなるものの他、〔Ｗ，Ｇ，Ｃｙ，Ｙｅ〕、〔Ｇ，Ｃｙ，Ｙｅ〕、〔Ｍｇ，Ｇ，Ｃｙ，Ｙｅ〕などの組み合わせからなるものもある。尚、Ｗはホワイト、Ｃｙはシアン、Ｙｅはイエロー、Ｍｇはマゼンタを示す。
上記のような単板式電子カメラにおいては、例えばＲ，Ｇ，Ｂからなるカラーフィルタを用いる場合には、各画素毎にＲ，Ｇ，Ｂのいずれか１つの情報のみが得られることになるため、画像信号について補間計算を行い、各画素毎にＲ，Ｇ，Ｂのデータがそれぞれに得られるようにする場合があった。
【０００４】
例えば、米国特許４６４２６７８号には、Ｒ，Ｇ，Ｂのモザイクフィルタを用いる構成において、Ｒフィルタ又はＢフィルタの画素においてＧreen信号値を補間により求めるときに、注目画素に隣接する４つのＧフィルタ画素の平均値を、注目画素のＧreen信号値とする構成の開示がある。また、Ｒed信号値，Ｂlue 信号値を補間により求めるときに、注目画素に隣接するＲedフィルタ，Ｂlue フィルタの画素の信号値と、当該隣接画素において補間されたＧreen信号値と、注目画素におけるＧreen信号値（Ｇフィルタ画素であればオリジナル信号値、Ｒ，Ｂフィルタ画素であれば補間値）とに基づいて、Ｒed信号値，Ｂlue 信号値を線形補間する構成の開示がある。
【０００５】
また、日本写真学会ファインイメージングシンポジウム論文集（1995年）の「新開発の圧縮および補間処理を用いたデジタルカメラ」には、エッジのパターン認識を行って、認識されたパターンに適した補間方向を設定し、該補間方向の画素の信号値を用いて補間を行う構成の開示がある。
更に、米国特許５３７３３２２号には、図２に示したようなＲ，Ｇ，Ｂのモザイクフィルタを備えた構成において、例えばＧreen信号の補間においては、注目画素に対する色信号Ｂlue ，Ｒedの勾配を求め、この勾配から補間に適した方向を決定して補間値を求める構成の開示がある。
【０００６】
以下に、図２に示すＲフィルタの画素Ｒ34におけるＧ信号Ｇ34、及び、Ｂフィルタの画素Ｂ43におけるＧ信号Ｇ43の補間演算の例を示す。
Ｇ34の補間演算においては、まず、Ｒ32，Ｒ36，Ｒ14，Ｒ54からＲ34に対する勾配を下式から計算する。
Ｈdiff＝｜（Ｒ32＋Ｒ36）／２−Ｒ34｜
Ｖdiff＝｜（Ｒ14＋Ｒ54）／２−Ｒ34｜
ここで、Ｈdiffは、Ｒ34に対し水平方向の勾配を表し、Ｖdiffは垂直方向の勾配を表すことになる。
【０００７】
そして、Ｈdiff＜Ｖdiffのときには、
Ｇ34＝（Ｇ33＋Ｇ35）／２
とし、Ｈdiff＞Ｖdiffのときには、
Ｇ34＝（Ｇ24＋Ｇ44）／２
とし、Ｈdiff＝Ｖdiffのときには、
Ｇ34＝（Ｇ24＋Ｇ44＋Ｇ33＋Ｇ35）／４
とする。
【０００８】
同様にして、Ｇ43の補間演算においては、まず、Ｂ41，Ｂ45，Ｂ23，Ｂ63からＢ43に対する勾配を下式から計算する。
Ｈdiff＝｜（Ｂ41＋Ｂ45）／２−Ｂ43｜
Ｖdiff＝｜（Ｂ23＋Ｂ63）／２−Ｂ43｜
そして、Ｈdiff＜Ｖdiffのときには、
Ｇ43＝（Ｇ42＋Ｇ44）／２
とし、Ｈdiff＞Ｖdiffのときには、
Ｇ43＝（Ｇ33＋Ｇ53）／２
とし、Ｈdiff＝Ｖdiffのときには、
Ｇ43＝（Ｇ33＋Ｇ53＋Ｇ42＋Ｇ44）／４
とする。
【０００９】
一方、Ｒ信号，Ｂ信号の補間は、Ｇフィルタの画素と当該画素に隣接するＲフィルタ，Ｂフィルタの画素の信号を用いて線形補間を行う構成となっている。
以下に、Ｒ信号Ｒ33，Ｒ43，Ｒ44の補間演算式を示す。

また、Ｂ信号Ｂ33，Ｂ34，Ｂ44の補間演算式を以下に示す。
【００１０】

一方、前記電子カメラにおいては、従来から、画像データを圧縮処理して半導体メモリ等に記録することが行われており、該圧縮処理には直交変換符号化を用いた方法が主として使用されている。
【００１１】
例えばＪＰＥＧ圧縮では、ＲＧＢ信号は、８×８画素を１単位としてＤＣＴ（Descrete Cosine Transform)で直交変換された後、量子化され、ハフマン符号化されて、圧縮データとなる。圧縮データは保存又は伝送され、圧縮データを解凍（伸長）する際には、上述の逆をたどって画像が復元される。
上記のように、直交変換符号化は、画像領域を複数のブロックに分割して行うため、解凍画像（伸長画像）においてブロックの継ぎ目が不自然になる現象（以下、ブロック歪みという）が発生するという問題があり、該ブロック歪みを低減するための方法が種々提案されていた。
【００１２】
例えば特開昭６３−２３６０８８号公報には、ブロック同士がオーバーラップするようにして直交変換符号化を行われる構成の開示があり、特開平３−１６６８２３号公報には、画像の平坦部と判断された部分についてローパスフィルタを施す構成の開示あり、また、特開平４−２２７３号公報には、ブロックの境界付近にランダムノイズを付加したりローパスフィルタを施す構成の開示があり、更に、特開平６−１１３１４７号公報には、ブロック歪みを持つ画像に対して、境界から歪みの有無を判断して、歪みのある部分にローパスフィルタをかける構成の開示ある。
【００１３】
【発明が解決しようとする課題】
ところで、前記米国特許４６４２６７８号に開示されるモザイクフィルタにおける補間方法では、Ｂlue フィルタ画素において、Ｒed信号値を補間により求める際に、Ｇreen，Ｒedの信号値のみを用いており、同様に、Ｒedフィルタ画素で、Ｂlue 信号を補間する際は、Ｇreen，Ｂlue の信号値のみを用いる構成となっており、Ｂフィルタ画素におけるＲ信号値の補間、Ｒフィルタ画素におけるＢ信号値の補間においては、注目画素の信号値を補間演算に用いない構成であるため、前記補間方法では色の再現性及び鮮鋭性が低くなってしまうという問題があった。
【００１４】
また、エッジのパターン認識を行って補間演算の方向を決定する方法では、画像のパターンを判別するために演算負担が大きく、補間処理が遅くなってしまうという問題があり、また、前述の場合と同様に、注目画素の信号値を使わずに、Ｇ，Ｂ又はＧ，Ｒの信号値に基づいてＢ，Ｒ信号値を補間するため、色の再現性が低いという問題があった。
【００１５】
更に、米国特許５３７３３２２号の場合には、輝度信号であるＧ信号の補間を、色信号であるＲ，Ｂ信号の勾配から決定しているため、Ｇの勾配と無関係に補正が行われることになってしまうという問題があり、また、色信号の補間についても、補間されたＧ信号を使って線形補間を行っているため、画像全体の色の再現性が低いという問題があり、また、勾配を判断するために処理が遅くなってしまうという欠点がある。
【００１６】
また、前記各従来技術においては、１次元方向の画素、又は、注目画素に隣接する画素を使い補間を行っているが、かかる構成では、参照する画素が少ないために色の再現性が低いという問題があった。
一方、前記従来のブロック歪みを低減する方法において、ブロックをオーバーラップさせる場合には、標準的な圧縮方法と異なる処理を行う必要が生じてしまうという問題があり、ランダムノイズを付加する構成では、ノイズの加算によって画像が荒れるという問題あった。また、平坦部を判別してローパスフィルタをかける構成や、ブロック歪みの有無を判断してローパスフィルタをかける構成の場合には、判別処理が要求されるため演算負担が高くなり、また、判別処理が不適切であると処理によって却って画質を低下させてしまう可能性があった。
【００１７】
本発明は上記問題点に鑑みなされたものであり、単板式の電子カメラにおいて、色の再現性及び鮮鋭性が高く、然も、処理時間の短い補間処理を提供することを目的とする。
【００１８】
【課題を解決するための手段】
そのため請求項１記載の発明は、光電変換素子とカラーフィルタを用いた単板式の電子カメラにおいて、前記カラーフィルタが少なくともＧ reen フィルタを有し、Ｇ reen 以外のフィルタ色の注目画素についてＧ reen 信号値を補間により求めるときに、注目画素の信号値をＸ、前記注目画素を中心とする所定領域内で注目画素と同じ色のカラーフィルタをもつ画素の信号値の平均値をＸ’、前記所定領域内でＧ reen フィルタをもつ画素の信号値の平均値をＧ’としたときに、前記注目画素についてのＧ reen 信号の補間値ｇを、
ｇ＝Ｇ’＋β（Ｘ−Ｘ’）
として求め、注目画素がＧ reen フィルタ色の注目画素であるとき、その信号値をＧとしたときに、
ｇ＝Ｇ’＋β（Ｇ−Ｇ’）
としてＧ reen 信号の補間値ｇを求める構成とした。
【００１９】
前記カラーフィルタとしては、Ｒ，Ｇ，Ｂのモザイクフィルタの他、〔Ｗ，Ｇ，Ｃｙ，Ｙｅ〕、〔Ｇ，Ｃｙ，Ｙｅ〕、〔Ｍｇ，Ｇ，Ｃｙ，Ｙｅ〕などの組み合わせからなるものであっても良い。そして、補間処理を施す注目画素を中心に所定領域を設定し、前記所定領域内において同じ色のフィルタが積層された画素の信号値の平均を求め、該平均値と注目画素における信号値とによって、補間値が計算される構成としてある。
上記補間値ｇによると、βを大きくすると画像の鮮鋭性が高くなり、小さくするとぼけることになる。
ここで、最終的にＲ，Ｇ，Ｂの信号を得る必要がある場合であっても、注目画素のフィルタ色は、Ｒ，Ｂの以外のＹｅ，Ｃｙ，Ｍｇ，Ｗなどのいずれであっても良く、Ｒ，Ｇ，Ｂモザイクフィルタ以外のカラーフィルタにも適用できる補間式となっている。
【００２５】
請求項２記載の発明では、光電変換素子とカラーフィルタを用いた単板式の電子カメラにおいて、前記カラーフィルタがＲed，Ｇreen，Ｂlueフィルタをそれぞれ有し、注目画素についてＲed，Ｂlueの信号値をそれぞれ補間により求めるときに、注目画素の信号値をＸ、前記注目画素を中心とする所定領域内で注目画素と同じ色のカラーフィルタをもつ画素の信号値の平均値をＸ’、前記所定領域内でＲedフィルタをもつ画素の信号値の平均値をＲ’、前記所定領域内でＢlueフィルタをもつ画素の信号値の平均値をＢ’としたときに、Ｒed，Ｂlue信号の補間値ｒ，ｂを、
ｒ＝Ｒ’＋β（Ｘ−Ｘ’）
ｂ＝Ｂ’＋β（Ｘ−Ｘ’）
として求める構成とした。
【００２６】
上記構成においても、βを大きくすると画像の鮮鋭性が高くなり、小さくするとぼけることになる。
請求項３記載の発明では、光電変換素子とカラーフィルタを用いた単板式の電子カメラにおいて、前記カラーフィルタが少なくともＧreenフィルタを有する一方、Ｒed，Ｂlueフィルタ以外のフィルタ色を有する構成であって、注目画素についてＲed，Ｂlueの信号値をそれぞれ補間により求めるときに、前記注目画素を中心とする所定領域内でフィルタ色別に計算した信号値の平均値をＲed，Ｂlueの信号値ｒ’，ｂ’に変換し、注目画素の信号値をＸ、前記所定領域内で注目画素と同じ色のカラーフィルタをもつ画素の信号値の平均値をＸ’としたときに、Ｒed，Ｂlue信号の補間値ｒ，ｂを、
ｒ＝ｒ’＋β（Ｘ−Ｘ’）
ｂ＝ｂ’＋β（Ｘ−Ｘ’）
として求める構成とした。
【００２７】
かかる構成では、Ｂ lue 及びＲ ed 以外の色のＷ，Ｃｙ，Ｙｅ，Ｍｇなどのカラーフィルタを用いる場合に、これらの信号の平均値をＢ lue ，Ｒ ed 信号に変換して、補間演算に用いる。
カラーフィルタとして、例えばＧ，Ｃｙ，Ｙｅの組み合わせからなるモザイクフィルタを用いる場合であって、Ｃｙ，Ｙｅのフィルタをもつ画素において、Ｒed及びＢlue信号値を補間によって求めるときには、領域内でのＧ，Ｃｙ，Ｙｅそれぞれの平均値Ｇ’，Ｃｙ’，Ｙｅ’を求める一方、該平均値をｂ’，ｒ’に色変換する。そして、変換されたｂ’，ｒ’を、前記補間式ｒ＝ｒ’＋β（Ｘ−Ｘ’），ｂ＝ｂ’＋β（Ｘ−Ｘ’）に代入することで、Ｒed及びＢlue 信号値を補間によって求めることができる。
【００２８】
請求項４記載の発明では、前記βを光学系の変調伝達関数ＭＴＦに応じて可変に設定する構成とした。
光学系のＭＴＦ（Modulation Transfer Function) は、レンズの絞り、焦点距離によって変化するので、ＭＴＦ劣化を補正すべく、前記βを可変に設定する。
請求項５記載の発明では、前記所定領域を、前記注目画素を中心とする５×５画素の領域とする構成とした。
【００２９】
色の再現性を考えると、領域を広くすることが望まれるが、領域を広くするとエッジ付近で偽色が増加するため、５×５画素程度とすることが好ましい。
請求項６記載の発明では、前記所定領域内で、同一フィルタ色の画素が、ライン上の同一位置に並ぶ複数ラインについて、該複数ライン上の同一位置かつ同一色の信号の和をそれぞれ記憶するメモリを備え、該メモリの記憶値を用いて補間を行う構成とした。
【００３０】
かかる構成によると、領域内の信号平均を求めるときに、予めメモリに縦方向（１次元）の加算結果が記憶されているから、２次元の平均（信号の総和）を求める際における処理内容が簡略化されることになる。
【００３９】
【発明の効果】
請求項１記載の発明によると、補間処理を施す注目画素を中心とした所定領域内での色別の平均値と、注目画素における信号値とに基づいて、補間処理が施されることにより、色の再現性及び鮮鋭性を高くできると共に、比較的簡単な処理で補間値が求められるという効果がある。また、補間処理によってエッジを強調することができ、以て、鮮鋭性の高い画像が得られるという効果がある。
【００４１】
請求項２記載の発明によると、エッジの強調を行わせつつ、色の再現性が良い補間処理ができるという効果がある。
請求項３記載の発明によると、カラーフィルタが、Ｇ，Ｙｅ，Ｍｇ，ＣｙなどのＲedフィルタ，Ｂlue フィルタを備えないカラーフィルタであっても、簡便かつ色再現性良く、Ｒ，Ｂの補間値を得られるという効果がある。
【００４２】
請求項４記載の発明によると、レンズの絞りや焦点距離の変化によるＭＴＦの劣化を、補間処理において補正することができるという効果がある。
請求項５記載の発明によると、エッジ部における偽色を少なくできるという効果がある。
請求項６記載の発明によると、所定領域内での平均値（信号値の総和）の演算を効率良く行え、処理速度を速めることができるという効果がある。
【００４７】
【発明の実施の形態】
以下に本発明の実施の形態を説明する。
図１は、実施例に係る単板式の電子カメラの信号変換経路の概略を示すブロック図である。
図１において、図示しない被写体からの光学像は、撮影レンズ１を介して光電変換素子としてのＣＣＤ（Charge Coupled Device)２上に、該ＣＣＤに積層された各種フィルタを介して照射され、ＣＣＤ２では、前記被写体の光学像を光電変換して電気信号に変換する。
【００４８】
前記各種のフィルタとしては、例えば、空間周波数の低域のみを通過させる低域通過フィルタ３、赤外線をカットする赤外線カットフィルタ４、ＲＧＢ又はＣＭＹＧなどの色フィルタの組み合わせからなるモザイクフィルタ５が用いられる。
前記ＣＣＤ２から出力された電気信号はＡ／Ｄ変換された後、画像メモリ６に一旦記憶される。
【００４９】
前記画像メモリ６に記憶された画像データは、画像処理部７の画像補間部７ａにおいて補間処理され、更に、色変換処理部７ｂにおいて色変換処理が施される。
次に、画像データは、ガンマ変換部８で階調特性の調整が施された後、画像圧縮部９において、必要に応じてＪＰＥＧ（Joint Photographic coding Experts Group)等の画像圧縮処理が施される。
【００５０】
記録部10では、圧縮後の画像データを、例えばメモリカードや光磁気ディスク等の記録媒体に記録する。
ここで、図１に示す信号変換経路の一連の処理は、ＣＰＵ11によって制御されるものとする。
次に、前記画像補間部７ａにおける補間処理について詳しく説明する。
【００５１】
尚、以下の補間処理の説明においては、図２に示すようなＲＧＢのモザイクフィルタを用いるものとする。図２のモザイクフィルタは、Ｇreenフィルタを市松状に配列する一方、残りの部分にＲed，Ｂlue フィルタそれぞれが等分に市松状になるように配列したものである。
図１の画像メモリ６から読み出された画像データは、図３に示す平均値計算部21において、注目画素を中心とした５×５画素の領域内で、各フィルタ色毎に平均値が計算される。
【００５２】
色の再現性を考えると、５×５画素以上の大きさの領域で各フィルタ色毎の平均値を計算させる構成としても良いが、領域を広くするとエッジ付近で偽色が増加するため、５×５画素程度の領域とすることが好ましい。
一方、図３の補間計算部22では、以下のようにして補間値を求める。
例えば、図２においてＲフィルタ画素Ｒ34及びＢフィルタ画素Ｂ43の各画素（注目画素）に対応するＧreen信号Ｇ34，Ｇ43は、次式から補間される。
【００５３】
Ｇ34＝Ｒ34＋Ｇ'34 −Ｒ'34
Ｇ43＝Ｂ43＋Ｇ'43 −Ｂ'43
ここで、Ｇ'34 ，Ｒ'34 は、注目画素であるＲ34を中心とした５×５画素領域内のＧreen信号, Ｒed信号の平均値を示し、Ｇ'43 ，Ｂ'43 は、注目画素であるＢ43を中心とした５×５画素領域内のＧreen信号，Ｂlue 信号の平均値を示し、具体的には、それぞれ下式に従って求められる。
【００５４】

尚、平均値を求める範囲は５×５画素領域に限定されず、３×３画素，３×５画素，５×３画素，７×５画素などであっても良く、また、重み付けを行っても良い。
【００５５】
また、Ｇフィルタ画素Ｇ33，Ｂフィルタ画素Ｂ43，Ｇフィルタ画素Ｇ44に対応するＲed信号の補間値Ｒ33，Ｒ43，Ｒ44は以下のようにして求められる。
Ｒ33＝Ｇ33＋Ｒ'33 −Ｇ'33
Ｒ43＝Ｂ43＋Ｒ'43 −Ｂ'43
Ｒ44＝Ｇ44＋Ｒ'44 −Ｇ'44
ここで、前述と同様に、Ｒ'33 ，Ｇ'33 は、注目画素Ｇ33を中心とした５×５画素領域内のＲed信号，Ｇreen信号の平均値を示し、Ｒ'43 ，Ｂ'43 は、注目画素Ｂ43を中心とした５×５画素領域内のＲed信号，Ｂlue 信号の平均値を示し、更に、Ｒ'44 ，Ｇ'44 は、注目画素Ｇ44を中心とした５×５画素領域内のＲed信号，Ｇreen信号の平均値を示す。
【００５６】
更に、Ｇフィルタ画素Ｇ33，Ｒフィルタ画素Ｂ34，Ｇフィルタ画素Ｇ44に対応するＢlue 信号の補間値Ｂ33，Ｂ34，Ｂ44は以下のようにして求められる。
Ｂ33＝Ｇ33＋Ｂ'33 −Ｇ'33
Ｂ34＝Ｒ34＋Ｂ'34 −Ｒ'34
Ｂ44＝Ｇ44＋Ｂ'44 −Ｇ'44
ここでも、Ｂ'33 ，Ｂ'34 ，Ｂ'44 は、Ｇ33，Ｒ34，Ｇ44をそれぞれ中心とした５×５画素領域内のＢlue 信号の平均値を示す。
【００５７】
上記の補間演算をまとめると、表１に示すようになる。表１において、ＢＧＲは、注目画素の信号値を示し、ｇｂｒは、補間値を示す。
【００５８】
【表１】

【００５９】
上記表１に示すように、注目画素の信号値と、注目画素を中心とする所定領域内の色別の信号値の平均値とに基づいて補間値を計算させることで、高い色再現性を得られることになる。
前記表１の変形例として、補間式に係数βをもたせることにより、補間された画像の特徴を変えることが可能であり、これを表２に示す。
【００６０】
【表２】

【００６１】
表２に示すβは、値を大きくすると画像の鮮鋭性が高くなり、小さくするとぼけることになる。
但し、β＝０の場合、各注目画素のカラーフィルタに応じて表３のようにしても良い。
【００６２】
【表３】

【００６３】
上記では、図２に示したＲＧＢモザイクフィルタの補間方法について説明したが、フィルタの種類を限定するものではなく、ＹＭＣＧ，ＹＣＧなどの組み合わせからなる種々のモザイクフィルタに適応でき、ここでは、図４〜図６に示すような構成のモザイクフィルタの場合について説明する。尚、図４〜図６は、各色フィルタの組み合わせの基本形を示すものであり、ＣＣＤ２の画素数に応じて同じパターンのフィルタ構成が繰り返されることになる。
【００６４】
図７は、前記図４〜図６に示すような構成のモザイクフィルタを用いる場合の画像補間部７ａの構成を示すものであり、図１の画像メモリ６から読み出された画像信号は、平均値計算部31において、注目画素を中心とした５×５画素の領域内で、各色毎に平均値が計算される。
そして、変換式計算部32において、ＲＧＢ以外の信号がＲＧＢ信号に変換される。
【００６５】
更に、補間値計算部33において、所定の補間式により補間値が求められる。
例えば、図４に示すＹＭＣＧモザイクフィルタの場合には、数１に従ってＹＭＣ信号が、変換式計算部32においてＲＧＢ信号に変換される。
【００６６】
【数１】

【００６７】
上記数１において、Ｙｅ’，Ｍｇ’，Ｃｙ’，Ｇ’は、注目画素を中心とした５×５画素領域内におけるＹｅ信号値，Ｍｇ信号値，Ｃｙ信号値，Ｇ信号値それぞれの平均値であり、前記平均値計算部31で計算され、ｂ’，ｇ’，ｒ’は、前記Ｙｅ’，Ｍｇ’，Ｃｙ’，Ｇ’に基づき変換されたＲ，Ｇ，Ｂの平均値を示す。
【００６８】
また、図４に示すＹＭＣＧモザイクフィルタの場合には、表４に示す補間式により、前記補間値計算部33において補間値が求められる。
【００６９】
【表４】

【００７０】
但し、β＝０の場合、注目画素Ｇにおける出力値は、ｇ＝Ｇとしても良い。
表４において、Ｇ，Ｙｅ，Ｍｇ，Ｃｙは注目画素の信号値を示し、ｇ，ｂ，ｒは、補間値を示す。
一方、図５に示すＹＣＧＷモザイクフィルタの場合には、数２に従ってＷＹＣ信号がＲＧＢ信号に変換される。
【００７１】
【数２】

【００７２】
ここでも、Ｗ’，Ｙｅ’，Ｃｙ’，Ｇ’は、注目画素を中心とした５×５画素領域内におけるＷ信号，Ｙｅ信号値，Ｃｙ信号値，Ｇ信号値それぞれの平均値であり、前記平均値計算部31で計算され、ｂ’，ｇ’，ｒ’は、前記Ｗ’，Ｙｅ’，Ｃｙ’，Ｇ’に基づき変換されたＲ，Ｇ，Ｂの平均値を示す。
また、図５に示すＹＣＧＷモザイクフィルタの場合には、表５に示す補間式により補間値が求められる。
【００７３】
【表５】

【００７４】
但し、β＝０の場合、注目画素Ｇにおける出力値は、ｇ＝Ｇとしても良い。
表５において、Ｗ，Ｙｅ，Ｃｙ，Ｇは、注目画素の信号値を示し、ｇ，ｂ，ｒは補間値を示す。
更に、図６に示すＧＣＹモザイクフィルタの場合には、数３に従ってＧＹＣ信号がＲＧＢ信号に変換される。
【００７５】
【数３】

【００７６】
数３において、Ｙｅ’，Ｃｙ’，Ｇ’は、注目画素を中心とした５×５画素領域内におけるＹｅ信号値，Ｃｙ信号値，Ｇ信号値それぞれの平均値であり、前記平均値計算部31で計算され、ｂ’，ｇ’，ｒ’は、前記Ｙｅ’，Ｃｙ’，Ｇ’に基づき変換されたＲ，Ｇ，Ｂの平均値を示す。
また、図６に示すＹＣＧモザイクフィルタの場合には、表６に示す補間式により補間値が求められる。
【００７７】
【表６】

【００７８】
但し、β＝０の場合、注目画素Ｇにおける出力値は、ｇ＝Ｇとしても良い。
表６において、Ｇ，Ｙｅ，Ｃｙは注目画素の信号値を示し、ｇ，ｂ，ｒが補間値を示す。
ところで、前記係数βは、固定値として与えても良いが、下記に示すように光学系のＭＴＦに応じて可変に設定する構成としても良い。
【００７９】
前記補間マトリクスの周波数特性は、係数βに応じて図10に示すように変化する。前記図10は、原色モザイクフィルタのＲｅｄ又はＢｌｕｅのカラーフィルタが積層された画素におけるＲｅｄ信号又はＢｌｕｅ信号の補間マトリクスの縦，横方向の周波数特性を表すものであり、βを１以上にすると、補間マトリクスはバンドパスフィルタの特性を持つようになることが分かる。
【００８０】
一方、光学系のＭＴＦは、レンズの絞りや焦点距離に応じて変化するから、カメラ内で使用するレンジの絞りや焦点距離に合わせてＭＴＦを測定し、そのＭＴＦ劣化を補正する目的でβを可変に設定することができる。
例えばＣＣＤで撮影した画像のＭＴＦが、図11に示すような特性を示すとき、このＭＴＦを補正するにはその逆特性に近似した補間マトリクスが必要となり、例えば、１／２ナイキスト周波数に注目して近似させると次のようになる。
【００８１】
補間マトリクスの周波数特性をＰ_hnypとすると、Ｐ_hnypは、表７の補間マトリクスをフーリエ変換し、次式で表される。
Ｐ_hnyp＝−0.333 ＋1.333 β
【００８２】
【表７】

【００８３】
逆特性の振幅をＦ_hnypとすると、
β＝（Ｆ_hnyp＋0.333 ）／1.333
となる。また、注目する周波数は、人間の目の分解能が最も高い周波数としても良いし、全周波数帯域にも平均的に合わせることも可能である。
また、レンズのＭＴＦは、画像の中心から同心円上に変化するため、この変化に合わせてＭＴＦを測定し、βを画素位置毎に可変に設定することもできる。
【００８４】
次に、画像補間における効率的な計算方法について説明する。
ここでは、図２のＲＧＢモザイクフィルタを用いる場合であって、５×５画素の領域内で平均値を計算する例を示す。
後述するように、平均値の計算のために画像の横方向に対して４ライン分のメモリが必要となり、該メモリをadd2，add3，add20, add30として、以下に計算手順を示す。
【００８５】
(1)図２における左端の画素がそれぞれＧ11，Ｇ31，Ｇ51である上から１番目，３番目，５番目の３ラインにおける縦方向の３画素の和を、add3に入力する。つまり、各ラインの横方向の画素を、line1[i], line2[i], line3[i], ・・・・（ｉ＝１〜横方向の画素数）としたときに、
add3[i]＝line1[i]＋line3[i]＋line5[i]
とする。
【００８６】

となる。
【００８７】
(2)図２における左端の画素がそれぞれＢ21，Ｂ41である上から２番目，４番目の２ラインにおける縦方向の２画素の和をadd2に入力する。

となる。
【００８８】
(3)注目画素Ｇ33を中心とした５×５画素領域内におけるＲ信号，Ｇ信号，Ｂ信号それぞれの平均値Ｒ33’，Ｇ33’，Ｂ33’を、次のようにして計算する。
Ｒ’＝add3[2] ＋add3[4]
Ｇ’＝add2[2] ＋add2[4] ＋add3[1] ＋add3[3] ＋add3[5]
Ｂ’＝add2[1] ＋add2[3] ＋add2[5]
Ｒ33’＝Ｒ’／６
Ｇ33’＝Ｇ’／13
Ｂ33’＝Ｂ’／６
(4)図２でＧ33の右隣のＲ34を注目画素としたときの各色の平均値は次のようになる。
【００８９】
Ｒ’＝Ｒ' ＋add3[6]
Ｇ’＝Ｇ’−add3[1] ＋add2[6]
Ｂ’＝Ｂ’−add2[1]
Ｒ34’＝Ｒ’／９
Ｇ34’＝Ｇ’／12
Ｂ34’＝Ｂ’／４
尚、Ｒ' ＋add3[6] のＲ’は、Ｇ33で求めたＲ信号の総和であり、Ｇ’−add3[1] ＋add2[6] におけるＧ’、Ｂ’−add2[1] におけるＢ’も同様である。
【００９０】
(5)更に、Ｒ34の右隣のＧ35を注目画素としたときの各色の平均値は次のようになる。
Ｒ’＝Ｒ’−add3[2]
Ｇ’＝Ｇ’＋add3[7] −add2[2]
Ｂ’＝Ｂ’＋add2[7]
Ｒ35’＝Ｒ’／６
Ｇ35’＝Ｇ’／13
Ｂ35’＝Ｂ’／６
尚、Ｒ’−add3[2] のＲ’は、Ｒ34で求めたＲ信号の総和であり、Ｇ’＋add3[7] −add2[2] におけるＧ’、Ｂ’＋add2[7] におけるＢ’も同様である。
【００９１】
(6)上記の計算を横方向に順次繰り返す。
(7)次に、Ｂ41のラインに注目画素を移す。ここでは、次式で横方向の和を求め、前記(3) 〜(6) の手順で同様に計算する。
add20[i]＝add2[i]
add30[i]＝add3[i]
add2[i] ＝add30[i]−line1[i] 又は add2[i] ＝add3[i] ＋line5[i]
add3[i] ＝add20[i]＋line6[i]
尚、add20[i]，add30[i]の各ラインメモリは、上記のようにadd2[i] ，add3[i] の更新設定において前回値を退避させるために必要となる。
【００９２】
(8) (3)〜(7) を繰り返し、全ての画素に対して平均値を計算する。
上記のようにして、ラインメモリを用いれば、注目画素毎に５×５画素領域内に含まれる各画素の信号をその都度合計する場合に比べ、計算量を低減でき、以て、効率の良く補間処理が行える。
ところで、上記補間計算は、補間前の画像データをコンピュータへ転送することにより、ソフトウェアによっても実現でき、ソフトウェア処理による補間方法の例を図８又は図９のフローチャートに示す。
【００９３】
図８のフローチャートは、ＲＧＢモザイクフィルタを用いたときのソフトウェア処理による補間を示す。
まず、画像データを読み込み（Ｓ１）、続いて全画素について補間計算が終了しているか否かを判別する（Ｓ２）。全画素について補間計算が終了していない場合には、注目画素の近隣の画素（５×５画素領域内の画素）について各色毎の平均値Ｒ’，Ｇ’，Ｂ’を計算する（Ｓ３）。
【００９４】
そして、前記平均値Ｒ’，Ｇ’，Ｂ’を用いて、補間値ｒ，ｇ，ｂを計算する（Ｓ４）。
前記計算した補間値を出力すると（Ｓ５）、次の注目画素をセットし（Ｓ６）、前記Ｓ２に戻って全画素について補間が終了したか否かを判別させ、全画素について終了するまで、前記Ｓ３〜Ｓ６の処理を繰り返す。
【００９５】
図９のフローチャートは、図４のＹＭＣＧモザイクフィルタを用いたときのソフトウェア処理による補間を示す。
まず、画像データを読み込み（Ｓ11）、続いて全画素について補間計算が終了しているか否かを判別する（Ｓ12）。全画素について補間計算が終了していない場合には、注目画素の近隣の画素について各色毎の平均値Ｙｅ’，Ｍｇ’，Ｃｙ’，Ｇ’を計算する（Ｓ13）。
【００９６】
次に、前記平均値Ｙｅ’，Ｍｇ’，Ｃｙ’，Ｇ’を、ｒ’，ｇ’，ｂ’に変換する（Ｓ14）。
そして、前記ｒ’，ｇ’，ｂ’を用いて、補間値ｒ，ｇ，ｂを計算する（Ｓ15）。
前記計算した補間値を出力すると（Ｓ16）、次の注目画素をセットし（Ｓ17）、前記Ｓ12に戻って全画素について補間が終了したか否かを判別させ、全画素について終了するまで、前記Ｓ13〜Ｓ17の処理を繰り返す。
【００９７】
ところで、電子カメラにおいては、ＣＣＤの画素毎の出力ばらつきを補正するホワイトバランス調整とゲイン調整とが一般的に行われるが、前記ホワイトバランス調整又は／及びゲイン調整と同時に、レンズの周辺減光の補正を行わせれば、計算量を軽減して前記周辺減光の補正を行わせることができる。
例えば、前述のように補間処理されたｒ，ｇ，ｂの信号に係数Ａｒ，Ａｇ，Ａｂを乗算して、ホワイトバランス，ゲイン調整を行う際に、ホワイトバランス，ゲイン調整を行う係数Ａｒ，Ａｇ，Ａｂに対して周辺減光を補正するための係数を乗算して補正し、該補正された係数Ａｒ，Ａｇ，Ａｂを用いて、調整後の信号値ｒ₀，ｇ₀，ｂ₀を得るようにする。
ここで、周辺減光の補正のための係数をαとすると、該係数αは、一般に知られているコサインの４乗則で決まり、簡単に表すと下式のようになる。
【００９８】
α＝１／cos⁴ω
前記ωは、図12に示すように、焦点距離，軸外像点と軸上像点との距離で決まる値であり、それぞれの距離をｆ，ｘとすると、
ω＝tan ^-1(x/f)
となる。ＣＣＤ上では、αは、全画素数の１／８だけ変化することになり、カメラ内にこの数のαのデータを持っていれば良いことになる。そして、この係数αとホワイトバランス，ゲイン調整のために設定された係数Ａｒ，Ａｇ，Ａｂとを乗算して新たな係数Ａｒ，Ａｇ，Ａｂをメモリに記録し、この記録された係数Ａｒ，Ａｇ，Ａｂと、補間処理されたｒ，ｇ，ｂの信号との乗算を行わせる。
【００９９】
画像の縦，横のサイズをＨ，Ｗとすると、ホワイトバランス調整，ゲイン調整，周辺減光補正とを個別に行う場合には、３×Ｈ×Ｗの回数の乗算処理が必要になるが、上記のようにして周辺減光の補正を行えば、乗算処理の回数は、３×（Ｈ×Ｗ／４＋Ｈ／２）となり、乗算処理の回数を軽減できる。
尚、周辺減光の補正は、ホワイトバランス調整とゲイン調整とのいずれか一方と同時に行わせる構成であっても良いし、両者と同時に行わせる構成であっても良い。
【０１００】
次に、上記のような補間処理が行われる単板式の電子カメラにおける画像データの圧縮，解凍（伸長）について説明する。
図13は、図１に示した電子カメラの構成をより詳細に示すものであり、図示しない被写体からの光学像は、撮影レンズ51、低域通過フィルタ52、赤外線カットフィルタ53、ＲＧＢ又はＣＭＹＧなどの色フィルタの組み合わせからなるモザイクフィルタ54を介してＣＣＤ（Charge Coupled Device)55上に照射され、ＣＣＤ55では、前記被写体の光学像を光電変換して電気信号に変換する。
【０１０１】
前記ＣＣＤ55から出力された電気信号はＡ／Ｄ変換された後、画像メモリ56に一旦記憶される。
前記画像メモリ56に記録された画像データは、まず、マトリクス（１）57により、標準光源下で撮影したとの信号値に近づくように変換される。次に、マトリクス（２）58により、人間の網膜への刺激に近づくように変換される。但し、マトリクス（１）57とマトリクス（２）58との処理順序は逆でも良い。
【０１０２】
次に、ゲインコントロール59で、適当な白色点になるように、３つの値がそれぞれ係数倍され、これにより、ホワイトバランスが取られる。
次に、マトリクス（３）60により、信号値をＣＲＴに表示したときに適当になるように変換し、更に、ガンマコントロール61により、ＣＲＴのガンマ特性に合わせて階調カーブが調整される。
【０１０３】
更に、画像圧縮部62でＪＰＥＧ圧縮などによって画像データを圧縮する処理が施され、該圧縮された画像データが半導体メモリ63に記録される。
ＣＰＵ64は、フリッカー判別装置65からの信号等が入力され、前記各処理部の動作を制御する一方、外部インターフェイス66を介して外部からの信号を入力する。また、メモリ67は、前記ＣＰＵ64によってデータの書き込み，読み出しが行われるメモリである。
【０１０４】
ここで、前記画像圧縮部62では、図14に示すようにして圧縮及び解凍（伸長）を行う。
図14に示すように、圧縮前にまず画像データの高周波成分を強調する処理が行われ、その後に、８×８画素ブロック単位にＤＣＴ（Descrete Cosine Transform)を行い、量子化され、ハフマン符号化されて、圧縮データとなる。圧縮データを解凍（伸長）する際には、上述の逆をたどるが、解凍後に高周波成分を低減する処理が施される。
【０１０５】
上記のようにして、圧縮前に高周波成分を強調する処理を施し、解凍後に高周波成分を低減する処理を施す構成とすれば、画像の平坦部やブロック歪みの有無を判別することなく、解凍後の高周波成分を低減する処理（ローパスフィルタ）によって、圧縮処理に伴うブロック歪みを低減することができる。
尚、８×８画素を１ブロックとしてＤＣＴ変換を行うＪＰＥＧ圧縮では、ブロック境界が８画素毎に設定され、この境界部分にブロック歪みが発生するので、この８画素毎のブロック境界部分についてのみ高周波成分の処理を施す構成とすれば、より効果的にブロック歪みを低減できる。
【０１０６】
図14に示す構成では、ＲＧＢ信号それぞれについて高周波成分の強調，低減を行わせることになるが、図15に示すように、圧縮前にＲＧＢ信号をＹＣＣ信号（輝度Ｙ信号と色Ｃ信号となる信号）に変換し、輝度Ｙ信号についてのみ高周波成分を強調する処理を行ってから圧縮処理を実行し、解凍後には、輝度Ｙ信号についてのみ高周波成分を低減する処理を行ってからＲＧＢ信号に変換して出力するようにしても良い。上記のようにして輝度Ｙ信号についてのみ高周波成分を強調する処理を行わせる構成であれば、高周波成分の強調，低減処理の計算負担が軽減されることになる。
【０１０７】
尚、ＲＧＢ信号とＹＣＣ信号との間の変換はマトリクス演算によって行わせることができ、例えばＹ，Ｅ_ry，Ｅ_byへの変換マトリクスは、
0.299 0.587 0.144
0.701 -0.587 -0.144
-0.299 -0.587 0.886
であり、また、逆変換マトリクスは、
0.971 1.000 -0.029
0.971 -0.509 -0.223
0.971 0.000 0.971
となる。但し、マトリクスには種々の変形例がある。
【０１０８】
前記高周波成分の強調，低減処理は、ハードウェア，ソフトウェアのいずれによって行わせても良く、また、圧縮時にはＤＣＴ変換の後に強調処理を行わせ、解凍時にはＤＣＴ変換の前に低減処理を行わせる構成としても良い。また、高周波成分の強調，低減処理の方法としては、公知の種々の方法を用いることができるが、コンボリューションフィルタを用いることで、正確に高周波成分を処理できる。また、高周波成分の処理にフリーリエ変換を用いても良い。
【０１０９】
更に、圧縮前の高周波成分の強調処理を、前記モザイルフィルタの画素信号の補間演算と同時に行わせる構成とすることができる。
例えば前記表２に示すような補間演算を行わせる場合には、係数βを大きくすると画像の鮮鋭性が高くなる（高周波成分が強調される）から、例えばβ＝２程度として、ブロック歪みを低減するための圧縮前の高周波成分の強調処理と補間演算とを同時に行わせる構成とすることができる。
【０１１０】
尚、モザイクフィルタの種類が異なる場合には、前記表４〜表６に示す補間演算式を用い、その係数βにより高周波成分の強調を図れば良い。
また、上記では、単板式のモザイクフィルタを用いた電子カメラにおける圧縮処理について述べたが、ブロック歪みを減少させるための高周波成分についての圧縮前の強調と解凍後の低減処理は、前記電子カメラに限定されることなく適宜に適用できる。
【図面の簡単な説明】
【図１】実施例における電子カメラの信号変換経路を示すブロック図。
【図２】ＲＧＢモザイクフィルタの構成を示す図。
【図３】画像補間部の詳細を示すブロック図。
【図４】ＹＭＣＧモザイクフィルタの基本構成を示す図。
【図５】ＹＣＧＷモザイクフィルタの基本構成を示す図。
【図６】ＹＣＧモザイクフィルタの基本構成を示す図。
【図７】Ｒ，Ｂフィルタを備えないモザイクフィルタを用いる場合の画像補間部の詳細を示すブロック図。
【図８】ＲＧＢモザイクフィルタにおける補間計算のソフトウェア処理を示すフローチャート。
【図９】ＹＭＣＧモザイクフィルタにおける補間計算のソフトウェア処理を示すフローチャート。
【図１０】補間マトリクスの周波数特性と、補間処理係数βとの相関を示す線図。
【図１１】ＭＴＦの特性例とこれに対応すべき係数βの特性とを示す線図。
【図１２】ピント面における軸上像点と軸外像点との距離を示す説明図。
【図１３】実施例の電子カメラの信号変換経路を詳細に示すブロック図。
【図１４】圧縮処理及び解凍処理の流れを示すブロック図。
【図１５】ＹＣＣ変換を伴う圧縮処理及び解凍処理の流れを示すブロック図。
【符号の説明】
１撮影レンズ
２ＣＣＤ（光電変換素子）
３低域通過フィルタ
４赤外線カットフィルタ
５モザイクフィルタ
６画像メモリ
７画像処理部
７ａ画像補間部
７ｂ色変換処理部
８ガンマ変換部
９画像圧縮部
10 記録部

Claims

光電変換素子とカラーフィルタを用いた単板式の電子カメラにおいて、
前記カラーフィルタが少なくともＧ reen フィルタを有し、Ｇ reen 以外のフィルタ色の注目画素についてＧ reen 信号値を補間により求めるときに、注目画素の信号値をＸ、前記注目画素を中心とする所定領域内で注目画素と同じ色のカラーフィルタをもつ画素の信号値の平均値をＸ’、前記所定領域内でＧ reen フィルタをもつ画素の信号値の平均値をＧ’としたときに、前記注目画素についてのＧ reen 信号の補間値ｇを、
ｇ＝Ｇ’＋β（Ｘ−Ｘ’）
として求め、注目画素がＧ reen フィルタ色の注目画素であるとき、その信号値をＧとしたときに、
ｇ＝Ｇ’＋β（Ｇ−Ｇ’）
としてＧ reen 信号の補間値ｇを求めることを特徴とする電子カメラ。
光電変換素子とカラーフィルタを用いた単板式の電子カメラにおいて、
前記カラーフィルタがＲ ed ，Ｇ reen ，Ｂ lue フィルタをそれぞれ有し、注目画素についてＲ ed ，Ｂ lue の信号値をそれぞれ補間により求めるときに、注目画素の信号値をＸ、前記注目画素を中心とする所定領域内で注目画素と同じ色のカラーフィルタをもつ画素の信号値の平均値をＸ’、前記所定領域内でＲ ed フィルタをもつ画素の信号値の平均値をＲ’、前記所定領域内でＢ lue フィルタをもつ画素の信号値の平均値をＢ’としたときに、Ｒ ed ，Ｂ lue 信号の補間値ｒ，ｂを、
ｒ＝Ｒ’＋β（Ｘ−Ｘ’）
ｂ＝Ｂ’＋β（Ｘ−Ｘ’）
として求めることを特徴とする電子カメラ。
光電変換素子とカラーフィルタを用いた単板式の電子カメラにおいて、
前記カラーフィルタが少なくともＧ reen フィルタを有する一方、Ｒ ed ，Ｂ lue フィルタ以外のフィルタ色を有する構成であって、注目画素についてＲ ed ，Ｂ lue の信号値をそれぞれ補間により求めるときに、前記注目画素を中心とする所定領域内でフィルタ色別に計算した信号値の平均値をＲ ed ，Ｂ lue の信号値ｒ’，ｂ’に変換し、注目画素の信号値をＸ、前記所定領域内で注目画素と同じ色のカラーフィルタをもつ画素の信号値の平均値をＸ’としたときに、Ｒ ed ，Ｂ lue 信号の補間値ｒ，ｂを、
ｒ＝ｒ’＋β（Ｘ−Ｘ’）
ｂ＝ｂ’＋β（Ｘ−Ｘ’）
として求めることを特徴とする電子カメラ。
前記βを光学系の変調伝達関数ＭＴＦに応じて可変に設定することを特徴とする請求項１〜３のいずれか１つに記載の電子カメラ。
前記所定領域を、前記注目画素を中心とする５×５画素の領域とすることを特徴とする請求項１〜４のいずれか１つに記載の電子カメラ。
前記所定領域内で、同一フィルタ色の画素が、ライン上の同一位置に並ぶ複数ラインについて、該複数ライン上の同一位置かつ同一色の信号の和をそれぞれ記憶するメモリを備え、該メモリの記憶値を用いて補間を行うことを特徴とする請求項１〜５のいずれか１つに記載の電子カメラ。