JP3899118B2 - 撮像システム、画像処理プログラム - Google Patents

撮像システム、画像処理プログラム Download PDF

Info

Publication number
JP3899118B2
JP3899118B2 JP2006510201A JP2006510201A JP3899118B2 JP 3899118 B2 JP3899118 B2 JP 3899118B2 JP 2006510201 A JP2006510201 A JP 2006510201A JP 2006510201 A JP2006510201 A JP 2006510201A JP 3899118 B2 JP3899118 B2 JP 3899118B2
Authority
JP
Japan
Prior art keywords
interpolation
pixel
noise
unit
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006510201A
Other languages
English (en)
Other versions
JPWO2005081543A1 (ja
Inventor
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP3899118B2 publication Critical patent/JP3899118B2/ja
Publication of JPWO2005081543A1 publication Critical patent/JPWO2005081543A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、画素位置に応じて１つ以上の色信号が欠落している映像信号を補間処理する撮像システム、画像処理プログラムに関する。
現在、一般向けに市販されているデジタルスチルカメラやビデオカメラなどは、撮像系として単板ＣＣＤを用いたものが主流となっている。この単板ＣＣＤは、前面にカラーフィルタを配置して構成されており、該カラーフィルタの種類によって補色系と原色系とに大別される。
このような構成の単板カラーＣＣＤでは、カラーフィルタの種類が補色系と原色系との何れであっても、１つの画素に１つの色信号を割り当てている点は同様である。従って、１つの画素に対して全ての色信号を得るためには、各画素において欠落している色信号を補間する処理を行うことが必要となる。
このような単板系に限らず、二板式の撮像系や、三板式であっても画素ずらしを行った撮像系においては、同様に、補間処理を行うことが必要になる。
上述したような補間処理としては、例えば特開平７−２３６１４７号公報や特開平８−２９８６７０号公報に、相関またはエッジを検出して、相関の高い方向またはエッジ強度の低い平坦な方向に補間処理を行う技術が記載されている。
また、特開平１１−２２０７４５号公報には、水平垂直方向の相関を検出した後に、コアリング処理を行ってノイズの影響を除去し、相関の高い方向に補間処理を行う技術が記載されている。
上記特開平７−２３６１４７号公報や特開平８−２９８６７０号公報に記載されたような方向を選択して行う補間処理は、補間を行う注目画素近傍の数画素から相関方向またはエッジ方向を検出して行うものとなっているために、撮像素子系に起因するランダムノイズによる誤検出が発生し易い。方向検出に失敗すると、補間精度が低下したりアーティファクトが発生したりするなどの副作用が生じるという課題がある。
また、上記特開平１１−２２０７４５号公報に記載されたような補間処理は、ノイズを含む原信号から相関を算出した後に、コアリング処理を行ってノイズの影響を低減するものである。しかしながら、ノイズ成分の影響は相関算出時に増幅されるために、その後に低減処理を行っても改善効果が低下してしまうという課題がある。さらに、コアリング処理のパラメータは静的に与えられているが、撮像素子系のランダムノイズは信号レベル、撮影時の温度、露光時間、ゲインなどの要因により動的に変化するために、静的に与えられたパラメータではノイズの影響を適切に除去することができないという課題がある。
本発明は上記事情に鑑みてなされたものであり、ノイズによる副作用を低減した高精度な補間を行い得る撮像システム、画像処理プログラムを提供することを目的としている。
上記の目的を達成するために、第１の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段と、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段と、上記ノイズ推定手段により推定されたノイズ量に基づいて上記複数の補間手段の何れを用いるかを選択する補間選択手段と、を具備したものである。
また、第２の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号から注目画素を包含する局所領域を１つ以上抽出する抽出手段と、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、上記注目画素において欠落する色信号を補間処理により求める補間手段と、上記ノイズ推定手段により推定されたノイズ量に基づいて上記補間手段における補間処理に使用する画素を選択する画素選択手段と、を具備したものである。
さらに、第３の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段と、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段と、上記ノイズ推定手段により推定されたノイズ量に基づいて上記複数の補間手段の何れを用いるかを選択するとともに該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択する補間画素選択手段と、を具備したものである。
第４の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記映像信号を生成して必要に応じて増幅する撮像素子系をさらに具備し、上記ノイズ推定手段は、上記局所領域の映像信号を上記所定数の色信号毎に分離する分離手段と、上記分離手段により分離された各色信号の平均値と上記撮像素子系の温度と該撮像素子系による上記映像信号の増幅におけるゲインとの内の少なくとも１つをパラメータとして求めるパラメータ算出手段と、上記パラメータ算出手段により算出されたパラメータに基づいて色信号のノイズ量を上記所定数の色信号毎に求めるノイズ量算出手段と、を有して構成されたものである。
第５の発明による撮像システムは、上記第４の発明による撮像システムにおいて、上記ノイズ量算出手段が、上記各色信号の平均値Ｌと、上記撮像素子系の温度Ｔと、該撮像素子系による上記映像信号の増幅におけるゲインＧと、をパラメータとして用いて、色信号のノイズ量Ｎを上記所定数の色信号毎に算出するものであって、上記平均値Ｌと上記温度Ｔと上記ゲインＧとの内の上記パラメータ算出手段により得られなかったパラメータに対して標準のパラメータ値を付与する付与手段と、上記温度Ｔおよび上記ゲインＧをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）を用いてこれら３つの関数に各々対応する係数Ａ，Ｂ，Ｃを求める係数算出手段と、上記係数算出手段により求められた３つの係数Ａ，Ｂ，Ｃを用いて、第１の関数式、
Ｎ＝ＡＬB＋Ｃ
または第２の関数式、
Ｎ＝ＡＬ2＋ＢＬ＋Ｃ
に基づきノイズ量Ｎを求める関数演算手段と、を有して構成されたものである。
第６の発明による撮像システムは、上記第４の発明による撮像システムにおいて、上記ノイズ量算出手段が、上記各色信号の平均値と、上記撮像素子系の温度と、該撮像素子系による上記映像信号の増幅におけるゲインと、をパラメータとして用いて、色信号のノイズ量Ｎを上記所定数の色信号毎に算出するものであって、上記平均値と上記温度と上記ゲインとの内の上記パラメータ算出手段により得られなかったパラメータに対して標準のパラメータ値を付与する付与手段と、上記パラメータ算出手段または上記付与手段から得られる上記平均値と上記温度と上記ゲインとに基づきノイズ量を求めるルックアップテーブル手段と、を有して構成されたものである。
第７の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記局所領域内で注目画素を中心とした複数の所定方向に関するエッジ強度をそれぞれ抽出するエッジ抽出手段をさらに具備し、上記補間手段は、上記エッジ抽出手段により抽出された複数の所定方向に関するエッジ強度を用いて正規化された重み係数を各所定方向に関して算出する重み算出手段と、上記局所領域内で上記注目画素を中心とした複数の所定方向に関する補間信号をそれぞれ算出する補間信号算出手段と、上記所定方向に関する複数の重み係数と上記所定方向に関する補間信号とに基づいて上記注目画素において欠落する色信号を算出する演算手段と、を有して構成されたものである。
第８の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記補間手段が、上記局所領域内における各色信号間の相関関係を線形式として求める相関算出手段と、上記相関算出手段により算出された相関関係に基づいて上記映像信号から上記注目画素において欠落する色信号を算出する演算手段と、を有して構成されたものである。
第９の発明による撮像システムは、上記第１または第３の発明による撮像システムにおいて、上記補間手段が、上記局所領域内で線形補間またはキュービック補間を行うことによって上記注目画素において欠落する色信号を算出する演算手段を有して構成されたものである。
第１０の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記補間選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記局所領域の各色信号から得られる所定の統計量とを比較する比較手段と、上記比較手段による比較結果に基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するものである。
第１１の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記補間選択手段が、上記ノイズ推定手段により推定されたノイズ量と所定の閾値とを比較する比較手段と、上記比較手段による比較結果に基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて上記複数の補間手段の何れを用いるかを選択するものである。
第１２の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記許容範囲に基づいて上記局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて、上記補間手段における補間処理に使用する画素を選択するものである。
第１３の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記補間画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記局所領域の各色信号から得られる所定の統計量とを比較する比較手段と、上記ノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記比較手段による比較結果と上記許容範囲設定手段により設定された許容範囲とに基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するとともに該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択するものである。
第１４の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記補間画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と所定の閾値とを比較する比較手段と、上記ノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記比較手段による比較結果と上記許容範囲設定手段により設定された許容範囲とに基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するとともに該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択するものである。
第１５の発明による撮像システムは、上記第１または第３の発明による撮像システムにおいて、上記複数の補間手段を所望に選択可能とし選択された補間手段により欠落する色信号を補間させるように制御する制御手段をさらに具備したものである。
第１６の発明による撮像システムは、上記第１５の発明による撮像システムにおいて、上記制御手段が、映像に係る、画質情報と、撮影モード情報と、の少なくとも一方を取得する情報取得手段を有して構成されたものである。
第１７の発明による撮像システムは、上記第２または第３の発明による撮像システムにおいて、上記補間手段における補間処理に使用する画素を所望に選択可能とし選択された画素により欠落する色信号を補間させるように該補間手段を制御する制御手段をさらに具備したものである。
第１８の発明による画像処理プログラムは、コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理させるための画像処理プログラムであって、コンピュータを、上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段、上記ノイズ推定手段により推定されたノイズ量に基づいて上記複数の補間手段の何れを用いるかを選択する補間選択手段、として機能させるためのプログラムである。
第１９の発明による画像処理プログラムは、コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理させるための画像処理プログラムであって、コンピュータを、上記映像信号から注目画素を包含する局所領域を１つ以上抽出する抽出手段、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、上記注目画素において欠落する色信号を補間処理により求める補間手段、上記ノイズ推定手段により推定されたノイズ量に基づいて上記補間手段における補間処理に使用する画素を選択する画素選択手段、として機能させるためのプログラムである。
第２０の発明による画像処理プログラムは、コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理させるための画像処理プログラムであって、コンピュータを、上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段、上記ノイズ推定手段により推定されたノイズ量に基づいて上記複数の補間手段の何れを用いるかを選択するとともに該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択する補間画素選択手段、として機能させるためのプログラムである。
第２１の発明による画像処理プログラムは、上記第１８の発明による画像処理プログラムにおいて、上記補間選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記局所領域の各色信号から得られる所定の統計量とを比較する比較手段と、上記比較手段による比較結果に基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるためのプログラムである。
第２２の発明による画像処理プログラムは、上記第１８の発明による画像処理プログラムにおいて、上記補間選択手段が、上記ノイズ推定手段により推定されたノイズ量と所定の閾値とを比較する比較手段と、上記比較手段による比較結果に基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるためのプログラムである。
第２３の発明による画像処理プログラムは、上記第１９の発明による画像処理プログラムにおいて、上記画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記許容範囲に基づいて上記局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて上記補間手段における補間処理に使用する画素を選択させるためのプログラムである。
第２４の発明による画像処理プログラムは、上記第２０の発明による画像処理プログラムにおいて、上記補間画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記局所領域の各色信号から得られる所定の統計量とを比較する比較手段と、上記ノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記比較手段による比較結果と上記許容範囲設定手段により設定された許容範囲とに基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択させるためのプログラムである。
第２５の発明による画像処理プログラムは、上記第２０の発明による画像処理プログラムにおいて、上記補間画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と所定の閾値とを比較する比較手段と、上記ノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記比較手段による比較結果と上記許容範囲設定手段により設定された許容範囲とに基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択させるためのプログラムである。
本発明の実施形態１における撮像システムの構成を示すブロック図。 上記実施形態１において、１０×１０画素でなる基本ブロックにおけるカラーフィルタの配置を示す図。 上記実施形態１において、６×６画素でなる矩形ブロックを示す図。 上記実施形態１において、６×４画素でなる上ブロックおよび下ブロックを示す図。 上記実施形態１において、４×６画素でなる左ブロックおよび右ブロックを示す図。 上記実施形態１において、水平ブロックおよび垂直ブロックを示す図。 上記実施形態１において、＋４５度ブロックおよび−４５度ブロックを示す図。 上記実施形態１におけるノイズ推定部の構成を示すブロック図。 上記実施形態１において、信号レベルに対するノイズ量の関係を示す線図。 上記実施形態１において、信号レベル、温度、ゲインに対するノイズ量の関係を示す線図。 上記実施形態１において、ノイズの算出に用いるパラメータＡの温度およびゲインに対する変化の様子の概要を示す線図。 上記実施形態１において、ノイズの算出に用いるパラメータＢの温度およびゲインに対する変化の様子の概要を示す線図。 上記実施形態１において、ノイズの算出に用いるパラメータＣの温度およびゲインに対する変化の様子の概要を示す線図。 上記実施形態１における補間選択部の構成を示すブロック図。 上記実施形態１における第１補間部の構成を示すブロック図。 上記実施形態１において、第１補間部の補間に用いられる抽出ブロックの画素配置を示す図。 上記実施形態１において、第１補間部によってＲ44位置のＧ補間に用いられる画素配置を示す図。 上記実施形態１において、第１補間部によってＢ55位置のＧ補間に用いられる画素配置を示す図。 上記実施形態１において、第１補間部によってＧ45位置のＲ，Ｂ補間に用いられる画素配置を示す図。 上記実施形態１において、第１補間部によってＧ54位置のＲ，Ｂ補間に用いられる画素配置を示す図。 上記実施形態１において、第１補間部によってＲ44位置のＢ補間に用いられる画素配置を示す図。 上記実施形態１において、第１補間部によってＢ55位置のＲ補間に用いられる画素配置を示す図。 上記実施形態１における第２補間部の構成を示すブロック図。 上記実施形態１における第３補間部の構成を示すブロック図。 上記実施形態１における画像処理プログラムの全体的な処理を示すフローチャート。 上記実施形態１の画像処理プログラムにおけるノイズ推定の処理を示すフローチャート。 上記実施形態１の画像処理プログラムにおける第１補間処理を示すフローチャート。 上記実施形態１の画像処理プログラムにおける第２補間処理を示すフローチャート。 本発明の実施形態２における撮像システムの構成を示すブロック図。 上記実施形態２において、抽出部により抽出される６×６画素の基本ブロックにおけるカラーフィルタの配置を示す図。 上記実施形態２におけるノイズ推定部の構成を示すブロック図。 上記実施形態２における画素選択部の構成を示すブロック図。 上記実施形態２の画像処理プログラムによる処理を示すフローチャート。 本発明の実施形態３における撮像システムの構成を示すブロック図。 上記実施形態３の画像処理プログラムによる処理を示すフローチャート。
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
図１から図２８は本発明の実施形態１を示したものであり、図１は撮像システムの構成を示すブロック図、図２は１０×１０画素でなる基本ブロックにおけるカラーフィルタの配置を示す図、図３は６×６画素でなる矩形ブロックを示す図、図４は６×４画素でなる上ブロックおよび下ブロックを示す図、図５は４×６画素でなる左ブロックおよび右ブロックを示す図、図６は水平ブロックおよび垂直ブロックを示す図、図７は＋４５度ブロックおよび−４５度ブロックを示す図、図８はノイズ推定部の構成を示すブロック図、図９は信号レベルに対するノイズ量の関係を示す線図、図１０は信号レベル、温度、ゲインに対するノイズ量の関係を示す線図、図１１はノイズの算出に用いるパラメータＡの温度およびゲインに対する変化の様子の概要を示す線図、図１２はノイズの算出に用いるパラメータＢの温度およびゲインに対する変化の様子の概要を示す線図、図１３はノイズの算出に用いるパラメータＣの温度およびゲインに対する変化の様子の概要を示す線図、図１４は補間選択部の構成を示すブロック図、図１５は第１補間部の構成を示すブロック図、図１６は第１補間部の補間に用いられる抽出ブロックの画素配置を示す図、図１７は第１補間部によってＲ44位置のＧ補間に用いられる画素配置を示す図、図１８は第１補間部によってＢ55位置のＧ補間に用いられる画素配置を示す図、図１９は第１補間部によってＧ45位置のＲ，Ｂ補間に用いられる画素配置を示す図、図２０は第１補間部によってＧ54位置のＲ，Ｂ補間に用いられる画素配置を示す図、図２１は第１補間部によってＲ44位置のＢ補間に用いられる画素配置を示す図、図２２は第１補間部によってＢ55位置のＲ補間に用いられる画素配置を示す図、図２３は第２補間部の構成を示すブロック図、図２４は第３補間部の構成を示すブロック図、図２５は画像処理プログラムの全体的な処理を示すフローチャート、図２６は画像処理プログラムにおけるノイズ推定の処理を示すフローチャート、図２７は画像処理プログラムにおける第１補間処理を示すフローチャート、図２８は画像処理プログラムにおける第２補間処理を示すフローチャートである。
この撮像システムは、図１に示すように構成されている。
レンズ系１は、被写体像を結像するためのものである。
絞り２は、このレンズ系１内に配置されていて、該レンズ系１における光束の通過範囲を規定するためのものである。
ローパスフィルタ３は、上記レンズ系１による結像光束から不要な高周波成分を除去するためのものである。
撮像素子たる単板式のＣＣＤ４は、このローパスフィルタ３を介して結像される光学的な被写体像を光電変換して、電気的な映像信号を出力するものである。
ＣＤＳ（Correlated Double Sampling）５は、ＣＣＤ４から出力される映像信号に相関二重サンプリングの処理を行うものである。
増幅器６は、このＣＤＳ５の出力を所定の増幅率に従って増幅するものである。
Ａ／Ｄ変換器７は、このＣＣＤ４から出力されるアナログの映像信号をデジタル信号へ変換するものである。
画像用バッファ８は、このＡ／Ｄ変換器７から出力されたデジタルの画像データを一時的に記憶するものである。
プリホワイトバランス部９は、この画像用バッファ８に記憶された画像データに基づき、映像信号中の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出するものである。このプリホワイトバランス部９により算出された簡易ホワイトバランス係数は、上記増幅器６へ出力されるようになっている。該増幅器６は、上記制御部２２の制御に基づいて、該簡易ホワイトバランス係数に応じて各色成分の増幅率を調整することにより、簡易的にホワイトバランスを調整する。
測光評価部１０は、上記画像用バッファ８に記憶された画像データに基づき、被写体に関する測光評価を行って、その評価結果に基づき上記絞り２とＣＣＤ４と増幅器６との制御を行うものである。すなわち、該測光評価部１０は、絞り２の絞り値と、ＣＣＤ４の電子シャッタ速度と、増幅器６の増幅率と、を調整することにより、露出制御を行うようになっている。
合焦点検出部１１は、上記画像用バッファ８に記憶された画像データに基づき合焦点検出を行い、検出結果に基づき後述するＡＦモータ１２を駆動するものである。
ＡＦモータ１２は、この合焦点検出部１１により制御されて、上記レンズ系１に含まれるフォーカスレンズ等の駆動を行い、上記ＣＣＤ４の撮像面上に被写体像が結像されるようにするものである。
抽出部１３は、抽出手段であって、上記画像用バッファ８に記憶された画像データから所定領域の映像信号を抽出して出力するものである。
ノイズ推定部１４は、ノイズ推定手段であって、この抽出部１３により抽出された所定領域の映像信号からノイズを推定するものである。
エッジ抽出部１５は、エッジ抽出手段であって、上記抽出部１３により抽出された所定領域の映像信号からエッジ成分を抽出するものである。
補間選択部１６は、補間選択手段であり補間画素選択手段であって、上記ノイズ推定部１４により推定されたノイズと、上記エッジ抽出部１５により抽出されたエッジ成分と、に基づいて、上記抽出部１３により抽出された所定領域の映像信号に後述する第１補間部１７、第２補間部１８、第３補間部１９の何れの補間処理を行うかを選択するものである。
第１補間部１７は、補間手段であって、上記画像用バッファ８に記憶された画像データに、後で詳しく説明するように、上記エッジ抽出部１５により抽出されたエッジ方向に基づく欠落色信号の補間処理を行うものである。
第２補間部１８は、補間手段であって、上記画像用バッファ８に記憶された画像データに、色相関に基づく欠落色信号の補間処理を行うものである。
第３補間部１９は、補間手段であって、上記画像用バッファ８に記憶された画像データに、線形補間処理およびキュービック補間処理による欠落色信号の補間を行うものである。
信号処理部２０は、上記第１補間部１７、第２補間部１８、または第３補間部１９からの補間済みの画像データに公知の強調処理や圧縮処理などを行うものである。
出力部２１は、この信号処理部２０からの画像データを例えばメモリカード等に記録するために出力するものである。
制御手段に含まれる情報取得手段たる外部Ｉ／Ｆ部２３は、電源スイッチ、シャッタボタン、動画／静止画の切り換えや圧縮率，画像サイズ，ＩＳＯ感度の設定などの撮影時の各種モードを設定するためのモードスイッチ、等へのインターフェースを備えたものである。
制御手段とパラメータ算出手段と情報取得手段とを兼ねた制御部２２は、上記ＣＤＳ５、増幅器６、Ａ／Ｄ変換器７、プリホワイトバランス部９、測光評価部１０、合焦点検出部１１、抽出部１３、ノイズ推定部１４、エッジ抽出部１５、補間選択部１６、第１補間部１７、第２補間部１８、第３補間部１９、信号処理部２０、出力部２１、外部Ｉ／Ｆ部２３と双方向に接続されていて、これらを含むこの撮像システムを統合的に制御するものであり、例えばマイクロコンピュータにより構成されている。
次に、図２を参照して、ＣＣＤ４の前面に配置されているカラーフィルタの色配置について説明する。
本実施形態においては、原色系のカラーフィルタを備えた単板式の撮像系を想定しており、例えば図２に示すような原色ベイヤー（Bayer）型のカラーフィルタが、上記ＣＣＤ４の前面に配置されたものとなっている。
この原色ベイヤー（Bayer）型のカラーフィルタは、対角方向にＧ（緑）の画素が２つ配置され、それ以外の２画素にＲ（赤）とＢ（青）が各配置されている２×２画素の基本配置を備えており、この基本配置を上下方向および左右方向に２次元的に繰り返してＣＣＤ４上の各画素を覆うことにより、図２に示すようなフィルタ配置にしたものとなっている。
このように、単板原色系のカラーフィルタを備えた撮像系から得られる映像信号は、各画素の映像信号を構成するべき３色の色信号が、画素位置に応じて２つ欠落（すなわち、配置されるカラーフィルタ以外の色成分の２つが欠落）したものとなっている。
続いて、上記図１に示したような撮像システムにおける信号の流れについて説明する。
この撮像システムは、外部Ｉ／Ｆ部２３を介して、圧縮率（画質情報）、画像サイズ（画質情報）、ＩＳＯ感度、静止画像撮影／動画撮影（撮影モード情報）、文字画像撮影（撮影モード情報）などを使用者が設定することができるように構成されており、これらの設定がなされた後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮影モードに入る。
上記レンズ系１，絞り２，ローパスフィルタ３を介してＣＣＤ４により撮影され出力された映像信号は、ＣＤＳ５により公知の相関二重サンプリングが行われる。
このＣＤＳ５により処理されたアナログ信号は、増幅器６により所定量だけ増幅された後に、Ａ／Ｄ変換器７によりデジタル信号へ変換されて、画像用バッファ８へ転送される。
この画像用バッファ８内の映像信号は、その後に、プリホワイトバランス部９と、測光評価部１０と、合焦点検出部１１と、へそれぞれ転送される。
プリホワイトバランス部９は、映像信号中の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出する。そして、増幅器６は、上記制御部２２の制御に基づいて、このプリホワイトバランス部９から転送された簡易ホワイトバランス係数に応じて、色信号毎に異なるゲインを乗算することにより、ホワイトバランスをとる処理を行う。
測光評価部１０は、画像中の輝度レベルを求めて、設定されたＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮した上で、適正露光となるように、絞り２の絞り値、ＣＣＤ４の電子シャッタ速度、増幅器６の増幅率などを制御する。
また、合焦点検出部１１は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１２を制御し合焦画像を得る。
このようなプリ撮影モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部Ｉ／Ｆ部２３を介して検出すると、本撮影が行われる。
この本撮影は、プリホワイトバランス部９により求められたホワイトバランス係数と、測光評価部１０により求められた露光条件と、合焦点検出部１１により求められた合焦条件と、に基づいて行われ、これらの撮影時の条件は制御部２２へ転送される。
こうして本撮影が行われると、映像信号が、プリ撮影のときと同様にして、画像用バッファ８へ転送され記憶される。
抽出部１３は、制御部２２の制御に基づいて、画像用バッファ８内の映像信号を所定領域単位で抽出し、ノイズ推定部１４，エッジ抽出部１５，補間選択部１６へそれぞれ転送する。なお、抽出部１３が抽出する所定領域は、本実施形態においては、図２に示すような１０×１０画素の基本ブロックであることを想定している。また、補間処理の対象となる注目画素は、図２に示したような基本ブロックの中心に位置する２×２画素でなる４画素（Ｒ44，Ｇ54，Ｇ45，Ｂ55）であることを想定している。従って、上記抽出部１３による所定領域の抽出は、上記１０×１０画素の基本ブロックを、水平方向または垂直方向に２画素ずつ移動させながら（つまり、基本ブロックをオーバーラップさせながら）行うことになる。
さらに、抽出部１３は、上記１０×１０画素の基本ブロックの中心部における６×６画素でなる図３に示すような矩形ブロックと、この矩形ブロック内の上側６×４画素および下側６×４画素でなる図４に示すような上ブロックおよび下ブロックと、上記矩形ブロック内の左側４×６画素および右側４×６画素でなる図５に示すような左ブロックおよび右ブロックと、を各抽出して、上記ノイズ推定部１４と上記エッジ抽出部１５とへ必要に応じてそれぞれ転送する。
ノイズ推定部１４は、制御部２２の制御に基づいて、抽出部１３から転送される領域に対してノイズ量を色信号毎に、本実施形態においてはＲＧＢの各色信号毎に推定し、推定した結果を補間選択部１６へ転送する。このときのノイズ推定部１４によるノイズ量の推定は、上記図３に示したような６×６画素の矩形ブロックで行われた後に、上記図４に示したような上，下のブロック、および上記図５に示したような左，右のブロックでそれぞれ行われる。
エッジ抽出部１５は、制御部２２の制御に基づいて、抽出部１３から転送される６×６画素の矩形ブロックに対して、所定方向のエッジ強度を算出して、この結果を補間選択部１６および第１補間部１７へ転送する。
ここに、エッジ抽出部１５は、本実施形態においては、図３に示したような６×６画素の矩形ブロックに関して、エッジ強度として次の数式１に示すような４８個の量を算出するようになっている。
［数１］
Ｒ水平方向 ｜Ｒ22−Ｒ42｜，｜Ｒ42−Ｒ62｜，｜Ｒ24−Ｒ44｜
，｜Ｒ44−Ｒ64｜，｜Ｒ26−Ｒ46｜，｜Ｒ46−Ｒ66｜
Ｒ垂直方向 ｜Ｒ22−Ｒ24｜，｜Ｒ24−Ｒ26｜，｜Ｒ42−Ｒ44｜
，｜Ｒ44−Ｒ46｜，｜Ｒ62−Ｒ64｜，｜Ｒ64−Ｒ66｜
Ｇ水平方向 ｜Ｇ32−Ｇ52｜，｜Ｇ52−Ｇ72｜，｜Ｇ23−Ｇ43｜
，｜Ｇ43−Ｇ63｜，｜Ｇ34−Ｇ54｜，｜Ｇ54−Ｇ74｜
，｜Ｇ25−Ｇ45｜，｜Ｇ45−Ｇ65｜，｜Ｇ36−Ｇ56｜
，｜Ｇ56−Ｇ76｜，｜Ｇ27−Ｇ47｜，｜Ｇ47−Ｇ67｜
Ｇ垂直方向 ｜Ｇ23−Ｇ25｜，｜Ｇ25−Ｇ27｜，｜Ｇ32−Ｇ34｜
，｜Ｇ34−Ｇ36｜，｜Ｇ43−Ｇ45｜，｜Ｇ45−Ｇ47｜
，｜Ｇ52−Ｇ54｜，｜Ｇ54−Ｇ56｜，｜Ｇ63−Ｇ65｜
，｜Ｇ65−Ｇ67｜，｜Ｇ72−Ｇ74｜，｜Ｇ74−Ｇ76｜
Ｂ水平方向 ｜Ｂ33−Ｂ53｜，｜Ｂ53−Ｂ73｜，｜Ｂ35−Ｂ55｜
，｜Ｂ55−Ｂ75｜，｜Ｂ37−Ｂ57｜，｜Ｂ57−Ｂ77｜
Ｂ垂直方向 ｜Ｂ33−Ｂ35｜，｜Ｂ35−Ｂ37｜，｜Ｂ53−Ｂ55｜
，｜Ｂ55−Ｂ57｜，｜Ｂ73−Ｂ75｜，｜Ｂ75−Ｂ77｜
ここに、記号「｜｜」は絶対値をとることを意味している。
こうして、エッジ抽出部１５により、上記数式１に示すように算出されたエッジ強度は、補間選択部１６と第１補間部１７とへそれぞれ転送される。ただし、エッジ抽出部１５が第１補間部１７へ転送するエッジ強度は、次の数式２に示すようなＲとＧのエッジ強度を組み合わせた４個と、数式３に示すようなＢとＧのエッジ強度を組み合わせた４個との、合計８個の量となっている。
［数２］
ＥＲ上＝｜Ｒ44−Ｒ42｜＋｜Ｇ43−Ｇ45｜
ＥＲ下＝｜Ｒ44−Ｒ46｜＋｜Ｇ43−Ｇ45｜
ＥＲ左＝｜Ｒ44−Ｒ24｜＋｜Ｇ34−Ｇ54｜
ＥＲ右＝｜Ｒ44−Ｒ64｜＋｜Ｇ34−Ｇ54｜
［数３］
ＥＢ上＝｜Ｂ55−Ｂ53｜＋｜Ｇ54−Ｇ56｜
ＥＢ下＝｜Ｂ55−Ｂ57｜＋｜Ｇ54−Ｇ56｜
ＥＢ左＝｜Ｂ55−Ｂ35｜＋｜Ｇ45−Ｇ65｜
ＥＢ右＝｜Ｂ55−Ｂ75｜＋｜Ｇ45−Ｇ65｜
補間選択部１６は、制御部２２の制御に基づいて、上記ノイズ推定部１４からのノイズ量と、上記エッジ抽出部１５からのエッジ強度と、内部で算出した各色信号の分散と、に基づき、所定領域が補間処理において有効であるかまたは無効であるかを判断して、第１補間部１７，第２補間部１８，第３補間部１９の何れか１つを選択する。そして、補間選択部１６は、選択した補間部へ、抽出部１３から転送された所定領域、本実施形態においては１０×１０画素の基本ブロック、の映像信号を転送する。
第１補間部１７，第２補間部１８，第３補間部１９は、補間選択部１６により選択されて映像信号が転送された場合に、制御部２２の制御に基づいて、所定の補間処理を行い、補間後の信号を信号処理部２０へ転送する。
上述したような抽出部１３，ノイズ推定部１４，エッジ抽出部１５，補間選択部１６，第１補間部１７，第２補間部１８，第３補間部１９の処理は、制御部２２の制御に基づいて、所定領域単位で同期して行われるようになっている。
信号処理部２０は、制御部２２の制御に基づいて、補間処理後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部２１へ転送する。
出力部２１は、信号処理部２０から転送された映像信号を、メモリカード等の記録媒体へ記録して保存する。
次に図８を参照して、上記ノイズ推定部１４の構成の一例について説明する。
このノイズ推定部１４は、バッファ３１と、信号分離部３２と、平均算出部３３と、ゲイン算出部３４と、標準値付与部３５と、係数算出部３６と、パラメータ用ＲＯＭ３７と、関数算出部３８と、を有して構成されている。
上記バッファ３１は、上記抽出部１３により抽出された所定領域の映像信号を一時的に記憶するものである。
上記信号分離部３２は、分離手段であって、上記バッファ３１に記憶されている映像信号を色信号毎に分離するものである。
上記平均算出部３３は、パラメータ算出手段であって、上記信号分離部３２により分離された色信号の平均値を算出するものである。
上記ゲイン算出部３４は、パラメータ算出手段であって、制御部２２から転送される露光条件およびホワイトバランス係数に関する情報に基づいて、上記増幅器６における増幅量（ゲイン）を求めるものである。
上記標準値付与部３５は、付与手段であって、上記係数算出部３６において用いる各種のパラメータが不足する場合に、該不足するパラメータとして標準的な値を付与するものである。
上記係数算出部３６は、ノイズ量算出手段であり係数算出手段であって、平均算出部３３からの色信号の平均値に係る信号レベルと、ゲイン算出部３４からのゲインと、標準値付与部３５からの撮像素子の温度情報と、に基づいて、後述するパラメータ用ＲＯＭ３７に記憶された３つの関数から、所定領域のノイズ量を推定するための係数を算出するものである。
上記パラメータ用ＲＯＭ３７は、係数算出手段であって、上記係数算出部３６において用いられる後述するような３つの関数を記憶するものである。
上記関数算出部３８は、ノイズ量算出手段であり関数演算手段であって、上記係数算出部３６により算出された係数を使って後述するように定式化される関数を用い、ノイズ量を算出して、算出したノイズ量を上記補間選択部１６へ転送するものである。
なお、上記制御部２２は、上記信号分離部３２、平均算出部３３、ゲイン算出部３４、標準値付与部３５、係数算出部３６、関数算出部３８に対して双方向に接続されており、これらを制御するようになっている。
次に、このようなノイズ推定部１４の作用について説明する。
抽出部１３は、制御部２２の制御に基づいて、上記画像用バッファ８から、所定位置における所定サイズの信号を抽出して、バッファ３１へ転送する。抽出部１３は、本実施形態においては、上述したように、図３に示すような６×６画素の矩形ブロック、図４に示すような６×４画素の上ブロックおよび下ブロック、図５に示すような４×６画素の左ブロックおよび右ブロック、を抽出する。従って、このノイズ推定部１４は、これら５種類の領域に関して、ノイズ量の推定を行うようになっている。
信号分離部３２は、制御部２２の制御に基づいて、上記バッファ３１に記憶された所定領域内の信号を、色信号毎（本実施形態では、ＲＧＢの３種類の色信号）に分離し、平均算出部３３へ転送する。
平均算出部３３は、制御部２２の制御に基づいて、信号分離部３２からの色信号を読み出して平均値を算出し、所定領域の信号レベルとして係数算出部３６へ転送する。
ゲイン算出部３４は、制御部２２から転送される、露光条件と、ホワイトバランス係数に関する情報と、に基づいて、増幅器６における増幅量（ゲイン）を求め、係数算出部３６へ転送する。
また、標準値付与部３５は、撮像素子たるＣＣＤ４の平均的な温度に関する情報を、係数算出部３６へ転送する。
係数算出部３６は、平均算出部３３からの信号レベルと、ゲイン算出部３４からのゲインと、標準値付与部３５からの撮像素子の温度情報と、に基づいて、所定領域のノイズ量を推定するための係数を、次のような定式化に基づいて算出する。
ここで、図９および図１０を参照して、ノイズ量の定式化について説明する。
図９は、信号レベルに対するノイズ量をプロットしたものである。信号レベルに対するノイズ量は、例えばこの図９に示すような関数形状となっており、ベキ乗の関数、または２次関数を用いて、比較的良好に近似することが可能である。
すなわち、信号レベルをＬ、ノイズ量をＮとすると、次の数式４、または数式５を用いて定式化することが可能である。
［数４］
Ｎ＝ＡＬB＋Ｃ
または、
［数５］
Ｎ＝ＡＬ2＋ＢＬ＋Ｃ
ここに、Ａ，Ｂ，Ｃは定数項である。
しかしながら、ノイズ量Ｎは、信号レベルＬにより変化するだけではなく、撮像素子たるＣＣＤ４の温度や、増幅器６のゲインによっても変化する。
図１０は、信号レベル、温度、ゲインに対するノイズ量の変化の様子をプロットしたものである。
この図１０においては、温度Ｔ１，Ｔ２，Ｔ３の３つのパラメータ、かつ、ゲイン１倍，２倍，４倍の３つのパラメータ、における信号レベルＬに対するノイズ量Ｎの変化の様子を例として示している。
図示のように、個々の曲線は、上記数式４または数式５で近似されるような形状をなしているが、上記定数項Ａ，Ｂ，Ｃは、温度とゲインとによって異なっていることがわかる。そこで、温度をＴ、ゲインをＧとして、上記定数項Ａ，Ｂ，Ｃがこれらに依存することを考慮し、上記数式４または数式５を定式化すると、次の数式６または数式７に示すようになる。
［数６］
Ｎ＝ａ（Ｔ，Ｇ）Ｌb(T,G)＋ｃ（Ｔ，Ｇ）
［数７］
Ｎ＝ａ（Ｔ，Ｇ）Ｌ2＋ｂ（Ｔ，Ｇ）Ｌ＋ｃ（Ｔ，Ｇ）
ここに、ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）は、温度ＴとゲインＧとをパラメータとする関数である。
図１１は数式６における上記関数ａ（Ｔ，Ｇ）の、図１２は数式６における上記関数ｂ（Ｔ，Ｇ）の、図１３は数式６における上記関数ｃ（Ｔ，Ｇ）の、特性の概略の様子をそれぞれ示したものである。
これらの各関数は、温度ＴとゲインＧとを独立変数とする２変数関数であるために、図１１〜図１３は３次元座標としてプロットされており、このプロットされた空間における曲面となっている。ただし、ここでは具体的な曲面形状を図示する代わりに、曲線を用いて大まかな特性変化の様子を示している。
このような関数ａ，ｂ，ｃに温度ＴとゲインＧとをパラメータとして入力することにより、各定数項Ａ，Ｂ，Ｃが出力される。そして、これらの関数の具体的な形状は、事前に、ＣＣＤ４やＣＤＳ５や増幅器６を含む撮像素子系の特性を測定することにより、容易に取得することができる。
上述したような３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）は、上記パラメータ用ＲＯＭ３７に記録される。
係数算出部３６は、温度ＴおよびゲインＧを入力パラメータとして、パラメータ用ＲＯＭ３７に記録されている３つの関数を用いて定数項Ａ，Ｂ，Ｃを算出し、算出結果を関数算出部３８へ転送する。
関数算出部３８は、この係数算出部３６により算出された各係数Ａ，Ｂ，Ｃを、上記数式４または数式５に適用することにより、ノイズ量Ｎを算出するための関数形状を決定して、該係数算出部３６を介して上記平均算出部３３から出力される信号値レベルＬによりノイズ量Ｎを算出する。関数算出部３８は、こうして算出したノイズ量Ｎを、上記補間選択部１６へ転送する。
このとき、温度Ｔ，ゲインＧ等の各パラメータを、必ずしも撮影毎に求める必要はない。任意のパラメータに関する標準値を標準値付与部３５に記憶させておき、この標準値付与部３５から読み出した標準値を係数算出部３６において用いることにより、パラメータを算出する過程を省略することも可能である。このような構成を採用することにより、処理の高速化や省電力化などを図ることが可能となる。
次に、図１４を参照して、補間選択部１６の構成の一例について説明する。
この補間選択部１６は、バッファ４１と、切換部４２と、分散算出部４３と、比較部４４と、ラベル付加部４５と、を有して構成されている。
上記バッファ４１は、上記抽出部１３により抽出された所定領域の映像信号を一時的に記憶するものである。
上記切換部４２は、後述するラベル付加部４５により付加されたラベルに応じて、上記バッファ４１に記憶された映像信号を、上記第１補間部１７，第２補間部１８，第３補間部１９の何れへ出力するかを切り換えるものである。
上記分散算出部４３は、比較手段であって、上記バッファ４１に記憶された映像信号の分散を算出するものである。
上記比較部４４は、比較手段であって、上記ノイズ推定部１４により推定されたノイズ量と、上記エッジ抽出部１５により抽出されたエッジ成分と、上記分散算出部４３により算出された分散と、を比較するものである。
上記ラベル付加部４５は、ラベル手段であって、上記比較部４４による比較結果に基づいて、上記バッファ４１に記憶されている映像信号に後述するようなラベルを付加して、上記切換部４２へ転送するものである。
また、上記制御部２２は、上記切換部４２、分散算出部４３、比較部４４、ラベル付加部４５に対して双方向に接続されており、これらを制御するようになっている。
続いて、このような補間選択部１６の作用について説明する。
抽出部１３は、制御部２２の制御に基づいて、上記画像用バッファ８から、所定位置における所定サイズの信号を抽出して、バッファ４１へ転送する。抽出部１３は、本実施形態においては、上述したように、図３に示すような６×６画素の矩形ブロック、図４に示すような６×４画素の上ブロックおよび下ブロック、図５に示すような４×６画素の左ブロックおよび右ブロック、の５種類を抽出する。
分散算出部４３は、バッファ４１に記憶された所定領域の映像信号に関して、色信号別（本実施形態では、ＲＧＢの３種類の色信号別）に分散を算出し、算出した分散を比較部４４へ転送する。
比較部４４は、ノイズ推定部１４により算出されたノイズ量と、エッジ抽出部１５により算出された数式１に示すような４８個のエッジ強度の内の最大値と、分散算出部４３により算出された分散と、を比較する。この比較は、ノイズ量に対する分散の大小と、ノイズ量に対するエッジ強度の最大値の大小と、に基づき行われる。すなわち、比較部４４は、「分散＞ノイズ量」であり、かつ「エッジ強度の最大値＞ノイズ量」を満たす場合には、有効なエッジ構造がある領域であると判断する。これに対して、比較部４４は、「分散＞ノイズ量」と「エッジ強度の最大値＞ノイズ量」との少なくとも一方が満たされない場合には、平坦領域であると判断する。このような比較は、本実施形態においては、図３、図４、図５に示すような５種類の領域の各々に関して、ＲＧＢの３種類の色信号毎に、順次行われる。こうして比較部４４により判断された結果は、ラベル付加部４５へ転送される。
上述したような分散算出部４３の処理と比較部４４の処理とは、制御部２２に基づいて、所定領域単位で同期して行われる。
ラベル付加部４５は、上記比較部４４から転送された比較結果に基づいて、所定領域が有効なエッジ構造がある領域であるか、または平坦領域であるかを、ラベル付けする。このラベル付けは、例えば、有効なエッジ構造がある領域を１、平坦領域を０、とするなどの数値の付加により行われる。１つの所定領域はＲＧＢの３種類の色信号から構成されているために、上記ラベルは、１つの所定領域に対して３つ発生することになる。
そして、ラベル付加部４５は、１つの所定領域に対して発生する３つのラベルを加算する。このような加算演算を行うことにより、ラベルが取り得る値としては、３種類の色信号が全て平坦領域である０から、３種類の色信号が全てエッジ構造がある領域となる３までの、４種類となる。
切換部４２は、上記ラベル付加部４５から送信されるラベルに基づいて、上記第１補間部１７，第２補間部１８，第３補間部１９の何れにより補間処理を行うかを切り換える処理を行う。
すなわち、切換部４２は、まず、図３に示すような６×６画素の矩形ブロックに関して、ラベルが０となる場合、すなわち、ＲＧＢの色信号の全てが平坦であると判断された場合に、第２補間部１８を選択する。
次に、切換部４２は、図４および図５に示すような上下左右のブロックに関して、ラベルが２以下のブロックが１つでも存在する場合、すなわち４方向かつ３種類の色信号中に１つでも平坦領域が存在する場合には、第１補間部１７を選択する。
最後に、切換部４２は、図４および図５に示すような上下左右のブロックに関して、ラベルが全て３、すなわち４方向かつ３種類の色信号の全てがエッジ構造のある領域である場合には、第３補間部１９を選択する。
そして、切換部４２は、抽出部１３からの１０×１０画素の基本ブロックの映像信号を選択した補間部へ転送するとともに、選択結果を制御部２２へ転送する。
次に、図１５を参照して、第１補間部１７の構成の一例について説明する。
この第１補間部１７は、バッファ５１と、補間部５２と、補間値バッファ５３と、演算部５４と、Ｇエッジ抽出部５５と、重み算出部５６と、重みバッファ５７と、を有して構成されている。
上記バッファ５１は、上記補間選択部１６から転送された所定領域の映像信号を一時的に記憶するものである。
上記補間部５２は、補間信号算出手段であって、上記バッファ５１に記憶された所定領域の映像信号から補間値（補間信号）を算出するものである。
上記補間値バッファ５３は、上記補間部５２により算出された補間値を一時的に記憶するものである。
上記演算部５４は、演算手段であって、上記重みバッファ５７に記憶されている重みを用いて、上記補間値バッファ５３に記憶されている補間値を重み付け加算することにより、欠落する色成分を算出し、上記信号処理部２０とバッファ５１とへ出力するものである。
上記Ｇエッジ抽出部５５は、エッジ抽出手段であって、上記補間部５２や演算部５４によりまずＧ成分に対する補間処理が行われて上記バッファ５１に記憶された後に、該バッファ５１からＧ成分を読み出して、他の欠落色成分を算出するのに必要なＧ成分のエッジを抽出するものである。
上記重み算出部５６は、重み算出手段であって、Ｇ成分に関する補間処理を行う場合には上記エッジ抽出部１５により抽出されたエッジ成分を用いて重みを算出し、Ｒ成分またはＢ成分に関する補間処理を行う場合には上記Ｇエッジ抽出部５５により抽出されたＧ成分のエッジを用いて重みを算出するものである。
上記重みバッファ５７は、上記重み算出部５６により算出された重みを一時的に記憶するものである。
なお、上記制御部２２は、上記補間部５２、演算部５４、Ｇエッジ抽出部５５、重み算出部５６に対して双方向に接続されており、これらを制御するようになっている。
続いて、このような第１補間部１７の作用について説明する。
補間選択部１６は、制御部２２の制御に基づいて、上記抽出部１３により抽出された所定サイズの領域の映像信号、本実施形態においては上述したように１０×１０画素の領域の映像信号をバッファ５１へ転送する。このときに、該第１補間部１７により補間処理を行う注目画素は、上述したように、１０×１０画素でなる所定領域の中心部に位置する２×２画素であるものとする。
以下の説明は、補間処理に直接関係する６×６画素サイズの領域（図１６参照）について行うが、上記バッファ５１へは、上述したように１０×１０画素でなる領域の映像信号が転送されている。
図１６は、６×６画素サイズの領域と、この領域内の各画素位置における色信号Ｓij（Ｓは色信号の種類を示しＳ＝Ｒ，Ｇ，Ｂ、ｉはＸ方向の画素座標を示しｉ＝２〜７、ｊはＹ方向の画素座標を示しｊ＝２〜７）と、を示している。
第１補間部１７は、この図１６に示すような６×６画素サイズの領域の映像信号を用いて、中央部の２×２画素でなる着目領域において欠落している色信号の補間処理を行う。
すなわち、図示の例においては、Ｒ44位置において欠落している色成分Ｇ44，Ｂ44と、Ｇ54位置において欠落している色成分Ｒ54，Ｂ54と、Ｇ45位置において欠落している色成分Ｒ45，Ｂ45と、Ｂ55位置において欠落している色成分Ｒ55，Ｇ55と、をそれぞれ算出することになる。
補間処理は、Ｇ成分についての補間が先行して行われ、すなわち、Ｒ44位置の欠落成分Ｇ44と、Ｂ55位置の欠落成分Ｇ55と、が先に求められる。
まず、エッジ抽出部１５により上記数式２に示したように算出されたＲ44画素に対する上下左右の４方向のエッジ強度が、重み算出部５６へ転送される。
重み算出部５６は、これら４方向のエッジ強度の総和totalを、次の数式８に示すように算出する。
［数８］
total＝ＥＲ上＋ＥＲ下＋ＥＲ左＋ＥＲ右
そして、重み算出部５６は、各エッジ強度をこの総和totalで除算することにより、次の数式９に示すような正規化された重み係数を算出する。
［数９］
Ｗ上＝ＥＲ上／total
Ｗ下＝ＥＲ下／total
Ｗ左＝ＥＲ左／total
Ｗ右＝ＥＲ右／total
重み算出部５６により算出されたこれらの４方向の重み係数は、重みバッファ５７へ転送されて、記憶される。
一方、補間部５２は、Ｒ44画素に対して、該Ｒ44画素の上下左右の４方向の色差成分を次の数式１０に示すように補間する。
［数１０］
Ｃｒ上＝Ｇ43−（Ｒ44＋Ｒ42）／２
Ｃｒ下＝Ｇ45−（Ｒ44＋Ｒ46）／２
Ｃｒ左＝Ｇ34−（Ｒ44＋Ｒ24）／２
Ｃｒ右＝Ｇ54−（Ｒ44＋Ｒ64）／２
補間部５２により算出されたこれら４方向の補間値は、補間値バッファ５３へ転送されて、記憶される。
演算部５４は、制御部２２の制御に基づいて、重みバッファ５７に記憶されている重み係数と、補間値バッファ５３に記憶されている補間値と、を用いてＲ44画素位置の欠落成分Ｇ44を次の数式１１に示すように算出する。
［数１１］
Ｇ44＝Ｒ44＋ΣＣｒk・Ｗk （ｋ＝上，下，左，右）
図１７は、上述したようなＲ44画素位置のＧ44成分を補間するときに用いられる画素の配置を示している。
こうして、演算部５４により算出されたＧ44成分は、上記信号処理部２０へ転送されるとともに、上記バッファ５１へも転送されて記憶される。
次に、Ｂ55画素位置におけるＧ55成分の算出が、同様にして行われる。
すなわち、エッジ抽出部１５により上記数式３に示したように算出されたＢ55画素に対する上下左右の４方向のエッジ強度が、重み算出部５６へ転送される。
重み算出部５６は、これら４方向のエッジ強度の総和totalを、次の数式１２に示すように算出する。
［数１２］
total＝ＥＢ上＋ＥＢ下＋ＥＢ左＋ＥＢ右
そして、重み算出部５６は、各エッジ強度をこの総和totalで除算することにより、次の数式１３に示すような正規化された重み係数を算出する。
［数１３］
Ｗ上＝ＥＢ上／total
Ｗ下＝ＥＢ下／total
Ｗ左＝ＥＢ左／total
Ｗ右＝ＥＢ右／total
重み算出部５６により算出されたこれらの４方向の重み係数は、重みバッファ５７へ転送されて、記憶される。
一方、補間部５２は、Ｂ55画素に対して、該Ｂ55画素の上下左右の４方向の色差成分を次の数式１４に示すように補間する。
［数１４］
Ｃｂ上＝Ｇ54−（Ｂ55＋Ｂ53）／２
Ｃｂ下＝Ｇ56−（Ｂ55＋Ｂ57）／２
Ｃｂ左＝Ｇ45−（Ｂ55＋Ｂ35）／２
Ｃｂ右＝Ｇ65−（Ｂ55＋Ｂ75）／２
補間部５２により算出されたこれら４方向の補間値は、補間値バッファ５３へ転送されて、記憶される。
演算部５４は、制御部２２の制御に基づいて、重みバッファ５７に記憶されている重み係数と、補間値バッファ５３に記憶されている補間値と、を用いてＢ55画素位置の欠落成分Ｇ55を次の数式１５に示すように算出する。
［数１５］
Ｇ55＝Ｂ55＋ΣＣｂk・Ｗk （ｋ＝上，下，左，右）
図１８は、上述したようなＢ55画素位置のＧ55成分を補間するときに用いられる画素の配置を示している。
こうして、演算部５４により算出されたＧ55成分は、上記信号処理部２０へ転送されるとともに、上記バッファ５１へも転送されて記憶される。
このようなＧ信号に対する補間処理が、図１６に示すような６×６画素サイズの領域における全てのＲ画素およびＢ画素に対して行われる。これにより、上記バッファ５１には、６×６画素の領域に関して、全ての画素位置のＧ成分が記録される。なお、上記バッファ５１に、上述したように１０×１０画素の領域の映像信号が転送されて記憶されているのは、６×６画素サイズの領域の周辺に位置するＲ画素およびＢ画素に対してもＧ成分の補間処理を行うことができるようにするためである。
次に、制御部２２は、第１補間部１７に対して、Ｇ45位置の欠落成分Ｒ45，Ｂ45と、Ｇ54位置の欠落成分Ｒ54，Ｂ54と、Ｒ44位置の欠落成分Ｂ44と、Ｂ55位置の欠落成分Ｒ55と、についての補間処理を行わせる。これらの補間処理を行う際には、上述したように算出されたＧ信号も使用されることになる。このような理由から、まずＧ信号の補間が先行して行われるようになっている。
まず、図１９を参照して、Ｇ45位置における欠落成分Ｒ45，Ｂ45の補間処理について説明する。
Ｒ45を算出する際の上記各数式に相当する数式１６〜数式２０は、次のようになっている。
［数１６］
Ｅ上左＝｜Ｇ45−Ｇ24｜
Ｅ上中＝｜Ｇ45−Ｇ44｜
Ｅ上右＝｜Ｇ45−Ｇ64｜
Ｅ下左＝｜Ｇ45−Ｇ26｜
Ｅ下中＝｜Ｇ45−Ｇ46｜
Ｅ下右＝｜Ｇ45−Ｇ66｜
［数１７］
total＝Ｅ上左＋Ｅ上中＋Ｅ上右＋Ｅ下左＋Ｅ下中＋Ｅ下右
［数１８］
Ｗ上左＝Ｅ上左／total
Ｗ上中＝Ｅ上中／total
Ｗ上右＝Ｅ上右／total
Ｗ下左＝Ｅ下左／total
Ｗ下中＝Ｅ下中／total
Ｗ下右＝Ｅ下右／total
［数１９］
Ｃｒ上左＝Ｇ24−Ｒ24
Ｃｒ上中＝Ｇ44−Ｒ44
Ｃｒ上右＝Ｇ64−Ｒ64
Ｃｒ下左＝Ｇ26−Ｒ26
Ｃｒ下中＝Ｇ46−Ｒ46
Ｃｒ下右＝Ｇ66−Ｒ66
［数２０］
Ｒ45＝Ｇ45−ΣＣｒk ・Ｗk
（ｋ＝上左，上中，上右，下左，下中，下右）
同様に、Ｂ45を算出する際の上記各数式に相当する数式２１〜数式２５は、次のようになっている。
［数２１］
Ｅ上左＝｜Ｇ45−Ｇ33｜
Ｅ上右＝｜Ｇ45−Ｇ53｜
Ｅ中左＝｜Ｇ45−Ｇ35｜
Ｅ中右＝｜Ｇ45−Ｇ55｜
Ｅ下左＝｜Ｇ45−Ｇ37｜
Ｅ下右＝｜Ｇ45−Ｇ57｜
［数２２］
total＝Ｅ上左＋Ｅ上右＋Ｅ中左＋Ｅ中右＋Ｅ下左＋Ｅ下右
［数２３］
Ｗ上左＝Ｅ上左／total
Ｗ上右＝Ｅ上右／total
Ｗ中左＝Ｅ中左／total
Ｗ中右＝Ｅ中右／total
Ｗ下左＝Ｅ下左／total
Ｗ下右＝Ｅ下右／total
［数２４］
Ｃｂ上左＝Ｇ33−Ｂ33
Ｃｂ上右＝Ｇ53−Ｂ53
Ｃｂ中左＝Ｇ35−Ｂ35
Ｃｂ中右＝Ｇ55−Ｂ55
Ｃｂ下左＝Ｇ37−Ｂ37
Ｃｂ下右＝Ｇ57−Ｂ57
［数２５］
Ｂ45＝Ｇ45−ΣＣｂk ・Ｗk
（ｋ＝上左，上右，中左，中右，下左，下右）
次に、図２０を参照して、Ｇ54位置における欠落成分Ｒ54，Ｂ54の補間処理について説明する。
Ｒ54を算出する際の上記各数式に相当する数式２６〜数式３０は、次のようになっている。
［数２６］
Ｅ上左＝｜Ｇ54−Ｇ42｜
Ｅ上右＝｜Ｇ54−Ｇ62｜
Ｅ中左＝｜Ｇ54−Ｇ44｜
Ｅ中右＝｜Ｇ54−Ｇ64｜
Ｅ下左＝｜Ｇ54−Ｇ46｜
Ｅ下右＝｜Ｇ54−Ｇ66｜
［数２７］
total＝Ｅ上左＋Ｅ上右＋Ｅ中左＋Ｅ中右＋Ｅ下左＋Ｅ下右
［数２８］
Ｗ上左＝Ｅ上左／total
Ｗ上右＝Ｅ上右／total
Ｗ中左＝Ｅ中左／total
Ｗ中右＝Ｅ中右／total
Ｗ下左＝Ｅ下左／total
Ｗ下右＝Ｅ下右／total
［数２９］
Ｃｒ上左＝Ｇ42−Ｒ42
Ｃｒ上右＝Ｇ62−Ｒ62
Ｃｒ中左＝Ｇ44−Ｒ44
Ｃｒ中右＝Ｇ64−Ｒ64
Ｃｒ下左＝Ｇ46−Ｒ46
Ｃｒ下右＝Ｇ66−Ｒ66
［数３０］
Ｒ54＝Ｇ54−ΣＣｒk ・Ｗk
（ｋ＝上左，上右，中左，中右，下左，下右）
同様に、Ｂ54を算出する際の上記各数式に相当する数式３１〜数式３５は、次のようになっている。
［数３１］
Ｅ上左＝｜Ｇ54−Ｇ33｜
Ｅ上中＝｜Ｇ54−Ｇ53｜
Ｅ上右＝｜Ｇ54−Ｇ73｜
Ｅ下左＝｜Ｇ54−Ｇ35｜
Ｅ下中＝｜Ｇ54−Ｇ55｜
Ｅ下右＝｜Ｇ54−Ｇ75｜
［数３２］
total＝Ｅ上左＋Ｅ上中＋Ｅ上右＋Ｅ下左＋Ｅ下中＋Ｅ下右
［数３３］
Ｗ上左＝Ｅ上左／total
Ｗ上中＝Ｅ上中／total
Ｗ上右＝Ｅ上右／total
Ｗ下左＝Ｅ下左／total
Ｗ下中＝Ｅ下中／total
Ｗ下右＝Ｅ下右／total
［数３４］
Ｃｂ上左＝Ｇ33−Ｂ33
Ｃｂ上中＝Ｇ53−Ｂ53
Ｃｂ上右＝Ｇ73−Ｂ73
Ｃｂ下左＝Ｇ35−Ｂ35
Ｃｂ下中＝Ｇ55−Ｂ55
Ｃｂ下右＝Ｇ75−Ｂ75
［数３５］
Ｂ54＝Ｇ54−ΣＣｂk ・Ｗk
（ｋ＝上左，上中，上右，下左，下中，下右）
このように、Ｇ45位置の欠落成分Ｒ45，Ｂ45と、Ｇ54位置の欠落成分Ｒ54，Ｂ54と、を補間する際には、６方向の重み係数と補間値（色差成分）とを用いている。
次に、図２１は、Ｒ44位置のＢ44を補間する際に用いる周辺画素の様子を示す図である。
Ｂ44を算出する際の上記各数式に相当する数式３６〜数式４０は、次のようになっている。
［数３６］
Ｅ上左＝｜Ｇ44−Ｇ33｜
Ｅ上右＝｜Ｇ44−Ｇ53｜
Ｅ下左＝｜Ｇ44−Ｇ35｜
Ｅ下右＝｜Ｇ44−Ｇ55｜
［数３７］
total＝Ｅ上左＋Ｅ上右＋Ｅ下左＋Ｅ下右
［数３８］
Ｗ上左＝Ｅ上左／total
Ｗ上右＝Ｅ上右／total
Ｗ下左＝Ｅ下左／total
Ｗ下右＝Ｅ下右／total
［数３９］
Ｃｂ上左＝Ｇ33−Ｂ33
Ｃｂ上右＝Ｇ53−Ｂ53
Ｃｂ下左＝Ｇ35−Ｂ35
Ｃｂ下右＝Ｇ55−Ｂ55
［数４０］
Ｂ44＝Ｇ44−ΣＣｂk ・Ｗk （ｋ＝上左，上右，下左，下右）
次に、図２２は、Ｂ55位置のＲ55を補間する際に用いる周辺画素の様子を示す図である。
Ｒ55を算出する際の上記各数式に相当する数式４１〜数式４５は、次のようになっている。
［数４１］
Ｅ上左＝｜Ｇ55−Ｇ44｜
Ｅ上右＝｜Ｇ55−Ｇ64｜
Ｅ下左＝｜Ｇ55−Ｇ46｜
Ｅ下右＝｜Ｇ55−Ｇ66｜
［数４２］
total＝Ｅ上左＋Ｅ上右＋Ｅ下左＋Ｅ下右
［数４３］
Ｗ上左＝Ｅ上左／total
Ｗ上右＝Ｅ上右／total
Ｗ下左＝Ｅ下左／total
Ｗ下右＝Ｅ下右／total
［数４４］
Ｃｒ上左＝Ｇ44−Ｒ44
Ｃｒ上右＝Ｇ64−Ｒ64
Ｃｒ下左＝Ｇ46−Ｒ46
Ｃｒ下右＝Ｇ66−Ｒ66
［数４５］
Ｒ55＝Ｇ55−ΣＣｒk ・Ｗk （ｋ＝上左，上右，下左，下右）
なお、図１９〜図２２に示したような処理に使用されるエッジ強度は、Ｇエッジ抽出部５５によって算出されて、重み算出部５６へ転送される。
上述したような補間処理が終了した後に、算出された各信号が、上記信号処理部２０へ転送されて処理される。
次に、図２３を参照して、第２補間部１８の構成の一例について説明する。
この第２補間部１８は、バッファ６１と、相関算出部６２と、演算部６３と、を有して構成されている。
上記バッファ６１は、上記補間選択部１６から転送された所定領域の映像信号を一時的に記憶するものである。
上記相関算出部６２は、相関算出手段であって、上記バッファ６１に記憶された映像信号から、色信号同士の相関を算出するものである。
上記演算部６３は、演算手段であって、上記相関算出部６２により算出された相関に基づき、上記バッファ６１から映像信号を読み出して、欠落する色成分を算出し、信号処理部２０へ出力するものである。
なお、上記制御部２２は、上記相関算出部６２、演算部６３に対して双方向に接続されており、これらを制御するようになっている。
続いて、このような第２補間部１８の作用について説明する。
補間選択部１６は、制御部２２の制御に基づいて、所定サイズ、本実施形態においては上記図２に示したような１０×１０画素の基本ブロックの映像信号をバッファ６１へ転送する。
相関算出部６２は、制御部２２の制御に基づいて、バッファ６１に記憶されている単板状態の原信号から相関関係を線形式として回帰する。
すなわち、ＲＧＢの３信号をＳ（Ｓ＝Ｒ，Ｇ，Ｂ）とし、基本ブロックにおけるＳ信号の平均をＡＶ＿Ｓ、基本ブロックにおけるＳ信号の分散をＶａｒ＿Ｓとすると、２つの色信号ＳとＳ’（ただし、Ｓ≠Ｓ’）と間に線形な色相関が成立するならば、その線形式は次の数式４６により回帰される。
［数４６］
Ｓ’＝（Ｖａｒ＿Ｓ’／Ｖａｒ＿Ｓ）×（Ｓ−ＡＶ＿Ｓ）＋ＡＶ＿Ｓ’
この数式４６に示すような線形式をＲ−Ｇの信号間、Ｇ−Ｂの信号間、およびＲ−Ｂの信号間でそれぞれ求めて、求めた結果を演算部６３へ転送する。
演算部６３は、数式４６に示したような線形式と、上記バッファ６１に記憶されている原信号と、に基づいて、該バッファ６１上の１０×１０画素の基本ブロックにおける中央部の２×２画素、つまりＲ44画素，Ｇ54画素，Ｇ45画素，Ｂ55画素のそれぞれに対して欠落する色信号を算出する。
具体的には、Ｒ44画素の位置については、Ｒ−Ｇの信号間に成り立つ数式４６の線形式を用いてＧ44成分を算出し、Ｒ−Ｂの信号間に成り立つ数式４６の線形式を用いてＢ44成分を算出することになる。このような処理を、他のＧ54画素，Ｇ45画素，Ｂ55画素についても同様に行う。
こうして演算部６３により算出された欠落する色信号は、原信号とともに、信号処理部２０へ転送される。
次に、図２４を参照して、第３補間部１９の構成の一例について説明する。
この第３補間部１９は、バッファ７１と、ＲＢ線形補間部７２と、Ｇキュービック補間部７３と、を有して構成されている。
上記バッファ７１は、上記補間選択部１６から転送された所定領域の映像信号を一時的に記憶するものである。
上記ＲＢ線形補間部７２は、演算手段であって、上記バッファ７１に記憶された所定領域の映像信号の内の着目領域について、欠落するＲ，Ｂ信号を公知の線形補間処理により算出し信号処理部２０へ出力するものである。
上記Ｇキュービック補間部７３は、演算手段であって、バッファ７１に記憶された所定領域の映像信号の内の着目領域について、欠落するＧ信号を公知のキュービック補間処理により算出し、信号処理部２０へ出力するものである。
なお、上記制御部２２は、上記ＲＢ線形補間部７２、Ｇキュービック補間部７３に対して双方向に接続されており、これらを制御するようになっている。
続いて、このような第３補間部１９の作用について説明する。
補間選択部１６は、制御部２２の制御に基づいて、所定サイズ、本実施形態においては上記図２に示したような１０×１０画素の基本ブロックの映像信号をバッファ７１へ順次転送する。
ＲＢ線形補間部７２は、バッファ７１に記憶されている１０×１０画素の基本ブロックにおける中央部の２×２画素（着目領域）について、欠落するＲ，Ｂ信号を算出する。すなわち、図２に示す画素構成においては、着目領域のＧ54画素およびＧ45画素に対して、Ｒ54信号，Ｂ54信号、およびＲ45信号，Ｂ45信号がそれぞれ欠落している。従って、これらのＲ，Ｂ信号を公知の線形補間処理により算出する。さらに、着目領域のＲ44画素についてＢ信号が欠落し、Ｂ55画素についてＲ信号が欠落しているために、同様に公知の線形補間処理を行って、Ｂ44信号、およびＲ55信号を算出する。こうして算出したＲＢ信号は、信号処理部２０へ出力される。
一方、Ｇキュービック補間部７３は、バッファ７１に記憶されている基本ブロックの着目領域について、欠落するＧ信号を算出する。すなわち、上記Ｒ44，Ｂ55画素に対して、欠落するＧ44信号，Ｇ55信号を公知のキュービック補間処理により算出し、算出したＧ信号を信号処理部２０へ出力する。
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、制御部２２からの撮影時のＣＣＤ４の温度や増幅器６のゲインなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
図２５を参照して、画像処理プログラムによる補間処理の全体について説明する。
処理を開始すると、まず、Ｒａｗデータでなる原信号と、ヘッダ情報と、を読み込んで（ステップＳ１）、原信号を基本ブロックを単位として、本実施形態においては図２に示したような１０×１０画素を単位として、抽出する（ステップＳ２）。
そして、抽出された基本ブロックにおける、図３、図４、図５に示したような矩形ブロック，上ブロック，下ブロック，左ブロック，右ブロックの５種類の領域に関して、ノイズ量の推定を行う（ステップＳ３）。このステップＳ３において推定されたノイズ量は、後述するステップＳ５およびステップＳ７の処理へ転送される。
一方で、上記ステップＳ２において抽出された基本ブロックに関して、エッジ強度を算出する（ステップＳ４）。より詳しくは、上記数式１に示すように算出されたエッジ強度は、後述するステップＳ５およびステップＳ７の処理へ、上記数式２，数式３に示すように算出されたエッジ強度は後述するステップＳ８の処理へ、それぞれ転送される。
上記ステップＳ３において算出された矩形ブロックのノイズ量と、上記ステップＳ４において算出された複数のエッジ強度の内の最大値と、各色信号の分散と、を比較する（ステップＳ５）。
このステップＳ５において、全ての色信号で、「分散＞ノイズ量」かつ「エッジ強度の最大値＞ノイズ量」となる場合は、有効なエッジ構造がある領域であるとして、後述するステップＳ７へ分岐し、それ以外の場合には平坦部であるとして、後述するステップＳ６の第２補間処理へ分岐する。
上記ステップＳ５から分岐されると、色相関を用いて欠落する色成分の補間を行う（ステップＳ６）。このステップＳ６の補間結果は、後述するステップＳ１０へ転送される。
また、上記ステップＳ５から分岐されると、上記ステップＳ３において算出された上ブロック，下ブロック，左ブロック，右ブロックの各ノイズ量と、上記ステップＳ４において算出された複数のエッジ強度の内の最大値と、各色信号の分散と、を比較する（ステップＳ７）。
このステップＳ７において、上ブロック，下ブロック，左ブロック，右ブロックの全てにおける全ての色信号中に、１つでも平坦部が存在する場合には、後述するステップＳ８の第１補間処理へ分岐し、それ以外の場合には後述するステップＳ９の第３補間処理へ分岐する。
上記ステップＳ７から分岐されると、エッジ方向に基づく欠落する色成分の補間を行う（ステップＳ８）。このステップＳ８の処理結果は、後述するステップＳ１０へ転送される。
また、上記ステップＳ７から分岐されると、欠落するＲ信号およびＢ信号を公知の線形補間処理により算出するとともに、欠落するＧ信号を公知のキュービック補間処理により算出する（ステップＳ９）。このステップＳ９の処理結果は、後述するステップＳ１０へ転送される。
上記ステップＳ６における第２補間処理、上記ステップＳ８における第１補間処理、または上記ステップＳ９における第３補間処理が行われたら、処理結果である補間された信号を出力する（ステップＳ１０）。
そして、全ての原信号に対するブロック領域の抽出処理が完了したか否かを判断し（ステップＳ１１）、完了していない場合は上記ステップＳ２へ行って上述したような処理を繰り返して行う。
また、ステップＳ１１において全ての原信号に対するブロック領域の処理が完了していると判断された場合には、公知の強調処理や圧縮処理を行ってから（ステップＳ１２）、処理後の信号を出力して（ステップＳ１３）、この処理を完了する。
次に、図２６を参照して、上記ステップＳ３におけるノイズ推定の処理について説明する。
この処理を開始すると、図３に示したような６×６画素の矩形ブロック、図４に示したような６×４画素の上ブロックおよび下ブロック、図５に示したような４×６画素の左ブロックおよび右ブロックをそれぞれ抽出する（ステップＳ２１）。
そして、抽出した各ブロックの原信号を、色信号、本実施形態においてはＲＧＢの３種類の色信号、へ分離する（ステップＳ２２）。
続いて、分離した色信号毎の平均値を信号レベルとして算出する（ステップＳ２３）。
また、ヘッダ情報に基づいて、撮影時の温度やゲインなどのパラメータを設定する（ステップＳ２４）。
さらに、ノイズ量算出に要する関数、例えば上記図１１〜図１３に示したような３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）のパラメータを読み込む（ステップＳ２５）。
その後、上記ステップＳ２３の信号レベル，ステップＳ２４の各種パラメータ，ステップＳ２５の関数を用いて、数式６または数式７に基づき、ノイズ量を算出する（ステップＳ２６）。
そして、局所領域内における全てのブロックの抽出が完了したか否かを判断し（ステップＳ２７）、完了していない場合は上記ステップＳ２１へ戻って上述したような処理を繰り返して行い、完了している場合はこのノイズ推定の処理を終了する。
続いて、図２７を参照して、上記ステップＳ８における第１補間処理について説明する。
ブロック内の原信号を、色信号、本実施形態においてはＲＧＢの３種類の色信号、へ分離する（ステップＳ３１）。
次に、上記ステップＳ４により算出したエッジ強度に基づいて、数式９、または数式１３により、重み係数を算出する（ステップＳ３２）。
さらに、数式１０、または数式１４により、色差成分を算出する（ステップＳ３３）。
そして、数式１１、または数式１５により、Ｇ信号の補間を行う（ステップＳ３４）。
続いて、数式１６あるいは数式２１、または数式２６あるいは数式３１により、方向別のエッジ強度を算出する（ステップＳ３５）。
次に、上記ステップＳ３５において算出したエッジ強度に基づいて、数式１８あるいは数式２３、または数式２８あるいは数式３３により、重み係数を算出する（ステップＳ３６）。
その後、数式１９あるいは数式２４、または数式２９あるいは数式３４により、色差成分を算出する（ステップＳ３７）。
そして、数式２０あるいは数式２５、または数式３０あるいは数式３５により、Ｒ，Ｂ信号の補間を行い（ステップＳ３８）、この第１補間処理を終了する。
さらに、図２８を参照して、上記ステップＳ６における第２補間処理について説明する。
ブロック内の原信号を、色信号、本実施形態においてはＲＧＢの３種類の色信号、へ分離する（ステップＳ４１）。
次に、色信号同士の相関関係を示す数式４６の相関関数における、数式の係数である相関係数を算出する（ステップＳ４２）。この相関係数の算出は、Ｒ−Ｇ，Ｇ−Ｂ，Ｒ−Ｂの各色信号間について行われる。
そして、上記ステップＳ４２により算出した相関係数に基づいて欠落する色信号を算出し（ステップＳ４３）、この第２補間処理を完了する。
なお、上述では、第１の補間処理と第２の補間処理と第３の補間処理とを必ず組み合わせて処理を行うようにしているが、このような構成に限定される必要はない。
例えば、上記外部Ｉ／Ｆ部２３を介して、高精細な補間処理を必要としない高圧縮率の画質モードが選択された場合や、高速処理が必要とされる動画撮影などの撮影モードが選択された場合などには、線形補間処理またはキュービック補間処理により欠落色信号の補間を行う上記第３の補間処理のみを、固定的に選択するように構成することも可能である。この場合には、制御部２２は、ノイズ推定部１４，エッジ抽出部１５，補間選択部１６などの動作を停止させて、抽出部１３により抽出した領域の映像信号を第３補間部１９へ転送するように設定すればよい。このような制御は、上記外部Ｉ／Ｆ部２３を介して手動で行うようにしても良いし、あるいは、撮影モードに応じて制御部２２が自動的に制御するように構成することも可能である。このように構成すれば、処理時間を短縮したり、あるいは消費電力を低減したりすることが可能となる。
また、上述では、撮像素子たるＣＣＤ４の温度を標準値付与部３５から与えられる平均的な値で代用するようにしていたが、これに限定される必要はない。例えばＣＣＤ４の近傍に温度センサなどを配設して、該温度センサから出力される実測値を用いるようにすることも可能である。このような構成を採用すれば、ノイズ量推定の精度を向上することができる。
さらに、上述では、ノイズ推定部１４において、図３、図４、図５に示したような矩形ブロック，上ブロック，下ブロック，左ブロック，右ブロックを使用したが、これに限定される必要はない。例えば、図６に示すような水平ブロック，垂直ブロックや、図７に示すような±４５度ブロックなど、任意の形状のブロックを用いてノイズを推定することが可能である。
そして、補間選択部１６では、所定領域内の色信号の分散を算出してノイズ量と比較していたが、これに限定される必要もない。例えば、所定領域内のノイズ量が所定の閾値以下である場合には平坦領域と見なす、などの簡略化を図ることも可能である。これにより、図１４に示すような補間選択部１６内の分散算出部４３を省略することができて、処理時間の短縮を図ることができるとともに、消費電力の低減を図ることが可能となる。
このような実施形態１によれば、エッジ方向に基づく第１の補間処理と、色相関に基づく第２の補間処理と、線形補間またはキュービック補間に基づく第３の補間処理と、を注目画素の近傍におけるノイズ量に基づいて適応的に切り換えるようにしているために、ノイズの影響を考慮した最適な補間処理を選択して、高品位な映像信号を得ることができる。
また、ノイズ量を推定する際に、信号レベルやゲインなどの動的に変化するパラメータを撮影毎に求めて用いるようにしたために、撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。
さらに、ノイズ量を推定するためのパラメータが得られない場合でも、標準値を用いることができるようにしたために、ノイズ量の推定を安定して行うことができる。
そして、ノイズ量の算出に関数を用いることにより、必要なメモリ量を少なくすることができ、低コスト化を図ることが可能となる。さらに、一部のパラメータ算出を意図的に省略することにより、より一層の低コスト化や省電力化を図ることができる。
加えて、複数方向のエッジ強度に基づいてエッジ強度に反比例する重み係数を求め、複数方向の補間信号と乗算して、その総和値を注目画素の補間信号とする補間処理を行っているために、特定方向に構造を有する領域において、高精度な補間処理を行うことが可能となる。
また、所定領域内の色信号間の相関関係を線形式として求めて、この線形式から補間信号を求める補間処理を行っているために、単一の色相からなる領域において、高精度な補間処理を行うことが可能となる。
さらに、輝度信号に近いＧ信号をキュービック補間により、その他のＲ，Ｂ信号を線形補間により補間処理しているために、処理を高速化しながら、視覚特性に整合させて全体としての画質の低下を抑制することができる。
そして、所定領域の統計量とノイズ量とに基づいて、所定領域が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造がある領域と平坦領域との分離能が向上し、ノイズの影響を受け難い最適な補間方法を選択することが可能となる。
また、所定領域のノイズ量と閾値とに基づいて、所定領域が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造がある領域と平坦領域との分離能が向上し、ノイズの影響を受け難い最適な補間方法を選択することが可能となる。また、閾値との比較を行う場合には、処理速度を高速に行うことができる利点がある。
さらに、補間処理の選択を手動で所望に行うことができるようにしたために、補間処理に関する使用者の意図により高い自由度で沿うことが可能であるとともに、処理時間を短縮して消費電力を低減することができる。
そして、圧縮率や画像サイズなどの画質情報、文字画像撮影や動画撮影などの撮影モード情報、使用者の補間処理の切り換え情報、等を取得して、これらの情報に基づき補間処理の切り換え判断を行うようにしたために、例えば高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などに、補間処理の切り換えを省略して、処理速度や応答性を向上することができる。
［実施形態２］
図２９から図３３は本発明の実施形態２を示したものであり、図２９は撮像システムの構成を示すブロック図、図３０は抽出部により抽出される６×６画素の基本ブロックにおけるカラーフィルタの配置を示す図、図３１はノイズ推定部の構成を示すブロック図、図３２は画素選択部の構成を示すブロック図、図３３は画像処理プログラムによる処理を示すフローチャートである。
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この実施形態２における撮像システムの構成は、上述した実施形態１の図１に示した構成と基本的にはほぼ同様であって、該図１の構成からエッジ抽出部１５と補間選択部１６と第１補間部１７と第３補間部１９とを削除して、画素選択手段であり補間画素選択手段たる画素選択部２６を追加したものとなっている。
すなわち、抽出部１３により抽出された映像信号は、ノイズ推定部１４へ転送されるとともに、画素選択部２６へも転送されるようになっている。また、このノイズ推定部１４により推定されたノイズ量は、画素選択部２６へ転送されるようになっている。さらに、該画素選択部２６による処理結果は、第２補間部１８へ転送されるようになっている。
なお、上記制御部２２は、上記画素選択部２６に対しても双方向に接続されており、これを制御するようになっている。
また、この実施形態２においては、ＣＣＤ４の前面に配置されるカラーフィルタが、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー），Ｇ（緑）の補色フィルタであることを想定している。
次に、図２９に示したような撮像システムの作用における、主として上記実施形態１と異なる部分について、信号の流れに沿って説明する。
抽出部１３は、制御部２２の制御に基づいて、上記画像用バッファ８内の映像信号を所定領域単位で抽出し、ノイズ推定部１４と画素選択部２６とへそれぞれ転送する。なお、抽出部１３が抽出する所定領域は、本実施形態においては、図３０に示すような６×６画素の基本ブロックであることを想定している。また、補間処理の対象となる注目画素は、図３０に示したような基本ブロックの中心に位置する２×２画素でなる４画素（Ｃ22，Ｙ32，Ｇ23，Ｍ33）であることを想定している。従って、上記抽出部１３による所定領域の抽出は、上記６×６画素の基本ブロックを、水平方向または垂直方向に２画素ずつ移動させながら（つまり、基本ブロックをオーバーラップさせながら）行うことになる。
ノイズ推定部１４は、制御部２２の制御に基づいて、抽出部１３から転送される領域に対してノイズ量を色信号毎に、本実施形態においてはＣＭＹＧの色信号毎に推定し、推定した結果を画素選択部２６へ転送する。
画素選択部２６は、制御部２２の制御に基づいて、上記ノイズ推定部１４から転送されてくるノイズ量を用いて、色信号毎に許容範囲を設定する。そして、画素選択部２６は、所定領域内の色信号を上記許容範囲と画素単位で比較して、許容範囲内であるか許容範囲外であるかをラベル付けして、第２補間部１８へ転送する。
第２補間部１８は、上記画素選択部２６により許容範囲内にあると判定された画素を用いて、上述した実施形態１と同様に、色相関に基づく補間処理を行い、補間後の信号を信号処理部２０へ転送する。なお、本実施形態においては、色信号がＣ，Ｍ，Ｙ，Ｇとなるために、第２補間部１８は、上記数式４６に示したような線形式を、Ｃ−Ｍ，Ｃ−Ｙ，Ｃ−Ｇ，Ｍ−Ｙ，Ｍ−Ｇ，Ｙ−Ｇの信号間で求めることになる。
また、上記抽出部１３，ノイズ推定部１４，画素選択部２６，第２補間部１８の処理は、制御部２２の制御により、所定領域単位で同期して行われるようになっている。
その後の信号処理部２０や出力部２１の処理は、上述した実施形態１と同様である。
次に、図３１を参照して、本実施形態におけるノイズ推定部１４の構成の一例について説明する。
このノイズ推定部１４は、バッファ３１と、信号分離部３２と、平均算出部３３と、ゲイン算出部３４と、標準値付与部３５と、ノイズ用テーブル３９と、を有して構成されている。
すなわち、この図３１に示すノイズ推定部１４は、上述した実施形態１の図８に示したノイズ推定部１４に対して、係数算出部３６とパラメータ用ＲＯＭ３７と関数算出部３８とを削除して、ノイズ用テーブル３９を追加したものとなっている。
このノイズ用テーブル３９は、ノイズ量算出手段でありルックアップテーブル手段であって、上記平均算出部３３により算出された平均値が転送されるとともに、ゲイン算出部３４により算出されたゲインが転送され、さらに、標準値付与部３５から撮像素子たるＣＣＤ５の温度などが標準値として転送されるようになっている。また、ノイズ用テーブル３９は、テーブル参照して得られた結果を上記画素選択部２６へ出力するようになっている。
なお、上記制御部２２は、このノイズ用テーブル３９に対しても双方向に接続されており、これを制御するようになっている。
続いて、このようなノイズ推定部１４の作用について説明する。
抽出部１３は、制御部２２の制御に基づいて画像用バッファ８から、所定位置における所定サイズの信号を抽出して、バッファ３１へ転送する。本実施形態においては、図３０に示すような６×６画素領域に関して、ノイズ量の推定を行う。
信号分離部３２は、制御部２２の制御に基づいて、上記バッファ３１に記憶された所定領域内の信号を、色信号毎（本実施形態では、ＣＭＹＧの４種類の色信号）に分離し、平均算出部３３へ転送する。
平均算出部３３は、制御部２２の制御に基づいて、信号分離部３２からの色信号を読み出して平均値を算出し、所定領域の信号レベルとしてノイズ用テーブル３９へ転送する。
ゲイン算出部３４は、制御部２２から転送される、露光条件と、ホワイトバランス係数に関する情報と、に基づいて、増幅器６における増幅量（ゲイン）を求め、ノイズ用テーブル３９へ転送する。
また、標準値付与部３５は、撮像素子たるＣＣＤ４の平均的な温度に関する情報を、ノイズ用テーブル３９へ転送する。
ノイズ用テーブル３９は、温度，信号レベル，ゲインと、ノイズ量と、の間の関係を記録したルックアップテーブルであり、上述した実施形態１と同様の手段により構築されたものである。該ノイズ用テーブル３９は、取得した温度，信号レベル，ゲインの各情報に基づき、ルックアップテーブルを参照することにより対応するノイズ量を取得し、取得したノイズ量を画素選択部２６へ転送する。
また、標準値付与部３５は、上述した実施形態１と同様に、上記ＣＣＤ４の温度に限らず、その他の何れかのパラメータが省略された場合にも標準値を与える機能を備えたものとなっている。
次に、図３２を参照して、画素選択部２６の構成の一例について説明する。
この画素選択部２６は、バッファ８１と、画素ラベル付加部８２と、許容範囲算出部８３と、を有して構成されている。
上記バッファ８１は、上記抽出部１３により抽出された所定領域の映像信号を一時的に記憶するものである。
上記画素ラベル付加部８２は、ラベル手段であって、上記バッファ８１に記憶された映像信号を画素単位で読み出して、後述する許容範囲算出部８３の出力と比較し、比較結果に応じてラベル付けして、その結果を上記第２補間部１８へ転送するものである。
上記許容範囲算出部８３は、許容範囲設定手段であって、上記ノイズ推定部１４から転送されたノイズ量に基づいて、上記バッファ８１に記憶された映像信号の許容範囲を設定するものである。
なお、上記制御部２２は、上記画素ラベル付加部８２、許容範囲算出部８３に対して双方向に接続されており、これらを制御するようになっている。
続いて、このような画素選択部２６の作用について説明する。
抽出部１３は、制御部２２の制御に基づいて、画像用バッファ８から所定位置における所定サイズの信号を抽出して、バッファ８１へ転送する。本実施形態においては、図３０に示すような６×６画素領域に関して、画素の選択を行う。
許容範囲算出部８３は、制御部２２の制御に基づいて、バッファ８１に記憶されている所定領域の信号に対し、各色信号の平均値ＡＶ＿Ｓ（Ｓ＝Ｃ，Ｍ，Ｙ，Ｇ）を算出する。さらに、許容範囲算出部８３は、ノイズ推定部１４から取得したノイズ量Ｎ＿Ｓに基づき、許容範囲としての上限Ａｕｐ＿Ｓおよび下限Ａｌｏｗ＿Ｓを次の数式４７に示すように設定する。
［数４７］
Ａｕｐ＿Ｓ ＝ＡＶ＿Ｓ＋Ｎ＿Ｓ／２
Ａｌｏｗ＿Ｓ＝ＡＶ＿Ｓ−Ｎ＿Ｓ／２
このような許容範囲Ａｕｐ＿Ｓ，Ａｌｏｗ＿Ｓは、各色信号に対して設定され、画素ラベル付加部８２へ転送される。
画素ラベル付加部８２は、制御部２２の制御に基づいて、バッファ８１から転送される各色信号に対し、上限Ａｕｐ＿Ｓ以下でかつ下限Ａｌｏｗ＿Ｓ以上となる画素を平坦な領域に属する有効画素であると判断し、第２補間部１８へそのまま転送する。
一方、画素ラベル付加部８２は、信号が上限Ａｕｐ＿Ｓよりも大きい画素、または信号が下限Ａｌｏｗ＿Ｓよりも小さい画素を、エッジなどの構造を有する領域に属する無効画素であると判断して、特定のラベルを付加する。
このラベルは、例えば本来の信号値にマイナスをつけたものであり、必要に応じて、本来の信号値に戻すことができるようになっている。
第２補間部１８は、上記画素選択部２６から転送された有効画素を用いて、実施形態１と同様に色相関に基づく補間処理を行い、補間後の信号を信号処理部２０へ転送する。
なお、上記画素選択部２６によって所定領域内の画素が全て無効画素であると判断された場合には、所定領域内の全画素を有効画素として便宜的に補間処理を行う。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、制御部２２からの撮影時のＣＣＤ４の温度や増幅器６のゲインなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
図３３を参照して、画像処理プログラムによる補間処理について説明する。
処理を開始すると、まず、Ｒａｗデータでなる原信号と、ヘッダ情報と、を読み込んで（ステップＳ５１）、原信号を、基本ブロックを単位として、本実施形態においては図３０に示したような６×６画素を単位として、抽出する（ステップＳ５２）。
そして、抽出された基本ブロックにおけるノイズ量を推定する（ステップＳ５３）。
次に、推定されたノイズ量を用いて、上記数式４７に示したような許容範囲としての上限Ａｕｐ＿Ｓおよび下限Ａｌｏｗ＿Ｓを設定する（ステップＳ５４）。
続いて、上記ステップＳ５２において抽出された所定領域内の各色信号に関して、上記ステップＳ５４において設定された許容範囲に基づき、有効画素であるか無効画素であるかを選択する（ステップＳ５５）。
このステップＳ５５において有効画素として選択された画素の信号を用いて、色相関に基づく補間処理を行い（ステップＳ５６）、補間された信号を出力する（ステップＳ５７）。
ここで、全信号に対して抽出される全ての局所領域について処理が終了したか否かを判断し（ステップＳ５８）、まだ未処理の局所領域がある場合には上記ステップＳ５２へ行って上述したような処理を行う。
一方、全ての局所領域について処理が完了したと判断された場合には、公知の強調処理や圧縮処理を行ってから（ステップＳ５９）、処理後の信号を出力して（ステップＳ６０）、この処理を完了する。
なお、上述では、所定領域として６×６画素の基本ブロックを用いていたが、これに限定されるものではない。例えば、上記外部Ｉ／Ｆ部２３を介して、高精細な補間処理を必要としない高圧縮率の画質モードが選択された場合や、高速処理が必要とされる動画撮影などの撮影モードが選択された場合などには、４×４画素などのより小さい領域で処理を行うようにすることも可能である。このような制御は、上記外部Ｉ／Ｆ部２３を介して手動で行うようにしても良いし、あるいは、撮影モードに応じて制御部２２が自動的に制御するように構成することも可能である。このように構成すれば、処理時間を短縮したり、あるいは消費電力を低減したりすることが可能となる。
また、上述では補色の単板ＣＣＤを例に挙げて説明したが、これに限定されるものでもない。例えば、実施形態１で説明したような原色ベイヤー型のカラーフィルタを備えた単板撮像素子にも同様に適用することが可能であるし、二板式の撮像系や、三板式であっても画素ずらしを行っている撮像系についても、同様に適用することが可能である。
さらに、補間処理として、色相関に基づく第２補間処理を用いたが、このような構成に限定されるものでもない。例えば、実施形態１において説明したような第１補間処理と同様のエッジ方向に基づく補間処理などを用いることも可能であり、こうした第２補間処理とは異なる特性をもつ任意の補間処理と組み合わせることができる。
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、注目画素近傍の原信号からノイズ量を推定して、推定したノイズ量に基づいて画素を選択するようにしたために、有効なエッジ構造に属する画素と、平坦領域に属する画素と、の分離能が向上する。これにより、ノイズの影響を受けることのない最適な補間処理を行って、高品位な映像信号を得ることができる。
また、ノイズ量を推定する際に、信号レベルやゲインなどの動的に変化するパラメータを撮影毎に求めて用いるようにしたために、撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。このとき、ノイズ量を求めるのにテーブルを用いることにより、処理を高速に行うことが可能となる。
さらに、ノイズ量を推定するためのパラメータが得られない場合でも、標準値を用いることができるようにしたために、ノイズ量の推定を安定して行うことができる。
そして、一部のパラメータ算出を意図的に省略することにより、低コスト化や省電力化を図ることができる。
加えて、所定領域内の色信号間の相関関係を線形式として求めて、この線形式から補間信号を求める補間処理を行っているために、単一の色相からなる領域において、高精度な補間処理を行うことが可能となる。
また、所定領域のノイズ量と色信号の平均値とに基づく許容範囲から、画素が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造に属する画素と、平坦領域に属する画素と、の分離能が向上して、ノイズの影響を除去した最適な補間処理を行うことが可能となる。
さらに、補間処理に用いる画素の選択を手動で所望に行うことができるようにしたために、補間処理に関する使用者の意図により高い自由度で沿うことが可能であるとともに、処理時間を短縮して消費電力を低減することができる。
［実施形態３］
図３４、図３５は本発明の実施形態３を示したものであり、図３４は撮像システムの構成を示すブロック図、図３５は画像処理プログラムによる処理を示すフローチャートである。
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
この実施形態３における撮像システムの構成は、上述した実施形態１の図１に示した構成と基本的にはほぼ同様であって、該図１の構成から第３補間部１９を削除して、画素選択部２６を追加したものとなっている。
すなわち、補間選択部１６は、上記第１補間部１７、または画素選択部２６を介した第２補間部１８の何れかを選択するようになっている。画素選択部２６は、ノイズ推定部１４により推定されたノイズ量を取得して、画素が有効であるか否かを選択するものである。この画素選択部２６による選択結果は、上記第２補間部１８へ転送されるようになっている。
なお、上記制御部２２は、上記画素選択部２６に対しても双方向に接続されており、これを制御するようになっている。
続いて、図３４に示したような撮像システムの作用における、主として上記実施形態１と異なる部分について、信号の流れに沿って説明する。
抽出部１３は、制御部２２の制御に基づいて、上記画像用バッファ８内の映像信号を所定領域単位で抽出し、ノイズ推定部１４とエッジ抽出部１５と補間選択部１６とへそれぞれ転送する。
ノイズ推定部１４は、制御部２２の制御に基づいて、抽出部１３から転送される領域に対してノイズ量を色信号毎に推定し、推定した結果を補間選択部１６と画素選択部２６とへ転送する。
一方、エッジ抽出部１５は、制御部２２の制御に基づいて、抽出部１３から転送される所定領域に対して所定方向のエッジ強度を算出し、算出した結果を補間選択部１６と第１補間部１７とへ転送する。
補間選択部１６は、制御部２２の制御に基づいて、上記ノイズ推定部１４からのノイズ量と、上記エッジ抽出部１５からのエッジ強度と、内部で算出した各色信号の分散と、に基づき、所定領域が補間処理において有効であるかまたは無効であるかを判断して、第１補間部１７、または画素選択部２６を介した第２補間部１８、の何れかを選択する。
ここで第１補間部１７を選択した場合には、補間選択部１６は、抽出部１３からの所定領域の映像信号を、第１補間部１７へ転送する。
第１補間部１７は、転送された所定領域の映像信号に対して、エッジ方向に基づく補間処理を行い、補間後の映像信号を信号処理部２０へ転送する。
また、補間選択部１６が第２補間部１８を選択した場合には、抽出部１３からの所定領域の映像信号を、画素選択部２６へ転送する。
画素選択部２６は、上述した実施形態２と同様に、ノイズ量と各色信号の平均値とに基づいて例えば上記数式４７に示したように許容範囲を設定し、この許容範囲内にある画素を有効画素、該許容範囲外の画素を無効画素、としてそれぞれラベル付けする。画素選択部２６は、こうしてラベル付けした信号を、第２補間部１８へ転送する。
第２補間部１８は、画素選択部２６により選択された有効画素を用いて、色相関に基づく補間処理を行い、補間後の信号を信号処理部２０へ転送する。
その後の信号処理部２０や出力部２１の処理は、上述した実施形態１と同様である。
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、制御部２２からの撮影時のＣＣＤ４の温度や増幅器６のゲインなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。
図３５を参照して、画像処理プログラムによる補間処理について説明する。
処理を開始すると、まず、Ｒａｗデータでなる原信号と、ヘッダ情報と、を読み込んで（ステップＳ７１）、原信号を所定の局所領域を単位として抽出する（ステップＳ７２）。
そして、抽出された所定領域に関してノイズ量を推定する（ステップＳ７３）。このステップＳ７３において推定されたノイズ量は、後述するステップＳ７５の処理へ転送される。
一方で、上記ステップＳ７２において抽出された所定領域に関して、エッジ強度を算出する（ステップＳ７４）。上述した実施形態１とほぼ同様に、上記数式１に示すように算出されたエッジ強度は後述するステップＳ７５の処理へ、上記数式２，数式３に示すように算出されたエッジ強度は後述するステップＳ７９の処理へ、それぞれ転送される。
上記ステップＳ７３において算出された局所領域のノイズ量と、上記ステップＳ７４において算出された複数のエッジ強度の内の最大値と、各色信号の分散と、を比較する（ステップＳ７５）。このステップＳ７５において、全ての色信号で、「分散＞ノイズ量」かつ「エッジ強度の最大値＞ノイズ量」となる場合は、有効なエッジ構造がある領域であるとして、後述するステップＳ７９へ分岐し、それ以外の場合には平坦部であるとして、後述するステップＳ７６の第２補間処理へ分岐する。
上記ステップＳ７５において分岐されたときには、上記ステップＳ７３の処理により推定されたノイズ量を用いて、上記数式４７に示したような許容範囲としての上限Ａｕｐ＿Ｓおよび下限Ａｌｏｗ＿Ｓを設定する（ステップＳ７６）。
続いて、上記ステップＳ７２において抽出された所定領域内の各色信号に関して、上記ステップＳ７６において設定された許容範囲に基づき、有効画素であるか無効画素であるかを選択する（ステップＳ７７）。
このステップＳ７７において有効画素として選択された画素の信号を用いて、色相関に基づく補間処理を行う（ステップＳ７８）。
一方、上記ステップＳ７５において、有効なエッジ構造がある領域であると判断された場合には、上記ステップＳ７４により抽出されたエッジ強度を用いて、エッジ方向に基づく第１補間処理を行う（ステップＳ７９）。
そして、上記ステップＳ７８の第２補間処理により補間された信号、または上記ステップＳ７９の第１補間処理により補間された信号を出力する（ステップＳ８０）。
その後、全ての原信号に対する局所領域の抽出処理が完了したか否かを判断し（ステップＳ８１）、完了していない場合は上記ステップＳ７２へ行って上述したような処理を繰り返して行う。
また、ステップＳ８１において全ての原信号に対する局所領域の処理が完了していると判断された場合には、公知の強調処理や圧縮処理を行ってから（ステップＳ８２）、処理後の信号を出力して（ステップＳ８３）、この処理を完了する。
このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、注目画素近傍の原信号からノイズ量を推定して、推定したノイズ量に基づき複数の補間方法を切り換えるようにし、さらに少なくとも１つの補間方法においては推定したノイズ量に基づき画素を選択するようにしたために、ノイズの影響を考慮し、かつノイズの影響を受けることのない最適な補間処理を行って、高品位な映像信号を得ることができる。
また、ノイズ量を推定する際に、信号レベルやゲインなどの動的に変化するパラメータを撮影毎に求めて用いるようにしているために、撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。
さらに、複数方向のエッジ強度に基づいてエッジ強度に反比例する重み係数を求め、複数方向の補間信号と乗算して、その総和値を注目画素の補間信号とする補間処理を行っているために、特定方向に構造を有する領域において、高精度な補間処理を行うことが可能となる。
そして、所定領域内の色信号間の相関関係を線形式として求めて、この線形式から補間信号を求める補間処理を行っているために、単一の色相からなる領域において、高精度な補間処理を行うことが可能となる。
加えて、所定領域の統計量とノイズ量とに基づいて、所定領域が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造がある領域と平坦領域との分離能が向上し、ノイズの影響を受け難い最適な補間方法を選択することが可能となる。
また、所定領域のノイズ量と閾値とに基づいて、所定領域が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造がある領域と平坦領域との分離能が向上し、ノイズの影響を受け難い最適な補間方法を選択することが可能となる。また、閾値との比較を行う場合には、処理速度を高速に行うことができる利点がある。
さらに、所定領域のノイズ量と色信号の平均値とに基づく許容範囲から、画素が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造に属する画素と、平坦領域に属する画素と、の分離能が向上して、ノイズの影響を除去した最適な補間処理を行うことが可能となる。
そして、補間処理に用いる画素の選択を手動で所望に行うことができるようにしたために、補間処理に関する使用者の意図により高い自由度で沿うことが可能であるとともに、処理時間を短縮して消費電力を低減することができる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

Claims (25)

  1. 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
    上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段と、
    上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、
    上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段と、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、上記複数の補間手段の何れを用いるかを選択する補間選択手段と、
    を具備したことを特徴とする撮像システム。
  2. 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
    上記映像信号から注目画素を包含する局所領域を１つ以上抽出する抽出手段と、
    上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、
    上記注目画素において欠落する色信号を補間処理により求める補間手段と、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、上記補間手段における補間処理に使用する画素を選択する画素選択手段と、
    を具備したことを特徴とする撮像システム。
  3. 各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
    上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段と、
    上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、
    上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段と、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、上記複数の補間手段の何れを用いるかを選択するとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択する補間画素選択手段と、
    を具備したことを特徴とする撮像システム。
  4. 上記映像信号を生成して必要に応じて増幅する撮像素子系をさらに具備し、
    上記ノイズ推定手段は、
    上記局所領域の映像信号を上記所定数の色信号毎に分離する分離手段と、
    上記分離手段により分離された各色信号の平均値と、上記撮像素子系の温度と、該撮像素子系による上記映像信号の増幅におけるゲインと、の内の少なくとも１つをパラメータとして求めるパラメータ算出手段と、
    上記パラメータ算出手段により算出されたパラメータに基づいて、色信号のノイズ量を上記所定数の色信号毎に求めるノイズ量算出手段と、
    を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。
  5. 上記ノイズ量算出手段は、上記各色信号の平均値Ｌと、上記撮像素子系の温度Ｔと、該撮像素子系による上記映像信号の増幅におけるゲインＧと、をパラメータとして用いて、色信号のノイズ量Ｎを上記所定数の色信号毎に算出するものであって、
    上記平均値Ｌと上記温度Ｔと上記ゲインＧとの内の、上記パラメータ算出手段により得られなかったパラメータに対して、標準のパラメータ値を付与する付与手段と、
    上記温度Ｔおよび上記ゲインＧをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）を用いて、これら３つの関数に各々対応する係数Ａ，Ｂ，Ｃを求める係数算出手段と、
    上記係数算出手段により求められた３つの係数Ａ，Ｂ，Ｃを用いて、第１の関数式、
    Ｎ＝ＡＬB＋Ｃ
    または第２の関数式、
    Ｎ＝ＡＬ2＋ＢＬ＋Ｃ
    に基づき、ノイズ量Ｎを求める関数演算手段と、
    を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
  6. 上記ノイズ量算出手段は、上記各色信号の平均値と、上記撮像素子系の温度と、該撮像素子系による上記映像信号の増幅におけるゲインと、をパラメータとして用いて、色信号のノイズ量Ｎを上記所定数の色信号毎に算出するものであって、
    上記平均値と上記温度と上記ゲインとの内の、上記パラメータ算出手段により得られなかったパラメータに対して、標準のパラメータ値を付与する付与手段と、
    上記パラメータ算出手段または上記付与手段から得られる、上記平均値と上記温度と上記ゲインとに基づき、ノイズ量を求めるルックアップテーブル手段と、
    を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
  7. 上記局所領域内で、注目画素を中心とした複数の所定方向に関するエッジ強度をそれぞれ抽出するエッジ抽出手段をさらに具備し、
    上記補間手段は、
    上記エッジ抽出手段により抽出された複数の所定方向に関するエッジ強度を用いて、正規化された重み係数を各所定方向に関して算出する重み算出手段と、
    上記局所領域内で、上記注目画素を中心とした複数の所定方向に関する補間信号をそれぞれ算出する補間信号算出手段と、
    上記所定方向に関する複数の重み係数と、上記所定方向に関する補間信号と、に基づいて、上記注目画素において欠落する色信号を算出する演算手段と、
    を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。
  8. 上記補間手段は、
    上記局所領域内における各色信号間の相関関係を線形式として求める相関算出手段と、
    上記相関算出手段により算出された相関関係に基づいて、上記映像信号から、上記注目画素において欠落する色信号を算出する演算手段と、
    を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。
  9. 上記補間手段は、
    上記局所領域内で、線形補間またはキュービック補間を行うことによって、上記注目画素において欠落する色信号を算出する演算手段、
    を有して構成されたものであることを特徴とする請求項１または請求項３に記載の撮像システム。
  10. 上記補間選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、上記局所領域の各色信号から得られる所定の統計量と、を比較する比較手段と、
    上記比較手段による比較結果に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を有して構成され、
    上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するものであることを特徴とする請求項１に記載の撮像システム。
  11. 上記補間選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、所定の閾値と、を比較する比較手段と、
    上記比較手段による比較結果に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を有して構成され、
    上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するものであることを特徴とする請求項１に記載の撮像システム。
  12. 上記画素選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
    上記許容範囲に基づいて上記局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を有して構成され、
    上記ラベル手段により付けられたラベルに応じて、上記補間手段における補間処理に使用する画素を選択するものであることを特徴とする請求項２に記載の撮像システム。
  13. 上記補間画素選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、上記局所領域の各色信号から得られる所定の統計量と、を比較する比較手段と、
    上記ノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
    上記比較手段による比較結果と、上記許容範囲設定手段により設定された許容範囲と、に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに、該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を有して構成され、
    上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択するものであることを特徴とする請求項３に記載の撮像システム。
  14. 上記補間画素選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、所定の閾値と、を比較する比較手段と、
    上記ノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
    上記比較手段による比較結果と、上記許容範囲設定手段により設定された許容範囲と、に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに、該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を有して構成され、
    上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択するものであることを特徴とする請求項３に記載の撮像システム。
  15. 上記複数の補間手段を所望に選択可能とし、選択された補間手段により欠落する色信号を補間させるように制御する制御手段をさらに具備したことを特徴とする請求項１または請求項３に記載の撮像システム。
  16. 上記制御手段は、映像に係る、画質情報と、撮影モード情報と、の少なくとも一方を取得する情報取得手段を有して構成されたものであることを特徴とする請求項１５に記載の撮像システム。
  17. 上記補間手段における補間処理に使用する画素を所望に選択可能とし、選択された画素により欠落する色信号を補間させるように該補間手段を制御する制御手段をさらに具備したことを特徴とする請求項２または請求項３に記載の撮像システム。
  18. コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理させるための画像処理プログラムであって、コンピュータを、
    上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段、
    上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、
    上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、上記複数の補間手段の何れを用いるかを選択する補間選択手段、
    として機能させるための画像処理プログラム。
  19. コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理させるための画像処理プログラムであって、コンピュータを、
    上記映像信号から注目画素を包含する局所領域を１つ以上抽出する抽出手段、
    上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、
    上記注目画素において欠落する色信号を補間処理により求める補間手段、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、上記補間手段における補間処理に使用する画素を選択する画素選択手段、
    として機能させるための画像処理プログラム。
  20. コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理させるための画像処理プログラムであって、コンピュータを、
    上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段、
    上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、
    上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、上記複数の補間手段の何れを用いるかを選択するとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択する補間画素選択手段、
    として機能させるための画像処理プログラム。
  21. 上記補間選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、上記局所領域の各色信号から得られる所定の統計量と、を比較する比較手段と、
    上記比較手段による比較結果に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を含み、
    コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるための請求項１８に記載の画像処理プログラム。
  22. 上記補間選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、所定の閾値と、を比較する比較手段と、
    上記比較手段による比較結果に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を含み、
    コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるための請求項１８に記載の画像処理プログラム。
  23. 上記画素選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
    上記許容範囲に基づいて上記局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を含み、
    コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記補間手段における補間処理に使用する画素を選択させるための請求項１９に記載の画像処理プログラム。
  24. 上記補間画素選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、上記局所領域の各色信号から得られる所定の統計量と、を比較する比較手段と、
    上記ノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
    上記比較手段による比較結果と、上記許容範囲設定手段により設定された許容範囲と、に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに、該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を含み、
    コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択させるための請求項２０に記載の画像処理プログラム。
  25. 上記補間画素選択手段は、
    上記ノイズ推定手段により推定されたノイズ量と、所定の閾値と、を比較する比較手段と、
    上記ノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
    上記比較手段による比較結果と、上記許容範囲設定手段により設定された許容範囲と、に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに、該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
    を含み、
    コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択させるための請求項２０に記載の画像処理プログラム。
JP2006510201A 2004-02-19 2005-02-15 撮像システム、画像処理プログラム Expired - Fee Related JP3899118B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004043595 2004-02-19
JP2004043595 2004-02-19
PCT/JP2005/002263 WO2005081543A1 (ja) 2004-02-19 2005-02-15 撮像システム、画像処理プログラム

Publications (2)

Publication Number Publication Date
JP3899118B2 true JP3899118B2 (ja) 2007-03-28
JPWO2005081543A1 JPWO2005081543A1 (ja) 2007-10-25

Family

ID=34879315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006510201A Expired - Fee Related JP3899118B2 (ja) 2004-02-19 2005-02-15 撮像システム、画像処理プログラム

Country Status (4)

Country Link
US (1) US20070013794A1 (ja)
EP (1) EP1718081A1 (ja)
JP (1) JP3899118B2 (ja)
WO (1) WO2005081543A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4628937B2 (ja) 2005-12-01 2011-02-09 オリンパス株式会社 カメラシステム
JP5016255B2 (ja) * 2006-02-22 2012-09-05 富士フイルム株式会社 ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
JP5040369B2 (ja) * 2006-05-22 2012-10-03 富士通セミコンダクター株式会社 画像処理装置、および画像処理方法
JP5006067B2 (ja) * 2006-06-29 2012-08-22 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
US8018504B2 (en) * 2006-12-22 2011-09-13 Eastman Kodak Company Reduction of position dependent noise in a digital image
JP4998069B2 (ja) * 2007-04-25 2012-08-15 ソニー株式会社 補間処理装置、撮像装置、及び、補間処理方法
WO2009081709A1 (ja) * 2007-12-25 2009-07-02 Olympus Corporation 画像処理装置、画像処理方法、および、画像処理プログラム
EP2241113A1 (en) * 2008-01-09 2010-10-20 Robert Bosch GmbH Method and apparatus for processing colour values provided by a camera sensor
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
BRPI1007869B1 (pt) * 2009-03-12 2021-08-31 Interdigital Madison Patent Holdings Métodos, aparelhos e mídia de armazenamento legível por computador para seleção de parâmetro de filtro baseado em região para filtragem de remoção de artefatos
JP5574615B2 (ja) * 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP5326793B2 (ja) * 2009-05-14 2013-10-30 ソニー株式会社 静脈撮像装置、静脈画像補間方法およびプログラム
JP5665508B2 (ja) * 2010-11-30 2015-02-04 キヤノン株式会社 画像処理装置及び方法、並びにプログラム及び記憶媒体
US8907991B2 (en) 2010-12-02 2014-12-09 Ignis Innovation Inc. System and methods for thermal compensation in AMOLED displays
JP5631769B2 (ja) * 2011-02-17 2014-11-26 株式会社東芝 画像処理装置
US20130002936A1 (en) * 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
JP5675996B2 (ja) * 2011-08-30 2015-02-25 シャープ株式会社 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体
US10902890B2 (en) * 2012-06-22 2021-01-26 Intel Corporation Method, apparatus and system for a per-DRAM addressability mode
CN104521231B (zh) * 2012-08-10 2016-12-21 株式会社尼康 图像处理装置和摄像装置
JP6282123B2 (ja) * 2014-01-23 2018-02-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10951126B2 (en) 2016-09-22 2021-03-16 Sew-Eurodrive Gmbh & Co. Kg System and method for operating a system
CN106791477B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、成像装置及制造方法
CN109462728B (zh) * 2017-09-06 2020-01-14 浙江宇视科技有限公司 码率控制方法、装置、图像采集设备及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP3946866B2 (ja) * 1997-07-31 2007-07-18 富士フイルム株式会社 画像信号処理装置及びプログラムを記録した媒体
JP4320807B2 (ja) * 1997-11-28 2009-08-26 ソニー株式会社 カメラ信号処理装置及びカメラ信号処理方法
JP4118397B2 (ja) * 1998-07-01 2008-07-16 イーストマン コダック カンパニー 固体カラー撮像デバイスのノイズ除去方法
JP2002314999A (ja) * 2001-04-12 2002-10-25 Nikon Corp 画像圧縮装置、画像圧縮プログラムおよび電子カメラ
JP4325777B2 (ja) * 2001-05-29 2009-09-02 株式会社リコー 映像信号処理方法および映像信号処理装置
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
JP3893099B2 (ja) * 2002-10-03 2007-03-14 オリンパス株式会社 撮像システムおよび撮像プログラム
JP4104495B2 (ja) * 2003-06-18 2008-06-18 シャープ株式会社 データ処理装置、画像処理装置およびカメラ

Also Published As

Publication number Publication date
JPWO2005081543A1 (ja) 2007-10-25
US20070013794A1 (en) 2007-01-18
WO2005081543A1 (ja) 2005-09-01
EP1718081A1 (en) 2006-11-02

Similar Documents

Publication Publication Date Title
JP3899118B2 (ja) 撮像システム、画像処理プログラム
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
JP3934597B2 (ja) 撮像システムおよび画像処理プログラム
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP4547223B2 (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP3934506B2 (ja) 撮像システムおよび画像処理プログラム
JP4427001B2 (ja) 画像処理装置、画像処理プログラム
JP4660342B2 (ja) 画像処理システム、画像処理プログラム
WO2006004151A1 (ja) 信号処理システム及び信号処理プログラム
JP5165300B2 (ja) 映像処理装置および映像処理プログラム
WO2007049418A1 (ja) 画像処理システム、画像処理プログラム
US7916187B2 (en) Image processing apparatus, image processing method, and program
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
WO2005099356A2 (ja) 撮像装置
US8351695B2 (en) Image processing apparatus, image processing program, and image processing method
JP4225795B2 (ja) 撮像システム、画像処理プログラム
JP2009100207A (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム
JP2008271101A (ja) 映像処理装置及び映像処理プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061222

R151 Written notification of patent or utility model registration

Ref document number: 3899118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110105

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120105

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130105

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140105

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees