JP2006023959A - 信号処理システム及び信号処理プログラム - Google Patents

信号処理システム及び信号処理プログラム Download PDF

Info

Publication number
JP2006023959A
JP2006023959A JP2004201091A JP2004201091A JP2006023959A JP 2006023959 A JP2006023959 A JP 2006023959A JP 2004201091 A JP2004201091 A JP 2004201091A JP 2004201091 A JP2004201091 A JP 2004201091A JP 2006023959 A JP2006023959 A JP 2006023959A
Authority
JP
Japan
Prior art keywords
noise
signal
luminance
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004201091A
Other languages
English (en)
Other versions
JP2006023959A5 (ja
Inventor
Takeo Tsuruoka
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004201091A priority Critical patent/JP2006023959A/ja
Priority to PCT/JP2005/012478 priority patent/WO2006004151A1/ja
Priority to EP05757820A priority patent/EP1764738A1/en
Publication of JP2006023959A publication Critical patent/JP2006023959A/ja
Priority to US11/649,924 priority patent/US20070132864A1/en
Publication of JP2006023959A5 publication Critical patent/JP2006023959A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Input (AREA)

Abstract

【課題】信号レベルのみならず撮影時の温度，ゲインなどの動的に変化する要因に対応した色信号及び輝度信号のノイズ量をモデル化し、撮影状況に最適化したノイズ低減処理を可能とし、また輝度ノイズと色ノイズに対するノイズ低減処理を高精度に低減し、高品位な信号を生成可能にすること。
【解決手段】色フィルタを前面に配置した撮像素子103からの信号に対しノイズ低減処理を行う信号処理システムであって、抽出部112にてノイズ低減処理を行う注目領域及び注目領域近傍にある少なくとも１つ以上の近傍領域から成る局所領域を抽出し、Y/C分離部113にて信号を輝度信号および色差信号に分離し、選択部114にて注目領域に類似する近傍領域を選択し、ノイズ推定部115にて注目領域及び選択された近傍領域からノイズ量を推定し、ノイズ低減部116にて注目領域のノイズを低減する。
【選択図】 図１

Description

本発明は、撮像素子系に起因する色信号および輝度信号のランダムノイズの低減処理に係わり、ノイズの発生量を動的に推定することで撮影条件に影響されずにノイズ成分のみを高精度に低減する信号処理システム及び信号処理プログラムに関する。
撮像素子とそれに付随するアナログ回路およびA/Dコンバータから得られるデジタル化された信号中に含まれるノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。ランダムノイズに関しては、例えば特許文献１に示されるように、輝度ノイズ量を信号レベルに対して関数化し、この関数から信号レベルに対する輝度ノイズ量を推定し、輝度ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、信号レベルに対して適用的なノイズ低減処理が行われることになる。
また、特許文献２では、入力信号を輝度と色差信号に分離し、輝度信号および色差信号からエッジ強度を求め、エッジ部以外の領域において色差信号に平滑化処理を行う手法が開示されている。これにより、平坦部における色ノイズの低減処理が行われることになる。
特開２００１−１５７０５７号公報 特開２００１−１７５８４３号公報
特許文献１では、輝度ノイズ量をN、濃度値に変換した信号レベルをDとした場合にN=abcDで関数化していた。ここで、a，b，cは定数項であり、静的に与えられる。しかしながら、輝度ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化する。すなわち、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣るという課題がある。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理する。このため、信号レベルからノイズ量が大と推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズを区別した処理に対応することができず、原信号の保存性が悪いという課題がある。さらに、各色信号間に発生する色ノイズに関しては対応できない課題がある。
また、特許文献２では、エッジ部以外の平坦な領域で色差信号に平滑化処理を行っているが、上記平滑化処理は固定的に行われている。しかしながら、色ノイズ量は信号レベルにより異なるため、平滑化処理を最適に制御することはできない。このため、色ノイズ成分の残存や原信号の劣化などが発生することになる。
本発明は上記問題点に着目し、信号レベルのみならず撮影時の温度，ゲインなどの動的に変化する要因に対応した色信号および輝度信号のノイズ量のモデル化を行い、これにより撮影状況に最適化されたノイズ低減処理を可能とする信号処理システム及び信号処理プログラムを提供することを目的とする。また、ノイズ低減処理を、輝度ノイズと色ノイズに対して独立に行うことで、両者のノイズを高精度に低減し、高品位な信号を生成する信号処理システム及び信号処理プログラムを提供することを目的とする。
以下に、（請求項1〜23）の発明による信号処理システムについて、その構成、対応する実施例、適用例、作用及び効果を述べる。
（請求項１）
請求項１の発明による信号処理システムは、色フィルタを前面に配置した撮像素子からの信号に対しノイズ低減処理を行う信号処理システムにおいて、上記信号からノイズ低減処理を行う注目領域および注目領域近傍にある少なくとも１つ以上の近傍領域から成る局所領域を抽出する抽出手段と、上記注目領域および上記近傍領域ごとに輝度信号および色差信号を算出する分離手段と、上記注目領域と類似する上記近傍領域を選択する選択手段と、上記注目領域および上記選択手段で選択された近傍領域からノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき上記注目領域のノイズを低減するノイズ低減手段と、を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および図10〜図15に示される実施例２が対応する。請求項中の抽出手段は図１，図８，図10に示される抽出部112が、請求項中の分離手段は図１，図８，図10に示されるY/C分離部113が、請求項中の選択手段は図１，図３，図８，図10，図12，図13に示される選択部114が、請求項中のノイズ推定手段は図１，図５，図８，図10，図14に示されるノイズ推定部115が、請求項中のノイズ低減手段は図１，図７，図８，図10に示されるノイズ低減部116が該当する。
この発明の好ましい適用例は、抽出部112にてノイズ低減処理を行う注目領域および注目領域近傍にある少なくとも１つ以上の近傍領域から成る局所領域を抽出し、Y/C分離部113にて信号を輝度信号および色差信号に分離し、選択部114にて注目領域に類似する近傍領域を選択し、ノイズ推定部115にて注目領域および選択された近傍領域からノイズ量を推定し、ノイズ低減部116にて注目領域のノイズを低減する信号処理システムである。
この発明によれば、ノイズ低減処理を行う注目領域と類似する近傍領域を選択し、注目領域および選択された近傍領域ごとにノイズ量を推定し、推定されたノイズ量に応じたノイズ低減処理を行うので、高精度なノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。
（請求項２）
請求項１の発明における撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（以下、Bayerと記す）型原色フィルタを前面に配置した単板撮像素子、またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子である。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。
この発明の好ましい適用例は、図２(a)に示されるBayer型原色フィルタ、または図11(a)に示される色差線順次型補色フィルタを撮像素子前面に配置した信号処理システムである。
この発明によれば、Bayer型または色差線順次型の色フィルタ配置にあわせてノイズ低減処理を行うため、高速な処理が可能となる。
（請求項３）
請求項１の発明における注目領域および近傍領域は、上記輝度信号および上記色差信号を算出するに必要となる色フィルタの組を少なくとも１組以上含む領域、である。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。
この発明の好ましい適用例は、図２(a)，(c)，(d)および図11(a)に示される注目領域および近傍領域を用いた信号処理システムである。
この発明によれば、ノイズ低減処理を行う注目領域とノイズ量を推定する近傍領域の各々で輝度信号と色差信号を算出可能とするので、より広い範囲を用いてのノイズ量推定が可能となり、推定の精度を向上することができる。
（請求項４）
請求項１の発明における選択手段は、上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記輝度信号および上記色相信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の色相算出手段は図３，図12，図13に示される色相算出部203が、請求項中の類似度判断手段は図３，図12，図13に示される類似度判断部206が、請求項中の近傍領域選択手段は図３，図12，図13に示される近傍領域選択部207が該当する。
この発明の好ましい適用例は、色相算出部203にて注目領域および近傍領域の色相信号を算出、類似度判断部206にて輝度信号および色相信号の少なくとも１つに基づき注目領域と近傍領域の類似度を判断し、近傍領域選択部207にて注目領域に類似する近傍領域を抽出する信号処理システムである。
この発明によれば、輝度信号および色相信号の少なくとも１つに基づき注目領域に類似する近傍領域を抽出するので、均質な領域からのノイズ量推定が可能となり、推定の精度が向上する。また、輝度信号および色相信号の算出は容易であり、高速かつ低コストなシステムが提供可能となる。
（請求項５）
請求項１の発明における選択手段は、上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記注目領域および上記近傍領域ごとにエッジ信号を算出するエッジ算出手段と、上記輝度信号および上記色相信号および上記エッジ信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、を有する。
この発明に対応する実施例は、第10〜図15に示される実施例２が対応する。請求項中の色相算出手段は図12に示される色相算出部203が、請求項中のエッジ算出手段は図12に示されるエッジ算出部600が、請求項中の類似度判断手段は図12に示される類似度判断部206が、請求項中の近傍領域選択手段は図12に示される近傍領域選択部207が該当する。
この発明の好ましい適用例は、色相算出部203にて注目領域および近傍領域の色相信号を算出し、エッジ算出部600にてエッジ信号を算出し、類似度判断部206にて輝度信号および色相信号およびエッジ信号の少なくとも１つに基づき注目領域と近傍領域の類似度を判断し、近傍領域選択部207にて注目領域に類似する近傍領域を抽出する信号処理システムである。
この発明によれば、輝度信号および色相信号およびエッジ信号の少なくとも１つに基づき注目領域に類似する近傍領域を抽出するので、均質な領域からのノイズ量推定が可能となり、推定の精度が向上する。また、輝度信号および色相信号およびエッジ信号の算出は容易であり、高速かつ低コストなシステムが提供可能となる。
（請求項６）
請求項１の発明における選択手段は、上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、上記注目領域および上記近傍領域ごとに周波数信号を算出する周波数算出手段と、上記輝度信号および上記色相信号および上記周波数信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、を有する。
この発明に対応する実施例は、第10〜図15に示される実施例２が対応する。請求項中の色相算出手段は図13に示される色相算出部203が、請求項中の周波数算出手段は図13に示されるDCT変換部700が、請求項中の類似度判断手段は図13に示される類似度判断部206が、請求項中の近傍領域選択手段は図13に示される近傍領域選択部207が該当する。
この発明の好ましい適用例は、色相算出部203にて注目領域および近傍領域の色相信号を算出し、DCT変換部700にて周波数信号を算出し、類似度判断部206にて輝度信号および色相信号および周波数信号の少なくとも１つに基づき注目領域と近傍領域の類似度を判断し、近傍領域選択部207にて注目領域に類似する近傍領域を抽出する信号処理システムである。
この発明によれば、輝度信号および色相信号および周波数信号の少なくとも１つに基づき注目領域に類似する近傍領域を抽出するので、均質な領域からのノイズ量推定が可能となり、推定の精度が向上する。また、周波数信号に基づく選択は、類似性の検証をより高精度化できる。
（請求項７）
請求項１の発明における選択手段は、上記ノイズ推定手段と上記ノイズ低減手段で使用する上記近傍領域を異なるよう制御する制御手段を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の制御手段は図１，図８，図10に示される制御部119が該当する。
この発明の好ましい適用例は、抽出部112および選択部114にて得られた注目領域および近傍領域に関して、制御部119にてノイズ推定部115とノイズ低減部116にて使用される近傍領域が異なるよう制御する信号処理システムである。
この発明によれば、ノイズ推定手段で使用する近傍領域は少なく、ノイズ低減手段で使用する近傍領域は多くなるよう制御するので、ノイズ推定処理では狭い領域から推定を行うことで精度を高め、ノイズ低減処理では広い領域から低減することで効果を向上させる。各々の処理に適した領域サイズの設定が可能となり、より高品位な信号が得られる。
（請求項８）
請求項４，５又は６の発明における選択手段は、上記注目領域および上記近傍領域の信号から所定の微小変動を除去するための除去手段を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の除去手段は図３，図12，図13に示される微小変動除去部200が該当する。
この発明の好ましい適用例は、微小変動除去部200にて注目領域および近傍領域の微小変動を除去する信号処理システムである。
この発明によれば、信号の微小変動を除去した後に、色相信号を求めるので、色相信号の安定性が向上し、より高精度な近傍領域の抽出が可能となる。
（請求項９）
請求項４，５又は６の発明における選択手段は、上記類似度に基づき上記近傍領域に対する重み係数を算出する係数算出手段を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の係数算出手段は図３，図12，図13に示される係数算出部208が該当する。
この発明の好ましい適用例は、係数算出部208にて注目領域および近傍領域の類似度に基づき重み係数を算出する信号処理システムである。
この発明によれば、近傍領域の類似度に基づき重み係数を算出するので、注目領域との類似性をより多段階に活用でき、高精度なノイズ量の推定が可能となる。
（請求項１０）
請求項１の発明におけるノイズ推定手段は、上記注目領域および上記選択手段で選択された近傍領域から色ノイズ量を推定する色ノイズ推定手段または上記注目領域および上記選択手段で選択された近傍領域から輝度ノイズ量を推定する輝度ノイズ推定手段の少なくとも一つを有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の色ノイズ推定手段は図１，図５，図８，図10，図14に示されるノイズ推定部115が、請求項中の輝度ノイズ推定手段は図１，図５，図８，図10，図14に示されるノイズ推定部115が該当する。
この発明の好ましい適用例は、ノイズ推定部115にて色ノイズ量または輝度ノイズ量の少なくとも１つを推定する信号処理システムである。
この発明によれば、色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。
（請求項１１）
請求項10の発明における色ノイズ推定手段は、上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記注目領域および上記選択手段で選択された近傍領域から平均色差値を算出する平均色差算出手段と、上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出手段と、を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の収集手段は図１，図10に示される温度センサー121，制御部119および図５，図14に示されるゲイン算出部302が、請求項中の付与手段は図５，図14に示される標準値付与部303が、請求項中の平均色差算出手段は図５，図14に示される平均算出部301が、請求項中の色ノイズ量算出手段は図５に示されるパラメータ用ROM304，パラメータ選択部305，補間部306，補正部307および図14に示されるルックアップテーブル部800が該当する。
この発明の好ましい適用例は、温度センサー121，制御部119およびゲイン算出部302にてノイズ量推定に用いる情報を収集し、標準値付与部303にて温度センサー121，制御部119およびゲイン算出部302からの情報が得られない場合に標準値を設定し、平均算出部301にて注目領域および近傍領域から平均色差値を算出し、パラメータ用ROM304，パラメータ選択部305，補間部306，補正部307またはルックアップテーブル部800にて色ノイズ量を求める信号処理システムである。
この発明によれば、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定し、これらの情報から色ノイズ量を算出するので、撮影ごとに異なる条件に動的に適応し、高精度な色ノイズ量の推定が可能となる。また、必要となる情報が得られない場合でも色ノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。
（請求項１２）
請求項10の発明における輝度ノイズ推定手段は、上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、上記収集手段で得られない情報に関して標準値を付与する付与手段と、上記注目領域および上記選択手段で選択された近傍領域から平均輝度値を算出する平均輝度算出手段と、上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出手段と、を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の収集手段は図１，図10に示される温度センサー121，制御部119および図５，図14に示されるゲイン算出部302が、請求項中の付与手段は図５，図14に示される標準値付与部303が、請求項中の平均輝度算出手段は図５，図14に示される平均算出部301が、請求項中の輝度ノイズ量算出手段は図５に示されるパラメータ用ROM304，パラメータ選択部305，補間部306，補正部307および図14に示されるルックアップテーブル部800が該当する。
この発明の好ましい適用例は、温度センサー121，制御部119およびゲイン算出部302にてノイズ量推定に用いる情報を収集し、標準値付与部303にて温度センサー121，制御部119およびゲイン算出部302からの情報が得られない場合に標準値を設定し、平均算出部301にて注目領域および近傍領域から平均輝度値を算出し、パラメータ用ROM304，パラメータ選択部305，補間部306，補正部307またはルックアップテーブル部800にて輝度ノイズ量を求める信号処理システムである。
この発明によれば、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定し、これらの情報から輝度ノイズ量を算出するので、撮影ごとに異なる条件に動的に適応し、高精度な輝度ノイズ量の推定が可能となる。また、必要となる情報が得られない場合でも輝度ノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。
（請求項１３）
請求項11又は12の発明における収集手段は、上記記撮像素子の温度値を測定する温度センサーを有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の温度センサーは図１，図10に示される温度センサー121が該当する。
この発明の好ましい適用例は、温度センサー121からCCD103の温度をリアルタイムで測定する信号処理システムである。
この発明によれば、撮影時の撮像素子の温度を計測して、ノイズ量推定の情報とするので、撮影時の温度変化に動的に適応し、高精度なノイズ量の推定が可能となる。
（請求項１４）
請求項11又は12の発明における収集手段は、ISO感度，露出情報，ホワイトバランス情報の少なくとも１つ以上の情報に基づき上記ゲイン値を求めるゲイン算出手段を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中のゲイン算出手段は図５，図14に示されるゲイン算出部302，制御部119が該当する。
この発明の好ましい適用例は、制御部119にてISO感度，露出情報，ホワイトバランス情報などを転送し、ゲイン算出部302にて撮影時のトータルのゲイン量を求める信号処理システムである。
この発明によれば、ISO感度，露出情報，ホワイトバランス情報から撮影時のゲイン量を求め、ノイズ量推定の情報とするので、撮影時のゲイン変化に動的に適応し、高精度なノイズ量の推定が可能となる。
（請求項１５）
請求項11の発明における色ノイズ量算出手段は、所定の色相に対応する基準色ノイズモデルおよび補正係数からなるパラメータ群を少なくとも１組以上記録する記録手段と、上記収集手段または上記付与手段からの情報および上記平均色差値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記平均色差値および上記パラメータ選択手段により選択されたパラメータ群中の基準色ノイズモデルに基づき補間演算により基準色ノイズ量を求める補間手段と、上記基準色ノイズ量を上記パラメータ選択手段により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める補正手段と、を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１が対応する。請求項中の記録手段は図５に示されるパラメータ用ROM304が、請求項中のパラメータ選択手段は図５に示されるパラメータ選択部305が、請求項中の補間手段は図５に示される補間部306が、請求項中の補正手段は図５に示される補正部307が該当する。
この発明の好ましい適用例は、パラメータ用ROM304に予め測定しておいたノイズ量推定のための使用される基準色ノイズモデルの係数と補正係数を記録し、パラメータ選択部305にて基準色ノイズモデルの係数と補正係数を選択し、補間部306にて基準色ノイズモデルに基づき基準色ノイズ量を補間処理にて算出し、補正部307にて補正係数に基づき補正することで色ノイズ量を求める信号処理システムである。
この発明によれば、基準色ノイズモデルに基づき補間および補正処理を行うことで色ノイズ量を求めるので、高精度なノイズ量の推定が可能となる。また、補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。
（請求項１６）
請求項15の発明における基準色ノイズモデルは、色差値に対する色ノイズ量から成る複数の座標点データから構成される。
この発明に対応する実施例は、図１〜図９に示される実施例１が対応する。
この発明の好ましい適用例は、図６(b)に示される複数の座標点データからなる基準色ノイズモデルを用いる信号処理システムである。
この発明によれば、基準色ノイズモデルを複数の座標点データで構成するので、モデルに必要となるメモリ量が少なく、低コスト化が可能となる。
（請求項１７）
請求項11の発明における色ノイズ量算出手段は、上記収集手段または上記付与手段からの情報および上記平均色差値を入力とし色ノイズ量を求めるルックアップテーブル手段を有する。
この発明に対応する実施例は、第10〜図15に示される実施例２が対応する。請求項中のルックアップテーブル手段は図14に示されるルックアップテーブル部800が該当する。
この発明の好ましい適用例は、ルックアップテーブル部800にて色ノイズ量を求める信号処理システムである。
この発明によれば、ルックアップテーブルから色ノイズ量を算出するので、高速な処理が可能となる。
（請求項１８）
請求項12における輝度ノイズ量算出手段は、基準輝度ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記平均輝度値および上記パラメータ選択手段により選択されたパラメータ群中の基準輝度ノイズモデルに基づき補間演算により基準輝度ノイズ量を求める補間手段と、上記基準輝度ノイズ量を上記パラメータ選択手段により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める補正手段と、を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１が対応する。請求項中の記録手段は図５に示されるパラメータ用ROM304が、請求項中のパラメータ選択手段は図５に示されるパラメータ選択部305が、請求項中の補間手段は図５に示される補間部306が、請求項中の補正手段は図５に示される補正部307が該当する。
この発明の好ましい適用例は、パラメータ用ROM304に予め測定しておいたノイズ量推定のための使用される基準輝度ノイズモデルの係数と補正係数を記録し、パラメータ選択部305にて基準輝度ノイズモデルの係数と補正係数を選択し、補間部306にて基準輝度ノイズモデルに基づき基準輝度ノイズ量を補間処理にて算出し、補正部307にて補正係数に基づき補正することで輝度ノイズ量を求める信号処理システムである。
この発明によれば、基準輝度ノイズモデルに基づき補間および補正処理を行うことで輝度ノイズ量を求めるので、高精度なノイズ量の推定が可能となる。また、補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。
（請求項１９）
請求項18の発明における基準輝度ノイズモデルは、輝度値に対する輝度ノイズ量から成る複数の座標点データから構成される。
この発明に対応する実施例は、図１〜図９に示される実施例１が対応する。
この発明の好ましい適用例は、図６(b)に示される複数の座標点データからなる基準輝度ノイズモデルを用いる信号処理システムである。
この発明によれば、基準輝度ノイズモデルを複数の座標点データで構成するので、モデルに必要となるメモリ量が少なく、低コスト化が可能となる。
（請求項２０）
請求項12の発明における輝度ノイズ量算出手段は、上記収集手段または上記付与手段からの情報および上記平均輝度値を入力とし輝度ノイズ量を求めるルックアップテーブル手段を有する。
この発明に対応する実施例は、第10〜図15に示される実施例２が対応する。請求項中のルックアップテーブル手段は図14に示されるルックアップテーブル部800が該当する。
この発明の好ましい適用例は、ルックアップテーブル部800にて輝度ノイズ量を求める信号処理システムである。
この発明によれば、ルックアップテーブルから輝度ノイズ量を算出するので、高速な処理が可能となる。
（請求項２１）
請求項１の発明におけるノイズ低減手段は、上記ノイズ量に基づき上記注目領域から色ノイズを低減する色ノイズ低減手段または上記ノイズ量に基づき上記注目領域から輝度ノイズを低減する輝度ノイズ低減手段の少なくとも一つを有する。
この発明に対応する実施例は、図１〜図９に示される実施例１および第10〜図15に示される実施例２が対応する。請求項中の色ノイズ低減手段は図１，図７，図８，図10に示されるノイズ低減部116が、請求項中の輝度ノイズ低減手段は図１，図７，図８，図10に示されるノイズ低減部116が該当する。
この発明の好ましい適用例は、ノイズ低減部116にて色ノイズまたは輝度ノイズの少なくとも１つを低減する信号処理システムである。
この発明によれば、色ノイズ量と輝度ノイズ量を独立に低減することで、各々の低減精度を向上できる。
（請求項２２）
請求項21の発明における色ノイズ低減手段は、上記ノイズ推定手段からのノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、上記注目領域の色差信号に関してノイズ範囲に属する場合に平滑化を行う第１のスムージング手段と、上記注目領域の色差信号に関してノイズ範囲に属さない場合に補正を行う第２のスムージング手段と、を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１が対応する。請求項中の設定手段は図７に示される範囲設定部400が、請求項中の第１のスムージング手段は図７に示される第１スムージング部402が、請求項中の第２のスムージング手段は図７に示される第２スムージング部403が該当する。
この発明の好ましい適用例は、第１スムージング部402にてノイズ範囲に属すると判断された注目領域の色差信号に平滑化を行い、第２スムージング部403にてノイズ範囲に属さないと判断された注目領域の色差信号に補正を行う信号処理システムである。
この発明によれば、ノイズ範囲に属すると判断された注目領域の色差信号には平滑化処理を、属さないと判断された注目領域の色差信号には補正処理を行うので、色ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号が得られる。
（請求項２３）
請求項21の発明における輝度ノイズ低減手段は、上記ノイズ推定手段からの輝度ノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、上記注目領域の輝度信号に関してノイズ範囲に属する場合に平滑化を行う第１のスムージング手段と、上記注目領域の輝度信号に関してノイズ範囲に属さない場合に補正を行う第２のスムージング手段と、を有する。
この発明に対応する実施例は、図１〜図９に示される実施例１が対応する。請求項中の設定手段は図７に示される範囲設定部400が、請求項中の第１のスムージング手段は図７に示される第１スムージング部402が、請求項中の第２のスムージング手段は図７に示される第２スムージング部403が該当する。
この発明の好ましい適用例は、第１スムージング部402にてノイズ範囲に属すると判断された注目領域の輝度信号に平滑化を行い、第２スムージング部403にてノイズ範囲に属さないと判断された注目領域の輝度信号に補正を行う信号処理システムである。
この発明によれば、ノイズ範囲に属すると判断された注目領域の輝度信号には平滑化処理を、属さないと判断された注目領域の輝度信号には補正処理を行うので、輝度ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号が得られる。
（請求項２４〜３８）の発明による信号処理プログラムは、上記請求項１，４，５，６，７，10，11，12，15，17，18，20，21，22，23の発明による信号処理システムそれぞれに対応しており、これらの各請求項と同様な作用・効果を得ることができる。
本発明によれば、信号レベルのみならず撮影時の温度，ゲインなどの動的に変化する要因に対応した色信号および輝度信号のノイズ量のモデル化を行い、これにより撮影状況に最適化されたノイズ低減処理が可能となる。また、ノイズ低減処理を、輝度ノイズと色ノイズに対して独立に行うことで、両者のノイズを高精度に低減し、高品位な信号を生成することができる。
発明の実施例について図面を参照して説明する。
図１は本発明の実施例１の信号処理システムの構成図を示し、図２はBayer型色フィルタにおける局所領域に関する説明図、図３は図１の選択部の構成図、図４はスペクトル勾配に基づく色相分類に関する説明図、図５は図１のノイズ推定部の構成図、図６はノイズ量の推定に関する説明図、図７は図１のノイズ低減部の構成図、図８は実施例１の別形態の構成図、図９は実施例１におけるノイズ低減処理のフローチャートを示している。
［構成］
図１は、本発明の実施例１の構成図である。レンズ系100，絞り101，ローパスフィルタ102，単板式CCD103を介して撮影された映像は、相関二重サンプリング回路(以下、CDS：Correlated Double Sampling)104にてサンプリングされ、利得制御増幅器（以下、Gainと略記）105にて増幅され、アナログ/デジタル変換器（以下、A/Dと略記）106にてデジタル信号へ変換される。A/D106からの信号は、バッファ107を介して抽出部112へ転送される。バッファ107は、プリホワイトバランス（以下、PreWBと略記）部108，測光評価部109，合焦点検出部110へも接続されている。
PreWB部108はGain105へ、測光評価部109は絞り101，CCD103，Gain105へ、合焦点検出部110はAFモータ111へ接続されている。抽出部112からの信号は、Y/C分離部113および選択部114へ接続されている。Y/C分離部113は選択部114へ、選択部114はノイズ推定部115およびノイズ低減部116へ接続されている。ノイズ低減部116は、信号処理部117を経由してメモリーカードなどの出力部118に接続されている。
マイクロコンピュータなどの制御部119は、CDS104，Gain105，A/D106，PreWB部108，測光評価部109，合焦点検出部110，抽出部112，Y/C分離部113，選択部114，ノイズ推定部115，ノイズ低減部116，信号処理部117，出力部118と双方向に接続されている。また、電源スイッチ，シャッターボタン，撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部120も制御部119に双方向に接続されている。さらに、CCD103の近傍に配置された温度センサー121からの信号は制御部119へ接続されている。
［作用］
図１において、信号の流れを説明する。外部I/F部120を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100，絞り101，ローパスフィルタ102，CCD103を介して撮影された映像信号は、CDS104にて公知の相関二重サンプリングによりアナログ信号として読み出される。なお、本実施例においてCCD103はBayer型原色フィルタを前面に有する単板CCDを想定する。
図２(a)は、Bayer型の色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤(R)，青(B)が１画素ずつ、緑(G)が２画素配置される。上記アナログ信号はGain105にて所定量増幅され、A/D106にてデジタル信号へ変換されてバッファ107へ転送される。なお、本実施例においてA/D106は12bit階調でデジタル信号へ変換するものと想定する。バッファ107内の映像信号は、PreWB部108，測光評価部109および合焦点検出部110へ転送される。
PreWB部108では、映像信号中の所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数をGain105へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。測光評価部109では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるよう絞り101やCCD103の電子シャッター速度やGain105の増幅率などを制御する。また、合焦点検出部110では信号中のエッジ強度を検出し、これが最大となるようにAFモータ111を制御することで合焦信号を得る。
次に、外部I/F部120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ107へ転送される。本撮影は、PreWB部108にて求められたホワイトバランス係数、測光評価部109にて求められた露光条件、合焦点検出部110にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部119へ転送される。バッファ107内の映像信号は抽出部112へ転送される。抽出部112は、制御部119の制御に基づき図２(a)に示されるような注目領域およぶ近傍領域からなる局所領域を順次抽出し、Y/C分離部113および選択部114へ転送する。Y/C分離部113は、制御部119の制御に基づき注目領域およぶ近傍領域から輝度信号Yおよび色差信号Cb，Crを領域単位に算出する。なお、本実施例ではRGB原色系の色フィルタを想定しており、輝度信号および色差信号を(1)式に基づき算出する。
［式１］
Figure 2006023959
なお、(1)式におけるRAV，GAV，BAVは注目領域および近傍領域内におけるR，G，Bの平均値を意味する。算出された輝度信号および色差信号は選択部114へ転送される。選択部114は、制御部119の制御に基づき抽出部112からの局所領域およびY/C分離部113からの輝度信号，色差信号を用いて注目領域と類似する近傍領域を選択する。上記注目領域と選択された近傍領域および対応する輝度信号と色差信号は、ノイズ推定部115およびノイズ低減部116へ転送される。また、選択された近傍領域に関する重み係数も算出され、ノイズ推定部115へ転送される。
ノイズ推定部115は、制御部119の制御に基づき抽出部112からの注目領域，選択された近傍領域，輝度信号，色差信号，重み係数およびその他の撮影時の情報に基づきノイズ量を推定し、これをノイズ低減部116へ転送する。ノイズ低減部116は、制御部119の制御に基づき抽出部112からの注目領域，輝度信号，色差信号、ノイズ推定部115からのノイズ量に基づき注目領域のノイズ低減処理を行い、処理後の注目領域を信号処理部117へ転送する。
上記抽出部112，Y/C分離部113，選択部114，ノイズ推定部115，ノイズ低減部116における処理は、制御部119の制御に基づき局所領域単位で同期して行われる。信号処理部117は、制御部119の制御に基づきノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
図２は、Bayer型色フィルタにおける局所領域に関する説明図である。図２(a)は、本実施例における局所領域の構成を示す。本実施例において、注目領域は2×2画素を、近傍領域は2×2画素で注目領域を包含するように配置された8つを、局所領域は6×6画素サイズを想定する。この場合、抽出部112は注目領域が全信号をカバーするよう、局所領域を2行2列オーバーラップしながら抽出する。
図２(b)は、注目領域および近傍領域単位で(1)式に基づき算出される輝度信号および色差信号を示す。以下、注目領域の輝度信号および色差信号をY0，Cb0，Cr0で、近傍領域の輝度信号および色差信号をYi，Cbi，Cri (i=1〜8)で表す。Y/C分離部113にて行われる処理は単板状態で行われ、注目領域および局所領域に対して一組の輝度信号および色差信号が算出される。注目領域が図２(a)に示されるようにR22，G32，G23，B33画素で構成されるとすると、輝度信号Y0および色差信号Cb0，Cr0は(2)式で算出される。
［式２］
Figure 2006023959
その他、近傍領域も同様にして算出される。なお、局所領域の構成としては、上記例に限定される必要はない。例えば図２(c)は、6×6画素サイズの局所領域の別構成を示すもので、近傍領域が1行1列オーバーラップするよう配置されている。また、図２(d)は10×10画素サイズの局所領域の別構成を示すもので、近傍領域は2×2画素が4つ、3×3画素が4つから成り、局所領域内に疎に配置されている。上記のように、注目領域および近傍領域は輝度信号および色差信号を算出するに要するR，G，Bの組が１組以上あれば任意の形態で構成することができる。
図３は選択部114の構成の一例を示すもので、微小変動除去部200，バッファ１201，勾配算出部202，色相算出部203，色相クラス用ROM204，バッファ２205，類似度判断部206，近傍領域選択部207，係数算出部208からなる。抽出部112は、微小変動除去部200，バッファ１201，勾配算出部202を介して色相算出部203へ接続している。色相クラス用ROM204は、色相算出部203へ接続している。Y/C分離部113は、バッファ２205を介して類似度判断部206および近傍領域選択部207へ接続している。色相算出部203は類似度判断部206へ、類似度判断部206は近傍領域選択部207および係数算出部208へ接続している。近傍領域選択部207は、ノイズ推定部115およびノイズ低減部116へ接続している。係数算出部208は、ノイズ推定部115へ接続している。
制御部119は、微小変動除去部200，勾配算出部202，色相算出部203，類似度判断部206，近傍領域選択部207，係数算出部208と双方向に接続されている。
抽出部112からの局所領域は、制御部119の制御に基づき微小変動除去部200へ転送され、所定の微小変動成分が除去される。これは、映像信号の下位bitを除去することでなされる。例えば本実施例においてA/D106は12bit階調でデジタル化することを想定しているが、下位4bitをシフト処理することで微小変動成分を除去し、8bitの信号に変換してバッファ１201へ転送する。
勾配算出部202，色相算出部203，色相クラス用ROM204は、制御部119の制御に基づきバッファ１201の局所領域に対して、注目領域および近傍領域単位でRGBのスペクトル勾配を求め、これを類似度判断部206へ転送する。
図４は、スペクトル勾配に基づく色相分類に関する説明図である。図４(a)は、入力画像の一例を示すもので、上部のA領域が白で下部のB領域が赤とする。図４(b)は、A領域とB領域において、R，G，B３つのスペクトルに対する信号値(I)をプロットした図である。A領域は白であり、R，G，B３つの波長に対するスペクトル強度の勾配はIR(A)=IG(A)= IB(A)とほぼ等しく、これをクラス０とする。B領域は赤であり、信号値の勾配IR(B)>IG(B)=IB(B)とR信号の強度が大きく、G，Bはほぼ等しくR信号の強度より小さい。これをクラス４とする。R，G，B３つの信号の勾配の組み合わせは12通り存在し、これを表１に示す。即ち、表１はスペクトル勾配に基づく12の色相クラスを示している。
［表１］
Figure 2006023959
図４(c)は、図４(a)の入力画像を図２(a)に示すBayer型単板CCDで撮像し、上記した注目領域および近傍領域を設定したときの画像を示す。注目領域および近傍領域単位でスペクトルの勾配を求めるが、各領域にはG信号が２つ存在する。これは、平均値を求めてG信号とすることで処理する。図４(d)は、注目領域および近傍領域単位で上記のように0〜12までのクラスが割り当てられた状態を示すもので、このクラス分けされた画像が類似度判断部206へ出力される。
勾配算出部202は、注目領域および近傍領域単位でRGB信号の大小関係を求め、これを色相算出部203へ転送する。色相算出部203は、勾配算出部202からのRGB信号の大小関係と色相クラス用ROM204からの色相クラスに関する情報に基づき12の色相クラスを求め、これを類似度判断部206へ転送する。なお、色相クラス用ROM204には表１に示されるスペクトル勾配と12の色相クラスに関する情報が記録されている。
一方、Y/C分離部113からの輝度信号および色差信号はバッファ２205へ保存される。類似度判断部206は、制御部119の制御に基づきバッファ２205から注目領域および近傍領域の輝度信号を読み込む。類似度判断部206は、色相算出部203からの上記色相クラスと輝度信号に基づき注目領域と近傍領域の類似度を判断する。これは、「注目領域と同一の色相クラス」かつ「注目領域の輝度信号Y0±20%の範囲に近傍領域の輝度信号Yiが属する」条件を満たす近傍領域を類似度が高いと判断し、上記判断結果を近傍領域選択部207，係数算出部208へ転送する。
以下、類似度が高いと判断された近傍領域の輝度信号および色差信号をYi’，Cbi’，Cri’ (i’=1〜8のいずれか)で表す。近傍領域選択部207は、制御部119の制御に基づき類似度判断部206から類似度が高いと判断された近傍領域の輝度信号Yi’と色差信号Cbi’，Cri’をバッファ２205から読み出し、ノイズ推定部115へ転送する。また、注目領域の輝度信号Y0と色差信号Cb0，Cr0をバッファ２205から読み出し、ノイズ推定部115およびノイズ低減部116へ転送する。一方、係数算出部208は類似度が高いと判断された近傍領域に関して、重み係数Wi’を算出する。これは、 (3)式に基づき算出される。
［式３］
Figure 2006023959
算出された重み係数Wi’は、ノイズ推定部115へ転送される。
図５はノイズ推定部115の構成の一例を示すもので、バッファ300，平均算出部301，ゲイン算出部302，標準値付与部303，パラメータ用ROM304，パラメータ選択部305，補間部306，補正部307からなる。選択部114は、バッファ300および平均算出部301へ接続している。バッファ300は平均算出部301へ、平均算出部301はパラメータ選択部305へ接続している。
ゲイン算出部302，標準値付与部303，パラメータ用ROM304は、パラメータ選択部305へ接続している。パラメータ選択部305は、補間部306および補正部307へ接続している。補間部306は補正部307へ、補正部307はノイズ低減部116へ接続している。制御部119は、平均算出部301，ゲイン算出部302，標準値付与部303，パラメータ選択部305，補間部306，補正部307へ双方向に接続されている。
選択部114からの注目領域および類似度が高いと判断された近傍領域の輝度信号および色差信号はバッファ300へ保存される。また、類似度が高いと判断された近傍領域に関する重み係数は平均算出部301へ転送される。平均算出部301は、制御部119の制御に基づきバッファ300から輝度信号および色差信号を読み込み、重み係数を用いて局所領域に対する輝度信号および色差信号の平均値AVY，AVCb，AVCrを算出する。
［式４］
Figure 2006023959
上記輝度信号および色差信号の平均値はパラメータ選択部305へ転送される。ゲイン算出部302は、制御部119から転送されるISO感度および露光条件およびホワイトバランス係数に関する情報に基づきGain105における増幅量を求め、パラメータ選択部305へ転送する。また、制御部119は温度センサー121からCCD103の温度情報を得て、これをパラメータ選択部305へ転送する。パラメータ選択部305は、平均算出部301からの輝度信号および色差信号の平均値，ゲイン算出部302からのゲインの情報，制御部119からの温度情報に基づきノイズ量を推定する。
図６は、ノイズ量の推定に関する説明図である。図６(a)は、輝度信号または色差信号の平均値を信号レベルLとした場合のノイズ量Ns (s=Y，Cb，Cr)をプロットしたもので、信号レベルに対して２次曲線的に増加している。これを２次関数でモデル化すると(5)式が得られる。
［式５］
Figure 2006023959
ここで、αs，βs，γsは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、素子の温度やゲインによっても変化する。図６(a)は、一例としてゲインに関連する３種類のISO感度100，200，400に対するノイズ量をプロットしている。個々の曲線は(5)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、
［式６］
Figure 2006023959
となる。ここで、αsgt，βsgt，γsgtは定数項である。 ただし、(6)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図６(b)に示すようなモデルの簡略化を行う。図６(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(Ln， Nn)で表す。ここで、nは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数ksgtも用意される。補正係数ksgtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数ksgtを乗算することで行われる。図６(c)は、図６(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルl、信号がs、ゲインがg、温度がtに対応するノイズ量Nsを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln， Nn)と(Ln+1， Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Nlを線形補間にて求める。
［式７］
Figure 2006023959
次に補正係数ksgtを乗算することで、ノイズ量Nsを求める。
［式８］
Figure 2006023959
上記基準ノイズモデルは、輝度信号に関する基準輝度ノイズモデルと色差信号に関する基準色ノイズモデルに分けられるが、基本的には同一の構成となる。なお、輝度信号Yに関しての基準輝度ノイズモデルと補正係数の組は一つしか存在しないが、色差信号Cb，Crに関しては色相方向により色ノイズ量が異なる。本実施例においては、図６(d)に示されるようにＲ（赤），Ｇ（緑），Ｂ（青），Ｃy（シアン），Ｍg（マゼンタ），Ｙe（イエロー）の６つの色相ごとに基準色ノイズモデルと補正係数の組を用意する。すなわち、色差信号Cb，Crは２種類ではなく、Cb_H，Cr_H（H=R，G，B，Cy，Mg，Ye）の12種類の基準色ノイズモデルと補正係数の組を用意する。上記輝度および色差信号に関する基準ノイズモデルの変曲点の座標データ(Ln， Nn)および補正係数ksgtはパラメータ用ROM304に記録される。パラメータ選択部305は、平均算出部301からの輝度信号および色差信号の平均値AVY，AVCb，AVCrから信号レベルlを、ゲイン算出部302からのゲインの情報からゲインgを、制御部119からの温度情報から温度tを設定する。さらに、色差信号の平均値AVCb，AVCrから(9)式に基づき色相信号Hを求め、上記R，G，B，Cy，Mg，Yeの６つの色相中から色相信号Hと最も近い色相を選択しCb_H，Cr_Hを設定する。
［式９］
Figure 2006023959
次に、信号レベルlが属する区間の座標データ(Ln， Nn) と(Ln+1， Nn+1)をパラメータ用ROM304から探索し、これを補間部306へ転送する。さらに、補正係数ksgtをパラメータ用ROM304から探索し、これを補正部307へ転送する。補間部306は、制御部119の制御に基づきパラメータ選択部305からの信号レベルlおよび区間の座標データ(Ln， Nn) と(Ln+1， Nn+1)から(7)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、補正部307へ転送する。補正部307は、制御部119の制御に基づきパラメータ選択部305からの補正係数ksgtおよび補間部306からの基準ノイズ量Nlから(8)式に基づきノイズ量Nsを算出し、輝度信号および色差信号の平均値AVY，AVCb，AVCrと共にノイズ低減部116へ転送する。なお、温度t，ゲインgなどの情報は撮影ごとに求める必要はない。任意の情報を標準値付与部303に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。また、基準色ノイズモデルとして図６(d)に示めされる６方向の色相を用いたが、これに限定される必要はない。例えば、記憶色として重要な肌色などを用いるなど、自由な構成が可能である。
図７はノイズ低減部116の構成の一例を示すもので、範囲設定部400，切り換え部401，第１スムージング部402，第２スムージング部403からなる。ノイズ推定部115は範囲設定部400へ、範囲設定部400は切り換え部401，第１スムージング部402，第２スムージング部403へ接続している。選択部114は切り換え部401へ、切り換え部401は第１スムージング部402および第２スムージング部403へ接続している。第１スムージング部402および第２スムージング部403は、信号処理部117へ接続している。制御部119は、範囲設定部400，切り換え部401，第１スムージング部402，第２スムージング部403と双方向に接続している。ノイズ推定部115は、輝度信号および色差信号の平均値AVY，AVCb，AVCrおよびノイズ量Nsを範囲設定部400へ転送する。範囲設定部400は、制御部119の制御に基づきに輝度信号および色差信号のノイズ量に関する許容範囲として上限Usおよび下限Dsを(10)式のように設定する。
［式１０］
Figure 2006023959
上記許容範囲Us， Dsは、切り換え部401へ転送される。また、範囲設定部400は輝度信号および色差信号の平均値AVY，AVCb，AVCrおよびノイズ量Nsを第１スムージング部402および第２スムージング部403へ転送する。切り換え部401は、制御部119の制御に基づき選択部114からの注目領域の輝度信号Y0および色差信号Cb0，Cr0を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の三通りである。切り換え部401は、「ノイズ範囲に属している」場合は第１スムージング部402へ、それ以外は第２スムージング部403へ注目領域の輝度信号Y0および色差信号Cb0，Cr0を転送する。第１スムージング部402は、切り換え部401からの注目領域の輝度信号Y0および色差信号Cb0，Cr0に範囲設定部400からの輝度信号および色差信号の平均値AVY，AVCb，AVCrを代入する処理を行う。
［式１１］
Figure 2006023959
注目領域が図２(a)に示されるようにR22，G32，G23，B33画素で構成されるとすると、(11)式での処理は(2)式に基づき(12)式で示されるように変換できる。
［式１２］
Figure 2006023959
(12)式での処理は、輝度信号Y0および色差信号Cb0，Cr0で処理されていた注目領域が本来のRGBの信号へ戻されることも意味している。(12)式でのRGBの信号は信号処理部117へ転送される。第２スムージング部403は、切り換え部401からの注目領域の輝度信号Y0および色差信号Cb0，Cr0に範囲設定部400からの輝度信号の平均値AVYとノイズ量Nsを用いて補正する処理を行う。まず、「ノイズ範囲を上回っている」場合は(13)式のように補正する。
［式１３］
Figure 2006023959
注目領域が図２(a)に示されるようにR22，G32，G23，B33画素で構成されるとすると、(13)式での処理は(14)式で示される。
［式１４］
Figure 2006023959
また、「ノイズ範囲を下回っている」場合は(15)式のように補正する。
［式１５］
Figure 2006023959
注目領域が図２(a)に示されるようにR22，G32，G23，B33画素で構成されるとすると、(15)式での処理は(16)式で示される。
［式１６］
Figure 2006023959
(14)式または(16)式での処理は、輝度信号Y0および色差信号Cb0，Cr0で処理されていた注目領域が本来のRGBの信号へ戻されることも意味している。(14)式または(16)式のRGBの信号は信号処理部117へ転送される。
上記構成により、信号レベル，撮影時の温度，ゲインなどの動的に変化する条件に対応したノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。上記情報が得られない場合でも標準値を用いることでノイズ量の推定を行うため安定したノイズ低減効果が得られる。
さらに、一部のパラメータ算出を意図的に省略することで低コスト，省電力化を可能とする信号処理システムが提供できる。また、ノイズ低減処理を行う注目領域と類似する近傍領域を色相や輝度情報に基づき選択後、これをあわせて処理を行うため、より広い範囲を用いてのノイズ量推定が可能となり、推定の精度を向上することができる。
さらに、色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。ノイズ量の算出にモデルを用いているため、高精度なノイズ量の推定が可能となる。また、基準モデルに基づく補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。
さらに、モデルに必要となるメモリ量は少なく、低コスト化が可能となる。また、ノイズ低減処理はノイズ量から許容範囲を設定するため、原信号の保存性に優れ不連続性の発生を防止した低減処理が可能となる。さらに、ノイズ低減処理後の信号を本来の信号として出力するため、従来の処理系との互換性が維持され、多様なシステムの組み合わせが可能となる。
また、Bayer型の色フィルタ配置にあわせて輝度信号と色差信号を求めるため、高速な処理が可能となる。なお、上記実施例では選択された近傍領域すべてを用いてノイズ量の推定およびノイズ低減処理を行っていたが、このような構成に限定される必要はない。例えば、ノイズ量の推定においては注目領域の斜め方向の近傍領域は除外し、比較的狭い領域で推定を行うことで精度を高め、ノイズ低減処理においては選択された近傍領域すべてを用いる比較的広い領域で行うなど平滑化の能力を高めるなど自由な構成が可能である。
また、上記実施例ではレンズ系100，絞り101，ローパスフィルタ102，CCD103，CDS104， Gain105，A/D106，PreWB部108，測光評価部109，合焦点検出部110，AFモータ111，温度センサー121からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図８に示されるように、別体の撮像部で撮像された映像信号を未処理の生データ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。
図８は、図１に示す構成からレンズ系100，絞り101，ローパスフィルタ102，CCD103，CDS104，Gain105，A/D106，PreWB部108，測光評価部109，合焦点検出部110，AFモータ111，温度センサー121を省略し、入力部500，ヘッダ情報解析部501を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。入力部500は、バッファ107およびヘッダ情報解析部501へ接続している。制御部119は、入力部500，ヘッダ情報解析部501と双方向に接続している。マウス，キーボードなどの外部I/F部120を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部500から読み込まれる。入力部500からの信号はバッファ107へ、ヘッダ情報はヘッダ情報解析部501へ転送される。ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部119へ転送する。以後の処理は、図１と同等である。
さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からの信号を未処理のままの生データとして、制御部119からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図９は、ノイズ低減処理のソフトウェア処理に関するフローを示す。ステップＳ1にて、信号と温度，ゲインなどのヘッダ情報を読み込む。ステップＳ2にて、図２(a)に示されるような注目領域および近傍領域から構成される局所領域を抽出する。ステップＳ3にて、(1)式に示されるように輝度信号および色差信号に分離する。ステップＳ4にて、局所領域内の注目領域および近傍領域を表１に示されるような色相クラスに分類する。ステップＳ5にて、ステップＳ4からの色相クラス情報およびステップＳ3からの輝度情報に基づき、各近傍領域と注目領域との類似度を判断する。ステップＳ6にて、(3)式に示される重み係数を算出する。ステップＳ7にて、ステップＳ5からの類似度に基づき注目領域および類似度が高いと判断された近傍領域の輝度信号および色差信号をステップＳ3から選択する。ステップＳ8にて、(4)式に示される輝度信号および色差信号の平均値を算出する。ステップＳ9にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。ステップＳ10にて、基準ノイズモデルの座標データおよび補正係数を読み込む。ステップＳ11にて、(7)式に示される補間処理にて基準ノイズ量を求める。ステップＳ12にて、(8)式に示される補正処理にてノイズ量を求める。
ステップＳ13にて、注目領域の輝度信号および色差信号が(10)式に示される許容範囲内に属するか否かを判断し、属する場合はステップＳ14へ、属さない場合はステップＳ15へ分岐する。ステップＳ14にて、(12)式に示される処理を行う。ステップＳ15にて、(14)式，(16)式に示される処理を行う。ステップＳ16にて、全局所領域が完了したかを判断し、完了していない場合はステップＳ2へ、完了した場合はステップＳ17へ分岐する。ステップＳ17にて、公知の強調処理や圧縮処理などが行われる。ステップＳ18にて、処理後の信号が出力され終了する。
図10は本発明の実施例２の信号視よりシステムの構成図を示し、図11は色差線順次型色フィルタにおける局所領域に関する説明図、図12は図10の選択部の構成図、図13は別構成の選択部の構成図、図14は図10のノイズ推定部の構成図、図15は実施例２のノイズ低減処理のフローチャートを示している。
［構成］
図10は、本発明の実施例２の構成図である。本実施例は、本発明の実施例１における抽出部112から選択部114への接続が削除された構成になっている。基本構成は実施例１と同等であり、同一の構成には同一の名称と番号を割り当てている。
［作用］
基本的に実施例１と同等であり、異なる部分のみ説明する。図10において、信号の流れを説明する。レンズ系100，絞り101，ローパスフィルタ102，CCD103を介して撮影された映像信号は、バッファ107へ転送される。なお、本実施例においてCCD103は色差線順次型補色フィルタを前面に有する単板CCDを想定する。図12(a)は、色差線順次型の色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(C)，マゼンタ(M)，イエロー(Y)，緑(G)が１画素ずつ配置される。ただし、MとGの位置はラインごとに反転している。バッファ107内の映像信号は抽出部112へ転送される。抽出部112は、制御部119の制御に基づき図11(a)に示されるような4×4画素の注目領域および4×4画素の近傍領域からなる8×8画素の局所領域を順次抽出し、Y/C分離部113および選択部114へ転送する。この場合、抽出部112は注目領域が全信号をカバーするよう、局所領域を2行2列オーバーラップしながら抽出する。Y/C分離部113は、制御部119の制御に基づき注目領域およぶ近傍領域から輝度信号Yおよび色差信号Cb，Crを(17)式に基づき2×2画素単位に算出する
［式１７］
Figure 2006023959
すなわち、輝度信号および色差信号は、4×4画素の注目領域および近傍領域に関して9点ずつ算出されることになる。図11(b)は、注目領域および近傍領域単位で(17)式に基づき算出される輝度信号および色差信号を示す。算出された輝度信号および色差信号は選択部114へ転送される。選択部114は、制御部119の制御に基づきY/C分離部113からの輝度信号および色差信号を用い、注目領域と類似する近傍領域を選択する。上記注目領域と選択された近傍領域および対応する輝度信号と色差信号は、ノイズ推定部115およびノイズ低減部116へ転送される。また、選択された近傍領域に関する重み係数も算出され、ノイズ推定部115へ転送される。
ノイズ推定部115は、制御部119の制御に基づき抽出部112からの注目領域，選択された近傍領域，輝度信号，色差信号，重み係数およびその他の撮影時の情報に基づきノイズ量を推定し、これをノイズ低減部116へ転送する。ノイズ低減部116は、制御部119の制御に基づき抽出部112からの注目領域，輝度信号，色差信号、ノイズ推定部115からのノイズ量に基づき注目領域のノイズ低減処理を行い、処理後の注目領域を信号処理部117へ転送する。
上記抽出部112，Y/C分離部113，選択部114，ノイズ推定部115，ノイズ低減部116における処理は、制御部119の制御に基づき局所領域単位で同期して行われる。信号処理部117は、制御部119の制御に基づきノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
図12は図10の選択部114の構成の一例を示すもので、本発明の実施例１の図３に示される選択部114にエッジ算出部600が追加され、勾配算出部202および色相クラス用ROM204が削除された形態になっている。基本構成は図３に示す選択部114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。Y/C分離部113は、微小変動除去部200へ接続している。微小変動除去部200は、バッファ１201を介して色相算出部203へ接続している。バッファ２205はエッジ算出部600へ、エッジ算出部600は類似度判断部206へ接続している。制御部119は、エッジ算出部600と双方向に接続されている。Y/C分離部113からの注目領域および近傍領域の輝度信号と色差信号は、微小変動除去部200およびバッファ２205へ転送される。微小変動除去部200は、色差信号の下位ビットをシフト処理することで微小変動成分を除去し、バッファ１201へ転送する。色相算出部203は、制御部119の制御に基づきバッファ１201の注目領域および近傍領域の色差信号から(9)式に基づき色相信号Hを求める。注目領域および近傍領域からは、図11(b)に示されるように9点ずつの色相信号が得られるが、これを平均化することで各領域の色相信号とする。算出された色相信号は、類似度判断部206へ転送される。一方、エッジ算出部600は制御部119の制御に基づきバッファ２205から注目領域および近傍領域の輝度信号を読み込む。各領域の輝度信号に対して(18)式に示される3×3のラプラシアンオペレータを適用することでエッジ強度値Eを算出する。
［式１８］
Figure 2006023959
本実施例では、注目領域および近傍領域は図11(b)に示されるように9点ずつの輝度信号を有するため、エッジ強度値は図11(c)に示されるよう各領域に対して１点ずつ算出されることになる。算出されたエッジ強度値は類似度判断部206へ転送される。類似度判断部206は、制御部119の制御に基づきバッファ２205から注目領域および近傍領域の輝度信号を読み込む。類似度判断部206は、色相算出部203からの上記色相信号とエッジ算出部600からの上記エッジ強度値と輝度信号に基づき注目領域と近傍領域の類似度を判断する。これは、「注目領域の色相信号H0±25%の範囲に近傍領域の色相信号Hiが属する」かつ「注目領域のエッジ強度値E0±20%の範囲に近傍領域のエッジ強度値Eiが属する」かつ「注目領域の輝度信号Y0±20%の範囲に近傍領域の輝度信号Yiが属する」条件を満たす近傍領域を類似度が高いと判断し、上記判断結果を近傍領域選択部207，係数算出部208へ転送する。以後の処理は、図３に示す本発明の実施例１と同様である。
なお、上記実施例では注目領域と近傍領域の類似度の判断に、輝度，色相，エッジ強度を用いたが、このような構成に限定される必要はない。例えば、図13に示されるように、周波数情報を用いることも可能である。図13は、図12におけるエッジ算出部600をDCT変換部700へ置換したもので、基本構成は図12に示す選択部114と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。バッファ２205はDCT変換部700へ、DCT変換部700は類似度判断部206へ接続している。制御部119は、DCT変換部700と双方向に接続されている。DCT変換部700は、制御部119の制御に基づきバッファ２205から注目領域および近傍領域の輝度信号を読み込む。各領域の輝度信号に対して公知のDCT変換を行う。変換後の周波数信号は、類似度判断部206へ転送される。類似度判断部206では、類似度判断部206は、色相算出部203からの上記色相信号とDCT変換部700からの上記周波数信号と輝度信号に基づき注目領域と近傍領域の類似度を判断する。
図14は図10のノイズ推定部115の構成の一例を示すもので、本発明の実施例１の図５に示されるノイズ推定部115にルックアップテーブル部800が追加され、パラメータ用ROM304，パラメータ選択部305，補間部306，補正部307が省略された形態になっている。基本構成は図５に示すノイズ推定部115と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。平均算出部301，ゲイン算出部302，標準値付与部303は、ルックアップテーブル部800へ接続している。ルックアップテーブル部800は、ノイズ低減部116へ接続している。制御部119は、ルックアップテーブル部800へ双方向に接続されている。平均算出部301は、制御部119の制御に基づきバッファ300から輝度信号および色差信号を読み込み、重み係数を用いて局所領域に対する輝度信号および色差信号の平均値AVY，AVCb，AVCrを算出する。上記輝度信号および色差信号の平均値はルックアップテーブル部800へ転送される。ゲイン算出部302は、制御部119から転送されるISO感度および露光条件およびホワイトバランス係数に関する情報に基づきGain105における増幅量を求め、ルックアップテーブル部800へ転送する。また、制御部119は温度センサー121からCCD103の温度情報を得て、これをルックアップテーブル部800へ転送する。
ルックアップテーブル部800は、平均算出部301からの輝度信号および色差信号の平均値，ゲイン算出部302からのゲインの情報，制御部119からの温度情報に基づきノイズ量を推定する。ルックアップテーブル部800は、温度，信号値レベル，ゲイン，シャッター速度とノイズ量間の関係を記録したルックアップテーブルで、実施例１と同等の手法により構築される。ルックアップテーブル部800で得られたノイズ量はノイズ低減部116へ転送される。また、標準値付与部303は実施例１と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。
上記構成により、信号レベル，撮影時の温度，ゲインなどの動的に変化する条件に対応したノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。上記情報が得られない場合でも標準値を用いることでノイズ量の推定を行うため安定したノイズ低減効果が得られる。さらに、一部のパラメータ算出を意図的に省略することで低コスト，省電力化を可能とする信号処理システムが提供できる。また、ノイズ低減処理を行う注目領域と類似する近傍領域を色相，輝度，エッジ，周波数情報に基づき選択後、これをあわせて処理を行うため、より広い範囲を用いてのノイズ量推定が可能となり、推定の精度を向上することができる。
さらに、色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。ノイズ量の算出にルックアップテーブルを用いているため、高速なノイズ量の推定が可能となる。また、ノイズ低減処理はノイズ量から許容範囲を設定するため、原信号の保存性に優れ不連続性の発生を防止した低減処理が可能となる。
さらに、ノイズ低減処理後の信号を本来の信号として出力するため、従来の処理系との互換性が維持され、多様なシステムの組み合わせが可能となる。また、色差線順次方式の色フィルタ配置にあわせて輝度信号と色差信号を求めるため、高速な処理が可能となる。なお、上記実施例では補色系の色差線順次方式の単板CCDを例に説明したがこれに限定される必要はない。例えば、実施例１で示した原色Bayer型にも同様に適応可能である。また、二板，三板CCDにも適用可能である。
さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD103からの信号を未処理のままの生データとして、制御部119からの撮影時の温度，ゲイン，シャッター速度などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図15は、ノイズ低減処理のソフトウェア処理に関するフローを示す。なお、図９に示す本発明の実施例１におけるノイズ低減処理のフローと同一な処理ステップに関しては、同一なステップ番号を割り当てている。ステップＳ1にて、信号と温度，ゲインなどのヘッダ情報を読み込む。ステップＳ2にて、図11(a)に示されるような注目領域および近傍領域から構成される局所領域を抽出する。ステップＳ3にて、(17)式に示されるように輝度信号および色差信号に分離する。ステップＳ4にて、局所領域内の注目領域および近傍領域から(9)式に基づき色相信号を算出する。ステップＳ20にて、(18)式に示されるラプラシアンオペレータを適用することでエッジ強度値を算出する。ステップＳ5にて、ステップＳ4からの色相情報およびステップＳ3からの輝度情報およびステップＳ20からのエッジ情報に基づき、各近傍領域と注目領域との類似度を判断する。ステップＳ6にて、(3)式に示される重み係数を算出する。ステップＳ7にて、ステップＳ5からの類似度に基づき注目領域および類似度が高いと判断された近傍領域の輝度信号および色差信号をステップＳ3から選択する。ステップＳ8にて、(4)式に示される輝度信号および色差信号の平均値を算出する。ステップＳ9にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。ステップＳ21にて、ルックアップテーブルを用いてノイズ量を算出する。
ステップＳ13にて、注目領域の輝度信号および色差信号が(10)式に示される許容範囲内に属するか否かを判断し、属する場合はステップＳ14へ、属さない場合はステップＳ15へ分岐する。ステップＳ14にて、(11)式に示される処理を行う。ステップＳ15にて、(13)式，(15)式に示される処理を行う。ステップＳ16にて、全局所領域が完了したかを判断し、完了していない場合はステップＳ2へ、完了した場合はステップＳ17へ分岐する。ステップＳ17にて、公知の強調処理や圧縮処理などが行われる。ステップＳ18にて、処理後の信号が出力され終了する。
本発明は、撮像装置や画像読取装置など、撮像素子系に起因する色信号および輝度信号のランダムノイズの低減を高精度に行うことが必要な装置に広く利用することが可能である。
本発明の実施例１の信号処理システムの構成図。 Bayer型色フィルタにおける局所領域に関する説明図。 図１の選択部の構成図。 スペクトル勾配に基づく色相分類に関する説明図。 図１のノイズ推定部の構成図。 ノイズ量の推定に関する説明図。 図１のノイズ低減部の構成図。 本発明の実施例１の別形態の信号処理システムの構成図。 実施例１におけるノイズ低減処理のフローチャート。 本発明の実施例２の信号処理システムの構成図。 色差線順次型色フィルタにおける局所領域に関する説明図。 図10の選択部の構成図。 実施例２の別構成の選択部の構成図。 図10のノイズ推定部の構成図。 本発明の実施例２のノイズ低減処理のフローチャート。
符号の説明
112…抽出部（抽出手段）
113…Y/C分離部（分離手段）
114…選択部（選択手段）
115…ノイズ推定部（ノイズ推定手段）
116…ノイズ低減部（ノイズ低減手段）
代理人 弁理士 伊 藤 進

Claims (38)

  1. 色フィルタを前面に配置した撮像素子からの信号に対しノイズ低減処理を行う信号処理システムにおいて、
    上記信号からノイズ低減処理を行う注目領域および注目領域近傍にある少なくとも１つ以上の近傍領域から成る局所領域を抽出する抽出手段と、
    上記注目領域および上記近傍領域ごとに輝度信号および色差信号を算出する分離手段と、
    上記注目領域と類似する上記近傍領域を選択する選択手段と、
    上記注目領域および上記選択手段で選択された近傍領域からノイズ量を推定するノイズ推定手段と、
    上記ノイズ量に基づき上記注目領域のノイズを低減するノイズ低減手段と、
    を有することを特徴とする信号処理システム。
  2. 請求項１における撮像素子は、
    Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー型原色フィルタを前面に配置した単板撮像素子、またはＣy（シアン），Ｍg（マゼンタ），Ｙe（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子であることを特徴とする信号処理システム。
  3. 請求項１における注目領域および近傍領域は、
    上記輝度信号および上記色差信号を算出するに必要となる色フィルタの組を少なくとも１組以上含む領域、であることを特徴とする信号処理システム。
  4. 請求項１における選択手段は、
    上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、
    上記輝度信号および上記色相信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、
    上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、
    を更に有することを特徴とする信号処理システム。
  5. 請求項１における選択手段は、
    上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、
    上記注目領域および上記近傍領域ごとにエッジ信号を算出するエッジ算出手段と
    上記輝度信号および上記色相信号および上記エッジ信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、
    上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、
    を更に有することを特徴とする信号処理システム。
  6. 請求項１における選択手段は、
    上記注目領域および上記近傍領域ごとに色相信号を算出する色相算出手段と、
    上記注目領域および上記近傍領域ごとに周波数信号を算出する周波数算出手段と
    上記輝度信号および上記色相信号および上記周波数信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する類似度判断手段と、
    上記類似度に基づき上記近傍領域を選択する近傍領域選択手段と、
    を更に有することを特徴とする信号処理システム。
  7. 請求項１における選択手段は、
    上記ノイズ推定手段と上記ノイズ低減手段で使用する上記近傍領域を異なるよう制御する制御手段を更に有することを特徴とする信号処理システム。
  8. 請求項４，５又は６における選択手段は、
    上記注目領域および上記近傍領域の信号から所定の微小変動を除去するための除去手段を更に有することを特徴とする信号処理システム。
  9. 請求項４，５又は６における選択手段は、
    上記類似度に基づき上記近傍領域に対する重み係数を算出する係数算出手段を更に有することを特徴とする信号処理システム。
  10. 請求項１におけるノイズ推定手段は、
    上記注目領域および上記選択手段で選択された近傍領域から色ノイズ量を推定する色ノイズ推定手段または上記注目領域および上記選択手段で選択された近傍領域から輝度ノイズ量を推定する輝度ノイズ推定手段の少なくとも一つを有することを特徴とする信号処理システム。
  11. 請求項10における色ノイズ推定手段は、
    上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、
    上記収集手段で得られない情報に関して標準値を付与する付与手段と、
    上記注目領域および上記選択手段で選択された近傍領域から平均色差値を算出する平均色差算出手段と、
    上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出手段と、
    を更に有することを特徴とする信号処理システム。
  12. 請求項10における輝度ノイズ推定手段は、
    上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、
    上記収集手段で得られない情報に関して標準値を付与する付与手段と、
    上記注目領域および上記選択手段で選択された近傍領域から平均輝度値を算出する平均輝度算出手段と、
    上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出手段と、
    を更に有することを特徴とする信号処理システム。
  13. 請求項11又は12における収集手段は、
    上記記撮像素子の温度値を測定する温度センサーを更に有することを特徴とする信号処理システム。
  14. 請求項11又は12における収集手段は、
    ISO感度，露出情報，ホワイトバランス情報の少なくとも１つ以上の情報に基づき上記ゲイン値を求めるゲイン算出手段を更に有することを特徴とする信号処理システム。
  15. 請求項11における色ノイズ量算出手段は、
    所定の色相に対応する基準色ノイズモデルおよび補正係数からなるパラメータ群を少なくとも１組以上記録する記録手段と、
    上記収集手段または上記付与手段からの情報および上記平均色差値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
    上記平均色差値および上記パラメータ選択手段により選択されたパラメータ群中の基準色ノイズモデルに基づき補間演算により基準色ノイズ量を求める補間手段と、
    上記基準色ノイズ量を上記パラメータ選択手段により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める補正手段と、
    を更に有することを特徴とする信号処理システム。
  16. 請求項15における基準色ノイズモデルは、
    色差値に対する色ノイズ量から成る複数の座標点データから構成されることを特徴とする信号処理システム。
  17. 請求項11における色ノイズ量算出手段は、
    上記収集手段または上記付与手段からの情報および上記平均色差値を入力とし色ノイズ量を求めるルックアップテーブル手段を更に有することを特徴とする信号処理システム。
  18. 請求項12における輝度ノイズ量算出手段は、
    基準輝度ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、
    上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
    上記平均輝度値および上記パラメータ選択手段により選択されたパラメータ群中の基準輝度ノイズモデルに基づき補間演算により基準輝度ノイズ量を求める補間手段と、
    上記基準輝度ノイズ量を上記パラメータ選択手段により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める補正手段と、
    を更に有することを特徴とする信号処理システム。
  19. 請求項18における基準輝度ノイズモデルは、
    輝度値に対する輝度ノイズ量から成る複数の座標点データから構成されることを特徴とする信号処理システム。
  20. 請求項12における輝度ノイズ量算出手段は、
    上記収集手段または上記付与手段からの情報および上記平均輝度値を入力とし輝度ノイズ量を求めるルックアップテーブル手段を更に有することを特徴とする信号処理システム。
  21. 請求項１におけるノイズ低減手段は、
    上記ノイズ量に基づき上記注目領域から色ノイズを低減する色ノイズ低減手段または上記ノイズ量に基づき上記注目領域から輝度ノイズを低減する輝度ノイズ低減手段の少なくとも一つを有することを特徴とする信号処理システム。
  22. 請求項21における色ノイズ低減手段は、
    上記ノイズ推定手段からのノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、
    上記注目領域の色差信号に関してノイズ範囲に属する場合に平滑化を行う第１のスムージング手段と、
    上記注目領域の色差信号に関してノイズ範囲に属さない場合に補正を行う第２のスムージング手段と、
    を更に有することを特徴とする信号処理システム。
  23. 請求項21における輝度ノイズ低減手段は、
    上記ノイズ推定手段からの輝度ノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、
    上記注目領域の輝度信号に関してノイズ範囲に属する場合に平滑化を行う第１のスムージング手段と、
    上記注目領域の輝度信号に関してノイズ範囲に属さない場合に補正を行う第２のスムージング手段と、
    を更に有することを特徴とする信号処理システム。
  24. コンピュータに、
    色フィルタを前面に配置した撮像素子からの信号からノイズ低減処理を行う注目領域および注目領域近傍にある少なくとも１つ以上の近傍領域から成る局所領域を抽出する処理と、
    上記注目領域および上記近傍領域ごとに輝度信号および色差信号を算出する処理と、
    上記注目領域と類似する上記近傍領域を選択する処理と、
    上記注目領域および上記選択された近傍領域からノイズ量を推定する処理と、
    該ノイズ量に基づき上記注目領域のノイズを低減する処理と、
    を実行させることを特徴とする信号処理プログラム。
  25. 請求項24における選択する処理は、
    上記注目領域および上記近傍領域ごとに色相信号を算出する処理と、
    上記輝度信号および上記色相信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する処理と、
    上記類似度に基づき上記近傍領域を選択する処理と、
    を有することを特徴とする信号処理プログラム。
  26. 請求項24における選択する処理は、
    上記注目領域および上記近傍領域ごとに色相信号を算出する処理と、
    上記注目領域および上記近傍領域ごとにエッジ信号を算出する処理と
    上記輝度信号および上記色相信号および上記エッジ信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する処理と、
    上記類似度に基づき上記近傍領域を選択する処理と、
    を有することを特徴とする信号処理プログラム。
  27. 請求項24における選択する処理は、
    上記注目領域および上記近傍領域ごとに色相信号を算出する処理と、
    上記注目領域および上記近傍領域ごとに周波数信号を算出する処理と
    上記輝度信号および上記色相信号および上記周波数信号の少なくとも１つに基づき上記注目領域と上記近傍領域の類似度を判断する処理と、
    上記類似度に基づき上記近傍領域を選択する処理と、
    を有することを特徴とする信号処理プログラム。
  28. 請求項24における選択する処理は、
    上記ノイズ量を推定する処理と上記ノイズを低減する処理で使用する上記近傍領域を異なるよう制御する処理を有することを特徴とする信号処理プログラム。
  29. 請求項24におけるノイズ量を推定する処理は、
    上記注目領域および上記選択する処理で選択された近傍領域から色ノイズ量を推定する処理または上記注目領域および上記選択する処理で選択された近傍領域から輝度ノイズ量を推定する処理の少なくとも一つを有することを特徴とする信号処理プログラム。
  30. 請求項29における色ノイズ量を推定する処理は、
    上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する処理と、
    上記収集する処理で得られない情報に関して標準値を付与する処理と、
    上記注目領域および上記選択する処理で選択された近傍領域から平均色差値を算出する処理と、
    上記収集する処理または上記付与する処理からの情報および上記平均色差値に基づき色ノイズ量を求める処理と、
    を有することを特徴とする信号処理プログラム。
  31. 請求項29における輝度ノイズ量を推定する処理は、
    上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する処理と、
    上記収集する処理で得られない情報に関して標準値を付与する処理と、
    上記注目領域および上記選択する処理で選択された近傍領域から平均輝度値を算出する処理と、
    上記収集する処理または上記付与する処理からの情報および上記平均輝度値に基づき輝度ノイズ量を求める処理と、
    を有することを特徴とする信号処理プログラム。
  32. 請求項30における色ノイズ量を求める処理は、
    所定の色相に対応する基準色ノイズモデルおよび補正係数からなるパラメータ群を少なくとも１組以上記録する処理と、
    上記収集する処理または上記付与する処理からの情報および上記平均色差値に基づき上記パラメータ群から必要となるパラメータを選択する処理と、
    上記平均色差値および上記パラメータを選択する処理により選択されたパラメータ群中の基準色ノイズモデルに基づき補間演算により基準色ノイズ量を求める処理と、
    上記基準色ノイズ量を上記パラメータを選択する処理により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める処理と、
    を有することを特徴とする信号処理プログラム。
  33. 請求項30における色ノイズ量を求める処理は、
    上記収集する処理または上記付与する処理からの情報および上記平均色差値を入力とし色ノイズ量を求める処理を有することを特徴とする信号処理プログラム。
  34. 請求項31における輝度ノイズ量を求める処理は、
    基準輝度ノイズモデルおよび補正係数からなるパラメータ群を記録する処理と、
    上記収集する処理または上記付与する処理からの情報および上記平均輝度値に基づき上記パラメータ群から必要となるパラメータを選択する処理と、
    上記平均輝度値および上記パラメータを選択する処理により選択されたパラメータ群中の基準輝度ノイズモデルに基づき補間演算により基準輝度ノイズ量を求める処理と、
    上記基準輝度ノイズ量を上記パラメータを選択する処理により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める処理と、
    を有することを特徴とする信号処理プログラム。
  35. 請求項31における輝度ノイズ量を求める処理は、
    上記収集する処理または上記付与する処理からの情報および上記平均輝度値を入力とし輝度ノイズ量を求める処理を有することを特徴とする信号処理プログラム。
  36. 請求項24におけるノイズを低減する処理は、
    上記ノイズ量に基づき上記注目領域から色ノイズを低減する処理または上記ノイズ量に基づき上記注目領域から輝度ノイズを低減する処理の少なくとも一つを有することを特徴とする信号処理プログラム。
  37. 請求項36における色ノイズを低減する処理は、
    上記ノイズ量を推定する処理からのノイズ量に基づき上記注目領域にノイズ範囲を設定する設定手段と、
    上記注目領域の色差信号に関してノイズ範囲に属する場合に平滑化を行う第１の処理と、
    上記注目領域の色差信号に関してノイズ範囲に属さない場合に補正を行う第２の処理と、
    を有することを特徴とする信号処理プログラム。
  38. 請求項36における輝度ノイズを低減する処理は、
    上記ノイズ量を推定する処理からの輝度ノイズ量に基づき上記注目領域にノイズ範囲を設定する処理と、
    上記注目領域の輝度信号に関してノイズ範囲に属する場合に平滑化を行う第１の処理と、
    上記注目領域の輝度信号に関してノイズ範囲に属さない場合に補正を行う第２の処理と、
    を有することを特徴とする信号処理プログラム。
JP2004201091A 2004-07-07 2004-07-07 信号処理システム及び信号処理プログラム Pending JP2006023959A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004201091A JP2006023959A (ja) 2004-07-07 2004-07-07 信号処理システム及び信号処理プログラム
PCT/JP2005/012478 WO2006004151A1 (ja) 2004-07-07 2005-07-06 信号処理システム及び信号処理プログラム
EP05757820A EP1764738A1 (en) 2004-07-07 2005-07-06 Signal processing system and signal processing program
US11/649,924 US20070132864A1 (en) 2004-07-07 2007-01-03 Signal processing system and signal processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004201091A JP2006023959A (ja) 2004-07-07 2004-07-07 信号処理システム及び信号処理プログラム

Publications (2)

Publication Number Publication Date
JP2006023959A true JP2006023959A (ja) 2006-01-26
JP2006023959A5 JP2006023959A5 (ja) 2007-08-16

Family

ID=35782951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004201091A Pending JP2006023959A (ja) 2004-07-07 2004-07-07 信号処理システム及び信号処理プログラム

Country Status (4)

Country Link
US (1) US20070132864A1 (ja)
EP (1) EP1764738A1 (ja)
JP (1) JP2006023959A (ja)
WO (1) WO2006004151A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148576A1 (ja) 2006-06-22 2007-12-27 Olympus Corporation 撮像システム及び撮像プログラム
WO2009014051A1 (ja) * 2007-07-23 2009-01-29 Olympus Corporation 映像処理装置および映像処理プログラム
JP2010147568A (ja) * 2008-12-16 2010-07-01 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム
US8154630B2 (en) 2007-04-13 2012-04-10 Olympus Corporation Image processing apparatus, image processing method, and computer readable storage medium which stores image processing program
US8184181B2 (en) 2006-11-10 2012-05-22 Olympus Corporation Image capturing system and computer readable recording medium for recording image processing program
US8189940B2 (en) 2007-01-10 2012-05-29 Kanagawa University Image processing apparatus, imaging apparatus, and image processing method
JP2017518546A (ja) * 2015-05-15 2017-07-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理方法及び画像処理システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265546B2 (ja) * 2005-01-31 2009-05-20 ソニー株式会社 撮像装置、画像処理装置および画像処理方法
US7583303B2 (en) * 2005-01-31 2009-09-01 Sony Corporation Imaging device element
JP4660342B2 (ja) * 2005-10-12 2011-03-30 オリンパス株式会社 画像処理システム、画像処理プログラム
JP4979595B2 (ja) * 2005-12-28 2012-07-18 オリンパス株式会社 撮像システム、画像処理方法、画像処理プログラム
JP5012315B2 (ja) * 2007-08-20 2012-08-29 セイコーエプソン株式会社 画像処理装置
JP2009188822A (ja) 2008-02-07 2009-08-20 Olympus Corp 画像処理装置及び画像処理プログラム
JP5197423B2 (ja) 2009-02-18 2013-05-15 オリンパス株式会社 画像処理装置
US9204113B1 (en) 2010-06-28 2015-12-01 Ambarella, Inc. Method and/or apparatus for implementing high dynamic range image processing in a video processing system
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
EP3190784A4 (en) * 2015-11-19 2018-04-11 Streamax Technology Co., Ltd. Method and apparatus for switching region of interest
KR20220090920A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 이미지 센서, 이미지 센서의 동작 방법 및 이를 포함하는 이미지 센싱 장치
KR20220145694A (ko) * 2021-04-22 2022-10-31 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157057A (ja) * 1999-11-30 2001-06-08 Konica Corp 画像読取装置
JP2001175843A (ja) * 1999-12-15 2001-06-29 Canon Inc 画像処理方法、装置および記憶媒体
JP2004128985A (ja) * 2002-10-03 2004-04-22 Olympus Corp 撮像システム、再生システム、撮像プログラム、再生プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980326B2 (en) * 1999-12-15 2005-12-27 Canon Kabushiki Kaisha Image processing method and apparatus for color correction of an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157057A (ja) * 1999-11-30 2001-06-08 Konica Corp 画像読取装置
JP2001175843A (ja) * 1999-12-15 2001-06-29 Canon Inc 画像処理方法、装置および記憶媒体
JP2004128985A (ja) * 2002-10-03 2004-04-22 Olympus Corp 撮像システム、再生システム、撮像プログラム、再生プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148576A1 (ja) 2006-06-22 2007-12-27 Olympus Corporation 撮像システム及び撮像プログラム
US8189063B2 (en) 2006-06-22 2012-05-29 Olympus Corporation Image pickup system and image pickup program
US8184181B2 (en) 2006-11-10 2012-05-22 Olympus Corporation Image capturing system and computer readable recording medium for recording image processing program
US8538186B2 (en) 2007-01-10 2013-09-17 Kanagawa University Image processing apparatus, imaging apparatus, and image processing method
US8189940B2 (en) 2007-01-10 2012-05-29 Kanagawa University Image processing apparatus, imaging apparatus, and image processing method
US8154630B2 (en) 2007-04-13 2012-04-10 Olympus Corporation Image processing apparatus, image processing method, and computer readable storage medium which stores image processing program
JP2009027619A (ja) * 2007-07-23 2009-02-05 Olympus Corp 映像処理装置および映像処理プログラム
US8223226B2 (en) 2007-07-23 2012-07-17 Olympus Corporation Image processing apparatus and storage medium storing image processing program
WO2009014051A1 (ja) * 2007-07-23 2009-01-29 Olympus Corporation 映像処理装置および映像処理プログラム
JP2010147568A (ja) * 2008-12-16 2010-07-01 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム
JP2017518546A (ja) * 2015-05-15 2017-07-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理方法及び画像処理システム
US9773297B2 (en) 2015-05-15 2017-09-26 SZ DJI Technology Co., Ltd. System and method for supporting image denoising based on neighborhood block dimensionality reduction
US10026154B2 (en) 2015-05-15 2018-07-17 SZ DJI Technology Co., Ltd. System and method for supporting image denoising based on neighborhood block dimensionality reduction
US10515438B2 (en) 2015-05-15 2019-12-24 SZ DJI Technology Co., Ltd. System and method for supporting image denoising based on neighborhood block dimensionality reduction

Also Published As

Publication number Publication date
EP1764738A1 (en) 2007-03-21
US20070132864A1 (en) 2007-06-14
WO2006004151A1 (ja) 2006-01-12

Similar Documents

Publication Publication Date Title
JP3934597B2 (ja) 撮像システムおよび画像処理プログラム
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP3899118B2 (ja) 撮像システム、画像処理プログラム
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
WO2006004151A1 (ja) 信号処理システム及び信号処理プログラム
JP4547223B2 (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP3934506B2 (ja) 撮像システムおよび画像処理プログラム
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
JP5165300B2 (ja) 映像処理装置および映像処理プログラム
JP4660342B2 (ja) 画像処理システム、画像処理プログラム
WO2005104531A1 (ja) 映像信号処理装置と映像信号処理プログラムおよび映像信号記録媒体
US7916187B2 (en) Image processing apparatus, image processing method, and program
WO2008056565A1 (fr) Système d'analyse d'image et programme de traitement d'image
WO2007049418A1 (ja) 画像処理システム、画像処理プログラム
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
WO2005099356A2 (ja) 撮像装置
JP4916341B2 (ja) 画像処理装置及び画像処理プログラム
JP2004266323A (ja) 撮像システム、画像処理プログラム
JP2009027615A (ja) 映像処理装置および映像処理プログラム
JP2009100207A (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100706