JP2005311455A

JP2005311455A - 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム

Info

Publication number: JP2005311455A
Application number: JP2004121958A
Authority: JP
Inventors: Hiromasa Kinoshita; 弘征木下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-04-16
Filing date: 2004-04-16
Publication date: 2005-11-04
Anticipated expiration: 2024-04-16
Also published as: JP4380399B2

Abstract

【課題】画像の平坦部およびランプ部でも均一にノイズリダクション効果が得られる撮像装置、雑音低減装置等を提供する。
【解決手段】ノイズリダクションを施す対象の注目画素と注目画素の周辺に位置する周辺画素との画素間で平滑化および補間処理を施した後に二次微分を行う。二次微分結果を閾値と比較し、二次微分結果が閾値より大きければ周辺画素はノイズリダクションに使用できないと判別し、閾値以下であればノイズリダクションに使用できると判別する。さらにノイズリダクションに使用できると判別された画素に対して注目画素を中心とした点対称性を考慮する。結果としてノイズリダクションに使用できると判別された画素と、注目画素を加算後に加算数で除算し、計算結果を注目画素の画素レベルに置き換えノイズリダクションが行われる。
【選択図】図１

Description

この発明は、映像信号や画像信号に含まれる雑音（ノイズ）を効果的に除去することができる撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラムに関する。

下記の特許文献１には、ノイズリダクション（雑音低減処理）しようとする注目画素と注目画素周辺の周辺画素とのレベル差分を閾値と比較し、レベル差分が閾値以下なら注目画素との加算平均で注目画素を置き換えるεフィルタリングを利用した非線形平滑化手法によるノイズリダクション装置の発明が記載されている。

特開平６−８６１０４号公報

図９を用いてεフィルタリングを利用したノイズリダクションについて説明する。図９Ａは画像の平坦部における隣接する複数の画素の値を示す。例えば、ノイズリダクションを施す対象である注目画素１０１に対して検波領域を左右３つずつの画素に設定し、平滑化を行うとする。検波領域の画素（画素１０２〜画素１０７）はそれぞれノイズがない場合の画素レベルとの差（レベル差）を有する。このレベル差がノイズとなって表示される。ここで注目画素と検波領域内にある各画素のレベル差分の絶対値が注目画素の値を中心として設定された閾値内であれば、注目画素１０１および検波領域内の画素（画素１０２〜画素１０７）の画素レベルの加算平均を算出してフィルタ処理を行う。なお、ここでは左右方向を例にしているが、検波枠が平面方向領域を成すものであれば上下や斜め方向にも同様である。

εフィルタリングを利用したノイズリダクションでは、注目画素と検波領域内の画素とのレベル差分の絶対値が一定の閾値内にある画素を信号成分に関して相関があるものと判別し、注目画素および注目画素と相関があると判別された画素の画素レベルの加算平均を算出する。また、εフィルタリングを利用したノイズリダクションでは、例えばエッジ部（輪郭部）のように注目画素とのレベル差が大きい画素は用いられない。従って、図９Ａに示すような画像の平坦部では、エッジをなまらせず、また周波数特性の劣化を極力抑えつつノイズリダクションを行うことができる。

しかしながら、上述した従来のノイズリダクションには以下のような問題点があった。図９Ｂは、レベルが面内で徐々に変化していく画像のランプ部における各画素の値を示す。図９Ｂに示すように検波領域内の複数の画素の中で、注目画素とのレベル差分の絶対値が閾値内の画素は、画素２０４および画素２０５である。画像のランプ部で注目画素２０１および閾値が検波領域内にある画素により平滑化を行っても、画像の平坦部に比べ、加算平均を算出するために用いる画素の数が少なくなってしまう。従って、ランプ部におけるノイズリダクションの効果が落ちるという問題があった。

また、平坦部とランプ部が混在する画像においては、平坦部ではノイズリダクションの効果が得られるが、ランプ部では効果が落ちるため、結果的にランプ部のノイズ感を際立たせてしまうという問題があった。

また、従来のノイズリダクションでは、どの周辺画素がノイズリダクションに用いられるかによってはノイズリダクション後に注目画素の重心をずらしてしまい、画像内の直線性を著しく失わせてしまうという問題があった。さらに、注目画素に例えばインパルス状の突出したノイズがのっていた時はノイズリダクション効果が望めないという問題があった。

従って、この発明の目的は、画像のランプ部においても良好なノイズリダクションを行うことができ、また画像の平坦部またはランプ部のいずれであっても均一にノイズリダクションを行うことができる撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラムを提供することにある。この発明の他の目的は、ノイズリダクション後に注目画素重心をずらすことがなく、また突出したノイズに対してもノイズリダクション効果が望める撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラムを提供することにある。

上述した課題を解決するために、請求項１に係る発明は、ノイズリダクションしようとする注目画素と、注目画素の周辺に位置する複数の周辺画素との平均値によってノイズリダクションを行うノイズリダクション装置を備えた撮像装置において、注目画素と複数の周辺画素を取り出す取り出し手段と、注目画素および複数の周辺画素を用いて二次微分を行い、二次微分値を閾値と比較する比較手段と、比較手段による比較の結果、二次微分値が閾値より大きい場合は複数の周辺画素はノイズリダクションに使用できないと判別し、二次微分値が閾値以下の場合は複数の周辺画素はノイズリダクションに使用できると判別する判別手段とを備える撮像装置である。

請求項６に係る発明は、ノイズリダクションしようとする注目画素と、注目画素の周辺に位置する複数の周辺画素との平均値によってノイズリダクションを行うノイズリダクション装置において、注目画素と複数の周辺画素を取り出す取り出し手段と、注目画素および複数の周辺画素を用いて二次微分を行い、二次微分値を閾値と比較する比較手段と、比較手段による比較の結果、二次微分値が閾値より大きい場合は複数の周辺画素はノイズリダクションに使用できないと判別し、二次微分値が閾値以下の場合は複数の周辺画素はノイズリダクションに使用できると判別する判別手段とを備えるノイズリダクション装置である。

請求項１１に係る発明は、ノイズリダクションしようとする注目画素と、注目画素の周辺に位置する複数の周辺画素との平均値によってノイズリダクションを行うノイズリダクション方法において、注目画素と複数の周辺画素を取り出す取り出しステップと、注目画素および複数の周辺画素を用いて二次微分を行い、二次微分値を閾値と比較する比較ステップと、比較ステップによる比較の結果、二次微分値が閾値より大きい場合は複数の周辺画素はノイズリダクションに使用できないと判別し、二次微分値が閾値以下の場合は複数の周辺画素はノイズリダクションに使用できると判別する判別ステップを含むノイズリダクション方法である。

請求項１６に係る発明は、コンピュータに、ノイズリダクションをしようとする注目画素と、注目画素の周辺に位置する複数の周辺画素を取り出す取り出しステップと、注目画素および複数の周辺画素を用いて二次微分を行い、二次微分値を閾値と比較する比較ステップと、比較ステップによる比較の結果、二次微分値が閾値より大きい場合は複数の周辺画素はノイズリダクションに使用できないと判別し、二次微分値が閾値以下の場合は複数の周辺画素はノイズリダクションに使用できると判別する判別ステップを含む処理を実行させるためのプログラムである。

この発明によれば、ノイズリダクションしようとする注目画素に対し、ノイズリダクション効果が得られる。また、従来のレベル差分を閾値と比較して検波する手法と違い、閾値との比較対象を二次微分結果とするため、ランプ部でも充分なノイズリダクションを行うことができ、また平坦部でもランプ部でもノイズリダクション効果にバラツキのないノイズリダクションを実現することができる。

請求項２、請求項７および請求項１２に係る発明によれば、注目画素や注目画素周辺画素にインパルス状のノイズ等が印加されているとしても、検波前に行う平滑化処理によってノイズの影響に左右されにくいノイズリダクションを実現することができる。

請求項４、請求項５、請求項９、請求項１０、請求項１４および請求項１５に係る発明によれば、注目画素を中心とした点対称処理によってノイズリダクション前の注目画素重心と、ノイズリダクション後の注目画素重心が変動しないため、直線性を損なわないノイズリダクションを実現することができる。

以下、図面を参照しながらこの発明の一実施形態について説明する。この一実施形態では、撮像装置をデジタルビデオカメラとして説明するが、デジタルビデオカメラに限定されず他の撮像装置（例えば、デジタルスチルカメラやカムコーダ（camcoder）等）にも適用することができる。

図１はこの発明の一実施形態におけるデジタルビデオカメラの信号処理系１１を示す。信号処理系１１は、撮像素子２１、ディレイライン（ＤＬ（Delay Line））ブロック２２、ノイズリダクション処理ブロック２３およびカメラ信号処理ブロック２４より構成される。

撮像素子２１は例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャなどであり、被写体の画像を光電変換し画像信号を出力する。出力された画像信号はＤＬブロック２２に供給され、ＤＬブロック２２の出力画像信号がノイズリダクション処理ブロック２３に供給される。

ノイズリダクション処理ブロック２３でノイズリダクションが施された画像信号はカメラ信号処理ブロック２４に供給される。カメラ信号処理ブロック２４は、画像出力信号を輝度信号と色差信号に変換し、入力画像がビデオサイズ（水平方向７２０画素×垂直方向４８０ライン）の画素数を超える場合に解像度変換を行い、ビデオサイズの画素情報量を出力する信号処理ブロックである。尚、カメラ信号処理ブロック２４は、デジタルビデオカメラの出力が静止画像であり、その出力先がパーソナルコンピュータ等である場合に対応できるように、解像度変換後の画像サイズを任意のサイズに適応的に変換できる機能を有する。カメラ信号処理ブロック２４からはカメラ信号処理が施された画像信号の輝度信号および色差信号が出力される。

尚、カメラ信号処理ブロック２４は、図２に示すようにノイズリダクション処理ブロック２３の前段に位置するような構成としてもよい。この場合、撮像素子２１により出力される画像信号はＤＬブロック２２を経由してカメラ信号処理ブロック２４に供給される。カメラ信号処理ブロック２４では、ノイズリダクションされていない画像信号にカメラ信号処理を施し、輝度信号および色差信号に変換した画像信号をノイズリダクション処理ブロック２３に供給する。ノイズリダクション処理ブロック２３では、供給された輝度信号および色差信号のそれぞれに対してノイズリダクションの処理が行われる。

ノイズリダクション処理ブロック２３に供給される信号の色情報がｎ種類（ｎ：正の整数）存在し、ｎ種類のうち、ｍ種類（ｍ：正の整数、ｎ≧ｍ）の色に対してノイズリダクションを行う場合、ｍ個のノイズ検出処理が並列に行われる。ここで、ｍ種類の色情報のうち、ｋ種類（ｋ：正の整数、ｍ≧ｋ）の色に関してその空間位相が同じ場所になることが分かっている場合は、空間位相が等しければ画素レベル（色レベル）は類似した変化を示すであろうことによりｍ−ｋ＋１個のノイズ検出処理を並列に行い、処理数を減らして対応することもできる。ここで、ノイズリダクション処理ブロック２３では垂直方向に遅延された任意のライン数の入力を必要とし、この垂直方向の遅延はＤＬブロック２２で処理される。

上記の並列処理は、例えば、第１の色信号、第２の色信号、第３の色信号の３種類の入力があり３種類独立にノイズリダクション処理をしたい場合、ノイズリダクション処理を並列に３つ独立させて行う。また、第１の色信号、第２の色信号、第３の色信号の３種類の入力があり、第１の色信号と第２の色信号の空間位相が重複する場合、ノイズ検出処理を第１の色信号と第３の色信号に行い、第１の色信号の検出結果をもとに第１の色信号と第２の色信号に対してノイズ補正を行い、第３の色信号の検出結果をもとに第３の色信号に対してノイズ補正を行うようにしてもよい。

次に、ノイズリダクション処理ブロック２３の一例について説明する。図１および図２の枠内に示すように、ノイズリダクション処理ブロック２３は、ＬＰＦ（Low Pass Filter）による処理ブロック（ＬＰＦブロック３１）、二次微分処理ブロック３２、画素判別ブロック３３、閾値演算ブロック３４、対称処理ブロック３５、補間画素加算、除算ブロック３６からなる。尚、詳細は後述するが、対称処理ブロック３５における処理は二次微分処理ブロック３２において行うこともできるため、図１および図２では、対称処理ブロック３５を破線で示す。

はじめに、ＬＰＦブロック３１の処理について説明する。図３は、撮像素子２１に設けられたベイヤ方式による色フィルタ配列（ベイヤ配列）のＲＧＢ成分のうち、Ｇ成分を取り出して示すものを例にしたものである。この一実施形態では、検出領域４１を縦方向に５画素、横方向に５画素の領域に設定し、中央の画素Ｇｃをノイズリダクションを施す注目画素とする。検出領域内で、横方向、縦方向、斜め方向（２つの方向）の合計４個の二次微分方向が規定される。また、二次微分は、注目画素を中心とする３タップのハイパスフィルタによって行われる。検出領域は、例えば縦７ライン、横９画素のように任意に設定することもできる。二次微分は、二次微分に直交する方向にＬＰＦを行うことが可能である限り、二次微分の方向を任意に選択可能である。ＬＰＦ処理ブロック３１では、検出領域４１内にある各画素に対して二次微分方向と直交する方向に平滑化および補間の処理が行われる。

図４は、この一実施形態における平滑化の処理を示し、破線は二次微分を行う二次微分方向を示す。平滑化は二次微分方向と直交する方向に行われる。例えば、二次微分方向と直交する画素Ｇ₁₁、画素Ｇ₃₁および画素Ｇ₅₁の配列に平滑化を行う。平滑化は、各画素の画素レベルを加算し、加算数で除算する方法等により行われる。

ＬＰＦブロック３１では平滑化だけではなく補間処理も施される。二次微分方向で画素が存在しない位置で、２画素の加算平均を存在しない画素の値とする補間がなされる。例えば、画素Ｇ₂₂および画素Ｇ₄₂の平均値によって画素Ｇ₃₂を補間する。また、画素Ｇ₂₄および画素Ｇ₄₄の平均値によって画素Ｇ₃₄を補間する。

ＬＰＦブロック３１では、垂直方向および左右斜め方向に関しても同様に二次微分方向と直交する方向に平滑化を行う。さらに、画素Ｇ₁₁、画素Ｇ₁₅、画素Ｇ₅₁、画素Ｇ₅₅のような位置にあり検出領域内の画素のみで平滑化ができない画素に対しては、検出領域外の画素を用いて平滑化を行ったり、平滑化を行わなかったりする事を任意に可能とする。

上述したように、ＬＰＦブロック３１で検出領域内にある各画素に対して平滑化および補間の処理を行うことにより、二次微分値を算出する際に各画素に突出したインパルス状のノイズがのっていた場合でも検波精度の劣化を防ぐことができる。また、二次微分方向とは無相関の方向に平滑化を行うことにより、二次微分処理ブロック３２の結果の信頼性を向上させることができる。

平滑化および補間の処理が行われた後、二次微分処理ブロック３２で二次微分が行われる。図５は二次微分を行う、例えば水平方向の画素の配列を示す。中央の画素Ｇｃは、ノイズリダクションを行う注目画素であり、画素Ｇ₃₁、画素Ｇ₃₂、画素Ｇ₃₄および画素Ｇ₃₅は周辺画素である。画素Ｇ₃₂および画素Ｇ₃₄は上述したように、二次微分方向と直交する方向の画素から補間された画素である。

この一実施形態では、画素Ｇ₃₁がノイズリダクションに使用可能か否かを判別する場合について説明する。はじめに画素Ｇ₃₂、画素Ｇｃ、画素Ｇ₃₄の間で二次微分を行う（処理１）。二次微分を行う際の３タップの係数は、（−１、２、−１）のように固定にすることもできるし、適応的に設定することもできる。

処理１により画素Ｇ₃₂、画素Ｇｃ、画素Ｇ₃₄の間で行った二次微分値は、その絶対値が画素判別ブロック３３で閾値と比較される。尚、閾値は、閾値演算ブロック３４で算出され、注目画素の画素レベルを基にして算出された閾値や任意に設定した閾値である。例えば、光ショットノイズのリダクション効果を目的とするなら、閾値は注目画素レベルの平方根の定数倍に設定する。光ショットノイズとランダムノイズのリダクション効果を目的とするなら、閾値は注目画素レベルの平方根の定数倍に別の定数（ランダムノイズレベルを意味する定数や変数）を加算した値に設定する。

従来のレベル差分とは異なり二次微分を用いるのは、ランプ部においてもノイズリダクションに使用できる画素数が減少することを防止するためである。すなわち、１次関数で変化するランプ部を一次微分した場合には傾きに対応する一定の値が保たれ、さらに、一定の値を二次微分すると、値が０になる。従って、二次微分値が閾値以下であることは、画素の信号成分が相関を有していることを意味し、ノイズリダクションに使用できると判断できるのである。

画素判別ブロック３３における比較の結果、二次微分結果が閾値より大きい場合は、画素Ｇ₃₂と画素Ｇｃまたは画素Ｇｃと画素Ｇ₃₄の間には絵柄のエッジが存在すると判別し、画素Ｇ₃₁、画素Ｇｃ、画素Ｇ₃₅の間で二次微分処理を施すまでもなく、画素Ｇ₃₁は画素Ｇｃのノイズリダクションには使用できないと判別する。ある注目画素に対して異なる絵柄領域やエッジを跨いだ位置にある画素は、注目画素に対して相関があると判別された場合でも、それが本来の画素レベルなのか、それとも画素レベルにノイズが含まれておりたまたま相関があると判別されたのかの区別がつかず誤判別の原因となることからノイズリダクションに使用しない。

二次微分結果が閾値以下である場合は、二次微分結果はノイズ成分を検出したものとする。処理１による二次微分結果が閾値以下であれば、画素Ｇ₃₁、画素Ｇｃ、画素Ｇ₃₅の間で二次微分を行う（処理２）。処理２による二次微分の結果が閾値以下であれば、画素Ｇ₃₁と画素Ｇｃの間に絵柄のエッジが存在しない、言い換えれば平坦部であると判断し、画素Ｇ₃₁は注目画素Ｇｃのノイズリダクションに使用できると判別する。二次微分結果が閾値より大きい場合は画素Ｇ₃₁と画素Ｇｃの間または画素Ｇｃと画素Ｇ₃₅の間に絵柄のエッジが存在すると判断し、画素Ｇ₃₁は注目画素Ｇｃのノイズリダクションに使用できないと判別する。

尚、二次微分は注目画素Ｇｃの近傍の画素から行うことが好ましい。注目画素Ｇｃに対して内から外へ二次微分を行うことにより二次微分の処理ステップを少なくすることができる。また、できるだけ近傍の画素を使用することにより画像の周波数特性を生かしつつ、二次微分を行うことができる。

この一実施形態では、二次微分を注目画素を含む３画素について行ったが、５画素など任意の画素数と設定することができる。

二次微分は、処理１や処理２だけではなく、画素Ｇｃ、画素Ｇ₃₁、画素Ｇ₃₂の間で行う二次微分（処理３）や、画素Ｇｃ、画素Ｇ₃₄、画素Ｇ₃₅の間で行う二次微分（処理４）を行うこともできる。この一実施形態では二次微分による検波領域を水平方向の５画素としているが、より検波領域が広くなった場合に処理３や処理４のような予備的検波は、検波精度を上げるのに効果的である。

以上、説明したように二次微分はノイズリダクションに使用可能か判別しようとしている画素と注目画素間で可能な限り二次微分領域をオーバーラップさせて行う。ただし、ノイズリダクションに使用可能か判別しようとしている画素が注目画素間の隣の画素である場合は二次微分領域をオーバーラップさせることができないので二次微分処理は１回のみとなる。例えば、注目画素が画素Ｇｃで、判別対象の画素が画素Ｇ₃₂の位置関係にある場合などである。

尚、補間画素は二次微分検波にしか使用せず、ノイズリダクションに使用可能か判別する対象にはしない、言い換えれば、補間画素を用いてノイズリダクションは行わない。

二次微分の処理は、垂直方向、左右斜め方向に関しても同様になされ、注目画素周辺に位置する画素の中からノイズリダクションに使用できる画素が検出される。閾値との比較対象を、従来のレベル差分から二次微分結果にすることで画像のランプ部でもノイズリダクションの効果を得ることができる。

次に対称処理ブロック３５の処理について説明する。対称処理ブロック３５では、ノイズリダクションに使用可能と判別された画素の対称性を判別する。対称性を判別するのは次の理由による。例えば画素判別ブロック３３において注目画素Ｇｃに対し画素Ｇ₃₁はノイズリダクションに使用でき、画素Ｇ₃₅は使用できないと判別されたとする。この場合に、画素Ｇ₃₁によるノイズリダクションを実行すると、ノイズリダクション後の注目画素Ｇｃの重心ずれを引き起こすおそれがあるからである。

図６は対称点処理の一例を示す。例えば、すべての方向に対して二次微分が施された結果、画素判別ブロック３３で注目画素Ｇｃに対して画素Ｇ₁₅、画素Ｇ₂₂、画素Ｇ₄₄、画素Ｇ₅₃がノイズリダクションに使用できると判別されたとする。対称処理では、ノイズリダクションに使用できる画素のうち、注目画素Ｇｃを中心に点対称の位置に画素があるか否かを判別する。

図６に示すように、画素Ｇ₂₂および画素Ｇ₄₄は注目画素Ｇｃを中心とした点対称の位置にあり、両画素ともノイズリダクションに使用可能と判別されているのでノイズリダクションに使用する。他の画素Ｇ₁₅や画素Ｇ₅₃は、点対称の位置にノイズリダクションに使用可能と判別された画素がなく、注目画素の重心ずれを引き起こして直線性を劣化させるおそれがあるため、ノイズリダクションには使用できないと判別する。

尚、対称処理は二次微分処理ブロック３２において行うようにしてもよい。すなわち、二次微分を、少なくとも注目画素を中心に点対称の位置関係にある周辺画素に行うようにしてもよい。例えば、図５に示すように、少なくとも処理１および処理２の二次微分を行い、対称位置にある画素（例えば画素Ｇ₃₂と画素Ｇ₃₄）を共にノイズリダクションに使用できるか、または使用できないかを判別するようにすればよい。

上述した一連の処理により得られたノイズリダクションに使用可能な画素と注目画素Ｇｃの画素の値を補間画素加算、除算ブロックにおいて、全て加算し、加算数で除算する処理を行うことにより、ノイズと判断された画素のみを平滑化してノイズリダクション効果を発生させる。尚、ノイズリダクションに使用できる画素が全く存在しない場合には、注目画素Ｇ_Cの画素レベルがそのまま出力される。

図７は、この発明の一実施形態におけるノイズリダクションの処理の流れを示すフローチャートである。ステップＳ１において、ノイズリダクションしようとする注目画素を中心として、縦方向、横方向、左右斜め方向に欠落した画素の有無を判別する。ここで、画素の色は同色または画素レベルにあまり差の無い任意の色種とする。

尚、図３を用いて説明した例では、ＲＧＢの三原色信号のうちＧ成分に着目しているが、これはＧ成分が輝度信号の主成分であることや、Ｇ成分に対する人間の視感度が高い、または撮像素子上でＧの画素が多い等の理由である。Ｒ成分やＢ成分をそれぞれ独立に、またはＲ成分のみ、Ｂ成分のみ検波しても良い。また、Ｇ成分の検波結果をＲ成分やＢ成分に対して適用したり、任意の色成分の検波結果を任意の色成分に対して適用することも可能である。

欠落した画素がある場合は、動作がステップＳ２に進む。ステップＳ２では、二次微分方向と直交する方向から欠落画素位置に画素補間を行う。画素補間を行った後、動作がステップＳ１に戻る。

欠落画素がない場合若しくは欠落画素が補間された後、ステップＳ３において、ノイズリダクションしようとする注目画素を中心として、二次微分に直交する方向からＬＰＦによる平滑化が行われる。ＬＰＦによる平滑化の次に動作はステップＳ４へ進む。

次に、ステップＳ４において、検波枠内の全ての被検波画素に対し、注目画素を中心に、縦、横、斜め方向に二次微分を行う。二次微分は、注目画素を中心とした点対称の位置関係にある画素間で、例えば３画素を用いて行う。端の画素と注目画素との間隔が２画素以上の場合は、端の画素と注目画素の間に位置する全ての組み合わせで二次微分を行うようにしてもよい。また、二次微分方向は、それに直交する方向にＬＰＦが可能であれば任意の方向に可能とする。

尚、ステップＳ５では、ノイズリダクションをしようとする画素レベルの値に基づいて閾値が算出される。若しくは、任意の閾値を設定してもよい。

ステップＳ４で二次微分の処理が終わると、ステップＳ６においてステップＳ４で算出された二次微分結果の絶対値とステップＳ５で算出された閾値の大小比較が行われる。

ステップＳ７において、ノイズリダクションに使用可能かどうかを判断する対象画素に着目する。この対象画素は順次異なる画素に移行していくことになり、注目画素を除き、補間画素を含んで検波枠内にある全ての画素に着目し終わるまで処理が続く。

ステップＳ７において着目した画素と注目画素の間に、二次微分結果が閾値より大きい結果が存在するか判別する（ステップＳ８）。二次微分値が閾値より大きい場合は、動作はステップＳ９に進み、その時点で着目した画素はノイズリダクションには使用できないと判断され、動作はステップＳ１１に進む。

ステップＳ８の判別の結果、着目した画素と注目画素の間に、二次微分結果が閾値より大きい結果が存在しない場合、その時点で着目した画素はノイズリダクションに使用できると判断され、動作はステップＳ１１に進む。

ステップＳ１１の動作では、検波枠内の被検波画素すべてに着目したか否かが判別される。着目して検波されるべき画素がまだ残っている場合は、動作はステップＳ１２に進み、新たに着目して検波すべき画素があると判断し、ステップＳ７からの処理を再び行う。

ステップＳ１３では、ステップＳ１からステップＳ１２までの処理を終えて検波を終了した段階でノイズリダクションに使用可能と判断された画素全てと注目画素を加算し、加算数で除算することにより注目画素のノイズリダクションが行われ、処理は終了する。

図７に示すフローチャートでは、周辺画素の対称性を考慮したうえで二次微分を行ったが（ステップＳ４）が、別途、対称処理を行うようにしてもよい。

図８は、対称処理を行う場合のフローチャートを示す。ステップＳ１からステップＳ１２までの処理は同じなので説明を省略する。ステップＳ１１で検波枠内の被検波画素全てに着目した後、処理はステップＳ２１に進む。

ステップＳ２１では被検波画素の中でノイズリダクション（ＮＲ）に使用可能な画素が存在するか否かが判別される。ノイズリダクションに使用できる画素がないと判別された場合は、ノイズリダクションの処理は終了する。この場合、注目画素の画素レベルがそのまま出力される。ノイズリダクションに使用できる画素が存在すると判別された場合は、動作はステップＳ２２に進む。

ステップＳ２２では、ステップＳ２１で判別されたノイズリダクションに使用可能な画素のうち、注目画素を中心として点対称の位置関係にある画素が存在するか否かの判別がさらにされる。点対称の位置関係にある画素がない場合は、ノイズリダクションは行われないため処理は終了する。点対称の位置関係にある画素が存在する場合は、それらの画素をノイズリダクションに使用できる画素と判別し、動作はステップＳ１３へと進む。

ステップＳ１３では、ノイズリダクションに使用可能と判断された画素のうちで注目画素を中心として点対称の位置関係にある画素全てと注目画素を加算し、加算数で除算することにより注目画素のノイズリダクションが行われ、処理は終了する。

この発明は、この発明の要旨を逸脱しない範囲内でさまざまな変形や応用が可能であり、上述した一実施形態に限定されることはない。例えば、上述したノイズリダクションは、カメラ信号処理中の任意の位置で動作させることが可能であり、原色、補色、原色のＲＡＷデータもしくは輝度信号、色差信号に対しても適用することが可能である。

この発明の一実施形態における撮像装置のブロック図である。この発明の一実施形態における撮像装置の他の例のブロック図である。この発明の一実施形態における画像のＧ成分の配列を示す図である。この発明の一実施形態における平滑処理および補間処理を示す略線図である。この発明の一実施形態における二次微分処理を示す略線図である。この発明の一実施形態における対称処理を示す略線図である。この発明の一実施形態におけるノイズリダクションのフローチャートである。この発明の一実施形態におけるノイズリダクションのフローチャートの他の例である。 εフィルタを用いてのノイズリダクション処理を示す略線図である。

符号の説明

２３ノイズリダクション処理ブロック
２４カメラ信号処理ブロック
３１ＬＰＦ
３２二次微分処理ブロック
３３画素判別ブロック
３４閾値演算ブロック
３５対称処理ブロック
３６補間画素加算、除算ブロック

Claims

ノイズリダクションしようとする注目画素と、上記注目画素の周辺に位置する複数の周辺画素との平均値によってノイズリダクションを行うノイズリダクション装置を備えた撮像装置において、
上記注目画素と上記複数の周辺画素を取り出す取り出し手段と、
上記注目画素および上記複数の周辺画素を用いて二次微分を行い、二次微分値を閾値と比較する比較手段と、
上記比較手段による比較の結果、上記二次微分値が上記閾値より大きい場合は上記複数の周辺画素はノイズリダクションに使用できないと判別し、上記二次微分値が上記閾値以下の場合は上記複数の周辺画素はノイズリダクションに使用できると判別する判別手段とを備える撮像装置。
さらに、上記注目画素および上記複数の周辺画素に対して、上記二次微分を行う二次微分方向と直交する方向に平滑化を行う平滑処理手段と、
上記二次微分方向に欠落画素がある場合は、上記欠落画素を補間する補間手段とを備える請求項１に記載の撮像装置。
さらに、上記注目画素の画素値と、上記判別手段によりノイズリダクションに使用できると判別された周辺画素の画素値を加算し、加算結果を加算数により除算する演算手段と、
上記注目画素の画素値を、上記演算手段により計算された画素値に置き換えて出力する出力手段とを備える請求項１に記載の撮像装置。
上記判別手段はさらに、上記複数の周辺画素が上記注目画素を中心として点対称の位置関係にあるか否かの判別を行う請求項１に記載の撮像装置。
上記二次微分は、少なくとも上記注目画素を中心として点対称の位置関係にある上記複数の周辺画素に対して行われる請求項１に記載の撮像装置。
ノイズリダクションしようとする注目画素と、上記注目画素の周辺に位置する複数の周辺画素との平均値によってノイズリダクションを行うノイズリダクション装置において、
上記注目画素と上記複数の周辺画素を取り出す取り出し手段と、
上記注目画素および上記複数の周辺画素を用いて二次微分を行い、二次微分値を閾値と比較する比較手段と、
上記比較手段による比較の結果、上記二次微分値が上記閾値より大きい場合は上記複数の周辺画素はノイズリダクションに使用できないと判別し、上記二次微分値が上記閾値以下の場合は上記複数の周辺画素はノイズリダクションに使用できると判別する判別手段とを備えるノイズリダクション装置。
さらに、上記注目画素および上記複数の周辺画素に対して、上記二次微分を行う二次微分方向と直交する方向に平滑化を行う平滑処理手段と、
上記二次微分方向に欠落画素がある場合は、上記欠落画素を補間する補間手段とを備える請求項６に記載のノイズリダクション装置。
さらに、上記注目画素の画素値と、上記判別手段によりノイズリダクションに使用できると判別された周辺画素の画素値を加算し、加算結果を加算数により除算する演算手段と、
上記注目画素の画素値を、上記演算手段により計算された画素値に置き換えて出力する出力手段とを備える請求項６に記載のノイズリダクション装置。
上記判別手段はさらに、上記複数の周辺画素が上記注目画素を中心として点対称の位置関係にあるか否かの判別を行う請求項６に記載のノイズリダクション装置。
上記二次微分は、少なくとも上記注目画素を中心として点対称の位置関係にある上記複数の周辺画素に対して行われる請求項６に記載のノイズリダクション装置。
ノイズリダクションしようとする注目画素と、上記注目画素の周辺に位置する複数の周辺画素との平均値によってノイズリダクションを行うノイズリダクション方法において、
上記注目画素と上記複数の周辺画素を取り出す取り出しステップと、
上記注目画素および上記複数の周辺画素を用いて二次微分を行い、二次微分値を閾値と比較する比較ステップと、
上記比較ステップによる比較の結果、上記二次微分値が上記閾値より大きい場合は上記複数の周辺画素はノイズリダクションに使用できないと判別し、上記二次微分値が上記閾値以下の場合は上記複数の周辺画素はノイズリダクションに使用できると判別する判別ステップを含むノイズリダクション方法。
さらに、上記注目画素および上記複数の周辺画素に対して、上記二次微分を行う二次微分方向と直交する方向に平滑化を行う平滑処理ステップと、
上記二次微分方向に欠落画素がある場合は、上記欠落画素を補間する補間ステップを含む請求項１１に記載のノイズリダクション方法。
さらに、上記注目画素の画素値と、上記判別ステップによりノイズリダクションに使用できると判別された周辺画素の画素値を加算し、加算結果を加算数により除算する演算ステップと、
上記注目画素の画素値を、上記演算ステップにより計算された画素値に置き換えて出力する出力ステップを含む請求項１１に記載のノイズリダクション方法。
上記判別ステップはさらに、上記複数の周辺画素が上記注目画素を中心として点対称の位置関係にあるか否かの判別を行う請求項１１に記載のノイズリダクション方法。
上記二次微分は、少なくとも上記注目画素を中心として点対称の位置関係にある上記複数の周辺画素に対して行われる請求項１１に記載のノイズリダクション方法。
コンピュータに、
ノイズリダクションをしようとする注目画素と、上記注目画素の周辺に位置する複数の周辺画素を取り出す取り出しステップと、
上記注目画素および上記複数の周辺画素を用いて二次微分を行い、二次微分値を閾値と比較する比較ステップと、
上記比較ステップによる比較の結果、上記二次微分値が上記閾値より大きい場合は上記複数の周辺画素はノイズリダクションに使用できないと判別し、上記二次微分値が上記閾値以下の場合は上記複数の周辺画素はノイズリダクションに使用できると判別する判別ステップを含む処理を実行させるためのプログラム。