JP2004147247A - 撮像装置 - Google Patents

Abstract

【課題】固体撮像素子の雑音を、局所的な画像変化情報を維持したまま平坦な部分の雑音除去を行うことが可能とする雑音除去装置を備えた撮像装置を提供することを目的とする。
【解決手段】固体撮像素子３０１の出力の周囲画素の最大値から（ｎ＋１）番目と最小値から（ｍ＋１）番目の差分を差分器３０４から出力し、かつ周囲画素の最大値から（ｎ＋１）番目と最小値から（ｍ＋１）番目の間に含めれる画素の平均値と中心画素の加算混合器３０５での加算混合比率を差分器３０４の出力に応じて動作させることにより信号部分の微小な輪郭部分と雑音とを分離し、精度良く雑音除去が可能となる。
【選択図】　図３

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置の固体撮像素子の雑音除去装置に関するものである。
【０００２】
【従来の技術】
近年、ビデオカメラや電子スチルカメラにおいては、固体撮像素子が広く使用されている。一般に固体撮像素子は光電変換を行う際に「ショットノイズ」なる雑音が発生する。ショットノイズは固体撮像素子に結像した際に、光のゆらぎが画素上に再現されたノイズである。ショットノイズは、通常の明るい画像ではあまり目立たないが、黒い被写体を撮影した時や夜間撮影・暗闇撮影では比較的目立ってしまう。特に、暗闇等を高感度撮影した時では、画面がざわついた感じになってしまう。ショットノイズは、光電変換を行う電子数の平方根に比例して増加する。このショットノイズは固体撮像素子の面積が大きく十分な信号電荷量を取り扱える場合は問題ないが、固体撮像素子の小型に伴い取り扱い電荷量が減少するとＳ／Ｎの劣化を招きやすい。このため、ショットノイズによるＳ／Ｎ劣化を防ぐため雑音除去装置を搭載するビデオカメラや電子スチルが増加してきている。また一般的には雑音除去には中間値フィルターを使用する場合が多い。
【０００３】
以下に従来の雑音除去装置を有する撮像装置について説明する。
【０００４】
図４は従来の雑音除去装置を有する撮像の構成を示すものである。図４において、４１は入射される光信号を電気信号に変換して出力する固体撮像素子である。４２は固体撮像素子４１から入力される画素信号において着目画素の信号レベルを、着目画素を含むｎ×ｍ画素の中間値に置き換える中間値フィルター、４３は固体撮像素子４１から入力される着目画素の周囲ｎ×ｍ画素のうち着目画素を除く｛（ｎ×ｍ）−１｝画素の平均値を算出する平均値算出器で、例えばｍ＝３、ｎ＝３として、８画素の平均値を算出する。４４は所定の係数を発生する係数発生器、４５は平均値算出器４３からの平均値と係数発生器４４からの係数とを比較する比較器で、平均値算出器４３にて算出した着目画素の周囲の平均値と着目画素の値と係数発生器４４の出力とを比較し、着目画素の値が着目画素周囲の平均値より係数発生器４４の出力以下であれば着目画素を微小な雑音と判断する。４６は比較器４５の比較結果に基づき中間値フィルター４２の出力か固体撮像素子４１の出力のいずれか一方を選択する切り替え器である。
【０００５】
以上のように構成された従来の雑音除去装置を有する撮像装置について、以下その動作について説明する。
【０００６】
まず、固体撮像素子４１からの出力信号は、平均値算出器４３にて着目画素の周囲ｎ×ｍ画素の内、着目画素を除く｛（ｎ×ｍ）−１｝画素の平均値を算出する。図１は画素データを模式的に示した図であり、ａ〜ｉはそれぞれ画素を示し全部で９画素あり、中央の画素ｅが着目画素である。本構成では、着目画素ｅを除く、周囲８画素の信号レベルの平均値を平均値算出器４３で算出する。
【０００７】
平均値算出器４３にて算出した着目画素の周囲の平均値と着目画素の値と係数発生器４４の出力とを比較器４５にて比較を行い、着目画素の値が着目画素周囲の平均値より係数発生器４４の出力以内であれば着目画素を微小な雑音と判断する。その比較結果は切り替え器４６に入力される。
【０００８】
一方、固体撮像素子４１からの出力信号は、中間値フィルター４２にも入力され、着目画素の値を着目画素の周囲ｎ×ｍ画素の中間値に置き換えられる。
【０００９】
切り替え器４６には、固体撮像素子４１からの信号と、中間値フィルター４２からの信号とが入力され、比較器４５の比較結果に基づきいずれか一方を選択する。
【００１０】
具体的には、切り替え器４６において、比較器４５において着目画素が「雑音」と判断した場合は中間値フィルター４２の出力を選択し、比較器４５において着目画素が「雑音ではない」と判断した場合は固体撮像素子４１の出力を選択することにより、本来の画質を維持しながら雑音除去を行う。
【００１１】
【特許文献１】
特開２００２−１３５６５８号公報
【００１２】
【発明が解決しようとする課題】
しかしながら上記の従来の方法では、雑音ではない微小信号成分を、雑音であると誤判断して除去してしまうことがあり、画像のディテール部分やエッジ部分のくっきり感を低下させてしまうという問題があった。
【００１３】
本発明は上記従来の問題点を解決するもので、本来の映像信号が有する微小な輪郭信号を損なうことなく雑音除去を可能とする雑音除去装置を有する撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
この目的を達するために本発明の撮像装置は、光信号を電気信号に変換する固体撮像素子と、前記撮像素子の着目画素の周囲ｋ×ｌ画素情報を信号レベルに応じて順位付けを行なう順位付け手段と、前記順位付け手段の出力の最大値からｎ番目と最小値からｍ番目との差分を算出する差分手段と、前記順位付け手段出力のうち最大値からｎ番目と最小値からｍ番目の間に含まれる各画素信号レベルの平均値を求める平均値算出手段と、前記平均値算出手段の出力信号レベルと前記着目画素の画素信号レベルとを加算混合する加算混合手段とを備え、前記加算混合手段は、前記差分手段の出力に応じて前記固体撮像素子と信号レベルと前記平均値算出手段の信号レベルとの混合比を変化させる。
【００１５】
この構成によって、被写体が局所的に均一な部分の検出が可能となり、信号部分の微小な輪郭部分と雑音とを分離することが出来、精度良く雑音除去が可能となる。
【００１６】
【発明の実施の形態】
光信号を電気信号に変換する固体撮像素子と、前記撮像素子の着目画素の周囲ｋ×ｌ画素情報を信号レベルに応じて順位付けを行なう順位付け手段と、前記順位付け手段の出力の最大値からｎ番目と最小値からｍ番目との差分を算出する差分手段と、前記順位付け手段出力のうち最大値からｎ番目と最小値からｍ番目の間に含まれる各画素信号レベルの平均値を求める平均値算出手段と、前記平均値算出手段の出力信号レベルと前記着目画素の画素信号レベルとを加算混合する加算混合手段とを備え、前記加算混合手段は、前記差分手段の出力に応じて前記固体撮像素子と信号レベルと前記平均値算出手段の信号レベルとの混合比を変化させるものであり、これにより、局所的な平坦度に応じて雑音除去効果を変化させるという作用を有する。
【００１７】
以下、本発明の実施の形態について、図１から図３を用いて説明する。
【００１８】
（実施の形態１）
図１は本発明の実施の形態の撮像装置において順位付け器と差分器と平均値算出器との動作を説明するための模式図であり、固体撮像素子の着目画素をｅとした場合の周囲３×３画素を表す図である。ここではアルファベット順に順位付けがついて上から２番目と下から２番目の間の平均を取った場合を記載している。各アルファベットは座標位置を表すともに、各画素の信号の大きさを表す。
【００１９】
図２は加算混合器３０５における固体撮像素子３０１の出力と平均値算出器３０４の出力との混合比率の関係を示すグラフである。
【００２０】
図３は本実施の形態の撮像装置の構成を示すブロック図である。図において、３０１は入射される被写体の光学信号を電気信号に変換して出力する固体撮像素子、３０２は固体撮像素子３０１からの画像データのうち着目画素を含む所定数の画素を信号レベル順に順位付けを行う順位付け手段である順位付け手段である順位付け器、３０４は順位付け器３０２からの画素信号において着目画素（本実施の形態では中心画素）の周囲の画素の信号レベルの平均値を算出する平均値算出手段である平均値算出手段である平均値算出器、３０３は順位付け器３０２によって信号レベル順に順位付けされた画素信号において順位が最上位の画素と最下位の画素の信号レベル差を算出する差分手段である差分手段である差分器、３０５は固体撮像素子３０１からの画素信号と平均値算出器３０４からの平均値とを所定の混合比で加算混合する加算混合手段である加算混合手段である加算混合器である。
【００２１】
以上のように構成された本実施の形態の撮像装置のについて、図３を用いてその動作を説明する。
【００２２】
ビデオカメラなどの撮像装置で被写体を撮影した時に、前述したようにショットノイズが生じる場合がある。ショットノイズは画素単位で発生するノイズなので微小であり、ディテールが細かい被写体画像などでは比較的目立たないが、平坦画像においては目立ってしまう。
【００２３】
本装置で被写体を撮影した時、まず被写体の光学信号が固体撮像素子３０１に入射され、固体撮像素子３０１では光学信号を電気信号に変換して、順位付け器３０２と加算混合器３０５へ出力する。
【００２４】
順位付け器３０２では、固体撮像素子３０１からの出力信号の周囲３×３画素の順位付けを図１に示すように行う。具体的には、図１に示すような３×３画素つまり９画素中、中心画素である画素ｅを除く８画素において、信号レベルが高いものから順位付けする。一般的に画素の信号レベルが高いものは明るい映像（高輝度）であり、信号レベルが低いものは暗い画像（低輝度）である。本実施の形態では、図１における画素ａを最大レベルの画素、画素ｉを最小レベルの画素とし、信号レベルが高いものから順位付けすると、ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｉとなるようにした。
【００２５】
次に、順位付けされた画素情報のうち、上からｎ個、下からｍ個を除去した残りの最大値と最小値の差分絶対値を差分器３０３で算出する。本実施の形態では、ｎ＝１、ｍ＝１とし、画素ａ〜ｉのうち最大レベルの画素ａと、最小レベルの画素ｉを除去する。そして残った画素ｂ，ｃ，ｄ，ｆ，ｇ，ｈを、平均値算出器３０４及び差分器３０３に出力する。
【００２６】
次に、平均値算出器３０４では、順位付け器３０２からの画素ｂ，ｃ，ｄ，ｆ，ｇ，ｈの信号レベルの平均値を算出し、加算混合器３０５へ出力する。
【００２７】
また、差分器３０３では、順位付け器３０２からの画素ｂ，ｃ，ｄ，ｆ，ｇ，ｈにおいて、最大値及び最小値の画素の信号レベルを比較する。前述の例では、最大値が画素ｂで最小値が画素ｈなので、画素ｂと画素ｈの信号レベルを比較する。ここで、画素ｂと画素ｈの信号レベルの差が大きければ、比較的ディテールが細かい被写体画像であるか、被写体及び背景画のエッジ部分であると判断する。一方、信号レベルの差が小さければ、平坦画像（単色画像や、明暗に減り張りがない画像）であると判断する。この判断結果に基づき、加算混合器３０５を制御する。
【００２８】
加算混合器３０５では、固体撮像素子３０１からの画像信号における中心画素（図１における画素ｅ）の信号レベルと平均値算出器３０４からの平均値との加算混合を行うが、この時、差分器３０３からの差分値に基づき混合比が変わる。
【００２９】
つまり、差分器３０３において、入力画像が細かいディテールの被写体画像などであると判断した場合、たとえショットノイズを含んでいたとしても、目視上それほど目立たないため、平均値の混合比率をできるだけ下げて、固体撮像素子３０１からの信号の比率を高くし、固体撮像素子３０１に入射する被写体画像に忠実な信号を出力する。そうすることで画像のくっきり感を残すことができ、被写体のディテール部分やエッジ部分などの画質低下を防ぐことができる。
【００３０】
一方、差分器３０３において、入力画像が平坦画像であると判断した場合、画像中にショットノイズを含んでいれば、目視上、比較的目立ってしまうので、加算混合器３０５では固体撮像素子３０１からの中心画素信号に対する平均値算出器３０４からの平均値の混合比を高めに設定することで、ショットノイズが目立たなくなるようにしている。平均値の混合比を高めに設定すると、映像のくっきり感が若干低下するが、平坦画像においてくっきり感が低下しても目視上はそれほど大きな画質低下にはならない。
【００３１】
図２に固体撮像素子３０１からの中心画素と平均値との混合比を表す特性図を示す。図２においてＹ軸は差分器３０３からの差分値、Ｘ軸は混合比率を示す。差分値がＫｂ以上の場合は細かいディテールの被写体画像と判断し、混合比率はゼロとなる。また、差分値がＫａ以下の場合は平坦画像と判断し、混合比を１（つまり、平均値が１００％）として混合する。さらに、ＫａからＫｂの間は図示のように混合比率は１から０の間でリニアに可変させ、差分値の値に応じて混合比率を可変させるものとする。なお、本実施の形態ではＫａからＫｂの間を、混合比率をリニアに可変させているが非線形にしてもよい。
【００３２】
以上のように本実施の形態によれば、着目画素の周囲画素を信号レベル順に順位付けし、最大値画素と最小値画素の信号レベル差を算出するとともに最大値画素と最小値画素を除く画素の平均値を算出し、信号レベル差に基づき入力画素がディテール部分か平坦画像かを判断し、それに応じて入力画素の信号レベルと平均値との混合比を可変にすることで、ディテール部分（輪郭部分）は忠実に再現し、平坦画像はショットノイズが目立たないようにすることができる。
【００３３】
【発明の効果】
以上のように本発明は、被写体が局所的に均一な部分の検出が可能となり、信号部分の微小な輪郭部分と雑音とを分離することが出来、精度良く雑音除去が可能となるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における本発明の順位付け器と平均値算出器と差分器の動作説明の模式図
【図２】同実施の形態１における差分値と加算混合器での混合比率との関係の特性図
【図３】同実施の形態１における雑音除去装置を有する撮像装置のブロック図
【図４】従来の雑音除去装置を有する撮像装置のブロック図
【符号の説明】
３０１　固体撮像素子
３０２　順位付け器
３０３　差分器
３０４　平均値算出器
３０５　加算混合器

Claims (1)

1. 光信号を電気信号に変換する固体撮像素子と、前記撮像素子の着目画素の周囲ｋ×ｌ画素情報を信号レベルに応じて順位付けを行なう順位付け手段と、前記順位付け手段の出力の最大値からｎ番目と最小値からｍ番目との差分を算出する差分手段と、前記順位付け手段出力のうち最大値からｎ番目と最小値からｍ番目の間に含まれる各画素信号レベルの平均値を求める平均値算出手段と、前記平均値算出手段の出力信号レベルと前記着目画素の画素信号レベルとを加算混合する加算混合手段とを備え、
   前記加算混合手段は、前記差分手段の出力に応じて前記固体撮像素子と信号レベルと前記平均値算出手段の信号レベルとの混合比を変化させることを特徴とする撮像装置。

Images