JP2010239493A - 撮像装置および映像信号の補正処理方法 - Google Patents

Abstract

【課題】高品位な映像信号を得ることができる撮像装置１１、および高品位な映像信号を得ることができる映像信号の補正処理方法を提供する。
【解決手段】被写体１０を撮影し映像画像２０の映像信号を出力するＣＣＤ１０２と、撮影距離を取得する距離情報取得部１０８と、映像画像２０の一部を構成する特定の被写体１０Ａの映像画像である注目領域２２の撮影距離と、注目領域２２の近傍領域２３の撮影距離と、に基づき、ノイズ低減処理を行うノイズ低減部１１０と、を有する。
【選択図】図１

Description

本発明は、撮像して得られた映像信号に対して信号補正処理を行う撮像装置および映像信号の補正処理方法に関し、特に被写体との距離情報をもとにノイズ低減処理を行う撮像装置、および被写体と撮像装置との距離情報をもとにノイズ低減処理を行う映像信号の補正処理方法に関する。

デジタルカメラ等の撮像装置では撮像して得られた映像信号をアナログ信号からデジタル信号に変換するときに映像信号中にノイズが含まれてしまう。またＣＣＤ等の撮像素子に欠陥画素があった場合等には映像信号中に固定パターンノイズが含まれてしまう。このため撮像装置では映像信号中のノイズを低減するためにノイズ低減処理が行われている。

ノイズ低減処理は映像信号の変化の振幅を軽減する平滑化処理によって行うが、平滑化処理は映像信号のエッジ成分も滑らかにしてしまうため、画質を劣化してしまうという副作用が生じることがある。

トマシらは、ＩＥＥＥ国際コンピュータビジョン会議予稿集（１９９８年、８３９ページから８４６ページ）にて、バイラテラルフィルタを用いるノイズ低減処理を開示している。バイラテラルフィルタは注目画素からの距離による重みと信号差による重みとに基づき、加算平均を算出して平滑化処理を行う。このためバイラテラルフィルタを用いることで映像信号のエッジ成分を保存した画質劣化の少ないノイズ低減処理を実現できる。

シー・トマシ、アール・マンデュチ（C. Tomasi and R. Manduchi）著、クレイおよびカラーイメージへのバイラテラルフィルタ処理（Bilateral filtering for gray and color images）、ＩＥＥＥ国際コンピュータビジョン会議予稿集（Proc. IEEE. Conf. Computer Vision）、（インド）、１９９８年、８３９ページから８４６ページ。

しかし、バイラテラルフィルタを用いたノイズ低減処理でも映像信号の差の小さい微小なエッジ成分に対しては十分な効果を奏することができずに、微小なエッジ成分を滑らかにし画質を劣化してしまうという問題が生じることがあった。

上記目的を達成すべく、本発明の撮像装置は、被写体を撮影し映像画像の映像信号を出力する撮像手段と、前記映像信号に対応した、前記被写体と前記撮像手段との間の距離である撮影距離を取得する測距手段と、前記映像画像の一部を構成する特定の被写体の前記映像画像である注目領域の前記映像信号の前記撮影距離と、前記注目領域に隣接する隣接領域の前記映像信号の前記撮影距離と、に基づき、前記注目領域の前記映像信号に対する補正処理を行う補正処理手段と、を有することを特徴とする。

また、本発明の映像信号の補正処理方法は、撮像手段により被写体を撮影し映像画像の映像信号を出力する撮影ステップと、前記映像信号に対応した前記被写体と前記撮像手段との間の距離である撮影距離を取得する距離情報取得ステップと、前記映像画像の一部を構成する特定の被写体の前記映像画像である注目領域の前記映像信号の前記撮影距離と、前記注目領域の隣接領域の前記映像信号の前記撮影距離と、に基づき、前記注目領域の前記映像信号に対する補正処理を行う補正処理ステップと、を有することを特徴とする映像信号の補正処理方法。

本発明は、高品位な映像信号を得ることができる撮像装置、および高品位な映像信号を得ることができる映像信号の補正処理方法を提供する。

本発明の第１実施形態の撮像装置の構成図である。 原色カラーフィルタの構成を示す説明図である。 本発明の第１実施形態の撮像装置のノイズ低減部の構成図である。 映像画像を説明するための説明図である。 本発明の第１実施形態の撮像装置の重み計数算出部の構成図である。 本発明の第２実施形態の撮像装置の重み計数算出部の構成図である。 本発明の第３実施形態の撮像装置の構成図である。 本発明の第３実施形態の撮像装置の重み計数算出部の構成図である。 本発明の第３実施形態における距離差の絶対値の分散vと分布係数σdとの関係をプロットした図である。 本発明の第３実施形態の撮像装置のノイズ低減処理の流れについて説明するためのフローチャートである。

＜第１実施形態＞
以下、図面を参照して本発明の第１実施形態の撮像装置１１について説明する。
図１は、本発明の第１実施形態の撮像装置１１の構成図である。撮像装置１１においては、撮像手段であるＣＣＤ１０２は、特定の被写体１０Ａおよび１０Ｂ等を含む被写体１０を、レンズ系１００および絞り１０１を介して撮影し、アナログ映像信号を出力する。すなわち、映像信号は、ＣＣＤ１０２の画素数の画素の信号の集合体であり、以下、画素の信号のことを単に画素と表現する場合もある。

なお、本明細書において、単に「被写体１０」と言う場合には、ＣＣＤ１０２が撮影した画面全体に写っているものを意味し、特定の被写体１０Ａ、例えば近くの人物、または特定の被写体１０Ｂ、例えば遠くの山、等を意味するものではない。ＣＣＤ１０２から出力された被写体１０のアナログ映像信号は、Ａ／Ｄ変換器１０４にてデジタル映像信号に変換される。Ａ／Ｄ変換器１０４から出力された映像信号は、バッファ１０５を介して、測光評価部１０６と、測距手段である距離情報取得部１０８と、ノイズ低減手段であるノイズ低減部１１０とへ転送される。

測光評価部１０６は、絞り１０１およびＣＣＤ１０２と接続され、距離情報取得部１０８は、レンズ制御部１０７、および相対距離算出手段である相対距離算出部１０９と接続されている。レンズ制御部１０７はＡＦモータ１０３と接続されている。ノイズ低減部１１０は補間部１１１と接続され、補間部１１１は信号処理部１１２と接続されている。信号処理部１１２は圧縮部１１３と接続され、圧縮部１１３は出力部１１４と接続されている。

マイクロコンピュータ等から構成された制御手段である制御部１１５は、Ａ／Ｄ変換器１０４と、測光評価部１０６と、レンズ制御部１０７と、距離情報取得部１０８と、相対距離算出部１０９と、ノイズ低減部１１０と、補間部１１１と、信号処理部１１２と、圧縮部１１３と、出力部１１４と、双方向に接続されている。さらに、電源スイッチ（不図示）と、シャッターボタン（不図示）と、撮影時のシーンモード等の撮影条件の切り替え等を行うためのインターフェースを備えた外部Ｉ／Ｆ部１１６とが、制御部１１５と、双方向に接続されている。なお、撮像装置１１のシャッターボタンは、半押しされることで、プリ撮影モードに入り、全押しされることで本撮影モードに入る、２段階の押しボタンスイッチから構成されている。また、シーンモードとは、種々の撮影シーンに有利なシャッター速度、絞り値、または／かつ特定の被写体等を、撮像装置が自動的に選択し、適正条件で撮影を行うための設定であり、例えば、ポートレートモード、風景モード、クローズアップ（マクロ撮影）モード等があり、撮影開始前に撮影者が外部Ｉ／Ｆ部１１６を介して選択することができる。

次に、図１を用いて、撮像装置１１における信号の流れについて説明する。
撮像装置１１は外部Ｉ／Ｆ部１１６を介してＩＳＯ感度およびシャッタースピード等の撮影条件が設定された後、外部Ｉ／Ｆ部１１６の一部であるシャッターボタン（不図示）が半押しされることでプリ撮影モードに入る。レンズ系１００および絞り１０１を介してＣＣＤ１０２により撮影された映像信号は、Ａ／Ｄ変換器１０４にてアナログ信号からデジタル信号に変換されてバッファ１０５に保存される。すなわち撮像手段により被写体を撮影し映像信号を出力する撮影ステップが行われる。

なお後述するように、撮像装置１１では本撮影モードでも、再度、撮影ステップが行われる。そして、撮像装置１１ではプリ撮影モードにおける第１の撮影ステップで出力される第１の映像信号をもとに、本撮影モードにおける第２の撮影ステップで出力される第２の映像信号のノイズ低減処理が行われる。もちろん１回の撮影ステップのみで得られた映像信号を用いて全ての処理を行ってもよい。

なお本実施の形態の撮像装置１１ではＣＣＤ１０２としてベイヤー型の原色カラーフィルタを有する単板ＣＣＤを例に説明する。ここで図２はベイヤー型の原色カラーフィルタの構成を示す説明図であり、多数のＣＣＤ素子が２次元に配置された構造を有し、各ＣＣＤ素子を横方向の位置（座標）を「ｉ」、縦方向の位置（座標）を「ｊ」で示している。ベイヤー型の原色カラーフィルタは２×２素子を基本単位とし、Ｒ、Ｇ１、Ｇ２、またはＢの４種類のいずれか１つのカラーフィルタが、それぞれのＣＣＤ素子に配置されている。なお、Ｇ１とＧ２とは同一の光学特性を持つフィルタである。そして、２×２素子の基本単位１９Ａにより１つの映像信号からなる画素１９（図４参照）が出力される。

バッファ１０５に保存された映像信号は、測光評価部１０６と、距離情報取得部１０８と、ノイズ低減部１１０とへ転送される。測光評価部１０６では、映像信号中の輝度レベルを算出し、適正露光になるように絞り１０１およびＣＣＤ１０２の電子シャッタースピード等を制御する。

測距手段である距離情報取得部１０８は、撮像装置１１から被写体１０までの距離である撮影距離ｄを、それぞれの画素に対応した映像信号に対して算出する。すなわち、映像信号に対応した、被写体１０と撮像装置１１との間の撮影距離ｄを算出する距離情報取得ステップが実行される。距離情報取得部１０８は、例えば、焦点ぼけの具合の異なる複数枚の画像から「ぼけ」の状態を表す「ぼけパラメータ」を算出する。ここで、ぼけパラメータとは輝度信号の焦点ぼけ状態を示す指標であり、ＰＳＦ（Point Spread Function：点分散関数）の分散値と相関のあるパラメータである。

ＰＳＦの分散値と撮影距離ｄとの関係は、所定の関係式でモデル化されているため、距離情報取得部１０８は、ぼけパラメータから、映像信号のそれぞれの画素について、撮像装置１１から被写体１０までの撮影距離ｄを算出する。ただし、上記関係式は、レンズの構成、ズーム、および絞り等の条件によって異なるため、それぞれの条件に応じた関係式を用いて算出される。

距離情報取得部１０８は、上記説明のように、映像信号のそれぞれの画素について、それぞれの撮影距離ｄを算出、すなわち、ＣＣＤ１０２の素子数（画素数）と同じ数の撮影距離ｄを算出しても良いが、撮像装置１１では、処理の効率化のために、映像信号を複数の領域に分割し、分割した領域毎にフォーカスポイントを求めることで、任意の位置の映像信号の撮影距離ｄを表す距離マップを作成することもできる。距離情報取得部１０８により取得された撮影距離ｄの情報は、レンズ制御部１０７および相対距離算出部１０９へ転送される。

特定距離取得手段であるレンズ制御部１０７は、距離情報取得部１０８を介して得られた撮影距離情報に基づきＡＦモータ１０３を制御し、設定されたシーンモード等に基づいて、特定の被写体１０Ａ、例えば人物、に焦点のあった合焦画像を得る。言い換えれば、レンズ制御部１０７は、合焦画像が得られる合焦距離である特定距離の距離情報を取得する特定距離情報取得ステップを行う。

相対距離算出手段である相対距離算出部１０９は、距離情報取得部１０８から得られた撮影距離ｄと、レンズ制御部１０７によって求められた特定距離とに基づき、それぞれの画素に対応した映像信号全体について、相対距離ｒを算出する相対距離算出ステップを行う。

そして、撮像装置１１は、外部Ｉ／Ｆ部１１６を介してシャッターボタンが全押しされることで本撮影を行う。すなわち、撮像手段により被写体を撮影し第２の映像信号を出力する第２の撮影ステップが再度繰り返される。以下に説明する、ノイズ低減ステップにおいてノイズ低減処理が行われる映像信号は、第２の映像信号である。本撮影ＣＣＤ１０２により撮影された映像信号はプリ撮影モードのときと同様にバッファ１０５へ転送され、一時的に保存される。本撮影は、測光評価部１０６にて求められた露光条件とレンズ制御部１０７によって求められた合焦条件等とに基づき行われ、これらの撮影条件は制御部１１５へ転送される。

撮像装置１１の補正処理手段であり、ノイズ低減手段であるノイズ低減部１１０は、相対距離算出部１０９から得られる相対距離ｒに基づき、バッファ１０５から得られる映像信号に対して適応的なノイズ低減処理を行うノイズ低減ステップが行われる。なお、適応的とは、それぞれの画素の映像信号が、それぞれの状況に応じて適した処理がされていることを意味する。

ノイズ低減処理後の映像信号は、補間部１１１へ転送される。補間部１１１は、公知の補間処理により三板状態の映像信号を生成し、信号処理部１１２へ転送する。信号処理部１１２では、映像信号に対して公知の色変換処理および階調変換処理などが行われ、圧縮部１１３へ転送される。圧縮部１１３は、公知のＪＰＥＧ等の圧縮処理を行い、出力部１１４へ映像信号を転送する。出力部１１４は、圧縮後の映像信号をメモリーカード等のメディアに記録保存する。

ここで、図３を用いてノイズ低減部１１０の構成について説明する。図３は、ノイズ低減部１１０の構成図である。図３に示すように、ノイズ低減部１１０は、画像バッファ５００と、局所領域抽出部５０１と、距離差算出部５０２と、上限設定部５０３と、クリッピング部５０４と、重み係数算出部５０５と、加算平均部５０６とを有する。バッファ１０５は画像バッファ５００に接続している。画像バッファ５００は局所領域抽出部５０１に接続している。局所領域抽出部５０１は、距離差算出部５０２および加算平均部５０６に接続している。距離情報取得部１０８は距離差算出部５０２に接続している。距離差算出部５０２および上限設定部５０３はクリッピング部５０４へ接続されている。

クリッピング部５０４は重み係数算出部５０５へ、重み係数算出部５０５は加算平均部５０６へ接続されている。加算平均部５０６は補間部１１１に接続している。制御部１１５は、局所領域抽出部５０１、距離差算出部５０２、上限設定部５０３、クリッピング部５０４、重み係数算出部５０５、および加算平均部５０６と双方向に接続されている。

バッファ１０５からの映像信号は、画像バッファ５００に一時的に保存された後、局所領域抽出部５０１に転送される。局所領域抽出部５０１は、被写体映像の中の注目領域を構成するそれぞれの注目画素を中心とする所定の画素単位サイズの局所領域、例えば５×５画素単位の局所領域を抽出し、局所領域中に属する画素の映像信号を、距離差算出部５０２および加算平均部５０６へ転送する。

ここで、図４は、映像画像を説明するための説明図である。注目画素２１とは、例えば、合焦位置にある特定の被写体１０Ａの映像の画素１９であり、注目領域２２を構成する画素１９である。言い換えれば注目領域２２とは被写体１０の映像画像２０全体の中で、合焦位置にある特定の被写体１０Ａの映像画像の領域である。そして、注目領域２２は全て合焦画素から構成されているのに対して、局所領域２４は合焦画素である注目画素２１を中心としているが合焦画素と非合焦画素とから構成されており、近傍領域２３は非合焦画素から構成されている。図４から明らかなように近傍領域２３は注目領域２２に隣接する領域である。さらに具体的には、近傍領域２３は注目領域２２の外縁部に沿って、画素数として「（局所領域の画素数―１）／２」の幅を持った領域としてもよい。言い換えれば、近傍領域２３は合焦画素からＮ画素の範囲にある非合焦画素の領域であり、例えば、Ｎは１以上の整数である。なお、図４は１箇所の注目領域２２を含む映像画像２０の一部の画像２０Ａを表示しているが、映像画像２０は複数の注目領域２２を含んでいても良い。

距離情報取得部１０８で得られた距離は、距離差算出部５０２へ転送される。

距離差算出手段である距離差算出部５０２は、局所領域内の各画素に対応する距離から注目画素に対応する距離を減算することで各画素に対応する距離差の絶対値を算出し、クリッピング部５０４へ転送する。

上限設定手段である上限設定部５０３は、外部Ｉ／Ｆ部１１６から制御部１１５を介して得られる合焦条件またはシーンモード等の情報に基づき、距離差絶対値の上限値である距離差上限値を設定する。上限設定部５０３は、距離差絶対値が無限大となり計算が困難になるのを防ぐために設けられたものであり、制御部１１５を介して手動で設定することも可能である。例えば、シーンモードがマクロ撮影モードである場合は、注目領域と近傍領域との距離差は全体的に小さくなるので、距離差上限値を小さな値とする。逆に、風景と人物を同時に撮影するような場合は、注目領域と近傍領域との距離差が大きくなるので、距離差上限値を大きな値とする。上限設定部５０３が設定した距離差上限値は、クリッピング部５０４へ転送される。

クリッピング手段であるクリッピング部５０４は、距離差算出部５０２から転送された局所領域内の各画素に対応する距離差の絶対値に対して、距離差上限値に基づき、クリッピング処理を行う。ここで、クリッピング処理とは、距離差上限値を超える距離差絶対値を距離差上限値で置き換える処理である。クリッピング処理後の局所領域内の画素の距離差絶対値は、重み係数算出手段である重み係数算出部５０５へ転送される。

ここで、図５は、撮像装置１１の重み係数算出部の構成図である。図５に示すように、重み係数算出部５０５は、関数演算部６００と、分布係数を記録した係数ＲＯＭ６０１とを有する。重み係数算出部５０５は、クリッピング処理後の距離差絶対値に基づき、局所領域内の各画素に対する重み係数を算出する。

図５に示すように、クリッピング部５０４および係数ＲＯＭ６０１は関数演算部６００に接続している。関数演算部６００は加算平均部５０６に接続している。制御部１１５は関数演算部６００と双方向に接続されている。クリッピング処理後の局所領域内の距離差の絶対値は、関数演算部６００に転送される。

関数演算部６００では、所定の分布係数を係数ＲＯＭ６０１から読み出し、局所領域内の各画素に対応する距離差絶対値に基づく重み係数の算出を行う。例えば、重み係数は以下の式１を用いて求める。

（式１）

ここで、（ｉ、ｊ）は注目画素の座標を、(ｊ＋ｍ、ｊ＋ｎ)は注目画素（ｉ、ｊ）から水平方向にm、垂直方向にn画素だけ離れた近傍画素の座標を、Wは局所領域の画素サイズ（例えば、Ｗ＝５）を、ｗ（ｊ＋ｍ、ｊ＋ｎ)は座標(ｊ＋ｍ、ｊ＋ｎ)の画素における重み係数を示している。また、d（ｉ、ｊ）は座標（ｉ、ｊ）の画素における距離情報の値を表し、σdは距離差に対する重み係数を表すガウス分布の標準偏差を表す分布係数である。分布係数σdは予め係数ＲＯＭ６０１に記録しておく。

式１より明らかなように、重み係数算出部５０５における演算処理では、注目画素の距離情報と近傍画素の距離差の絶対値が大きくなると、それに応じて近傍画素に対する重み係数が小さくなる。距離差絶対値が小さい近傍画素の映像信号を用いて加算平均を算出するため、距離差絶対値が大きい領域ではエッジ成分を保存する平滑化処理が行われる。

重み係数算出部５０５が算出した重み係数は、加算平均手段である加算平均部５０６へ転送される。加算平均部５０６では、重み係数算出部５０５で算出された重み係数に基づき、局所領域抽出部５０１で得られた局所領域内の各画素の映像信号に対する加算平均を求める。算出した加算平均は、注目画素の映像信号と置き換えられる。加算平均後の注目画素の映像信号は、補間部１１１へ転送される。

以上の説明の本実施形態の撮像装置１１では、距離差絶対値の大きい領域と小さい領域とでノイズ低減処理の強度を変えることで、映像信号の差の小さい微小なエッジ成分に対して過度の処理を行わないため、高品位な映像信号を得ることができる。

また、本実施形態の映像信号の補正処理方法では、高品位な映像信号を得ることができる。

＜第１実施形態の変形例＞
以下、図面を参照して本発明の第１実施形態の変形例の撮像装置１１Ｂについて説明する。本変形例の撮像装置１１Ｂは、第１実施形態の撮像装置１１と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。

第１実施形態の撮像装置１１の重み係数算出部５０５は、関数演算部６００が関数を用いて重み係数を算出する構成となっていた。
これに対して、本変形例の撮像装置１１Ｂの重み係数算出部５０５Ｂは、予め距離差絶対値と重み係数との対応関係が記録されている係数記録テーブルであるテーブルＲＯＭを参照して重み係数を求める。

図６に示すように、撮像装置１１Ｂの重み係数算出部５０５Ｂは、テーブル演算部６０２とテーブルＲＯＭ６０３とを有する。

クリッピング部５０４およびテーブルＲＯＭ６０３はテーブル演算部６０２に接続している。テーブル演算部６０２は加算平均部５０６に接続している。制御部１１５はテーブル演算部６０２と双方向に接続されている。テーブル演算手段であるテーブル演算部６０２は、テーブルＲＯＭ６０３を参照し、クリッピング部５０４から転送される局所領域内の距離差絶対値に対応する重み係数を算出する。テーブルＲＯＭ６０３に記録されているテーブル（対応表）は予め定められているものであり、例えば、一定の間隔でサンプリングされた距離差絶対値に対して、式１の関数を用いて重み係数を算出し、距離差絶対値と重み係数との関係を対応付けることで定めることができる。重み係数算出部５０５Ｂが算出した重み係数は、加算平均部５０６へ転送される。

以上の説明の本変形例の撮像装置１１Ｂは、第１実施形態の撮像装置１１と同様の効果を有するだけでなく、テーブル演算処理は実装化が容易であるために、撮像装置１１と比較して、より高速かつ低コストなシステムを構築できる。また、本変形例の映像信号の補正処理方法では、第１実施形態の映像信号の補正処理方法と同様の効果を有するだけでなく、第１実施形態の映像信号の補正処理方法と比較して、より高速かつ低コストなシステムを構築できる。

＜第２実施形態＞
以下、図面を参照して本発明の第２実施形態の撮像装置１１Ｃについて説明する。本実施の形態の撮像装置１１Ｃは、第１実施形態の撮像装置１１と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。

図７は、本実施の形態の撮像装置１１Ｃのノイズ低減部１１０Ｃの構成を示す構成図である。ノイズ低減部１１０Ｃは、図３に示した第１実施形態のノイズ低減部１１０の構成に信号差算出部５０７および座標差算出部５０８を追加した構成になっている。

図７に示すように、局所領域抽出部５０１は、信号差算出部５０７および座標差算出部５０８に接続している。信号差算出部５０７および座標差算出部５０８は、重み係数算出部５０５に接続している。制御部１１５は、信号差算出部５０７および座標差算出部５０８と双方向に接続されている。局所領域抽出部５０１で得られた局所領域内の映像信号は、信号差算出部５０７および座標差算出部５０８へ転送される。信号差算出手段である信号差算出部５０７は、局所領域内の各画素の映像信号と注目画素の映像信号との差の絶対値を算出する。信号差算出部５０７の処理を、式で表すと以下の式２のようになる。

（式２）

ここで、f（ｉ、ｊ）は座標（ｉ、ｊ）の画素の映像信号を、dS(ｊ＋ｍ、ｊ＋ｎ)は座標(ｊ＋ｍ、ｊ＋ｎ)の画素における注目画素の映像信号との差の絶対値を表す。局所領域内の各画素に対応する映像信号の差の絶対値は、重み係数算出部５０５へ転送される。

座標差算出手段である座標差算出部５０８は、局所領域内の各画素の２次元座標値と注目画素の２次元座標値の差である画素間の距離を算出する。なお、被写体１０と撮像装置１１Ｃの間の距離である撮影距離ｄと区別するため、画素間の距離を「座標値の差の絶対値」という。座標値の差の絶対値を式で表すと以下の式３のようになる。

（式３）

ここで、ｄＣ（ｊ＋ｍ、ｊ＋ｎ)は座標(ｊ＋ｍ、ｊ＋ｎ)の画素における注目画素の座標値との差の絶対値を表す。算出した座標値の差の絶対値は、重み係数算出部５０５Ｃへ転送される。

図８は、撮像装置１１Ｃの重み係数算出部の構成図である。撮像装置１１Ｃの重み係数算出手段である重み係数算出部５０５Ｃは、クリッピング部５０４、信号差算出部５０７および座標差算出部５０８から転送される距離差絶対値、映像信号の差の絶対値、座標値の差の絶対値に基づき、局所領域内の各画素に対する重み係数を算出する。

図８に示すように、重み係数算出部５０５Ｃの構成は、図５に示した第１の実施の形態の撮像装置１１の重み係数算出部５０５の構成に分散算出部６０４と、係数設定部６０５と、第２係数ＲＯＭ６０６とを追加した構成になっている。

クリッピング部５０４は分散算出部６０４および関数演算部６００に接続している。分散算出部６０４および係数ＲＯＭ６０１は、係数設定部６０５に接続されている。信号差算出部５０７および座標差算出部５０８は、関数演算部６００に接続している。係数設定部６０５および第２係数ＲＯＭ６０６もまた、関数演算部６００に接続している。制御部１１５は、分散算出部６０４および係数設定部６０５と双方向に接続されている。

分散算出手段である分散算出部６０４では、クリッピング部５０４を介して得られる局所領域内の距離差絶対値の分散vを算出し、係数設定部６０５に転送する。調整手段である係数設定部６０５は、係数ＲＯＭ６０１から距離差絶対値に対する重み係数を表すガウス分布の標準偏差である分布係数σdを読み込み、分散算出部６０４で算出した距離差絶対値の分散vに応じて分布係数σdの値を変換する。

具体的には、係数設定部６０５は、距離差の絶対値の分散vが大きい場合は、その局所領域内にエッジ成分となる画素が含まれると判断し、分布係数σdの値を小さくすることでノイズ低減処理の強度を弱める。反対に、分散vが小さい場合は、その局所領域は映像信号の振幅の小さい平坦な領域であると判断し、分布係数σdの値を大きくすることでノイズ低減処理の強度を強くする。

図９に、距離差の絶対値の分散vと分布係数σdとの関係をプロットした図を示す。図９に示した係数設定部６０５の処理では、分散vに対して分布係数σdが線形に減少する変換を行っている。ただし、分散vが所定の値vth以上になった場合には分布係数σdの値を固定化、いわゆる、クリップ、している。これは、分散vが大きくなった場合に分布係数σdが微小な値となり、実質的にノイズ低減処理が行われなくなるのを防ぐためである。

係数設定部６０５で設定された分布係数σdは、関数演算部６００に転送される。関数演算部６００では、係数設定部６０５で算出した分布係数σdと、クリッピング部５０４から転送される距離差絶対値と、信号差算出部５０７から転送される映像信号の差の絶対値と、座標差算出部５０８から転送される座標値の差の絶対値、とに基づき、以下の（式４）を用いて局所領域内の各画素に対する重み係数を算出する。

（式４）

σ1は座標値の差の絶対値に対する重み係数を表すガウス分布の標準偏差を表す係数を示し、σ2は映像信号の差の絶対値に対する重み係数を表すガウス分布の標準偏差を表す係数を示す。σ1およびσ2は予め決められている所定の値で第２係数ＲＯＭ６０６に保存されている。関数演算部６００は（式４）の計算のときに第２係数ＲＯＭ６０６からσ1およびσ2を読み込む。算出した重み係数は、加算平均部５０６へ転送される。

ここで、図１０を用いて、第３実施形態の撮像装置１１Ｃにおけるノイズ低減処理の流れについて説明する。図１０は、第３実施形態の撮像装置１１Ｃにおけるノイズ低減処理の流れを説明するためのフローチャートである。

以下、図１０のフローチャートに従い説明する。

＜ステップＳ２０＞ 撮影ステップ
撮像装置１１Ｃでは、シーンモードの設定等に従い、制御部１１５の制御により特定の被写体１０Ａに焦点のあった合焦画像を得る撮影ステップが実行される。すなわち、撮像手段であるＣＣＤ１０２により、特定の被写体１０Ａを含む被写体１０の映像画像の映像信号が出力される。

＜ステップＳ２１＞ 撮影距離取得ステップ
映像信号を構成する個々の画素の映像信号のぞれぞれに対して、撮像装置１１Ｃと被写体１０の間の撮影距離が距離情報取得部１０８により算出される。

＜ステップＳ２２＞ 局所領域抽出ステップ
局所領域抽出部５０１は、特定の被写体１０Ａを構成する注目画素を中心とする、例えば５×５画素サイズの局所領域を抽出する。

＜ステップＳ２３＞ 撮影距離差算出ステップ
距離差算出部５０２は局所領域内の各画素に対して、注目画素の撮影距離との差の絶対値を算出する。

＜ステップＳ２４＞ 距離差上限値設定ステップ
制御部１１５は、上限設定部に設定されている距離差の絶対値の上限値を読み込む。

＜ステップＳ２５＞ クリッピング処理ステップ
クリッピング部５０４は、ステップＳ２４で得られた上限値に基づき、局所領域内の各画素に対する距離差の絶対値に対してクリッピング処理を行う。

＜ステップＳ２６＞ 映像信号差算出ステップ
信号差算出部５０７は、局所領域内の各画素に対して、注目画素の映像信号との差の絶対値を算出する。

＜ステップＳ２７＞ 座標差算出ステップ
座標差算出部５０８は、局所領域内の各画素に対して、注目画素の座標値との差の絶対値を算出する。

＜ステップＳ２８＞ 重み係数算出ステップ
重み係数算出部５０５Ｃは、Ｓｔｅｐ２５、Ｓｔｅｐ２６およびＳｔｅｐ２7から得られた距離差の絶対値、映像信号の差の絶対値、および座標値の差の絶対値に基づき、局所領域内の各画素に対する重み係数を算出する。

＜ステップＳ２９＞ 加算平均ステップ
加算平均部２０６は、Ｓｔｅｐ２８から得られた重み係数に基づき局所領域内の重み付け加算平均を算出し、算出した加算平均で注目画素の映像信号を置き換える。

＜ステップＳ３０＞
全画素に対する処理が完了したか否かを判断し、完了していない場合（Ｎｏ）はＳｔｅｐ２２に戻り、全画素に対する処理が完了するまで同様の処理を繰り返す。全画素に対するノイズ低減処理が完了した場合（Ｙｅｓ）には、ノイズ低減部１１０は、補間部１１１に処理後の映像信号を転送する。

＜ステップＳ３１＞
公知の補間処理が補間部１１１において行われ、色変換、階調変換、およびエッジ強調処理などが信号処理部１１２において行われる。

＜ステップＳ３２＞
公知のＪＰＥＧ等の圧縮処理が圧縮部１１３において行われる。

＜ステップＳ３２＞
処理後の映像信号を出力部１１４に出力し、撮像装置１１Ｃの処理は終了する。

第３実施形態の撮像装置１１Ｃは、第１実施形態の撮像装置１１と同様に、距離情報に基づき適応的にノイズ低減処理の強度を制御するため、映像信号の領域毎に最適なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。また、撮像装置１１Ｃは注目画素との距離差の絶対値に応じて加算平均時の重み係数を決定しているため、例えば、局所領域内で距離差の絶対値が大きければ、微小なエッジ成分に対しても劣化の少ないノイズ低減処理を行うことが可能となる。
また、第３実施形態の映像信号の補正処理方法は、第１実施形態の映像信号の補正処理方法が有する効果に加えて、さらに微小なエッジ成分に対しても劣化の少ないノイズ低減処理を行うことが可能となる。

撮像装置１１Ｃでは、距離差の絶対値の分散に応じてガウス分布の標準偏差を変換しているが、これに限定されることはなく、例えば図８に示す重み係数算出部５０５Ｃにおいて、局所領域抽出部５０１から得られる局所領域内の距離情報を分散算出部６０４に転送し、分散算出部６０４にて距離情報の分散を算出する構成も可能である。この構成の場合、距離情報の分散に基づきガウス分布の標準偏差を変換する。

なお、撮像装置１１等ではベイヤー型の原色カラーフィルタを前面に配置した単板ＣＣＤを対象としているが、これに限定されることはなく、補色のカラーフィルタを前面に配置した単板ＣＣＤや、三板ＣＣＤに適用することも可能である。

また、撮像装置１１等ではガウス分布に基づき重み係数を算出しているが、これに限ることはなく、ラプラス分布や有理関数に基づき算出することも可能である。

さらに、撮像装置１１等ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのＲａｗデータとし、制御部１１５からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

なお、撮像装置１１等では距離情報に基づき映像信号に対するノイズ低減処理を制御する構成となっているが、ノイズ低減処理に限ることはなく、例えば画素欠陥を補間するときに距離情報を用いることも可能である。画素欠陥の補間を行う場合は、映像信号全体に対する距離情報をステレオ測距などで予め求めておき、欠陥のある画素位置と距離情報とを対応付け、画素欠陥部と同等の距離情報を持つ近傍画素の情報を用いて補間を行うこともできる。

本発明は、上述した実施の形態および変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１０、１０Ａ、１０Ｂ…被写体、１１、１１Ｂ、１１Ｃ…撮像装置、２０…映像画像、２１…注目画素、２２…注目領域、２３…近傍領域、２４…局所領域、１００…レンズ系、１０２…ＣＣＤ、１０３…モータ、１０４…変換器、１０５…バッファ、１０６…測光評価部、１０７…レンズ制御部、１０８…距離情報取得部、１０９…相対距離算出部、１１０…ノイズ低減部、１１０Ｃ…ノイズ低減部、１１１…補間部、１１２…信号処理部、１１３…圧縮部、１１４…出力部、１１５…制御部、１１６…外部Ｉ／Ｆ部、２０６…加算平均部、５００…画像バッファ、５０１…局所領域抽出部、５０２…距離差算出部、５０３…上限設定部、５０４…クリッピング部、５０５…係数算出部、５０５Ｂ…係数算出部、５０５Ｃ…係数算出部、５０６…加算平均部、５０７…信号差算出部、５０８…座標差算出部、６００…関数演算部、６０２…テーブル演算部、６０４…分散算出部、６０５…係数設定部

Claims (18)

1. 被写体を撮影し映像画像の映像信号を出力する撮像手段と、
   前記映像信号に対応した、前記被写体と前記撮像手段との間の距離である撮影距離を取得する測距手段と、
   前記映像画像の一部を構成する特定の被写体の前記映像画像である注目領域の前記映像信号の前記撮影距離と、前記注目領域に隣接する隣接領域の前記映像信号の前記撮影距離と、に基づき、前記注目領域の前記映像信号に対する補正処理を行う補正処理手段と、を有することを特徴とする撮像装置。
2. 前記補正処理はノイズ低減処理であり、前記補正処理手段はノイズ低減手段であることを特徴とする請求項１に記載の撮像装置。
3. 前記ノイズ低減手段は、
   前記注目領域の前記映像信号の前記撮影距離と、前記隣接領域の前記映像信号の前記撮影距離との差である距離差を算出する距離差算出手段と、
   前記距離差に基づき、前記注目領域の映像信号および前記隣接領域の映像信号に対する重み係数を算出する重み係数算出手段と、
   前記重み係数に基づき、前記注目領域の映像信号と前記隣接領域の映像信号とを重み付け加算平均した加算平均映像信号を算出し、前記加算平均映像信号を前記注目領域の前記映像信号と置き換える加算平均手段と、を有することを特徴とする請求項２に記載の撮像装置。
4. 前記ノイズ低減手段は、
   前記注目領域の前記映像信号と前記隣接領域の前記映像信号との差である映像信号差を算出する信号差算出手段と、
   前記注目領域の前記映像画像における座標値と前記隣接領域の前記映像画像における座標値との差である座標値差を算出する座標差算出手段と、
   前記距離差と映像信号差と座標値差とに基づき、重み係数を算出する重み係数算出手段と、
   前記重み係数に基づき、前記注目領域の前記映像信号と前記隣接領域の前記映像信号とを重み付け加算平均した加算平均映像信号を算出し、前記加算平均映像信号を前記注目領域の前記映像信号に置き換える加算平均手段と、を有することを特徴とする請求項３に記載の撮像装置。
5. 前記重み係数算出手段は、
   前記距離差の分布の標準偏差を表す分布係数を用いて、前記映像信号に対する重み係数を算出する、重み係数算出関数手段を有することを特徴とする請求項３または請求項４に記載の撮像装置。
6. 前記重み係数算出手段は、
   前記距離差の絶対値に対応した前記重み係数を記録する係数記録テーブルと、
   前記係数記録テーブルをもとに前記重み係数を算出するテーブル演算手段と、を有することを特徴とする請求項３または請求項４に記載の撮像装置。
7. 前記距離差算出手段は、
   前記距離差の絶対値に対して距離差上限値を設定する距離差上限設定手段と、
   前記距離差の絶対値が前記距離差上限値を超える場合に、前記距離差の絶対値を前記距離差上限値に置き換えるクリッピング手段と、を有することを特徴とする請求項３または請求項４に記載の撮像装置。
8. 前記重み係数算出手段は、
   前記注目領域と前記注目領域の隣接領域との映像信号に対応した前記撮影距離の分散を算出する分散算出手段と、
   前記撮影距離の前記分散に基づき前記分布係数を調整する調整手段と、を有することを特徴とする請求項５に記載の撮像装置
9. 前記重み係数算出手段は、前記距離差の絶対値が大きい程、より小さな重み係数を算出することを特徴とする請求項３または請求項４に記載の撮像装置。
10. 撮像手段により被写体を撮影し映像画像の映像信号を出力する撮影ステップと、
    前記映像信号に対応した前記被写体と前記撮像手段との間の距離である撮影距離を取得する距離情報取得ステップと、
    前記映像画像の一部を構成する特定の被写体の前記映像画像である注目領域の前記映像信号の前記撮影距離と、前記注目領域の隣接領域の前記映像信号の前記撮影距離と、に基づき、前記注目領域の前記映像信号に対する補正処理を行う補正処理ステップと、を有することを特徴とする映像信号の補正処理方法。
11. 前記補正処理はノイズ低減処理であることを特徴とする請求項１０に記載の映像信号の補正処理方法。
12. 前記補正処理ステップは、
    前記注目領域の前記映像信号の前記撮影距離と、前記隣接領域の前記映像信号の前記撮影距離との差である距離差を算出する距離差算出ステップと、
    前記距離差に基づき、前記注目領域の映像信号および前記隣接領域の映像信号に対する重み係数を算出する重み係数算出ステップと、
    前記重み係数に基づき、前記注目領域の映像信号と隣接領域の映像信号とを重み付け加算平均した加算平均映像信号を算出し、前記加算平均映像信号を前記注目領域の前記映像信号と置き換える加算平均ステップと、を有することを特徴とする請求項１１に記載の映像信号の補正処理方法。
13. 前記補正処理ステップは、
    前記注目領域の前記映像信号と前記隣接領域の前記映像信号との差である映像信号差を算出する信号差算出ステップと、
    前記注目領域の前記映像画像における座標値と前記隣接領域の前記映像画像における座標値との差である座標値差を算出する座標差算出ステップと、
    前記距離差と映像信号差と座標値差とに基づき、重み係数を算出する重み係数算出ステップと、
    前記重み係数に基づき、前記注目領域の前記映像信号と前記隣接領域の前記映像信号とを重み付け加算平均した加算平均映像信号を算出し、前記加算平均映像信号を前記注目領域の前記映像信号に置き換える加算平均ステップと、を有することを特徴とする請求項１１に記載の映像信号の補正処理方法。
14. 前記重み係数算出ステップは、
    前記距離差の分布の標準偏差を表す分布係数を用いて、前記映像信号に対する重み係数を算出する、重み係数算出関数ステップを有することを特徴とする請求項１２または請求項１３に記載の映像信号の補正処理方法。
15. 前記重み係数算出ステップは、
    前記距離差の絶対値に対応した前記重み係数を記録する係数記録テーブルをもとに前記重み係数を算出するテーブル演算ステップ、を有することを特徴とする請求項１２または請求項１３に記載の映像信号の補正処理方法。
16. 前記距離差算出ステップは、
    前記距離差の絶対値に対して距離差上限値を設定する距離差上限設定ステップと、
    前記距離差の絶対値が前記距離差上限値を超える場合に、前記距離差の絶対値を前記距離差上限値に置き換えるクリッピングステップと、を有することを特徴とする請求項１２または請求項１３に記載の映像信号の補正処理方法。
17. 前記重み係数算出ステップは、
    前記注目領域と前記注目領域の隣接領域との映像信号に対応した前記撮影距離の分散を算出する分散算出ステップと、
    前記撮影距離の前記分散に基づき前記分布係数を調整する調整ステップと、を有することを特徴とする請求項１４に記載の映像信号の補正処理方法。
18. 前記重み係数算出ステップは、前記距離差の絶対値が大きい程、より小さな重み係数を算出することを特徴とする請求項１２または請求項１３に記載の映像信号の補正処理方法。

Images