JP5948073B2 - 画像信号処理装置、画像信号処理方法 - Google Patents

Description

本発明は，画像信号処理装置、撮像装置および画像処理プログラムに関する。例えば，ノイズ補正と，信号レベルを変化させる種々の画像補正とを行う画像信号処理装置等に関する。

本技術の背景分野として，例えば特許文献１がある。特許文献１には，「低輝度，高輝度部分のノイズを抑えつつ該輝度部分の高コントラストを実現し，且つ，画像の特徴部分の高コントラストを実現する」ことを目的とし，「入力輝度信号の値に連動し任意の領域毎に入出力特性の変化を制御する第１領域入出力特性制御手段３と，第１領域入出力特性制御手段の出力に応じ輝度信号の入出力特性を変化させる第１領域輝度信号補正手段１と，第１領域輝度信号補正手段の出力に連動し任意の領域毎に入出力特性の変化を制御する第２領域入出力特性制御手段２と，第２領域入出力特性制御手段の出力に応じ輝度信号の入出力特性を変化させる第２領域輝度信号補正手段２と，第１領域入出力特性制御手段の出力と第２領域入出力特性制御手段の出力を利用し入力色信号の入出力特性の変化を制御する色信号入出力特性制御手段５と，色信号入出力特性制御手段の出力に応じ色信号の入出力特性を変化させる色信号補正手段６とを有する」という技術が開示されている。

特開２０１０−２７８９３７号公報

近年，入力画像の全体または領域毎のヒストグラムを参照して画像処理による信号伸張や階調補正などを行うことで，様々なシーンにおける視認性の向上を実現する画像補正機能の実用化が進んでいる。画像補正機能としては例えば，逆光補正機能や霧・かすみ補正機能，広ダイナミックレンジ機能などがあり，民生カメラや監視カメラ等に採用されている。

上記特許文献１では，コントラスト向上を実現するための技術について記載している。但し，信号を伸張することでコントラストと同時に入力画像に元来存在するノイズ成分も強調されるが，上記特許文献１ではコントラスト補正に伴うノイズの点では考慮がない。

本発明は、上記課題を解決し、適切にノイズを抑制した高画質な画像信号を低コストで生成することが可能な画像信号処理装置、撮像装置および画像処理プログラムを提供するものである。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、次の通りである。
例えば、画像信号に対し信号レベルを補正する画像補正を行う際に，画像補正の補正強度に応じてノイズ補正の補正強度を制御することを特徴とする画像信号処理装置である。これにより，ノイズが強調されることを抑制し，高画質化が実現できる。また，画像補正処理における補正強度と基準となる画像補正処理の入出力特性を元に画像補正処理による信号の伸張率を推定し，推定結果に連動してノイズ補正の補正強度を制御する画像信号処理装置である。これにより，ノイズ補正の補正強度の制御を制御ソフトウェアで行うことが可能であり，低コスト化が実現できる。

また、画像信号を入力する画像信号入力手段と，該画像信号入力手段より入力された画像信号にノイズ補正処理を行いノイズ補正した画像信号を出力するノイズ補正手段と，該ノイズ補正手段の出力した画像信号に信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正手段と，該画像信号補正手段における信号レベル補正処理の補正強度を決定して該信号レベル補正処理の入出力特性を変化させる画像信号補正強度制御手段と，該画像信号補正強度制御手段の決定した補正強度を元に前記画像信号補正手段の信号レベル補正処理による信号伸張の度合いを推定する信号伸張推定手段と，該信号伸張推定手段の推定した信号伸張の度合いに連動して前記ノイズ補正手段におけるノイズ補正処理の補正強度を演算して制御するノイズ補正強度制御手段と，を備えることを特徴とする画像信号処理装置である。

また、被写体を撮像して得た画像信号を出力する撮像手段と、前記撮像手段からの画像信号に対して、前記画像信号の信号レベル補正処理の補正強度に応じて制御された補正強度によるノイズ補正処理をして出力する画像信号処理手段と、を備え、前記画像信号処理手段は、前記信号レベル補正処理の補正強度に基づいて推定された前記信号レベル補正処理による信号伸張の度合いに連動して、前記ノイズ補正処理の補正強度を制御することを特徴とする撮像装置である。

本発明によれば，画像補正の効果に応じて適切にノイズを抑制した高画質な画像信号を低コストで生成することが可能な画像信号処理装置、撮像装置および画像処理プログラムを提供することができる。

本発明の第１実施例に係る画像信号処理装置を示す第一の模式図である。 本発明の第１実施例に係る統計情報を用いた信号レベル補正の補正強度制御方法の一例を示す第１の図である。 本発明の第１実施例に係る信号レベル補正方法の一例を示す第１の図である。 本発明の第１実施例に係る統計情報を用いた信号レベル補正の補正強度制御方法の一例を示す第２の図である。 本発明の第１実施例に係る信号レベル補正方法の一例を示す第２の図である。 本発明の第１実施例に係るノイズ補正の補正強度制御方法の一例を示す図である。 本発明の第１実施例に係るガウシアンフィルタによるノイズ補正方法の一例を示す図である。 本発明の第１実施例に係るガウシアンフィルタによるノイズ補正の補正強度制御方法の一例を示す第１の図である。 本発明の第１実施例に係るガウシアンフィルタによるノイズ補正の補正強度制御方法の一例を示す第２の図である。 本発明の第１実施例に係る三次元ノイズ補正処理によるノイズ補正方法の一例を示す図である。 本発明の第１実施例に係る三次元ノイズ補正処理を用いた場合のノイズ補正の補正強度制御方法の一例を示す図である。 本発明の第１実施例に係る画像信号処理装置を示す第二の模式図である。 本発明の第１実施例に係る信号レベル補正方法の一例を示す第３の図である。 本発明の第１実施例に係る信号伸張推定情報の一例を示す第１の図である。 本発明の第１実施例に係る信号伸張推定情報を用いた信号伸張推定方法の一例を示す第１の図である。 本発明の第１実施例に係る信号伸張推定情報を用いた信号伸張推定方法の一例を示す第２の図である。 本発明の第１実施例に係る信号レベル補正方法の一例を示す第４の図である。 本発明の第１実施例に係る信号伸張推定情報の一例を示す第２の図である。 本発明の第１実施例に係る統計情報を用いた信号レベル補正の補正強度制御方法の一例を示す第３の図である。 本発明の第１実施例に係る信号伸張推定情報の一例を示す第３の図である。 本発明の第２実施例に係る画像信号処理装置を示す模式図である。 本発明の第２実施例に係る信号伸張推定方法の一例を示す図である。 本発明の第２実施例に係るノイズ補正強度制御方法の一例を示す図である。 本発明の第３実施例に係る画像信号処理装置を示す模式図である。 本発明の第３実施例に係るエッジ強調の強調強度制御方法の一例を示す図である。 本発明の第４実施例に係る画像信号処理装置を示す模式図である。 本発明の第４実施例に係る露光制御情報によるノイズ補正の補正強度中間値の制御方法の一例を示す図である。 本発明の第４実施例に係る信号伸張度によるノイズ補正の補正強度制御方法の一例を示す図である。 本発明の第４実施例に係る露光制御情報と信号伸張度によるノイズ補正の補正強度制御方法の一例を示す図である。 本発明の第４実施例に係るバイラテラルフィルタによるノイズ補正処理の一例を示す図である。 本発明の第４実施例に係るバイラテラルフィルタによるノイズ補正のノイズ判別度合いの制御方法の一例を示す図である。 本発明の第４実施例に係るバイラテラルフィルタによるノイズ補正の補正強度の制御方法の一例を示す図である。 本発明の第４実施例に係る動き適応型の３次元ノイズ補正処理の一例を示す図である。 本発明の第４実施例に係る動き適応型の３次元ノイズ補正のノイズ判別度合いの制御方法の一例を示す図である。 本発明の第４実施例に係る動き適応型の３次元ノイズ補正の補正強度の制御方法の一例を示す図である。 本発明の第４実施例に係る信号レンジ補正処理の補正強度制御方法の一例を示す図である。 本発明の第５実施例に係るエッジ強調の強調強度制御方法の一例を示す図である。

以下，図面を用いて本発明の実施例を説明する。

図１は，本発明の第１実施例に係る画像信号処理装置を示す第一の模式図である。図１において，０１０１は画像信号入力部，０１０２はノイズ補正部，０１０３は画像信号補正部，０１０４は統計情報取得部，０１０５は信号補正強度制御部，０１０６は信号伸張推定部，０１０７はノイズ補正強度制御部である。

図１に示した画像信号処理装置において，画像信号入力部０１０１は，映像ケーブルと接続したキャプチャボードやＬＡＮ，ＵＳＢなどを介して撮像機器ないし映像機器と接続し，画像信号を入力する。あるいは，画像信号入力部０１０１がレンズおよび撮像素子およびＡ／Ｄ変換部を備え，撮像処理を行うことで画像信号を生成するといった形態を取っても良い。あるいは，不図示の画像記録部にあらかじめ格納された画像信号の読み込みを行うといった形態を取っても良い。

ノイズ補正部０１０２は，画像信号入力部０１０１より入力した画像信号を取得し，ガウシアンフィルタ等の平滑化フィルタやメディアンフィルタ等のノイズ成分を除去する効果のある空間フィルタを用いた二次元ノイズ補正処理や，画像信号入力部０１０１より入力した画像信号が動画像であった場合に，時間軸方向の信号レベルの加重平均を取ることでランダムノイズを補正する三次元ノイズ補正処理等の信号処理を実施し，ノイズを補正した画像信号を生成して出力する。このとき，特性の異なる複数の種類の二次元ノイズ補正処理または三次元ノイズ補正処理を多段的に組み合わせて用いたり，同じ入力信号に並行して異なる処理を行ってから合成したりすることにより，特性の異なるノイズ成分を除去できる構成としても良い。また，入力する画像信号を前処理で低周波成分と高周波成分に分離し，それぞれに対し異なるノイズ補正処理を行うことでエッジの精細感を残しながらノイズのみを効果的に除去できる構成としても良い。

画像信号補正部０１０３は信号補正強度制御部０１０５の出力する信号レベル補正の補正強度を元に画像信号の入出力特性を決定し，その入出力特性に基づきノイズ補正部０１０２より入力した画像信号の画素毎の信号値である信号レベルを補正して出力信号を生成する。画像信号補正部０１０３の実施する画像信号の補正は信号レベルを補正することによる逆光補正や霧・かすみ補正，広ダイナミックレンジ化処理等を含み，例えば，予め入力値に対する出力値の対応を関数の係数や対応付けのルックアップテーブルとして保持し，信号レベル補正の補正強度を元に関数の係数やルックアップテーブルの値を補正して入出力特性を定め，その入出力特性に基づき画像信号の信号レベルを変換することで実現できる。また，予め複数の補正強度に対応した補正のための関数の係数や対応付けのルックアップテーブルを複数保持し，処理時に信号補正強度制御部０１０５の出力する補正強度を元に使用する関数の係数や対応付けのルックアップテーブルを選択ないし補間して使用し，演算コストを低減することを図っても良い。また，入力する画像信号を複数の成分に分離してそれぞれ異なる補正処理を行い合成しても良い。例えば，前処理で低周波成分と高周波成分に分離し，それぞれに対し異なる信号レベル補正処理を行うことで被写体の明るさとエッジの精細感をそれぞれ補正することが可能である。また，画像信号中の領域毎に異なる入出力特性で信号レベル補正処理を行うことで，画像内の被写体ごとに最適な補正が行えるようにしても良い。なお，ノイズ補正部０１０２で実施するノイズ補正処理や，画像信号補正部０１０３で実施する信号レベル補正処理は，画像信号のうち輝度信号と色信号で異なる特性の処理を実施したり，あるいは，いずれか一方の信号のみに処理を実施するという構成とし，性能または計算コストの最適化を図ったりしても良い。

統計情報取得部０１０４はノイズ補正部０１０２の出力する画像信号を入力とし，信号値の統計情報を測定して出力する。ここで，統計情報とは，例えば画像信号中の各画素の信号値のヒストグラム分布，あるいは，平均値，最大値，最小値，標準偏差等の統計量であり，信号補正強度制御部０１０５が画像信号中のシーンを判別して，画像信号補正部０１０３が信号レベルを補正する際の補正強度を適正にするために使用する。このとき，画像信号中の予め定めた所定の領域内の画素の信号値の統計情報を取得したり，画像認識により検出された被写体の存在する領域内の画素の信号値の統計情報を取得したり，あるいは，信号値が所定の範囲内の画素についてのみ統計情報を取得することでシーンの判別性能の向上を図っても良い。例えば，画像信号補正部０１０３が画像信号中の領域毎に異なる入出力特性で信号レンジ補正処理を行う場合，その領域に合わせた単位で統計情報を取得することで，領域毎に最適な信号レンジ補正処理が実現できる。

信号補正強度制御部０１０５は統計情報取得部０１０４の出力する統計情報を元に画像信号中のシーンを判別して，画像信号補正部０１０３が信号レベルを補正する際の補正強度を決定する。画像信号補正部０１０３が画像信号中の領域毎に異なる入出力特性で信号レンジ補正処理を行う場合，その領域に合わせた単位で信号補正強度制御部０１０５が測定した統計情報を取得し，領域毎に補正強度を決定しても良い。この信号レベル補正処理の補正強度の制御方法については図２および図３を用いて後述する。

信号伸張推定部０１０６は信号補正強度制御部０１０５の決定した補正強度を元に画像信号補正部０１０３で行う信号レベルの補正により信号がどの程度増幅されたかを示す評価値である信号伸張度を推定する。信号伸張度の推定は一番簡単には信号レベル補正の補正強度が大きいほど信号伸張度が大きくなるよう正の相関を持たせた場合は信号レベル補正の補正強度をそのまま信号伸張度と看做して扱えばよい。また，信号レベル補正の補正強度と信号伸張度を対応付ける関数の係数や変換テーブルを元に信号レベル補正の補正強度から信号伸張度を算出することで精度を向上するようにしても良い。

ノイズ補正強度制御部０１０７は信号伸張推定部０１０６の推定した信号伸張度を元にノイズ補正部０１０２の行うノイズ補正処理の補正強度を決定し，制御する。ノイズ補正部０１０２はこの補正強度に基づきノイズ補正を行うことで，画像信号補正部０１０３が行う信号レベル補正処理の補正強度に応じてノイズ補正を行うことが可能となる。

なお，統計情報取得部０１０４がノイズ補正部０１０２の出力する画像信号のかわりに画像信号入力部０１０１の出力する画像信号より統計情報を取得する構成であっても構わない。また，信号補正強度制御部０１０５が統計情報取得部０１０４の出力する統計情報を用いずに不図示の入力部から入力した値を信号レベル補正処理の補正強度として決定する構成であっても構わない。この場合，画像信号中のシーンに連動した補正強度の制御ができないが，統計情報取得部０１０４を省略することができ，ソフトウェアで実現した場合の計算時間の低減やハードウェアで実現した場合の開発コスト低減を図ることができる。なお，ノイズ補正処理や信号レベル補正処理，統計情報取得処理，信号レベル補正の補正強度制御処理，信号伸張度推定処理，ノイズ補正の補正強度制御処理は，例えばパソコンであればＣＰＵ上のアプリケーション，組み込み機器であればマイコンやＤＳＰ，専用のＬＳＩなどにて実施される。また，信号処理であるノイズ補正処理や信号レベル補正処理，統計情報取得処理をＤＳＰ，専用のＬＳＩで実施し，制御処理である信号レベル補正の補正強度制御処理，信号伸張度推定処理，ノイズ補正の補正強度制御処理をマイコンで実施することで，コストや性能の最適化を図っても良い。

なお，図１で示した画像信号処理装置は複数のソフトウェアおよび複数のハードウェアで実現される構成としても良い。例えば，ノイズ補正処理と信号レベル補正処理および統計情報取得処理とを異なるＤＳＰや専用のＬＳＩで実施し，信号レベル補正の補正強度制御処理，信号伸張度推定処理およびノイズ補正の補正強度制御処理を共通のマイコンで実施するといった構成をとっても良い。また，ノイズ補正処理とノイズ補正の補正強度制御処理とを第一のＤＳＰおよびマイコンで，信号レベル補正処理，統計情報取得処理，信号レベル補正の補正強度制御処理，信号伸張度推定処理とを第二のＤＳＰおよびマイコンで実現するような構成としても良い。

図２は，本発明の第１実施例に係る信号レベル補正の補正強度制御方法の一例を示す第１の図である。本発明において信号レベル補正の補正強度制御処理は信号補正強度制御部０１０５で実施される。図２（ａ）は統計情報を用いた信号レベル補正の補正強度制御方法の一例を示す第１の図であり，図２（ｂ）は決定した補正強度により画像信号補正部０１０３が行う信号レベル補正方法の一例を示す第１の図で，ガンマ処理のような非線形の入出力特性を持った信号レベルの補正により，暗い領域の視認性を向上する処理を示している。図２（ａ）に示すように，統計情報取得部０１０４は統計情報として画像信号の輝度ヒストグラムの重心，すなわち輝度値の平均値を測定し，出力する。統計情報取得部０１０４は輝度ヒストグラムのみを出力し，信号補正強度制御部０１０５が入力した輝度ヒストグラムを元に重心を算出しても良い。信号補正強度制御部０１０５は輝度ヒストグラムの重心が小さい場合はシーンが暗いと判定して信号レベル補正処理の補正強度を大きくし，輝度ヒストグラムの重心が中心付近に存在する場合はシーンの明るさが適正に近いと判定して信号レベル補正処理の補正強度を小さくする。図２（ｂ）に示すように，画像信号補正部０１０３は信号補正強度制御部０１０５の決定した補正強度が大きい場合に入出力特性の暗部の傾きを大きくし，補正強度が小さい場合に入出力特性をリニアに近づける。これにより，画像信号中のシーンが暗い場合は明るくなるように画像信号を補正し，画像信号中のシーンが適正な明るさに近い場合は入力に近い画像信号とすることで，画像信号中のシーンによらず適正な明るさに補正した画像信号を生成することができる。

図３は，本発明の第１実施例に係る信号レベル補正の補正強度制御方法の一例を示す第２の図である。本発明において信号レベル補正の補正強度制御処理は信号補正強度制御部０１０５で実施される。図３（ａ）は統計情報を用いた信号レベル補正の補正強度制御方法の一例を示す第２の図であり，図３（ｂ）は決定した補正強度により画像信号補正部０１０３が行う信号レベル補正方法の一例を示す第２の図で，所定の範囲の信号レンジを拡大するような補正により，階調が乏しいシーンでの視認性を向上する処理を示している。図２（ａ）に示すように，統計情報取得部０１０４は統計情報として画像信号の輝度ヒストグラムより信号レンジを測定し，出力する。信号レンジは例えば輝度信号の最大値と最小値の差，あるいは所定の割合以上の出現頻度を持つ輝度信号の最大値と最小値の差として測定できる。統計情報取得部０１０４は輝度ヒストグラムのみを出力し，信号補正強度制御部０１０５が入力した輝度ヒストグラムを元に信号レンジを算出しても良い。信号補正強度制御部０１０５は輝度ヒストグラムの信号レンジが狭い場合は階調が乏しいと判定して信号レベル補正処理の補正強度を大きくし，輝度ヒストグラムの信号レンジが広い場合は階調が十分にあると判定して信号レベル補正処理の補正強度を小さくする。図３（ｂ）に示すように，画像信号補正部０１０３は信号補正強度制御部０１０５の決定した補正強度が大きい場合に信号レンジを大きく拡大するような入出力特性とし，補正強度が小さい場合に信号レンジをあまり拡大しないような入出力特性に近づける。これにより，画像信号中のシーンによらずコントラストを適正に補正した画像信号を生成することができる。

図４は，本発明の第１実施例に係るノイズ補正の補正強度制御方法の一例を示す図である。本発明においてノイズ補正の補正強度制御処理はノイズ補正強度制御部０１０７で実施される。図４に示すように，ノイズ補正強度制御部０１０７は信号伸張度推定部０１０６より取得した信号伸張度を元に，ノイズ補正部０１０２のノイズ補正処理の補正強度を制御する。このとき，信号伸張度が大きくなるにつれてノイズ補正処理の補正強度を大きくする。これにより，信号補正強度制御部０１０５が信号を伸張するように信号レンジ補正処理を行った場合，信号伸張度に応じてノイズの補正効果を強くすることで，ノイズ成分も同時に強調されることによる画質の低下を抑制することができる。このとき，図４に示すように，例えば所定の閾値１より信号伸張度が小さい場合に，ノイズ補正強度が最小値を下回らないようにすることで，信号レンジ補正処理の効果が弱い場合でも一定のノイズ補正を行うことができる。また，所定の閾値２より信号伸張度が大きい場合に，ノイズ補正強度が最大値を上回らないようにすることで，ノイズ補正がかかりすぎて精細感が過剰に損なわれることを防止することや，ノイズ補正強度が設定可能な範囲を超えないようにすることができる。また，図４では説明を簡易にするために信号伸張度とノイズ補正強度が閾値１と閾値２の間で線形に変化しているが，非線形に変化するように制御したり，間に閾値をさらに設けて複数の線分で補間するよう制御したり，離散的に補正強度を設けて不連続で変化するように制御しても良い。

図５は，本発明の第１実施例に係るノイズ補正方法の一例を示す第１の図である。本発明においてノイズ補正処理はノイズ補正部０１０２で実施される。図５ではノイズ補正部０１０２がノイズ補正処理としてガウシアンフィルタを用いた二次元ノイズ補正処理を行った場合の例を示す。図５（ａ）はガウシアンフィルタによるノイズ補正方法の一例を示す図であり，図５（ｂ）はガウシアンフィルタによるノイズ補正の補正強度制御方法の一例を示す第１の図であり，図５（ｃ）はガウシアンフィルタによるノイズ補正の補正強度制御方法の一例を示す第２の図である。図５（ａ）に示すようにノイズ補正部０１０２はノイズ補正処理としてガウシアンフィルタによる二次元ノイズ補正処理を行った場合，入力した画像信号に対し，所定のフィルタ係数によるフィルタ処理を行いノイズを補正し，出力する画像信号を生成する。ガウシアンフィルタは注目画素からの距離に応じてガウス分布に従う重みを持たせた空間フィルタであり，ガウス分布の標準偏差を変更することでノイズ補正のための平滑化効果を可変することができる。図５（ｂ）に示す例では，ノイズ補正強度制御部０１０７は信号伸張度が大きくなるにつれてフィルタ係数のガウス分布の標準偏差を大きくなるように決定する。ノイズ補正部０１０２はノイズ補正強度制御部０１０７の決定したフィルタ係数のガウス分布の標準偏差に基づきフィルタ係数を決定してフィルタ処理を実施する。これにより，信号補正強度制御部０１０５の信号レベル補正処理の信号伸張度に応じてノイズの補正効果を強くすることで，ノイズ成分も同時に強調されることによる画質の低下を抑制することができる。図５（ｃ）に示す例では，予め補正効果の異なる複数のフィルタ係数の組み合わせを保持し，信号伸張度の大きさに応じて使用するフィルタ係数を選択する方法である。ST0501では信号伸張度を閾値１と比較し，閾値１より小さい場合はST0502に，それ以外ではST0503に進む。ST0502ではフィルタ係数１を選択する。ST0503では信号伸張度を閾値２と比較し，閾値２より小さい場合はST0504に，それ以外ではST0505に進む。ST0504ではフィルタ係数２を選択する。ST0505ではフィルタ係数３を選択する。フィルタ係数１よりフィルタ係数２のノイズ補正効果が大きく，フィルタ係数２よりフィルタ係数３のノイズ補正効果が大きくなるようにフィルタ係数を選択することで, 信号補正強度制御部０１０５の信号レベル補正処理の信号伸張度に応じてノイズの補正効果を強くすることができる。図５（ｃ）に示す例では，図５（ｂ）に示す例と同様の効果を低コストで実現できる。

図６は，本発明の第１実施例に係るノイズ補正方法の一例を示す第２の図である。本発明においてノイズ補正処理はノイズ補正部０１０２で実施される。図６ではノイズ補正部０１０２がノイズ補正処理として三次元ノイズ補正処理を行った場合の例を示す。図６（ａ）は三次元ノイズ補正処理の一例であり，図６（ｂ）は三次元ノイズ補正処理を用いた場合のノイズ補正の補正強度制御方法の一例を示す図である。図６（ａ）に示すようにノイズ補正部０１０２はノイズ補正処理として三次元ノイズ補正処理を行った場合，入力した画像信号を画像メモリを介して，注目画像の画像信号と連続する時間軸で同一のシーンを捉えた１つないし複数の異なる画像信号とを，所定の荷重係数で重み付け平均を行いノイズを補正し，出力する画像信号を生成する。これによりランダムノイズを効果的に補正することが可能であり，注目画像の荷重係数を変更することでノイズ補正の効果を可変することができる。図６（ｂ）に示す例では，ノイズ補正強度制御部０１０７は信号伸張度が大きくなるにつれて重み付け平均の注目画像の荷重係数が大きくなるように決定する。ノイズ補正部０１０２はノイズ補正強度制御部０１０７の決定した荷重係数に基づき重み付け平均処理を実施する。これにより，信号補正強度制御部０１０５の信号レベル補正処理の信号伸張度に応じてノイズの補正効果を強くすることで，ノイズ成分も同時に強調されることによる画質の低下を抑制することができる。

図７は，本発明の第１実施例に係る画像信号処理装置を示す第二の模式図である。図７において，０７０１は画像信号入力部，０７０２はノイズ補正部，０７０３は画像信号補正部，０７０４は統計情報取得部，０７０５は信号補正強度制御部，０７０６は信号伸張推定部，０７０７はノイズ補正強度制御部，０７０８は信号伸張推定情報格納部であり，図１に示した本発明の第１実施例に係る画像信号処理装置を示す第一の模式図に信号伸張推定情報格納部０７０８を加えた構成となっている。

図７に示した画像信号処理装置において，信号伸張推定情報格納部０７０８はプログラム上のＲＯＭ領域や不揮発性メモリ，記録媒体などに該当し信号伸張推定部０７０６が信号補正強度制御部０７０５の決定する信号レベル補正の補正強度を元に画像信号補正部０７０３が信号レベル補正を行う際の信号伸張度を推定するための信号伸張推定情報を格納する。信号伸張推定情報は画像信号補正部０７０３における信号レベル補正の入出力特性が既知である場合は，その入出力特性に則した信号伸張度を予め求めて格納すればよく，未知であれば事前の校正により推定した値を格納すればよい。信号伸張推定部０７０６は信号補正強度制御部０７０５の決定した信号レベル補正の補正強度と信号伸張推定情報格納部０７０８より取得した信号伸張推定情報を用いることで画像信号補正部０７０３の信号レベル補正の入出力特性に則した信号伸張度を高精度に推定することが可能となる。これにより，信号レベル補正処理の補正効果に応じて最適なノイズ補正を行うことが可能となり，高画質かつ視認性の高い画像信号を生成することが可能となる。

図８は，本発明の第１実施例に係る信号伸張推定情報を用いた信号伸張推定処理の一例を示す第１の図である。本発明において信号伸張推定処理は信号伸張推定部０７０６で実施される。図８（ａ）は信号レベル補正方法の一例を示す第３の図で，ガンマ処理のような非線形の入出力特性を持った信号レベルの補正により，暗い領域の視認性を向上する処理を示している。図８（ｂ）は信号伸張推定情報の一例を示す第１の図であり，図８（ｃ）は信号伸張推定情報を用いた信号伸張推定方法の一例を示す第１の図であり，図８（ｄ）は信号伸張推定情報を用いた信号伸張推定方法の一例を示す第２の図である。

図８（ａ）に示すように，画像信号補正部０７０３は信号補正強度制御部０７０５の決定した補正強度が大きい場合に入出力特性の暗部の傾きを大きくし，補正強度が小さい場合に入出力特性をリニアに近づける。この例では，画像信号補正部０７０３は基準となる入出力特性を保持し，信号補正強度制御部０７０５の決定した補正強度に応じて基準となる入出力補正の強さを増幅することで補正を実現している。このとき，図８（ｂ）に示すように，信号伸張推定情報格納部０７０８は信号伸張推定情報として，基準となる入出力補正における代表的な信号レベルの入力信号値ａと出力信号値ｂとの比である基準信号伸張度を格納する。代表的な信号レベルとしては例えば入力信号値ａと出力信号値ｂとの比が最大になるような信号レベルを選択すればよく，この場合では信号レベル補正処理により最も信号が増幅される場合の増幅率を基準信号伸張度と看做すことができる。図８（ｃ）に示すように信号伸張推定部０７０６は信号レンジ補正の補正強度が基準となる入出力特性で補正するような補正強度である場合に，基準信号伸張度を推定した信号伸張度とし，補正強度がそれより増減した場合には補正強度で基準信号伸張度を補正した結果を推定した信号伸張度とする。これにより，実際の信号レベル補正の入出力特性に則した信号伸張度の推定が可能となる。図８（ｄ）は信号伸張推定処理の第２の例であり，この場合では信号伸張推定情報格納部０７０８は信号レベル補正処理の補正強度に応じた複数の基準信号伸張度を制御点として予め格納し，信号伸張推定部０７０６は実際の補正強度に対応する信号伸張度を近傍の制御点から補間して求めることで，補正強度と信号伸張度の関係が非線形の場合でも精度の良好な推定が可能となる。

図９は，本発明の第１実施例に係る信号伸張推定情報を用いた信号伸張推定処理の一例を示す第２の図である。本発明において信号伸張推定処理は信号伸張推定部０７０６で実施される。図９（ａ）は信号レベル補正方法の一例を示す第４の図で，所定の範囲の信号レンジを拡大するような補正により，階調が乏しいシーンでの視認性を向上する処理を示している。図９（ｂ）は信号伸張推定情報の一例を示す第２の図である。

図９（ａ）に示すように，画像信号補正部０７０３は信号補正強度制御部０７０５の決定した補正強度が大きい場合に信号レンジの拡大比率を大きくし，補正強度が小さい場合に信号レンジの拡大比率を小さくする。この例では，画像信号補正部０７０３は基準となる入出力特性を保持し，信号補正強度制御部０７０５の決定した補正強度に応じて基準となる入出力補正の強さを増幅することで補正を実現している。このとき，図９（ｂ）に示すように，信号伸張推定情報格納部０７０８は信号伸張推定情報として，基準となる入出力補正における代表的な２点間の信号レベルの入力信号差分値Δａと出力信号差分値Δｂとの比である基準信号伸張度を格納する。代表的な信号レベルとしては例えば入力信号差分値Δａと出力信号差分値Δｂとの比が最大になるような信号レベルを選択すればよく，この場合では信号レベル補正処理により最も信号が伸張される場合の伸張率を基準信号伸張度と看做すことができる。このように画像信号補正部０７０３の信号レベル補正処理の入出力特性に応じて適切な信号伸張推定情報を格納することで，実際の信号レベル補正の入出力特性に則した信号伸張度の推定が可能となる。

図１０は本発明の第１実施例に係る信号伸張推定情報を用いた信号伸張推定処理の一例を示す第３の図である。本発明において信号伸張推定処理は信号伸張推定部０７０６で実施される。図１０（ａ）は統計情報を用いた信号レベル補正の補正強度制御方法の一例を示す第３の図であり，図１０（ｂ）は信号伸張推定情報の一例を示す第３の図である。

図１０（ａ）に示すように，信号補正部０７０３は画像信号中の領域毎に異なる入出力特性で信号レベル補正処理を行っても良く，例えば信号レンジの狭い領域１では信号レベル補正処理の補正強度を大きくし，信号レンジの広い領域２では信号レベル補正処理の補正強度を小さくする。これにより，画像信号中の全ての領域で最適な補正を行うことが可能となる。図１０（ｂ）に示すように，信号伸張推定部０７０６は各々の領域で推定した信号伸張度の統計を取り，統計量をノイズ補正強度制御部０７０７の使用する信号伸張度として出力する。統計量としては，例えば，各々の領域で推定した信号伸張度の平均値ａやＮ番目に大きい値ｂ，最大値ｃなどを選択して算出すればよい。平均値ａを用いた場合，画像全体の平均的な信号伸張度に合わせてノイズの補正を行うことができ，全体的にノイズ感を低減した画像を生成することができ，最大値ｃを用いた場合は一番信号の伸張度が大きい領域でノイズ感を低減した画像を生成することができる。また，Ｎ番目に大きい値ｂを用いた場合は，最大値ｃが外乱等の影響を受けた領域で算出された値であってもその影響を除去した上で，伸張度が大きい領域に合わせてノイズ感を低減した画像を生成することができる。このように統計量は目的に応じて選択すればよく，上記のほかに画像中の位置に応じて重みを付けた荷重平均値や中央値などを用いても良い。

かように本実施例によれば，信号レベル補正の補正強度の制御情報からノイズ補正の補正強度を決定することで信号レベル補正の効果に応じて最適なノイズ補正を実施し，低コストで高画質かつ視認性の高い画像を生成することが可能となる。

図１１は，本発明の第２実施例に係る画像信号処理装置を示す模式図である。図１１において，１１０１は画像信号入力部，１１０２はノイズ補正部，１１０３は第一の画像信号補正部，１１０４は第一の統計情報取得部，１１０５は第一の信号補正強度制御部，１１０６は信号伸張推定部，１１０７はノイズ補正強度制御部，１１０８は信号伸張推定情報格納部，１１０９は第二の画像信号補正部，１１１０は第二の統計情報取得部，１１１１は第二の信号補正強度制御部であり，図７で示した画像信号処理装置に第二の画像信号補正部１１０９，第二の統計情報取得部１１１０，第二の信号補正強度制御部１１１１を加えた構成となっている。図１１で示した画像信号処理装置と図７で示した画像信号処理装置との特徴的な差異は，図１１で示した画像信号処理装置において画像信号補正部，統計情報取得部，信号補正強度制御部をそれぞれ複数備えていることである。

図１１に示した画像信号処理装置において，第二の画像信号補正部１１０９は第一の画像信号補正部１１０３の出力した画像信号を入力とし，第一の画像信号補正部１１０３とは異なる入出力特性で信号レベル補正処理を実施する。第二の統計情報取得部１１１０は第一の画像信号補正部１１０３の出力した画像信号を入力とし，信号値の統計情報を測定して出力する。統計情報としては第二の画像信号補正部１１０９が信号レベルを補正する際の入出力特性を制御するのに適した情報を選択すればよく，必ずしも第一の統計情報取得部１１０４の測定する統計情報と同一でなくても良い。第二の信号補正強度制御部１１１１は第二の統計情報取得部１１１０の出力する統計情報を元に画像信号中のシーンを判別して，第二の画像信号補正部１１０９が信号レベルを補正する際の補正強度を決定する。なお，第二の信号補正強度制御部１１１１が第一の統計情報取得部１１０４の測定する統計情報を共用できる場合は，第一の統計情報取得部１１０４の測定する統計情報を入力する構成とし，第二の統計情報取得部１１１０を省略することでコストの低減を図っても良い。信号伸張推定部１１０６は第一の信号補正強度制御部１１０５の決定した第一の画像信号補正部１１０３の信号レベル補正の補正強度と第二の信号補正強度制御部１１１１の決定した第二の画像信号補正部１１０９の信号レベル補正の補正強度とを元に，第一の画像信号補正部１１０３の信号レベル補正処理による信号伸張度と第二の画像信号補正部１１１１の信号レベル補正処理による信号伸張度とを統合した画像信号補正部全体による信号伸張度を推定し，ノイズ補正強度制御部１１０７に出力する。ノイズ補正強度制御部１１０７は画像信号補正部全体による信号伸張度を用いてノイズ補正の補正強度を制御する。これにより，複数の信号レベル補正処理を組み合わせた場合でも全体の信号伸張の影響を踏まえてノイズ補正の強度を決定することができ，画質の向上が図れる。なお，図１１に示した画像信号処理装置では，画像信号補正部，統計情報取得部，信号補正強度制御部をそれぞれ２個ずつ備えた構成としているが，３個以上備えた構成であってももちろん構わない。

図１２は，本発明の第２実施例に係る信号伸張推定方法およびノイズ補正強度制御方法の一例を示す図である。本発明において信号伸張推定処理は信号伸張推定部１１０６で実施される。図１２（ａ）は信号伸張推定方法の一例を示す図であり，図１２（ｂ）はノイズ補正強度制御方法の一例を示す図である。

図１２（ａ）に示すように，信号伸張度は信号の増幅率や伸張率を示す評価値であるため，第一の信号補正強度制御部１１０５の決定した第一の画像信号補正部１１０３の信号レベル補正の補正強度より推定した第一の画像信号補正部１１０３の信号レベル補正による信号伸張度と，第二の信号補正強度制御部１１１１の決定した第二の画像信号補正部１１０９の信号レベル補正の補正強度より推定した第二の画像信号補正部１１０９の信号レベル補正による信号伸張度とを積算することで画像信号補正部全体の信号伸張度を算出することができる。このとき，積算結果が最大値を超えないようにすることで，信号伸張度の計算結果が制御可能な範囲を超えるのを防いでも良い。また，信号伸張度が例えば実際の信号の増幅率や伸張率と対数関係にある評価値であれば積算の変わりに加算すれば良く，このように信号伸張度の特性に合わせて計算方法を変えても良い。図１２（ｂ）に示すように，ノイズ補正強度制御部１１０７は画像信号補正部全体による信号伸張度を用いてノイズ補正の補正強度を制御する。これにより，複数の信号レベル補正処理を組み合わせた場合でも全体の信号伸張の影響を踏まえてノイズ補正の強度を決定することができ，画質の向上が図れる。

かように本実施例では入出力特性の異なる複数の信号レベル補正処理を行った場合でも最適なノイズ補正を実施し，低コストで高画質かつ視認性の高い画像を生成することが可能となる。

図１３は，本発明の第３実施例に係る画像信号処理装置を示す模式図である。図１３において，１３０１は画像信号入力部，１３０２は高画質化信号処理部，１３０２＿１はノイズ補正部，１３０２＿２はエッジ強調部，１３０３は画像信号補正部，１３０４は統計情報取得部，１３０５は信号補正強度制御部，１３０６は信号伸張推定部，１３０７は画質制御部，１３０７＿１はノイズ補正強度制御部，１３０７＿２はエッジ強調強度制御部，１３０８は信号伸張推定情報格納部であり，図７で示した画像信号処理装置のノイズ補正部０７０２を高画質化信号処理部１３０２に，ノイズ補正強度制御部０７０７を画質制御部１７０７に置き換え，ノイズ補正部０７０２の高画質化信号処理部１３０２の内部にノイズ補正部１３０２＿１と画質制御部１７０７の内部にノイズ補正強度制御部１３０７＿１とエッジ強調強度制御部１３０７＿２をそれぞれ備えた構成となっている。図１３で示した画像信号処理装置と図７で示した画像信号処理装置との特徴的な差異は，高画質化のための信号処理としてノイズ補正部に加えエッジ強調部を備えていることである。

図１３に示した画像信号処理装置においてエッジ補正部１３０２＿２は，ノイズ補正部０１３０２＿１より入力した画像信号にエッジ強調処理を行った上で出力する画像信号を生成する。エッジ強調処理は，例えば，入力した画像信号に対しハイパスフィルタやバンドパスフィルタで所定の周波数域の信号成分を抽出し，ゲイン処理を行った後で入力した画像信号に加算することで実現できる。エッジ補正強度制御部１３０７＿２は信号伸張推定部１３０６の推定した信号伸張度を元にエッジ強調部１３０２＿２の行うエッジ強調処理の強調強度を決定し，制御する。エッジ強調部１３０２＿２はこの強調強度に基づきエッジ強調を行うことで，画像信号補正部１３０３が行う信号レベル補正処理の補正強度に応じてエッジ強調を行うことが可能となる。なお，図１３に示した画像信号処理装置では，高画質化信号処理部１３０２の内部で，ノイズ補正部０１３０２＿１の出力した画像信号をエッジ強調部１３０２＿２の入力とすることで，エッジ強調処理時にノイズも強調されるのを抑えることができる構成としているが，エッジ強調部１３０２＿２の出力した画像信号をノイズ補正部０１３０２＿１に出力する構成であったり， エッジ強調部１３０２＿２とノイズ補正部０１３０２＿１の間や前後に別の高画質化信号処理を備える構成であっても良い。また，高画質化信号処理部１３０２に入力する画像信号を前処理で低周波成分と高周波成分に分離し，それぞれに対し異なるノイズ補正処理やエッジ強調処理を行うことでエッジの精細感を強調しつつノイズを効果的に除去できる構成としても良い。なお，ノイズ補正処理やエッジ強調処置を含む高画質化信号処理やノイズ補正強度制御処理やエッジ強調強度制御処置を含む画質制御処理は，例えばパソコンであればＣＰＵ上のアプリケーション，組み込み機器であればマイコンやＤＳＰ，専用のＬＳＩなどにて実施される。また，信号処理である高画質化信号処理をＤＳＰ，専用のＬＳＩで実施し，制御処理である画質制御処理をマイコンで実施することで，コストや性能の最適化を図っても良い。

図１４は，本発明の第３実施例に係るエッジ強調の強調強度制御方法の一例を示す図である。本発明においてエッジ強調の強調強度制御処理はエッジ強調強度制御部１３０７＿２で実施される。図１４に示すように，エッジ強調強度制御部１３０７＿２は信号伸張度推定部１３０６より取得した信号伸張度を元に，エッジ強調部１３０２＿２のエッジ強調処理の補正強度を制御する。このとき，信号伸張度が大きくなるにつれてエッジ強調処理の強調強度を小さくする。これにより，信号補正強度制御部１３０５が信号を伸張するように信号レンジ補正処理を行った場合，信号伸張度に応じてエッジの強調効果を弱くすることで，エッジ強調時に強調されたノイズ成分がさらに強調されることによる画質の低下を抑制することができる。このとき，図１４に示すように，例えば所定の閾値４より信号伸張度が大きい場合に，エッジ強調強度が最小値を下回らないようにすることで，信号レンジ補正処理の効果が強い場合でも一定のエッジ強調を行うことができる。また，所定の閾値３より信号伸張度が小さい場合に，エッジ強調強度が最大値を上回らないようにすることで，エッジ強調がかかりすぎて精細感が過剰に損なわれることを防止することや，エッジ強調強度が設定可能な範囲を超えないようにすることができる。また，図１４では説明を簡易にするために信号伸張度とエッジ強調強度が閾値３と閾値４の間で線形に変化しているが，非線形に変化するように制御したり，間に閾値をさらに設けて複数の線分で補間するよう制御したり，離散的に補正強度を設けて不連続で変化するように制御しても良い。

かように本実施例によれば，信号レベル補正の補正強度の制御情報からノイズ補正の補正強度およびエッジ強調の強調強度を決定することで信号レベル補正の効果に応じて最適な画質制御を実施し，低コストで高画質かつ視認性の高い画像を生成することが可能となる。

図１５は，本発明の第４実施例に係る撮像装置を示す模式図である。図１５において，１５０１は撮像部，１５０２はカメラ信号処理部，１５０２＿１は露光量検出部，１５０２＿２はデジタルゲイン部，１５０２＿３はノイズ補正部，１５０３は画像信号補正部，１５０４は統計情報取得部，１５０５は信号補正強度制御部，１５０６は信号伸張推定部，１５０７はノイズ補正強度制御部，１５０８は信号伸張推定情報格納部，１５１２は露光制御部である。

図１５に示した撮像装置において，撮像部１５０１は，ズームレンズ及びフォーカスレンズを含むレンズ群や，アイリスや，シャッタや，CCDまたはCMOSなどの撮像素子や，CDSやAGCや，ADコンバータ等を適宜用いて構成され，撮像素子に受光した光学像を光電変換し，画像信号として出力する。

カメラ信号処理部１５０２は，少なくとも露光量検出部１５０２＿１やデジタルゲイン部１５０２＿２やノイズ補正部１５０２＿３を備え，撮像部１５０１の出力した画像信号に対し，露光量の評価値の検出処理やデジタルゲイン処理やノイズ補正処理を行い，出力する画像信号を生成する。また，輝度信号と色信号への分離処理や，エッジ強調処理や，ガンマ処理や，色差変換処理や，ホワイトバランス補正処理やデジタルズームなどの種々のデジタル信号処理を行い，高画質化や機能付加を行っても良い。各信号処理を行うときに用いる係数，例えば明るさ補正量やガンマ特性などは，予め設定して不揮発性メモリなどに格納しておいた値を用いても良いし，画像信号から検出した輝度分布などの各種の情報を基に制御値を変えても良い。

画像信号補正部１５０３は信号補正強度制御部１５０５の出力する信号レベル補正の補正強度を元に画像信号の入出力特性を決定し，その入出力特性に基づきカメラ信号処理部１５０２より入力した画像信号の画素毎の信号値である信号レベルを補正して出力信号を生成する。画像信号補正部１５０３の実施する画像信号の補正は信号レベルを補正することによる逆光補正や霧・かすみ補正，広ダイナミックレンジ化処理等を含み，例えば，予め入力値に対する出力値の対応を関数の係数や対応付けのルックアップテーブルとして保持し，信号レベル補正の補正強度を元に関数の係数やルックアップテーブルの値を補正して入出力特性を定め，その入出力特性に基づき画像信号の信号レベルを変換することで実現できる。また，予め複数の補正強度に対応した補正のための関数の係数や対応付けのルックアップテーブルを複数保持し，処理時に信号補正強度制御部１５０５の出力する補正強度を元に使用する関数の係数や対応付けのルックアップテーブルを選択ないし補間して使用し，演算コストを低減することを図っても良い。また，輝度信号と色信号のそれぞれに対し，異なる入出力特性で補正処理を行っても良い。また，入力する画像信号を複数の成分に分離してそれぞれ異なる補正処理を行い合成しても良い。例えば，前処理で低周波成分と高周波成分に分離し，それぞれに対し異なる信号レベル補正処理を行うことで被写体の明るさとエッジの精細感をそれぞれ補正することが可能である。また，画像信号中の領域毎に異なる入出力特性で信号レベル補正処理を行うことで，画像内の被写体ごとに最適な補正が行えるようにしても良い。また，画像信号のうち輝度信号と色信号で異なる特性の処理を実施したり，あるいは，いずれか一方の信号のみに処理を実施するという構成とし，性能または計算コストの最適化を図ったりしても良い。

統計情報取得部１５０４はカメラ信号処理部１５０２の出力する画像信号を入力とし，信号値の統計情報を測定して出力する。ここで，統計情報とは，例えば画像信号中の各画素の信号値のヒストグラム分布，あるいは，平均値，最大値，最小値，標準偏差等の統計量であり，信号補正強度制御部１５０５が画像信号中のシーンを判別して，画像信号補正部１５０３が信号レベルを補正する際の補正強度を適正にするために使用する。このとき，画像信号中の予め定めた所定の領域内の画素の信号値の統計情報を取得したり，画像認識により検出された被写体の存在する領域内の画素の信号値の統計情報を取得したり，あるいは，信号値が所定の範囲内の画素についてのみ統計情報を取得することでシーンの判別性能の向上を図っても良い。例えば，画像信号補正部１５０３が画像信号中の領域毎に異なる入出力特性で信号レンジ補正処理を行う場合，その領域に合わせた単位で統計情報を取得することで，領域毎に最適な信号レンジ補正処理が実現できる。

信号補正強度制御部１５０５は統計情報取得部１５０４の出力する統計情報を元に画像信号中のシーンを判別して，画像信号補正部１５０３が信号レベルを補正する際の補正強度を決定する。画像信号補正部１５０３が画像信号中の領域毎に異なる入出力特性で信号レンジ補正処理を行う場合，その領域に合わせた単位で信号補正強度制御部１５０５が測定した統計情報を取得し，領域毎に補正強度を決定しても良い。なお，統計情報取得部１５０４がカメラ信号処理部１５０２の内部にあり，撮像部１５０１より入力した画像信号またはデジタル信号処理の途中の画像信号より統計情報を取得する構成であっても構わない。この場合，カメラ信号処理部１５０２における各種の信号処理の制御に用いる統計情報を，画像信号補正部１５０３における信号レベル補正処理の補正強度の制御にも活用することができ，コストの低減が図れる。また，信号補正強度制御部１５０５が統計情報取得部１５０４の出力する統計情報を用いずに不図示の入力部から入力した値を信号レベル補正処理の補正強度として決定する構成であっても構わない。この場合，画像信号中のシーンに連動した補正強度の制御ができないが，統計情報取得部１５０４を省略することができ，ソフトウェアで実現した場合の計算時間の低減やハードウェアで実現した場合の開発コスト低減を図ることができる。また，信号補正強度制御部１５０５が決定した補正強度に対し，露光制御部１５１２から取得した露光制御情報を元にさらに補正を行い，演算した最終の補正強度を制御値として出力する構成としても良い。これにより露光制御の状態と画像信号中のシーンの両方に連動して，画像信号補正部１５０３における信号レベル補正処理の補正強度を制御することが可能となる。露光制御情報を用いた信号レベル補正処理の補正強度の制御方法については図１９を用いて後述する。

信号伸張推定部１５０６は信号補正強度制御部１５０５の決定した補正強度と信号伸張推定情報格納部１５０８より取得した信号伸張推定情報とを元に画像信号補正部１５０３で行う信号レベルの補正により信号がどの程度増幅されたかを示す評価値である信号伸張度を推定する。信号伸張推定情報格納部１５０８はプログラム上のＲＯＭ領域や不揮発性メモリ，記録媒体などに該当し信号伸張推定部１５０６が信号補正強度制御部１５０５の決定する信号レベル補正の補正強度を元に画像信号補正部１５０３が信号レベル補正を行う際の信号伸張度を推定するための信号伸張推定情報を格納する。信号伸張推定情報は画像信号補正部１５０３における信号レベル補正の入出力特性が既知である場合は，その入出力特性に則した信号伸張度を予め求めて格納すればよく，未知であれば事前の校正により推定した値を格納すればよい。

ノイズ補正強度制御部１５０７は信号伸張推定部１５０６の推定した信号伸張度と露光制御部１５１２から取得した露光制御情報を元にノイズ補正部１５０２＿３の行うノイズ補正処理の補正強度を決定し，制御する。ノイズ補正部１５０２＿３はこの補正強度に基づきノイズ補正を行うことで，画像信号補正部１５０３が行う信号レベル補正処理の補正強度に応じてノイズ補正を行うことが可能となる。露光制御部１５１２は露光量検出部１５０２＿１より光量の評価値を取得して，目標とする所定の露光量に実際の露光量が近づくように撮像部１５０１のアイリスの絞りやシャッタタイミングやAGCのアナログゲイン量，デジタルゲイン部１５０２＿２のデジタルゲイン量などを制御する。また，同時にアイリスの絞りの度合いやシャッタの開いている期間の時間，アナログゲイン量やデジタルゲイン量，あるいは，アナログゲインやデジタルゲインによる信号の増幅率などを露光制御情報として出力する。これにより，ノイズ補正強度制御部１５０７は露光制御による信号の増幅と信号レベル補正処理による信号伸張の両方に連動して最適なノイズ補正の補正強度の制御が行え，高画質化を実現できる。ノイズ補正強度制御部１５０７が露光制御情報と信号レンジ補正処理の補正強度に連動してカメラ信号処理部１５０２のノイズ補正処理の補正強度だけでなく，エッジ強調処理の強調強度やガンマ処理のガンマ補正強度などの種々の信号処理の効果を同様に制御することで，信号処理全体の画質を露光制御と信号レンジ補正処理の双方に連動して最適に制御できる構成としても良い。なお，例えば，カメラ信号処理や信号レベル補正処理，統計情報取得処理はＤＳＰ，専用のＬＳＩなどにて実施され，信号レベル補正の補正強度制御処理，信号伸張度推定処理，ノイズ補正の補正強度制御処理，露光制御処理はマイコンなどにて実施される
図１６は，本発明の第４実施例に係るノイズ補正の補正強度制御方法の一例を示す第１の図である。図１６（ａ）は露光制御情報によるノイズ補正の補正強度中間値の制御方法の一例を示す図であり，図１６（ｂ）は信号伸張度によるノイズ補正の補正強度制御方法の一例を示す図であり，図１６（ｃ）は露光制御情報と信号伸張度によるノイズ補正の補正強度制御方法の一例を示す図である。本発明においてノイズ補正の補正強度制御処理はノイズ補正強度制御部１５０７で実施される。

図１６（ａ）に示すように，ノイズ補正強度制御部１５０７は露光制御部１５１２より取得した露光制御情報を元に，ノイズ補正部１５０２＿３のノイズ補正処理の補正強度の中間値を制御する。このとき，アナログゲインやデジタルゲインによる信号増幅率が大きくなるにつれてノイズ補正処理の補正強度の中間値を大きくする。これにより，撮影シーンが十分な明るさでなく，露光制御部１５１２がゲイン量を大きくするように制御を行った場合，ゲイン量に応じてノイズの補正効果を強くすることで，ノイズ成分も同時に増幅されることによる画質の低下を抑制することができる。図１６（ｂ）に示すように，ノイズ補正強度制御部１５０７は露光制御情報を元に算出したノイズ補正処理の補正強度の中間値を基準として，さらに信号伸張度推定部１５０６より取得した信号伸張度を元に，ノイズ補正処理の補正強度を制御する。これにより，信号レベル補正処理の補正強度が小さい場合は，露光制御に連動したノイズ補正を行い，信号レベル補正処理の補正強度が大きい場合露光制御と信号レベル補正処理の両方に連動したノイズ補正を行うことが可能となる。なお，図１６（ｃ）に示すように，露光制御情報としてアナログゲインやデジタルゲインによる信号の増幅率を，信号伸張度として信号レベル補正処理による信号の伸張率をそれぞれ演算し，取得した場合は，それぞれの情報を同じ単位で扱うことができ，ノイズ補正処理の補正強度の中間値を算出せずに処理全体による信号の増幅率を元に一度にノイズ補正処理の補正強度を直接決定して制御しても良い。これにより制御を単純化して扱うことができる。

図１７は，本発明の第４実施例に係るノイズ補正の補正強度制御方法の一例を示す第２の図である。図１７ではノイズ補正部１５０２＿３がノイズ補正処理としてバイラテラルフィルタを用いた二次元ノイズ補正処理を行った場合の例を示す。図１７（ａ）はバイラテラルフィルタによるノイズ補正処理の一例を示す図であり，図１７（ｂ）はバイラテラルフィルタによるノイズ補正のノイズ判別度合いの制御方法の一例を示す図であり，図１７（ｃ）はバイラテラルフィルタによるノイズ補正の補正強度の制御方法の一例を示す図である。本発明においてノイズ補正の補正強度制御処理はノイズ補正強度制御部１５０７で実施される。

図１７（ａ）に示すようにノイズ補正部１５０２＿３はノイズ補正処理としてバイラテラルフィルタによる二次元ノイズ補正処理を行った場合，入力した画像信号に対し，所定のフィルタ係数によるフィルタ処理を行いノイズを補正し，出力する画像信号を生成する。バイラテラルフィルタは注目画素からの距離に応じてガウス分布に従う重みを持ったフィルタ係数と，注目画素からの輝度差分に応じてガウス分布に従う重みを持ったフィルタ係数補正係数を持たせることで，被写体のノイズらしさに応じて平滑化効果を異ならせることができるエッジ保存型の空間フィルタとして知られている。このとき，フィルタ係数のガウス分布の標準偏差を変更することでノイズ補正のための平滑化効果を可変し，フィルタ係数補正係数のガウス分布の標準偏差を変更することでノイズらしさの判別の度合いを可変することが可能である。図５（ｂ）に示すように，ノイズ補正強度制御部１５０７はアナログゲインやデジタルゲインによる信号増幅率が大きくなるにつれてフィルタ係数補正係数のガウス分布の標準偏差を大きくなるように決定する。これにより，露光制御の結果，ノイズ補正部１５０２＿３に入力する画像信号にてノイズがどの程度強調されているかに応じてノイズ判別の度合いを制御することが可能となる。図５（ｃ）に示すように，ノイズ補正強度制御部１５０７はアナログゲインやデジタルゲインによる信号増幅率と信号レベル補正処理による信号伸張度が大きくなるにつれてフィルタ係数のガウス分布の標準偏差を大きくなるように決定する。これにより，アナログゲイン量やデジタルゲイン量と信号レベル補正処理の信号伸張度の両方に応じてノイズの補正効果を強くすることで，ノイズ成分も同時に強調されることによる画質の低下を抑制することができる。このように，エッジ保存型のノイズ補正処理を行った場合でも，露光制御や信号レンジ補正処理に連動して適切なノイズ補正処理が可能となる。なお，図１７では，バイラテラルフィルタを用いたノイズ補正処理を例に挙げたが，他のエッジ保存型のノイズ補正処理でも，ノイズ判別のための評価値を露光制御情報を元に，ノイズ補正の補正強度を露光制御情報と信号レンジ補正処理の補正強度を元に制御することで同様の効果が期待できる。

図１８は，本発明の第４実施例に係るノイズ補正の補正強度制御方法の一例を示す第３の図である。図１８ではノイズ補正部１５０２＿３がノイズ補正処理として動き適応型の三次元ノイズノイズ補正処理を行った場合の例を示す。図１８（ａ）は動き適応型の３次元ノイズ補正処理の一例を示す図であり，図１８（ｂ）は動き適応型の３次元ノイズ補正のノイズ判別度合いの制御方法の一例を示す図であり，図１８（ｃ）は動き適応型の３次元ノイズ補正の補正強度の制御方法の一例を示す図である。本発明においてノイズ補正の補正強度制御処理はノイズ補正強度制御部１５０７で実施される。

図１８（ａ）に示すようにノイズ補正部１５０２＿３はノイズ補正処理として動き適応型の三次元ノイズ補正処理を行った場合，入力した画像信号を画像メモリを介して，注目画像の画像信号と連続する時間軸で同一のシーンを捉えた１つないし複数の異なる画像信号とを，所定の荷重係数で重み付け平均を行いノイズを補正し，出力する画像信号を生成する。このとき，荷重係数を画素ごとの信号値のフレーム間の差分値に応じて荷重係数を変化させることで，ノイズと被写体の動きによる信号値の変化とを分離し，ランダムノイズのみを効果的に補正することが可能である。荷重係数を画素ごとの信号値のフレーム間の差分値と，注目画素と周辺の画素値の相関との双方に応じて荷重係数を変化させても良い。このとき，注目画像の荷重係数を変更することでノイズ補正の効果を可変し，荷重係数を補正するための基準となる信号量の差分値の制御閾値を変更することで，ノイズらしさの判別の度合いを可変することが可能である。

図１８（ｂ）に示すように，ノイズ補正強度制御部１５０７はアナログゲインやデジタルゲインによる信号増幅率が大きくなるにつれて荷重係数補正閾値を大きくなるように決定する。これにより，露光制御の結果，ノイズ補正部１５０２＿３に入力する画像信号にてノイズがどの程度強調されているかに応じてノイズ判別の度合いを制御することが可能となる。

図１８（ｃ）に示すように，ノイズ補正強度制御部１５０７はアナログゲインやデジタルゲインによる信号増幅率と信号レベル補正処理による信号伸張度が大きくなるにつれて荷重係数を大きくなるように決定する。これにより，アナログゲイン量やデジタルゲイン量と信号レベル補正処理の信号伸張度の両方に応じてノイズの補正効果を強くすることで，ノイズ成分も同時に強調されることによる画質の低下を抑制することができる。このように，動き適応型の３次元ノイズ補正処理を行った場合でも，露光制御や信号レンジ補正処理に連動して適切なノイズ補正処理が可能となる。

図１９は，本発明の第４実施例に係る信号レンジ補正処理の補正強度制御方法の一例を示す図である。本発明において信号レンジ補正処理の補正強度制御処理は信号補正強度制御部１５０５で実施される。

図１９に示したように，信号補正強度制御部１５０５は統計情報取得部１５０４の出力する統計情報を元に決定した信号レンジ補正処理の補正強度の中間値に対して露光制御情報に応じた補正を行って最終の補正強度を決定し，出力する。例えば，露光制御によるアナログゲイン量やデジタルゲイン量が小さい場合は，統計情報を元に決定した制御値をそのまま使用し，アナログゲイン量やデジタルゲイン量が大きくなるにつれて統計情報を元に決定した制御値を基準に小さくなるように補正した値を使用するように制御する。これにより，アナログゲイン量やデジタルゲイン量が大きくノイズが非常に強調された画像に対して十分にノイズ補正処理を行えない場合に，信号レベル補正処理を行うことでノイズが非常に強調され視認性が低下することを防止することができる。また，信号伸張度推定部１５０６の推定する信号伸張度は信号レンジ補正処理の補正強度に連動して算出するため，ノイズ補正強度制御部１５０７の制御するノイズ補正の補正強度も信号レンジ補正処理の補正強度に連動して定まる。よって，アナログゲイン量やデジタルゲイン量が大きい場合は，信号レンジ補正処理の補正強度が小さいため，ノイズ補正の補正強度は主にアナログゲイン量やデジタルゲイン量に依存して制御されるため，信号レンジ補正処理が存在しない場合と同様の効果が得られ，信号レンジ補正処理を用いた機能をオフにしたのと同等の画質が得られる。なお，この例では，アナログゲイン量やデジタルゲイン量が大きくなるにつれて信号レンジ補正処理の補正強度を弱める方法を記載したが，統計情報を元に信号レンジ補正処理の補正強度およびノイズ補正強度を弱める制御を行っても良い。例えば画像信号中の平均輝度が所定の閾値より下回る際，あるいは画像信号中の領域毎に統計情報が得られる構成では領域毎の平均輝度が所定の閾値より下回る領域数が一定以上存在する際に，信号レンジ補正処理の補正強度を弱めることで，入力される映像が非常に暗い場合に信号レベル補正処理によりノイズが非常に強調されることを防止することができる。

かように本実施例によれば，信号レベル補正の補正強度の制御情報と露光制御情報からノイズ補正の補正強度を決定することで露光の状態や信号レベル補正の効果に応じて最適なノイズ補正を実施し，低コストで高画質かつ視認性の高い画像を撮像することが可能となる。

図２０は，本発明の第５実施例に係る画像信号処理装置および撮像装置を示す模式図である。図２０において，２００１は画像信号入力部，２００３は画像信号補正部，２００４は統計情報取得部，２００５は信号補正強度制御部，２００６は信号伸張推定部，２００７はノイズ補正強度制御部，２００８は信号伸張推定情報格納部，２０１３は通信部，２０１４は画像信号入力部２００１から信号伸張推定情報格納部２００８までを実現する画像処理プログラムを備えた画像信号処理装置，２０１５はノイズ補正調整機能を適宜備えた撮像装置である。図２０に示した画像信号処理装置と図１に示した画像信号処理装置の特徴的な差異は，ノイズ補正処理を画像信号処理装置２０１４内ではなく，ノイズ補正調整機能を備えた撮像装置２０１５で行い，通信部２０１３を介して画像信号処理装置２０１４からノイズ補正調整機能を適宜備えた撮像装置２０１５にノイズ補正処理の補正強度を調整値として送信できることである。

図２０に示した画像信号処理装置および撮像装置において，画像信号入力部２００１は映像ケーブルと接続したキャプチャボードやＬＡＮ，ＵＳＢなどを介してノイズ補正調整機能を備えた撮像装置２０１５と接続し，ノイズ補正調整機能を備えた撮像装置２０１５の撮像した画像信号を入力する。画像信号補正部２００３は信号補正強度制御部２００５の出力する信号レベル補正の補正強度を元に画像信号の入出力特性を決定し，その入出力特性に基づき画像信号入力部２００１より入力した画像信号の画素毎の信号値である信号レベルを補正して出力信号を生成する。統計情報取得部２００４は画像信号入力部２００１の出力する画像信号を入力とし，信号値の統計情報を測定して出力する。ノイズ補正強度制御部２００７は信号伸張推定部２００６の推定した信号伸張度を元にノイズ補正調整機能を備えた撮像装置２０１５のノイズ補正調整値を決定し，通信部２０１３に出力する。通信部２０１３はシリアルポートやパラレルポート，ＬＡＮを経由した通信などによりノイズ補正調整機能を備えた撮像装置２０１５にノイズ補正調整値を送信する。これにより，ノイズ補正処理を含むカメラ信号処理を行う撮像装置と信号レベル補正処理を行う画像信号処理装置が異なる装置であっても，信号レベル補正処理の補正強度に応じて最適なノイズ補正を実施し，低コストで高画質かつ視認性の高い画像を撮像することが可能となる。

なお，本発明は上記した実施例に限定されるものではなく，様々な変形例が含まれる。例えば，上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり，必ずしも説明した全ての構成を備えるものに限定されるものではない。また，ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり，また，ある実施例の構成に他の実施例の構成を加えることも可能である。なお、本発明は例えば，民生や監視や車載や業務用途において，撮像装置やＰＣアプリケーション，画像処理装置などに利用可能であるがこれに限られるものでない。

０１０１ 画像信号入力部
０１０２ ノイズ補正部
０１０３ 画像信号補正部
０１０４ 統計情報取得部
０１０５ 信号補正強度制御部
０１０６ 信号伸張推定部
０１０７ ノイズ補正強度制御部
０７０１ 画像信号入力部
０７０２ ノイズ補正部
０７０３ 画像信号補正部
０７０４ 統計情報取得部
０７０５ 信号補正強度制御部
０７０６ 信号伸張推定部
０７０７ ノイズ補正強度制御部
０７０８ 信号伸張推定情報格納部
１１０１ 画像信号入力部
１１０２ ノイズ補正部
１１０３ 第一の画像信号補正部
１１０４ 第一の統計情報取得部
１１０５ 第一の信号補正強度制御部
１１０６ 信号伸張推定部
１１０７ ノイズ補正強度制御部
１１０８ 信号伸張推定情報格納部
１１０９ 第二の画像信号補正部
１１１０ 第二の統計情報取得部
１１１１ 第二の信号補正強度制御部
１３０１ 画像信号入力部
１３０２ 高画質化信号処理部
１３０２＿１ ノイズ補正部
１３０２＿２ エッジ強調部
１３０３ 画像信号補正部
１３０４ 統計情報取得部
１３０５ 信号補正強度制御部
１３０６ 信号伸張推定部
１３０７ 画質制御部
１３０７＿１ ノイズ補正強度制御部
１３０７＿２ エッジ強調強度制御部
１３０８ 信号伸張推定情報格納部
１５０１ 撮像部
１５０２ カメラ信号処理部
１５０２＿１ 露光量検出部
１５０２＿２ デジタルゲイン部
１５０２＿３ ノイズ補正部
１５０３ 画像信号補正部
１５０４ 統計情報取得部
１５０５ 信号補正強度制御部
１５０６ 信号伸張推定部
１５０７ ノイズ補正強度制御部
１５０８ 信号伸張推定情報格納部
１５１２ 露光制御部
２００１ 画像信号入力部
２００３ 画像信号補正部
２００４ 統計情報取得部
２００５ 信号補正強度制御部
２００６ 信号伸張推定部
２００７ ノイズ補正強度制御部
２００８ 信号伸張推定情報格納部
２０１３ 通信部
２０１４ 画像信号処理装置
２０１５ ノイズ補正調整機能を備えた撮像装置

Claims (32)

1. 画像信号を入力する画像信号入力部と、
   ノイズ補正強度を決定するノイズ補正強度制御部と、
   上記画像信号に、上記ノイズ補正強度にもとづくノイズ補正処理を行うノイズ補正部と、
   上記ノイズ補正処理が行われた画像信号の信号レベル補正強度を決定する画像信号補正強度制御部と、
   上記信号レベル補正強度にもとづく信号レベル補正処理の信号伸張度を推定する信号伸張推定部と、
   上記ノイズ補正処理された画像信号に、上記信号レベル補正強度にもとづく信号レベル補正処理を行う画像信号補正部と、
   前記ノイズ補正強度制御部は前記信号伸張度からノイズ補正強度を決定することを特徴とする画像信号処理装置。
2. 請求項１記載の画像信号処理装置において、
   前記画像信号補正強度制御部は、画像信号の被写体が存在する輝度範囲が小さいほど上記輝度範囲の信号伸張度が大きくなるように前記信号レベル補正強度を決定することを特徴とする画像信号処理装置。
3. 請求項１記載の画像信号処理装置において、
   信号伸張推定情報を格納する信号伸張推定情報格納部を備え、
   前記信号伸張推定部は前記信号伸張推定情報と前記信号レベル補正強度を基に前記信号伸張度を推定することを特徴とする画像信号処理装置。
4. 請求項３記載の画像信号処理装置において、
   前記信号伸張推定情報は、所定の信号レベル補正強度にもとづく信号レベル補正処理の入出力特性における所定の信号レベルの入力値と出力値との比率であることを特徴とする画像信号処理装置。
5. 請求項３記載の画像信号処理装置において、
   前記信号伸張推定情報は、所定の信号レベル補正強度にもとづく信号レベル補正処理の入出力特性における所定の２つの信号レベル間の入力値の差分と出力値の差分との比率であることを特徴とする画像信号処理装置。
6. 請求項１記載の画像信号処理装置において、
   入力された画像信号の任意の領域毎の信号値の分布または統計量を統計情報として算出する統計情報取得部を備え、
   前記画像信号補正強度制御部は前記統計情報を基に任意の領域毎の信号レベル補正強度を決定し、
   前記画像信号補正部は前記任意の領域毎の信号レベル補正強度を基に信号レベル補正処理を行い、
   前記信号伸張推定部は、前記任意の領域毎の信号レベル補正強度から推定した前記任意の領域毎の信号伸張度から所定の信号伸張度を選択し、
   前記ノイズ補正強度制御部は、前記所定の信号伸張度から前記ノイズ補正強度を決定すること、
   を特徴とする画像信号処理装置。
7. 請求項６記載の画像信号処理装置において、
   前記信号伸張推定部は、前記任意の領域毎の信号伸張度から、信号伸張度の平均値、Ｎ番目に大きい値、最大値、画像中の位置に応じて重みを付けた荷重平均値、または中央値のいずれかを前記所定の信号伸張度として選択することを特徴とする画像信号処理装置。
8. 請求項１記載の画像信号処理装置において、
   前記画像信号補正部は、前記ノイズ補正部から出力された画像信号に異なる入出力特性で信号レベル補正処理を行う複数の画像信号補正部により構成されており、
   前記画像信号補正強度制御部は、前記複数の画像信号補正部における各々の信号レベル補正強度を決定し、
   前記信号伸張推定部は、前記各々の信号レベル補正強度にもとづく各々の信号伸張度を推定し、
   前記ノイズ補正強度制御部は、前記各々の信号伸張度を統合して前記ノイズ補正強度を決定すること、
   を特徴とする画像信号処理装置。
9. 請求項８に記載の画像信号処理装置において、さらに、
   前記複数の画像信号補正部に入力されるそれぞれの画像信号の信号値の分布または統計量を統計情報として算出する複数の統計情報取得部を備え、
   前記画像信号補正強度制御部は該複数の統計情報取得部で算出された統計情報を基に対応する画像信号補正部における信号レベル補正強度を制御することを特徴とする画像信号処理装置。
10. 請求項１記載の画像信号処理装置において、
    前記ノイズ補正部におけるノイズ補正処理とは、画像信号中の注目する画素とその周辺の画素との間の信号レベルの相関をもとにノイズ補正を行う二次元ノイズ補正処理、注目する画素の時間軸上で連続する画像間における信号レベルの相関をもとにノイズ補正を行う三次元ノイズ補正処理、または、エッジ強調処理におけるエッジ強調の補正強度を弱めてエッジ強調を行う処理、の少なくとも一つであることを特徴とする画像信号処理装置。
11. 請求項１０に記載の画像信号処理装置において、
    前記ノイズ補正部がノイズ補正処理として二次元ノイズ補正処理と三次元ノイズ補正処理とエッジ強調の補正強度を弱めたエッジ強調処理のうち複数の処理を行う場合に、前記ノイズ補正強度制御部は、ノイズ補正処理の補正強度として、二次元ノイズ補正処理、三次元ノイズ補正処理、エッジ強調処理のうち、実行されるノイズ補正処理のノイズ補正強度をそれぞれ決定することを特徴とする画像信号処理装置。
12. 請求項１に記載の画像信号処理装置において、
    撮像を行い画像信号を生成して出力する撮像部と、
    該撮像部の露光量を検出する露光量検出部と、
    該露光量検出部で検出された露光量を基に前記撮像部の露光を制御する露光制御部と、を備え、
    前記ノイズ補正強度制御部は、前記信号伸張度と前記露光制御部における露光制御の度合いとを用いて前記ノイズ補正強度を決定することを特徴とする画像信号処理装置。
13. 請求項１０記載の画像信号処理装置において、
    撮像を行い画像信号を生成して出力する撮像部と、
    該撮像部の露光量を検出する露光量検出部と、
    該露光量検出部で検出された露光量を基に前記撮像部の露光を制御する露光制御部と、を備え、
    前記ノイズ補正部における二次元ノイズ補正処理は、画像信号中の注目する画素とその周辺の画素との間の信号レベルの相関の度合いを基準値と比較して該注目する画素に対するノイズ補正の有無または補正方法の種別を切り替えて信号処理を実施し、
    前記ノイズ補正強度制御部は、前記露光制御部における露光制御の度合いを用いて前記基準値を制御し、前記信号伸張度と前記露光制御の度合いとを用いて前記ノイズ補正強度を決定すること、
    を特徴とする画像信号処理装置。
14. 請求項１０記載の画像信号処理装置において、
    撮像を行い画像信号を生成して出力する撮像部と、
    該撮像部の露光量を検出する露光量検出部と、
    該露光量検出部で検出された露光量を基に前記撮像部の露光を制御する露光制御部、を備え、
    前記ノイズ補正部における三次元ノイズ補正処理は、注目する画素の時間軸上で連続する画像間における信号レベルの相関の度合い、または、画像信号中の注目する画素とその周辺の画素との間の信号レベルの相関の度合いを基準値と比較して該注目する画素に対するノイズ補正の有無または補正方法の種別を切り替えて信号処理を実施し、
    前記ノイズ補正強度制御部は、前記露光制御部における露光制御の度合いを用いて前記基準値を制御し、前記信号伸張度と前記露光制御の度合いとを用いて前記ノイズ補正強度を決定すること、
    を特徴とする画像信号処理装置。
15. 請求項１記載の画像信号処理装置において、
    撮像を行い画像信号を生成して出力する撮像部と、
    該撮像部の露光量を検出する露光量検出部と、
    該露光量検出部で検出された露光量を基に前記撮像部の露光を制御する露光制御部、を備え、
    前記画像信号補正強度制御部は、前記信号レベル補正強度を前記露光制御部における露光制御の度合いを用いて決定することを特徴とする画像信号処理装置。
16. 請求項１５に記載の画像信号処理装置において、
    前記画像信号補正強度制御部は、前記露光制御部が信号ゲインが大きくなるように露光制御をした場合に、前記信号レベル補正強度を小さくすることを特徴とする画像信号処理装置。
17. 画像信号を入力する画像信号入力ステップと、
    ノイズ補正強度を決定するノイズ補正強度制御ステップと、
    上記画像信号に、上記ノイズ補正強度にもとづくノイズ補正処理を行うノイズ補正ステップと、
    上記ノイズ補正処理が行われた画像信号の信号レベル補正強度を決定する画像信号補正強度制御ステップと、
    上記信号レベル補正強度にもとづく信号レベル補正処理の信号伸張度を推定する信号伸張推定ステップと、
    上記ノイズ補正処理された画像信号に、上記信号レベル補正強度にもとづく信号レベル補正処理を行う画像信号補正ステップと、
    を有し、前記ノイズ補正強度制御ステップでは前記信号伸張度からノイズ補正強度を決定することを特徴とする画像信号処理方法。
18. 請求項１７記載の画像信号処理方法において、
    前記画像信号補正強度制御ステップでは、画像信号の被写体が存在する輝度範囲が小さいほど上記輝度範囲の信号伸張度が大きくなるように前記信号レベル補正強度を決定することを特徴とする画像信号処理方法。
19. 請求項１７記載の画像信号処理方法において、
    信号伸張推定情報を格納する信号伸張推定情報格納ステップを備え、
    前記信号伸張推定ステップでは前記信号伸張推定情報と前記信号レベル補正強度を基に前記信号伸張度を推定することを特徴とする画像信号処理方法。
20. 請求項１９記載の画像信号処理方法において、
    前記信号伸張推定情報は、所定の信号レベル補正強度にもとづく信号レベル補正処理の入出力特性における所定の信号レベルの入力値と出力値との比率であることを特徴とする画像信号処理方法。
21. 請求項１９記載の画像信号処理方法において、
    前記信号伸張推定情報は、所定の信号レベル補正強度にもとづく信号レベル補正処理の入出力特性における所定の２つの信号レベル間の入力値の差分と出力値の差分との比率であることを特徴とする画像信号処理方法。
22. 請求項１７記載の画像信号処理方法において、
    入力された画像信号の任意の領域毎の信号値の分布または統計量を統計情報として算出する統計情報取得ステップを備え、
    前記画像信号補正強度制御ステップでは前記統計情報を基に任意の領域毎の信号レベル補正強度を決定し、
    前記画像信号補正ステップでは前記任意の領域毎の信号レベル補正強度を基に信号レベル補正処理を行い、
    前記信号伸張推定ステップでは、前記任意の領域毎の信号レベル補正強度から推定した前記任意の領域毎の信号伸張度から所定の信号伸張度を選択し、
    前記ノイズ補正強度制御ステップでは、前記所定の信号伸張度から前記ノイズ補正強度を決定すること、
    を特徴とする画像信号処理方法。
23. 請求項２２記載の画像信号処理方法において、
    前記信号伸張推定ステップでは、前記任意の領域毎の信号伸張度から、信号伸張度の平均値、Ｎ番目に大きい値、最大値、画像中の位置に応じて重みを付けた荷重平均値、または中央値のいずれかを前記所定の信号伸張度として選択することを特徴とする画像信号処理方法。
24. 請求項１７記載の画像信号処理方法において，
    前記画像信号補正ステップは、前記ノイズ補正ステップから出力された画像信号に異なる入出力特性で信号レベル補正処理を行う複数の画像信号補正ステップにより構成されており、
    前記画像信号補正強度制御ステップでは、前記複数の画像信号補正ステップにおける各々の信号レベル補正強度を決定し、
    前記信号伸張推定ステップでは、前記各々の信号レベル補正強度にもとづく各々の信号伸張度を推定し、
    前記ノイズ補正強度制御ステップでは、前記各々の信号伸張度を統合して前記ノイズ補正強度を決定すること、
    を特徴とする画像信号処理方法。
25. 請求項２４に記載の画像信号処理方法において、さらに、
    前記複数の画像信号補正ステップで入力されるそれぞれの画像信号の信号値の分布または統計量を統計情報として算出する複数の統計情報取得ステップを備え、
    前記画像信号補正強度制御ステップでは該複数の統計情報取得ステップで算出された統計情報を基に対応する画像信号補正ステップにおける信号レベル補正強度を制御することを特徴とする画像信号処理方法。
26. 請求項１７記載の画像信号処理方法において、
    前記ノイズ補正ステップにおけるノイズ補正処理とは，画像信号中の注目する画素とその周辺の画素との間の信号レベルの相関をもとにノイズ補正を行う二次元ノイズ補正処理、注目する画素の時間軸上で連続する画像間における信号レベルの相関をもとにノイズ補正を行う三次元ノイズ補正処理、または、エッジ強調処理におけるエッジ強調の補正強度を弱めてエッジ強調を行う処理、の少なくとも一つであることを特徴とする画像信号処理方法。
27. 請求項２６に記載の画像信号処理方法において、
    前記ノイズ補正ステップでノイズ補正処理として二次元ノイズ補正処理と三次元ノイズ補正処理とエッジ強調の補正強度を弱めたエッジ強調処理のうち複数の処理を行う場合に、前記ノイズ補正強度制御ステップでは、ノイズ補正処理の補正強度として、二次元ノイズ補正処理、三次元ノイズ補正処理、エッジ強調処理のうち、実行されるノイズ補正処理のノイズ補正強度をそれぞれ決定することを特徴とする画像信号処理方法。
28. 請求項１７に記載の画像信号処理方法において、
    撮像を行い画像信号を生成して出力する撮像ステップと、
    該撮像ステップでの露光量を検出する露光量検出ステップと、
    該露光量検出ステップで検出された露光量を基に前記撮像ステップでの露光を制御する露光制御ステップと、を備え、
    前記ノイズ補正強度制御ステップでは、前記信号伸張度と前記露光制御ステップにおける露光制御の度合いとを用いて前記ノイズ補正強度を決定することを特徴とする画像信号処理方法。
29. 請求項２６記載の画像信号処理方法において、
    撮像を行い画像信号を生成して出力する撮像ステップと、
    該撮像ステップの露光量を検出する露光量検出ステップと、
    該露光量検出ステップで検出された露光量を基に前記撮像ステップの露光を制御する露光制御ステップと、を備え、
    前記ノイズ補正ステップにおける二次元ノイズ補正処理は、画像信号中の注目する画素とその周辺の画素との間の信号レベルの相関の度合いを基準値と比較して該注目する画素に対するノイズ補正の有無または補正方法の種別を切り替えて信号処理を実施し、
    前記ノイズ補正強度制御ステップでは、前記露光制御ステップにおける露光制御の度合いを用いて前記基準値を制御し、前記信号伸張度と前記露光制御の度合いとを用いて前記ノイズ補正強度を決定すること、
    を特徴とする画像信号処理方法。
30. 請求項２６記載の画像信号処理方法において、
    撮像を行い画像信号を生成して出力する撮像ステップと、
    該撮像ステップの露光量を検出する露光量検出ステップと、
    該露光量検出ステップで検出された露光量を基に前記撮像ステップでの露光を制御する露光制御ステップと、を備え、
    前記ノイズ補正ステップにおける三次元ノイズ補正処理は、注目する画素の時間軸上で連続する画像間における信号レベルの相関の度合い、または、画像信号中の注目する画素とその周辺の画素との間の信号レベルの相関の度合いを基準値と比較して該注目する画素に対するノイズ補正の有無または補正方法の種別を切り替えて信号処理を実施し、
    前記ノイズ補正強度制御ステップでは、前記露光制御ステップにおける露光制御の度合いを用いて前記基準値を制御し、前記信号伸張度と前記露光制御の度合いとを用いて前記ノイズ補正強度を決定すること、
    を特徴とする画像信号処理方法。
31. 請求項１７記載の画像信号処理方法において、
    撮像を行い画像信号を生成して出力する撮像ステップと、
    該撮像ステップの露光量を検出する露光量検出ステップと、
    該露光量検出ステップで検出された露光量を基に前記撮像ステップの露光を制御する露光制御ステップ、を備え、
    前記画像信号補正強度制御ステップでは、前記信号レベル補正強度を前記露光制御ステップにおける露光制御の度合いを用いて決定することを特徴とする画像信号処理方法。
32. 請求項３１に記載の画像信号処理方法において、
    前記画像信号補正強度制御ステップでは、前記露光制御ステップで信号ゲインが大きくなるように露光制御をした場合に、前記信号レベル補正強度を小さくすることを特徴とする画像信号処理方法。

Images