JP4980132B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、固体撮像素子を１個使用した単板方式のカラーテレビジョンカメラ等の撮像装置に関し、特に信号対雑音比（Ｓ／Ｎ）重視で感度設定した場合のダイナミックレンジ向上に関するものである。

従来、固体撮像素子を３個使用した３板方式のカラーテレビジョンカメラにおいて、信号対雑音比（Ｓ／Ｎ）を改善するために赤外線カット光学フィルタを用いないで輝度信号の合成比率を変えていた。（例えば、特許文献１参照。）。
特開２００４−２８２４５２号公報

前述の固体撮像素子を３個使用した３板方式のカラーテレビジョンカメラは、赤外線カット光学フィルタを用いないことと、輝度信号の合成比率を変えることで信号対雑音比（Ｓ／Ｎ）を改善していた。しかし、色信号については特に信号処理を実施していなかった。

本発明の目的は、単板方式のカラーテレビジョンカメラにおいて、出力する映像信号の高い信号対雑音比（Ｓ／Ｎ）と広いダイナミックレンジの両立を実現することにある。

本発明の画像信号処理装置は、異なる複数の色フィルタが配置された固体撮像素子を用いた撮像装置において、固体撮像素子から出力される複数の色信号を所定の増幅率で増幅する増幅手段と、増幅手段で増幅した複数の色信号を色信号毎に分離する分離手段と、分離した複数の色信号に白バランス調整を施す白バランス調整手段と、白バランス調整を施こした複数の色信号から増幅手段の増幅率に応じて飽和レベルを検出するレベル検出手段と、レベル検出手段で飽和レベルを検出した色信号と異なる他の色信号から補正信号を生成する補正信号生成手段と、白バランス調整を施こした複数の色信号に補正信号生成手段で生成した補正信号を加算する第１の加算手段を備える。

また、上記の画像信号処理装置は、更に輪郭強調手段と第２の加算手段を備え、輪郭強調手段は飽和レベル検出手段で検出した色信号と異なる他の色信号から輪郭強調信号を生成し、複数の色信号に輪郭強調信号を第２の加算手段で加算する。

さらに本発明の画像信号処理方法は、異なる複数の色フィルタが配置された固体撮像素子を用いた撮像装置において、固体撮像素子から出力される複数の色信号を所定の増幅率で増幅し、増幅した複数の色信号を色信号毎に分離し、分離した複数の色信号に白バランス調整を施し、白バランス調整を施こした複数の色信号から増幅率に応じて飽和レベルを検出し、飽和レベルを検出した色信号と異なる他の色信号から補正信号を生成し、白バランス調整を施こした複数の色信号に前記補正信号を加算する。

さらにまた、上記の画像信号処理方法は、更に飽和レベルを検出した色信号と異なる他の色信号から輪郭強調信号を生成し、複数の色信号に輪郭強調信号を加算する。

本発明によれば、単板方式のカラーテレビジョンカメラにおいて、出力する映像信号の高い信号対雑音比（Ｓ／Ｎ）と広いダイナミックレンジの両立が実現できる。

以下、本発明による撮像装置の一実施例について図１を用いて説明する。

図１は本発明の一実施例の撮像装置を示すブロック図である。

図１において、１は撮像装置、２は入射光を結像するレンズ部、３はレンズ部２から入射した光を電気信号に変換するＣＣＤ（Charge Coupled Device）撮像素子、４はＣＣＤ撮像素子３から出力された信号から雑音を除去するＣＤＳ（Correlated Double Sampling）部、５はＣＤＳ部４から出力された信号のレベルを調整するアンプ部、６はアンプ部５から出力されたアナログ信号をデジタル信号の信号Ａに変換するＡ／Ｄ変換（Analog Digital Converter）部、７はＡ／Ｄ変換部６から出力されたデジタル信号を赤色と緑色と青色の各デジタル映像信号に分離する色分離部である。８は色分離部７で分離された赤色デジタル映像信号（ｒ信号）のレベルを調整しＲ（Ｒｅｄ）信号を出力するアンプ部、９は色分離部７で分離された緑色デジタル映像信号（ｇ信号）のレベルを調整しＧ（Ｇｒｅｅｎ）信号を出力するアンプ部、１０は色分離部７で分離された青色デジタル映像信号（ｂ信号）のレベルを調整しＢ（Ｂｌｕｅ）信号を出力するアンプ部であり、アンプ部８〜１０はホワイトバンス調整を行うものである。１１は入力されたＲ信号，Ｇ信号，Ｂ信号に後述のレベル補正を施し、Ｒ’ 信号，Ｇ’ 信号，Ｂ’ 信号を出力するレベル補正部である。１２は入力されたＲ’ 信号，Ｇ’ 信号，Ｂ’ 信号に後述の輪郭強調を施し、Ｒ” 信号，Ｇ” 信号，Ｂ” 信号を出力する輪郭強調部である。１３は入力されたＲ” 信号，Ｇ” 信号，Ｂ” 信号を所定方式の映像信号に変換して出力する映像信号出力部、１４はＣＣＤ撮像素子３を駆動するためのＣＣＤ駆動部、１５はアンプ部８〜１０から出力される赤色と緑色と青色の各デジタル映像信号のレベルを比較するレベル比較部、１６は撮像装置１内の各部を制御するＣＰＵ（Central Processing Unit）である。また、ＣＰＵ１６は信号Ａでレベル補正部１１の制御を行い、信号Ｃで輪郭強調部１２の制御を行う。

映像信号出力部１３から出力される所定方式の映像信号とは、例えば、ＲＧＢ信号、ＮＴＳＣ（National Television System Committee）方式、ＰＡＬ（Phase Alternating by Line）方式またはＨＤＴＶ（High Definition TeleVision）方式等の動画像あるいは静止画像である。

次に、本発明の一実施例の動作を図１で説明する。

撮像装置１のＣＣＤ撮像素子３はレンズ部２で光電変換部に結像された入射光を光電変換してＣＤＳ部４に出力する。ＣＤＳ部４はＣＣＤ撮像素子３から出力された信号から雑音を除去してアンプ部５に出力する。アンプ部５はＣＤＳ６４から出力された信号をＣＰＵ１６から出力される利得制御信号に従って増幅してＡ／Ｄ変換部６に出力する。Ａ／Ｄ変換部６はアンプ部５から出力されたアナログ信号を例えば１２ビットのデジタル信号に変換して色分離部７に出力する。本発明はアンプ部５の増幅率に応じて飽和レベル設定値を変更するため、Ａ／Ｄ変換部６の分解能はアンプ部５の増幅率に応じて適宜変更させる。色分離部７はＣＰＵ１６から出力される制御信号に従ってＡ／Ｄ変換部６から出力されたデジタル信号を赤色と緑色と青色の各デジタル映像信号に分離して、赤色デジタル映像信号（ｒ信号）はアンプ部８に出力し、緑色デジタル映像信号（ｇ信号）はアンプ部９に出力し、青色デジタル映像信号（ｂ信号）はアンプ部１０に出力する。アンプ部８は色分離部７で分離された赤色デジタル映像信号（ｒ信号）のレベルを調整しＲ（Ｒｅｄ）信号を出力する、アンプ部９は色分離部７で分離された緑色デジタル映像信号（ｇ信号）のレベルを調整しＧ（Ｇｒｅｅｎ）信号を出力する、アンプ部１０は色分離部７で分離された青色デジタル映像信号（ｂ信号）のレベルを調整しＢ（Ｂｌｕｅ）信号を出力する、アンプ部８〜１０は入力された赤色、緑色、青色の各デジタル映像信号に対してＣＰＵ１６から出力される利得調整信号に従ってレベル合わせ、即ちホワイトバンス調整を行いレベル補正部１１に出力する。レベル補正部１１は入力されたＲ信号，Ｇ信号，Ｂ信号に後述のレベル補正を施し、Ｒ’ 信号，Ｇ’ 信号，Ｂ’ 信号を輪郭強調部１２に出力する。輪郭強調部１２は入力されたＲ’ 信号，Ｇ’ 信号，Ｂ’ 信号に後述の輪郭強調を施し、Ｒ” 信号，Ｇ” 信号，Ｂ” 信号を映像信号出力部１３に出力する。映像信号出力部１３は入力されたＲ” 信号，Ｇ” 信号，Ｂ” 信号を所定方式の映像信号に変換して出力する。ＣＣＤ駆動部１４はＣＰＵ１６から出力される制御信号に従ってＣＣＤ撮像素子３を駆動するための信号を出力する。レベル比較部１５はアンプ部８〜１０から出力されるＲとＧとＢの各デジタル映像信号のレベルを比較し、比較結果信号をＣＰＵ１６に出力する。ＣＰＵ１６は外部から入力される制御信号Ｄとレベル比較部１５から出力される比較結果信号に従いアンプ部８〜１０を制御する。また、ＣＰＵ１６は信号Ａでレベル補正部１１の制御を行い、信号Ｃで輪郭強調部１２の制御を行う。

本発明の一実施例の感度設定について図１と図３を用いて説明する。

図３（１）の左端の図は信号対雑音比（Ｓ／Ｎ）重視で感度設定を説明するための図である。感度設定は主にアンプ部５の利得制御で行う。

図１のＣＣＤ撮像素子３は、例えば画素に赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ）の色フィルタが被覆された単板カラーの撮像素子とする。ＣＣＤ撮像素子３は３つの色フィルタが被覆されているため、色フィルタ毎に透過率が異なる。また、撮像素子は波長により光電変化率が違うため、ＣＣＤ撮像素子３から出力される赤色映像信号、緑色映像信号、青色映像信号で感度差が生じる。この感度差を例えば、緑色映像信号を１とした時に、赤色映像信号を０．５、青色映像信号を０．６２５とする。これを図示したのが図３（１）の左端の図である。尚、棒グラフの１本の棒は、ＣＣＤ撮像素子３の１画素またはＡ／Ｄ変換部６の１サンプリングのレベルを表している。
Ｓ／Ｎ重視の感度設定を行うには、ＣＣＤ撮像素子３から出力される信号の中で最初の飽和する信号即ち本実施例では緑色映像信号の飽和レベルを設定する必要がある。緑色映像信号の飽和レベルの設定は、ＣＣＤ撮像素子３に光電変換の最大値を超える光量を入射してＣＣＤ撮像素子３から出力する緑色映像信号を飽和レベルにする。次に色分離部７の出力でｇ信号が（８００）_ｈとなるようにアンプ部５の利得をＣＰＵ１６から制御する。このアンプ部５の利得を０ｄＢとして、本発明を説明する。飽和レベルとはＣＣＤ撮像素子３の光電変換の最大値のことで、最大値に達すると入射光量をいくら増加させても出力する電気信号は増加しない。

本発明の一実施例のレベル補正について図１〜図３を用いて説明する。

図２は図１のレベル補正部１１の詳細内容を示すブロック図である。

図２において、１０４は入力されたＲ信号，Ｇ信号，Ｂ信号でレベルが飽和しているかを検出するレベル検出部、１０５はレベル検出部１０４で飽和レベルに達している信号に対して補正信号を生成する補正信号生成部１０５、１０１〜１０３は補正信号生成部１０５から出力される補正信号を加算する加算部、１０６はＣＰＵ１６から出力される信号Ａに従って信号ａと信号ｂを出力する制御部である。

図３は本発明の一実施例であるレベル補正を説明するための図である。本一実施例ではｇ信号が飽和レベル即ちＡ／Ｄ変換部６の最大出力レベルに達している場合のレベル補正について説明する。ｒ信号またはｂ信号がｇ信号より感度が高く、最初にｒ信号またはｂ信号が飽和レベルに達した場合も同様の処理を施せば良い。

図３（１）の左端の図は、一実施例として白または無彩色の被写体を撮影し、レンズ部２の図示していない絞りを調整した場合の色分離部７の出力信号を表した図である。アンプ部５の利得は０ｄＢの場合である。色分離部７の出力でｇ信号を１とした時に、ｒ信号を０．５、ｂ信号を０．６２５とする。ここでｇ信号のみがＡ／Ｄ変換部６の最大出力レベルに達しているとする。Ａ／Ｄ変換部６から出力するｇ信号の飽和レベルを１６進法で表すと（８００）_ｈである。色分離部７のｒ信号出力は（５００）_ｈ、ｂ信号出力は（６４０）_ｈである。

ＣＣＤ撮像素子３から出力される信号の感度差を補正するため、ホワイトバランス調整を施す。ホワイトバランス調整はアンプ部８〜１０の利得調整で行う。ｇ信号は比率が１であるため、アンプ部９の利得は１である。ｒ信号は比率が０．５であるため、アンプ部８の利得は逆数の２となる。ｒ信号はアンプ部８で増幅され（Ａ００）_ｈがＲ信号として出力される。ｇ信号はアンプ部９の利得が１であるため、入力と同じ（８００）_ｈがＧ信号として出力される。ｂ信号は比率が０．６２５であるため、アンプ部１０の利得は逆数の１．６となる。ｂ信号はアンプ部１０で増幅され（Ａ００）_ｈがＢ信号として出力される。これを図示したのが図３（１）の左から２番目の図である。図でホワイトバランス調整を施してもレベル差があるのはｇ信号の飽和レベルがＡ／Ｄ変換部６の最大出力レベルに達しているとしたからである。

次に、図２のレベル補正部１１の動作について説明する。

Ｒ信号，Ｇ信号，Ｂ信号をレベル補正部１１に入力する。レベル検出部１０４は入力したＧ信号がＡ／Ｄ変換部６の最大出力レベルの（８００）_ｈであるかを検出する。検出の結果、入力したＧ信号が（８００）_ｈ未満である場合は補正信号生成部１０５から０（ゼロ）の補正信号を出力する。レベル検出部１０４は図３（１）の左から２番目の図からＧ信号レベルが（８００）_ｈであることを検出し、補正信号生成部１０５で補正信号を生成する。補正信号は、輝度信号ＹＨを基に生成する。Ｇ信号の最大レベルをＬｍａｘ、赤色信号係数をＫｒ、青色信号係数をＫｂとすると、ＹＨの算出式（式１）は下記となる。

ＹＨ＝Ｋｒ×（Ｒ−Ｌｍａｘ）＋Ｋｂ×（Ｂ−Ｌｍａｘ） ・・・（式１）
Ｒ−ＬｍａｘとＢ−Ｌｍａｘを算出すると下記となる。

Ｒ−Ｌｍａｘ＝（Ａ００）_ｈ−（８００）_ｈ＝（２００）_ｈ ・・・（式２）
Ｂ−Ｌｍａｘ＝（Ａ００）_ｈ−（８００）_ｈ＝（２００）_ｈ ・・・（式３）
赤色信号係数をＫｒと青色信号係数を０．３とすると
ＹＨ＝０．３×（２００）_ｈ＋０．３×（２００）_ｈ＝（１３３）_ｈ ・・・（式４）
算出したＹＨからＲ’信号、Ｇ’信号、Ｂ’信号を生成すると下記となる。

Ｒ’＝Ｒ−（Ｒ−Ｌｍａｘ）＋ＹＨ＝（９３３）_ｈ ・・・（式５）
Ｇ’＝Ｇ＋ＹＨ＝（９３３）_ｈ ・・・（式６）
Ｂ’＝Ｂ−（Ｂ−Ｌｍａｘ）＋ＹＨ＝（９３３）_ｈ ・・・（式７）
上記の算出した結果から補正信号ｅ、ｄ、ｃは下記となり、図示したのが図３（１）の左から３番目の図である。

ｅ＝Ｒ’ −Ｒ＝（９３３）_ｈ−（Ａ００）_ｈ＝−（０ＣＤ）_ｈ ・・・（式８）
ｄ＝Ｇ’ −Ｇ＝（９３３）_ｈ−（８００）_ｈ＝（１３３）_ｈ ・・・（式９）
ｃ＝Ｂ’ −Ｂ＝（９３３）_ｈ−（Ａ００）_ｈ＝−（０ＣＤ）_ｈ ・・・（式１０）
Ｒ信号は加算部１０１で補正信号ｅと加算されＲ’信号となる。Ｇ信号は加算部１０２で補正信号ｄと加算されＧ’信号となる。Ｂ信号は加算部１０３で補正信号ｃと加算されＢ’信号となる。これを図示したのが図３（１）の右端の図であり、算出式が（式１１）〜（式１３）である。

Ｒ’＝Ｒ＋ｅ＝（９３３）_ｈ ・・・（式１１）
Ｇ’＝Ｇ＋ｄ＝（９３３）_ｈ ・・・（式１２）
Ｂ’＝Ｂ＋ｃ＝（９３３）_ｈ ・・・（式１３）
次に図３（２）で、アンプ部５の利得が６ｄＢの場合のレベル補正の一実施例について説明する。

図３（２）の左端の図は、一実施例として白または無彩色の被写体を撮影し、レンズ部２の図示していない絞りを調整した場合の色分離部７の出力信号を表した図である。色分離部７の出力でｇ信号を１とした時に、ｒ信号を０．５、ｂ信号を０．６２５とする。ここでｇ信号のみがＡ／Ｄ変換部６の最大出力レベルに達しているとする。Ａ／Ｄ変換部６から出力するｇ信号の飽和レベルを１６進法で表すと（ＦＦＦ）_ｈである。色分離部７のｒ信号出力は（Ａ００）_ｈ、ｂ信号出力は（Ｃ８０）_ｈである。

ＣＣＤ撮像素子３から出力される信号の感度差を補正するため、ホワイトバランス調整を施す。ホワイトバランス調整はアンプ部８〜１０の利得調整で行う。ｇ信号は比率が１であるため、アンプ部９の利得は１である。ｒ信号は比率が０．５であるため、アンプ部８の利得は逆数の２となる。ｒ信号はアンプ部８で増幅され（１４００）_ｈがＲ信号として出力される。ｇ信号はアンプ部９の利得が１であるため、入力と同じ（ＦＦＦ）_ｈがＧ信号として出力される。ｂ信号は比率が０．６２５であるため、アンプ部１０の利得は逆数の１．６となる。ｂ信号はアンプ部１０で増幅され（１４００）_ｈがＢ信号として出力される。これを図示したのが図３（２）の左から２番目の図である。図でホワイトバランス調整を施してもレベル差があるのはｇ信号の飽和レベルがＡ／Ｄ変換部６の最大出力レベルに達しているとしたからである。

次に、図２のレベル補正部１１の動作について説明する。

Ｒ信号，Ｇ信号，Ｂ信号をレベル補正部１１に入力する。レベル検出部１０４は入力したＧ信号がＡ／Ｄ変換部６の最大出力レベルの（ＦＦＦ）_ｈであるかを検出する。検出の結果、入力したＧ信号が（ＦＦＦ）_ｈ未満である場合は補正信号生成部１０５から０（ゼロ）の補正信号を出力する。レベル検出部１０４は図３（２）の左から２番目の図からＧ信号レベルが（ＦＦＦ）_ｈであることを検出し、補正信号生成部１０５で補正信号を生成する。補正信号は、輝度信号ＹＨを基に生成する。Ｇ信号の最大レベルをＬｍａｘ、赤色信号係数をＫｒ、青色信号係数をＫｂとすると、ＹＨの算出式（式１４）は下記となる。

ＹＨ＝Ｋｒ×（Ｒ−Ｌｍａｘ）＋Ｋｂ×（Ｂ−Ｌｍａｘ） ・・・（式１４）
Ｒ−ＬｍａｘとＢ−Ｌｍａｘを算出すると下記となる。

Ｒ−Ｌｍａｘ＝（１４００）_ｈ−（ＦＦＦ）_ｈ＝（４０１）_ｈ ・・・（式１５）
Ｂ−Ｌｍａｘ＝（１４００）_ｈ−（ＦＦＦ）_ｈ＝（４０１）_ｈ ・・・（式１６）
赤色信号係数をＫｒと青色信号係数を０．３とすると
ＹＨ＝０．３×（４０１）_ｈ＋０．３×（４０１）_ｈ＝（２６７）_ｈ・・・（式１７）
算出したＹＨからＲ’信号、Ｇ’信号、Ｂ’信号を生成すると下記となる。

Ｒ’＝Ｒ−（Ｒ−Ｌｍａｘ）＋ＹＨ＝（１２６６）_ｈ ・・・（式１８）
Ｇ’＝Ｇ＋ＹＨ＝（１２６６）_ｈ ・・・（式１９）
Ｂ’＝Ｂ−（Ｂ−Ｌｍａｘ）＋ＹＨ＝（１２６６）_ｈ ・・・（式２０）
上記の算出した結果から補正信号ｅ、ｄ、ｃは下記となり、図示したのが図３（２）の左から３番目の図である。

ｅ＝Ｒ’ −Ｒ＝（１２６６）_ｈ−（１４００）_ｈ＝−（１９Ａ）_ｈ ・・・（式２１）
ｄ＝Ｇ’ −Ｇ＝（１２６６）_ｈ−（ＦＦＦ）_ｈ＝（２６７）_ｈ ・・・（式２２）
ｃ＝Ｂ’ −Ｂ＝（１２６６）_ｈ−（１４００）_ｈ＝−（１９Ａ）_ｈ ・・・（式２３）
Ｒ信号は加算部１０１で補正信号ｅと加算されＲ’信号となる。Ｇ信号は加算部１０２で補正信号ｄと加算されＧ’信号となる。Ｂ信号は加算部１０３で補正信号ｃと加算されＢ’信号となる。これを図示したのが図３（２）の右端の図であり、算出式が（式２４）〜（式２６）である。

Ｒ’＝Ｒ＋ｅ＝（１２６６）_ｈ ・・・（式２４）
Ｇ’＝Ｇ＋ｄ＝（１２６６）_ｈ ・・・（式２５）
Ｂ’＝Ｂ＋ｃ＝（１２６６）_ｈ ・・・（式２６）
次の一実施例として図４（１）の左端の図は、色の付いた被写体を撮影し、レンズ部２の図示していない絞りを調整した場合の色分離部７の出力信号を表した図である。アンプ部５の利得は０ｄＢの場合である。ここでｇ信号のみが飽和レベルに達しているとする。色分離部７のｒ信号出力は（３８０）_ｈ、ｇ信号レベルは（８００）_ｈ、ｂ信号出力は（８００）_ｈである。

次に、ＣＣＤ撮像素子３から出力される信号の感度差を補正するため、ホワイトバランス調整を施す。ホワイトバランス調整はアンプ部８〜１０の利得調整で行う。ｇ信号は比率が１であるため、アンプ部９の利得は１である。ｒ信号は比率が０．５であるため、アンプ部８の利得は逆数の２となる。ｒ信号はアンプ部８で増幅され（７００）_ｈがＲ信号として出力される。ｇ信号はアンプ部９の利得が１であるため、入力と同じ（８００）_ｈがＧ信号として出力される。ｂ信号は比率が０．６２５であるため、アンプ部１０の利得は逆数の１．６となる。ｂ信号はアンプ部１０で増幅され（ＣＣＤ）_ｈがＢ信号として出力される。これを図示したのが図４（１）の左から２番目の図である。

次に、図２のレベル補正部１１の動作について説明する。

Ｒ信号，Ｇ信号，Ｂ信号をレベル補正部１１に入力する。レベル検出部１０４は入力したＧ信号がＡ／Ｄ変換部６の出力で飽和レベルの（８００）_ｈであるかを検出する。検出の結果、入力したＧ信号が（８００）_ｈ未満である場合は補正信号生成部１０５から０（ゼロ）の補正信号を出力する。レベル検出部１０４は図４（１）の左から２番目の図からＧ信号レベルが（８００）_ｈであることを検出し、補正信号生成部１０５で補正信号を生成する。補正信号は、輝度信号ＹＨは（式１）を基に生成する。
Ｒ−ＬｍａｘとＢ−Ｌｍａｘを算出すると下記となる。

Ｒ−Ｌｍａｘ＝（７００）_ｈ−（８００）_ｈ＝−（１００）_ｈ ・・・（式２７）
Ｂ−Ｌｍａｘ＝（ＣＣＤ）_ｈ−（８００）_ｈ＝（４ＣＤ）_ｈ ・・・（式２８）
（式２７）の算出結果がマイナス値となったため、０（ゼロ）に置き換える。
赤色信号係数をＫｒと青色信号係数を０．３とすると
ＹＨ＝０．３×（０）_ｈ＋０．３×（４ＣＤ）_ｈ＝（１７１）_ｈ ・・・（式２９）
算出したＹＨからＲ’信号、Ｇ’信号、Ｂ’信号を生成すると下記となる。

Ｒ’＝Ｒ−（Ｒ−Ｌｍａｘ）＋ＹＨ＝（７ＡＢ）_ｈ ・・・（式３０）
Ｇ’＝Ｇ＋ＹＨ＝（８ＡＢ）_ｈ ・・・（式３１）
Ｂ’＝Ｂ−（Ｂ−Ｌｍａｘ）＋ＹＨ＝（８ＡＢ）_ｈ ・・・（式３２）
上記の算出した結果から補正信号ｅ、ｄ、ｃは下記となり、図示したのが図４（１）の左から３番目の図である。

ｅ＝Ｒ’ −Ｒ＝（７ＡＢ）_ｈ−（７００）_ｈ＝（１７１）_ｈ ・・・（式３３）
ｄ＝Ｇ’ −Ｇ＝（８ＡＢ）_ｈ−（８００）_ｈ＝（１７１）_ｈ ・・・（式３４）
ｃ＝Ｂ’ −Ｂ＝（８ＡＢ）_ｈ−（ＣＣＤ）_ｈ＝−（４２２）_ｈ ・・・（式３５）
Ｒ信号は加算部１０１で補正信号ｅと加算されＲ’信号となる。Ｇ信号は加算部１０２で補正信号ｄと加算されＧ’信号となる。Ｂ信号は加算部１０３で補正信号ｃと加算されＢ’信号となる。これを図示したのが図４（１）の右端の図であり、算出式が（式３６）〜（式３８）である。

Ｒ’＝Ｒ＋ｅ＝（７ＡＢ）_ｈ ・・・（式３６）
Ｇ’＝Ｇ＋ｄ＝（８ＡＢ）_ｈ ・・・（式３７）
Ｂ’＝Ｂ＋ｃ＝（８ＡＢ）_ｈ ・・・（式３８）
色の付いた被写体を撮影した場合、若干色相がずれる可能性もあるが、高輝度部分に対してレベル補正を施しているため、実用上は問題とならない。

次の一実施例として図４（２）の左端の図は、色の付いた被写体を撮影し、レンズ部２の図示していない絞りを調整した場合の色分離部７の出力信号を表した図である。アンプ部５の利得は６ｄＢの場合である。ここでｇ信号のみが飽和レベルに達しているとする。色分離部７のｒ信号出力は（７００）_ｈ、ｇ信号レベルは（ＦＦＦ）_ｈ、ｂ信号出力は（ＦＦＦ）_ｈである。

次に、ＣＣＤ撮像素子３から出力される信号の感度差を補正するため、ホワイトバランス調整を施す。ホワイトバランス調整はアンプ部８〜１０の利得調整で行う。ｇ信号は比率が１であるため、アンプ部９の利得は１である。ｒ信号は比率が０．５であるため、アンプ部８の利得は逆数の２となる。ｒ信号はアンプ部８で増幅され（Ｅ００）_ｈがＲ信号として出力される。ｇ信号はアンプ部９の利得が１であるため、入力と同じ（ＦＦＦ）_ｈがＧ信号として出力される。ｂ信号は比率が０．６２５であるため、アンプ部１０の利得は逆数の１．６となる。ｂ信号はアンプ部１０で増幅され（１９９８）_ｈがＢ信号として出力される。これを図示したのが図４（２）の左から２番目の図である。

次に、図２のレベル補正部１１の動作について説明する。

Ｒ信号，Ｇ信号，Ｂ信号をレベル補正部１１に入力する。レベル検出部１０４は入力したＧ信号がＡ／Ｄ変換部６の最大出力レベルの（ＦＦＦ）_ｈであるかを検出する。検出の結果、入力したＧ信号が（ＦＦＦ）_ｈ未満である場合は補正信号生成部１０５から０（ゼロ）の補正信号を出力する。レベル検出部１０４は図４（２）の左から２番目の図からＧ信号レベルが（ＦＦＦ）_ｈであることを検出し、補正信号生成部１０５で補正信号を生成する。補正信号は、輝度信号ＹＨは（式１）を基に生成する。
Ｒ−ＬｍａｘとＢ−Ｌｍａｘを算出すると下記となる。

Ｒ−Ｌｍａｘ＝（Ｅ００）_ｈ−（ＦＦＦ）_ｈ＝−（１ＦＦ）_ｈ ・・・（式３９）
Ｂ−Ｌｍａｘ＝（１９９８）_ｈ−（ＦＦＦ）_ｈ＝（９９９）_ｈ ・・・（式４０）
（式３９）の算出結果がマイナス値となったため、０（ゼロ）に置き換える。
赤色信号係数をＫｒと青色信号係数を０．３とすると
ＹＨ＝０．３×（０）_ｈ＋０．３×（９９９）_ｈ＝（２Ｅ１）_ｈ ・・・（式４１）
算出したＹＨからＲ’信号、Ｇ’信号、Ｂ’信号を生成すると下記となる。

Ｒ’＝Ｒ−（Ｒ−Ｌｍａｘ）＋ＹＨ＝（１０Ｅ１）_ｈ ・・・（式４２）
Ｇ’＝Ｇ＋ＹＨ＝（１２Ｅ０）_ｈ ・・・（式４３）
Ｂ’＝Ｂ−（Ｂ−Ｌｍａｘ）＋ＹＨ＝（１２Ｅ０）_ｈ ・・・（式４４）
上記の算出した結果から補正信号ｅ、ｄ、ｃは下記となり、図示したのが図４（２）の左から３番目の図である。

ｅ＝Ｒ’ −Ｒ＝（１０Ｅ１）_ｈ−（Ｅ００）_ｈ＝（２Ｅ１）_ｈ ・・・（式４５）
ｄ＝Ｇ’ −Ｇ＝（１２Ｅ０）_ｈ−（ＦＦＦ）_ｈ＝（２Ｅ１）_ｈ ・・・（式４６）
ｃ＝Ｂ’ −Ｂ＝（１９９８）_ｈ−（１２Ｅ０）_ｈ＝−（６Ｂ８）_ｈ ・・・（式４７）
Ｒ信号は加算部１０１で補正信号ｅと加算されＲ’信号となる。Ｇ信号は加算部１０２で補正信号ｄと加算されＧ’信号となる。Ｂ信号は加算部１０３で補正信号ｃと加算されＢ’信号となる。これを図示したのが図４（２）の右端の図であり、算出式が（式４８）〜（式５０）である。

Ｒ’＝Ｒ＋ｅ＝（１０Ｅ１）_ｈ ・・・（式４８）
Ｇ’＝Ｇ＋ｄ＝（１２Ｅ０）_ｈ ・・・（式４９）
Ｂ’＝Ｂ＋ｃ＝（１２Ｅ０）_ｈ ・・・（式５０）
色の付いた被写体を撮影した場合、若干色相がずれる可能性もあるが、高輝度部分に対してレベル補正を施しているため、実用上は問題とならない。

レベル補正部１１のレベル補正をＣＰＵ（Central Processing Unit）等の電算機を使用して補正しても良い。
レベル補正部１１のレベル補正は、定格レベルを超えた高輝度部分に施すため、見かけ上のダイナミックレンジが広がる。

本発明の他の一実施例について説明する。

輪郭強調について図１、図５、図６を用いて説明する。図５は本発明の他の一実施例の輪郭強調部１２の詳細内容を示すブロック図であり、図６は本発明の他の一実施例である輪郭強調の動作を説明するためのフローチャートである。

図６において、２０１〜２０３および２０７〜２０９は１走査線分を遅延させる遅延部、２０４〜２０６は映像信号と輪郭信号を加算する加算部、２１０はＲ’信号から垂直の輪郭信号を生成する垂直輪郭信号生成部、２１１はＧ’ 信号から垂直の輪郭信号を生成する垂直輪郭信号生成部、２１２はＢ’ 信号から垂直の輪郭信号を生成する垂直輪郭信号生成部、２１３は水平の輪郭信号を生成する水平輪郭信号生成部、２１４は１走査線分を遅延させたＲ’信号、Ｇ’ 信号、Ｂ’ 信号のレベルを検出するレベル検出部、２１５は垂直輪郭信号生成部２１０〜２１２と水平輪郭信号生成部２１３で生成した輪郭信号を選択または所定の比率で混合する輪郭信号混合部、２１６はＣＰＵ１６から出力される制御信号Ｃからレベル検出部２１４を制御する制御信号ｆと輪郭信号混合部２１５を制御する制御信号ｈを出力する制御部である。

次に輪郭強調部１２の動作について図５と図６を用いて説明する。

図６のステップＳ６０でＧ’ 信号の飽和レベルの設定と水平輪郭強調をするための遅延時間の初期設定を制御部２１６に行う。ステップ６１でアンプ部５の利得に応じてＧ’信号の飽和レベル値を設定する。ステップＳ６２で輪郭強調部１２にＲ’信号、Ｇ’ 信号、Ｂ’ 信号を入力する。ステップＳ６３でレベル検出部２１４において入力したＧ’ 信号が飽和レベルかを判定する。Ｇ’ 信号が飽和レベルの場合はステップＳ６４の処理に進み、Ｇ’ 信号が飽和レベル未満の場合はステップＳ６５の処理に進む。ステップＳ６４で垂直輪郭信号生成部２１０から出力されるＲ’ 垂直輪郭信号と、垂直輪郭信号生成部２１２から出力されるＢ’ 垂直輪郭信号と、水平輪郭信号生成部２１３から出力されるＲ’ 水平輪郭信号とＢ’ 水平輪郭信号を輪郭信号混合部２１５に入力し、輪郭信号混合部２１５で水平および垂直の輪郭信号ｊを生成し、ステップＳ６６の処理に進む。ステップＳ６５で垂直輪郭信号生成部２１１から出力されるＧ’ 垂直輪郭信号と、Ｇ’ 水平輪郭信号を輪郭信号混合部２１５に入力し、輪郭信号混合部２１５で水平および垂直の輪郭信号ｊを生成し、ステップＳ６６の処理に進む。ステップＳ６６で輪郭信号ｊを加算部２０４〜２０６に入力し、ステップＳ６７の処理に進む。ステップＳ６７で加算部２０４は１走査線分を遅延させたＲ’信号と輪郭信号ｊを加算してＲ”信号として出力する。加算部２０５は１走査線分を遅延させたＧ’信号と輪郭信号ｊを加算してＧ”信号として出力する。加算部２０６は１走査線分を遅延させたＢ’信号と輪郭信号ｊを加算してＢ”信号として出力し、ステップＳ６１の処理に戻る。

本発明の他の一実施例の輪郭強調は、緑色信号が飽和レベルに達しているか否かで輪郭強調信号を生成する色信号を変える。このことにより、定格レベルを超えた赤色映像信号、緑色映像信号および青色映像信号の高輝度部分により多くの輪郭強調が施されるため、見かけ上のダイナミックレンジが広がる。

本発明の他の一実施例の輪郭強調は、レベル補正部１１でレベル補正を施さなくても良い。

更に他の一実施例の輪郭強調について図７と図８を用いて説明する。

図７は本発明の更に他の一実施例の撮像装置を示すブロック図であり、図８は本発明の更に他の一実施例の輪郭強調信号生成部３０の詳細内容を示すブロック図である。

図７において、３０はＡ／Ｄ変換部６から出力されるデジタル信号ＡＤから輪郭強調信号ＤＴＬを生成する輪郭強調信号生成部、１７はレベル補正部１１から出力されるＲ’信号に輪郭強調信号生成部から出力される郭強調信号ＤＴＬを加算してＲ”信号を出力する加算部、１８はレベル補正部１１から出力されるＧ’信号に輪郭強調信号生成部から出力される郭強調信号ＤＴＬを加算してＧ”信号を出力する加算部、１９はレベル補正部１１から出力されるＢ’信号に輪郭強調信号生成部から出力される郭強調信号ＤＴＬを加算してＢ”信号を出力する加算部である。その他のブロックは図１と動作が同じため説明を省略する。

図８において、３１はＡ／Ｄ変換部６から出力されるデジタル信号ＡＤから水平および垂直の輪郭強調用輝度信号を生成する輪郭強調用輝度信号部、３２は輪郭強調用輝度信号部３１から出力する水平輪郭強調用輝度信号から所定周波数帯域の信号を通過させて水平輪郭信号を生成する水平信号ＢＰＦ（Band Pass Filter）、３３は輪郭強調用輝度信号部３１から出力する垂直輪郭強調用輝度信号から所定周波数帯域の信号を通過させて垂直輪郭信号を生成する垂直信号ＢＰＦ（Band Pass Filter）、３４は水平信号ＢＰＦから出力される水平輪郭信号と垂直信号ＢＰＦから出力される垂直輪郭信号を混合して輪郭強調信号ＤＴＬを出力する輪郭信号混合部、３５はデジタル信号ＡＤのレベルを検出するレベル検出部、３６はＣＰＵ１６から出力される制御信号Ｃを入力して輪郭強調信号生成部３０内の制御を行う制御部である。

次に輪郭強調信号生成部３０の動作について、図７と図８を用いて説明する。

図７のＡ／Ｄ変換部６から出力されたデジタル信号ＡＤは輪郭強調用輝度信号部３１とレベル検出部３５に入力する。レベル検出部３５は入力されたデジタル信号ＡＤの中の緑色信号が飽和レベルかを判定し、判定結果を輪郭強調用輝度信号部３１に出力する。輪郭強調用輝度信号部３１はレベル検出部３５の判定結果に基づき、緑色信号が飽和レベル未満の場合は緑色信号を基に水平輪郭強調用輝度信号と垂直輪郭強調用輝度信号を生成し、水平輪郭強調用輝度信号は水平信号ＢＰＦ３２に出力し、垂直輪郭強調用輝度信号は垂直信号ＢＰＦ３３に出力する。輪郭強調用輝度信号部３１はレベル検出部３５の判定結果で、緑色信号が飽和レベルの場合は赤色信号と青色信号を基に水平輪郭強調用輝度信号と垂直輪郭強調用輝度信号を生成し、水平輪郭強調用輝度信号は水平信号ＢＰＦ３２に出力し、垂直輪郭強調用輝度信号は垂直信号ＢＰＦ３３に出力する。レベル検出部３５に緑色信号の飽和レベル値は予めＣＰＵ１６に記憶しておき、ＣＰＵ１６から出力する制御信号Ｃに飽和レベル値を重畳して制御部３６経由で設定する。水平信号ＢＰＦ３２は入力された水平輪郭強調用輝度信号から制御部３６から設定された周波数帯域の信号のみを通過させて水平輪郭信号を生成して輪郭信号混合部３４に出力する。垂直信号ＢＰＦ３３は入力された垂直輪郭強調用輝度信号から制御部３６から設定された周波数帯域の信号のみを通過させて垂直輪郭信号を生成して輪郭信号混合部３４に出力する。輪郭信号混合部３４は入力された水平輪郭信号と垂直輪郭信号を制御部３６から設定された混合比率と増幅率で混合増幅して生成した輪郭強調信号ＤＴＬを出力する。図７の加算部１７は、Ｒ’信号と輪郭強調信号ＤＴＬを加算してＲ”信号を出力する。加算部１８は、Ｇ’信号と輪郭強調信号ＤＴＬを加算してＧ”信号を出力する。加算部１９は、Ｂ’信号と輪郭強調信号ＤＴＬを加算してＢ”信号を出力する。

本発明の更に他の一実施例の輪郭強調は、緑色信号が飽和レベルに達しているか否かで輪郭強調信号を生成する色信号を変える。このことにより、定格レベルを超えた赤色映像信号、緑色映像信号および青色映像信号の高輝度部分により多くの輪郭強調が施されるため、見かけ上のダイナミックレンジが広がる。

上述の実施例により単板方式のカラーテレビジョンカメラにおいて、出力する映像信号の高い信号対雑音比（Ｓ／Ｎ）と広いダイナミックレンジの両立が実現できる。

上述の設定値や調整値に所定の許容値を持たせて良いことは言うまでもない。

また、上述の実施例のＣＣＤ撮像素子３は、画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色フィルタを被覆した撮像素子で説明したが、色フィルタに原色の緑色（Ｇ）および補色のシアン（Ｃｙ）、黄色（Ｙｅ）、マゼンタ（Ｍｇ）を被覆した撮像素子にも適用することができる。

さらに、上述の実施例ではＣＣＤ固体撮像素子で説明したが、ＣＣＤ以外の撮像素子や撮像管にも適用することができる。

以上本発明について詳細に説明したが、本発明は、ここに記載されたテレビジョンカメラに限定されるものではなく、上記以外のテレビジョンカメラに広く適用することができることは言うまでもない。

また、本発明のテレビジョンカメラは広いダイナミックレンジであるため、検査装置や顕微鏡等に使用した場合、被写体の高輝度部分を鮮明な画像にすることができる。

本発明の一実施例の撮像装置を示すブロック図。 本発明の一実施例のレベル補正部を示すブロック図。 本発明の一実施例の白の被写体撮像時のレベル補正を説明するための図。 本発明の一実施例の色の付いた被写体撮像時のレベル補正を説明するための図。 本発明の他の一実施例の輪郭強調部を示すブロック図。 本発明の他の一実施例である輪郭強調の動作を説明するためのフローチャート。 本発明の更に他の一実施例の撮像装置を示すブロック図。 本発明の更に他の一実施例の輪郭強調信号生成部を示すブロック図。

符号の説明

１：撮像装置、２：レンズ部、３：ＣＣＤ撮像素子、４：ＣＤＳ部、５，８，９，１０：アンプ部、６：Ａ／Ｄ変換部、７：色分離部、１１：レベル補正部、１２：輪郭強調部、１３：映像信号出力部、１４：ＣＣＤ駆動部、１５：レベル比較部、１６：ＣＰＵ、３０：輪郭強調信号生成部、３１：輪郭強調用輝度信号生成部、３２：水平信号ＢＰＦ、３３：垂直信号ＢＰＦ、１７，１８，１９，１０１，１０２，１０３：加算部、１０４：レベル検出部、１０５：補正信号生成部、１０６：制御部、２０１，２０２，２０３，２０７，２０８，２０９：遅延部、２０４，２０５，２０６：加算部、２１０，２１１，２１２：垂直輪郭信号生成部、２１３：水平輪郭信号生成部、３５，２１４：レベル検出部、３４，２１５：輪郭信号混合部、３６，２１６：制御部。

Claims (4)

1. 異なる複数の色フィルタが配置された固体撮像素子を用いた撮像装置において、
   前記固体撮像素子から出力される複数の色信号を所定の増幅率で増幅する増幅手段と、前記増幅手段で増幅した複数の色信号を色信号毎に分離する分離手段と、前記分離した複数の色信号に白バランス調整を施す白バランス調整手段と、前記白バランス調整を施こした複数の色信号から前記増幅手段の増幅率に応じて飽和レベルを検出するレベル検出手段と、前記レベル検出手段で飽和レベルを検出した色信号と異なる他の色信号から補正信号を生成する補正信号生成手段と、前記白バランス調整を施こした複数の色信号に前記補正信号生成手段で生成した補正信号を加算する第１の加算手段を備えたことを特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において、
   更に輪郭強調手段と第２の加算手段を備え、前記輪郭強調手段は前記レベル検出手段で飽和レベルを検出した色信号と異なる他の色信号から輪郭強調信号を生成し、前記複数の色信号に前記輪郭強調信号を前記第２の加算手段で加算することを特徴とする画像信号処理装置。
3. 異なる複数の色フィルタが配置された固体撮像素子を用いた撮像装置において、
   前記固体撮像素子から出力される複数の色信号を所定の増幅率で増幅し、該増幅した複数の色信号を色信号毎に分離し、該分離した複数の色信号に白バランス調整を施し、該白バランス調整を施こした複数の色信号から前記増幅率に応じて飽和レベルを検出し、該飽和レベルを検出した色信号と異なる他の色信号から補正信号を生成し、前記白バランス調整を施こした複数の色信号に前記補正信号を加算することを特徴とする画像信号処理方法。
4. 請求項３に記載の画像信号処理方法において、
   更に前記飽和レベルを検出した色信号と異なる他の色信号から輪郭強調信号を生成し、前記複数の色信号に前記輪郭強調信号を加算することを特徴とする画像信号処理方法。