JP3702222B2

JP3702222B2 - 撮像装置及び映像信号処理方法

Info

Publication number: JP3702222B2
Application number: JP2001401962A
Authority: JP
Inventors: 哲夫桜井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-12-28
Filing date: 2001-12-28
Publication date: 2005-10-05
Anticipated expiration: 2021-12-28
Also published as: JP2003204450A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体を撮像して映像信号を出力する撮像素子を有する撮像装置及び同装置に適用される映像信号処理方法に関する。
【０００２】
【従来の技術】
ビデオカメラ等として使用される撮像装置は、ＣＣＤ（電荷結合デバイス）等の撮像素子を用いて、該撮像素子から得られる映像信号に所定の信号処理（ＫＮＥＥ、ガンマ、ディテール、ホワイトバランス等）を施すことにより最終映像信号を得る。
【０００３】
ところが、ＣＣＤ等の撮像素子は、一般にダイナミックレンジが狭く、暗い部分と明るい部分の輝度差が大きい被写体を忠実に撮像することが困難である。このような問題を緩和する技術として、被写体を異なる撮像条件で撮像した2種以上の（明るさの異なる）映像信号を適当な割合で加算（合成）してダイナミックレンジを拡大する方法が知られている。
【０００４】
ダイナミックレンジを拡大する方法としては、上記のほか、以下に示すような種々な方式が知られている。
【０００５】
例えば、特開平１１−３１３２４７号公報には、画像の単位の画素と隣接する周囲の画素とを加算した高輝度画像の信号と、ディレイ回路を通した原画像の信号とを合成するに際し、原画像の輝度レベルが高い場合には原画像の割合を大きくし、原画像の輝度レベルが低い場合には高輝度画像の割合を大きくすることにより、１枚の画像から暗い部分も明るくでき、かつ明るい部分では解像度を低下させずに、ダイナミックレンジを拡大する方法が開示されている。
【０００６】
また、特開２０００−２２８７４７号公報には、異なる露光条件で撮像された画像群中の各画像について所定の画像信号レベルに基づき適正露光領域と不適正露光領域とに分割し、分割した適正露光領域の階調補正を各画像毎に行い、階調補正した各画像毎の適性露光領域を合成して一つの広ダイナミックレンジ画像を生成する方法が開示されている。
【０００７】
また、特開２０００−３０７９２１号公報には、ＣＣＤで撮像された光学像の信号を、デジタル処理を行う画像処理部で処理する前に、圧縮して一時記憶し、この一時記憶した圧縮信号を読み出して伸長・復元し、上記画像処理部でデジタル処理してメモリに記憶する構成において、上記メモリに記憶可能な階調数よりも多い階調数で撮像を行うことにより、多階調数画像の信号を圧縮・記憶して、記憶したデータから階調の異なった画像信号を再生することができ、撮影直後でなくても後からでも、露光条件の異なる複数の画像から撮影者が適当と思う露光状態の画像を容易に選択でき、適切なダイナミックレンジの画像を再現する方法が開示されている。
【０００８】
【発明が解決しようとする課題】
前述の各種方式のうち、被写体を異なる撮像条件で撮像した2種以上の映像信号を加算（合成）する方式は、通常の絞りでは飽和してしまう高輝度の映像信号に対し、絞りを絞って飽和していない映像信号を加算（合成）するものであり、被写体の暗い部分から明るい部分までを飽和させることなく、撮像することができるという利点がある。
【０００９】
しかしながら、この方式では、低速シャッターに対応する映像信号を圧縮するレベルは画面全体で同一であるため、画面中に特に明るい部分（高輝度部分）がある場合、もしくは逆光状態で明るい部分と暗い部分の輝度差が極めて大きい被写体に対応する部分がある場合、その部分に関して十分なコントラストを得ることができないという問題があった。
【００１０】
本発明は上記実状に鑑みてなされたものであり、画面中に高輝度部分もしくは輝度差が極めて大きい被写体に対応する部分があっても十分なコントラストを得ることのできる撮像装置及び同装置に適用される撮像方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る撮像装置は、被写体を撮像して映像信号を出力する撮像素子と、前記撮像素子への露光量を制御する露光量制御手段と、前記露光量制御手段により露光量を多くして撮像したときに前記撮像素子から出力される第１の映像信号を入力し、この第１の映像信号の中に含まれる個々の画像領域の信号のうち、第１の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル圧縮してから信号出力する圧縮手段と、前記露光量制御手段により露光量を少なくして撮像したときに前記撮像素子から出力される第２の映像信号を入力し、この第２の映像信号の中に含まれる個々の画像領域の信号のうち、第２の基準値未満のレベルを有する画像領域の信号をレベル圧縮するとともに前記第２の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル伸長してから信号出力する圧縮伸長手段と、前記圧縮手段から出力される信号と前記圧縮伸長手段から出力される信号とを画像領域毎に加算処理して出力する加算手段と、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベル変化に応じて、画像領域毎に、前記圧縮手段におけるレベル圧縮率を変化させることにより、前記加算手段により加算される前の２つの信号の比率を変化させる制御手段とを具備し、前記制御手段は、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベルが高ければ高いほど、前記圧縮手段から出力される信号のレベルがより低下するように制御する手段を有することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、被写体を撮像して映像信号を出力する撮像素子と、前記撮像素子への露光量を制御する露光量制御手段と、前記露光量制御手段により露光量を多くして撮像したときに前記撮像素子から出力される第１の映像信号を入力し、この第１の映像信号の中に含まれる個々の画像領域の信号のうち、第１の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル圧縮してから信号出力する圧縮手段と、前記露光量制御手段により露光量を少なくして撮像したときに前記撮像素子から出力される第２の映像信号を入力し、この第２の映像信号の中に含まれる個々の画像領域の信号のうち、第２の基準値未満のレベルを有する画像領域の信号をレベル圧縮するとともに前記第２の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル伸長してから信号出力する圧縮伸長手段と、前記圧縮手段から出力される信号と前記圧縮伸長手段から出力される信号とを画像領域毎に加算処理して出力する加算手段と、第１の係数に相当する信号を前記圧縮手段から出力される信号に乗算する第１の乗算手段と、第２の係数に相当する信号を前記圧縮伸長手段から出力される信号に乗算する第２の乗算手段と、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベル変化に応じて、画像領域毎に、前記第１の係数と第２の係数との比率を変化させることにより、前記加算手段により加算される前の２つの信号の比率を変化させる制御手段とを具備し、前記制御手段は、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベルが高ければ高いほど、前記第１の係数に対する前記第２の係数の比率が大きくなるように制御する手段を有することを特徴とする。
【００１５】
また、本発明に係る映像信号処理方法は、被写体を撮像して映像信号を出力する撮像素子を有する撮像装置に適用される映像信号処理方法であって、露光量を多くして撮像したときに前記撮像素子から出力される第１の映像信号の中に含まれる個々の画像領域の信号のうち、第１の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル圧縮し、露光量を少なくして撮像したときに前記撮像素子から出力される第２の映像信号の中に含まれる個々の画像領域の信号のうち、第２の基準値未満のレベルを有する画像領域の信号をレベル圧縮するとともに前記第２の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル伸長し、前記レベル圧縮された信号と前記レベル圧縮及びレベル伸長された信号とを画像領域毎に加算処理し、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベル変化に応じて、画像領域毎に、前記レベル圧縮におけるレベル圧縮率を変化させることにより、前記加算処理される前の２つの信号の比率を変化させ、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベルが高ければ高いほど、前記圧縮手段から出力される信号のレベルがより低下するように制御することを特徴とする。
【００１６】
また、本発明に係る映像信号処理方法は、被写体を撮像して映像信号を出力する撮像素子を有する撮像装置に適用される映像信号処理方法であって、露光量を多くして撮像したときに前記撮像素子から出力される第１の映像信号の中に含まれる個々の画像領域の信号のうち、第１の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル圧縮し、露光量を少なくして撮像したときに前記撮像素子から出力される第２の映像信号の中に含まれる個々の画像領域の信号のうち、第２の基準値未満のレベルを有する画像領域の信号をレベル圧縮するとともに前記第２の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル伸長し、前記レベル圧縮された信号と前記レベル圧縮及びレベル伸長された信号とを画像領域毎に加算処理し、第１の係数に相当する信号を前記レベル圧縮された信号に乗算すると共に、第２の係数に相当する信号を圧縮／伸長された信号に乗算し、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベル変化に応じて、前記第１の係数と第２の係数との比率を変化させることにより、前記加算処理される前の２つの信号の比率を変化させ、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベルが高ければ高いほど、前記第１の係数に対する前記第２の係数の比率が大きくなるように制御することを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置の構成を示すブロック図である。
【００１９】
図１において、符号１は撮像装置に入力される撮像の露光量を調整するためのレンズ絞りである。このレンズ絞り１で撮像の露光量が多段階に設定される。レンズ絞り（露光量調節手段）１で露光量が調整された撮像は撮像素子（ＣＣＤ）２へ導かれ、この撮像素子２によって光電変換されてアナログ映像信号となる。
【００２０】
撮像素子２は、電子シャッター機能を有し、多段階のシャッター速度が得られる。露光条件の選択には、レンズ絞り１の絞り値、撮像素子２のシャッター速度のいずれも利用可能である。ここでは、高速シャッターで設定される映像の露光量調整をシャッター速度制御によって行い、低速シャッターで設定される映像の露光量調整にレンズ絞り１の絞り値制御によって行うものとする。
【００２１】
撮像素子２においてそれぞれ異なる露光条件で撮像されたアナログ映像信号は、サンプル／ホールド回路（Ｓ／Ｈ）３及びアナログ／デジタル変換器（Ａ／Ｄ）４によりデジタル映像信号に変換され、信号処理回路５へ出力され、所定の映像信号処理（ＫＮＥＥ、ガンマ、ディテール、ホワイトバランス等）が施される。
【００２２】
上記信号処理回路５は、Ａ／Ｄ４から出力された映像信号の中から、少ない露光量と多い露光量とでそれぞれ撮像された映像信号の明るさデータを抽出し、明るさ検出回路１４へ出力する。明るさ検出回路１４は、入力された明るさデータから、画面全体あるいは所定領域の明るさの積分値またはピーク値を検出して制御回路１３へ出力する。
【００２３】
この制御回路１３は、ＣＰＵ等で構成され、明るさ検出回路１４からの明るさ検出データに基づいて、レンズ絞り１の絞り値の制御、撮像素子２のシャッター速度の制御、後述の切換スイッチ７を切換制御を行う。この場合、レンズ絞り１の絞り値に関しては、多い露光量で撮像された方の映像信号の明るさデータに基づいて制御し、撮像素子２のシャッター速度に関しては、少ない露光量で撮像された方の映像信号の明るさデータに基づいて制御するようにすることが望ましい。
【００２４】
また、制御回路１３は、後述の圧縮回路８を制御するための基準レベルＲＥＦ１、圧縮／伸長回路９を制御するための基準レベルＲＥＦ２を決定し、それぞれの圧縮率、伸長率を制御する。以下、これらの制御をそれぞれＲＥＦ１制御、ＲＥＦ２制御と称する。
【００２５】
なお、制御回路１３により決定された基準レベルＲＥＦ１は、直接に圧縮回路８に送られるわけではなく、後述する制御回路１５により所定の処理が施された後に送られることになる。
【００２６】
信号処理回路５から出力される映像信号Ｓ１は、画像の１画面分を記憶する一画面メモリ６に入力される。この一画面メモリ６は、入力された映像信号Ｓ１を１画面分遅延するもので、遅延された映像信号Ｓ２は切換スイッチ７の固定端子ａ１及びｂ２に供給される。また、信号処理回路５から出力される映像信号Ｓ１は、遅延されることなく、直接切換スイッチ７の固定端子ｂ１及びａ２にも供給される。
【００２７】
上記一画面メモリ６は、それぞれ１画面分の映像信号相当の記憶容量を有する第１メモリブロックと第２メモリブロックと、これら２つのメモリの入出力を切り換える２つのスイッチにより構成される。上記第１メモリブロックと第２メモリブロックのリード・ライト及び２つのスイッチの切り換えは、制御回路１３からのメモリ制御信号に基づいて行われる。
【００２８】
ここで、シャッター速度を低速にした状態で撮像した露光量の多い映像信号をＶＳ、シャッター速度を高速にした状態で撮像した露光量の少ない映像信号をＶＦと定義する。
【００２９】
切換スイッチ７は、制御回路１３により、可動端子ｃ１及びｃ２が適当なタイミングで固定端子ａ１とｂ１、ａ２とｂ２に交互に接続されるように切換制御される。この結果、端子ｃ１からは露光量の多い映像信号ＶＳが出力され、端子ｃ２からは露光量の少ない映像信号ＶＦが出力される。
【００３０】
切換スイッチ７の端子ｃ１から出力された映像信号ＶＳは圧縮回路８に入力され、この圧縮回路８によって制御回路１５からの制御信号に基づき画素単位での圧縮処理が施される。この圧縮処理された映像信号をＶＳ′とする。また、端子ｃ２から出力された映像信号ＶＦは、圧縮／伸長回路９に入力され、この圧縮／伸長回路９によって制御回路１３からの制御信号に基づき画素単位での圧縮／伸長処理が施される。この圧縮／伸長処理された映像信号をＶＦ′とする。
【００３１】
圧縮回路８での圧縮率は、前述のＲＥＦ１制御信号を受ける制御回路１５により制御される。以下、この制御をＲＥＦ１′制御と称する。また、圧縮／伸長回路９での圧縮／伸長率は、前でも述べたように制御回路１３によりＲＥＦ２制御される。なお、ＲＥＦ１制御、ＲＥＦ１′制御、及びＲＥＦ２制御の詳細については後で説明する。
【００３２】
圧縮回路８から出力された映像信号ＶＳ′及び圧縮／伸長回路９から出力された映像信号ＶＦ′は加算器１０で加算された後、ＮＴＳＣエンコーダ１１に入力されてＮＴＳＣ信号にエンコードされた後、デジタル／アナログ変換器（Ｄ／Ａ）１２でアナログ映像信号に変換されて、最終映像信号として出力される。
【００３３】
上記制御回路１３においては、明るさ検出データに応じて映像信号ＶＳ′及びＶＦ′を合成する割合を制御するために基準レベルＲＥＦ１，ＲＥＦ２を可変することができるようになっている。すなわち、明るさ検出回路１４において、入力された明るさデータから露光量が少ない撮像であることが検出された場合には、制御回路１３は基準レベルＲＥＦ１，ＲＥＦ２を上げ、加算器１０から得られる映像信号に低速シャッターで得られた映像信号ＶＳ′が多く含まれるように制御する。このように構成することでダイナミックレンジの小さい暗い被写体から最適なコントラストを得られる。
【００３４】
また、明るさ検出回路１４において、入力された明るさデータから露光量が多い撮像であることが検出された場合には、制御回路１３は基準レベルＲＥＦ１，ＲＥＦ２を小さくし、加算器１０から得られる映像信号に高速シャッターで得られる映像信号ＶＦ′が多く含まれるように制御する。このように構成することでダイナミックレンジの大きい明るい被写体からも最適なコントラストを得られる。
【００３５】
ところで、上記切換スイッチ７の端子ｃ１から出力された映像信号ＶＳは、制御回路１５にも入力される。この制御回路１５は、画素毎に、リアルタイムで映像信号ＶＳのレベルが基準レベルＲＥＦ１以上であるか否かを判別し、ＲＥＦ１以上のものがある場合、映像信号ＶＳのレベルが高ければ高いほど圧縮回路８での圧縮率が大きくなるように（映像信号ＶＳ′のレベルが一層低下するように）、制御回路１３から受けたＲＥＦ１よりも一層レベルを低くしたＲＥＦ１′を供給する。
【００３６】
このように構成することで、画面中に特に明るい部分（高輝度部分）がある場合、もしくは逆光状態で明るい部分と暗い部分の輝度差が極めて大きい被写体に対応する部分がある場合には、映像信号ＶＳ′に対する映像信号ＶＦ′の比率が一層大きくなるので、その部分に関して十分なコントラストを得ることができるようになる。
【００３７】
図２は、図１の撮像装置における制御回路１５の内部構成例を示すブロック図である。
【００３８】
図２（ａ）に示される制御回路１５は、加算器１６、加算器１７、乗算器１８、スイッチ１９、リミッタ回路２０、フィルタ回路２１、比較器２２を備えている。
【００３９】
上記加算器１６、加算器１７、及び乗算器１８は、映像信号ＶＳのレベルが基準レベルＲＥＦ１以上である場合に対応する演算処理を行う部分である。この演算処理は、映像信号ＶＳのレベルが基準レベルＲＥＦ１以上である場合、映像信号ＶＳのレベルが高ければ高いほど、スイッチ１９の後段において信号レベルをより低下させるという特性を有する。
【００４０】
また、比較器２２は、露光量を多くして撮像した映像信号ＶＳと、圧縮量を制御するための基準レベルＲＥＦ１との比較を行い、その比較結果に応じてスイッチ１９を切換制御する。スイッチ１９は、比較器２２の出力信号に応じて信号入力先を切り換える。
【００４１】
リミッタ回路２０は、入力される信号のレベルが所定値未満とならないように制限するものであり、ＲＥＦ１′が必要以上に低下して画像が不自然になることを防止する。なお、リミッタ回路２０は、スイッチ１９の接点ａと設定ｃとが接続された状態にあるときだけ駆動するようにする。
【００４２】
フィルタ回路２１は、例えば信号の高域カットフィルタとして実現され、隣接する画素同士の信号のレベル差が所定値以上とならないように調整するものである。このフィルタ回路２１は、明るさが急激に変化して画像が不自然になることを防止する。
【００４３】
制御回路１５に信号ＶＳとＲＥＦ１とが入力されると、この制御回路１５の中では、画素毎に、比較器２２により比較が行われる。その比較結果に応じて、以下に示すような演算処理が行われ、圧縮回路８に送るべき基準レベルＲＥＦ１′の値が算出される。
【００４４】
ＶＳ≧ＲＥＦ１の場合
ＲＥＦ１′＝（ＲＥＦ１−（ＶＳ−ＲＥＦ１））×Ｋ
ＶＳ＜ＲＥＦ１の場合
ＲＥＦ１′＝ＲＥＦ１
ここで、Kは、ＲＥＦ１′の減衰部分の傾きに相当する係数であり、撮像装置の撮像条件（用途）に応じて最適となる値に設定する（実験では０．５〜１の範囲内が良好であることが確認された）。
【００４５】
すなわち、ＶＳのレベルがＲＥＦ１以上である場合、比較器２２の出力によりスイッチ１９の接点ａと接点ｃとが接続された状態となる。このとき、入力されたＶＳ、ＲＥＦ１及び係数Ｋに基づき、加算器１６、加算器１７及び乗算器１８による演算処理が行われ、その演算処理結果に相当する信号がスイッチ１９の接点ｃから出力される。スイッチ１９から出力された信号は、リミッタ回路２０でリミット処理され、フィルタ回路２１でフィルタリング処理された後、ＲＥＦ１′として出力される。出力されたＲＥＦ１′は圧縮回路８に送られる。
【００４６】
一方、ＶＳのレベルがＲＥＦ１未満である場合、比較器２２の出力によってスイッチ１９の接点ｂと接点ｃとが接続された状態となる。このとき、入力されたＲＥＦ１がそのままスイッチ１９の接点ｃから出力される。スイッチ１９から出力された信号は、リミッタ回路２０では処理されずに通過し、フィルタ回路２１でフィルタリング処理された後、ＲＥＦ１′として出力される。出力されたＲＥＦ１′は圧縮回路８に送られる。
【００４７】
なお、図２（ａ）の構成例ではリミッタ回路２０がスイッチ１９の後段に設けられている場合を説明したが、代わりに、図２（ｂ）の構成例のようにリミッタ回路２０をスイッチ１９（接点ａ側）の前段に設けるようにしてもよい。この場合、スイッチ１９の切換状態に応じてリミッタ回路２０を駆動／停止するための制御が不要となる。
【００４８】
図３は、図１の撮像装置における各部の信号波形を示す図である。なお、横軸は撮像素子２へ入射される光の光量に相当し、縦軸は電気信号の出力レベルに相当する。
【００４９】
図３（ａ）は、切換スイッチ７から出力される信号ＶＳ及びＶＦの波形を示している。なお、ダイナミックレンジの最大値に相当するホワイトクリップ値はＷＣであり、信号ＶＳ及びＶＦがＷＣ以上となることはない。
【００５０】
図３（ｂ）は、圧縮回路８から出力される信号ＶＳ′の波形を示している。
【００５１】
信号ＶＳのレベルがＲＥＦ１未満である場合は、ＲＥＦ１と同一のレベルをもつ基準レベルＲＥＦ１′が適用される。この場合、信号ＶＳと同一のレベルをもつ信号ＶＳ′が生成される。
【００５２】
一方、信号ＶＳのレベルがＲＥＦ１以上となる場合には、ＲＥＦ１よりも低いレベルをもつ基準レベルＲＥＦ１′が適用される。この場合、信号ＶＳのレベルが高ければ高いほど基準レベルＲＥＦ１′は低下し、このＲＥＦ１′と同一のレベルを有する信号ＶＳ′が生成される。なお、このときの波形の傾きは、上記係数Ｋにより決定される。また、この傾きにより下降する基準レベルＲＥＦ１′は所定値未満とならないようにリミッタ回路２０により制限され（信号ＶＳのレベルがいくら高くても、基準レベルＲＥＦ１′は一定のレベルに保たれ）、このＲＥＦ１′と同一のレベルを有する信号ＶＳ′が生成される。
【００５３】
図３（ｃ）は、圧縮／伸長回路９に入力される信号ＶＦが処理される様子を示している。すなわち、圧縮／伸長回路９においては、信号ＶＦからＲＥＦ２を差し引いた部分（図中の斜線部分）が抽出され、抽出された部分が増幅（利得補正）される。増幅後の信号は信号ＶＦ′として圧縮／伸長回路９から出力される。
換言すれば、圧縮／伸長回路９、信号ＶＦのうちＲＥＦ２未満の部分をレベル圧縮するとともにＲＥＦ２以上の部分をレベル伸長してから信号出力している。
【００５４】
図３（ｄ）は、圧縮回路８の出力信号ＶＳ′（図３（ｂ）で得られた信号）と、圧縮／伸長回路９の出力信号ＶＦ′（図３（ｃ）で得られた信号を増幅（利得補正）したもの）とが加算処理される様子を示している。
【００５５】
すなわち、図３（ｃ）で得られた斜線部の信号は、圧縮／伸長回路９において増幅（伸長）処理され、図３（ｄ）の斜線部に相当する信号とされた後、信号ＶＳ′に加算されることになる。
【００５６】
なお、圧縮／伸長回路９において、図３（ｃ）で得られた斜線部の信号を増幅する際には、ＶＦのレベルに応じて増幅率を変化させることにより、加算後の信号のレベルを適宜調整することが望ましい。図３（ｄ）の例では、ＶＳ′がＲＥＦ１′と共に下降を開始する点からリミッタ２０により下降を制止される点までの範囲（横軸方向）では第１の増幅率を適用し、リミッタ２０により下降を制止された点以降の範囲（横軸方向）では上記第１の増幅率よりも小さい第２の増幅率を適用することにより、加算後の信号がなるべくＷＣを超えないように調整している。なお、上記第１の増幅率を適用する範囲、及び第２の増幅率を適用する範囲は、制御回路１５から知得できる。
【００５７】
図４は、図２の制御回路１５におけるフィルタ２１のフィルタリング処理を説明するための図である。
【００５８】
図４（ａ）は、室内から窓にカメラを向けて被写体を撮像している様子を示している。室内には人が立っており、顔のある部分に外からの強い光が当たっている。また、外は室内に比べて明るく、外には木がある。
【００５９】
図４（ａ）中に示したラインの部分に関し、フィルタ２１を用いて画像を得た場合の階調変化を図４（ｂ）に示し、フィルタ２１を用いずに画像を得た場合の階調変化を図４（ｃ）に示す。
【００６０】
フィルタ２１を用いる場合は、顔の明るい部分のように面積の小さい部分ではＲＥＦ１′（フィルタ２１の出力）が変化せず、顔の一部分で明るさ（輝度）の階調が変化して不自然となることがない。また、窓の境目や木の輪郭のように輝度差が大きい部分に関しても、明るさの階調が急激に変化して不自然となることがない。人間の目は、ある特定部分で急激に階調が変化するとその部分が強調されて見えてしまうものである。本実施形態では、フィルタ２１を用いることにより、面積の少ない部分の階調変化を除去でき、かつ面積の大きい部分でも滑らかに階調変化させることができるため、より自然に見える画像を得ることができる。
【００６１】
次に、図５を参照して、本実施形態の制御回路１５による動作を説明する。
【００６２】
制御回路１５に信号ＶＳとＲＥＦ１とが入力されると、画素毎に、両者の比較が行われる（ステップＡ１）。
【００６３】
ステップＡ２において、信号ＶＳのレベルがＲＥＦ１以上である場合（ステップＡ２のＹｅｓ）、信号ＶＳのレベルが高ければ高いほどより低くなる基準レベルＲＥＦ１′が生成される（ステップＡ３）。こうして生成された基準レベルＲＥＦ１′には、所定値未満とならないようにリミッタ処理が施される（ステップＡ４）。
【００６４】
一方、ステップＡ２において、信号ＶＳのレベルがＲＥＦ１に達していない場合（ステップＡ２のＮｏ）、ＲＥＦ１と同一のレベルを有する基準レベルＲＥＦ１′が生成される（ステップＡ５）。
【００６５】
上記ステップＡ４もしくはステップＡ５で処理／生成された基準レベルＲＥＦ１′は、明るさが急激に変化して画像が不自然にならないように画素毎にフィルタ処理され（ステップＡ６）、制御回路１５から圧縮回路８に送られる（ステップＡ７）。
【００６６】
これにより、圧縮回路８においては、制御回路１５から受けた基準レベルＲＥＦ１′に基づく信号ＶＳ′を出力することになる。
【００６７】
このように第１の実施形態によれば、制御回路１５において、画素毎に、映像信号ＶＳのレベルが基準レベルＲＥＦ１以上であるか否かを判別し、ＲＥＦ１以上のものがある場合、映像信号ＶＳのレベルが高ければ高いほど圧縮回路８での圧縮率が大きくなるように（映像信号ＶＳ′のレベルが一層低下するように）、制御回路１３から受けたＲＥＦ１よりも一層レベルを低くしたＲＥＦ１′を供給している。このように構成することで、画面中に特に明るい部分（高輝度部分）がある場合、もしくは逆光状態で明るい部分と暗い部分の輝度差が極めて大きい被写体に対応する部分がある場合には、映像信号ＶＳ′に対する映像信号ＶＦ′の比率が一層大きくなるので、その部分に関して十分なコントラストを得ることができるようになる。更に、リミッタ回路２０やフィルタ回路２１を設けることにより、より一層品質を高めた画像を得ることが可能となる。
【００６８】
（第２の実施形態）
ところで、ＲＥＦ１とＲＥＦ２とを制御回路１３で制御するにあたり、両者の関係を理想通りに維持できないと、加算器１０にて加算（合成）される前の信号ＶＳ、ＶＦの階調の連続性が損なわれ、加算後の信号の品質が低下するという問題がある。特に信号ＶＳ、ＶＦが信号処理回路５に含まれる非線形回路（ガンマ処理等を行う回路）により処理されていることにより、明るさ検出の結果も変動するため、すべての明るさに対してＲＥＦ１とＲＥＦ２とを理想通りに制御することは困難となる。
【００６９】
ここで、図６（ａ）に示されるように、信号ＶＳを制御するためのＲＥＦ１と信号ＶＦを制御するためのＲＥＦ２のうち、ＲＥＦ２に誤差が生じる場合を考える。
【００７０】
図６（ｂ）はＲＥＦ２が「−Δ」の誤差が生じた場合を示しており、図６（ｃ）はＲＥＦ２が「＋Δ」の誤差が生じた場合を示している。いずれの場合においても、上記ＲＥＦ２の誤差に起因して、加算処理される信号ＶＦ′にも誤差が生じる。ＲＥＦ２の誤差を無くして、図６（ｄ）のような波形を実現した場合であっても、階調の連続性を完全なものとすることは難しい。
【００７１】
実際の製品では、実測データを基に検出した明るさ等に対するＲＥＦ１とＲＥＦ２の制御データをＲＯＭに保持しておき、そのデータを読み出すことによりＲＥＦ１とＲＥＦ２を決定するようにしている。しかし、ＲＯＭの容量制限により分解能を十分に取れない場合、ＲＥＦ１やＲＥＦ２の誤差が大きくなる。また、ＣＣＤや各種回路での特性ばらつきによる誤差も考えられる。実際の製品では実用上問題のない誤差範囲で制御を行っているが、品質の面では十分とは言えない。
【００７２】
そこで、この第２の実施形態では、加算器１０にて加算（合成）される前の信号ＶＳ、ＶＦの階調の連続性を維持し、加算後の信号の品質を向上させる手法を説明する。
【００７３】
図７は、本発明の第２の実施形態による撮像装置の構成を示すブロック図である。なお、図１と共通する要素には同一の符号を付し、その詳細な説明を省略する。以下、図１と異なる部分を中心に説明する。
【００７４】
前述した第１の実施形態では制御回路１５を設ける場合を説明したが、この第２の実施形態では代わりに制御回路３１を設けると共に第１の乗算器２９及び第２の乗算器３０を設ける。
【００７５】
第１の乗算器２９は、第１の係数に相当する信号（Ｇ１制御信号）を圧縮回路８から出力される信号に乗算し、信号ＶＳ１を出力する。また、第２の乗算器３０は、第２の係数に相当する信号（Ｇ２制御信号）を圧縮／伸長回路から出力される信号に乗算し、信号ＶＦ１を出力する。信号ＶＳ１と信号ＶＦ１とが加算器１０により加算処理されると、加算結果が信号ＶMIXとしてエンコーダ１１へ出力される。
【００７６】
上記切換スイッチ７の端子ｃ１から出力された映像信号ＶＳは、制御回路３１にも入力される。この制御回路３１は、画素毎に、リアルタイムで映像信号ＶＳのレベルが基準レベルＲＥＦ１以上であるか否かを判別し、ＲＥＦ１以上のものがある場合、映像信号ＶＳのレベルが高ければ高いほど、第１の係数Ｇ１に対する第２の係数Ｇ２の比率が大きくなるように所定の計算式に基づいて設定し、設定したＧ１，Ｇ２にそれぞれ対応するＧ１制御信号，Ｇ２制御信号を第１の乗算器２９，第２の乗算器３０へ供給する。
【００７７】
このように構成することで、画面中に特に明るい部分（高輝度部分）がある場合、もしくは逆光状態で明るい部分と暗い部分の輝度差が極めて大きい被写体に対応する部分がある場合には、映像信号ＶＳ１に対する映像信号ＶＦ１の比率が一層大きくなるので、その部分に関して十分なコントラストを得ることができるだけでなく、階調の連続性を損なうことなく信号同士の滑らかな加算処理を実現でき、加算後の画像の品質をより一層向上させることが可能となる。
【００７８】
図８は、図７の撮像装置における制御回路３１の内部構成例を示すブロック図である。
【００７９】
図８に示される制御回路３１は、加算器３２、乗算器３３、加算器３４、スイッチ３５、比較器３６を備えている。
【００８０】
上記加算器３２、乗算器３３、及び加算器３４は、映像信号ＶＳのレベルが基準レベルＲＥＦ１以上である場合に対応する演算処理を行う部分である。この演算処理は、映像信号ＶＳのレベルが基準レベルＲＥＦ１以上である場合、映像信号ＶＳのレベルが高ければ高いほど、スイッチ３５の後段に出力される信号Ｇ１のレベルを下げると同時に信号Ｇ２のレベルを上げる（但し、Ｇ１＋Ｇ２＝１）という特性を有する。
【００８１】
また、比較器３６は、露光量を多くして撮像した映像信号ＶＳと、圧縮量を制御するための基準レベルＲＥＦ１との比較を行い、その比較結果に応じてスイッチ３５を切換制御する。スイッチ３５は、比較器３６の出力信号に応じて信号入力先を切り換える。
【００８２】
制御回路３１に信号ＶＳとＲＥＦ１とが入力されると、この制御回路３１の中では、画素毎に、比較器３６により比較が行われる。その比較結果に応じて、以下に示すような演算処理が行われ、第１の乗算器２９，第１の乗算器３０にそれぞれ送るべき第１の係数Ｇ１，第２の係数Ｇ２が算出される。
【００８３】
ＶＳ≧ＲＥＦ１の場合
Ｇ＝Ｂ×（ＶＳ−ＲＥＦ１）
Ｇ１＝１−Ｇ
Ｇ２＝Ｇ
ＶＳ＜ＲＥＦ１の場合
Ｇ１＝１
Ｇ２＝０
ここで、Ｂは、信号ＶＳ１のカーブを決定する補正係数であり、実験などにより最適となるように設定する（実験では０．５〜１．５の範囲内が良好であることが確認された）。
【００８４】
すなわち、ＶＳのレベルがＲＥＦ１以上である場合、比較器３６の出力によりスイッチ３５の接点ａ１と接点ｃ１とが接続され、且つ接点ａ２と接点ｃ２とが接続された状態となる。このとき、入力されたＶＳ、ＲＥＦ１及び係数Ｂなどに基づき、加算器３２、乗算器３３、及び加算器３４による演算処理が行われ、その演算処理結果に相当する信号がスイッチ１９の接点ｃ１及びｃ２からそれぞれＧ１，Ｇ２として出力される。出力されたＧ１，Ｇ２はそれぞれ第１の乗算器２９，第１の乗算器３０に送られる。ここで重要なことは、Ｇ１＋Ｇ２＝１となるように制御することである。これにより、信号ＶＳのレベルが上がるにつれ、信号ＶＳ１に対する信号ＶＦ１の加算が滑らかに（少しずつ）行われることになる。
【００８５】
一方、ＶＳのレベルがＲＥＦ１未満である場合、比較器３６の出力によってスイッチ３５の接点ｂ１と接点ｃ１とが接続され、且つ接点ｂ２と接点ｃ２とが接続された状態となる。このとき、値が１の信号がＧ１として出力され、値が０の信号がＧ２として出力される。出力されたＧ１，Ｇ２はそれぞれ第１の乗算器２９，第１の乗算器３０に送られる。
【００８６】
図９は、図７の撮像装置における各部の信号波形を示す図である。なお、横軸は撮像素子２へ入射される光の光量に相当し、縦軸は電気信号の出力レベルに相当する。
【００８７】
図９（ａ）は、切換スイッチ７から出力される信号ＶＳ及びＶＦの波形を示している。なお、ダイナミックレンジの最大値に相当するホワイトクリップ値はＷＣであり、信号ＶＳ及びＶＦがＷＣ以上となることはない。
【００８８】
図９（ｂ）は、圧縮回路８から出力される信号ＶＳ′の波形、及び圧縮／伸長回路９から出力される利得補正後のＶＦ′の波形（図中の斜線部分）を示している。なお、同図では、簡単化のため、圧縮／伸張回路９における利得補正量が１である場合を示している。
【００８９】
図９（ｃ）は、信号ＶＳ′がＧ１で乗算された後の信号ＶＳ１に、信号ＶＦ′がＧ２で乗算された後の信号ＶＦ１（図中の斜線部分）を加算して、信号ＶMIXを得る様子を示している。同図の信号波形からわかるように、従来発生する可能性のあった階調不連続の部分（図６（ｂ）及び図６（ｃ）参照）を無くすことができる。また、前述の記計算式で示した補正係数Ｂの値を適宜調整することにより、信号ＶＳ１のレベルがＲＥＦ１以下となるように制御することも可能である。すなわち、より明るい部分については、ＶＳ１に対するＶＦ１の加算比率がより大きくなるように制御することにより、明るい部分に関して飽和しない信号を多く加算でき、画面の明るい部分のコントラストを向上させることができる。
【００９０】
また、補正係数Ｂの値によっては、ＲＥＦ１に対してＶＳ１の減衰量が大きすぎて、本来明るい部分が非常に暗くなり（階調の逆転が起こり）、映像全体を見て不自然に感じることがある。これに対処するには、図９（ｄ）に示されるように、信号ＶＳ１のレベルが所定値未満とならないようリミッタを用いて制限することが望ましい。
【００９１】
次に、図１０を参照して、本実施形態の制御回路３１による動作を説明する。
【００９２】
制御回路３１に信号ＶＳとＲＥＦ１とが入力されると、画素毎に、両者の比較が行われる（ステップＢ１）。
【００９３】
ステップＢ２において、信号ＶＳのレベルがＲＥＦ１以上である場合（ステップＢ２のＹｅｓ）、信号ＶＳのレベルが高ければ高いほど、信号ＶＳ１に対する信号ＶＦ１の比率がより高くなるような係数Ｇ１，Ｇ２（但し、Ｇ１＋Ｇ２＝１）が所定の計算式に基づいて生成される（ステップＢ３）。
【００９４】
一方、ステップＢ２において、信号ＶＳのレベルがＲＥＦ１に達していない場合（ステップＢ２のＮｏ）、値が１の係数Ｇ１，値が０の係数Ｇ２が生成される（ステップＢ４）。
【００９５】
上記ステップＢ３もしくはステップＢ４で生成された係数Ｇ１，Ｇ２は、制御回路３１からそれぞれ乗算器２９，乗算器３０へに送られる（ステップＢ５）。
【００９６】
これにより、乗算器２９においては、信号ＶＳ′に係数Ｇ１が乗算されて信号ＶＳ１が出力される一方、乗算器３０においては、信号ＶＦ′に係数Ｇ２が乗算されて信号ＶＦ１が出力され、信号ＶＳ１と信号ＶＦ１との加算処理が加算器１０により行われることになる。
【００９７】
このように第２の実施形態によれば、制御回路３１において、画素毎に、リアルタイムで映像信号ＶＳのレベルが基準レベルＲＥＦ１以上であるか否かを判別し、ＲＥＦ１以上のものがある場合、映像信号ＶＳのレベルが高ければ高いほど、第１の係数Ｇ１に対する第２の係数Ｇ２の比率が大きくなるように所定の計算式に基づいて設定し、設定したＧ１，Ｇ２にそれぞれ対応するＧ１制御信号，Ｇ２制御信号を第１の乗算器２９，第２の乗算器３０へ供給している。このように構成することで、画面中に特に明るい部分（高輝度部分）がある場合、もしくは逆光状態で明るい部分と暗い部分の輝度差が極めて大きい被写体に対応する部分がある場合には、映像信号ＶＳ１に対する映像信号ＶＦ１の比率が一層大きくなるので、その部分に関して十分なコントラストを得ることができるだけでなく、階調の連続性を損なうことなく信号同士の滑らかな加算処理を実現でき、加算後の画像の品質をより一層向上させることが可能となる。
【００９８】
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
【００９９】
【発明の効果】
以上詳記したように本発明によれば、画面中に高輝度部分もしくは輝度差が極めて大きい被写体に対応する部分があっても十分なコントラストを得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による撮像装置の構成を示すブロック図。
【図２】図１の撮像装置における制御回路１５の内部構成例を示すブロック図。
【図３】図１の撮像装置における各部の信号波形を示す図。
【図４】図２の制御回路１５におけるフィルタのフィルタリング処理を説明するための図。
【図５】同実施形態の制御回路１５による動作を説明するためのフローチャート。
【図６】加算処理における階調の非連続性の問題を説明するための図。
【図７】本発明の第２の実施形態による撮像装置の構成を示すブロック図。
【図８】図７の撮像装置における制御回路３１の内部構成例を示すブロック図。
【図９】図７の撮像装置における各部の信号波形を示す図。
【図１０】同実施形態の制御回路３１による動作を説明するためのフローチャート。
【符号の説明】
１…レンズ絞り
２…撮像素子
３…サンプルホールド回路
４…アナログ／デジタル変換器
５…信号処理回路
６…一画面メモリ
７…切換スイッチ
８…圧縮回路
９…圧縮／伸長回路
１０…加算器
１１…ＮＴＳＣエンコーダ
１２…デジタル／アナログ変換器
１３…制御回路
１４…明るさ検出回路
１５…制御回路
１６…加算器
１７…加算器
１８…乗算器
１９…スイッチ
２０…リミッタ回路
２１…フィルタ回路
２２…比較器
２９…第１の乗算器
３０…第２の乗算器
３１…制御回路
３２…加算器
３３…乗算器
３４…加算器
３５…スイッチ
３６…比較器

Claims

被写体を撮像して映像信号を出力する撮像素子と、
前記撮像素子への露光量を制御する露光量制御手段と、
前記露光量制御手段により露光量を多くして撮像したときに前記撮像素子から出力される第１の映像信号を入力し、この第１の映像信号の中に含まれる個々の画像領域の信号のうち、第１の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル圧縮してから信号出力する圧縮手段と、
前記露光量制御手段により露光量を少なくして撮像したときに前記撮像素子から出力される第２の映像信号を入力し、この第２の映像信号の中に含まれる個々の画像領域の信号のうち、第２の基準値未満のレベルを有する画像領域の信号をレベル圧縮するとともに前記第２の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル伸長してから信号出力する圧縮伸長手段と、
前記圧縮手段から出力される信号と前記圧縮伸長手段から出力される信号とを画像領域毎に加算処理して出力する加算手段と、
前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベル変化に応じて、画像領域毎に、前記圧縮手段におけるレベル圧縮率を変化させることにより、前記加算手段により加算される前の２つの信号の比率を変化させる制御手段と
を具備し、
前記制御手段は、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベルが高ければ高いほど、前記圧縮手段から出力される信号のレベルがより低下するように制御する手段を有することを特徴とする撮像装置。
被写体を撮像して映像信号を出力する撮像素子と、
前記撮像素子への露光量を制御する露光量制御手段と、
前記露光量制御手段により露光量を多くして撮像したときに前記撮像素子から出力される第１の映像信号を入力し、この第１の映像信号の中に含まれる個々の画像領域の信号のうち、第１の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル圧縮してから信号出力する圧縮手段と、
前記露光量制御手段により露光量を少なくして撮像したときに前記撮像素子から出力される第２の映像信号を入力し、この第２の映像信号の中に含まれる個々の画像領域の信号のうち、第２の基準値未満のレベルを有する画像領域の信号をレベル圧縮するとともに前記第２の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル伸長してから信号出力する圧縮伸長手段と、
前記圧縮手段から出力される信号と前記圧縮伸長手段から出力される信号とを画像領域毎に加算処理して出力する加算手段と、
第１の係数に相当する信号を前記圧縮手段から出力される信号に乗算する第１の乗算手段と、
第２の係数に相当する信号を前記圧縮伸長手段から出力される信号に乗算する第２の乗算手段と、
前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベル変化に応じて、画像領域毎に、前記第１の係数と第２の係数との比率を変化させることにより、前記加算手段により加算される前の２つの信号の比率を変化させる制御手段と
を具備し、
前記制御手段は、前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベルが高ければ高いほど、前記第１の係数に対する前記第２の係数の比率が大きくなるように制御する手段を有することを特徴とする撮像装置。
前記制御手段は、前記第１の係数と前記第２の係数との比率を変化させる際に前記第１の係数と前記第２の係数との加算値が一定となるように制御する手段を有することを特徴とする請求項２記載の撮像装置。
前記個々の画像領域は、前記撮像素子における個々の画素に対応していることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
被写体を撮像して映像信号を出力する撮像素子を有する撮像装置に適用される映像信号処理方法であって、
露光量を多くして撮像したときに前記撮像素子から出力される第１の映像信号の中に含まれる個々の画像領域の信号のうち、第１の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル圧縮し、
露光量を少なくして撮像したときに前記撮像素子から出力される第２の映像信号の中に含まれる個々の画像領域の信号のうち、第２の基準値未満のレベルを有する画像領域の信号をレベル圧縮するとともに前記第２の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル伸長し、
前記レベル圧縮された信号と前記レベル圧縮及びレベル伸長された信号とを画像領域毎に加算処理し、
前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベル変化に応じて、画像領域毎に、前記レベル圧縮におけるレベル圧縮率を変化させることにより、前記加算処理される前の２つの信号の比率を変化させ、
前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベルが高ければ高いほど、前記圧縮手段から出力される信号のレベルがより低下するように制御することを特徴とする映像信号処理方法。
被写体を撮像して映像信号を出力する撮像素子を有する撮像装置に適用される映像信号処理方法であって、
露光量を多くして撮像したときに前記撮像素子から出力される第１の映像信号の中に含まれる個々の画像領域の信号のうち、第１の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル圧縮し、
露光量を少なくして撮像したときに前記撮像素子から出力される第２の映像信号の中に含まれる個々の画像領域の信号のうち、第２の基準値未満のレベルを有する画像領域の信号をレベル圧縮するとともに前記第２の基準値以上のレベルを有する画像領域の信号を画像領域毎にレベル伸長し、
前記レベル圧縮された信号と前記レベル圧縮及びレベル伸長された信号とを画像領域毎に加算処理し、
第１の係数に相当する信号を前記レベル圧縮された信号に乗算すると共に、第２の係数に相当する信号を圧縮／伸長された信号に乗算し、
前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベル変化に応じて、前記第１の係数と第２の係数との比率を変化させることにより、前記加算処理される前の２つの信号の比率を変化させ、
前記撮像素子から出力される前記第１の映像信号に含まれる前記第１の基準値以上のレベルを有する画像領域の信号のレベルが高ければ高いほど、前記第１の係数に対する前記第２の係数の比率が大きくなるように制御することを特徴とする映像信号処理方法。