JP2004350204A

JP2004350204A - Imaging apparatus and image pickup method

Info

Publication number: JP2004350204A
Application number: JP2003147649A
Authority: JP
Inventors: Hiroto Hirakoso; 洋人平社; Keizo Iino; 恵三飯野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-26
Filing date: 2003-05-26
Publication date: 2004-12-09

Abstract

<P>PROBLEM TO BE SOLVED: To prevent the generation of a shock in a video image when switching a signal processing function. <P>SOLUTION: As boundary exposure control, processing which changes a synthetic ratio in a second signal processing means, a compression rate and a mixing ratio of brightness information for exposure control is performed in a form which connects the exposure control at the time of a function of a first signal processing means and the exposure control at the time of a function of the second signal processing means. As a result, the boundary exposure control is performed in a transition period wherein the operation of the first signal processing means and the operation of the second signal processing means are switched. Hence, a difference of output video images (difference of luminance and color) which is caused by a difference of a processing algorithm and the exposure control in the first and the second signal processing means is absorbed. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置及び撮像方法に関するものである。
【０００２】
【従来の技術】
【特許文献１】特開平８−２８０１８８
例えばＣＣＤ等の撮像素子を用いて被写体映像を撮像するビデオカメラなどの撮像装置では、被写体の輝度に関わらず安定した映像が撮像できるように自動露出調整が行われるものが知られている。公知の通り、露出を調整するには主に３つの手法があり、絞り調整、シャッタースピード調整、ゲイン調整である。
【０００３】
上記の絞り調整によっては、被写体の輝度に応じて入射光量を調整することができ、適切な露出状態を得ることができる。
例えば上記特許文献１には、撮像素子に至る撮像光の入射経路にメカニカルな絞り機構（アイリス機構）を備え、複数の羽根により口径を大小させることで入射光量を調整する構成及びその駆動制御のための技術が開示されている。
【０００４】
また、シャッタースピード（ＣＣＤの場合は露出情報の転送タイミングによる電子シャッタで制御される露光時間）を調整することも露出調整となる。
さらに、ＣＣＤ等の撮像素子によって得られた撮像映像信号のゲインを可変することでも、信号上で輝度調整ができ、即ち露出調整が可能である。
ビデオカメラにおいては、このような３つの手法が組み合わされて、適切な自動露出調整が行われている。
【０００５】
【発明が解決しようとする課題】
ところで、撮像装置で撮像を行う被写体は、画面上で全体的に輝度が低い或いは高いということばかりでなく、画面内で輝度が高い部分と低い部分が混在することも多々ある。特に非常に輝度の高い部分と輝度の低い部分が混在すると、最適な露出調整が難しく、撮像された映像を高品位とすることができない。
このため、撮像された映像信号に対する処理を工夫し、広い輝度ダイナミックレンジに対応して高品位な映像を得るための手法が開発されている。
【０００６】
例えば通常の信号処理アルゴリズムと特殊な信号処理アルゴリズムを用意する。そして被写体輝度がかなり高くなり、被写体の輝度ダイナミックレンジが広いとされる場合には、通常の信号処理アルゴリズムから特殊な信号処理アルゴリズムに切り換え、広いダイナミックレンジに対応した処理とすることが考えられている。
しかしながら、このように複数の信号処理機能を輝度変化に応じて切り換えるようにする場合、その切換の際に、出力される映像信号が急激に変化してしまう。つまり複数の信号処理アルゴリズムでの処理において輝度や色などの差異が生ずるため、連続した映像上で、信号処理の変化があった時点で、映像上にショック（輝度や色あい等の急激な変化）があらわれてしまうという問題があった。
【０００７】
【課題を解決するための手段】
本発明はこのような事情に鑑みて、複数の信号処理アルゴリズムでの処理が切り換えられる際に、ショックがあらわれない円滑な映像信号出力を行うことができるようにすることを目的とする。
【０００８】
本発明の撮像装置は、被写体から得られた光を電気信号である撮像映像信号に変換する撮像手段と、被写体輝度が第１の所定値より低い低輝度領域にあるときに、上記撮像映像信号に対して通常信号処理を行って映像信号を出力する第１の信号処理手段と、被写体輝度が上記第１の所定値より大きな第２の所定値より高い高輝度領域にあるときに、第１の露出状態において得られた撮像映像信号と第２の露出状態において得られた撮像映像信号との合成処理を行って映像信号を出力する第２の信号処理手段と、撮像映像信号の輝度情報に応じて、上記第１の信号処理手段の機能時には適正露出に調整する露出制御を行い、上記第２の信号処理手段の機能時には上記第１の露出状態を得る露出調整と上記第２の露出状態を得る露出調整を行うとともに、被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記第２の信号処理手段による上記合成処理における合成比率を変化させる境界露出制御を行う制御手段とを備える。
また、上記制御手段は、上記境界露出制御において、上記第１の露出状態において得られた撮像映像信号と上記第２の露出状態において得られた撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を変化させる。
また、上記第１の信号処理手段と上記第２の信号処理手段は、それぞれ上記被写体輝度を検出する輝度情報検出部を含み、上記制御手段は、上記境界露出制御において、上記第１の信号処理手段における輝度情報検出部からの輝度情報と、上記第２の信号処理手段における輝度情報検出部からの輝度情報の混合比を変化させる。
【０００９】
本発明の撮像方法は、被写体から得られた光を電気信号である撮像映像信号に変換し、被写体輝度が第１の所定値より低い低輝度領域にあるときには、上記撮像映像信号に対して通常信号処理を行って映像信号を生成し、被写体輝度が上記第１の所定値より大きな第２の所定値より高い高輝度領域にあるときには、第１の露出状態において得られた撮像映像信号と第２の露出状態において得られた撮像映像信号とを合成して映像信号を生成し、被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記合成における合成比率を変化させつつ映像信号を生成する。
また、上記被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、さらに、上記第１の露出状態において得られた撮像映像信号と上記第２の露出状態において得られた撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を変化させる。
また上記被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記通常信号処理を実行する回路により検出された輝度情報と、上記合成を実行する回路により検出された輝度情報とを、所定の混合比で混合して輝度情報及び露出制御の収束目標値を算出し、上記輝度情報と上記収束目標値との比較結果に基づいて、上記合成比率及び上記圧縮率を変化させる。
【００１０】
以上の本発明において、被写体輝度条件によって上記第１の信号処理手段の動作と上記第２の信号処理手段の動作が切り換えられる遷移期間に、上記第２の信号処理手段における合成処理の合成比率の変化、さらにはダイナミックレンジ圧縮率の変化や起動情報の混合比の変化を行う境界露出制御は、第１の信号処理手段の機能時の露出制御と、第２の信号処理手段の機能時の露出制御をつなぐかたちで行われる。そして、第１の信号処理手段と第２の信号処理手段では、その処理アルゴリズムと露出制御に差異があって、出力映像の差（輝度や色の差）が大きいが、境界露出制御によってその差異を吸収する。具体的には処理パラメータを段階的に変化させていくことで、信号処理の差によって出力映像上にショックが生ずることを防止し、また取得する輝度情報の混合比を段階的に変化させていくことで、露出制御の差によって出力映像上にショックが生ずることを防止する。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図１〜図６を用いて説明する。
図１は実施の形態の撮像装置の要部のブロック図である。この撮像装置は、例えば動画としての撮像映像信号を得るビデオカメラとされる。
【００１２】
被写体からの撮像光は撮像レンズ１を介して入射される。この撮像光１はメカアイリス部２を介してＣＣＤ３に結像される。メカアイリス部２は、例えば複数の羽根により口径を大小させることで入射光量を調整するようにされた絞り機構である。このメカアイリス部２においては、口径を形成する複数の羽根と、その羽根を駆動し口径を可変させるための駆動機構を有する。駆動機構は、駆動用モータ及びモータコイルに駆動信号を与える回路系から成る。そしてこのメカアイリス部２に対しては、駆動制御電圧ＶＣＮＴが与えられることで、複数の羽根がオープン方向又はクローズ方向に駆動される。
【００１３】
ＣＣＤ３に結像された撮像光は電気信号に変換される。即ち各画素の電荷として蓄積され、転送クロックによって画素電荷が転送されていくことで電気信号としての撮像映像信号に変換され、ＣＤＳ／ＡＧＣ回路４に供給される。ＣＣＤ３においては、タイミングジェネレータ１３からの転送タイミング信号ＴＭが供給されるが、この転送タイミング信号ＴＭの周波数は、電子シャッタとしてのシャッタースピードを規定するものとなる。
【００１４】
ＣＤＳ／ＡＧＣ回路４においては、ＣＤＳ（相関２重サンプリング）処理により撮像映像信号としてのデータをサンプルホールドし、さらにＡＧＣ（オートゲインコントロール）処理によるゲイン調整を行なう。ＡＧＣ処理については、ゲイン制御信号Ｃｇにより、その調整ゲインが制御される。
【００１５】
ＣＤＳ／ＡＧＣ回路４から出力される撮像映像信号は、Ａ／Ｄ変換器５においてデジタルデータに変換され、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）１０に入力される。
ＤＳＰ１０は本発明でいう第２の信号処理手段に相当し、撮像映像信号に対して、ワイドダイナミックレンジ処理（以下、ＷＤ処理）としての信号処理を行う部位とされる。ＷＤ処理とは、特に被写体輝度が高い場合において、ＤＳＰ１０で行われる処理である。
図２を用いてＷＤ処理を説明する。
【００１６】
ＷＤ処理は、広ダイナミックレンジ信号処理を実現するために、長時間露光と短時間露光の２つの撮像を行い得られた２つの画像の適切な露出箇所を合成し１枚のワイドダイナミックレンジ撮像画像を作り出すアルゴリズムである。
今、図２（ａ）のような被写体を想定する。例えば樹木に対して太陽光が直接あたり、樹木の部分が非常に高輝度な被写体となっている。一方、人物は塀によって太陽光から遮られた位置にいることで、低輝度の被写体となっている。このように被写体において輝度のレンジが広い場合、通常の露出制御では最適な映像を得ることができない。即ち露出を上げれば人物にはよいが、樹木には適切な状態とならない。露出を下げるとその逆となる。
そこでこのような場合のＷＤ処理では、例えば長時間露光画像（第１の露出状態）として図２（ｂ）のように人物にとって適切な露出の映像を得、さらに短時間露光画像（第２の露出状態）として図２（ｃ）のように樹木にとって適切な露出の映像を得る。そしてこの２つの画像において露出が適切となっている箇所をそれぞれ抽出し、合成する。すると図２（ｄ）のように人物と樹木の両方に適切な露出の画像が得られる。
ＤＳＰ１０は、ＷＤ処理としてこのように長時間露光画像と短時間露光画像を合成して１つの画像を得る処理を行うものである。
【００１７】
ＤＳＰ１０とともに、ＤＳＰ２０が設けられる。ＤＳＰ２０は、本発明でいう第１の信号処理手段に相当し、被写体輝度が或るレベルより低い場合において撮像映像信号に対して通常の映像信号処理を行う。
通常の映像信号処理とは、上記ＷＤ処理のような特別な信号処理を行わないで、１回の撮像で１枚の画像を作り出す従来型の信号処理である。
そして例えばＤＳＰ２０では、撮像映像信号に対する輝度（Ｙ）信号処理や色（Ｃ）信号処理を行う。
【００１８】
このようにＤＳＰ１０，ＤＳＰ２０が設けられる本例では、通常は、撮像映像信号に対する信号処理はＤＳＰ１０をパスしてＤＳＰ２０において実行されるが、特に被写体輝度がかなり高輝度の場合、ＤＳＰ１０においてＷＤ処理が施されるものとなる。
【００１９】
ＤＳＰ１０又はＤＳＰ２０で処理された信号は、図示しない次段の回路系に供給される。例えばモニタ出力映像としての処理回路系に供給される。また例えば当該撮像装置が、ディスクやテープメディアに映像信号を記録する記録装置部を備えているのであれば、ＤＳＰ５で処理された撮像映像信号は、所定の記録用エンコード処理や圧縮処理などを経て、メディアに記録される。
【００２０】
ＤＳＰ１０及びＤＳＰ２０には、それぞれオプティカルディテクタ１１、２１が設けられる。オプティカルディテクタ１１は積分器であり、例えば映像信号のフィールド単位で輝度信号、色信号の積分処理を行う。そしてフィールド単位の積分値（以下、ＯＰＤ値）をコントローラ６に供給する。特に本実施の形態では、コントローラ６による自動露出制御に関して述べていくが、この自動露出制御に関して輝度信号のＯＰＤ値を用いることになる。
【００２１】
コントローラ６は、例えばマイクロコンピュータにより構成される。ＲＯＭ６ａ、ＲＡＭ６ｂは、コントローラ６の処理プログラム、制御変数、処理係数等の格納や、各種演算のためのワーク領域として用いられる。
コントローラ６は、撮像映像信号に対する信号処理の実行について、ＤＳＰ１０、ＤＳＰ２０を選択的に切り換える処理を行う。
また、ＤＳＰ１０、ＤＳＰ２０での信号処理実行制御や、処理に用いるパラメータの設定などの処理を行う。
【００２２】
さらにコントローラ６は、自動露出調整（ＡＥ）のための制御機能を有する。コントローラ６は、オプティカルディテクタ１１からの輝度積分値ＯＰＤ（Ｄ）又はオプティカルディテクタ２１からの輝度積分値ＯＰＤ（Ｎ）に基づいて、ＡＥ制御を行う。即ち供給されたＯＰＤ値を、基準のＯＰＤ値と比較する演算によって得られるエラー値に基づいて露出調整処理を実行する。上述したように露出調整のためには、絞り調整、シャッタスピード調整、ゲイン調整の３つの手法が用いられる。
【００２３】
コントローラ６は、露出調整のためにシャッタースピード調整を実行させる際にはシャッタースピード制御信号Ｃｓをタイミングジェネレータ１３に対して出力する。シャッタースピード制御信号Ｃｓは、タイミングジェネレータ１３からＣＣＤ３に供給する露光時間を規定する信号であり、これによってコントローラ６がシャッタースピードを可変指示できる。例えばシャッタースピードとして１／６０秒〜１／１０００秒などの間で可変指示される。
またコントローラ６は、露出調整のためにゲイン調整を実行させる際にはゲイン制御信号ＣｇをＣＤＳ／ＡＧＣ回路４に対して出力する。ゲイン制御信号Ｃｇは、ＡＧＣ処理でのゲイン値を指定する信号であり、ＣＤＳ／ＡＧＣ回路４では、ゲイン制御信号Ｃｇで指定されたゲインを基準としてゲイン調整処理が行われる。これによってコントローラ６が撮像映像信号に与えるゲインを可変指示できる。
さらにコントローラ６は、絞り調整を実行させるためには、アイリス制御信号Ｃｉを出力する。アイリス制御信号ＣｉはＥＶＲ（電子ボリューム）１４により所要の電圧調整が行われ、駆動制御電圧ＶＣＮＴとしてメカアイリス部２に供給される。アイリス制御信号Ｃｉは、メカアイリス部２をオープン方向又はクローズ方向に駆動させるように指示する信号である。従って、コントローラ６がアイリス制御信号Ｃｉとしてオープン方向の値を出力することで、メカアイリス部２においては口径が開くオープン方向に駆動され、またコントローラ６がアイリス制御信号Ｃｉとしてクローズ方向の値を出力することで、メカアイリス部２においては口径が閉じるクローズ方向に駆動される。さらにコントローラ６がアイリス制御信号Ｃｉとして駆動停止の値を出力することで、メカアイリス部２においてはその時点の口径状態を維持する。
【００２４】
ここで、コントローラ６による露出制御方式及びＤＳＰ１０，２０の振り分けを図３で説明する。
自動露出調整とは、被写体輝度に関わらず、安定した輝度レベルの撮像映像信号が得られるようにすることである。そしてそのために、上記のように絞り、シャッタースピード、ゲインを調整する。
図３には横軸に被写体輝度をとって、被写体輝度に応じて露出調整動作の一例を示している。
【００２５】
例えばこの図３のように、被写体輝度レベルとしての所定値Ｃ、Ｄにおいて、ＤＳＰ２０、ＤＳＰ１０の処理が切り分けられる。
被写体輝度レベルが第１の所定値Ｃより低輝度の範囲にあるときは、映像信号処理としてはＤＳＰ２０による通常処理が行われる。そしてコントローラ６は、ＤＳＰ２０による通常処理が行われる被写体輝度レベルの範囲は、通常ＡＥ制御領域としてＡＥ処理（露出調整）を行う。
この通常ＡＥ制御領域においては、コントローラ６はオプティカルディテクタ２１からの輝度積分値ＯＰＤ（Ｎ）に基づく制御を行う。例えば被写体輝度レベルがＢ〜Ｃの範囲にあるときは、絞り調整或いはシャッタースピード調整による露出制御を行う。また被写体輝度レベルがＡ〜Ｂの範囲にあるときは、ゲイン調整による露出制御を行う。さらに被写体輝度レベルがＡ以下の範囲にあるときは、シャッタースピード制御（スローシャッタ）による露出制御を行う。これらの露出制御を、輝度積分値ＯＰＤ（Ｎ）がその収束目標値に達するように実行する。
【００２６】
被写体輝度レベルが第２の所定値Ｄより高輝度の範囲にあるときは、映像信号処理としてはＤＳＰ１０によるＷＤ処理が行われる。そしてコントローラ６は、ＤＳＰ１０による通常処理が行われる被写体輝度レベルの範囲は、ＷＤ−ＡＥ制御領域としてＡＥ処理（露出調整）を行う。
このＷＤ−ＡＥ制御領域においては、コントローラ６はオプティカルディテクタ１１からの輝度積分値ＯＰＤ（Ｄ）に基づく制御を行う。例えば絞り調整或いはシャッタースピード調整による露出制御を行う。これらの露出制御を、輝度積分値ＯＰＤ（Ｄ）がその収束目標値に達するように実行する。
【００２７】
そして本例では、特に輝度レベルが第１の所定値Ｃと第２の所定値Ｄの間にある場合、即ち通常ＡＥ制御領域とＷＤ−ＡＥ制御領域の境界領域において、境界ＡＥ制御が行われる。
この境界ＡＥ制御は、映像信号処理がＤＳＰ１０とＤＳＰ２０の間で切り換えられる際に、出力される映像信号にショックが生じないようにするために実行される。
以下、境界ＡＥ制御について述べていく。
【００２８】
上述したように本例では、２つの異なる信号処理を行う機能を有する。そしてＤＳＰ１０によるワイドダイナミックレンジ撮像機能（ＷＤ処理）と、ＤＳＰ２０による通常撮像機能（通常処理：通常輝度〜低照度での撮像機能）を、被写体条件（ダイナミックレンジ、輝度）によって切り替えるものである。
このＤＳＰ１０、ＤＳＰ２０のそれぞれによる機能では、その映像信号処理およびそれぞれの自動露出制御（ＡＥ）のアルゴリズムがまったく異なる。
このため信号処理による出力映像の差と、ＡＥ処理による出力映像の差が生ずる。
【００２９】
まず映像信号処理においては、ＤＳＰ１０のＷＤ処理では、上記図２で説明したように、ワイドダイナミックレンジ信号処理を実現するために、第１，第２の露出状態、即ち長時間露光と短時間露光の２つの撮像を行い、得られた２つの画像の適切な露出箇所を合成し１枚のワイドダイナミック撮像画像を作り出すアルゴリズムである。
一方、ＤＳＰ２０の通常処理は上記のような特別な信号処理を行わない１回の撮像で１枚の画像を作り出す従来型の信号処理である。
【００３０】
このような信号処理の差異によっては、ＷＤ処理を行うＤＳＰ１０はダイナミックレンジを圧縮した映像信号を出力し、一方通常処理を行うＤＳＰ２０は特にダイナミックレンジを圧縮することのない映像信号を出すことになる。ＷＤ処理の場合、ダイナミックレンジの広い合成撮像映像を生成するが、その場合、映像モニタ装置などの出力デバイスのダイナミックレンジに合わせる必要が生じ、そのため上記図２の合成処理を行った後、或る程度ダイナミックレンジ圧縮処理が行われるためである。
そしてこのようにＷＤ処理がダイナミックレンジ圧縮処理を行い、通常処理ではダイナミックレンジ圧縮処理を行わないことから、同じ被写体を撮像したとしてもＤＳＰ１０の出力映像とＤＳＰ２０の出力映像には差が生じる。
【００３１】
またＡＥ処理において、ＤＳＰ２０で通常処理が行われる際には、主に画面全体を測光して適正露出に制御するが、ＤＳＰ１０でＷＤ処理が行われる際は、長時間露光撮像において低輝度被写体をターゲットにした適正露出より明るい露出条件をもつ処理（ＷＤ−ＡＥ処理（ｉ）とする）と、短時間露光において高輝度被写体をターゲットにした適正露出より暗い露出条件をもつ処理（ＷＤ−ＡＥ処理（ｉｉ）とする）との２つが行われる。このような露出制御の差異においてもＤＳＰ１０の出力映像とＤＳＰ２０の出力映像には差が生じる。
【００３２】
本例の境界ＡＥ制御は、このような信号処理の差異及びＡＥ制御の差異によって生ずる出力映像の差を吸収するものである。
そしてこの境界ＡＥ制御は、自動露出制御の一部として機能し、図３に示した通常ＡＥ制御領域とＷＤ−ＡＥ制御領域をつなぐ形で存在する。
【００３３】
まず信号処理の差異による出力映像の差異を解消するためには、境界ＡＥ制御において、ＤＳＰ１０のＷＤ処理におけるパラメータとして、ミックススタート（ＭＩＸＳＴＡＲＴ）、及びアジャストゲイン（ＡＤＪＵＳＴＧＡＩＮ）が変化されるようにする。
即ち本例では、ＡＥ制御においてミックススタート、及びアジャストゲインが設定されるようにするとともに、そのパラメータが境界ＡＥ制御において変化される。
【００３４】
ミックススタートのパラメータとは、ＤＳＰ１０において長時間露光画像と短時間露光画像の２つの画像を合成する際に、どの信号レベルを境に合成をするかを決めるパラメータである。
例えば図４において、横軸は入力映像信号の画素の輝度レベルを示し、その画素輝度としての或る値として設定されたミックススタートパラメータを示している。図４の縦軸は長時間露光画像と短時間露光画像に与えるゲインであり、実線は短時間露光画像のゲイン、破線は長時間露光画像のゲインを示す。
【００３５】
例えば図４（ａ）のようにミックススタート＝Ｙ１と設定されている場合、輝度が輝度レベルＹ１より低い画素については長時間露光画像のゲインが１、短時間露光画像のゲインが０とされ、その画素については、合成処理において長時間露光画像側の画素が用いられる。一方、輝度が輝度レベルＹ２より高い画素については長時間露光画像のゲインが０、短時間露光画像のゲインが１とされ、その画素については、合成処理において短時間露光画像側の画素が用いられる。輝度レベルＹ１〜Ｙ２の範囲の画素については、長時間露光画像と短時間露光画像が、図に示されるゲインの比率で合成されることになる。
【００３６】
ＷＤ処理時の露出調整が行われるＷＤ−ＡＥ制御領域においては、上述したＷＤ処理のために、ミックススタートパラメータの値はある適性値に設定されている。
ここで、ミックススタートパラメータは、長時間露光画像側と短時間露光画像側の２つの画像を合成する処理における、合成の基準となる画素輝度レベルを指定するパラメータであるため、ミックススタートパラメータを変化させることによれば、合成画像において長時間露光画像と短時間露光画像のしめる割合、即ち合成比率を変化させるものとなる。
例えばミックススタートパラメータの値を大きくしていくと図４（ｂ）のようになる。図４（ｂ）はミックススタート＝Ｙ３とした場合であり、この場合、輝度がＹ３〜Ｙ４の範囲の画素において長時間露光画像側の画素と短時間露光画像側の画素が混合される。
そしてこの場合、長時間露光画像側の画素のみを用いる画素輝度の範囲がＹ３にまで拡大することになり、つまり、合成映像に長時間露光画像成分の占める割合が大きくなっていく。
このミックススタートパラメータを最大値にすると、ＤＳＰ１０で形成される合成画像は長時間露光画像が１００％用いられたものとなることが理解される。
【００３７】
またＤＳＰ１０のＷＤ処理においては、上述したように出力デバイス（ＴＶモニタ等）のダイナミックレンジに合わせるため、合成映像信号のダイナミックレンジ圧縮を行う機能を有する。
このダイナミックレンジ圧縮処理のパラメータがアジャストゲインである。
【００３８】
ＷＤ−ＡＥ制御領域では、ＤＳＰ１０のＷＤ処理として広ダイナミックレンジ画像処理を行うため、アジャストゲインとしてのパラメータを或る適性値に設定している。
このアジャストゲインを大きくしていくと合成映像信号に対するダイナミックレンジの圧縮率が小さくなっていき、最大値にすると圧縮率は１（＝圧縮しない）ものとなる。
【００３９】
ここで本例の境界ＡＥ制御領域を図５に示す。
これはＡＥ制御として、ＷＤ−ＡＥ制御領域と通常ＡＥ制御領域の間で境界ＡＥ制御が行われることを模式的に示しているものである。つまり、ＡＥ制御において、ＷＤ−ＡＥ制御と通常ＡＥ制御の間で移行する際（ＤＳＰ１０の処理とＤＳＰ２０の処理が切り換えられる際）に、境界ＡＥ制御が実行される。
なお、境界ＡＥ制御領域の範囲をＳｃａｌｅ値で表しているが、このＳｃａｌｅ値とは、撮像装置のシステムゲインに相当する値である。説明上、システムゲインとは撮像装置において映像信号の輝度を決定するゲインの総称とする。システムゲインを変化させる要因としては、アイリス（絞り）、電子シャッタ、ＡＧＣゲインなどがあり、また上記ミックススタート及びアジャストゲインは、出力映像信号の輝度をコントロールできることから、システムゲインを変化できる制御対象の一部となる。
【００４０】
図５に示すように、境界ＡＥ制御領域としては、ＷＤパラメータ制御領域と、ＯＰＤＭＩＸ領域が設定されている。
ＷＤパラメータ制御領域は、上述したＤＳＰ１０とＤＳＰ２０の信号処理の際によって生ずる出力映像の差を解消するための制御領域であり、このＷＤパラメータ制御領域では、図示するように上記のミックススタート及びアジャストゲインを変化させるものとなる。
【００４１】
この処理を、ＷＤ−ＡＥ制御領域から通常ＡＥ制御領域に向かって遷移する場合で述べる。
ミックススタート、アジャストゲインとしての各パラメータは、ＷＤ−ＡＥ制御領域においては、上記したようにそれぞれ適正値に設定されている。
ＷＤパラメータ制御領域の制御としては、ＷＤ−ＡＥ制御領域においてある適性値に設定されているミックススタートおよびアジャストゲインを徐々に最大値に近づけて、長時間露光画像１００％かつ圧縮率＝１の出力画像を得るように制御する。その後、通常ＡＥ制御領域に移行する。
このようにすれば、通常ＡＥ制御領域に移行した直後のＤＳＰ２０による信号処理画像と、通常ＡＥ制御領域に移行する直前のＤＳＰ１０の信号処理画像は、露出条件さえあっていれば差異が生じなくなる。
【００４２】
ここまでは、ＤＳＰ１０，２０の信号処理の差異によって出力映像信号に急激に差が生ずることを防止する手法である。
本例ではさらに、上記したＡＥ制御処理の差によって出力映像信号に差が生ずることを、以下のようにして防止する。
【００４３】
ＷＤ−ＡＥ制御の際には、コントローラ６はオプティカルディテクタ１１で測光された輝度積分値ＯＰＤ（Ｄ）を用いてＡＥ制御を行う。
一方、通常ＡＥ制御の際には、コントローラ６はオプティカルディテクタ２１で測光された輝度積分値ＯＰＤ（Ｎ）を用いてＡＥ制御を行う。
【００４４】
さらにＷＤ−ＡＥ制御で用いられるオプティカルディテクタ１１は、上述した、長時間露光撮像において低輝度被写体をターゲットにした適正露出より明るい露出条件をもつ処理であるＷＤ−ＡＥ処理（ｉ）のための測光機能と、短時間露光において高輝度被写体をターゲットにした適正露出より暗い露出条件をもつ処理であるＷＤ−ＡＥ処理（ｉｉ）のための測光機能を有している。
【００４５】
ここで、ＷＤ−ＡＥ制御領域から通常ＡＥ制御領域に遷移する際を考えると、その測光処理はオプティカルディテクタ１１からオプティカルディテクタ２１に遷移されることになる。
このとき、それぞれの露出制御対象を、ＷＤ−ＡＥ処理（ｉ）が低輝度被写体とし、通常ＡＥ制御が主に画面全体としているため、ＡＥ制御の収束条件（収束とは最適露出への収束）が異なるものとなり、その結果出力映像に差異が生ずる。
そこで本例では、上記図５の境界ＡＥ制御領域において、ＯＰＤＭＩＸ領域と呼ぶ領域を設け、このＯＰＤＭＩＸ領域における測光は、オプティカルディテクタ１１，２１の２つのＯＰＤ値（ＯＰＤ（Ｄ）、ＯＰＤ（Ｎ））の合成値を用いるようにしている。
【００４６】
この場合の合成値は、
ＯＰＤ合成値＝（ＯＰＤ（Ｄ）×ｋ）＋（ＯＰＤ（Ｎ）×（１−ｋ））・・・（式１）
但し、０≦ｋ≦１
とする。
係数ｋの値は、図５のようにＯＰＤＭＩＸ領域内で変化される。
これによってＷＤ−ＡＥ制御領域から境界ＡＥ制御領域に遷移した直後はｋ＝１であるため、オプティカルディテクタ１１からのＯＰＤ（Ｄ）値を１００％使用してＡＥ制御がなされる。
またＯＰＤＭＩＸ領域内で、通常ＡＥ制御領域側に移行するほど、係数ｋの値が小さくなり、オプティカルディテクタ２１からのＯＰＤ（Ｎ）値の混合比が大きくなる。そして通常ＡＥ制御領域へ遷移する直前ではＯＰＤ（Ｎ）値を１００％使用してＡＥ制御が行われる。
【００４７】
またＷＤ−ＡＥ制御と通常ＡＥ制御の収束ターゲットの差が、ＡＥ制御が収束する位置、つまり適正露出値（収束目標値）の差として説明できる場合、境界ＡＥ制御領域の収束目標値は次のように求めればよい。
ＷＤ−ＡＥ処理（ｉ）の収束目標値をＴｉ、通常ＡＥ処理の収束目標値をＴＮとすると、

但し、０≦ｋ≦１
である。
これによって、ＷＤ−ＡＥ制御領域から境界ＡＥ制御領域に遷移した直後は、ＷＤ−ＡＥ処理（ｉ）の収束目標値Ｔｉを１００％使用してＡＥ処理が行われ、また境界ＡＥ制御領域から通常ＡＥ制御領域に遷移する直前では、収束目標値ＴＮを１００％使用してＡＥ処理が行われることとなる。
【００４８】
このようにＡＥ制御に用いるＯＰＤ値と収束目標値を、境界ＡＥ制御領域において徐々に変化させることで、ＷＤ−ＡＥ制御と通常ＡＥ制御が切り換えられる際に、ＡＥ制御の違いによって生ずる出力映像の急激な変化を解消する。
【００４９】
本例では、境界ＡＥ制御領域において、以上のようなＷＤパラメータ制御領域におけるパラメータ（ミックススタート、アジャストゲイン）の制御を行い、またＯＰＤＭＩＸ領域においてＯＰＤ値及び収束目標値の制御を行うことで、出力映像に生ずるショックを防止するものである。
以下、境界ＡＥ制御領域での具体的な処理例を説明する。
【００５０】
図５に示したように、境界ＡＥ制御領域の全体をＳｃａｌｅと呼ぶ値であらわすとする。
説明上、仮に、当該境界ＡＥ制御領域として、ＷＤ−ＡＥ制御領域との境界をＳｃａｌｅ＝０とし、通常ＡＥ制御領域との境界をＳｃａｌｅ＝２００とする。また、境界ＡＥ制御領域内で、ＷＤパラメータ制御領域とＯＰＤＭＩＸ領域の境界をＳｃａｌｅ＝１００とする。
【００５１】
ここで現在の制御点をｎｏｗとする（ｎｏｗ＝０〜２００）。現在の制御点とは、現在の撮像装置のシステムゲインに相当する。即ち出力映像における輝度レベルということもできる。
【００５２】
この場合、上記の式１、式２におけるｋの値はｋ＝（１００−ｎｏｗ）／１００と表現できる。（ただし（０≦ｋ≦１））
ここで式１と式２の演算結果を比較する。
式１で算出された輝度積分値（ＯＰＤ合成値）が、式２で算出された収束目標値より大きければ、被写体が明るいと判断できるため、ｎｏｗの値を減らして（つまりＳｃａｌｅ値を減らして）システムゲインを下げる。
また逆に、式１で算出された輝度積分値（ＯＰＤ合成値）が、式２で算出された収束目標値より小さければ、被写体が暗いと判断できるため、ｎｏｗの値を増加させて（つまりＳｃａｌｅ値を増加させて）システムゲインを上げる。これらによってＡＥ制御とする。
【００５３】
ここまでは、収束位置の算出になるが、このように増減されＳｃａｌｅ値を用いてミックススタート、アジャストゲインのパラメータ制御を行う。
ミックススタート、アジャストゲインを以下のように算出する。
ＭＩＸＳＴＡＲＴ＝ＭＳ最大値×Ｌ＋ＭＳ適正値×（１ − Ｌ）・・・（式３）
ＡＤＪＵＳＴＧＡＩＮ＝ＡＧ最大値×Ｌ＋ＡＧ適正値×（１ − Ｌ）・・・（式４）
【００５４】
なお、ＭＳ最大値とは、ミックススタートパラメータのとりうる最大値、ＭＳ適正値とは、ＷＤ−ＡＥ制御領域において適正値（最大値未満）に設定されているミックススタート値である。
また、ＡＧ最大値とは、アジャストゲインパラメータのとりうる最大値、ＡＧ適正値とは、ＷＤ−ＡＥ制御領域において適正値（最大値未満）に設定されているアジャストゲイン値である。
Ｌは、図５にも示したが、Ｌ＝（Ｓｃａｌｅ − １００）／１００で表される値である（但し、０≦Ｌ≦１）
【００５５】
以上のように、現在の制御点ｎｏｗから規定される係数ｋに応じて、式１，式２で輝度積分値と収束目標値が算出されることで、現在の制御点に応じてＯＰＤＭＩＸ領域でのＡＥ制御の変化、つまりＷＤ−ＡＥ制御と通常ＡＥ制御をスムーズに連続させるための動作が行われる。
またＳｃａｌｅ値によって、ミックススタートパラメータとアジャストゲインは、図５に示すように変化される。つまりＷＤパラメータ制御領域において、通常ＡＥ制御領域に近いＳｃａｌｅ値となるほど、大きい値に変化される。
【００５６】
なお、アジャストゲインを上げて圧縮率を低くすると、オプティカルディテクタ２１で検波されるＤＳＰ１からの出力映像は、全体的に輝度が増すものとなる。このためシステムゲインが上がったことと同等の動きをすることになりＷＤパラメータ制御領域はＡＥ処理としてのフィードバックが成立する。
これに対しＯＰＤＭＩＸ領域は、内部的なＡＥ評価値となるＯＰＤ合成値が変化するだけで、システムゲインが変化しないため、不感帯に相当する働きを示す。これによって境界ＡＥ制御領域ではヒステリシス特性を持つこととなり、発振しにくくなる。
【００５７】
以上の境界ＡＥ制御領域の処理をフローチャートで示したものが図６である。
図６の処理は、コントローラ６において輝度積分値が入力される毎に行われる。
ステップＦ１０１では、上記式１によりＯＰＤ合成値を算出する。
ステップＦ１０２では、上記式２により収束目標値を算出する。
ここで、式１＞式２、つまりＯＰＤ合成値＞収束目標値であれば、ステップＦ１０３からＦ１０４に進んで、Ｓｃａｌｅ値を１減ずる。
一方、式１＜式２、つまりＯＰＤ合成値＜収束目標値であれば、ステップＦ１０５からＦ１０６に進んで、Ｓｃａｌｅ値を１増加させる。
【００５８】
ステップＦ１０７は、上記のように増減されたＳｃａｌｅ値が２００を越えたか否かを確認する。Ｓｃａｌｅ値＝２００とは通常ＡＥ制御領域との境界である。もしＳｃａｌｅ値が２００を越えていれば、ステップＦ１０７からＦ１０８に進んで、通常ＡＥ制御に移行するものとなる。
ステップＦ１０９は、上記のように増減されたＳｃａｌｅ値が０より小さくなったか否かを確認する。Ｓｃａｌｅ値＝０とはＷＤ−ＡＥ制御領域との境界である。もしＳｃａｌｅ値が０より小さくなっていれば、ステップＦ１０９からＦ１１０に進んで、ＷＤ−ＡＥ制御に移行する。
【００５９】
Ｓｃａｌｅ値が０以上２００以下の範囲、つまり境界ＡＥ制御領域内であるならステップＦ１１１に進む。そして、その時点のＳｃａｌｅ値から係数ｋ、Ｌを求める。Ｓｃａｌｅ値に対して係数ｋ、Ｌは図５に示したように設定されている。つまりＳｃａｌｅ値から一意に求められる値となる。
ステップＦ１１２では、係数ｋ、Ｌの値を用い、上記式３，式４によってミックススタート、及びアジャストゲインとしての値を求める。そして求めたミックススタート、アジャストゲインをＤＳＰ１０に設定する。
【００６０】
境界ＡＥ制御領域において、この図６のような処理が行われていくことで、上述したようにＷＤ−ＡＥ制御領域と通常ＡＥ制御領域の遷移期間において、出力映像にショックが生じないようにされることになる。これによって２つの異なる信号処理方式をスムーズに連続させることができる。
【００６１】
【発明の効果】
以上の説明から理解されるように本発明では、境界露出制御として、第２の信号処理手段における合成処理の合成比率を変化させる処理、合成画像のダイナミックレンジ圧縮率を変化させる処理、さらには輝度情報の混合比を変化させる処理が、第１の信号処理手段の機能時の露出制御と、第２の信号処理手段の機能時の露出制御をつなぐかたちで行われる。つまり第１の信号処理手段の動作と第２の信号処理手段の動作が切り換えられる遷移期間に境界露出制御が行われる。そして、第１の信号処理手段と第２の信号処理手段では、その処理アルゴリズムと露出制御に差異があって、出力映像の差（輝度や色の差）が大きいが、境界露出制御によってその差異が吸収されながら、第１の信号処理手段と第２の信号処理手段の切換が行われる。これによって、処理切換時に出力映像上にショックが生ずることが防止されるという効果がある。
そして処理切換時の映像上のショックが避けられることで、２つの信号処理手段の機能を有効に利用して高品位な撮像映像を得ることができる。
【００６２】
また第２の信号処理手段の合成比率の変化として、例えば合成処理において高い露出状態の撮像映像信号と低い露出状態の撮像映像信号の割合を指定するパラメータ（ミックススタート）を変化させたり、また高い露出状態の撮像映像信号と低い露出状態の撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を、例えばパラメータ（アジャストゲイン）で変化させる。さらに、輝度情報の取得処理として、第１の信号処理手段における輝度情報検出部からの輝度情報ＯＰＤ（Ｎ）と第２の信号処理手段における輝度情報検出部からの輝度情報ＯＰＤ（Ｄ）の混合比を変化させる。これらの処理によって、上記のショックの解消は有効に行われ、第１，第２の信号処理手段の切換はスムーズに行われる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像装置の要部のブロック図である。
【図２】実施の形態の広ダイナミックレンジ処理の説明図である。
【図３】実施の形態の露出制御領域の説明図である。
【図４】実施の形態の広ダイナミックレンジ処理でのミックススタートの説明図である。
【図５】実施の形態の境界ＡＥ制御の説明図である。
【図６】実施の形態の境界ＡＥ制御のフローチャートである。
【符号の説明】
１撮像レンズ、２メカアイリス部、３ＣＣＤ、４ＣＤＳ／ＡＧＣ回路、５Ａ／Ｄ変換器、６コントローラ、１０ＷＤ処理ＤＳＰ、１１，２１オプティカルディテクタ、２０通常処理ＤＳＰ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device and an imaging method.
[0002]
[Prior art]
[Patent Document 1] JP-A-8-280188
For example, an image capturing apparatus such as a video camera that captures an image of a subject using an image sensor such as a CCD or the like is known to perform automatic exposure adjustment so that a stable image can be captured regardless of the luminance of the subject. As is well known, there are mainly three methods for adjusting the exposure: aperture adjustment, shutter speed adjustment, and gain adjustment.
[0003]
By adjusting the aperture, the amount of incident light can be adjusted according to the brightness of the subject, and an appropriate exposure state can be obtained.
For example, Patent Document 1 discloses a configuration in which a mechanical aperture mechanism (iris mechanism) is provided on an incident path of imaging light reaching an imaging element, and a plurality of blades is used to adjust the amount of incident light by increasing or decreasing the aperture and controlling the driving of the same. For this purpose, a technique has been disclosed.
[0004]
Adjusting the shutter speed (exposure time controlled by the electronic shutter based on the transfer timing of exposure information in the case of a CCD) is also exposure adjustment.
Further, by varying the gain of the image signal obtained by an image sensor such as a CCD, the luminance can be adjusted on the signal, that is, the exposure can be adjusted.
In a video camera, these three methods are combined to perform appropriate automatic exposure adjustment.
[0005]
[Problems to be solved by the invention]
By the way, the subject to be imaged by the imaging device is not only low or high in luminance overall on the screen, but also often includes a high luminance part and a low luminance part in the screen. In particular, when a part with very high luminance and a part with low luminance are mixed, optimal exposure adjustment is difficult, and a captured image cannot be made high quality.
For this reason, a technique for obtaining high-quality video corresponding to a wide luminance dynamic range by devising processing for a captured video signal has been developed.
[0006]
For example, a normal signal processing algorithm and a special signal processing algorithm are prepared. If the brightness of the subject is considerably high and the brightness dynamic range of the subject is wide, it is conceivable to switch from a normal signal processing algorithm to a special signal processing algorithm to perform processing corresponding to a wide dynamic range. I have.
However, in the case where a plurality of signal processing functions are switched in accordance with a change in luminance, an output video signal changes abruptly when the switching is performed. In other words, since differences in luminance, color, and the like occur in processing by a plurality of signal processing algorithms, a shock (rapid change in luminance, tint, etc.) appears on the video when there is a change in signal processing on a continuous video. There was a problem that appeared.
[0007]
[Means for Solving the Problems]
In view of such circumstances, an object of the present invention is to make it possible to output a smooth video signal free from shock when processing by a plurality of signal processing algorithms is switched.
[0008]
An imaging device according to the present invention includes: an imaging unit configured to convert light obtained from a subject into an imaging video signal that is an electric signal; and an imaging unit configured to output the imaging video signal when the subject brightness is in a low luminance region lower than a first predetermined value. A first signal processing means for performing a normal signal processing on the image signal to output a video signal; and a first signal processing means for outputting a video signal when the subject luminance is in a high luminance area higher than a second predetermined value larger than the first predetermined value. A second signal processing means for performing a synthesizing process of the captured video signal obtained in the second exposure state and the captured video signal obtained in the second exposure state to output a video signal; Accordingly, when the first signal processing means functions, exposure control is performed to adjust the exposure to an appropriate value. When the second signal processing means functions, exposure control for obtaining the first exposure state and the second exposure state are performed. And adjust the exposure In particular, when the subject brightness is between the first predetermined value and the second predetermined value, the control for performing the boundary exposure control for changing the synthesis ratio in the synthesis processing by the second signal processing means is performed. Means.
In the boundary exposure control, the control unit may perform a dynamic range compression process on a video signal obtained by combining the captured video signal obtained in the first exposure state and the captured video signal obtained in the second exposure state. To change the compression ratio.
The first signal processing means and the second signal processing means each include a luminance information detecting unit for detecting the subject luminance, and the control means performs the first signal processing in the boundary exposure control. The mixing ratio of the luminance information from the luminance information detecting section in the means and the luminance information from the luminance information detecting section in the second signal processing means is changed.
[0009]
The imaging method of the present invention converts light obtained from a subject into an imaged video signal that is an electric signal, and when the subject brightness is in a low luminance region lower than a first predetermined value, the imaging video signal is A signal processing is performed to generate a video signal, and when the subject luminance is in a high luminance area higher than the second predetermined value, which is higher than the first predetermined value, the captured video signal obtained in the first exposure state is A video signal is generated by combining the captured video signal obtained in the second exposure state, and when the subject luminance is between the first predetermined value and the second predetermined value, the combining in the combining is performed. A video signal is generated while changing the ratio.
Further, when the subject luminance is between the first predetermined value and the second predetermined value, the imaged video signal obtained in the first exposure state and the image signal obtained in the second exposure state are further changed. The compression ratio of the dynamic range compression processing on the video signal obtained by combining the obtained captured video signals is changed.
When the subject luminance is between the first predetermined value and the second predetermined value, the luminance information detected by the circuit for executing the normal signal processing is detected by the circuit for executing the synthesis. The luminance information thus obtained is mixed at a predetermined mixing ratio to calculate a luminance information and a convergence target value of the exposure control. Based on a comparison result between the luminance information and the convergence target value, the synthesis ratio and the compression are calculated. Change the rate.
[0010]
In the present invention described above, during the transition period in which the operation of the first signal processing means and the operation of the second signal processing means are switched according to the subject luminance condition, the synthesis ratio of the synthesis processing in the second signal processing means is changed. Boundary exposure control for changing the dynamic range compression ratio and changing the mixture ratio of the start-up information includes exposure control when the first signal processing unit functions and exposure when the second signal processing unit functions. This is done in a way that connects control. The first signal processing means and the second signal processing means have a difference in the processing algorithm and the exposure control, and the difference in the output video (the difference in luminance and color) is large. Absorb. Specifically, by gradually changing the processing parameters, it is possible to prevent a shock from occurring on the output video due to a difference in signal processing, and to gradually change the mixing ratio of the luminance information to be obtained. Thus, it is possible to prevent the occurrence of a shock on an output image due to a difference in exposure control.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a block diagram of a main part of the imaging apparatus according to the embodiment. This imaging device is, for example, a video camera that obtains a captured video signal as a moving image.
[0012]
Imaging light from a subject enters through an imaging lens 1. The imaging light 1 is imaged on the CCD 3 via the mechanical iris unit 2. The mechanical iris unit 2 is a diaphragm mechanism that adjusts the amount of incident light by, for example, increasing or decreasing the aperture with a plurality of blades. The mechanical iris unit 2 has a plurality of blades forming an aperture, and a driving mechanism for driving the blades to change the aperture. The drive mechanism includes a drive motor and a circuit system that provides a drive signal to the motor coil. When the drive control voltage VCNT is applied to the mechanical iris unit 2, the plurality of blades are driven in the open direction or the close direction.
[0013]
The imaging light focused on the CCD 3 is converted into an electric signal. That is, the charge is accumulated as the charge of each pixel, is converted into an image signal as an electric signal by being transferred by the transfer clock, and is supplied to the CDS / AGC circuit 4. The transfer timing signal TM from the timing generator 13 is supplied to the CCD 3, and the frequency of the transfer timing signal TM defines the shutter speed as an electronic shutter.
[0014]
The CDS / AGC circuit 4 samples and holds data as an image pickup video signal by CDS (correlated double sampling) processing, and further performs gain adjustment by AGC (auto gain control) processing. In the AGC process, the adjustment gain is controlled by the gain control signal Cg.
[0015]
The captured video signal output from the CDS / AGC circuit 4 is converted into digital data by an A / D converter 5 and input to a DSP (Digital Signal Processor) 10.
The DSP 10 corresponds to a second signal processing unit according to the present invention, and is a portion that performs signal processing as wide dynamic range processing (hereinafter, WD processing) on a captured video signal. The WD process is a process performed by the DSP 10 particularly when the subject brightness is high.
The WD process will be described with reference to FIG.
[0016]
In the WD processing, in order to realize wide dynamic range signal processing, two exposures of a long exposure and a short exposure are taken, and appropriate exposure portions of two images obtained are synthesized, and one wide dynamic range captured image is obtained. Is an algorithm that produces
Now, assume a subject as shown in FIG. For example, sunlight directly hits a tree, and the tree is a very bright subject. On the other hand, the person is a low-brightness subject because it is located in a position shielded from sunlight by the fence. In the case where the luminance range of the subject is wide, an optimal image cannot be obtained by ordinary exposure control. That is, increasing the exposure is good for a person, but not suitable for a tree. Lowering the exposure will do the opposite.
Therefore, in the WD processing in such a case, for example, as shown in FIG. 2B, a video having an appropriate exposure for a person is obtained as a long-time exposure image (first exposure state), and then a short-time exposure image (second exposure state) is obtained. As an exposure state, an image with an exposure appropriate for a tree is obtained as shown in FIG. Then, in each of the two images, portions where exposure is appropriate are extracted and combined. Then, as shown in FIG. 2D, images with appropriate exposure for both the person and the tree are obtained.
The DSP 10 performs a process of combining the long-time exposure image and the short-time exposure image to obtain one image as the WD process.
[0017]
A DSP 20 is provided together with the DSP 10. The DSP 20 corresponds to a first signal processing unit according to the present invention, and performs normal video signal processing on a captured video signal when the subject luminance is lower than a certain level.
The normal video signal processing is a conventional signal processing in which a single image is created by one imaging without performing special signal processing such as the WD processing.
Then, for example, the DSP 20 performs luminance (Y) signal processing and color (C) signal processing on the captured video signal.
[0018]
In this example in which the DSP 10 and the DSP 20 are provided as described above, the signal processing for the captured video signal is normally performed in the DSP 20 by passing through the DSP 10, but especially when the subject luminance is considerably high, the WD processing is performed in the DSP 10. Will be applied.
[0019]
The signal processed by the DSP 10 or the DSP 20 is supplied to a next-stage circuit system (not shown). For example, it is supplied to a processing circuit system as a monitor output video. Further, for example, if the imaging device includes a recording device that records a video signal on a disk or a tape medium, the captured video signal processed by the DSP 5 is subjected to a predetermined recording encoding process, a compression process, and the like. Recorded on the media.
[0020]
The DSP 10 and the DSP 20 are provided with

optical detectors

11 and 21, respectively. The optical detector 11 is an integrator, and performs, for example, integration processing of a luminance signal and a chrominance signal in units of fields of a video signal. Then, an integrated value (hereinafter, OPD value) in a field unit is supplied to the controller 6. In particular, in the present embodiment, the automatic exposure control by the controller 6 will be described, but the OPD value of the luminance signal is used for the automatic exposure control.
[0021]
The controller 6 is constituted by, for example, a microcomputer. The ROM 6a and the RAM 6b are used as storage areas for processing programs of the controller 6, control variables, processing coefficients, and the like, and as work areas for various calculations.
The controller 6 performs a process of selectively switching the DSP 10 and the DSP 20 with respect to the execution of the signal processing on the captured video signal.
In addition, the DSP 10 and the DSP 20 perform signal processing execution control and processing such as setting parameters used in the processing.
[0022]
Further, the controller 6 has a control function for automatic exposure adjustment (AE). The controller 6 performs AE control based on the integrated luminance value OPD (D) from the optical detector 11 or the integrated luminance value OPD (N) from the optical detector 21. That is, the exposure adjustment processing is executed based on an error value obtained by an operation of comparing the supplied OPD value with a reference OPD value. As described above, three methods of aperture adjustment, shutter speed adjustment, and gain adjustment are used for exposure adjustment.
[0023]
The controller 6 outputs a shutter speed control signal Cs to the timing generator 13 when performing shutter speed adjustment for exposure adjustment. The shutter speed control signal Cs is a signal that specifies the exposure time supplied from the timing generator 13 to the CCD 3, and the controller 6 can variably instruct the shutter speed. For example, the shutter speed is variably instructed from 1/60 second to 1/1000 second.
The controller 6 outputs a gain control signal Cg to the CDS / AGC circuit 4 when performing gain adjustment for exposure adjustment. The gain control signal Cg is a signal for specifying a gain value in the AGC process, and the CDS / AGC circuit 4 performs a gain adjustment process on the basis of the gain specified by the gain control signal Cg. This allows the controller 6 to variably instruct the gain given to the captured video signal.
Further, the controller 6 outputs an iris control signal Ci to execute the aperture adjustment. The iris control signal Ci is subjected to required voltage adjustment by an EVR (electronic volume) 14 and supplied to the mechanical iris unit 2 as a drive control voltage VCNT. The iris control signal Ci is a signal for instructing the mechanical iris unit 2 to be driven in an open direction or a closed direction. Therefore, when the controller 6 outputs the value in the open direction as the iris control signal Ci, the mechanical iris unit 2 is driven in the open direction in which the aperture is opened, and the controller 6 outputs the value in the close direction as the iris control signal Ci. Accordingly, the mechanical iris unit 2 is driven in the closing direction in which the aperture is closed. Further, the controller 6 outputs the drive stop value as the iris control signal Ci, so that the mechanical iris unit 2 maintains the aperture state at that time.
[0024]
Here, the exposure control method by the controller 6 and the distribution of the

DSPs

10 and 20 will be described with reference to FIG.
The automatic exposure adjustment is to obtain an imaged video signal having a stable luminance level regardless of the luminance of the subject. For that purpose, the aperture, shutter speed, and gain are adjusted as described above.
FIG. 3 shows an example of the exposure adjustment operation in which the horizontal axis represents the subject brightness and the subject brightness is taken.
[0025]
For example, as shown in FIG. 3, the processes of the DSP 20 and the DSP 10 are separated at predetermined values C and D as the subject luminance level.
When the subject brightness level is in a range of brightness lower than the first predetermined value C, normal processing by the DSP 20 is performed as video signal processing. Then, the controller 6 performs AE processing (exposure adjustment) as a normal AE control area in the range of the subject brightness level in which the normal processing by the DSP 20 is performed.
In the normal AE control area, the controller 6 performs control based on the luminance integrated value OPD (N) from the optical detector 21. For example, when the subject luminance level is in the range of B to C, exposure control by aperture adjustment or shutter speed adjustment is performed. When the subject luminance level is in the range from A to B, exposure control by gain adjustment is performed. Further, when the subject luminance level is in the range of A or less, exposure control by shutter speed control (slow shutter) is performed. These exposure controls are executed so that the integrated luminance value OPD (N) reaches the convergence target value.
[0026]
When the subject brightness level is in a range higher than the second predetermined value D, WD processing by the DSP 10 is performed as video signal processing. Then, the controller 6 performs AE processing (exposure adjustment) as a WD-AE control area in the range of the subject luminance level in which the normal processing by the DSP 10 is performed.
In the WD-AE control region, the controller 6 performs control based on the luminance integrated value OPD (D) from the optical detector 11. For example, exposure control is performed by adjusting the aperture or the shutter speed. These exposure controls are executed so that the luminance integrated value OPD (D) reaches the convergence target value.
[0027]
In this example, the boundary AE control is performed particularly when the luminance level is between the first predetermined value C and the second predetermined value D, that is, in the boundary region between the normal AE control region and the WD-AE control region. .
The boundary AE control is executed to prevent the output video signal from being shocked when the video signal processing is switched between the DSP 10 and the DSP 20.
Hereinafter, the boundary AE control will be described.
[0028]
As described above, this embodiment has a function of performing two different signal processes. A wide dynamic range imaging function (WD processing) by the DSP 10 and a normal imaging function (normal processing: imaging function at normal luminance to low illuminance) by the DSP 20 are switched according to subject conditions (dynamic range, luminance).
The functions of the DSP 10 and the DSP 20 have completely different algorithms for video signal processing and automatic exposure control (AE).
For this reason, there is a difference between the output video due to the signal processing and the output video due to the AE processing.
[0029]
First, in the video signal processing, in the WD processing of the DSP 10, as described with reference to FIG. 2, in order to realize wide dynamic range signal processing, the first and second exposure states, that is, long exposure and short exposure This is an algorithm that performs the two imagings described above, synthesizes appropriate exposure locations of the obtained two images, and creates one wide dynamic imaging image.
On the other hand, the normal processing of the DSP 20 is a conventional signal processing in which one image is formed by one imaging without performing the special signal processing as described above.
[0030]
Depending on such a difference in signal processing, the DSP 10 performing the WD processing outputs a video signal with a compressed dynamic range, while the DSP 20 performing the normal processing outputs a video signal without particularly compressing the dynamic range. . In the case of the WD process, a synthesized captured image having a wide dynamic range is generated. In this case, it is necessary to match the dynamic range of an output device such as a video monitor device. Therefore, after performing the synthesizing process of FIG. This is because a dynamic range compression process is performed.
Since the WD process performs the dynamic range compression process and the normal process does not perform the dynamic range compression process, a difference occurs between the output video of the DSP 10 and the output video of the DSP 20 even if the same subject is imaged.
[0031]
In the AE processing, when the normal processing is performed by the DSP 20, mainly the entire screen is metered and the exposure is controlled to be appropriate. A process having an exposure condition brighter than the proper exposure targeted (WD-AE process (i)) and a process having a darker exposure condition than the proper exposure targeting a high-brightness subject in short-time exposure (WD-AE process) (Ii)). Even in such a difference in exposure control, a difference occurs between the output image of the DSP 10 and the output image of the DSP 20.
[0032]
The boundary AE control of this example absorbs such a difference in signal processing and a difference in output video caused by the difference in AE control.
The boundary AE control functions as a part of the automatic exposure control, and exists in a form connecting the normal AE control area and the WD-AE control area shown in FIG.
[0033]
First, in order to eliminate a difference in output video due to a difference in signal processing, in the boundary AE control, a mix start (MIX START) and an adjustment gain (ADJUST GAIN) are changed as parameters in the WD processing of the DSP 10. I do.
That is, in this example, the mix start and the adjustment gain are set in the AE control, and the parameters are changed in the boundary AE control.
[0034]
The mix start parameter is a parameter that determines which signal level should be used when combining two images, a long exposure image and a short exposure image, in the DSP 10.
For example, in FIG. 4, the horizontal axis indicates the luminance level of the pixel of the input video signal, and indicates the mix start parameter set as a certain value as the pixel luminance. The vertical axis in FIG. 4 is the gain given to the long-time exposure image and the short-time exposure image, the solid line shows the gain of the short-time exposure image, and the broken line shows the gain of the long-time exposure image.
[0035]
For example, when mix start = Y1 is set as shown in FIG. 4A, the gain of the long-time exposure image is set to 1 and the gain of the short-time exposure image is set to 0 for a pixel whose luminance is lower than the luminance level Y1, As for the pixel, the pixel on the long-time exposure image side is used in the synthesis processing. On the other hand, for a pixel whose luminance is higher than the luminance level Y2, the gain of the long-time exposure image is set to 0, and the gain of the short-time exposure image is set to 1. For that pixel, the pixel on the short-time exposure image side is used in the synthesis processing. . For the pixels in the range of the luminance levels Y1 to Y2, the long-time exposure image and the short-time exposure image are synthesized at the gain ratio shown in the drawing.
[0036]
In the WD-AE control area where the exposure adjustment at the time of the WD process is performed, the value of the mix start parameter is set to a certain appropriate value for the above-described WD process.
Here, since the mix start parameter is a parameter for specifying a pixel luminance level that is a reference for synthesis in a process of synthesizing two images on the long exposure image side and the short exposure image side, the mix start parameter is changed. According to this, the ratio of combining the long-time exposure image and the short-time exposure image in the composite image, that is, the composite ratio is changed.
For example, when the value of the mix start parameter is increased, the result becomes as shown in FIG. FIG. 4B shows a case where mix start = Y3. In this case, the pixels on the long-time exposure image side and the pixels on the short-time exposure image side are mixed in the pixels whose luminance ranges from Y3 to Y4.
In this case, the range of the pixel luminance using only the pixels on the long-exposure image side is expanded to Y3, that is, the proportion of the long-exposure image component in the composite video increases.
It can be understood that when the mix start parameter is set to the maximum value, the composite image formed by the DSP 10 uses the long-time exposure image at 100%.
[0037]
In the WD processing of the DSP 10, the DSP 10 has a function of compressing the dynamic range of the composite video signal to match the dynamic range of the output device (TV monitor or the like) as described above.
The parameter of the dynamic range compression processing is an adjustment gain.
[0038]
In the WD-AE control region, a parameter as an adjustment gain is set to a certain appropriate value in order to perform wide dynamic range image processing as WD processing of the DSP 10.
As the adjustment gain is increased, the compression ratio of the dynamic range for the synthesized video signal is reduced, and when the adjustment gain is set to the maximum value, the compression ratio is 1 (= not compressed).
[0039]
Here, the boundary AE control area of the present example is shown in FIG.
This schematically illustrates that the boundary AE control is performed between the WD-AE control area and the normal AE control area as the AE control. In other words, in the AE control, the boundary AE control is executed when transitioning between the WD-AE control and the normal AE control (when the processing of the DSP 10 and the processing of the DSP 20 are switched).
Note that the range of the boundary AE control area is represented by a Scale value, and the Scale value is a value corresponding to a system gain of the imaging device. For the sake of explanation, the system gain is a general term for a gain that determines the luminance of a video signal in an imaging device. Factors that change the system gain include an iris (aperture), an electronic shutter, an AGC gain, and the like. The mix start and the adjust gain can control the brightness of the output video signal, and thus are the control targets that can change the system gain. Become a part.
[0040]
As shown in FIG. 5, a WD parameter control area and an OPDMIX area are set as the boundary AE control area.
The WD parameter control area is a control area for eliminating a difference between output images caused by the above-described signal processing of the DSP 10 and the DSP 20. In the WD parameter control area, the mix start and the adjustment gain are performed as shown in the drawing. Is changed.
[0041]
This processing will be described in the case of transition from the WD-AE control area to the normal AE control area.
Each parameter as the mix start and the adjustment gain is set to an appropriate value in the WD-AE control region as described above.
In the control of the WD parameter control area, the mix start and the adjustment gain set to a certain appropriate value in the WD-AE control area are gradually brought close to the maximum value, and the output of the long exposure image 100% and the compression ratio = 1 is output. Control to obtain an image. After that, the processing shifts to the normal AE control area.
In this way, there is no difference between the signal-processed image by the DSP 20 immediately after the transition to the normal AE control area and the signal-processed image of the DSP 10 immediately before the transition to the normal AE control area, as long as the exposure condition exists.
[0042]
Up to this point, the technique is to prevent a sudden difference in the output video signal due to a difference in signal processing between the DSPs 10 and 20.
In this example, further, the occurrence of a difference in the output video signal due to the difference in the AE control processing described above is prevented as follows.
[0043]
At the time of WD-AE control, the controller 6 performs AE control using the integrated luminance value OPD (D) measured by the optical detector 11.
On the other hand, during normal AE control, the controller 6 performs AE control using the luminance integrated value OPD (N) measured by the optical detector 21.
[0044]
Further, the optical detector 11 used in the WD-AE control is a photometry for the WD-AE process (i), which is a process having an exposure condition brighter than an appropriate exposure for a low-luminance subject in long-time exposure imaging as described above. It has a function and a photometric function for a WD-AE process (ii), which is a process having an exposure condition darker than an appropriate exposure targeting a high-brightness subject in a short-time exposure.
[0045]
Here, when the transition from the WD-AE control area to the normal AE control area is considered, the photometric processing is changed from the optical detector 11 to the optical detector 21.
At this time, since each exposure control target is a low-luminance subject in the WD-AE process (i) and the normal AE control is mainly the entire screen, the convergence condition of the AE control (convergence is convergence to the optimal exposure) Are different, resulting in a difference in the output video.
Therefore, in this example, an area called an OPD MIX area is provided in the boundary AE control area in FIG. 5 described above, and photometry in this OPDMIX area is performed using two OPD values (OPD (D) and OPD (N) of the optical detectors 11 and 21. )) Is used.
[0046]
The composite value in this case is
OPD combined value = (OPD (D) × k) + (OPD (N) × (1-k)) (Equation 1)
Where 0 ≦ k ≦ 1
And
The value of the coefficient k is changed in the OPDMIX region as shown in FIG.
As a result, since k = 1 immediately after the transition from the WD-AE control area to the boundary AE control area, AE control is performed using 100% of the OPD (D) value from the optical detector 11.
In the OPDMIX area, the value of the coefficient k becomes smaller and the mixing ratio of the OPD (N) values from the optical detector 21 becomes larger as the position shifts to the normal AE control area. Immediately before the transition to the normal AE control area, the AE control is performed using the OPD (N) value of 100%.
[0047]
When the difference between the convergence targets of the WD-AE control and the normal AE control can be described as the position where the AE control converges, that is, the difference between the appropriate exposure values (convergence target values), the convergence target value of the boundary AE control region is as follows. You can ask for it.
Assuming that the convergence target value of the WD-AE process (i) is Ti and the convergence target value of the normal AE process is TN,

Where 0 ≦ k ≦ 1
It is.
As a result, immediately after the transition from the WD-AE control area to the boundary AE control area, the AE processing is performed using the convergence target value Ti of the WD-AE processing (i) at 100%. Immediately before the transition to the AE control region, the AE processing is performed using the convergence target value TN of 100%.
[0048]
By gradually changing the OPD value and the convergence target value used for the AE control in the boundary AE control region, when the WD-AE control is switched to the normal AE control, the output image generated due to the difference between the AE control and the AE control is changed. Eliminate sudden changes.
[0049]
In this example, the parameters (mix start, adjust gain) in the WD parameter control area as described above are controlled in the boundary AE control area, and the OPD value and the convergence target value are controlled in the OPDMIX area. This is to prevent a shock occurring in the image.
Hereinafter, a specific processing example in the boundary AE control area will be described.
[0050]
As shown in FIG. 5, the entire boundary AE control area is represented by a value called Scale.
For the sake of explanation, suppose that the boundary with the WD-AE control area is Scale = 0 and the boundary with the normal AE control area is Scale = 200 as the boundary AE control area. In the boundary AE control area, the boundary between the WD parameter control area and the OPDMIX area is set to Scale = 100.
[0051]
Here, the current control point is set to now (now = 0 to 200). The current control point corresponds to the current system gain of the imaging device. That is, it can also be referred to as the luminance level in the output video.
[0052]
In this case, the value of k in Equations 1 and 2 can be expressed as k = (100−now) / 100. (However, (0 ≦ k ≦ 1))
Here, the calculation results of Expressions 1 and 2 are compared.
If the luminance integration value (OPD composite value) calculated by Expression 1 is larger than the convergence target value calculated by Expression 2, it can be determined that the subject is bright. ) Lower system gain.
Conversely, if the luminance integration value (OPD composite value) calculated by Expression 1 is smaller than the convergence target value calculated by Expression 2, it can be determined that the subject is dark, and thus the value of now is increased (ie, Increase the system gain (by increasing the Scale value). AE control is performed by these.
[0053]
Up to this point, the calculation of the convergence position is performed, but the parameters of the mix start and the adjustment gain are controlled using the Scale value that has been increased or decreased in this way.
The mix start and the adjustment gain are calculated as follows.
MIX START = MS maximum value × L + MS proper value × (1−L) (formula 3)
ADJUST GAIN = AG maximum value × L + AG proper value × (1−L) (Equation 4)
[0054]
Note that the MS maximum value is a maximum value that the mix start parameter can take, and the MS appropriate value is a mix start value set to an appropriate value (less than the maximum value) in the WD-AE control region.
The AG maximum value is the maximum value that the adjustment gain parameter can take, and the AG appropriate value is the adjustment gain value set to an appropriate value (less than the maximum value) in the WD-AE control region.
L is a value represented by L = (Scale-100) / 100 as shown in FIG. 5 (where 0 ≦ L ≦ 1).
[0055]
As described above, the luminance integrated value and the convergence target value are calculated by the equations (1) and (2) according to the coefficient k defined from the current control point now, so that in the OPDMIX region according to the current control point. Of the AE control, that is, an operation for smoothly continuing the WD-AE control and the normal AE control.
Further, the mix start parameter and the adjustment gain are changed as shown in FIG. 5 according to the Scale value. That is, in the WD parameter control area, the value is changed to a larger value as the Scale value becomes closer to the normal AE control area.
[0056]
If the compression ratio is lowered by increasing the adjustment gain, the luminance of the output video from the DSP 1 detected by the optical detector 21 is increased as a whole. For this reason, a motion equivalent to an increase in the system gain is performed, and feedback in the WD parameter control area is established as AE processing.
On the other hand, the OPDMIX region has a function equivalent to a dead zone because the system gain does not change only when the OPD composite value serving as the internal AE evaluation value changes. As a result, the boundary AE control region has a hysteresis characteristic, and oscillation is difficult.
[0057]
FIG. 6 is a flowchart showing the above-described processing of the boundary AE control area.
The process of FIG. 6 is performed each time the integrated luminance value is input to the controller 6.
In step F101, the OPD composite value is calculated by the above equation (1).
In step F102, a convergence target value is calculated by the above equation (2).
Here, if Expression 1> Expression 2, that is, OPD composite value> Convergence target value, the process proceeds from Step F103 to F104, and the Scale value is decremented by one.
On the other hand, if Expression 1 <Expression 2, that is, if the OPD combined value <the convergence target value, the process proceeds from Step F105 to F106 to increase the Scale value by one.
[0058]
A step F107 checks whether or not the Scale value increased or decreased as described above exceeds 200. The Scale value = 200 is a boundary with the normal AE control area. If the Scale value exceeds 200, the process proceeds from step F107 to F108 to shift to the normal AE control.
A step F109 checks whether or not the Scale value thus increased or decreased has become smaller than 0. The Scale value = 0 is a boundary with the WD-AE control area. If the Scale value is smaller than 0, the process proceeds from step F109 to F110 and shifts to WD-AE control.
[0059]
If the Scale value is in the range of 0 to 200, that is, within the boundary AE control area, the process proceeds to step F111. Then, coefficients k and L are obtained from the Scale value at that time. The coefficients k and L are set for the Scale value as shown in FIG. That is, it is a value uniquely obtained from the Scale value.
In step F112, using the values of the coefficients k and L, the values as the mix start and the adjustment gain are obtained by the above equations 3 and 4. Then, the determined mix start and adjustment gain are set in the DSP 10.
[0060]
By performing the processing as shown in FIG. 6 in the boundary AE control area, no shock is generated in the output image in the transition period between the WD-AE control area and the normal AE control area as described above. Will be. Thus, two different signal processing methods can be smoothly continued.
[0061]
【The invention's effect】
As can be understood from the above description, in the present invention, as the boundary exposure control, a process of changing the synthesis ratio of the synthesis process in the second signal processing unit, a process of changing the dynamic range compression ratio of the synthesized image, and a process of changing the luminance The process of changing the mixture ratio of information is performed in a manner that the exposure control when the first signal processing unit functions and the exposure control when the second signal processing unit functions are connected. That is, the boundary exposure control is performed during a transition period in which the operation of the first signal processing unit and the operation of the second signal processing unit are switched. The first signal processing means and the second signal processing means have a difference in the processing algorithm and the exposure control, and the difference in the output video (the difference in luminance and color) is large. Is switched, the first signal processing means and the second signal processing means are switched. This has the effect of preventing the occurrence of a shock on the output video at the time of switching the processing.
By avoiding a shock on the image at the time of switching the processing, a high-quality captured image can be obtained by effectively utilizing the functions of the two signal processing means.
[0062]
Further, as the change of the combining ratio of the second signal processing means, for example, a parameter (mix start) for specifying the ratio of the captured video signal in the high exposure state and the captured video signal in the low exposure state in the combining processing is changed, or The compression ratio of the dynamic range compression process on the video signal obtained by combining the captured video signal in the exposed state and the captured video signal in the low exposure state is changed by, for example, a parameter (adjust gain). Further, as a process of acquiring the luminance information, the luminance information OPD (N) from the luminance information detection unit in the first signal processing unit and the luminance information OPD (D) from the luminance information detection unit in the second signal processing unit are mixed. Change the ratio. By these processes, the above-described shock is effectively eliminated, and the switching between the first and second signal processing units is performed smoothly.
[Brief description of the drawings]
FIG. 1 is a block diagram of a main part of an imaging device according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram of a wide dynamic range process according to the embodiment;
FIG. 3 is an explanatory diagram of an exposure control area according to the embodiment.
FIG. 4 is an explanatory diagram of a mix start in wide dynamic range processing according to the embodiment;
FIG. 5 is an explanatory diagram of boundary AE control according to the embodiment;
FIG. 6 is a flowchart of boundary AE control according to the embodiment.
[Explanation of symbols]
Reference Signs List 1 imaging lens, 2 mechanical iris unit, 3 CCD, 4 CDS / AGC circuit, 5 A / D converter, 6 controller, 10 WD processing DSP, 11, 21 optical detector, 20 normal processing DSP

Claims

被写体から得られた光を電気信号である撮像映像信号に変換する撮像手段と、
被写体輝度が第１の所定値より低い低輝度領域にあるときに、上記撮像映像信号に対して通常信号処理を行って映像信号を出力する第１の信号処理手段と、
被写体輝度が上記第１の所定値より大きな第２の所定値より高い高輝度領域にあるときに、第１の露出状態において得られた撮像映像信号と第２の露出状態において得られた撮像映像信号との合成処理を行って映像信号を出力する第２の信号処理手段と、
撮像映像信号の輝度情報に応じて、上記第１の信号処理手段の機能時には適正露出に調整する露出制御を行い、上記第２の信号処理手段の機能時には上記第１の露出状態を得る露出調整と上記第２の露出状態を得る露出調整を行うとともに、被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記第２の信号処理手段による上記合成処理における合成比率を変化させる境界露出制御を行う制御手段と、
を備えたことを特徴とする撮像装置。Imaging means for converting light obtained from a subject into an image signal, which is an electrical signal;
First signal processing means for performing normal signal processing on the captured video signal and outputting a video signal when the subject luminance is in a low luminance area lower than a first predetermined value;
When the subject brightness is higher than the second predetermined value and higher than the second predetermined value, the captured video signal obtained in the first exposure state and the captured video signal obtained in the second exposure state Second signal processing means for performing a synthesizing process with the signal and outputting a video signal;
Exposure control is performed according to the luminance information of the imaged video signal to adjust the exposure to a proper level when the first signal processing means is functioning, and to obtain the first exposure state when the second signal processing means is functioning. And an exposure adjustment for obtaining the second exposure state, and when the subject luminance is between the first predetermined value and the second predetermined value, the synthesizing process by the second signal processing means is performed. Control means for performing boundary exposure control to change the synthesis ratio in
An imaging device comprising:

上記制御手段は、上記境界露出制御において、上記第１の露出状態において得られた撮像映像信号と上記第２の露出状態において得られた撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を変化させることを特徴とする請求項１に記載の撮像装置。In the boundary exposure control, the control unit may perform a dynamic range compression process on a video signal obtained by combining the captured video signal obtained in the first exposure state and the captured video signal obtained in the second exposure state. The imaging apparatus according to claim 1, wherein the rate is changed.

上記第１の信号処理手段と上記第２の信号処理手段は、それぞれ上記被写体輝度を検出する輝度情報検出部を含み、
上記制御手段は、上記境界露出制御において、上記第１の信号処理手段における輝度情報検出部からの輝度情報と、上記第２の信号処理手段における輝度情報検出部からの輝度情報の混合比を変化させることを特徴とする請求項１に記載の撮像装置。The first signal processing unit and the second signal processing unit each include a luminance information detecting unit that detects the subject luminance,
The controller changes a mixing ratio of the luminance information from the luminance information detector in the first signal processor and the luminance information from the luminance information detector in the second signal processor in the boundary exposure control. The imaging device according to claim 1, wherein:

被写体から得られた光を電気信号である撮像映像信号に変換し、
被写体輝度が第１の所定値より低い低輝度領域にあるときには、上記撮像映像信号に対して通常信号処理を行って映像信号を生成し、
被写体輝度が上記第１の所定値より大きな第２の所定値より高い高輝度領域にあるときには、第１の露出状態において得られた撮像映像信号と第２の露出状態において得られた撮像映像信号とを合成して映像信号を生成し、
被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記合成における合成比率を変化させつつ映像信号を生成する、
ことを特徴とする撮像方法。The light obtained from the subject is converted into an image signal, which is an electric signal,
When the subject brightness is in a low brightness area lower than the first predetermined value, a normal signal process is performed on the captured video signal to generate a video signal,
When the subject brightness is in a high brightness area higher than the second predetermined value, which is higher than the first predetermined value, the imaging video signal obtained in the first exposure state and the imaging video signal obtained in the second exposure state And generate a video signal by combining
When the subject brightness is between the first predetermined value and the second predetermined value, a video signal is generated while changing a synthesis ratio in the synthesis.
An imaging method characterized in that:

上記被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、さらに、上記第１の露出状態において得られた撮像映像信号と上記第２の露出状態において得られた撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を変化させることを特徴とする請求項４に記載の撮像方法。When the subject luminance is between the first predetermined value and the second predetermined value, the imaged video signal obtained in the first exposure state and the image signal obtained in the second exposure state are further obtained. The imaging method according to claim 4, wherein a compression ratio of a dynamic range compression process for a video signal obtained by combining the captured video signals is changed.

上記被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、
上記通常信号処理を実行する回路により検出された輝度情報と、上記合成を実行する回路により検出された輝度情報とを、所定の混合比で混合して輝度情報及び露出制御の収束目標値を算出し、
上記輝度情報と上記収束目標値との比較結果に基づいて、上記合成比率及び上記圧縮率を変化させることを特徴とする請求項５に記載の撮像方法。When the subject brightness is between the first predetermined value and the second predetermined value,
The luminance information detected by the circuit for executing the normal signal processing and the luminance information detected by the circuit for executing the synthesis are mixed at a predetermined mixture ratio to calculate the luminance information and the convergence target value of the exposure control. And
The imaging method according to claim 5, wherein the combination ratio and the compression ratio are changed based on a comparison result between the luminance information and the convergence target value.