JP4693602B2 - 撮像装置、及び画像用信号処理方法 - Google Patents

Description

本発明は、ダイナミックレンジを拡大した、撮像装置、及び画像用信号処理方法に関する。

従来、ＣＣＤやＣＭＯＳセンサを用いた撮像装置によって明るい被写体から暗い被写体に至るまで撮像しようとすると、撮像装置のダイナミックレンジが狭いため、明るい部分が飽和して飛んでしまったり、或いは暗い部分のＳ／Ｎが悪くノイズにうずもれてしまって見えなくなる等の欠点がある。

そこで、上記欠点を解消するために、高速シャッタ画像と低速シャッタ画像の２枚の画像を同じ撮像装置から取り出し、これらを合成することにより、ダイナミックレンジを広げて明るい部分から暗い部分に至るまで、鮮明に撮影できる方法が提案され、実用化されている。

非特許文献１では、単一の撮像デバイスを用いて高速シャッタ画像（低感度画像）と低速シャッタ（高感度画像）をフレームごとに時分割で得るようにして、これら画像を合成することによって、ダイナミックレンジの広いカメラを構成した結果が報告されている。

非特許文献２では、これらの高速シャッタ画像と低速シャッタ画像を効率よく取得可能な適応型広ダイナミックレンジ化の技術が述べられている。即ち、被写体の１画面の中から、明るい部分を選択して取り出し、この明るい部分の輝度情報を検出して、その輝度の大きさによって高速画像用電子シャッタ速度を決定する。一方、被写体が含まれる１画面の中から、暗い部分を選択して取り出し、この暗い部分の輝度情報を検出してその大きさによって低速画像用電子シャッタ速度を決定するものである。

この具体的方法は、被写体が含まれる１画面の中をたとえば５×５の２５分割してこの各領域内で輝度情報を検出して明るい方から暗い方に並べて順番をつける。そこで、明るい方から、例えば６個の領域を選択して、この領域内の輝度情報を抽出して、高速画像用電子シャッタ速度を決定する。一方、暗い方から、例えば５個の領域を選択して、この領域内の輝度情報を抽出して、低速画像用電子シャッタ速度を決定する。

このようにして、被写体のおかれた状況が変化するに伴い、高速画像用、低速画像用それぞれの電子シャッタ時間を任意に設定することができる。これは、適応型制御と呼ばれており、特許文献１にはこれらの詳細な実施例が紹介されている。

一方、撮像デバイスにおいても広ダイナミックレンジ化の技術が進展しており、例えば、非特許文献３に報告されている。これはリセットトランジスタのオーバーフローゲート電圧を１フレーム期間内に変化させることにより、ポテンシャルバリアの高さを制御して、余剰電荷をオーバーフロードレインに捨てることでダイナミックレンジを拡大しようとするものである。
杉ほか：適応型広ダイナミックレンジカメラ、２００１年映像情報メディア学会年次大会、６．１，５５−５６ｐｐ 佐藤ほか：電子シャッタによる広ダイナミックレンジカラーカメラ、１９９５年テレビジョン学会年次大会、４．３，６３−６４ｐｐ S.Decker:A 256 × 256 CMOS Imaging Array with Wide Dynamic Range Pixels and Column-Parallel Digital Output, IEEE Journal of Solid-State Circuits, Vol.33, No.12 Dec. 1998. 特開２００３−２５００９４号公報

しかしながら、従来技術においては高速シャッタ、低速シャッタを理想的な値に瞬時に設定することが極めて難しく、このため、理想的な高速シャッタ画像、低速シャッタ画像を得ることが難しいという欠点がある。また、画像合成による撮像装置を用いると、被写体の中に移動する物体が含まれる場合、その部分が二重像になる、輪郭がぼける、或いは動きが不自然になるなどの問題がある。

本発明は、このような問題を鑑みてなされたものであって、広ダイナミックレンジを有するとともに、撮像画像に移動物体が含まれる場合であっても、二重像になったり、動きが不自然となったりすることのない撮像装置、及び画像用信号処理方法を提供することを目的とする。

本発明に係る撮像装置は、第１の露光条件により撮像した第１の映像信号と、第２の露光条件により撮像した第２の映像信号とを得る撮像装置において、前記第１の映像信号及び前記第２の映像信号の各々の輝度を検出する輝度検出部と、各々の輝度に基づき前記第１の露光条件及び前記第２の露光条件を独立に設定する露光条件設定部と、前記第１の露光条件及び前記第２の露光条件を比較する比較部と、前記比較部により、前記第１の露光条件と前記第２の露光条件との差が所定の第１閾値以下であると判断された場合、前記第１の映像信号又は前記第２の映像信号をそのまま出力し、前記第１の露光条件と前記第２の露光条件との差が前記所定の第１閾値より大であると判断された場合、前記第１の映像信号と前記第２の映像信号とを合成し第３の映像信号として出力する画像合成部とを備えることを特徴とする。

また、本発明に係る画像用信号処理方法は、第１の露光条件及び第２の露光条件によりそれぞれ第１の映像信号及び第２の映像信号を撮像する工程と、前記第１の映像信号及び前記第２の映像信号の輝度を検出する工程と、前記輝度に基づき前記第１の露光条件及び前記第２の露光条件を設定する工程と、前記第１の露光条件と前記第２の露光条件とを比較する工程と、前記比較によって前記第１の露光条件と前記第２の露光条件との差が所定の第１閾値以下であれば、前記第１の露光条件と前記第２の露光条件とを同一露光条件とするように前記第１の露光条件及び前記第２の露光条件を補正し、前記補正された第１の露光条件と前記補正された第２の露光条件とにより撮像して出力し、前記第１の露光条件と前記第２の露光条件との差が前記所定の第１閾値より大であれば、それぞれ異なる露光条件のまま補正をすることなく、前記第１の露光条件と前記第２の露光条件とにより撮像し、該撮像された画像を画像合成して出力する工程とを有することを特徴とする。

また、本発明に係る撮像装置は、第１の露光条件により撮像した第１の画像と、第２の露光条件により撮像した第２の画像とを得る撮像デバイスと、前記撮像デバイスからの画像を出力する画像合成部とを備え、前記撮像デバイスは、前記第１の画像中の少なくとも一部領域の輝度及び前記第２の画像中の少なくとも一部領域の輝度をそれぞれ検出する輝度検出部と、各々の輝度に基づき前記第１の露光条件及び前記第２の露光条件を独立に設定もしくは補正する露光条件設定部と、前記露光条件の差を示す差信号を求める信号処理部と、前記第１の画像および前記第２の画像とともに、前記差信号を出力するための出力部とを備え、前記画像合成部は、前記差信号が所定の閾値以下の場合には、前記第１の画像又は前記第２の画像のいずれか一方を出力し、前記差信号が前記閾値より大である場合には、前記第１の画像と前記第２の画像とを合成した合成画像を出力することを特徴とする。

本発明によれば、広ダイナミックレンジを有するとともに、撮像画像に移動物体が含まれる場合であっても、二重像になったり、動きが不自然となったりすることのない撮像装置、及び画像用信号処理方法を提供することが可能となる。

以下、図面を参照して、本発明に係る撮像装置の実施形態について説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置の機能ブロック図である。図１に示すように撮像装置１００は、主として撮像部１１０と、アナログ信号からデジタル変換への処理を行うアナログ信号処理部１２０と、得られたデジタル信号を信号処理するデジタル信号処理部１３０と、その信号処理されたデジタル信号に基づき撮像装置１００全体の制御を実行する制御部１４０と、画像を外部へ出力する画信信号出力端子１５０とから構成されている。

撮像装置１００は被写体像を撮像部１１０により撮像し、画像信号（アナログ信号）を生成する。生成されたアナログ画像信号は、アナログ信号処理部１２０においてアナログ信号からデジタル信号に変換（以下、Ａ／Ｄ変換とする）された後、デジタル画像信号として出力される。このデジタル画像信号は、２つに分岐され、一方がデジタル信号処理部１３０に入力され、信号処理される。信号処理後のデジタル画像信号はデジタル信号からアナログ信号に変換（以下、Ｄ／Ａ変換とする）され、画像信号出力端子１５０から出力される。

また、アナログ信号処理部１２０から出力された画像信号の他方は、制御部１４０に入力される。制御部１４０は制御信号を生成し、撮像部１１０、アナログ信号処理部１２０およびデジタル信号処理部１３０の制御を行う。制御部１４０のこれらの制御により、撮像装置１００は広範囲な輝度差を有する被写体であっても広い輝度領域（広ダイナミックレンジ）を表現可能とした撮像が可能となる。

撮像部１１０は被写体からの光を集光する撮像レンズ１１１と、撮像素子、例えばＣＣＤ１１２とを備える。

撮像部１１０においては、被写体からの光を撮像レンズ１１１により集光し、ＣＣＤ１１２の受光面に結像する。ＣＣＤ１１２の露光条件は、電子シャッタ速度を調節することにより決定される。ＣＣＤ１１２は光電変換を行い、画像光量に応じた量の電荷をＣＣＤ１１２に蓄積する。この蓄積された蓄積電荷の電荷量に応じた画像信号がＣＣＤ１１２から出力される。

被写体の撮像時において、撮像部１１０に備えられるＣＣＤ１１２の電子シャッタは、異なる２つのシャッタ速度により撮像を交互に繰り返す。すなわち、低速シャッタ速度と、高速シャッタ速度とで撮像される。ＣＣＤ１１２から交互に出力される画像信号は、撮像部１１０から出力され、アナログ信号処理部１２０に入力される。

アナログ信号処理部１２０は、交互に入力された低速シャッタ速度と、高速シャッタ速度とによって撮像されたアナログ画像信号のゲインの設定を行うＡＧＣ回路１２１と、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換回路１２２とを備える。

アナログ信号処理部１２０に入力されたアナログ画像信号は、ＡＧＣ回路１２１と、Ａ／Ｄ変換回路１２２とに順次伝送され、信号処理される。制御部１４０からの制御信号により、ＡＧＣ回路１２１はアナログ画像信号毎にゲインを可変させることができる。

Ａ／Ｄ変換回路１２１はアナログ画像信号をデジタル画像信号に変換する。変換後の画像信号、すなわち、低速シャッタ速度と、高速シャッタ速度とによって撮像されたデジタル画像信号は、アナログ信号処理部１２０から交互に出力され、デジタル信号処理部１３０に交互に入力される。

デジタル信号処理部１３０は、画像信号処理実行部１３１と、加算回路１３２と、合成されたデジタル画像信号からアナログ画像信号への変換を行うＤ／Ａ変換回路１３３とを備える。

画像信号処理実行部１３１は、低速シャッタで撮像されたデジタル画像信号を信号処理する低速シャッタ用信号処理部１３１ａと、高速シャッタ速度で撮像されたデジタル画像信号を処理する高速シャッタ用信号処理部１３１ｂとを備える。そして、低速シャッタ用信号処理部１３１ａおよび高速シャッタ用信号処理部１３１ｂは、各々、メモリ回路と、切換回路と、特性変換回路とを有する。すなわち、低速シャッタ用信号処理部１３１ａは、低速シャッタ用メモリ回路１３１ａ_１と、低速シャッタ用切換回路１３１ａ_２と、低速シャッタ用特性変換回路１３１ａ_３とを有し、一方、高速シャッタ用信号処理部１３１ｂは、高速シャッタ用メモリ回路１３１ｂ_１と、高速シャッタ用切換回路１３１ｂ_２と、高速シャッタ用特性変換回路１３１ｂ_３とを有する。

次に、画像信号処理実行部１３１で行われる画像信号処理について、図２及び図３を参照して説明する。

図２は、撮像装置１００の動作について説明した動作説明図である。

図２（Ａ）は、垂直同期信号であり、撮像装置１００は、この周期に同期して動作する。ＣＣＤ１１２で撮像し、画像信号を出力する期間（１垂直同期期間）は、Ａ０１が低速シャッタ側の画像信号出力期間（以下、低速シャッタ期間とする）、Ａ０２が高速シャッタ側の画像信号出力期間（以下、高速シャッタ期間とする）、Ａ０３が低速シャッタ期間、Ａ０４が高速シャッタ期間、Ａ０５が低速シャッタ期間である。

図２（Ｂ）にＣＣＤ１１２の電子シャッタ動作を示す。ＣＣＤ１１２の電子シャッタ動作は、ＣＣＤ１１２の電荷蓄積と読出し時間の関係で１垂直期間の遅れを生じる。従って、図２（Ａ）のような垂直同期信号に対して、電子シャッタ動作は、Ｂ０１が高速シャッタ動作期間、Ｂ０２が低速シャッタ動作期間となり、以下同様に高速シャッタ動作期間、低速シャッタ動作期間の繰り返しで、Ｂ０３、Ｂ０４、Ｂ０５の動作期間となる。

図２（Ｃ）にＡＧＣ回路１２１の動作を示す。ＡＧＣ回路１２１は、低速シャッタ動作期間と、高速シャッタ動作期間とで、独立で動作する。Ｃ０１が低速シャッタ用動作期間、Ｃ０２が高速シャッタ用動作期間となり、以下同様に繰り返し、Ｃ０３、Ｃ０４、Ｃ０５の動作期間となる。

図２（Ｄ）は、ＣＣＤ１１２から出力される画像信号で、Ｄ０１が低速シャッタ画像信号、Ｄ０２が高速シャッタ画像信号となり、以下同様な繰り返しで、Ｄ０３、Ｄ０４、Ｄ０５となる。

図２（Ｄ）のＣＣＤ１１２から出力される低速シャッタ画像信号および高速シャッタ画像信号の出力特性について、図３を用いて補足する。

図３は、ＣＣＤ１１２の撮像特性を示した説明図である。横軸は輝度（明るさ）、縦軸は映像出力、すなわち、低速シャッタと高速シャッタの入射光量に対する画像信号の出力レベルを示している。図３において、低速シャッタによる画像信号の出力特性は３ａであり、低速シャッタ出力の飽和点は３ｂである。一方、高速シャッタの画像出力特性は３ｃであり、高速シャッタ出力の飽和点は３ｄである。

図３を参照すれば、低速シャッタ画像信号は飽和に達する入射光量が小さく、飽和に達するのが早い。一方、高速シャッタ画像信号は飽和に達する入射光量が大きく、飽和に達するのが遅い。このことから、図２（Ｄ）の画像出力信号の特性において、Ｄ０１（低速シャッタ画像信号）では、１垂直同期期間内に飽和して、出力が頭打ちとなっている。一方、Ｄ０２（高速シャッタ画像信号）では、１垂直同期期間内に飽和がなく、緩やかに出力が増加している。

図２（Ｅ）は、図２（Ｄ）の信号入力による図１に示されるアナログ信号処理部１２０のＡ／Ｄ変換回路１２２からの出力である。即ち、図２（Ｅ）は、図２（Ｄ）のデジタル信号である。

図２（Ｅ）において、Ｅ０１が低速シャッタ画像信号、Ｅ０２が高速シャッタ画像信号で、以下、同様の繰り返しで、Ｅ０３、Ｅ０４、Ｅ０５と画像信号が出力される。図２（Ｅ）によれば、低速シャッタ画像信号および高速シャッタ画像信号は両者とも間欠信号である。図示のように、低速シャッタ画像信号はＥ０１、Ｅ０３およびＥ０５とで形成され、高速シャッタ画像信号はＥ０２およびＥ０４とで形成されている。

図１に示されるアナログ信号処理部１２０のＡ／Ｄ変換回路１２２から出力された低速シャッタ画像信号は、一方が、低速シャッタ用メモリ回路１３１ａ₁を経由して、低速シャッタ用切換回路１３１ａ_２に入力され、他方は、低速シャッタ用切換回路１３１a_２に直接入力される。低速シャッタ用切換回路１３１ａ_２は、画像信号を１垂直期間毎に低速シャッタ用メモリ回路１３１ａ_１側からの入力と、アナログ信号処理部１２０のＡ／Ｄ変換回路１２２側からの入力とを切り換えることで、間欠信号を連続信号とする。

図２（Ｆ）は、連続信号となった低速シャッタ画像信号を示す。尚、図２（Ｆ）において符号Ｍが付されている信号は、低速シャッタ用メモリ回路１３１ａ₁から入力された画像信号を示している。この図２（Ｆ）は、図２（Ｅ）において、間欠となっているＥ０２およびＥ０４の期間に低速シャッタ用メモリ回路１３１ａ₁側からの入力に切り換え、低速シャッタ用メモリ回路１３１ａ₁のメモリに蓄積された低速シャッタ画像信号を入力することで生成される。

一方、高速シャッタ画像信号については、図２（Ｇ）に示す。高速シャッタ画像信号においても連続信号とするプロセスは低速シャッタ画像信号の場合と同様である。したがって、高速シャッタ画像信号については、その説明を省略する。

図１に示される低速シャッタ用切換回路１３１ａ_２および高速シャッタ用切換回路１３１ｂ_２で連続信号となった低速シャッタ画像信号および高速シャッタ画像信号は、低速シャッタ用特性変換回路１３１ａ_３および高速シャッタ用特性変換回路１３１ｂ_３において、例えば、ガンマ特性を得る特性変換がなされる。特性変換後の低速シャッタ画像信号および高速シャッタ画像信号は、それぞれ、図２（Ｈ）および図２（Ｉ）に対応する。

図１に示される画像合成部としての加算回路１３２は、画像信号処理実行部１３１に備えられる低速シャッタ用特性変換回路１３１ａ_３および高速シャッタ用特性変換回路１３１ｂ_３において特性変換された低速シャッタ画像信号および高速シャッタ画像信号を、所定の条件の下加算し、１つの合成デジタル画像信号を得る。なお後述するように、この加算が行われるのは、低速シャッタ速度と光速シャッタ速度の差が所定の閾値より大となる場合である。また、画像合成は必ずしも必要なく、使い方によっては別々に出力することも可能である。

図２（Ｊ）および図２（Ｋ）は、特性変換後の低速シャッタ画像信号及び高速シャッタ画像信号を加算することを示す説明図である。図２（Ｋ）は、図２の（Ｊ）をアナログ的に示したものである。この図２（Ｋ）のＫ０１〜Ｋ０５の期間の各期間における、出力特性信号の詳細を示したものが図３の符号３ｅである。この画像信号の出力特性３ｅは、低速シャッタ画像信号特性３ａと、高速シャッタ画像信号特性３ｃとを合成し、それらの中間の信号特性を持つ。すなわち、画像の輝度出力が最適に調整されたものである。なお、この合成比率は、後述するマイクロコンピュータ回路１４２に含まれる合成比率制御信号生成部５２６において決定される。

図１に示されるＤ／Ａ変換回路１３３は、加算回路１３２において合成された画像信号のデジタル信号からアナログ信号への変換を行い、アナログ画像信号を出力する。Ｄ／Ａ変換回路１３３により出力されたアナログ画像信号は、画像信号出力端子１５０より撮像装置１００の出力として出力される。

制御部１４０は、画像信号情報から輝度を算出する画像信号情報取得部１４１と、マイクロコンピュータ回路（以下、マイコン回路とする）１４２と、ＣＣＤのシャッタ速度を制御及び駆動させる電子シャッタ回路１４３とを備える。

制御部１４０は、画像信号情報取得部１４１により低速シャッタ画像信号及び高速シャッタ画像信号から画像信号情報を取得し、取得した画像信号情報に基づき、撮像装置１００を制御する制御信号（低速／高速シャッタ速度制御信号）をマイコン回路１４２により生成する。マイコン回路１４２により生成された制御信号のうち、撮像部１１０を制御する制御信号は電子シャッタ回路１４３に入力され、撮像部１１０に備えられるＣＣＤ１１２の電子シャッタを制御する制御信号を出力する。

画像信号情報取得部１４１は、まず、画像信号情報を取得するために、撮像した１画面分の画像信号を分割する。画像信号情報取得部１４１は、分割した画像信号に対して、画像信号情報である輝度を積算する輝度積算値回路１４１ａと、輝度のピーク値を検出する輝度ピーク値検出回路１４１ｂと、撮像した１画面分の画像信号を分割するゲート波形発生回路１４１ｃとを備える。

画像信号情報取得部１４１は、まず、分割画像輝度積算値および分割画像輝度ピーク値を算出するために、撮像により得た１画面分の画像信号を分割する。

図４は１画面分の画像信号を分割し、画面分割した説明図である。図４においては、撮像した全体画面１１の１画面分の画像信号を、例えば、２５分割等、複数のエリアに分割し、２５個の分割画面１２の画像信号の集合とする。この画面分割は、画像信号情報取得部１４１に備えられるゲート波形発生回路１４１ｃで生成したゲート信号を用いて実行される。

ゲート波形発生回路１４１ｃは、水平同期パルス（以下、ＨＤパルスとする）、垂直同期パルス（以下、ＶＤパルスとする）、クロックパルス（以下、ＣＬＫパルスとする）を用いてゲート信号を生成する。このゲート信号は輝度を積算する輝度積算値回路１４１ａと、輝度のピーク値を検出する輝度ピーク値検出回路１４１ｂとに伝送され、撮像した全体画面１１の１画面分の画像信号を２５個の分割画面１２に分割する。

図５は、画像信号情報取得部１４１に備えられる輝度積算値回路１４１ａの機能ブロック図である。

図５に示される輝度積算値回路１４１ａは、分割画面１２の１画面分の画像信号毎に輝度積算値を算出する。輝度積算値回路１４１ａは、アナログ信号処理部１２０から出力された画像信号およびゲート波形発生回路１４１ｃで発生したゲート信号をゲート回路２０１に入力し、設定された分割画面１２の画面範囲の画像信号をゲートする。ゲートされた画像信号は、積算処理部２０２で輝度の積算が実行され、積算出力制御回路２０３で図１に示されるマイコン回路１４２からの出力制御信号により、輝度積算値が出力される。出力された輝度積算値はマイコン回路１４２に入力される。

積算処理部２０２で実行される輝度積算は、ゲートされた画像信号内の各画素に対して行われ、積算処理部２０２が備える積算回路２０２ａおよび１画素保持回路２０２ｂでなされる。積算回路２０２ａは入力された１画素分の画像信号の輝度値と既に積算処理が完了した画素分の画像信号の輝度値とを加算し、加算した輝度値を１画素保持回路２０２ｂに入力する。１画素保持回路２０２ｂは入力された輝度値を記憶し、記憶した輝度値を積算回路２０２ａにフィードバックし、積算回路２０２ａに入力された画像信号の輝度値との加算を繰り返し、ゲートされた画像信号の輝度の積算値を算出する。算出された輝度の積算値は、図１に示されるマイコン回路１４２からの出力制御信号により、積算出力制御回路２０３により１画素保持回路２０２ｂからの出力を受け付ける。受け付けられた輝度の積算値は、積算出力制御回路２０３から出力され、マイコン回路１４２に伝送される。

図６は、画像信号情報取得部１４１に備えられる輝度ピーク値検出回路１４１ｂの機能ブロック図である。

図６に示される輝度ピーク値検出回路１４１ｂは、分割画面１２の１画面分の画像信号毎の輝度値のピーク値を検出する。輝度ピーク値検出回路１４１ｂは、輝度積算値回路１４１ａと同様にして、アナログ信号処理部１２０から出力された画像信号およびゲート波形発生回路１４１ｃで発生したゲート信号を輝度ピーク値検出用ゲート回路３０１に入力し、設定された分割画面１２の画面範囲の画像信号をゲートする。輝度ピーク値検出用ゲート回路３０１はゲートした画像信号を１画素ずつ出力する。

輝度ピーク値検出回路１４１ｂは、ゲートした画像信号の輝度ピーク値を検出する。輝度ピーク値の検出は、連続する２画素分の輝度を加算してから行う。これは、ＣＣＤ１１２の光学色フィルタが補色モザイクの場合、信号の大きさが画素単位で変化するためである。２画素分の輝度を加算することにより、色フィルタの違いによる影響が無くなる。

２画素分の輝度を加算するには、入力された現信号と、輝度ピーク値検出用１画素保持回路３０２で１画素分遅らせた信号、すなわち、現信号に対して１画素前の信号とを輝度加算回路３０３において加算する。加算された２画素分の輝度値は１単位としてピーク値の検出処理がなされ、２画素保持回路３０４に入力される。２画素保持回路３０４は、２画素保持信号発生回路３０５から信号を受けて、２画素分の輝度値を１単位とした輝度値信号を生成する。

２画素保持回路３０４から出力された現信号を含む輝度値信号は、比較回路３０６に入力され、現信号に対して２画素前の信号を含む輝度値信号と比較される。比較回路３０６は、２つの輝度値信号を比較し、輝度値の大きい方を選択する選択信号を生成して、切換回路３０７に供給する。切換回路３０７は、比較回路３０６からの選択信号に基づき、現信号と、現信号に対して２画素前の信号を含む輝度値信号とのうち、輝度値の大きい一方を選択する。この選択された信号は、輝度値信号保持回路３０８に入力され保持される。

輝度値信号保持回路３０８で保持された輝度値信号は、比較回路３０６にフィードバックされ、２画素保持回路３０４からの輝度値信号との比較処理を繰り返す。この比較処理は、輝度ピーク値検出用ゲート回路３０１から出力される画像信号の出力が終了するまで行われる。比較処理完了後、ピーク値出力制御回路３０９は、図１に示されるマイコン回路１４２からの出力制御信号により、輝度値信号保持回路３０８の出力すなわち、輝度ピーク値信号の出力を受け付ける。出力を受け付けられた輝度ピーク値信号は、ピーク値出力制御回路３０９から出力され、マイコン回路１４２に伝送される。

図７は、画像信号情報取得部１４１に備えられるゲート波形発生回路１４１ｃの機能ブロック図である。

図７に示されるように、ゲート波形発生回路１４１ｃは、ゲートする範囲を設定する垂直方向設定部４０１および水平方向設定部４０２、並びにゲート信号を生成する合成回路４０３を備える。ゲート波形発生回路１４１ｃは、入力されたＶＤパルス，ＨＤパルス，ＣＬＫパルスの３つの信号からゲートするエリアを設定したゲート信号を生成し、出力する。

垂直方向のゲート範囲の設定は、垂直方向設定部４０１で行われる。垂直方向設定部４０１に入力されたＶＤパルスは、まず垂直同期リセット信号発生回路４０１ａに入力される。垂直同期リセット信号発生回路４０１ａはリセット信号を生成し、生成されたリセット信号は、垂直方向スタート位置設定回路４０１ｂに入力される。垂直方向スタート位置設定回路４０１ｂは、ＨＤパルスをカウントし、垂直方向のスタート点を決める。垂直方向のスタート点が決まれば、このスタート点より、垂直方向幅設定回路４０１ｃで、ＨＤパルスをカウントし、垂直方向の幅を設定することができる。垂直方向幅設定回路４０１ｃで設定された垂直方向の幅は、垂直幅信号として合成回路４０３に入力される。

一方、水平方向のゲート範囲の設定は、水平方向設定部４０２で行われる。水平方向設定部４０２に入力されたＨＤパルスは、まず水平同期リセット信号発生回路４０２ａに入力される。水平同期リセット信号発生回路４０２ａはリセット信号を生成し、生成されたリセット信号は、水平方向スタート位置設定回路４０２ｂに入力される。水平方向スタート位置設定回路４０２ｂは、ＣＬＫパルスをカウントし、水平方向のスタート点を決定する。水平方向のスタート点が決まれば、このスタート点より、水平方向幅設定回路４０２ｃで、ＣＬＫパルスをカウントし、水平方向の幅を決めることができる。水平方向幅設定回路４０２ｃで設定された水平方向の幅は、水平幅信号として出力され、合成回路４０３に入力される。

垂直方向幅設定回路４０１ｃ及び水平方向幅設定回路４０２ｃから得られた垂直幅信号及び水平幅信号は、合成回路４０３で合成される。この合成された信号がゲート信号となって、ゲート波形発生回路１４１ｃから出力される。

図８は、制御部１４０が備えるマイコン回路１４２の回路ブロック図である。

マイコン回路１４２は、主に、輝度積算値及び輝度ピーク値に基づき輝度平均値を算出する輝度平均値算出部５１０と、その輝度平均値に基づきシャッタ速度制御信号を出力する制御信号生成部５２０とから構成されている。

マイコン回路１４２には、画像信号情報として、画像信号情報取得部１４１が備える輝度積算値回路１４１ａおよび輝度ピーク値検出回路１４１ｂから輝度の積算値およびピーク値が入力される。入力された輝度の積算値およびピーク値は輝度平均値算出部５１０に入力され、輝度平均値が算出される。算出された輝度平均値は、制御信号生成部５２０に入力され、まず、電子シャッタ速度が計算される。次に、電子シャッタ速度の計算結果から適切な撮像画像が得られるように撮像装置１００の各部を制御する制御信号を生成する。

マイコン回路１４２が参照するデータを視覚的に表した例を図９に示す。この図９を用いて、マイコン回路１４２が備える輝度平均値算出部５１０の輝度平均値算出処理について説明する。

輝度平均値算出部５１０は、輝度積算値回路１４１ａから得られた低速シャッタ画像信号の輝度積算値（以下、低速輝度積算値とする）と、輝度ピーク値検出回路１４１ｂから得られた低速シャッタ画像信号の輝度ピーク値（以下、低速輝度ピーク値）とに基づいて、分割画面１２を輝度飽和しているエリア（以下、輝度飽和エリアとする）１３と、輝度飽和していないエリア（以下、輝度不飽和エリアとする）１４とに分割する。

輝度飽和エリア１３と輝度不飽和エリア１４の分別は、まず、分割画面１２毎の低速輝度積算値から低速シャッタ画像信号の輝度平均値（以下、低速輝度平均値とする）を求めることにより行われる。

図９（Ａ）は低速輝度積算値を示す分割画面１２の説明図である。この場合、例えば、輝度レベルが８Ｂｉｔ幅において、低速輝度平均値が２００とする。そして、低速輝度平均値が２００以上のエリアを抽出する。抽出された低速輝度平均値以上のエリアは図９（Ａ）の破線で囲まれたエリアである。

次に、同じ低速シャッタ画像信号から得られる輝度ピーク値が８Ｂｉｔ幅の最大値となるエリアを抽出する。図９（Ｂ）は低速輝度ピーク値を示す分割画面１２の説明図である。この図９（Ｂ）において、抽出された低速輝度ピーク値が最大値となるエリアは図９（Ｂ）の破線で囲まれたエリアである。

次に、低速輝度平均値が２００以上、かつ、低速輝度ピーク値が８Ｂｉｔ幅の最大値のエリアを抽出する。図９（Ｃ）は、低速輝度積算値を示す分割画面１２において、低速輝度積算値および低速輝度ピーク値から輝度飽和エリア１３を算出する説明図である。低速輝度平均値が２００以上、かつ、低速輝度ピーク値が８Ｂｉｔ幅の最大値として抽出されたエリアは、図９（Ａ）および図９（Ｂ）の破線で囲まれたエリアの重なるエリアであり、図９（Ｃ）においては、破線で囲まれたエリアである。図９（Ｃ）の破線で囲まれたエリアを輝度飽和エリア１３とし、その他のエリアを輝度不飽和エリア１４としている。輝度飽和エリア１３は、高速シャッタによる撮像対象とされる。

輝度飽和エリア１３と輝度不飽和エリア１４とに低速シャッタ画像信号が分けられた後、低速シャッタ画像信号の輝度不飽和エリア１４から低速輝度平均値が算出される。

また、高速シャッタ画像信号については、低速シャッタ画像信号と同様にして、輝度飽和エリア１３から高速シャッタ画像信号の輝度平均値（以下、高速輝度平均値とする）を算出する。図９（Ｄ）は高速シャッタ画像信号の輝度積算値の輝度不飽和エリア１４から高速輝度平均値を算出する説明図を示している。

制御信号生成部５２０はシャッタ速度およびシャッタ速度比の演算を行う計算処理部５２１を備える。この計算処理部５２１は、低速輝度平均値を処理する低速シャッタ用計算処理部５２２と、高速輝度平均値を処理する高速シャッタ用計算処理部５２３とを備える。低速シャッタ用計算処理部５２２および高速シャッタ用計算処理部５２３により、低速シャッタ画像および高速シャッタ画像に対して、電子シャッタ回路１４３と、ＡＧＣ回路１２１とを制御し、電子シャッタ速度と画像信号のゲインを可変させることにより、適切な撮像画像が得られる。

また、制御信号生成部５２０は、計算処理部５２１の他に低速シャッタ速度と高速シャッタ速度を比較し、それぞれのシャッタ速度に補正を加える比較部５２４と、画像信号の特性変換を制御する特性変換制御信号生成部５２５と、２つの画像信号の画像合成比率を制御する合成比率制御信号生成部５２６とを備える。

計算処理部５２１が備える低速シャッタ用計算処理部５２２は、低速シャッタ速度制御信号生成部５２２ａと、低速用ＡＧＣ回路制御信号生成部５２２ｂと、低速シャッタ微調整処理部５２２ｃとを備え、低速シャッタ速度制御信号およびＡＧＣ制御信号とを生成する。

低速シャッタ速度制御信号生成部５２２ａは入力された低速輝度平均値から図１に示されるＣＣＤ１１２の電子シャッタ速度を変化させる低速シャッタ制御信号を生成する。入力された低速輝度平均値が適正範囲を超えている場合は大きな幅で粗く電子シャッタ速度を変化させる（以下、粗調整とする）。また、入力された低速輝度平均値が適正範囲内の場合は小さな幅で細かく電子シャッタ速度を変化させる（以下、微調整とする）。すなわち、電子シャッタ速度は、２段階に調整される。この制御結果により次第に低速輝度平均値が適正範囲の中心になるように低速シャッタ速度制御信号を生成する。生成された低速シャッタ速度制御信号は電子シャッタ回路１４３に入力され、ＣＣＤ１１２のシャッタを駆動させる信号が出力される。

低速用ＡＧＣ回路制御信号生成部５２２ｂは図１に示されるＡＧＣ回路１２１を制御するＡＧＣ制御信号を生成する。生成されたＡＧＣ制御信号はＡＧＣ回路１２１へ伝送され、ＡＧＣ回路１２１の制御がなされる。

低速シャッタ微調整処理部５２２ｃは、長周期の画面輝度変動を補償するための処理を行う。照明光源の輝度変動、例えば、蛍光灯フリッカの周波数と、ＣＣＤ１１２のフレーム周波数とが自然数倍で極めて近接している場合、折り返し歪による極めて長周期の画面輝度変動を生じる。この画面輝度変動を低速シャッタ微調整処理部５２２ｃで検出し、当該変動を抑圧するように処理を行う。

また、計算処理部５２１が備える高速シャッタ用計算処理部５２３は、高速シャッタ速度制御信号生成部５２３ａと、高速用ＡＧＣ回路制御信号生成部５２３ｂと、高速シャッタ微調整処理部５２３ｃとを備え、高速シャッタ速度制御信号およびＡＧＣ制御信号とを生成する。なお、これら高速シャッタ用計算処理部５２３の構成要素は、低速シャッタ用計算処理部５２３の低速シャッタ用の機能を高速シャッタ用に置き換えただけのものであるので、その説明は省略する。

比較部５２４は、低速シャッタ速度制御信号生成部５２２ａ及び高速シャッタ速度制御信号生成部５２３ａから入力される低速シャッタ速度制御信号及び高速シャッタ速度制御信号に基づき高速シャッタ速度ｔ_Ｈ及びｔ_Ｌを比較する。シャッタ速度ｔ_Ｈ及びｔ_Ｌの比較は、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌの差を算出し、その差が所定の閾値δ以下であるか否かで比較を実行する。その差が、所定の閾値δ以下であれば、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌを同一の速度に補正するよう低速シャッタ速度制御信号及び高速シャッタ速度制御信号を変更し、閾値δより大であれば、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌの補正を行うことなく、低速シャッタ速度制御信号及び高速シャッタ速度制御信号を電子シャッタ回路１４３にそのまま出力する。

特性変換制御信号生成部５２５には、比較部５２４で補正がなされた低速シャッタ速度制御信号および高速シャッタ速度制御信号が入力される。特性変換制御信号生成部５２５は入力されたシャッタ速度制御信号から特性変換制御信号を生成する。特性変換制御信号生成部５２５に低速シャッタ速度制御信号が入力された場合は、図１に示される低速シャッタ用特性変換回路１３１ａ_３を制御する低速特性変換制御信号が得られる。

一方、高速シャッタ速度制御信号が入力された場合は、図１に示される高速シャッタ用特性変換回路１３１ｂ_３を制御する高速特性変換制御信号が得られる。生成された低速特性変換制御信号および高速特性変換制御信号は、低速シャッタ用特性変換回路１３１ａ_３および高速シャッタ用特性変換回路１３１ｂ_３に伝送される。

低速特性変換制御信号および高速特性変換制御信号は、低速シャッタの画像と高速シャッタ画像を合成して、低輝度〜高輝度まで表現された、所謂ダイナミックレンジ拡大画像を構築する際、合成画像の最適化を図るための制御信号である。低速特性変換制御信号および高速特性変換制御信号は、低速シャッタ用特性変換回路１３１ａ_３および高速シャッタ用特性変換回路１３１ｂ_３の制御に用いる。

画像合成の際に生ずる問題点として、２枚の画像を単純に加算しただけでは、拡大率が増大すると共に合成画面の階調特性に非直線歪みを生じ、コントラストのとれない画像となる問題点がある。従って、２枚の画像を加算する前に後述するダイナミックレンジ拡大率に応じて映像信号の特性を変換し、非直線歪みを抑えてコントラスト低下の改善を図るものである。

低速シャッタ用特性変換回路１３１ａ_３および高速シャッタ用特性変換回路１３１ｂ_３の特性変換制御について説明する。

まず、ダイナミックレンジ拡大率を以下の式より演算する。

ダイナミックレンジ拡大率＝低速シャッタ制御信号／高速シャッタ制御信号

ここで演算されるダイナミックレンジ拡大率は、露光条件を設定した後のダイナミックレンジ拡大率である。

このダイナミックレンジ拡大率の値は、計算処理部５２１で演算され、演算結果は、低速特性変換制御信号および高速特性変換制御信号として出力される。

低速シャッタ用特性変換回路１３１ａ_３及び高速シャッタ用特性変換回路１３１ｂ_３は、入力Ｘ−出力Ｙの特性としてＸ^１〜Ｘ^０．７とｌｏｇ_１０１〜１０のテーブルを持っており、ダイナミックレンジ拡大率に応じてテーブルを切り換え、画像信号に対する非直線歪みの改善を行う、以下にダイナミックレンジ拡大率に対するテーブル選択の関係を示す。

ダイナミックレンジ拡大率＜１６の場合……Ｘ^１のテーブルを選択
１６≦ダイナミックレンジ拡大率≦６４の場合……Ｘ^０．７のテーブルを選択
６４＜ダイナミックレンジ拡大率の場合……Ｘ^１のテーブルを選択

特性変換制御信号生成部５２５は、上記条件の結果を低速特性変換制御信号及び高速特性変換制御信号として生成し、低速シャッタ用特性変換回路１３１ａ_３及び高速シャッタ用特性変換回路１３１ｂ_３のテーブル切換を自動制御で行う。

合成比率制御信号生成部５２６は、比較部５２４において補正がなされた低速シャッタ速度制御信号及び高速シャッタ信号制御信号に基づき、それら２つの画像信号の合成比率を制御する合成比率制御信号を生成する。生成された合成比率制御信号は図１に示される加算回路１３２に伝送される。

合成比率制御の目的は、特性変換制御と同様に低速シャッタの画像と高速シャッタ画像の合成を最適化し、合成画像のコントラストを高めるものである。画像合成の際の問題点としては、ダイナミックレンジを大きくしていった場合、白浮きした画像となりコントラストの劣化が大きくなる問題点がある。

このコントラストの劣化の原因は、低速シャッタ画像のほとんどが飽和エリアとなり、飽和信号に高速シャッタ画像の信号が乗るためである。コントラストの劣化を改善するために、拡大率の増加と共に高速シャッタ画像の合成割合を大きくしていき、画像の白浮きを抑圧することでコントラスト低下の補正を図る。特に、合成画像のコントラスト向上には、特性変換制御と同時にこの合成比率制御を行うと効果が高い。

合成比率制御信号生成部５２６の動作は、特性変換制御信号生成部５２５と同様にダイナミックレンジ拡大率を演算し、演算結果から低速シャッタと高速シャッタの画像合成比率を切り換えるための合成比率制御信号を生成する。この合成比率制御信号は図１に示される画像信号合成部としての加算回路１３２へ送られ、２枚の画像の合成配分、すなわち合成比率を自動制御する。

このダイナミックレンジ拡大率による合成比率制御の関係は以下の通りである。

ダイナミックレンジ拡大率＝１のとき……Ｌ１００％：Ｈ０％
１＜ダイナミックレンジ拡大率＜６のとき……Ｌ９４％：Ｈ６％
６≦ダイナミックレンジ拡大率≦８のとき……Ｌ８８％：Ｈ１２％
８＜ダイナミックレンジ拡大率のとき……Ｌ７５％：Ｈ２５％
ただし、上記の合成比率は一例であって、必要に応じて変えても良い。

次に、図１０を参照して、本発明の第１実施形態に係る撮像装置の画像出力までの制御をフローチャートによって説明する。なお、以下、図１０及び図１１における「Ｓ」は「ＳＴＥＰ」の意である。

まず、ＣＣＤ１１２により被検知体からの光を受光し、前述のようにして、輝度飽和エリア１３と輝度不飽和エリア１４とに分割後、各々のエリア１３，１４の画像の輝度を検出する（ＳＴＥＰ１０１）。そして、マイコン回路１４２内の輝度平均値算出部５１０により、分割した各エリア１３、１４における輝度信号の平均振幅値を算出する（ＳＴＥＰ１０２）。そして、計算処理部５２１により、輝度信号の平均振幅値に基づいて高速シャッタ速度ｔ_Ｈ及び低速シャッタ速度ｔ_Ｌが決定される（ＳＴＥＰ１０３）。

次に、計算処理部５２１により算出された高速シャッタ速度ｔ_Ｈ及び低速シャッタ速度ｔ_Ｌは、比較部５２４に入力される。この比較部５２４において、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌとの差が、所定の閾値δ以下であるか否かが判断される（ＳＴＥＰ１０４）。以下、符号ｔ_Ｈ’は、補正後の高速シャッタ速度を表し、符号ｔ_Ｌ’は、補正後の低速シャッタ速度を表す。所定の閾値δより高速シャッタ速度ｔ_Ｈ及び低速シャッタ速度ｔ_Ｌのシャッタ速度の差が大きければ（ＳＴＥＰ１０４，Ｎｏ）、ｔ_Ｈとｔ_Ｌが補正されることなくｔ_Ｈ’、ｔ_Ｌ’として決定される。これを符号で表すと、ｔ_Ｈ’＝ｔ_Ｈ、ｔ_Ｌ’＝ｔ_Ｌとなる（ＳＴＥＰ１０５）。なお、計算処理部５２１により算出されるシャッタ速度ｔ_Ｈ，ｔ_Ｌは絶えず変動しているが、補正後、電子シャッタ回路１４３に送られるシャッタ速度ｔ_Ｈ’，ｔ_Ｌ’は一定値とされる。

一方、被写体に高輝度と低輝度の対象物が混在せず、対象物の輝度差が小さくなると、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌが近い値となる。そして、そのシャッタ速度の差が閾値δ以下になると（ＳＴＥＰ１０４，Ｙｅｓ）、ｔ_Ｈ’、ｔ_Ｌ’それぞれに対して高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌとの平均値となるように補正がなされる。即ち、シャッタ速度ｔ_Ｈ’＝ｔ_Ｌ’＝（ｔ_Ｈ＋ｔ_Ｌ）／２とされる（ＳＴＥＰ１０６）。なお、シャッタ速度ｔ_Ｈ、ｔ_Ｌの差が小さい場合の補正値は、このように高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌとを平均した平均値を用いても良いし、高速シャッタｔ_Ｈまたは低速シャッタｔ_Ｌのどちらか一方の値を用いても良い。

以上のようにして、被写体の輝度差が小さい場合は連続してｔ_Ｈ’＝ｔ_Ｌ’の状態を維持していく。しかしながら、被写体の状況が変化して分割画像の間の輝度差が開いてくると高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌの差が大きくなってくる。このような場合、比較部５２４において閾値δを越えるようになると、同一シャッタ速度をやめて、補正をすることなく別々のシャッタ速度ｔ_Ｈ’、ｔ_Ｌ’を出力するようにする。

そして、被写体の輝度差が大きい場合、高速シャッタ速度ｔ_Ｈ’で高速シャッタ画像を、低速シャッタ速度ｔ_Ｌ’で低速シャッタ画像をそれぞれＣＣＤ１１２により撮像し（ＳＴＥＰ１０７）、それらの画像を合成比率制御信号生成部５２６からの出力に基づき加算回路１３２において加算（画像合成）し（ＳＴＥＰ１０９）、ダイナミックレンジの広い画像が出力される（ＳＴＥＰ１１０）。一方、被写体の輝度差が小さくなり、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌが同一シャッタ速度に補正された場合においては、撮像（ＳＴＥＰ１１０）により得られた画像は、加算（合成）されることなく、そのまま出力される（ＳＴＥＰ１０９）。

すなわち、被写体の輝度差が小さくなると、高速シャッタ速度ｔ_Ｈで撮影された高速シャッタ画像ｔ_Ｈと低速シャッタ速度ｔ_Ｌで撮影された低速シャッタ画像は殆ど差がなくなっているので、加算してもそれほどダイナミックレンジ向上の効果が期待できない。むしろ、画像の加算によって時間的なＬＰＦがかかり、高速で動いている被写体がぼけるという弊害が生じる。

本実施の形態ではこのように、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌの輝度差が小さくなった場合には、２つのシャッタ速度ｔ_Ｈ，ｔ_Ｌを比較部５２４により同一シャッタ速度ｔ_Ｈ’，ｔ_Ｌ’に補正して、撮像により得られた画像を加算回路１３２で加算（合成）することなく出力するので、高速で動いている被写体がぼけるという弊害を生じさせないという大きな効果を持つ。

（第２実施形態）
次に、本発明に係る第２実施形態の撮像装置を説明する。なお、第２実施形態の撮像装置の構成は図１及び図５〜図８と同様であり、その比較部５２４において行われる処理が異なるものである。

上記第１実施形態では、補正により決定された同一シャッタ速度ｔ_Ｈ’＝ｔ_Ｌ’＝（ｔ_Ｈ＋ｔ_Ｌ）／２を解除する条件は、閾値δを超える場合とされている。しかしながら、第１実施形態では、被写体の輝度差が閾値δに近い値で変化した場合に、同一シャッタ速度ｔ_Ｈ’＝ｔ_Ｌ’＝（ｔ_Ｈ＋ｔ_Ｌ）／２と、別々のシャッタ速度ｔ_Ｈ’＝ｔ_Ｈ，ｔ_Ｌ’＝ｔ_Ｌとに小刻みに変動し、画像の連続性が保てずに、見にくい画像となる虞がある。そこで、第２の実施形態においては、上記のような虞を解消する対処策として、閾値δより大きな閾値δ_１（δ＜δ_１）を同一シャッタ速度の解除条件として設定している。すなわち、ｔ_Ｈ’、ｔ_Ｌ’が同一シャッタ速度に補正された後において、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌとの差が閾値δ_１より大きくなった場合、同一シャッタ速度への補正（ｔ_Ｈ’＝ｔ_Ｌ’）を解除するように設定している。これにより、所定のヒステリシス効果が生じ、上記の問題を解決している。

この処理を詳細に説明すると、図１１に示すフローチャートとなる。まず、第１実施形態と同様の工程を経て（ＳＴＥＰ２０１〜ＳＴＥＰ２０２）、高速シャッタ時間ｔ_Ｈ及び低速シャッタ時間ｔ_Ｌを算出する（ＳＴＥＰ２０３）。続いて、同一シャッタ速度に補正されているか否かが判定される（ＳＴＥＰ２０４）。同一シャッタ速度に補正がなされていない（ｔ_Ｈ’≠ｔ_Ｌ’）と判断されると（ＳＴＥＰ２０４，Ｎｏ）、次に、（ｔ_Ｈ−ｔ_Ｌ）≦δであるか否かが判断される（ＳＴＥＰ２０５）。一方、同一シャッタ速度に補正がなされている（ｔ_Ｈ’＝ｔ_Ｌ’）と判断されると（ＳＴＥＰ２０４，Ｙｅｓ）、次に、ｔ_Ｈ−ｔ_Ｌ＞δ_１であるか否かが判断される（ＳＴＥＰ２０６）。

ＳＴＥＰ２０５は、第１実施形態のＳＴＥＰ１０４と同意であり、その後の工程ＳＴＥＰ２０７〜ＳＴＥＰ２１２も第１実施形態のＳＴＥＰ１０５〜ＳＴＥＰ１１０と同意であるため、その説明は省略する。ＳＴＥＰ２０６において、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌとの差が閾値δ_１よりも大きい場合、ＳＴＥＰ２０７において、同一シャッタ速度の補正が解除される。一方、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌの差が閾値δ_１以下である場合、ＳＴＥＰ２０８において同一シャッタ速度に補正されたままの状態とされる。

上記のように、第２実施形態は、第１実施形態に備わっていないＳＴＥＰ２０４とＳＴＥＰ２０６の処理工程を備えており、画像の連続性を保つことが可能となり、自然な画像が得られる。また、同一シャッタ速度ｔ_Ｈ’＝ｔ_Ｌ’＝（ｔ_Ｈ＋ｔ_Ｌ）／２に統一するように説明してきたが、低速シャッタ速度ｔ_Ｌに統一することもできる。このようにすれば、低速シャッタ画像は、不連続が生じず自然な画像となる。また同様に、高速シャッタ速度ｔ_Ｈに統一することも可能である。

このように本発明の第１及び第２実施形態に係る撮像装置によれば、図１２に示すように、例えば、屋内と屋外とのように被写体の輝度差が大きい状況においては、図１２（ａ）に示すように、主に人物が被写体とされる輝度の低い屋内１０００に対してシャッタ速度を合わせた画像（低速シャッタ画像）を撮像し、図１２（ｂ）に示すように、輝度の高い屋外２０００に対してシャッタ速度を合わせた画像（高速シャッタ画像）を撮像すれば、それらを図１２（ｃ）に示すように画像合成し、ダイナミックレンジの広い最適な画像を出力することが可能である。したがって、明るい部分或いは暗い部分が共に含まれているシーンであっても、鮮明な画像が得られる。一方、被写体の輝度差が小さい状況においては、１つのシャッタ速度で撮像が行われるので、高速に移動する物体があった場合にも、二重像になる、或いは動きが不自然になるという欠点がなく、違和感のない自然な画像が得られるという大きな効果がある。そして、この画像信号をダイレクトにモニタ上に表示して観測に使う場合には、自然な見やすい画像が得られる。なお、この場合、モニタ上に表示するのでなければ必ずしも画像合成は必要なく、別々に出力することも可能である。これらの信号を用いて、画像処理を行う場合には、信号を合成しないで、別々に出力したほうが処理がしやすくなるというメリットがある。

また、この画像信号を信号処理回路に通して、各種の画像処理を施そうとする場合には精度よく正確な処理ができるため、処理が容易であり、ミスのない処理が可能になるという効果がある。

また、輝度差が小さい状況においては、同一シャッタ速度になるために、フレームごとに画像の変化が小さくなり、自然な画像が得られるという大きな効果がある。また、被写体に時間経過による変化が無ければ、２種類の画像信号に変化が無いため、信号処理の制度が向上する。

さらにまた、時間経過により、被写体の輝度差が大きくなった場合には、直ちに、ダイナミックレンジの広い画像が得られるという効果がある。また、シャッタ速度が接近したかどうかの判断は、高速シャッタ速度ｔ_Ｈと低速シャッタ速度ｔ_Ｌを比較してこの差を例えばｔ_Ｈ−ｔ_Ｌ≦δ＝１／２５０ｓとして判定する。しかし、この付近で細かく変化すると合成画像が得られたり、単一の画像になったり、チャッタリングのように変化する場合がある。これを回避するために、合成画像から単一画像に変える際はδ_１＝１／２５０ｓ、単一画像から合成画像に戻る際にはδ_１２＝１／１００ｓのように閾値を変えてヒステリシス特性を持たせることにより、細かくチャッタリングして変化することなく、一層、自然な画像を得ることが可能になる。

以上、発明の実施の形態を説明したが、本発明はこれらに限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更、追加、置換等が可能である。例えば、各ブロックの組み合わせは任意であり、撮像素子として、ＣＣＤ１１２の代わりにＣＭＯＳセンサを使用することも可能である。また、上記画像装置は、単体の装置で構成する必要はなく、複数の装置の組み合わせであってもよく、例えば、制御部１４０を汎用のパーソナルコンピュータとする構成であってもよい。

本発明の第１実施形態に係る撮像装置の機能ブロック図である。 本発明の第１実施形態に係る撮像装置の動作を時系列で説明する図である。 本発明の一実施形態に係る撮像装置の撮像素子の撮像特性及び信号処理出力特性を示す図である。 撮像画像の分割例を示す図である。 本発明の一実施形態に係る撮像装置の図１の輝度積分値回路の機能ブロック図である。 本発明の一実施形態に係る撮像装置の図１の輝度ピーク値検出回路の機能ブロック図である。 本発明の一実施形態に係る撮像装置の図１のゲート波形発生回路の機能ブロック図である。 本発明の一実施形態に係る撮像装置の図１のマイコン回路の機能ブロック図である。 本発明の第１実施形態に係る撮像装置の画面分割された画像の処理内容を説明する図である。 本発明の第１実施形態に係る撮像装置のシャッタ条件を設定し撮像を実行するフローチャートを示す図である。 本発明の第２実施形態に係る撮像装置のシャッタ条件を設定し撮像を実行するフローチャートを示す図である。 本発明の第１実施形態及び第２実施形態による撮像装置を用いた画像調整の例を示す図である。

符号の説明

１００…撮像装置、１１０…撮像部、１１１…撮像レンズ、１１２…ＣＣＤ、１２０…アナログ信号処理部、１２１…ＡＧＣ回路、１２２…Ａ／Ｄ変換回路、１３０…デジタル信号処理部、１３１…画像信号処理実行部、１３１ａ…低速シャッタ用信号処理部、１３１ａ_１…低速シャッタ用メモリ回路、１３１ａ_２…低速シャッタ用切換回路、１３１ａ_３…低速シャッタ用特性変換回路、１３１ｂ…高速シャッタ用信号処理部、１３１ｂ_１…高速シャッタ用メモリ回路、１３１ｂ_２…高速シャッタ用切換回路、１３１ｂ_３…高速シャッタ用特性変換回路、１３２…加算回路、１３３…Ｄ／Ａ変換回路、１４０…制御部、１４１…画像信号情報取得部、１４１ａ…輝度積算値回路、１４１ｂ…輝度ピーク値検出回路、１４１ｃ…ゲート波形発生回路、１４２…マイコン回路、１４３…電子シャッタ回路、１５０…画像信号出力端子。

Claims (7)

1. 第１の露光条件により撮像した第１の映像信号と、第２の露光条件により撮像した第２の映像信号とを得る撮像装置において、
   前記第１の映像信号及び前記第２の映像信号の各々の輝度を検出する輝度検出部と、
   各々の輝度に基づき前記第１の露光条件及び前記第２の露光条件を独立に設定する露光条件設定部と、
   前記第１の露光条件及び前記第２の露光条件を比較する比較部と、
   前記比較部により、前記第１の露光条件と前記第２の露光条件との差が所定の第１閾値以下であると判断された場合、前記第１の映像信号又は前記第２の映像信号をそのまま出力し、前記第１の露光条件と前記第２の露光条件との差が前記所定の第１閾値より大であると判断された場合、前記第１の映像信号と前記第２の映像信号とを合成し第３の映像信号として出力する画像合成部と
   を備えることを特徴とする撮像装置。
2. 前記比較部は、前記第１の露光条件と前記第２の露光条件との差が前記所定の第１閾値以下である場合、前記第１の露光条件と前記第２の露光条件とを同一露光条件に補正し、
   前記第１の露光条件と前記第２の露光条件との差が前記所定の第１閾値より大である場合、前記第１の露光条件及び前記第２の露光条件を補正しないこと
   を特徴とする請求項１記載の撮像装置。
3. 前記同一露光条件は、前記第１の露光条件と前記第２の露光条件の平均値であることを特徴とする請求項２記載の撮像装置。
4. 前記同一露光条件は、前記第１の露光条件或いは前記第２の露光条件のいずれか一方であることを特徴とする請求項２記載の撮像装置。
5. 前記比較部は、前記第１の露光条件と前記第２の露光条件とを同一の露光条件に補正した後、前記第１の露光条件と前記第２の露光条件との差が前記第１の閾値よりも大きい第２の閾値よりも大となった場合に、前記同一の露光条件への補正を解除することを特徴とする請求項２記載の撮像装置。
6. 第１の露光条件及び第２の露光条件によりそれぞれ第１の映像信号及び第２の映像信号を撮像する工程と、
   前記第１の映像信号及び前記第２の映像信号の輝度を検出する工程と、
   前記輝度に基づき前記第１の露光条件及び前記第２の露光条件を設定する工程と、
   前記第１の露光条件と前記第２の露光条件とを比較する工程と、
   前記比較によって前記第１の露光条件と前記第２の露光条件との差が所定の第１閾値以下であれば、前記第１の露光条件と前記第２の露光条件とを同一露光条件とするように前記第１の露光条件及び前記第２の露光条件を補正し、該補正された第１の露光条件と該補正された第２の露光条件とにより撮像して出力し、前記第１の露光条件と前記第２の露光条件との差が前記所定の第１閾値より大であれば、それぞれ異なる露光条件のまま補正をすることなく、前記第１の露光条件と前記第２の露光条件とにより撮像し、該撮像された画像を画像合成して出力する工程と
   を有することを特徴とする画像用信号処理方法。
7. 第１の露光条件により撮像した第１の画像と、第２の露光条件により撮像した第２の画像とを得る撮像デバイスと、
   前記撮像デバイスからの画像を出力する画像合成部とを備え、
   前記撮像デバイスは、
   前記第１の画像中の少なくとも一部領域の輝度及び前記第２の画像中の少なくとも一部領域の輝度をそれぞれ検出する輝度検出部と、
   各々の輝度に基づき前記第１の露光条件及び前記第２の露光条件を独立に設定もしくは補正する露光条件設定部と、
   前記露光条件の差を示す差信号を求める信号処理部と、
   前記第１の画像および前記第２の画像とともに、前記差信号を出力するための出力部とを備え、
   前記画像合成部は、前記差信号が所定の閾値以下の場合には、前記第１の画像又は前記第２の画像のいずれか一方を出力し、前記差信号が前記閾値より大である場合には、前記第１の画像と前記第２の画像とを合成した合成画像を出力する
   ことを特徴とする撮像装置。