JP2009088929A - 撮像装置、撮像制御方法及び撮像制御プログラム - Google Patents

撮像装置、撮像制御方法及び撮像制御プログラム Download PDF

Info

Publication number
JP2009088929A
JP2009088929A JP2007255209A JP2007255209A JP2009088929A JP 2009088929 A JP2009088929 A JP 2009088929A JP 2007255209 A JP2007255209 A JP 2007255209A JP 2007255209 A JP2007255209 A JP 2007255209A JP 2009088929 A JP2009088929 A JP 2009088929A
Authority
JP
Japan
Prior art keywords
exposure
imaging
correction
image signal
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007255209A
Other languages
English (en)
Other versions
JP4438847B2 (ja
Inventor
Akira Yuma
晃 遊馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007255209A priority Critical patent/JP4438847B2/ja
Priority to TW097131768A priority patent/TWI394442B/zh
Priority to US12/195,493 priority patent/US8063946B2/en
Priority to EP08164972A priority patent/EP2043043A1/en
Priority to KR20080094510A priority patent/KR101482273B1/ko
Priority to CNA2008101659769A priority patent/CN101399922A/zh
Publication of JP2009088929A publication Critical patent/JP2009088929A/ja
Application granted granted Critical
Publication of JP4438847B2 publication Critical patent/JP4438847B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】 ワイドダイナミックレンジカメラの合成撮影モードで運用する広域監視カメラシステムにおいて、逆光状態で露光完了している状況から順光の監視エリアに移る場合に、逆光状態で働いた補正がかかることなく、通常撮影モードと同等の時間で露光を完了する。
【解決手段】 被写体からの入射光から生成する撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像素子部2により得られた上記長時間露光画像信号と上記短時間露光画像信号とを信号処理部4で合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する。制御部9は、検波部6により生成される上記合成画像信号についての輝度積算値を用いて、上記撮像素子部2の露光補正に用いる補正値をシーンチェンジ中に初期化して、上記撮像素子部2の露光補正制御を行う。
【選択図】 図1

Description

本発明は、長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置、撮像制御方法及び撮像制御プログラムに関する。
従来のCCD(Charge Coupled Device)等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量(露光量)を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ(露光過多:overexposure)が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ(露光不足:underexposure)が発生しないように露光量を多くするように、露光量を調節している。
しかしながら、明暗の差が大きいシーンの撮像(逆光撮像、屋内外同時撮像)する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。
この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用したり、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を1枚の画像に合成する方法が既に開発されている(例えば、特許文献1参照)。
また、これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置(ワイドダイナミックレンジカメラ)があり、その合成画像の品質を向上させる装置・方法が提案されている(例えば、特許文献2、3参照)。
一般的にワイドダイナミックレンジカメラの動作状態として、ワイドダイナミックレンジ撮像を行う合成撮像モードと、ワイドダイナミックレンジ撮像を行わない通常撮像モードの2種類があるが、監視カメラの運用形態としては、常時合成撮像モードで運用されているケースが多い。主な理由は、自動および手動でカメラ自体を旋回させ、広域を監視するという役割を持つため、ワイドダイナミックレンジを必要とする場所と必要としない場所が混在し、また時刻によっても変わる可能性があるため、どちらの撮像モードが適しているか予想できないためである。また撮像モードを被写体の状況に応じて自動または手動で切り替えることも可能であるが、撮像モードに応じて信号処理アルゴリズムが切り替わる際に、出力される映像信号が急激に変化するため、動画像としての品質が低下してしまうという問題がある。
広域を監視するような監視カメラの場合、被写体輝度が監視エリアによって大きく異なることが想定されるので、監視エリア毎に撮像モードが頻繁に変わり、それに伴い映像変化を生ずるよりも、合成撮像モードを継続する方が望ましい。
また、監視カメラにおいては、合成撮像が必要な明暗の差が非常に大きいシーン(逆光撮像、屋内外同時撮像)と、合成撮像が必要ない明暗差の少ないシーン(通常撮像モードが適しているようなシーン)のどちらも、合成撮像モードで撮像することが望まれ、どちらの状況にあっても品質の高い画像を要求される。
特開平6−141229号公報 特開2002−84449号公報 特開2004−120205号公報
ところで、図19に示すように、屋内に設置された監視カメラ100では、出入口101の外に位置している被写体102は逆光状態で撮像しなければならず、また、窓ガラス103を介して太陽光が照射される明るい領域104と、太陽光が届かない隅の暗い領域105など、ワイドダイナミックレンジを必要とする場所と必要としない場所が混在し、また時刻によっても変わる可能性がある。
上記監視カメラ100は、次の条件で監視している場合、
(1)常時合成撮像モードで運用している。
(2)監視エリアのA方向の屋内外同時撮像(逆光)エリアからB方向の屋内撮像(順光)にユーザーが自動または手動で撮像装置を旋回(パン・チルト)させて切り替える。
(3)既にAでは露光が完了していて、最適な合成画像を得られている。
(4)合成撮像モードでは、通常撮像モードに対して、相対的に長い露光時間を要する撮像システムである。
合成撮像モードの効果により、A方向の逆光状態で撮像する黒つぶれ・白とび補正がかかっている撮像状態から、B方向の補正を必要としない撮像状態へ変わるので、B方向の撮像を始めると補正量を段階的に落としていくので、補正がなくなり適正な露光状態になるまでに、通常撮像モードに比べて長い時間を要する。例えば、通常撮像モードの露光処理が2秒程度で収束するのに対して、合成撮像モードでは15秒程度の時間を要する。これは、合成撮像モードの露光制御の性質によるもので、黒つぶれや白とび補正を段階的に行い、それに伴う合成画像のヒストグラムおよび輝度の変化を参照しながら、フィードバック制御するからである。また合成画像の輝度変化を緩やかにするためでもある。
しかしながら、A方向の撮像状態で機能した補正がB方向の撮像状態に移る際に働いてしまうため、B方向での監視を開始したときに必要のないA方向での補正が働き、適正輝度から外れた映像が出力されてしまい、さらにその映像が適正露出になるまでにかかる時間が長いことから、画質が悪い、露光が遅いなどといった問題を生じる。
そこで、本発明の目的は、上述の如き従来の実情に鑑み、ワイドダイナミックレンジカメラの合成撮像モードを継続して運用することを必要とされる広域監視カメラシステムにおいて、一旦、逆光状態で露光完了している状況から、順光の監視エリアに移る場合に、逆光状態で働いた補正がかかることなく、通常撮像モードと同等の時間で露光を完了することができる撮像装置、撮像制御方法及び撮像制御プログラムを提供することにある。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
本発明では、次の点に着目して、合成撮像モードにおける露光時間を短縮する。
(1)カメラの旋回(パン・チルト)は、シーンチェンジのトリガとして利用できる。
(2)ユーザーは各監視エリアでカメラが停止している状態で、適切な露光状態になることを望んでいるので、カメラが旋回(パン・チルト)している間の露光状態については特に問題視されない。
(3)補正がなされていない状態から、段階的に補正が働いていく過程は、大きく露光を外しているわけではないので、画質が悪いとは判断されない。
これら(1)(2)を考慮すると、パン・チルトを行なう制御部など、シーンチェンジのトリガとなる外部装置から、補正を初期化させるための信号を受信し、カメラが旋回している間に補正の初期化を行い、新たな監視エリアで補正処理を初期状態(黒つぶれ・白とび補正が働いていない状態)から開始することで、露光処理時間を短縮させることが可能である。
すなわち、本発明に係る撮像装置は、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像部と、上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、上記合成画像信号についての輝度積算値を生成する検波部と、上記輝度積算値を用いて、上記撮像部の露光補正制御を行う制御部とを備え、上記制御部は、上記撮像部の露光補正に用いる補正値をシーンチェンジの間に初期化して、上記撮像部の露光補正制御を行うことを特徴とする。
本発明に係る撮像装置において、上記検波部は、例えば、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、上記制御部は、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像部の露光補正制御を行う。
また、本発明に係る撮像装置において、上記制御部は、シーンチェンジの間に、例えば、上記撮像部の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行う。
また、本発明に係る撮像装置において、上記制御部は、シーンチェンジの間に、例えば、上記撮像部の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行う。
また、本発明に係る撮像装置において、上記制御部は、例えば、上記撮像部の旋回操作を示す信号に応じて上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行う。
また、本発明に係る撮像装置において、上記制御部は、例えば、上記撮像部のズーム操作を示す信号に応じて上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行う。
さらに、本発明に係る撮像装置において、上記制御部は、例えば、上記検波部により得られた輝度積算値の変化が所定値以上であったときに、上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行う。
本発明に係る撮像制御方法は、撮像手段により、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像ステップと、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップと、上記合成画像信号についての輝度積算値を生成する検波ステップと、上記輝度積算値を用いて露光補正制御を行う露光補正制御ステップとを有し、上記露光補正制御ステップにおいて、上記撮像手段の露光補正に用いる補正値をシーンチェンジの間に初期化して、上記撮像手段の露光補正制御を行うことを特徴とする。
本発明は、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像手段と、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段と、上記合成画像信号についての輝度積算値を生成する検波手段と、上記輝度積算値を用いて露光補正制御を行う露光補正制御手段とを備える撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、上記露光補正制御手段における上記撮像手段の露光補正に用いる補正値をシーンチェンジの間に初期化して、上記撮像手段の露光補正制御を行う露光補正制御ステップを有する制御方法をコンピュータに実行させることを特徴とする。
本発明によれば、ワイドダイナミックレンジカメラの合成撮像モードを継続して運用することを必要とされる広域監視カメラシステムにおいて、一旦、逆光状態で露光完了している状況から、順光の監視エリアに移る場合に、逆光状態で働いた補正がかかることなく、通常撮像モードと同等の時間で露光が完了することができる。
また、例えば一定時間間隔で各監視エリアを自動巡回し、その映像を録画機などで記録しているような運用を考えると、補正により露光を大きく外すような映像がなくなるので、適切な露光状態の映像がより多く記録できるようになり、改善の効果は大きい。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
本発明は、例えば図1に示すような構成の撮像装置10に適用される。
ここで、この撮像装置10は、監視エリアを監視するために旋回制御部15により旋回操作される監視カメラであって、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作が可能な撮像装置である。もちろん一般ユーザーが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。
この撮像装置10は、撮像光学系1、撮像素子部2,前処理部3、信号処理部4、出力部5、検波部6、タイミングジェネレータ7、光学部品駆動部8、制御部9などを備える。
撮像光学系1は、レンズや不要な波長を除去する光学フィルタ、絞り1a等の光学部品を備える。被写体から入射された光は撮像光学系1における各光学部品を介して撮像素子部2に導かれる。
撮像素子部2は、例えばCCDセンサアレイ、CMOSセンサアレイなどの固体撮像素子部として構成される。この撮像素子部2は、撮像光学系1を介して導かれた光を光電変換し、撮像画像としての電気信号を出力するもので、この撮像装置10では、図2に示すように、1フィールド期間に長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。
なお、撮像素子部2は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、長時間露光、短時間露光の露光時間を変化させることは可能である。
ここで、合成撮像モードについて述べておく。
一般的に使用される撮像装置における通常の撮像動作では、被写体における非常に暗い部分から非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に,屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。
これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。
図2は、撮像素子部2での、1フィールド内の露光時間と蓄積される露光量(電荷量)を示している。
この図2では、1/60秒の1フィールド期間において、1/64秒の長時間露光と、1/2000秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。
この長時間露光と短時間露光を行うことで、1フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成することで1フィールドの撮像画像データが生成される。
なお、長時間露光と短時間露光は、必ずしも1フィールド期間に行わなければならないものではなく、或るフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。
図3は、長時間露光画像信号と短時間露光画像信号の合成処理の説明のために、長時間露光画像信号の入出力輝度特性Lと、短時間露光画像信号の入出力輝度特性Sを示している。
合成処理においては、例えば輝度閾値で示される切り替えポイントで切り替えて合成画像を生成する。そして、切替ポイントよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。
仮に長時間露光画像と短時間露光画像との露光比が10:1であるとすると、短時間露光画像の露光は長時間露光画像の10分の1である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの10倍は光量がある。したがって短時間露光画像信号にゲインKとして10を乗算することによりレベルを合わせる。
このように短時間露光画像信号についてゲイン乗算を行い、図3に示すように長時間露光画像信号特性とレベルの合った特性KSを得る。
結果として、特性L−KSの合成画像を生成する。すなわち、合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。
なお、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する合成撮像モードの手法としては、上記のように露光時間の異なる明るい画像と暗い画像とを合成する以外にも各種の手法がある。
例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる1又は2以上の画像を合成する方法もある。
またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるNDフィルタ(Neutral Density Filter:光量調節フィルタ)のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。
これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内,照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。
この撮像装置10における前処理部3は、いわゆるアナログフロントエンドであり、撮像素子部2から出力される撮像画像としての電気信号に対してCDS(correlated double sampling :相関2重サンプリング)処理、プログラマブルゲインアンプによるゲイン処理、A/D変換処理を行う。そしてこれらの処理を行った長時間露光画像信号と短時間露光画像信号を信号処理部4に供給する。
信号処理部4は、入力される長時間露光画像信号と短時間露光画像信号について図3で述べた合成処理を行う。すなわち、時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って撮像画像データとする。
信号処理部4は、生成した撮像画像データを出力部5及び検波部6に出力する。
出力部5は、信号処理部4からの撮像画像データについて、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。
検波部6は、信号処理部4からの合成画像信号についての輝度分析処理を行い、輝度積算値と輝度ヒストグラムの情報を生成し、制御部9に供給する。
制御部9は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置10の全体の動作を制御する。また、制御部9は撮像時の露光補正処理を行う。
制御部9におけるROMには、これらの制御処理を実行させる撮像制御プログラムが格納されており、該撮像制御プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。
タイミングジェネレータ7は、例えばCCDなどの撮像素子部2に必要な動作パルスを生成する。例えば垂直転送のための4相パルス、フィールドシフトパルス、水平転送のための2相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部2に供給する。このタイミングジェネレータ7により撮像素子部2を駆動(電子シャッタ機能)させることが可能となる。このタイミングジェネレータ7は、撮像素子部2に図2のように露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。
光学部品駆動部8は、撮像光学系1における光学部品の駆動を行うもので、例えば、絞り1aやズームレンズ等の駆動を行う駆動回路部からなる。
そして、この撮像装置10では、当該撮像装置10の旋回操作を行う旋回制御部15から、当該撮像装置10の旋回操作を示す信号が上記制御部9に供給されるようになっている。
このような構成の撮像装置10において、制御部9による制御に基づいて、図4のフローチャートに示す手順にしたがった撮像動作が行われる。
すなわち、この撮像装置10では、撮像動作を開始すると、制御部9は、先ず、ステップST1において初期化要求の検出処理を行い、次のステップST2において合成撮像処理を行う。
ステップST1の初期化要求の検出処理では、制御部9は、図5のフローチャートに示すように、旋回制御部15から供給される当該撮像装置10の旋回操作を示す信号に基づいて、旋回が開始されたか否かを判定し(ステップST11)、その判定結果が「YES」、すなわち、撮像装置10の旋回が開始されると、補正値の初期化要求をセットして(ステップST12)、初期化要求の検出処理を終了し、また、その判定結果が「NO」、すなわち、撮像装置10の旋回が開始されていない場合には、そのまま初期化要求の検出処理を終了する。
次のステップST2の合成撮像処理では、タイミングジェネレータ7により撮像素子部2の駆動を制御して、撮像素子部2に一つの電子シャッタースピードを設定して、図2のような長時間露光と短時間露光を実行する。すなわち、タイミングジェネレータ7は、1フィールド期間内に異なる二つの電子シャッタースピードを設定することが可能であり、1フィールド期間に図2のような長時間露光と短時間露光を撮像素子部2に実行させる。これにより露光量の違う二つの撮像画像信号(例えば露光時間1/64秒の長時間露光画像信号と、露光時間1/2000秒の短時間露光画像信号)が得られる。長時間露光画像信号と短時間露光画像信号は、それぞれ前処理部3で処理されて信号処理部4に供給される。
そして、次のステップST3において、制御部9は、信号処理部4により図3で述べた手法で合成処理を行う。信号処理部4は、前処理部3でデジタル化された長時間露光画像信号と短時間露光画像信号を合成し、ダイナミックレンジを拡大させ、出力部5と検波部6へ出力する。
次のステップST4では、検波部6により検波処理を行う。
合成画像信号は検波部6にも供給される。検波部6は、合成画像信号の輝度積算値と輝度ヒストグラムを生成し、それをフィールド毎に制御部9に送信する。
このステップST4の検波処理では、図6のフローチャートに示すように、ステップST41で1フィールドの合成画像信号の輝度積算を行い、次のステップST42で輝度ヒストグラムを生成する。
図7に輝度ヒストグラムの例を示す。この例では、輝度について黒レベルBから白レベルWまでを、「B」「mb1」「mb2」「mb3」「mw3」「mw2」「mw1」「W」という8段階の輝度に分け、この8段階の各輝度についての1フィールド画像内での割合(%)を示すものとしている。
例えば図7(a)は合成画像信号の比較的暗めの画像となったフィールドの輝度ヒストグラムの例であり、図7(b)は比較的明るめの画像となったフィールドの輝度ヒストグラムの例である。
次のステップST5では、制御部9は、ステップST1の初期化要求の検出結果に基づいて、補正値の初期化要求の有無を判定する。
そして、このステップST5における判定結果が「YES」、すなわち、補正値の初期化要求がある場合には、ステップST6−1の補正値の初期化処理を行い、露光補正に用いる補正値を設定してから、ステップST6−2において上記ステップST12でセットされた初期化要求をクリアして、次のステップST7に移って露光補正処理を行う。
ここで、ステップST6−1の補正値の初期化処理では、図8のフローチャートに示すように、先ずステップST61において、黒つぶれ補正に用いる補正値の初期化を行い、黒つぶれ補正に用いる補正値である目標輝度積算値(Yt)を最小値(Ymin)とし、次のステップST62において、白つぶれ補正に用いる補正値の初期化を行い、白つぶれ補正に用いる補正値である目標短時間露光時間(Tt)を最大値(Tmax)とする。
また、上記ステップST5における判定結果が「NO」、すなわち、補正値の初期化要求がない場合には、そのままステップST7に移って露光補正処理を行う。
ステップST7の露光補正処理では、制御部9は、輝度ヒストグラムを検査し、黒つぶれ、白とびがなくなるような画像になるように、目標輝度積算値および短時間露光時間を決定する。
黒つぶれの補正では、輝度ヒストグラムの黒部分(B)の比率を検査することで黒つぶれを検出し、黒部分(B)が一定の割合になる様に、目標輝度積算値を設定する。
白とびの補正では、輝度ヒストグラムの白部分(W)の比率を検査することで白とびを検出し、白部分(W)が一定の割合になる様に目標短時間露光時間を設定する。
上記ステップST7の露光補正処理では、図9のフローチャートに示すように、制御部9は、例えば1フィールド期間中に、ステップST71において、輝度ヒストグラムを検査することで黒つぶれを検出して、ステップST72で目標輝度積算値(Yt)を決定する黒つぶれ補正の処理を行い、さらに、ステップST73で輝度ヒストグラムを検査することで白とびを検出して、ステップST74で目標短時間露光時間(Tt)を決定する白とび補正の処理を行う。
上記ステップST71,ST72の黒つぶれ補正の処理では、図10のフローチャートに示すように、ステップST71の輝度ヒストグラムから黒つぶれを検出する処理として、ステップST711,ST712が行われ、ステップST72の目標輝度積算値(Yt)を決定する処理としてステップST721,ST722,ST723が行われる。
すなわち、制御部9は、まずステップST711で輝度ヒストグラムの黒部分(B)の比率が10%以上であるか否かを判断する。10%以上であれば、合成画像信号において黒つぶれが発生していると判断し、ステップST721に進んで、目標輝度積算値(Yt)を、現在の目標輝度積算値(Yt)に固定値(Cy)を加算した値に更新する。つまり、露光量を多くする方向に更新する。
また、輝度ヒストグラムの黒部分(B)の比率が10%未満であった場合は、ステップST712で、黒部分(B)の比率が5%以下であるかを判断する。5%以下であれば、ステップST722に進んで、目標輝度積算値(Yt)を、現在の目標輝度積算値(Yt)から固定値(Cy)を減算した値に更新する。つまり露光量を少なくする方向に更新する。
ステップST721で5%以下ではない、つまり黒部分(B)が5〜10%の範囲であった場合は、適正な露光量であるとしてステップST723に進み、目標輝度積算値(Yt)を現状のまま維持する。
すなわち、黒つぶれ補正の処理では、輝度ヒストグラムの黒部分(B)の比率を検査することで黒つぶれを検出し、それが一定の割合になる様に、目標輝度積算値(Yt)を設定する。新たな目標輝度積算値は現在のものに対して一定量(Cy)を加減することで求める。一定量(Cy)で加減をするのは、徐々に収束すべき目標輝度積算値(Yt)を求め、出力映像の輝度変化を緩やかにするためである。
また、上記ステップST73,ST74の白とび補正の処理では、図11のフローチャートに示すように、ステップST73の輝度ヒストグラムから白とびを検出する処理としてステップST731,ST732が行われ、ステップST74の目標短時間露光時間(Tt)を決定する処理としてステップST741,ST742,ST743が行われる。
すなわち、制御部9は、まずステップST731で輝度ヒストグラムの白部分(W)の比率が10%以上であるか否かを判断する。10%以上であれば、合成画像信号において白とびが発生していると判断し、ステップST741に進んで、目標短時間露光時間(Tt)を、現在の目標短時間露光時間(Tt)から固定値(Cy)を減算した値に更新する。つまり、露光量を少なくする方向に更新する。
また、輝度ヒストグラムの白部分(W)の比率が10%未満であった場合は、ステップST732で、白部分(W)の比率が5%以下であるかを判断する。5%以下であれば、ステップST742に進んで、目標短時間露光時間(Tt)を、現在の目標短時間露光時間(Tt)に固定値(Cy)を加算した値に更新する。つまり露光量を多くする方向に更新する。
ステップST732で5%以下ではない、つまり白部分(W)が5〜10%の範囲であった場合は、適正な露光量であるとしてステップST743に進み、目標短時間露光時間(Tt)を現状のまま維持する。
白とび補正の処理では、輝度ヒストグラムの白部分(W)の比率を検査することで白とびを検出し、一定の割合になる様に目標短時間露光時間(Tt)を設定する。新たな目標短時間露光時間(Tt)は現在のものに対して一定量(Ct)を加減することで求める。一定量(Ct)で加減するのは、徐々に収束すべき目標短時間露光時間(Tt)を求め、出力映像の輝度変化を緩やかにするためである。
以上の処理で、目標輝度積算値(Yt)目標短時間露光時間(Tt)が決定される。そして、上記ステップST7の露光補正処理で、上述のように目標輝度積算値(Yt)目標短時間露光時間(Tt)が用いられて露光制御が行われることになる。
このような露光補正処理、露光制御処理を含む図4のフローチャートに示す処理が例えばフィールド期間毎に繰り返されることで、合成画像信号において黒つぶれや白とびが発生しない露光状態に収束されていく。
なお、図10,図11に示したように、現在の目標輝度積算値と固定値との演算により新たな目標輝度積算値を設定し、また現在の目標短時間露光時間と固定値との演算により新たな目標短時間露光時間を設定することで、露光量が緩やかに変化されながら合成画像信号の輝度が調節されることになる。
そして、ステップST8の露光制御処理では、制御部9は、上記露光補正処理として決定した目標輝度積算値および目標短時間露光時間を用いて露光制御を行う。
黒つぶれに対応する長時間露光量については、検波部6から受信した現在の輝度積算値と、上記露光補正処理で設定した新たな目標輝度積算値の差分に基づいて、絞り1aの開口量、撮像素子部2の長時間露光時間、前処理部3のPGA(プログラマブルゲインアンプ)のゲインについて、それぞれ必要な制御量を計算する。そして光学部品駆動部8に絞り1aの駆動を実行させ、またタイミングジェネレータ7に長時間露光時間を指示し、また前処理部3にPGAのゲインを指示する。なお、これらの3つの制御を全て行う他、これらの内の1つ又は2つの制御を行うようにしても良い。
白とびに対応する短時間露光量については、上記露光補正処理で設定された短時間露光時間をタイミングジェネレータ7に指示し、撮像素子部2の短時間露光時間を変化させることで、必要な露光量を得る。
なお、絞り1aの開口量やPGAゲインは、短時間露光量にも影響を与えるが、合成画像としては長時間露光画像信号側が支配的となるため、絞り1aやPGAゲインについては長時間露光量の補正に用いるようにしている。但し、短時間露光量の調節に絞り1aやPGAゲインを利用してもよい。
すなわち、この撮像装置10において、上記制御部9は、図12のフローチャートに示すように、上記露光補正に用いる補正値をシーンチェンジのトリガとなる信号に応じて上記補正値の初期化処理をシーンチェンジの間に行もので、制御部9は、当該撮像装置10の旋回操作を示す信号として、例えば、図13(A)示すように、旋回開始を示す信号が旋回制御部15から送られてきたことを検出して、当該撮像装置10の旋回操作が終了するまでの間に、上記補正値の初期化処理を1回行う。
なお、旋回制御部15は、旋回開始を示す信号に代えて、図13(B)示すように、撮像装置10の旋回操作中に1回だけ補正値の初期化要求を行い、制御部9は、上記初期化要求に応じて補正値の初期化処理を行うようにしてもよい。
ここで、以上の説明では、この撮像装置10において、上記制御部9は、旋回制御部15から送られて旋回開始を示す信号、或いは、撮像装置10の旋回操作中に1回だけ補正値の初期化要求に応じて、当該撮像装置10の旋回操作が終了するまでの間に、上記補正値の初期化処理を1回行うものとしたが、旋回制御部15から上記制御部9に対して、例えば、図14(A)示すように、旋回操作中であることを示す信号を送り、あるいは、図14(B)示すように、旋回操作の開始時に初期化要求を行い、また、旋回操作の終了時に初期化解除要求を行うようにして、当該撮像装置10の旋回操作中に、上記補正値の初期化処理を行うようにすることもできる。
この場合、この撮像装置10では、制御部9による制御に基づいて、図15のフローチャートに示す手順にしたがった撮像動作が行われる。
すなわち、この撮像装置10では、撮像動作を開始すると、制御部9は、先ず、ステップST101において初期化要求の検出処理を行い、次のステップST102において合成撮像処理を行う。
ステップST101の初期化要求の検出処理では、制御部9は、図16のフローチャートに示すように、旋回制御部15から供給される当該撮像装置10の旋回操作中であることを信号、あるいは、初期化要求に基づいて、旋回が開始されたか否かを判定し(ステップST111)、その判定結果が「YES」、すなわち、撮像装置10の旋回が開始されると、補正値の初期化要求をセットして(ステップST112)、初期化要求の検出処理を終了する。また、制御部9は、上記ステップST111における判定結果が「NO」、すなわち、撮像装置10の旋回が開始されていない場合には、旋回制御部15から供給される当該撮像装置10の旋回操作中であることを信号、あるいは、初期化解除要求に基づいて、旋回が終了されたか否かを判定する(ステップST113)。そして、上記ステップST113における判定結果が「NO」、すなわち、撮像装置10が旋回中であれば、そのまま、初期化要求の検出処理を終了し、また、上記ステップST113における判定結果が「YES」、すなわち、撮像装置10の旋回が終了されると、補正値の初期化要求をクリアして(ステップST114)、初期化要求の検出処理を終了する。
次のステップST102では、上記のステップST2の同様な合成撮像処理を行う。
そして、次のステップST103では、上記のステップST3の同様な合成処理を行う。
次のステップST104では、上記ステップST4と同様に検波部6により検波処理を行う。
次のステップST105では、制御部9は、ステップST101の初期化要求の検出結果に基づいて、補正値の初期化要求の有無を判定する。
そして、このステップST105における判定結果が「YES」、すなわち、補正値の初期化要求がある場合には、ステップST106において、上記ステップST6−1と同様な補正値の初期化処理を行い、露光補正に用いる補正値を設定してから、次のステップST107に移って露光補正処理を行う。
また、上記ステップST105における判定結果が「NO」、すなわち、補正値の初期化要求がない場合には、そのままステップST107に移って露光補正処理を行う。
ステップST107では、上記ステップST7と同様な露光補正処理を行う。
そして、ステップST108では、上記ステップST8と同様な露光制御処理を行う。
すなわち、制御部9は、図17のフローチャートに示すように、補正値の初期化処理を行い(ステップST201)、シーンチェンジの開始であるか否かの判定処理を繰り返し行い(ステップST202)、シーンチェンジの開始になると補正値の初期化処理を行い(ステップST203)、シーンチェンジの終了であるか否かを判定して(ステップST204)、シーンチェンジの終了まで補正値の初期化処理を繰り返し行い、シーンチェンジの終了になると上記シーンチェンジの開始であるか否かを判定処理に戻るようにして、撮像装置10の撮像動作を制御している。
ここで、上記撮像装置10における制御部9は、旋回制御部15から供給される旋回操作を示す信号に応じて露光補正に用いる補正値をシーンチェンジ中に初期化して、露光補正制御を行うようにしたが、例えば、旋回速度情報やズーム操作信号などを検出し、上述のステップST5の補正値の初期化要求の有無を判定する際に、所定の速度以上で旋回操作やズーム操作が行われたか否かを判定して、所定の速度以上で旋回操作やズーム操作が行われた場合に上述のステップST6で露光補正に用いる補正値をシーンチェンジ中に初期化して、露光補正制御を行うようにしてもよい。
また、上記撮像装置10の設置場所の窓の設けられているブラインドの開閉状態を示すブラインド開閉信号を検出して、露光補正に用いる補正値をシーンチェンジ中に初期化して、露光補正制御を行うようにすることもできる。
さらに、例えば、図18に示すように、ネットワーク50を介して制御センター60から送られてくる制御情報により動作が制御される監視用のネットワークカメラとして上記撮像装置10を用いる場合には、制御センター60から制御情報に応じて、露光補正に用いる補正値をシーンチェンジ中に初期化して、露光補正制御を行うようにすることもできる。
また、この撮像装置10において、本発明に係る撮像制御プログラムは、上述した制御部9の処理のプログラム、すなわち、図4〜図6、図8〜図12、図15〜図17のような各種処理をマイクロコンピュータ(演算処理装置)である制御部9に実行させるプログラムである。
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROMやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
なお、この撮像装置10は、合成撮像モードと通常撮像モードの両方の動作モードを備えるものであるが、本発明は、通常撮像モードを持たず、合成撮像モードのみで機能する撮像装置に対しても有効である。
以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。
例えば本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至るまでのモニタリング中に、各フィールド期間で上述のような露光制御(短時間露光時間の制御)を行えばよい。
また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。
もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに1回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。
本発明を適用した構成の撮像装置の構成を示すブロック図である。 上記撮像装置における長時間露光と短時間露光の説明図である。 上記撮像装置における合成処理の説明図である。 上記撮像装置の動作を示すフローチャートである。 上記撮像装置における補正値の初期化要求の検出処理の手順を示すフローチャートである。 上記撮像装置における検波処理の手順を示すフローチャートである。 上記検波処理で作成する輝度ヒストグラムの説明図である。 上記撮像装置における露光補正値の初期化処理の手順を示すフローチャートである。 上記撮像装置における露光補正処理の手順を示すフローチャートである。 上記露光補正処理における黒つぶれ補正処理の手順を示すフローチャートである。 上記露光補正処理における白とび補正処理の手順を示すフローチャートである。 上記撮像装置における本発明の本質的な処理手順を示すフローチャートである。 上記撮像装置の制御部に旋回制御部から送られてくる信号の一例を示すタイムチャートである。 上記撮像装置の制御部に旋回制御部から送られてくる信号の他の例を示すタイムチャートである。 上記撮像装置の他の動作例を示すフローチャートである。 上記撮像装置の他の動作例における補正値の初期化要求の検出処理の手順を示すフローチャートである。 上記撮像装置の他の動作例における本発明の本質的な処理手順を示すフローチャートである。 本発明に係る撮像装置をネットワークカメラとして用いた実施形態を模式的に示す図である。 監視システムにおける撮像状況の説明に供する図である。
符号の説明
1 撮像光学系、1a 絞り、2 撮像素子部、3 前処理部、4 信号処理部、5 出力部、6 検波部、7 タイミングジェネレータ、8 光学部品駆動部、9 制御部、10 撮像装置、15 旋回制御部、50 ネットワーク、60 制御センター

Claims (21)

  1. 被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像部と、
    上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、
    上記合成画像信号についての輝度積算値を生成する検波部と、
    上記輝度積算値を用いて、上記撮像部の露光補正制御を行う制御部と
    を備え、
    上記制御部は、上記撮像部の露光補正に用いる補正値をシーンチェンジの間に初期化して、上記撮像部の露光補正制御を行うことを特徴とする撮像装置。
  2. 上記検波部は、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、
    上記制御部は、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像部の露光補正制御を行う
    ことを特徴とする請求項1記載の撮像装置。
  3. 上記制御部は、シーンチェンジの間に、上記撮像部の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行うことを特徴とする請求項2記載の撮像装置。
  4. 上記制御部は、シーンチェンジの間に、上記撮像部の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行うことを特徴とする請求項2記載の撮像装置。
  5. 上記制御部は、上記撮像部の旋回操作を示す信号に応じて上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行うことを特徴とする請求項1記載の撮像装置。
  6. 上記制御部は、上記撮像部のズーム操作を示す信号に応じて上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行うことを特徴とする請求項1記載の撮像装置。
  7. 上記制御部は、上記検波部により得られた輝度積算値の変化が所定値以上であったときに、上記撮像部の露光補正に用いる補正値を初期化して、上記撮像部の露光補正制御を行うことを特徴とする請求項1記載の撮像装置。
  8. 撮像手段により、被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像ステップと、
    上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップと、
    上記合成画像信号についての輝度積算値を生成する検波ステップと、
    上記輝度積算値を用いて露光補正制御を行う露光補正制御ステップと、
    を有し、
    上記露光補正制御ステップにおいて、上記撮像手段の露光補正に用いる補正値をシーンチェンジの間に初期化して、上記撮像手段の露光補正制御を行うことを特徴とする撮像制御方法。
  9. 上記検波ステップにおいて、上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し、
    上記露光補正制御ステップにおいて、上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像手段の露光補正制御を行う
    ことを特徴とする請求項8記載の撮像制御方法。
  10. 上記露光補正制御ステップにおいて、シーンチェンジの間に、上記撮像手段の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行うことを特徴とする請求項9記載の撮像制御方法。
  11. 上記露光補正制御ステップにおいて、シーンチェンジの間に、上記撮像手段の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行うことを特徴とする請求項9記載の撮像制御方法。
  12. 上記露光補正制御ステップにおいて、上記撮像手段の旋回操作を示す信号に応じて上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行うことを特徴とする請求項8記載の撮像制御方法。
  13. 上記露光補正制御ステップにおいて、上記撮像手段のズーム操作を示す信号に応じて上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行うことを特徴とする請求項8記載の撮像制御方法。
  14. 上記露光補正制御ステップにおいて、上記検波ステップで得られた輝度積算値の変化が所定値以上であったときに、上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行うことを特徴とする請求項8記載の撮像制御方法。
  15. 被写体からの入射光から撮像画像信号を生成するとともに、上記撮像画像信号として、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する撮像手段と、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段と、上記合成画像信号についての輝度積算値を生成する検波手段と、上記輝度積算値を用いて露光補正制御を行う露光補正制御手段とを備える撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、
    上記露光補正制御手段における上記撮像手段の露光補正に用いる補正値をシーンチェンジの間に初期化して、上記撮像手段の露光補正制御を行う露光補正制御ステップを有する制御方法をコンピュータに実行させることを特徴とする撮像制御プログラム。
  16. 上記検波手段により上記合成画像信号についての輝度積算値と輝度ヒストグラムを生成し検波ステップを有し、
    上記露光補正制御ステップにおいて、上記検波ステップで生成した上記輝度積算値と上記輝度ヒストグラムを用いて、上記撮像手段の露光補正制御を行う制御方法をコンピュータに実行させることを特徴とする請求項15記載の撮像制御プログラム。
  17. 上記露光補正制御ステップにおいて、シーンチェンジの間に、上記撮像手段の露光補正に用いる黒つぶれ補正を行うための補正値である目標輝度積算値を最小値とする初期化処理を行う制御方法をコンピュータに実行させることを特徴とする請求項16記載の撮像制御プログラム。
  18. 上記露光補正制御ステップにおいて、シーンチェンジの間に、上記撮像手段の露光補正に用いる白つぶれ補正を行うための補正値である目標短時間露光時間を最大値とする初期化処理を行う制御方法をコンピュータに実行させることを特徴とする請求項16記載の撮像制御プログラム。
  19. 上記露光補正制御ステップにおいて、上記撮像手段の旋回操作を示す信号に応じて上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行う制御方法をコンピュータに実行させることを特徴とする請求項15記載の撮像制御プログラム。
  20. 上記露光補正制御ステップにおいて、上記撮像手段のズーム操作を示す信号に応じて上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行う制御方法をコンピュータに実行させることを特徴とする請求項15記載の撮像制御プログラム。
  21. 上記露光補正制御ステップにおいて、上記検波ステップで得られた輝度積算値の変化が所定値以上であったときに、上記撮像手段の露光補正に用いる補正値を初期化して、上記撮像手段の露光補正制御を行う制御方法をコンピュータに実行させることを特徴とする請求項15記載の撮像制御プログラム。
JP2007255209A 2007-09-28 2007-09-28 撮像装置、撮像制御方法及び撮像制御プログラム Expired - Fee Related JP4438847B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007255209A JP4438847B2 (ja) 2007-09-28 2007-09-28 撮像装置、撮像制御方法及び撮像制御プログラム
TW097131768A TWI394442B (zh) 2007-09-28 2008-08-20 影像捕捉裝置、影像捕捉方法及其程式
US12/195,493 US8063946B2 (en) 2007-09-28 2008-08-21 Short exposure time which is combined with a long exposure time in acccordance with a scene change
EP08164972A EP2043043A1 (en) 2007-09-28 2008-09-24 Image pickup apparatus, image pickup method, and program therefor
KR20080094510A KR101482273B1 (ko) 2007-09-28 2008-09-26 촬상 장치, 촬상 방법, 및 기록 매체
CNA2008101659769A CN101399922A (zh) 2007-09-28 2008-09-27 图像摄取装置、图像摄取方法及其程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007255209A JP4438847B2 (ja) 2007-09-28 2007-09-28 撮像装置、撮像制御方法及び撮像制御プログラム

Publications (2)

Publication Number Publication Date
JP2009088929A true JP2009088929A (ja) 2009-04-23
JP4438847B2 JP4438847B2 (ja) 2010-03-24

Family

ID=40344482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007255209A Expired - Fee Related JP4438847B2 (ja) 2007-09-28 2007-09-28 撮像装置、撮像制御方法及び撮像制御プログラム

Country Status (6)

Country Link
US (1) US8063946B2 (ja)
EP (1) EP2043043A1 (ja)
JP (1) JP4438847B2 (ja)
KR (1) KR101482273B1 (ja)
CN (1) CN101399922A (ja)
TW (1) TWI394442B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011019358A1 (en) * 2009-08-14 2011-02-17 Hewlett-Packard Development Company, L.P. Reducing temporal aliasing
JP2011259375A (ja) * 2010-06-11 2011-12-22 Olympus Imaging Corp 撮像装置、撮像システム、撮像方法
JP2013097082A (ja) * 2011-10-31 2013-05-20 Hitachi Ltd 画像信号処理装置
JP2015033064A (ja) * 2013-08-05 2015-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR101604068B1 (ko) 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
JP2017153154A (ja) * 2017-05-24 2017-08-31 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4341691B2 (ja) 2007-04-24 2009-10-07 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
JP4424402B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
JP4424403B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP4561912B2 (ja) * 2008-09-12 2010-10-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
DE102008058671B4 (de) * 2008-10-03 2011-04-07 ASTRA Gesellschaft für Asset Management mbH & Co. KG Verfahren zur Steuerung einer Videoüberwachungseinrichtung
KR101633460B1 (ko) * 2009-10-21 2016-06-24 삼성전자주식회사 다중 노출 제어 장치 및 그 방법
US8730384B2 (en) 2010-06-03 2014-05-20 Apple Inc. Systems, methods, and devices for flash exposure control using preflash statistics
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
TWI520602B (zh) 2011-02-15 2016-02-01 佳能企業股份有限公司 曝光參數補正方法及成像裝置
US9264760B1 (en) * 2011-09-30 2016-02-16 Tribune Broadcasting Company, Llc Systems and methods for electronically tagging a video component in a video package
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法
JP6082274B2 (ja) * 2012-06-08 2017-02-15 キヤノン株式会社 撮像装置、及びその制御方法
CN104182721A (zh) * 2013-05-22 2014-12-03 华硕电脑股份有限公司 提升人脸识别率的图像处理***及图像处理方法
CN104639920B (zh) * 2013-11-13 2018-01-26 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
CN103997590B (zh) 2014-06-13 2018-04-20 广州广电运通金融电子股份有限公司 一种图像校准方法及装置
JP2016006930A (ja) * 2014-06-20 2016-01-14 ソニー株式会社 撮像装置および撮像方法
JP6444073B2 (ja) * 2014-06-25 2018-12-26 キヤノン株式会社 画像処理装置
US10498971B2 (en) * 2017-11-03 2019-12-03 Qualcomm Incorporated Systems and methods for high-dynamic range imaging
CN111131719B (zh) * 2019-12-09 2021-07-13 北京空间机电研究所 一种视频流水线的处理方法及装置
EP4075790B1 (en) * 2021-04-13 2023-04-05 Axis AB Exposure time control in a video camera

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5194960A (en) * 1990-03-05 1993-03-16 Konica Corporation Optical image signal control device
JP3074967B2 (ja) 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
JPH1023324A (ja) 1996-07-03 1998-01-23 Matsushita Electric Ind Co Ltd 撮像装置
JP3780045B2 (ja) 1996-11-26 2006-05-31 キヤノン株式会社 カメラ制御システム及びカメラ制御システムの制御方法
JP3805094B2 (ja) * 1998-01-16 2006-08-02 松下電器産業株式会社 固体撮像装置
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP4250263B2 (ja) 1999-07-06 2009-04-08 キヤノン株式会社 撮像装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2002084449A (ja) 2000-09-08 2002-03-22 Sanyo Electric Co Ltd 固体撮像素子を用いた撮像装置
JP4399693B2 (ja) 2000-09-21 2010-01-20 ソニー株式会社 撮像装置
JP3801126B2 (ja) 2002-09-25 2006-07-26 ソニー株式会社 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP2005124039A (ja) 2003-10-20 2005-05-12 Seiko Epson Corp 露出制御装置および露出制御方法
JP4438065B2 (ja) 2004-11-17 2010-03-24 キヤノン株式会社 撮影制御システム
US7538794B2 (en) * 2005-01-31 2009-05-26 Hewlett-Packard Development Company, L.P. Method and apparatus for motion estimation in a digital imaging device
US7643062B2 (en) * 2005-06-08 2010-01-05 Hewlett-Packard Development Company, L.P. Method and system for deblurring an image based on motion tracking
JP2007255209A (ja) 2006-03-20 2007-10-04 Toyota Motor Corp 内燃機関の排気浄化装置
JP4341691B2 (ja) 2007-04-24 2009-10-07 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011019358A1 (en) * 2009-08-14 2011-02-17 Hewlett-Packard Development Company, L.P. Reducing temporal aliasing
KR101604068B1 (ko) 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
JP2011259375A (ja) * 2010-06-11 2011-12-22 Olympus Imaging Corp 撮像装置、撮像システム、撮像方法
JP2013097082A (ja) * 2011-10-31 2013-05-20 Hitachi Ltd 画像信号処理装置
JP2015033064A (ja) * 2013-08-05 2015-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2017153154A (ja) * 2017-05-24 2017-08-31 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Also Published As

Publication number Publication date
KR101482273B1 (ko) 2015-01-14
TWI394442B (zh) 2013-04-21
EP2043043A1 (en) 2009-04-01
CN101399922A (zh) 2009-04-01
KR20090033082A (ko) 2009-04-01
JP4438847B2 (ja) 2010-03-24
US20090086085A1 (en) 2009-04-02
TW200917826A (en) 2009-04-16
US8063946B2 (en) 2011-11-22

Similar Documents

Publication Publication Date Title
JP4438847B2 (ja) 撮像装置、撮像制御方法及び撮像制御プログラム
JP4424403B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP4424402B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
JP4341691B2 (ja) 撮像装置、撮像方法、露光制御方法、プログラム
JP4306752B2 (ja) 撮像装置、測光方法、輝度算出方法、プログラム
JP4561912B2 (ja) 撮像装置、撮像方法及びプログラム
JP4770907B2 (ja) 撮像装置、撮像方法及びプログラム
JP4306750B2 (ja) 撮像装置、撮像方法、露光制御方法、プログラム
US8154619B2 (en) Imaging apparatus, imaging processing method, and imaging control program
JP4893569B2 (ja) 撮像装置、撮像制御方法及び撮像制御プログラム
JP2007049374A (ja) 撮像方法及び撮像装置
JP5257487B2 (ja) 撮像装置、撮像方法及びプログラム
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP5169540B2 (ja) 撮像装置および撮像方法
JP2021090119A (ja) 撮像装置、制御方法およびプログラム
JP2005184641A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091228

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees