JP4014620B2

JP4014620B2 - 撮像装置

Info

Publication number: JP4014620B2
Application number: JP2006118044A
Authority: JP
Inventors: 英寿福田; 実柿沼; 修稲垣; 岳二上島
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-04-21
Filing date: 2006-04-21
Publication date: 2007-11-28
Anticipated expiration: 2016-05-23
Also published as: JP2006254491A

Description

本発明は、固体撮像素子を用いたダイナミックレンジが広くとれる撮像装置に関するものである。

従来、固体撮像素子のダイナミックレンジを拡大することが嘱望されており、その為の種々の技術が提案されている。例えば、本出願人による特許文献１では、Ｘ−Ｙアドレス方式の固体撮像素子（CMD;Charge Modulation Device）を用い、積分時間を制御することで露光量の異なる２画面を読み出し、画像を補正する補正手段でダイナミックレンジの拡大を図る撮像装置に関する技術が開示されている。

さらに、本出願人による特許文献２では、異なる２回の読み出し動作を水平期間内に行うことで、１フレーム期間内に２種の露光時間の異なる画素信号を独立に得るＣＭＤに関する技術が開示されている。

ここで、図１１はＣＭＤの概念図である。同図において、１０１は垂直走査回路、１０２は水平走査回路、１０３は光電変換素子を画素として２次元に配列した受光部である。

以下、図１２のタイミングチャートを参照して、上記垂直走査回路１０１の動作を説明する。画像の垂直有効期間内に、垂直走査回路１０１において第１ラインから第ｎラインまで読み出し電圧ＶRDが順次印加される。次に、水平走査回路１０２において順次選択パルスが出力され、この電圧が印加されたラインの画素から信号が順次読み出される。１ラインの信号の読み出しが終了したラインはリセット電圧ＶRSが印加される。リセット電圧が印加されたラインの画素は蓄積された電荷がリセットされ、次の読み出し期間まで露光される。この動作が第１ラインから第ｎラインまで繰り返され、１画面の信号が読み出される。尚、ＶOFはオーバーフロー電圧であり、水平ブランキング期間中にこのＶOFを印加することにより信号として不要な正孔を掃き出している。

Ｘ−Ｙアドレス方式の固体撮像素子では、上記のように信号が読み出されるので、その露光タイミングは図１３に示されるようにライン毎にずれる縦方向のフォーカルプレーン方式となる。
特開平５−３０８５７３号公報特開平７−３８８１５号公報

しかしながら、前述した特許文献１により開示された撮像装置には、ストロボ等の光源を用いた場合の動作が記載されていない。ストロボ発光管２０の発光特性は、図１４に示されるように、発光後、直ちに立ち上がり発光初期に最大の光量となり、その後減衰する特性となっており、その発光時間もビデオレート（撮像素子がその面上に結像されている像を走査し、１画面を映像信号として出力する期間）と比較すると短い時間しかない。この為、ストロボ等の短時間発光の発光手段を用いた場合、どの領域が露光されているか不明であり、１画面の一部分しか露光されない等の欠点があった。

さらに、上記特許文献１に記載された撮像装置では、画像補正手段により露光量の異なる２画面から、ダイナミックレンジが拡大された画像を合成しており、露光量の異なる２画面を得る方法として積分時間を制御している。従って、露光量が積分時間に比例する場合は問題がないが、ストロボ等の短時間発光の発光手段を用いた場合は、露光量と露光時間は比例しないので画像補正手段による補正が適正に行われないといった欠点があった。

一方、特許文献２に記載された撮像素子でも、露光量の異なる画面を得る方法として露光期間を制御している。この場合も露光量が積分時間に比例する場合は問題がないが、ストロボ等の短時間発光の発光手段を用いた場合は、露光量と露光時間は比例しないので露光量の異なる画像が適正に得られないといった欠点があった。

さらに、露光量の異なる２画面から、ダイナミックレンジが拡大された画像を合成する手段は、２つの画面の露光量比を用いて合成を行うので、露光量比が予め設定した所定の値であれば正しく画像合成が行われる（具体的な合成方法については上記従来技術に詳細に記載されている）。通常動作では、露光期間を制御することにより露光量の異なる画像を得ているので、露光量比は一定に保たれているが、ストロボ等の発光手段は充電電圧のばらつき等から発光量にばらつきを生じる。この為、画像合成手段による画像合成に誤差が生じ画質が劣化するといった欠点があった。

本発明は、上記問題に鑑みてなされたもので、その目的とするところは、Ｘ−Ｙアドレス方式の固体撮像素子と発光手段を用いても適正な画像が得られる撮像装置を提供することにある。

上記目的を達成するために、本発明の第１の態様による撮像装置は、非破壊で画像信号を読み出すことが可能な固体撮像素子と、被写体に光を照射するストロボ発光管と、上記固体撮像素子を第１の蓄積時間で信号蓄積したのち非破壊で読み出し、第１の信号を得るための第１の制御手段と、上記第１の蓄積時間よりも長い第２の蓄積時間で信号蓄積したのち読み出し第２の画像信号を得るための第２の制御手段と、上記第１の蓄積時間に等しい間隔又は該第１の蓄積時間よりも短い間隔のいずれかで、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときの上記ストロボ発光管による光量比が上記第１の蓄積時間と上記第２の蓄積時間との比と同じになるような回数で、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときに上記ストロボ発光管を発光させる第３の制御手段とを具備することを特徴とする撮像装置。

即ち、本発明の第１の態様による撮像装置では、固体撮像素子は非破壊で画像信号を読み出すことが可能であり、ストロボ発光管により被写体に光が照射され、第１の制御手段により上記固体撮像素子が第１の蓄積時間で信号蓄積されたのち非破壊で読み出され、第１の信号が得られ、第２の制御手段により、上記第１の蓄積時間よりも長い第２の蓄積時間で信号蓄積されたのち読み出され第２の画像信号が得られ、第３の制御手段により上記第１の蓄積時間に等しい間隔又は該第１の蓄積時間よりも短い間隔のいずれかで、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときの上記ストロボ発光管による光量比が上記第１の蓄積時間と上記第２の蓄積時間との比と同じになるような回数で、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときに上記ストロボ発光管が発光させられる。
また、上記目的を達成するために、本発明の第２の態様による撮像装置は、非破壊で画像信号を読み出すことが可能な固体撮像素子と、被写体に光を照射するストロボ発光管と、上記固体撮像素子を第１の蓄積時間で信号蓄積したのち非破壊で読み出し、第１の信号を得るための第１の制御手段と、上記第１の蓄積時間よりも長い第２の蓄積時間で信号蓄積したのち読み出し第２の画像信号を得るための第２の制御手段と、上記第１の蓄積時間に等しい間隔又は該第１の蓄積時間よりも短い間隔のいずれかで、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときの上記ストロボ発光管による光量比が上記第１の蓄積時間と上記第２の蓄積時間における上記ストロボ発光管からの光以外の通常光による露光量比と同じになるような回数で、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときに上記ストロボ発光管を発光させる第３の制御手段とを具備することを特徴とする。
即ち、本発明の第２の態様による撮像装置では、固体撮像素子は非破壊で画像信号を読み出すことが可能であり、ストロボ発光管により被写体に光が照射され、第１の制御手段により上記固体撮像素子が第１の蓄積時間で信号蓄積されたのち非破壊で読み出され、第１の信号が得られ、第２の制御手段により、上記第１の蓄積時間よりも長い第２の蓄積時間で信号蓄積されたのち読み出され第２の画像信号が得られ、第３の制御手段により上記第１の蓄積時間に等しい間隔又は該第１の蓄積時間よりも短い間隔のいずれかで、第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときの上記ストロボ発光管による光量比が上記第１の蓄積時間と上記第２の蓄積時間における上記ストロボ発光管からの光以外の通常光による露光量比と同じになるような回数で、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときに上記ストロボ発光管を発光させられる。

本発明によれば、ストロボ等の短時間発光の発光手段を用いた場合でも、露光量の異なる２画面を得ることができるので、ダイナミックレンジの拡大された画像が得られる。また、通常の動画レートで画像が得られる。また、ストロボによる光量比と露光期間の比が同じなので、ストロボ発光管の光の届く（露光量が発光量に依存する）被写体と発光手段の光量の届かない（露光量が露光期間に依存する）背景において、各々露光量比が等しいので、被写体と背景の両方において適正なダイナミックレンジが拡大された画像を得ることができる。

以下、図面を参照して、本発明の実施の形態について説明する。図１は本発明の第１の実施の形態に係る撮像装置の構成を示す図である。同図に示されるように、被写体光を撮像素子３の面上に結像させるべくレンズ１が配設されており、該レンズ１と撮像素子３の間の光路上には光学フィルタ２が配設されている。この光学フィルタ２は、被写体光より不要な高周波成分を除去する光学ＬＰＦ(Low Pass Filter) や不要な赤外成分を除去するＩＲカットフィルタで構成されている。撮像素子３は、上記レンズ１、光学フィルタ２を介して入射された光を光電変換し、電気信号として出力する。本実施の形態では、撮像素子３の面上にオンチップのカラーフィルタが設けられている。

上記撮像素子３の出力はプリアンプ４、Ａ／Ｄ変換器５を介して固定パターンノイズ（ＦＰＮ）キャンセラ７に接続されている。プリアンプ４は、撮像素子３からの信号を増幅し、オプチカルブラック（ＯＢ）クランプの処理を行い、後段のＡ／Ｄ変換器５の入力レベルに合わせるものである。Ａ／Ｄ変換器５は、入力される撮像処理からのアナログ信号をデジタル信号に変換するものである。ＦＰＮキャンセラ７は、撮像素子３が有するＦＰＮを除去するものである。

上記ＦＰＮキャンセラ７の出力は、１画面分の画像データを記憶するメモリ２２と色処理回路９の入力にそれぞれ接続されており、該色処理回路９の出力はホワイトバランス回路１０ｒ，１０ｇ，１０ｂを介してモニタＩ／Ｆ１２に接続されている。上記色処理回路９は、撮像素子３の面上に構成されたカラーフィルタの配列に従って処理を行いＲ，Ｇ，Ｂの信号に分離して出力するものである。上記ホワイトバランス回路１０ｒ，１０ｇ，１０ｂは、色処理回路９から出力される各Ｒ，Ｇ，Ｂの信号に所定の係数を掛けて色のバランスをとるものである。上記モニタＩ／Ｆ１２は、ホワイトバランス回路１０ｒ，１０ｇ，１０ｂからの信号を不図示の表示系（モニタ）の規格に合うように変換して出力するためのものである。本実施の形態では、入力されるデジタル信号をＤ／Ａ変換器でアナログ信号にして、同期信号を付加する一般的な手法がとられる。

一方、上記撮像素子３にはセンサ駆動回路１７が接続されており、更に該センサ駆動回路１７の出力は発光制御回路１８、発光駆動回路１９を介してストロボ発光管２０に接続されている。上記センサ駆動回路１７は、撮像素子３の動作を制御するものである。発光制御回路１８は、システムコントローラ１６からの発光許可信号（Ｓ_-ＥＮ）に基づいて発光信号（Ｓ_-ＰＵＬＳＥ）を出力し、ストロボ発光管２０の発光のタイミングと発光量を制御するものである。

なお、ストロボ光の発光量はストロボ発光管の発光開始から発光終了に至るまでの時間を制御することにより、制御する。すなわち、上記時間が短いと発光量は少なく、上記時間が長いと発光量が多くなる。ここで、所望の発光量を得るための発光時間は発光駆動回路１９で生成されるが、この発光時間を得るためのもとになる時間幅をもつパルスであってもよいし、発光時間に相応した波高値をもつパルスであってもよい。もちろん、後者の場合、パルス電圧の値からパルス間隔に変換するためのデコーダを設ける必要がある。

発光駆動回路１９は上記Ｓ_-ＰＵＬＳＥに基づきストロボ発光管を発光させるための駆動回路である。ストロボ発光管２０は、被写体に光を照射するものである。以下の説明では、上記発光制御回路１８、発光駆動回路１９、ストロボ発光管２０を含んだ構成を単に「ストロボ」と称する。上記各部の動作はシステムコントローラ１６により制御される。

次に上記した構成の第１の実施の形態に係る撮像装置の動作を説明する。先ず、通常撮影時の動作を説明する。上記構成に於いて、被写体光はレンズ１を介して入射され、光学フィルタ２により不要な高周波成分と赤外成分が除去された後に、撮像素子３面上に結像される。撮像素子３は入射された光学像を受光し、電気信号に変換し、後段のプリアンプ４に出力する。このとき、センサ駆動回路１７は、撮像素子３の水平走査回路、垂直走査回路を駆動するための各種パルスを撮像素子３に出力し、該撮像素子３の画素を走査して映像信号をプリアンプ４に読み出すようにしている。

上記プリアンプ４に入力された信号は増幅ＯＢクランプ処理が行われた後、Ａ／Ｄ変換器５でデジタル信号に変換される。こうして変換されたデジタル信号は、ＦＰＮキャンセラ７で撮像素子３が有する固定パターンのノイズが除去された後に色処理回路９に入力される。この色処理回路９では、撮像素子３の素子面上に構成されたオンチップのカラーフィルタの配列に従って色処理がなされ、Ｒ，Ｇ，Ｂの信号形態に変換されて出力される。尚、色処理の方法についてはカラーフィルタの種類及び配列毎に種々の方法があるが、その処理内容は本発明に関わる部分ではないので、ここでは限定しないこととする。

上記色処理回路９から出力された信号は、ホワイトバランス回路１０により、Ｒ，Ｇ，Ｂの各信号に所定のゲインが掛けられ色のバランスがとられてモニタＩ／Ｆ１２に出力される。そして、モニタＩ／Ｆ１２は、不図示の表示系（モニタ）の規格に合う形態で出力するために入力されるデジタル信号をＤ／Ａ変換器でアナログ信号に変換した後、同期信号を付加して出力する。システムコントローラ１６は、ユーザインタフェースとしての操作部、該操作部の設定に従って装置の動作モードを管理するＣＰＵ等から構成されており、通常は上記動作に従って被写体像がモニタに映し出されている。

続いて、ストロボ動作時の動作を説明する。一般に、被写体像が暗い場合は適正な露光が得られず、光源による照明光が必要になってくる。そこで、ストロボ発光が必要となる。光源としてのストロボ発光管２０には例えばキセノンストロボ発光管が用いられ、発光駆動回路１９により駆動される。発光駆動回路１９には、ストロボ発光管２０の発光や停止、発光時間の制御を行う発光制御回路１８が接続されている。発光制御回路１８は、センサ駆動回路１７からの基準信号及びシステムコントローラ１６からの発光許可信号（Ｓ_-ＥＮ）により、発光信号（Ｓ_-ＰＵＬＳＥ）を作成し、発光駆動回路１９へ供給するようになっており、ストロボ回路２０の発光タイミング、発光量は発光制御回路１８により制御される。

次に図２を参照して発光制御回路１８の動作を詳細に説明する。図２（ａ）はフィールドの基準となる信号Ｖ_-ＢＬＡＮＫを示し、図２（ｂ）はラインの基準となる信号Ｈ_-ＢＬＡＮＫを示し、図２（ｃ）は第１乃至第ｎラインの読み出し及び露光タイミングを示している。尚、前述したように、Ｘ−Ｙアドレス型の固体撮像素子３の露光タイミングは、ライン毎にずれる縦方向のフォーカルプレーン方式となっている。ユーザーから不図示の操作部を操作することによりストロボ撮影を指示すると、システムコントローラ１６は、全画素が露光可能な垂直ブランキング期間内に発光制御回路１８に図２（ｄ）に示される発光許可信号Ｓ_-ＥＮを出力する。

発光制御回路１８は、この発光許可信号Ｓ_-ＥＮを受け取ると、センサ駆動回路１７からの基準信号Ｖ_-ＢＬＡＮＫ，Ｈ_-ＢＬＡＮＫに基づいて図２（ｅ）に示す発光信号Ｓ_-ＰＵＬＳＥを発光駆動回路１９に出力する。発光駆動回路１９は発光信号Ｓ_-ＰＵＬＳＥによりストロボ発光管２０を駆動するので、該ストロボ発光管２０は発光信号Ｓ_-ＰＵＬＳＥのタイミングで発光する。

また、ストロボ発光管２０が発光して適正な露光が得られる画像は、ストロボ発光管２０が発光した時に露光している画素のみで、次にリセット電圧ＶRSが加えられると、ストロボ発光を伴わない以後の、通常の露光においては適正露光が得られなくなる。この為、図２（ｆ）に示されるように、適正露光が得られた画像信号をメモリ２２に順次記憶する。そして、１画面の信号が記憶されたら次のタイミングから、このメモリ２２に記憶された信号を出力する。これにより、適正露光で得られた画像が、静止画表示されることになる。

以上説明した第１の実施の形態によれば、ＣＭＤ等のＸ−Ｙアドレス方式の固体撮像素子とストロボ等の短時間発光の発光部を用いた場合でも適正な画像が得られるといった効果がある。

次に図３には第２の実施の形態に係る撮像装置の構成を示し説明する。尚、第１の実施の形態と同じ構成・作用については説明を省略する。同図に示されるように、この実施の形態では、ＦＰＮキャンセラ７の出力が同時化メモリ２１を介して、又は直接的に濃度接続回路８に接続されており、該濃度接続回路８の出力が色処理回路９、ホワイトバランス回路１０ｒ，１０ｇ，１０ｂ、圧縮回路１１ｒ，１１ｇ，１１ｂを介してモニタＩ／Ｆ１２に接続されている。さらに、上記ホワイトバランス回路１０ｒ，１０ｇ，１０ｂの出力が輝度生成回路１３、圧縮率生成回路１４を介して上記圧縮回路１１ｒ，１１ｇ，１１ｂに接続されている。そして、上記輝度生成回路１３の出力はフレームメモリ１５を介してシステムコントローラ１６にも接続されている。その他の構成は前述した第１の実施の形態と同様である。

上記濃度接続回路８は、露光量の異なる２画面の画像データを合成し、１画面のダイナミックレンジが拡張された画像データを作成する。圧縮回路１１ｒ，１１ｇ，１１ｂは、ダイナミックレンジが拡張された画像データを不図示の表示系（モニタ）のダイナミックレンジまで圧縮する。輝度生成回路１３は、ダイナミックレンジが拡張された各色信号（ＲＧＢ）から輝度信号を作成する。圧縮率生成回路１４は、システムコントローラ１６からの圧縮係数と輝度信号から圧縮率を生成する。フレームメモリ１５は、１画面分の輝度信号を記憶し、システムコントローラに出力する。同時化メモリ２１は、１フィールド分の画像データを記憶する。尚、この実施の形態では、２画面を合成する手段は、濃度接続回路８、圧縮回路１１、輝度生成回路１３、圧縮率生成回路１４で構成されているが、これに限定されることなく、例えば濃度接続回路８とルックアップテーブルでも構成することができることは勿論である。

以下、図４を参照して第２の実施の形態における発光制御回路１８の動作について詳細に説明する。図４（ａ）はフィールドの基準となる信号Ｖ_-ＢＬＡＮＫを示し、図４（ｂ）はラインの基準となる信号Ｈ_-ＢＬＡＮＫを示し、図４（ｃ）は第１乃至第ｎラインの読み出し及び露光タイミングを示している。ユーザーが不図示の操作部を操作してストロボ撮影を指示すると、システムコントローラ１６は発光制御回路１８に発光許可信号Ｓ_-ＥＮを出力する（図４（ｄ）参照）。

発光制御回路１８は、発光許可信号Ｓ_-ＥＮを受け取ると、センサ駆動回路１７からの基準信号Ｖ_-ＢＬＡＮＫ，Ｈ_-ＶＬＡＮＫに基づいて、奇数フィールドで全画素が露光している期間に発光量の小さな発光を行わせる発光信号Ｓ_-ＰＵＬＳＥを出力し、偶数フィールドで全画素が露光している期間に発光量の大きな発光を行わせる発光信号Ｓ_-ＰＵＬＳＥを出力する（図４（ｅ）参照）。

発光駆動回路１９は、発光信号Ｓ_-ＰＵＬＳＥによりストロボ発光管２０を駆動するので、ストロボ発光管２０は、奇数フィールドでは光量の小さい発光を行い、偶数フィールドでは光量の大きな発光をする。これにより、奇数フィールドと偶数フィールドで露光量の異なる２画面が得られる。

ＦＰＮキャンセラ７で撮像素子３の有する固定パターンノイズが除去された信号は、奇数フィールド時は同時化メモリ２１に記憶される。偶数フィールド時はＦＰＮキャンセラ７からの信号は濃度接続回路８に出力されると共に、センサ駆動回路１７のタイミングと同期して奇数フィールドの画像データが同時化メモリ２１から読み出され濃度接続回路８に出力される（図４（ｆ）参照）。

濃度接続回路８には露光量の異なる奇数フィールドの信号と偶数フィールドの信号が入力され、２つの信号からダイナミックレンジの拡大された画像を合成し、色処理回路９に出力する。尚、撮像素子３の蓄積時間の異なる２つの画像信号からダイナミックレンジの拡大された画像を合成するための動作は、本出願人による特開平５−３０８５７３号公報に詳細に記載されているため、ここでは詳細な説明は省略する。

ホワイトバランス回路１０からの出力は、圧縮回路１１に入力されると共に輝度生成回路１３に入力される。輝度生成回路１３は、Ｒ，Ｇ，Ｂの各信号から輝度信号を生成し、圧縮率生成回路１４に入力されると共にフレームメモリ１５に入力され、該フレームメモリ１５では１画面の画像データが記憶される。

その後、システムコントローラ１６からの読み出しに従って記憶した画像データを出力する。システムコントローラ１６は、撮影された画像の輝度信号から適切な圧縮係数を求めて、圧縮率生成回路１４に出力する。

この圧縮率生成回路１４は、輝度生成回路１３からの輝度信号とシステムコントローラ１６からの圧縮係数により、圧縮率を生成した圧縮回路１１に出力する。圧縮回路１１は、ホワイトバランス１０からの信号に圧縮率生成回路１４からの圧縮率を掛けてモニタＩ／Ｆに出力する。これにより、ダイナミックレンジが拡大された画像がモニタに表示されることになる。

以上説明した第２の実施の形態によれば、Ｘ−Ｙアドレス方式の固体撮像素子と、ストロボ等の短時間発光の発光部を用いた場合でも、奇数フィールドは露光量の小さい画像が得られ、偶数フィールドは露光量の大きな画像が得られ、同時化メモリでタイミングを合わすことで露光量の異なる２画面が得ることができるので画像合成部により、ダイナミックレンジの拡大された画像が得られる。

尚、第２の実施の形態の奇数フィールドと発光量の関係を逆にしても同様の効果が得られるとは自明である。また、上記第２の実施の形態においては、２回の露光による画像による合成について述べたが、それ以上の回数の露光を行って画像を合成してもよいことは勿論である。

尚、本実施例はストロボ光に比べ自然光が無視できる程度の明るさであるときに適用される。自然光が明るいと、奇数フィールドと偶数フィールドにおけるストロボ光の明るさの比は既定値であっても蓄積電荷の比は既定値通りにならないが、これは次に説明する第３の実施の形態により解決される。

次に図５には第３の実施の形態に係る撮像装置の構成を示し説明する。尚、第２の実施の形態と同じ構成・作用については説明を省略する。同図に示されるように、第３の実施の形態では、Ａ／Ｄ変換器５の出力が同時化回路６の入力に接続されており、該同時化回路６の出力がＦＰＮキャンセラ７ａ，７ｂを介して濃度接続回路８の入力に接続されている点で上記第２の実施の形態と相違する。

この同時化回路６は、水平期間内に時間軸圧縮されて読み出される２画面のタイミングを合わせるものである。センサ駆動回路１７は、１フィールド期間内に露光量の異なる２画面を独立して得るように撮像素子３を駆動している。原理的な詳細は、特開平７−３８８１５号公報に詳細に記載されているため、ここでは詳細な説明を省略する。

以下、図６（ａ）乃至（ｃ）を参照して第３の実施の形態における発光制御回路１８の動作を説明する。リセット電圧ＶRSが加えられたラインは、蓄積された電荷がリセットされ露光が開始される。その後、一定期間（４Ｈ）後にリード電圧ＶRDが加えられ信号が読み出される。これにより、露光期間が４Ｈの信号が読み出される。この読み出しは非破壊で行うのでリセット電圧を加えず露光を続ける。

その後、１フィールドの期間後に再度リード電圧ＶRDを加え信号読み出しを行う。これにより、露光期間が１フィールドの信号が読み出される。この読み出し後にリセット電圧ＶRDを加え蓄積された電荷をリセットする。

この図６から明らかなように、非破壊で行う短期間露光の読み出しと４ライン後の長期間露光の読み出しは同時に行う必要がある。そこで、１水平期間内を時分割し前半の期間に短露光期間の読み出しを倍速で行わせ、後半の期間に長時間露光の読み出し動作を倍速で行わせる。これにより、１水平期間内に露光量の異なる２画面の信号が時分割して読み出される。Ａ／Ｄ変換器５によりデジタル信号に変換された画像データは、同時化回路６により短露光期間の信号と長露光期間の信号のタイミングが同じになるように変換される。

実際の動作は、ラインメモリを用いて時間軸圧縮されている水平方向の時間軸を戻す。さらに、フィールドメモリを用いて垂直時間軸のずれを合わす。その後、各信号は、個々のＦＰＮキャンセラ７に入力され、撮像素子３の固定パターンノイズが除去されて濃度接続回路８に入力される。これにより、通常の動画レートによりダイナミックレンジの拡大された信号が得られる。

次に図７（ａ）乃至（ｅ）を参照して本撮像装置においてストロボ発光管２０を用いる場合の動作について説明する。ここでは、一例として短露光期間４Ｈの場合を説明する。発光制御回路１８は、システムコントローラ１６からの発光許可信号Ｓ_-ＥＮを受け取ると、センサ駆動回路１７からの基準信号に基づき、フィールドの開始から４Ｈ後に発光信号Ｓ_-ＰＵＬＳＥを出力する。その後、約２フィールド期間にわたって４Ｈ間隔で発光信号を出力する。

まず、短露光期間の信号読み出しについて説明する。最初の発光は、第１ライン目から第４ライン目の画素の短露光期間内なので、第１ラインから第４ラインまでが最初の発光により露光される。次に、２番目の発光により、第５ライン目から第８ライン目までが露光される。同様の動作を繰り返しｎ／４（ｎはラインの総数）番目の発光により第（ｎ−３）ライン目から第ｎライン目までが露光される。この動作により各ラインの非破壊で行う短時間露光の読み出し信号は、それぞれ１回の発光により露光されている。

次に長露光期間の信号読み出しについて説明を行う。第１ラインから第４ラインまでは、最初の発光から読み出し２までの間の発光つまり１番目〜（ｎ／４）＋１番目の発光により、順次露光が繰り返される。次に、第５ライン目から第８ライン目までは、２番目の発光から（ｎ／４）＋２番目の発光まで順次露光が繰り返される。同様の動作が各ラインについて行われるので、全てのラインの露光は（ｎ／４）＋１回の同じ回数の発光により露光される。

このようにして、非破壊で行う短露光期間の信号と通常の読み出しの長露光期間の信号は、各露光期間内のストロボ発光管２０の発光回数が一定の比率で異なる。これにより、露光量の異なる２画面が得られ、露光量比は短露光期間と長露光期間との比になり、この比は自然光の明るさの影響の小さい狙い通りの値になる。尚、上記においては発光間隔を短露光期間としたが、これより短い間隔で発光されてもよく、さらに発光間隔を短くして実質的に連続発光としてもよい。

以上説明した第３の実施の形態によれば、Ｘ−Ｙアドレス方式の固体撮像素子と、信号を非破壊で読み出して短い信号蓄積時間の信号を得る非破壊読み出し部と、相対的に長い信号蓄積時間の信号を得る読み出し部において、ストロボ等の短時間発光の発光手段を用いた場合でも、露光量の異なる２画面を得ることができるので画像合成部により、ダイナミックレンジの拡大された画像が得られる。また、通常の動画レートで画像が得られる。また、ストロボによる光量比と露光期間の比が同じなので、ストロボ発光管２０の光の届く（露光量が発光量に依存する）被写体と発光手段の光量の届かない（露光量が露光期間に依存する）背景において、各々露光量比が等しいので画像合成手段により被写体と背景の両方において適正なダイナミックレンジが拡大された画像を得ることができる。

次に図８には第４の実施の形態に係る撮像装置を示し説明する。第１乃至第３の実施の形態と同じ構成、作用については説明を省略する。同図に示されるように、第４の実施の形態では、Ａ／Ｄ変換器５の出力は同時化回路６を介してＦＰＮキャンセラ７ａ，７ｂの入力に接続されており、該ＦＰＮキャンセラ７ａの出力は直接的に濃度接続回路８に接続され、ＦＰＮキャンセラ７ｂの出力は補正回路２４を介して濃度接続回路８に接続されている。

さらに、上記ＦＰＮキャンセラ７ａ，７ｂの出力は検出回路２３にも接続されており、該検出回路２３の出力は補正回路２４に接続されている。その他の構成は前述した第３の実施の形態と同様である。尚、検出回路２３は、露光量の異なる２画面の画像データから発光量のばらつきを検出するものである。補正回路２４は、検出回路２３で得られた信号に基づいて、画像データを補正するものである。

このような構成において、ＦＰＮキャンセラ７からの信号は、検出回路２３に取り込まれる。検出回路２３は短露光期間の信号と長露光期間の信号のそれぞれの画像データの（例えば１Ｈ期間）平均値を演算する。この２つの平均値の比と露光時間の比の比を補正係数として、補正回路２４に出力する。補正回路２４は、補正係数を画像データに乗じて濃度接続回路８に出力する。以上により、短露光期間の信号と長露光期間の信号の比が露光時間の比と同じになり、発光量のばらつきが補正される。

以上説明したように、第４の実施の形態によれば、Ｘ−Ｙアドレス方式の固体撮像素子と、ストロボ等の短時間発光の発光手段を用いた場合でも、所望の露光量の異なる２画面を得ることができるので画像合成部により、ダイナミックレンジの拡大され画像が得られる。また、発光部の発光量のばらつきを検出する検出回路２３と画像データを補正する補正回路２４を備えていることにより、合成部による画像合成が適正に行われるので画質の劣化を防げる。また、前記検出回路２３は、実際に合成に用いる画像データを用いて演算を行い発光ムラを検出しているので、検出精度が高く正確な補正ができる。

次に図９には本発明の第５の実施の形態に係る撮像装置を示し説明する。第１乃至第４の実施の形態と同じ構成、作用については省略する。同図に示されるように、この実施の形態は、被写体からの光を受光し電気信号に変換し検出回路２３に出力する受光素子２５を有する。そして、ＦＰＮキャンセラ７ａ，７ｂの出力は検出回路２３に接続されていない。その他の構成は第４の実施の形態と同様である。

このような構成において、受光素子２５は、撮像素子３の駆動タイミングと同期して、それぞれの露光期間の露光量を積分し露光量に比例する電気信号に変換して、検出回路２３に出力する。検出回路２３は、入力される電気信号と基準値との比を補正係数として補正回路２４に出力する。補正回路２４は、補正係数を画像データに乗じて、濃度接続回路８に出力する。

以上説明した第５の実施の形態では、前記検出回路２３は、受光素子２５からの信号を用いて発光ムラを検出しているので、上記第４の実施の形態で説明した平均値を演算するための手段等を必要とせず簡単な構成で補正ができ、合成部による画像合成による画質の劣化を防止することができる。

次に図１０には本発明の第６の実施の形態に係る撮像装置を示し説明する。第１乃至第４の実施の形態と同じ構成、作用については省略する。同図に示されるように、この実施の形態では、検出回路２３、補正回路２４が排除され、受光素子２５の出力が発光制御回路１８に接続されている点で第５の実施の形態と相違する。その他の構成については同様である。

このような構成において、受光素子２５は、撮像素子の駆動タイミングと同期して、それぞれの露光期間の露光量を積分し電気信号に変換して、発光制御回路１８に出力する。発光制御回路１８は受光素子２５からの信号に基づき、発光ムラにより予定されている光量に達しない場合は発光を続け、予定されている光量に達したときは発光を打ち切る周知のダイレクト測光によって発光量が一定になるように発光駆動回路１９を制御する。

以上説明した第６の実施の形態では、前記発光制御回路１８は、被写体からの光を受光し電気信号に変換する受光素子２５からの信号により発光量のばらつきが無くなるように発光駆動回路１９を制御するので、画像データを補正する場合と比較して簡単な構成で適正な合成画像が得られる。

以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。例えば、Ｘ−Ｙアドレス方式の固体撮像素子としてＣＭＤを用いた例について述べたが、これに限らないことは勿論である。

尚、本発明の上記実施の形態には以下の発明が含まれる。
（１）入射された被写体からの光を光電変換し電気信号として出力する固体撮像素子と、上記被写体に光を照射するストロボ発光管と、上記固体撮像素子の垂直ブランキング期間内に上記ストロボ発光管を発光させる制御手段と、を具備することを特徴とする撮像装置。

この発明は第１，２の実施の形態に対応するものである。以上のような構成により、ＣＭＤ等のＸ−Ｙアドレス方式の固体撮像素子とストロボ等の短時間発光の発光部を用いた場合でも適正な画像が得られるといった効果を得る。
（２）入射された被写体からの光を光電変換し電気信号として出力する固体撮像素子と、上記被写体に光を照射するストロボ発光管と、上記固体撮像素子の異なるフィールド期間でかつ垂直ブランキング期間内にそれぞれ異なる発光量で上記ストロボ発光管を発光させる制御手段と、上記ストロボ発光管の発光に基づく露光により得られた複数の画像を合成する合成手段と、を具備することを特徴とする撮像装置。

この発明は第２の実施の形態に対応するものである。以上の構成により、ストロボ等の発光手段を用いた場合でも、奇数フィールドと偶数フィールドで露光量の異なる２つの画像を得、露光量の異なる画像を合成することでダイナミックレンジが拡大された画像を得ることが出来るので、適正な露光量でダイナミックレンジの拡大された画像を得ることができる。
（３）非破壊で画像信号を読み出すことが可能な固体撮像素子と、被写体に光を照射するストロボ発光管と、上記固体撮像素子を第１の蓄積時間で信号蓄積したのち非破壊で読み出し、第１の信号を得るための第１の制御手段と、上記第１の蓄積時間よりも長い第２の蓄積時間で信号蓄積したのち読み出し第２の画像信号を得るための第２の制御手段と、上記第１の蓄積時間に等しい間隔又は該第１の蓄積時間よりも短い間隔のいずれかでストロボ発光管を発光させる第３の制御手段と、を具備することを特徴とする撮像装置。

この発明は第３の実施の形態に対応するものである。以上の構成により、ストロボ光以外の光（自然光、蛍光灯等）とストロボ光の両方を必要とする場合であっても動画レートで適正にダイナミックレンジの拡大された画像を得ることができる。（クレーム２の構成では２フィールドで１画面を構成するので動画レートが半分に落ちる。）
（４）前記合成手段は、前記発光手段の発光量を検出する検出手段と、前記検出手段で検出した信号に基づいて前記固体撮像手段から得られる映像信号を補正する補正手段を備えることを特徴とする上記項目（２），（３）のいずれか１項に記載の撮像装置。

又、前記検出手段は、前記撮像手段からの信号に基づいて発光量のばらつきを検出することを特徴とする上記項目（２），（３）のいずれか１項に記載の撮像装置。

又、前記検出手段は、被写体からの光を受光し電気信号に変換する発光素子で構成されることを特徴とする上記項目（２）、（３）のいずれか１項に記載の撮像装置。

この発明は第４、第５の実施の形態に対応するものである。以上の構成により、２つの画像の発光量のばらつきに起因する露光量誤差を検出し、その検出した結果に基づいて固体撮像手段から得られる映像信号を２つの画像を合成する前に補正することが可能となるので、発光量のばらつきに起因する画像の劣化を防止することができる。
（５）前記発光制御手段は、被写体からの光を受光し電気信号に変換する受光素子からの出力に基づき制御されることを特徴とする上記項目（２），（３）のいずれか１項に記載の撮像装置。

この発明は第６の実施の形態に対応するものである。以上の構成により、発光手段は、被写体からの光を受光し電気信号に変換する受光素子からの出力に基づいて発光量のばらつきが無くなるように制御されるので、発光量のばらつきがない適正な画像を合成することができる。

第１の実施の形態に係る撮像装置の構成を示す図である。第１の実施の形態の発光制御回路の動作を示すタイミングチャートである。第２の実施の形態に係る撮像装置の構成を示す図である。第２の実施の形態の発光制御回路の動作を示すタイミングチャートである。第３の実施の形態に係る撮像装置の構成を示す図である。第３の実施の形態の発光制御回路の動作を示すタイミングチャートである。第３の実施の形態の撮像装置においてストロボ発光管を用いる場合の動作について説明するためのタイミングチャートである。第４の実施の形態に係る撮像装置の構成を示す図である。第５の実施の形態に係る撮像装置の構成を示す図である。第６の実施の形態に係る撮像装置の構成を示す図である。ＣＭＤの概念図である。ＣＭＤの垂直走査回路の動作を説明するためのタイミングチャートである。Ｘ−Ｙアドレス方式の固体撮像素子の露光タイミングに係るフォーカルプレーン方式について説明するための図である。ストロボ発光管の発光特性を示す図である。

符号の説明

１…レンズ系、２…光学フィルタ、３…撮像素子、４…プリアンプ、５…Ａ／Ｄ変換器、６…同時化回路、７…ＦＰＮキャンセラ、８…濃度接続回路、９…色処理回路、１０…ホワイトバランス回路、１１…圧縮回路、１２…モニタＩ／Ｆ、１３…輝度生成回路、１４…圧縮率生成回路、１５…フレームメモリ、１６…システムコントローラ、１７…センサ駆動回路、１８…発光制御回路、１９…発光駆動回路、２０…ストロボ発光管

Claims

非破壊で画像信号を読み出すことが可能な固体撮像素子と、
被写体に光を照射するストロボ発光管と、
上記固体撮像素子を第１の蓄積時間で信号蓄積したのち非破壊で読み出し、第１の信号を得るための第１の制御手段と、
上記第１の蓄積時間よりも長い第２の蓄積時間で信号蓄積したのち読み出し第２の画像信号を得るための第２の制御手段と、
上記第１の蓄積時間に等しい間隔又は該第１の蓄積時間よりも短い間隔のいずれかで、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときの上記ストロボ発光管による光量比が上記第１の蓄積時間と上記第２の蓄積時間との比と同じになるような回数で、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときに上記ストロボ発光管を発光させる第３の制御手段と、
を具備することを特徴とする撮像装置。
非破壊で画像信号を読み出すことが可能な固体撮像素子と、
被写体に光を照射するストロボ発光管と、
上記固体撮像素子を第１の蓄積時間で信号蓄積したのち非破壊で読み出し、第１の信号を得るための第１の制御手段と、
上記第１の蓄積時間よりも長い第２の蓄積時間で信号蓄積したのち読み出し第２の画像信号を得るための第２の制御手段と、
上記第１の蓄積時間に等しい間隔又は該第１の蓄積時間よりも短い間隔のいずれかで、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときの上記ストロボ発光管による光量比が上記第１の蓄積時間と上記第２の蓄積時間における上記ストロボ発光管からの光以外の通常光による露光量比と同じになるような回数で、上記第１の蓄積時間で信号蓄積しているときと上記第２の蓄積時間で信号蓄積しているときに上記ストロボ発光管を発光させる第３の制御手段と、
を具備することを特徴とする撮像装置。