JP6412364B2

JP6412364B2 - 撮像装置および撮像方法

Info

Publication number: JP6412364B2
Application number: JP2014159071A
Authority: JP
Inventors: 北村　和也; 和也北村; 裕一日下部; 菅原　正幸; 正幸菅原
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-08-04
Filing date: 2014-08-04
Publication date: 2018-10-24
Anticipated expiration: 2034-08-04
Also published as: JP2016036122A

Description

本発明は、電源周波数が５０Ｈｚ圏であるために、強度変化が１００Ｈｚとなる照明下において、フレーム周波数が１２０Ｈｚの撮像を行う際に生じるフリッカを低減し得るＣＭＯＳ型の撮像素子を用いた、撮像装置および撮像方法に関するものである。

現在、スーパーハイビジョン等に代表される、高解像度の動画像の撮像方式が注目されている。さらに、解像度の向上だけでなく、画質の向上を図るために、ハイビジョン（フレーム周波数：60Hz）よりも高いフレーム周波数で撮像可能な撮像装置も研究・試作されている。なお、ITU−R規格（Rec. ITU−R BT. 2020）では、スーパーハイビジョンのフレーム周波数として120Hzが採用されている。

このような高いフレーム周波数で動画像の撮像を行う場合の課題として、フリッカ（画像のちらつき）の発生が挙げられる。フリッカは、ハロゲンランプや水銀ランプ、蛍光灯などの輝度変化（光量変化）が大きい照明下において、フレーム周波数が照明光の点滅周波数より大きい撮像装置で動画像を撮像した場合に生じる。

ここで、照明光の点滅周波数は、電源周波数の２倍となる。例えば、東日本においては、照明の電源周波数は50Hzである。この場合、撮像装置のフレーム周波数が上述した120Hzであるとすると、｛撮像装置のフレーム周波数−（照明の電源周波数×２）｝により、撮像装置のフレーム周波数が照明光の点滅周波数よりも20Hz大きくなるため、この周波数差に対応する、20Hzのフリッカが生じることになる。

そこで、ハイビジョンカメラのようにフレーム周波数が60Hzとされている場合には、電源周波数が50Hzのとき、撮像時に1／100秒のシャッタを挿入し、照明光の輝度変化の周期とシャッタスピードの周期とを合わせることでフリッカを防ぐ手法が考えられている。

しかしながら、照明の電源周波数が50Hzの地域でフレーム周波数が120Hzのスーパーハイビジョンカメラを用いて撮像する場合には、1フレーム時間（8.33ミリ秒）よりも長いシャッタ（10ミリ秒）を挿入することは原理的に不可能であるため、撮像時にシャッタ速度を調整する従来の手法によっては、フリッカの発生を抑制することが困難であった。

その一方、従来より、一旦発生したフリッカを除去する手法も知られている。例えば、撮像画像中に含まれるフリッカ成分を推定し、この推定されたフリッカ成分を撮像画像から除去するいくつかの提案がなされている（特許文献１，２を参照）。

特開２００４-２２２２２８号公報特開２００７-１８０７４１号公報

しかしながら、撮像画像からフリッカ成分を推定して除去する上記いずれかの手法においては、例えば、動きの速い被写体をフリッカ成分と誤判定してしまう推定誤差が生じやすく、フリッカ成分を高精度に除去することが困難であった。

そこで、本発明は、フリッカ成分を含まない撮像画像を取得可能な撮像装置および撮像方法を提供することを目的とするものである。

前記した課題を解決するため、本発明の第１の撮像装置は、
２種類以上の露光時間で撮像が可能な撮像素子と、
該撮像素子から出力された映像信号を記憶するフレームメモリと、
該フレームメモリに記憶された映像信号を加算する信号処理手段と、を備え、
前記撮像素子は、照明光の点滅周波数をｆ_Ｌ（Ｈｚ）、撮像装置のフレーム周波数をｆ_Ｃ（Ｈｚ）、とした場合に、ｆ_Ｌ＜ｆ_Ｃ＜２ｆ_Ｌとの条件を満足するように構成され、かつ１フレームを、ｎ個の期間に分割し、これらｎ個の期間の各々毎に撮像を行うように構成され、
前記信号処理手段は、前記ｎ個の期間の各々毎に撮像して得られたサブフレームを撮像順に、第１のサブフレーム、第２のサブフレーム、……第ｎのサブフレームと規定した場合に、現フレームの該第１のサブフレーム、該第２のサブフレーム、……第ｎのサブフレームによる各映像信号と、現フレームの直前のフレームの、現フレームに隣接する少なくとも１つのサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆ_Ｌの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力することを特徴とするものである。

ここで、上記「現フレームの直前のフレームの、現フレームに隣接する少なくとも１つのサブフレーム」について説明する。現フレームの直前のフレームも、現フレームと同様のサブフレームを有することが前提とされており、直前のフレームのサブフレームのうち現フレームに最も近い側の１つのサブフレーム、または現フレームに最も近いサブフレームから連続する複数のサブフレーム」のことを意味するものとする。

また、本発明の第２の撮像装置は、
２種類の露光時間で撮像が可能な撮像素子と、
該撮像素子から出力された映像信号を記憶するフレームメモリと、
該フレームメモリに記憶された映像信号を加算する信号処理手段と、を備え、
前記撮像素子は、照明光の点滅周波数をｆ_Ｌ（Ｈｚ）、撮像装置のフレーム周波数をｆ_Ｃ（Ｈｚ）、とした場合に、ｆ_Ｌ＜ｆ_Ｃ＜２ｆ_Ｌとの条件を満足するように構成され、かつ１フレームを、下式（１）により求められる露光時間ｔ_１に設定された第１の期間と、下式（２）により求められる露光時間ｔ_２（ｔ_１＞ｔ_２）に設定された第２の期間とに分割し、これら第１の期間および第２の期間の各々毎に撮像を行うように構成され、
前記第１の期間に撮像して得られたサブフレームを第１のサブフレームと規定するとともに、前記第２の期間に撮像して得られたサブフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆ_Ｌの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力することを特徴とするものである。

また、照明光の点滅周波数ｆ_Ｌが１００Ｈｚである場合に、１つの前記フレームの間隔が８．３３３ミリ秒または８．３４２ミリ秒のいずれかに設定されるとともに、１つの前記疑似的拡張フレームの期間が１０ミリ秒に設定されることが好ましい。
また、前記露光時間ｔ_１とされた長時間露光時間が６．６６ミリ秒に設定されるとともに前記露光時間ｔ_２とされた短時間露光時間が１．６６ミリ秒に設定されることが好ましい。

また、前記フレームメモリは、現フレームの１フレーム前の露光時間ｔ_２の撮像で得られた映像信号を記憶する第１のメモリ領域、現フレームの露光時間ｔ_１の撮像で得られた映像信号を記憶する第２のメモリ領域、および現フレームの露光時間ｔ_２の撮像で得られた映像信号を記憶する第３のメモリ領域、を備えてなることが好ましい。
また、前記撮像素子の画素は、例えば、一方向に７６８０画素で、この一方向と直交する他方向に４３２０画素、または一方向に３８４０画素で、この一方向と直交する他方向に２１６０画素に設定することができる。

さらに、本発明の撮像方法は、
２種類の露光時間で撮像が可能な撮像素子を用いる撮像方法において、
照明光の点滅周波数をｆ_Ｌ（Ｈｚ）、撮像装置のフレーム周波数をｆ_Ｃ（Ｈｚ）、とした場合に、ｆ_Ｌ＜ｆ_Ｃ＜２ｆ_Ｌとの条件を満足するように設定し、かつ１フレームを、下式（３）により求められる露光時間ｔ_１に設定された第１の期間と、下式（４）により求められる露光時間ｔ_２（ｔ_１＞ｔ_２）に設定された第２の期間とに分割し、これら第１の期間および第２の期間の各々毎に撮像を行い、
前記第１の期間に撮像して得られたサブフレームを第１のサブフレームと規定するとともに、前記第２の期間に撮像して得られたサブフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆ_Ｌの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力せしめることを特徴とするものである。

撮像装置のフレーム周波数が、照明光の点滅周波数（電源周波数の２倍の周波数）よりも大きいと、フレーム周波数と照明光の点滅周波数の差分に相当する周波数のフリッカが生じる。
そこで、本発明の第１の撮像装置によれば、照明光の点滅周波数の周期に一致するフレームの周期を、以下のような手法により構成してフリッカが生じないようにしている。

すなわち、１フレームを複数の期間に分割し、これら期間の各々毎に撮像を行い、現フレームのすべてのサブフレームの映像信号と、現フレームの直前のフレームの、現フレームに隣接する少なくとも１つのサブフレームの映像信号を互いに加算して、前記照明光の点滅周波数ｆ_Ｌ（Ｈｚ）の１周期をフレーム周期として有する疑似的拡張フレームの映像信号として出力する。
これにより、疑似的拡張フレームの周期は、照明光の点滅周波数の周期と一致させることができるので、従来技術のようなフリッカの発生を抑制することができる。

なお、本発明の第２の撮像装置および撮像方法によれば、１フレームを第１および第２の期間に分割し、第１の期間ｔ_１に撮像して得られたフレームを第１のサブフレームと規定するとともに、第２の期間ｔ_２（ｔ_１＞ｔ_２）に撮像して得られたフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算して、照明光の点滅周波数ｆ_Ｌの周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力する。

これにより、各疑似的拡張フレームの周期は、照明光の点滅周波数ｆ_Ｌの周期と一致するように構成しているので、従来技術のようなフリッカの発生を抑制することができる。
このように、本発明の第１の撮像装置、第２の撮像装置および撮像方法によれば、フリッカ成分を含まない撮像画像を取得することができるので、フリッカ成分による撮像画像の画質劣化を抑制することができる。

本発明の実施形態に係る、撮像装置の構成を示すブロック図である。本発明の実施形態に係る、長時間露光と短時間露光の開始および終了のタイミングを説明するための概略図である。本発明の実施形態において、現フレームの短時間露光時間と、現フレームの長時間露光時間と、現フレームの直前のフレームの短時間露光時間とから、１つの疑似的拡張フレームを作成する様子を示す概略図である。本発明の実施形態に係る、各露光時間で得られた映像信号を加算する際における、現フレームの短時間露光開始時の各タイミングを説明するための概略図である。本発明の実施形態に係る、各露光時間で得られた映像信号を加算する際における、現フレームの短時間露光終了時の各タイミングを説明するための概略図である。本発明の実施形態に係る、各露光時間で得られた映像信号を加算する際における、次のフレームの短時間露光開始時の各タイミングを説明するための概略図である。

以下、本発明の実施形態について、上記図面を参照しながら説明する。
まず、本発明の実施形態に係る撮像装置について簡単に説明する（符号については図１を参照）。
すなわち、本実施形態に係る撮像装置１０は、長短２種類の露光時間で撮像が可能な撮像素子１２と、この撮像素子から出力された映像信号を記憶するフレームメモリ１５ａ〜ｃと、このフレームメモリ１５ａ〜ｃに記憶された映像信号を加算する信号処理部１６とを備えたものであり、現フレームの長時間露光による映像信号と、現フレームの短時間露光による映像信号と、現フレームの直前のフレームの短時間露光による映像信号と、を互いに加算し、照明光の点滅周波数ｆ_Ｌの１周期をフレーム周期として有する疑似的拡張フレームの映像信号として出力するものである。

これにより、各疑似的拡張フレームの周期は、照明光の点滅周波数ｆ_Ｌの周期と一致させることができるので、従来技術のようなフリッカの発生を抑制することができる。
このように、本願発明の第１の撮像装置、第２の撮像装置および撮像方法によれば、フリッカ成分を含まない撮像画像を取得することができるので、フリッカ成分による撮像画像の画質劣化を抑制することができる。

また、上記実施形態にかかる撮像装置において、撮像素子は、照明光の点滅周波数をｆ_Ｌ（Ｈｚ）、撮像装置のフレーム周波数をｆ_Ｃ（Ｈｚ）、とした場合に、ｆ_Ｌ＜ｆ_Ｃ＜２ｆ_Ｌとの条件を満足するように構成され、かつ１フレームを、下式（５）により求められる露光時間ｔ_１に設定される長時間露光と、下式（６）により求められる露光時間ｔ_２（ｔ_１＞ｔ_２）に設定される短時間露光とに分割し、これら長時間露光および短時間露光により各々撮像が行われるように構成されている。

なお、加算により得られた疑似的拡張フレームを構成する露光時間ｔ_３は、
で表される。これにより露光時間ｔ_３が照明光の点滅の1周期の時間と同一となるため、照明光の点滅により発生するフリッカを抑制することができる。

図１は、本実施形態に係る撮像装置の概略構成をブロック図によって示すものである。
すなわち、撮像レンズ１１から入射された光情報は、上述した撮像素子１２上に結像される。この撮像素子１２のシャッタ駆動操作等は駆動回路１３から入力されるコントロール信号によって制御される。

一方、撮像素子１２の露光（撮像）により得られた映像信号（長時間露光による映像信号および短時間露光による映像信号）は、受信回路１４を介してフレームメモリ１〜３に分配して入力される。具体的には、現フレームの短時間露光信号はフレームメモリ１（１５ａ）に記憶され、現フレームの長時間露光信号はフレームメモリ２（１５ｂ）に記憶され、現フレームの直前の短時間露光信号はフレームメモリ３（１５ｃ）に記憶される。

そして、所定のタイミングで、これら３つのフレームメモリ１〜３（１５ａ〜ｃ）に一旦記憶されていた各映像信号が加算処理部１６によって同一画素毎に加算され、この後、疑似的拡張フレームの映像信号として、バッファ１７およびドライバ１８を介して外部に読み出される。

次に、図２を用いて、本発明の実施形態に係る、長時間露光と短時間露光の開始および終了のタイミングを説明する。
本実施形態においては、ローリングシャッターを用いており、撮像素子における長短時間露光の例を示す。なお、このような露光に関する従来技術の内容は、”Wide Intrascene Dynamic Range CMOS APS Using Dual Sampling,” IEEE TRANSACTIONS ON ELECTRON DEVICES, VOL. 44, NO. 10, pp. 1721-1723 OCTOBER 1997に記載されている。

図２に示すように、垂直走査を、時間をずらして２回行うことで（短時間露光用のV.scan1および長時間露光用のV.scan2）長短時間露光を実現している。
ここで、フレーム周波数が１２０Ｈｚの場合、１フレーム期間は８．３３ｍｓとなることから、照明光の点滅周波数が１００Ｈｚの場合、長時間露光の露光時間ｔ_１=6.66msであり、短時間露光の露光時間ｔ_２=1.66msである。
垂直走査をずらすことによる時間的なずれを、１．６６ｍｓと６．６６ｍｓに設定するための具体的な手法を以下に示す。

垂直方向の画素数がスーパーハイビジョンで採用されている4320画素（水平方向には7680画素）の場合、V.scan1で１ライン目（Ｌ₁）を読み出した後に、V.scan2で864ライン目（Ｌ₈₆₄:4320×1.66/8.33=864により計算される）を読み出す。

次にV.scan1が864ライン目Ｌ₈₆₄を読み出すまでの時間は１．６６ｍｓであり、864ライン目Ｌ₈₆₄の画素では、それまでに１．６６ｍｓの露光（短時間露光）が行われたこととなる。
一方、V.scan1により上記短時間露光が行われた後、V.scan2が864ライン目Ｌ₈₆₄を読み出すまでの時間（1729ライン目Ｌ₁₇₂₉〜4320ライン目Ｌ₄₃₂₀、および１ライン目Ｌ_１〜864ライン目Ｌ₈₆₄を読み出すのに要する時間）は６．６６ｍｓであり、864ライン目Ｌ₈₆₄の画素では、それまでに６．６６ｍｓの露光（長時間露光）が行われることとなる。

このように、サブフレームの読出しは、短時間露光フレームＬ_１、長時間露光フレームＬ_ｎ、短時間露光フレームＬ_２、長時間露光フレームＬ_ｎ＋１、短時間露光フレームＬ_３、長時間露光フレームＬ_ｎ＋２…… という順序で行われることとなる。

次に、図３を用い、図２の読み出し操作により得られた長短時間露光による各サブフレームを加算して、疑似的拡張フレームを構築する手法について説明する。
図３（Ａ）に示すように、周波数が１２０Ｈｚのフレーム期間は、６．６６ｍｓの長時間露光フレーム（ＬＦ）と１．６６ｍｓの短時間露光フレーム（ＳＦ）に分割される。

換言すれば、順次読み出される各フレームは、長時間露光フレーム（ＬＦ）と短時間露光フレーム（ＳＦ）がこの順で組み合わされたものとなる（図３では、各フレームを実線で囲んでいる。（Ａ）、（Ｂ）について共通）。
例えば、図３（Ｂ）に示すように、３つの連続するフレームを直線的に並べると、第１フレームの長時間露光サブフレーム（ＬＦ）、第１フレームの短時間露光サブフレーム（ＳＦ）、第２フレームの長時間露光サブフレーム（ＬＦ）、第２フレームの短時間露光サブフレーム（ＳＦ）、第３フレームの長時間露光サブフレーム（ＬＦ）、第３フレームの短時間露光サブフレーム（ＳＦ）となる。なお、第１フレームの長時間露光フレーム（ＬＦ）の直前に第０フレーム短時間露光フレーム（ＳＦ）が位置する。

このとき、注目している現フレームの長時間露光サブフレーム（ＬＦ）と短時間露光サブフレーム（ＳＦ）に、現フレームの１つ前のフレームにおける短時間露光サブフレーム（ＳＦ）を組み合わせてみると、
１．６６ｍｓ＋６．６６ｍｓ＋１．６６ｍｓ≒１０ｍｓ
となり、照明光の点滅周波数（１００Ｈｚ）の周期である１０ｍｓに一致する。

すなわち、図３（Ｂ）に示すように、例えば、第１フレームの長時間露光サブフレーム（ＬＦ）と短時間露光サブフレーム（ＳＦ）に、第０フレームの短時間露光サブフレーム（ＳＦ）を加えて第１疑似的拡張フレーム（各疑似的拡張フレームを一点鎖線で囲んでいる）を構成する。また、第２フレームの長時間露光サブフレーム（ＬＦ）と短時間露光サブフレーム（ＳＦ）に、第１フレームの短時間露光サブフレーム（ＳＦ）を加えて第２疑似的拡張フレームを構成する。さらに、第３フレームの長時間露光サブフレーム（ＬＦ）と短時間露光サブフレーム（ＳＦ）に、第２フレームの短時間露光サブフレーム（ＳＦ）を加えて第３疑似的拡張フレームを構成する。この後のフレームについても同様である。

結局、上述した疑似的拡張フレームの期間は全て１０ｍｓと考えてよく、照明光の点滅周波数（１００Ｈｚ）の周期と一致するから、撮像映像にフリッカ成分を発生させないようにすることができる。

次に、図４〜６を用いて、３つのフレームメモリを用い、各フレームメモリ１〜３に一時的に記憶されていた映像信号を加算する手法について説明する。
まず、図４は、現フレームがフレームｎに設定されている時の短時間露光開始のタイミング時における加算手法を示すものである。

すなわち、フレームｎ−１の短時間露光サブフレームｔ２（ｎ−１）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ１（１５ａ）に記憶される。次に、この６．６６ｍｓ後にフレームｎの長時間露光サブフレームｔ１（ｎ）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ２（１５ｂ）に記憶される。次に、この１．６６ｍｓ後にフレームｎの短時間露光サブフレームｔ２（ｎ）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ３（１５ｃ）に記憶される。

そして、フレームｎの短時間露光サブフレームｔ２（ｎ）の最初の画素信号がフレームメモリ３（１５ｃ）から出力された時点で、サブフレームｔ２（ｎ−１）の最初の画素信号、サブフレームｔ１（ｎ）の最初の画素信号、およびサブフレームｔ２（ｎ）の最初の画素信号が加算処理手段１６において加算される。

各サブフレームｔ２（ｎ−１）、ｔ１（ｎ）、ｔ２（ｎ）についての画素信号の加算処理は、ｔ２（ｎ）の最後の画素信号がフレームメモリ３（１５ｃ）から出力されるまで繰り返し行われる。なお、図５は、現フレームがフレームｎに設定されている時の短時間露光終了のタイミングにおける加算手法を示すものである。すなわち、フレームｎの短時間露光サブフレームｔ２（ｎ）の最後の画素信号が撮像装置１０から出力された時点で、サブフレームｔ２（ｎ−１）の最後の画素信号、サブフレームｔ１（ｎ）の最後の画素信号、およびサブフレームｔ２（ｎ）の最後の画素信号が加算処理手段１６において加算される。

次に、図６は、現フレームがフレームｎ＋１に設定されている時の短時間露光開始のタイミングにおける加算手法を示すものである。
すなわち、フレームｎの短時間露光サブフレームｔ２（ｎ）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ３（１５ｃ）に記憶される。次に、この６．６６ｍｓ後にフレームｎ＋１の長時間露光サブフレームｔ１（ｎ＋１）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ２（１５ｂ）に記憶される。次に、この１．６６ｍｓ後にフレームｎ＋１の短時間露光サブフレームｔ２（ｎ＋１）における露光が開始され、このとき撮像された各画素の映像信号はフレームメモリ１（１５ａ）に記憶される。

そして、フレームｎ＋１の短時間露光サブフレームｔ２（ｎ＋１）の最初の画素信号がフレームメモリ１（１５ａ）から出力された時点で、サブフレームｔ２（ｎ）の最初の画素信号、サブフレームｔ１（ｎ＋１）の最初の画素信号、およびサブフレームｔ２（ｎ＋１）の最初の画素信号が加算処理手段１６において加算される。

各サブフレームｔ２（ｎ）、ｔ１（ｎ＋１）、ｔ２（ｎ＋１）についての画素信号の加算処理は、ｔ２（ｎ＋１）の最後の画素信号がフレームメモリ１（１５ａ）から出力されるまで繰り返し行われる。
このように、３つのフレームメモリ１〜３の信号を各画素毎に順次加算し、全ての画素についての出力が終了するまで繰り返し行われる。

なお、本発明の撮像装置および撮像方法としては、上記実施形態のものに限られるものではなく種々の態様の変更が可能である。例えば、長短時間露光の手法はこの方法に限られるものではなく、例えば３種類以上の露光時間で撮像した場合にも、現フレームと、その直前のフレームの一部のサブフレームの各期間を加算してその合計を１０ミリ秒に設定することができるのであれば、本発明を適用可能である。

また、上記実施形態のものでは、フレームメモリを３つ用いる場合について説明したが、実質的にフレームメモリに記憶させる信号データは２フレーム分程度でよいことから、２つのフレームメモリと数ライン分のラインメモリを用いるようにしてもよい。

また、上記実施形態のものでは、加算された後の疑似的拡張フレームは、前後のフレームと露光がオーバーラップするものであるから残像が発生する虞がある。そこで、フリッカのレベルに応じて、上述した長時間露光の露光時間ｔ_１の期間をより長く、短時間露光時間ｔ_２の期間をより短くするように調整する。この場合、フリッカの程度を勘案し、状況に応じて両者の適切なバランスをとるように調整することが可能である。

また上述した実施形態においては、１つのフレーム間隔を８．３３３ミリ秒に設定しているが、これに替えて８．３４２ミリ秒に設定することが可能である。
また、上述した実施形態においては、撮像素子の画素は、一方向に７６８０画素で、これに直交する他方向に４３２０画素として設定しているが、これら２方向の画素数としては、種々の画素数のものを適用することができ、例えば、一方向に３８４０画素で、これに直交する他方向に２１６０画素に設定することできる。

また、撮像素子としては、上述したＣＭＯＳ以外にも、ＸＹアドレスを用いる種々のタイプの撮像素子について適用することが可能である。
また、上記実施形態においては、シャッタとしてローリングシャッタを用いているが、これに替えてグローバルシャッタを用いることが可能である。

１０撮像装置
１１撮像レンズ
１２撮像素子
１３駆動回路
１４受信回路
１５ａ、１５ｂ、１５ｃフレームメモリ
１６加算処理手段
１７バッファ
１８ドライバ

Claims

２種類以上の露光時間で撮像が可能な撮像素子と、
該撮像素子から出力された映像信号を記憶するフレームメモリと、
該フレームメモリに記憶された映像信号を加算する信号処理手段と、を備え、
前記撮像素子は、照明光の点滅周波数をｆ_Ｌ（Ｈｚ）、撮像装置のフレーム周波数をｆ_Ｃ（Ｈｚ）、とした場合に、ｆ_Ｌ＜ｆ_Ｃ＜２ｆ_Ｌとの条件を満足するように構成され、かつ１フレームを、ｎ個の期間に分割し、これらｎ個の期間の各々毎に撮像を行うように構成され、
前記信号処理手段は、前記ｎ個の期間の各々毎に撮像して得られたサブフレームを撮像順に、第１のサブフレーム、第２のサブフレーム、……第ｎのサブフレームと規定した場合に、現フレームの該第１のサブフレーム、該第２のサブフレーム、……第ｎのサブフレームによる各映像信号と、現フレームの直前のフレームの、現フレームに隣接する少なくとも１つのサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆ_Ｌの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力することを特徴とする撮像装置。
２種類の露光時間で撮像が可能な撮像素子と、
該撮像素子から出力された映像信号を記憶するフレームメモリと、
該フレームメモリに記憶された映像信号を加算する信号処理手段と、を備え、
前記撮像素子は、照明光の点滅周波数をｆ_Ｌ（Ｈｚ）、撮像装置のフレーム周波数をｆ_Ｃ（Ｈｚ）、とした場合に、ｆ_Ｌ＜ｆ_Ｃ＜２ｆ_Ｌとの条件を満足するように構成され、かつ１フレームを、下式（１）により求められる露光時間ｔ_１に設定された第１の期間と、下式（２）により求められる露光時間ｔ_２（ｔ_１＞ｔ_２）に設定された第２の期間とに分割し、これら第１の期間および第２の期間の各々毎に撮像を行うように構成され、
前記第１の期間に撮像して得られたサブフレームを第１のサブフレームと規定するとともに、前記第２の期間に撮像して得られたサブフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆ_Ｌの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力することを特徴とする撮像装置。
照明光の点滅周波数ｆ_Ｌが１００Ｈｚである場合に、１つの前記フレームの間隔が８．３３３ミリ秒または８．３４２ミリ秒のいずれかに設定されるとともに、１つの前記疑似的拡張フレームの期間が１０ミリ秒に設定されることを特徴とする請求項１または２に記載の撮像装置。
前記露光時間ｔ_１とされた長時間露光時間が６．６６ミリ秒に設定されるとともに前記露光時間ｔ_２とされた短時間露光時間が１．６６ミリ秒に設定されることを特徴とする請求項２、または請求項２を引用する請求項３に記載の撮像装置。
前記フレームメモリは、現フレームの１フレーム前の露光時間ｔ_２の撮像で得られた映像信号を記憶する第１のメモリ領域、現フレームの露光時間ｔ_１の撮像で得られた映像信号を記憶する第２のメモリ領域、および現フレームの露光時間ｔ_２の撮像で得られた映像信号を記憶する第３のメモリ領域を備えてなることを特徴とする請求項２〜４のうちいずれか１項に記載の撮像装置。
前記撮像素子の画素は、一方向に７６８０画素で、この一方向と直交する他方向に４３２０画素、または一方向に３８４０画素で、この一方向と直交する他方向に２１６０画素のいずれかに設定されていることを特徴とする請求項１〜５のうちいずれか１項に記載の撮像装置。
２種類の露光時間で撮像が可能な撮像素子を用いる撮像方法において、
照明光の点滅周波数をｆ_Ｌ（Ｈｚ）、撮像装置のフレーム周波数をｆ_Ｃ（Ｈｚ）、とした場合に、ｆ_Ｌ＜ｆ_Ｃ＜２ｆ_Ｌとの条件を満足するように設定し、かつ１フレームを、下式（３）により求められる露光時間ｔ_１に設定された第１の期間と、下式（４）により求められる露光時間ｔ_２（ｔ_１＞ｔ_２）に設定された第２の期間とに分割し、これら第１の期間および第２の期間の各々毎に撮像を行い、
前記第１の期間に撮像して得られたサブフレームを第１のサブフレームと規定するとともに、前記第２の期間に撮像して得られたサブフレームを第２のサブフレームと規定した場合に、現フレームの該第１のサブフレームによる映像信号と、現フレームの該第２のサブフレームによる映像信号と、現フレームの直前のフレームの該第２のサブフレームによる映像信号を、互いに加算し、前記照明光の点滅周波数ｆ_Ｌの１周期をフレーム期間として有する疑似的拡張フレームの映像信号として出力せしめることを特徴とする撮像方法。