JP5320245B2 - 撮像装置、撮像方法、プログラムおよび集積回路 - Google Patents
撮像装置、撮像方法、プログラムおよび集積回路 Download PDFInfo
- Publication number
- JP5320245B2 JP5320245B2 JP2009227908A JP2009227908A JP5320245B2 JP 5320245 B2 JP5320245 B2 JP 5320245B2 JP 2009227908 A JP2009227908 A JP 2009227908A JP 2009227908 A JP2009227908 A JP 2009227908A JP 5320245 B2 JP5320245 B2 JP 5320245B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image signal
- image
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 255
- 238000001514 detection method Methods 0.000 claims abstract description 152
- 238000006243 chemical reaction Methods 0.000 claims abstract description 130
- 238000012545 processing Methods 0.000 claims description 89
- 238000004364 calculation method Methods 0.000 claims description 64
- 230000015654 memory Effects 0.000 claims description 55
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 description 37
- 230000004048 modification Effects 0.000 description 37
- 230000005484 gravity Effects 0.000 description 29
- 238000000034 method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 19
- 230000000750 progressive effect Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 230000010354 integration Effects 0.000 description 6
- 230000002411 adverse Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 235000000391 Lepidium draba Nutrition 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Description
図16に示すように、撮像装置900は、CMOSイメージセンサ、センサ駆動回路、アナログ/デジタル変換器を有し、連続画像を撮像して、例えば、垂直有効720ライン、水平有効1280画素、フレーム周波数60Hzのデジタル順次走査画像信号を出力する撮像部950と、撮像部950の出力に対しガンマ処理(ガンマ補正)や輪郭強調を行う画像処理部951と、を備える。また、撮像装置900は、撮像部950の出力に対し連続するフレームの画像を比較し外部閃光の有無を検出する閃光検出部952と、閃光検出部952の出力信号(閃光検出信号)に基づいて、画像処理部951から出力される画像信号をそのまま出力するか、あるいは蓄積した画像を出力するかの切換制御を行う出力制御部953と、を備える。
図17に示すように、出力制御部953は、画像処理部951から出力される画像信号を1フレーム分記憶するメモリ回路954と、閃光検出部952の出力信号(閃光検出信号)に基づいて、メモリ回路954から出力される信号と画像処理部951からの入力信号とを切り換えて出力する切換回路955と、を備える。
以上のように構成された従来の撮像装置900について、その動作を説明する。
まず、撮像部950では、センサ駆動回路から駆動信号をCMOSイメージセンサに供給し、CMOSイメージセンサに入射した光信号(被写体からの光)を光電変換により電気信号に変換し、さらに、光電変換により取得した電気信号をアナログ/デジタル変換によりデジタル順次走査画像信号に変換する。そして、撮像部950により生成されたデジタル順次走査画像信号が、撮像部950から出力される。このデジタル順次走査画像信号は、画像処理部951と閃光検出部952とに供給(出力)される。
一方、閃光検出部952では、入力されたデジタル順次走査画像信号に対して、1フレーム分の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像が撮像部950により取得されたと判断する。例えば、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとの平均輝度レベルが100%以上増加した場合、閃光検出部952は、フラッシュのような外部閃光が検出された(外部閃光が存在する環境下で撮像された)と判定し、閃光検出信号の信号値を「1」にして、閃光検出信号を出力する。なお、閃光検出部952は、外部閃光を検出していないときは、閃光検出信号の信号値を「0」として、閃光検出信号を出力する。この閃光検出信号と画像処理部951から出力される画像信号とは、出力制御部953に入力される。
図18は、従来の撮像装置900において、外部閃光により画像(撮像装置900による撮像画像)が受ける悪影響を説明するための図である。
図18の(1)〜(4)は、連続したフレームを示しており、CMOSイメージセンサが受光しているタイミングを、垂直同期信号(図18の最上段)を基準にして、示している。
図18に示す「画像上側」とは、有効画面(撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面(同期信号等の部分を除いた画面)に相当する画面)の上側を意味している。CMOSイメージセンサにおいて、有効画面の1ライン目は、図18の中の矢印で示した期間受光している。CMOSイメージセンサでは、ライン毎に受光タイミングが少しずつずれていくため、720ライン目では、1ライン目に対して、およそ1/60秒ずれている。ここで、図18の星印で示したタイミングで外部閃光があった場合、(2)のフレームの下方画面を構成するラインと(3)のフレームの上方画面を構成するラインで、閃光を受光することになる。このような状況で、撮像部950により取得された画像信号を表示装置に表示させた場合、表示画面(映像)において、連続した2フレームにわたって高輝度な横帯が発生することになる。この高輝度な横帯の発生は、視覚的に違和感をユーザに抱かせることになる。さらに、連続するフレームの相関を利用して圧縮する方式、例えば、MPEG(Moving Picture Experts Group)方式で圧縮する処理において、上記高輝度な横帯の発生させる画像信号を処理すると、ブロックノイズが発生したり、圧縮率が低下したりするという悪影響が発生する。
例えば、図18の場合、外部閃光により高輝度な横帯が発生するのは2フレーム(フレーム(2)とフレーム(3))であり、撮像装置900では、この2フレームの直前のフレーム(フレーム(1))の画像を繰り返し出力することになる。つまり、撮像装置900では、3フレームにわたって同じ画像(フレーム(1)に相当する画像)を出力することになるので、撮像装置900により取得された画像(映像)を表示装置に表示させた場合、一時的に静止した画像として表示されることになる。
本発明は、上記従来の課題を解決するもので、外部閃光による高輝度の横帯をなくし、かつ、動画として連続性を確保した画像を出力する高性能な撮像装置、撮像方法、プログラムおよび集積回路を提供することを目的とする。
撮像部は、撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する。閃光検出部は、撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。フォーマット変換部は、撮像部により取得されたn倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
この撮像装置では、フォーマット変換部により、閃光検出信号に基づいて、動画としての連続性が確保されるように、撮像部により取得されたn倍速の画像信号を所定の映像フォーマットに変換する。例えば、この撮像装置では、閃光検出信号に基づいて、閃光の影響を受けているフレームを全て除く、あるいは、全て含める(つまり、画面の上側だけ閃光の影響を受けているフレームを含め、画面の下側だけ閃光の影響を受けている次のフレームを含めない、といった中途半端な処理を行わない)ことで、最終出力の所定映像のフォーマットの画像信号(例えば、フレーム周波数60Hzの画像信号がこれに相当する。)に、高輝度な横帯が発生するのを防ぐことができる。そして、この撮像装置では、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートの画像信号(n倍速の画像信号)を処理対象として、閃光の影響を排除する処理を行い、その後、フォーマット変換を行うことで、1倍のフレームレートの画像信号(所定の映像フォーマットの画像信号)を出力する。つまり、この撮像装置では、同じフレーム画像(1倍速のフレーム画像)が複数枚連続して出力されることがない。その結果、この撮像装置により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。
平均演算部は、閃光検出信号により制御され、閃光検出部により閃光が検出された場合、nフレーム分のn倍速の画像信号から、閃光検出信号に基づいて、閃光を含むフレームの画像を除外し、除外したフレーム以外のフレームを形成するn倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得し、閃光検出部により閃光が検出されていない場合、nフレーム分のn倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得する。速度変換部は、平均画像信号を、1/nの速度に変換し、所定の映像フォーマットのタイミングに合わせて画像信号を出力する。
この撮像装置では、n倍速で駆動させる撮像部と、外部閃光を検知したフレーム画像を除外して平均値を計算して画像信号を出力する平均演算部3とを有しているので、最終出力の所定映像のフォーマットの画像信号(例えば、フレーム周波数60Hzの画像信号がこれに相当する。)に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもない。このため、この撮像装置により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。
この撮像装置では、平均演算部により、フレーム番号の平均が(n+1)/2となるように平均計算すべきフレームが選択される。これにより、平均計算に採用されるフレームを、時系列において左右対称にすることができるので、時間的な重心を常に一定にすることができる。そして、この撮像装置では、常に時間重心を一定に保ったフレームにより最終出力する画像信号を生成するので、この撮像装置により取得される画像(映像)は、動画としてスムースなものになる。
この撮像装置では、フォーマット変換部により、閃光検出信号に基づいて、閃光検出部により閃光の影響を受けているフレームが発生するタイミングに応じて、加算対象とするnフレーム分のフレームが決定され、決定されたフレームの画像信号が加算される。したがって、この撮像装置では、外部閃光による高輝度の横帯を除外し、かつ、動画として連続性を改善した画像(画像信号)を出力することができる。
第6の発明は、第4または第5の発明であって、フォーマット変換部は、メモリ部と、セレクタ部と、加算部と、を備える。
メモリ部は、(n+2)フレーム分の画像信号を記憶する。セレクタ部は、メモリ部に記憶される(n+2)フレーム分の画像信号から、nフレーム分の画像信号を選択する。加算部は、セレクタ部により選択されたnフレーム分の画像信号を加算する。
そして、セレクタ部は、閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームの画像信号を、選択するnフレーム分の画像信号に含める。
第7の発明は、撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法である。この撮像方法は、閃光検出ステップと、フォーマット変換ステップと、を備える。
閃光検出ステップでは、撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。フォーマット変換ステップでは、撮像部により取得されたn倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
第8の発明は、撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。撮像方法は、閃光検出ステップと、フォーマット変換ステップと、を備える。
閃光検出ステップでは、撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。フォーマット変換ステップでは、撮像部により取得されたn倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
第9の発明は、撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる集積回路である。この集積回路は、閃光検出部と、フォーマット変換部と、を備える。
閃光検出部は、撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。フォーマット変換部は、撮像部により取得されたn倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
[第1実施形態]
<1.1:撮像装置の構成>
図1は、本発明の第1実施形態に係る撮像装置100のブロック図である。
図1に示すように、撮像装置100は、被写体からの光を電気信号に変換し、所定の映像フォーマットのn倍(n≧3、nは整数)のフレームレートの画像信号を取得する撮像部1と、撮像部1により取得された画像信号から外部閃光の有無を検出し、検出結果を閃光検出信号として出力する閃光検出部2と、閃光検出信号に基づいて、閃光のないフレームの画像信号を加算平均することで閃光の影響を除去した画像信号を生成する平均演算部3と、を備える。また、撮像装置100は、平均演算部から出力される画像信号に対して速度変換を行う速度変換部4と、速度変換部4から出力される画像信号に対しガンマ処理、輪郭強調処理等の処理を行う画像処理部5と、を備える。
撮像部1は、CMOSイメージセンサ(CMOS型イメージセンサ(撮像素子))、センサ駆動回路、およびアナログ/デジタル変換器を有し、被写体からの光を光電変換により電気信号に変換し、デジタルの画像信号として、閃光検出部2および平均演算部3に出力する。撮像部1は、連続画像を撮像して、例えば、垂直有効720ライン、水平有効1280画素、フレーム周波数240[Hz](=60×4[Hz])のデジタル順次走査画像信号を出力する。なお、説明便宜のため、以下では、撮像部1から出力される画像信号が、垂直有効720ライン、水平有効1280画素、フレーム周波数240[Hz]のデジタル順次走査画像信号であるものとして、説明する。
平均演算部3は、撮像部1から出力される画像信号および閃光検出部2から出力される閃光検出信号を入力とする。平均演算部3は、画像信号により形成されるフレーム画像において、水平・垂直の同じ位置の画素について、複数フレームにわたって、同一画素位置の画素値(信号値に対応)を積算し、積算対象としたフレーム数で除算することにより、各画素における平均値を計算することで外部閃光の影響を排除した画像信号を生成する。
平均演算部3の具体的構成の一例を、図2に示す。
ゲート部20は、撮像部1から出力される画像信号と、閃光検出信号とを入力とし、閃光検出信号に基づいて、撮像部1から出力される画像信号をそのまま加算部21に出力したり、あるいは、ゼロ信号(無信号を含む)を加算部21に出力したりする(詳細については後述)。
加算部21は、ゲート部20から出力される画像信号と、記憶部22から出力される画像信号と、を入力とし、両画像信号を、画素単位で、加算し、加算することで生成した画像信号を記憶部22および除算部23に出力する。
記憶部22は、加算部21から出力される画像信号を入力とし、入力された画像信号を、画像を形成することができる単位(ここでは、フレーム単位)で記憶する。そして、記憶している画像信号を、加算部21に出力する。記憶部22は、例えば、フレームメモリ等のメモリ回路により構成することができる。ここでは、記憶部22は、加算部21から出力される画像信号を、1/240秒の1フレーム分(240pの1フレーム分)記憶するメモリ回路(ハードウェアで構成する場合)である。
速度変換部4は、フレーム周波数240[Hz]のタイミングで平均演算部3から出力出力される画像信号を、フレーム周波数60Hzのタイミングに変換する。つまり、速度変換部4は、フレームレート変換処理を行うことで、いわゆる240pの画像信号を60pの画像信号に変換する。
画像処理部5は、速度変換部4から出力される画像信号に対して、ガンマ処理や輪郭強調処理等を行う。
以上のように構成された撮像装置100について、その動作を説明する。
まず、撮像部1では、センサ駆動回路(不図示)から駆動信号を供給して、CMOSイメージセンサに入射した光信号を光電変換し、さらに、アナログ/デジタル変換を行うことによってデジタル順次走査画像信号が取得される。なお、撮像部1は、図9で示した従来の撮像装置900の撮像部950と比べ4倍速でCMOSイメージセンサを駆動しており、フレーム周波数240[Hz]のデジタル順次走査画像信号を出力している。
撮像部1により取得されたデジタル順次走査画像信号は、閃光検出部2および平均演算部3に出力される。
閃光検出部2は、入力されたデジタル順次走査画像信号に対して、1フレーム分(240pの1フレーム分)の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレーム(1フレーム前のフレーム)の平均輝度レベルとを比較する。そして、閃光検出部2は、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像(デジタル順次走査画像信号)が撮像部1により取得されたと判断する。例えば、平均輝度レベルが100%以上増加した場合、閃光検出部2は、フラッシュのような外部閃光が検出されたと判定し、閃光検出信号の信号値を「1」にして、閃光検出信号を出力する。一方、外部閃光を検出していない場合、閃光検出部2は、閃光検出信号の信号値を「0」(無信号にしてもよい。)にして、閃光検出信号を出力する。そして、閃光検出部2により生成された閃光検出信号は、平均演算部3に出力される。
また、フレーム単位で閃光を検出することができる検出方法であれば、他の公知の方法を用いて、閃光検出を行うようにしてもよい。
撮像部1により取得されたデジタル順次走査画像信号(画像信号)は、平均演算部3のゲート部20に入力され、閃光検出信号により、出力制御がなされる。具体的には、ゲート部20に入力される閃光検出信号の値が「0」、すなわち、閃光検出信号が外部閃光を検出していないことを示している場合、処理対象のフレーム(現フレーム)は、外部閃光の影響を受けていないと判断できるので、ゲート部に入力された画像信号をそのまま、加算部21に出力する。
記憶部22では、1/60秒に1回、記憶されているデータの全てがゼロにリセットされる。すなわち、フレーム周波数240[Hz]の4フレーム(240pの4フレーム)に1回、記憶されているデータがゼロにリセットされる。
加算部21では、記憶部22からの出力とゲート部20からの出力とが加算され、加算部21の出力は、記憶部22に書き込まれていく。具体的には、加算部21では、画像信号により形成されるフレーム画像において、水平・垂直の同じ位置の画素について、フレーム周波数240Hzの4フレーム分(240pの4フレーム分)の足し算(同一画素位置の画素値の積算処理)を行うことができる。この加算部21により生成された画像信号(加算結果)は、除算部23に入力され、閃光検出信号に基づいて、割り算(除算処理)が行われる。除算部23では、フレーム周波数240Hzの4フレームの周期の間(240pの4フレームに相当する期間)に、閃光検出されたフレームの数に基づいて、以下のように除算数を決定する。
(A)閃光検出されたフレームの数が「0」の場合、除算数を「4」とする。
(B)閃光検出されたフレームの数が「1」の場合、除算数を「3」とする。
(C)閃光検出されたフレームの数が「2」の場合、除算数を「2」とする。
以上のように平均演算部3では、フレーム周波数240Hzの4フレームの周期の間(240pの4フレームに相当する期間)で閃光を検出したフレームを除外し、閃光を検出していないフレームの画像信号のみを加算して、閃光を検出していないフレーム数で割ることにより平均値を計算することで、閃光の影響を除外した画像信号を生成している。
次に、速度変換部4では、平均演算部3から出力された240pのフレームレートの画像信号が60pのフレームレートの画像信号に変換される。具体的には、速度変換部4では、メモリ回路(不図示)を有しており、フレーム周波数240[Hz]という4倍速のフレームレートの画像信号(60pの4倍のフレームレートの画像信号)を、平均演算部3により平均値計算された部分のみ、メモリ回路(不図示)に書き込み、フレーム周波数60[Hz]のタイミングで、当該メモリ回路から読み出す。これにより、速度変換部4では、速度変換(フレームレート変換)を行い、フレーム周波数60Hzの画像信号(60pの画像信号)を生成する。そして、速度変換部4により、速度変換された画像信号(60pの画像信号)は、画像処理部5に出力される。
次に、撮像装置100の動作について、図3を用いて、詳しく説明する。
図3は、本発明の第1実施形態における撮像装置100で、外部閃光により画像が受ける悪影響を説明する図である。図3の(1)〜(4)は、連続したフレームでCMOSイメージセンサが受光しているタイミングを、最終出力の垂直同期信号を基準にして、示している。
図3に示す「画像上側」とは、有効画面(撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面(同期信号等の部分を除いた画面)に相当する画面)の上側を意味し、有効画面の1ライン目は、図3の中の矢印で示した期間受光している。CMOSイメージセンサでは、ライン毎に受光タイミングが少しずつずれていくため、720ライン目ではおよそ1/240秒ずれている。ここで、図3の星印で示したタイミングで外部閃光があった場合、(2)のフレームの下方画面を構成するラインと(3)のフレームの上方画面を構成するラインで、閃光を受光することになる。このような状況で、撮像部1により取得された画像信号を表示装置に表示させた場合、表示画面(映像)において、連続した2フレームにわたって高輝度な横帯が発生することになる。
さらに、図4を用いて、平均演算部3の処理について説明を加える。
図4は、本発明の第1実施形態における撮像装置100で、外部閃光により撮像部1から出力される画像信号により形成される画像に高輝度な横帯が発生するタイミングを説明する図である。図4において、(1)から(4)は、フレーム周波数240Hzにおける連続する4つのフレーム(240pの4フレーム)を示しており、外部閃光がないフレームは、1フレーム分ハッチングを施している。外部閃光があるフレームは、上半分あるいは下半分を白くしている。
(A)(a)の位相関係の場合、フレーム(1)を除外し、フレーム(2)からフレーム(4)の平均値を計算する。
(B)(b)の位相関係の場合、フレーム(1)およびフレーム(2)を除外し、フレーム(3)とフレーム(4)の平均値を計算する。
(C)(c)の位相関係の場合、フレーム(2)およびフレーム(3)を除外し、フレーム(1)とフレーム(4)の平均値を計算する。
(D)(d)の位相関係の場合、フレーム(3)およびフレーム(4)を除外し、フレーム(1)とフレーム(2)の平均値を計算する。
(E)(d)の位相関係の場合、フレーム(4)を除外し、フレーム(1)からフレーム(3)の平均値を計算する。
以上のように、本実施形態における撮像装置100では、4倍速で駆動させる撮像部1と、外部閃光を検知したフレーム画像を除外して平均値を計算して画像信号を出力する平均演算部3とを設けた。これにより、撮像装置100では、最終出力のフレーム周波数60Hzの画像信号に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもないため、撮像装置100により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。
≪変形例≫
なお、本実施形態では、速度変換部4により、フレーム周波数60[Hz]の画像信号を生成した後、画像処理部5で、ガンマ処理や輪郭強調処理を行う場合について説明したが、これに限定されることなく、例えば、図5に示す撮像装置100Aのように、画像処理を2つに分けて処理するようにしてもよい。
図5に示すように、撮像装置100Aは、撮像装置100の画像処理部5の代わりに、画像処理部5Aおよびガンマ処理部5Bを備えており、画像処理部5Aは、撮像部1と平均演算部3との間に配置されており、ガンマ処理部5Bは、速度変換部4の後段に配置されている。それ以外については、撮像装置100Aは、撮像装置100と同様である。撮像装置100Aにおいて、撮像装置100と同様の部分については、同一符号を付し、説明を省略する。
図5の撮像装置100Aでは、画像処理を2つのブロックに分け、別々に処理しているが、外部閃光フレームを除外して画像(フレーム画像)の平均値を計算する動作は、撮像装置100と同じである。したがって、撮像装置100Aにおいても、撮像装置100と同じ効果が得られる。
[第2実施形態]
本発明の第2実施形態について、図面を参照しながら説明する。
<2.1:撮像装置の構成>
本発明の第2実施形態に係る撮像装置は、基本的には第1実施形態に係る撮像装置100の構成と同じであるので、本実施形態の撮像装置の構成の詳細な説明は、省略する。本実施形態において、第1実施形態と異なっている点は、以下の通りである。
第2に、本実施形態の撮像装置では、平均演算部において、最大6フレーム分(360pの6フレーム分)の画像(フレーム画像)に相当する画像信号を用いて、平均値計算ができるようになっている。この点が第1実施形態と異なる。
第3に、本実施形態の撮像装置では、速度変換部において、フレーム周波数360Hzの画像信号からフレーム周波数60Hzの画像信号に変換している(360pから60pへのフレームレート変換を行っている)。この点が第1実施形態と異なる。
上記以外の点については、本実施形態は、第1実施形態と同様である。
以上のように構成された本発明の第2実施形態における撮像装置の動作について説明する。第2実施形態の撮像装置の動作において、第1実施形態と異なっている部分について説明する。具体的には、本実施形態の撮像装置において、撮像部から出力される画像信号(フレーム周波数360Hzの画像信号)の連続した6フレーム(360pの6フレーム分)を用いて、平均演算部による実行される平均計算処理について、図6を用いて説明する。
図6は、本実施形態の撮像装置で、外部閃光により撮像部から出力される画像信号に高輝度な横帯が発生するタイミングを説明する図である。図6において、(1)から(6)は、フレーム周波数360Hzにおける連続する6つのフレーム(360pの6フレーム)を、最終出力の垂直同期信号を基準にして、示している。図6において、外部閃光がないフレームは、1フレーム分ハッチングを施している。外部閃光があるフレームは、上半分あるいは下半分を白くしている。
(A)(a)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(5)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(3)とフレーム(4)の平均値を計算する。
(B)(b)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(5)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(3)とフレーム(4)の平均値を計算する。
(C)(c)の位相関係の場合、フレーム(2)、フレーム(3)、フレーム(4)およびフレーム(5)を除外し、図6の黒丸で示したフレーム(1)とフレーム(6)の平均値を計算する。
(D)(d)の位相関係の場合、フレーム(1)、フレーム(3)、フレーム(4)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(2)とフレーム(5)の平均値を計算する。
(E)(e)の位相関係の場合、フレーム(2)、フレーム(3)、フレーム(4)およびフレーム(5)を除外し、図6の黒丸で示したフレーム(1)とフレーム(6)の平均値を計算する。
(F)(f)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(5)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(3)とフレーム(4)の平均値を計算する。
(G)(g)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(5)およびフレーム(6)を除外し、図6の黒丸で示したフレーム(3)とフレーム(4)の平均値を計算する。
本実施形態の撮像装置では、撮像部から出力されるn倍速画像(画像信号)の連続するn個のフレームに1番からn番までのフレーム番号を付けたとき、フレーム番号の平均が(n+1)/2となるように、閃光を検出していないフレームを選択して平均演算部で平均を計算する。本実施形態では、n=6である。
本実施形態の撮像装置では、フレーム番号の平均が(n+1)/2となるように平均計算すべきフレームを選んでいる。撮像装置において、このように制御することにより、平均計算に採用されるフレームが図6のフレーム(1)からフレーム(6)の中で左右対称にすることができ、時間的な重心が常に1/60秒の中央にすることができる(図6の場合では、時間的な重心を常にC1で示した位置にすることができる)。
以上のように、本実施形態の撮像装置は、6倍速で駆動させる撮像部と、図6の黒丸で示したフレームの平均計算をする平均演算部とを有しており、上記のように動作するので、最終出力のフレーム周波数60Hzの画像信号に高輝度な横帯が発生することを防止することができ、かつ、同じフレーム画像を複数枚連続出力することもない。このため、本実施形態の撮像装置により取得される画像(映像)は、動画としての連続性も保つことができる。さらに、平均計算に採用されるフレームが図6のフレーム(1)からフレーム(6)の中で左右対称にすることができ、常に時間重心を一定に保つことができるため、本実施形態の撮像装置により取得される画像(映像)は、動画としてスムースなものになる。
本発明の第3実施形態について、図面を参照しながら説明する。
<3.1:撮像装置の構成>
本発明の第3実施形態に係る撮像装置は、基本的には第1実施形態に係る撮像装置100の構成と同じであるので、本実施形態の撮像装置の構成の詳細な説明は、省略する。本実施形態において、第1実施形態と異なっている点は、以下の通りである。
第1に、本実施形態の撮像装置では、n=8であり、撮像部において、CMOSイメージセンサを8倍速で駆動しており、フレーム周波数480Hz(=60[Hz]×8)のデジタル順次走査画像信号を取得し出力する。この点が第1実施形態と異なる。
第2に、本実施形態の撮像装置では、平均演算部において、最大8フレーム分(480pの8フレーム分)の画像(フレーム画像)に相当する画像信号を用いて、平均値計算ができるようになっている。この点が第1実施形態と異なる。
上記以外の点については、本実施形態は、第1実施形態と同様である。
<3.2:撮像装置の動作>
以上のように構成された本発明の第3実施形態における撮像装置の動作について説明する。第3実施形態の撮像装置の動作において、第1実施形態と異なっている部分について説明する。具体的には、本実施形態の撮像装置において、撮像部から出力される画像信号(フレーム周波数480Hz画像信号)の連続した8フレーム(480pの8フレーム分)を用いて、平均演算部による実行される平均計算処理について、図7を用いて説明する。
1発の外部閃光があった場合、図7に示すように1/60秒の垂直同期信号のタイミングに対して(a)から(i)の9種類の位相関係があり得る。本実施形態の撮像装置では、次のようにして、除外するフレームを決定し、平均演算部による平均処理を行う。
(A)(a)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(7)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(3)、フレーム(4)、フレーム(5)とフレーム(6)の平均値を計算する。
(B)(b)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(7)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(3)、フレーム(4)、フレーム(5)とフレーム(6)の平均値を計算する。
(C)(c)の位相関係の場合、フレーム(2)、フレーム(3)、フレーム(6)およびフレーム(7)を除外し、図7の黒丸で示したフレーム(1)、フレーム(4)、フレーム(5)とフレーム(8)の平均値を計算する。
(D)(d)の位相関係の場合、フレーム(3)、フレーム(4)、フレーム(5)およびフレーム(6)を除外し、図7の黒丸で示したフレーム(1)、フレーム(2)、フレーム(7)とフレーム(8)の平均値を計算する。
(E)(e)の位相関係の場合、フレーム(1)、フレーム(4)、フレーム(5)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(2)、フレーム(3)、フレーム(6)とフレーム(7)の平均値を計算する。
(F)(f)の位相関係の場合、フレーム(3)、フレーム(4)、フレーム(5)およびフレーム(6)を除外し、図7の黒丸で示したフレーム(1)、フレーム(2)、フレーム(7)とフレーム(8)の平均値を計算する。
(G)(g)の位相関係の場合、フレーム(2)、フレーム(3)、フレーム(6)およびフレーム(7)を除外し、図7の黒丸で示したフレーム(1)、フレーム(4)、フレーム(5)とフレーム(8)の平均値を計算する。
(H)(h)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(7)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(3)、フレーム(4)、フレーム(5)とフレーム(6)の平均値を計算する。
(I)(i)の位相関係の場合、フレーム(1)、フレーム(2)、フレーム(7)およびフレーム(8)を除外し、図7の黒丸で示したフレーム(3)、フレーム(4)、フレーム(5)とフレーム(6)の平均値を計算する。
本実施形態の撮像装置では、撮像部から出力されるn倍速画像(画像信号)の連続するn個のフレームに1番からn番までのフレーム番号を付けたとき、フレーム番号の平均が(n+1)/2となるように、閃光を検出していないフレームを選択して平均演算部で平均を計算する。本実施形態では、n=8である。
本実施形態の撮像装置では、フレーム番号の平均が(n+1)/2となるように平均計算すべきフレームを選んでいる。撮像装置において、このように制御することにより平均計算に採用されるフレームが図7のフレーム(1)からフレーム(8)の中で左右対称にすることができ、時間的な重心が常に1/60秒の中央にすることができる(図7の場合では、時間的な重心を常にC2で示した位置にすることができる)。
[第4実施形態]
<4.1:撮像装置の構成>
図9は、本発明の第4実施形態に係る撮像装置400のブロック図である。
なお、説明便宜のため、以下では、撮像部401が所定の映像フォーマットの4倍のフレームレートの画像信号を取得する場合(つまり、n=4の場合)について、説明する。
閃光検出部402は、撮像部401から出力される画像信号を入力とし、連続する各フレームの画像(画像信号により形成されるフレーム画像)を比較し、外部閃光の有無を検出する。そして、閃光検出部402は、外光閃光の有無を示す閃光検出信号をフォーマット変換部403に出力する。
すなわち、画像領域上において、その画素位置(座標位置)が同一である画素に対応する画像信号であって、K+2個のフレームメモリにそれぞれ記憶されているK+2個の画像信号の中から、K個の画像信号を抽出し、抽出したK個の画像信号を加算することで、フレーム変換処理を行う。なお、加算処理の代わりに、加算平均処理を行うようにしてもよい。
さらに、240pの画像信号を60pの画像信号にフォーマット変換する場合のフォーマット変換部403の具体的構成の一例を、図10に示す。
図10に示すように、フォーマット変換部403は、フレームメモリ部420と、制御信号変換部421と、セレクタ部422と、加算部423と、を有する。
フレームメモリ部420は、少なくとも6フレーム分(=240/60+2)の容量を持つ、例えばメモリ等の記憶素子で構成されている。フレームメモリ部420は、撮像部401から出力されるフレーム周波数が240Hz(フレームレートが240[fps])の画像信号をフレームメモリ1からフレームメモリ6に記憶し、フレーム周波数が60Hz(フレームレートが60[fps])の画像信号に変換して出力する。
セレクタ部422は、フレームメモリ部420から出力される6個のフレーム(6枚の画像に相当)にそれぞれ対応する6個の画像信号(画像領域上において同一画素位置である画素に対応する画像信号)と、制御信号変換部421から出力される制御信号とを入力とし、制御信号に基づいて、上記6個の画像信号の中から、4個の画像信号を選択して(6枚のフレーム画像に対応する画像信号から4枚のフレーム画像に対応する画像信号を選択して)、加算部423に出力する(詳細については後述)。
画像処理部404は、フォーマット変換部403から出力される画像信号に対して、ガンマ処理や輪郭強調処理等の信号処理を行う。
<4.2:撮像装置の動作>
以上のように構成された撮像装置400について、その動作を説明する。
まず、撮像部401では、センサ駆動回路(不図示)から駆動信号を供給して、CMOSイメージセンサに入射した光信号を光電変換し、さらに、アナログ/デジタル変換を行うことによってデジタル順次走査画像信号が取得される。なお、撮像部401は、図16で示した従来の撮像装置900の撮像部950と比べ4倍速でCMOSイメージセンサを駆動しており、フレーム周波数240[Hz](フレームレート240[fps])のデジタル順次走査画像信号を出力している。
閃光検出部402は、入力されたデジタル順次走査画像信号に対して、1フレーム分(240pの1フレーム分)の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレーム(1フレーム前のフレーム)の平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像(デジタル順次走査画像信号)が撮像部401により取得されたと判断する。例えば、平均輝度レベルが100%以上増加した場合、閃光検出部402は、フラッシュのような外部閃光が検出されたと判定し、閃光検出信号の信号値を「1」にして、閃光検出信号を出力する。一方、外部閃光を検出していない場合、閃光検出部402は、閃光検出信号の信号値を「0」(無信号にしてもよい。)にして、閃光検出信号を出力する。そして、閃光検出部402により生成された閃光検出信号は、フォーマット変換部403に出力される。
フレームメモリ部420は、入力された6枚の画像に相当する画像信号(6フレーム分の画像信号)を、フレーム周波数240[Hz](240[fps])という4倍速のフレームレート(60pの4倍のフレームレート)にてメモリに書き込み、フレーム周波数60[Hz](フレームレート60[fps])のタイミングで、当該メモリから読み出すことにより、速度変換(フレームレート変換)を行い、フレーム周波数60Hz(フレームレート60[fps])の画像信号(60pの画像信号)を生成する。なお、これら6枚の画像(フレーム画像)に相当する画像信号(6フレーム分の画像信号)の出力タイミングは、画像信号により形成されるフレーム画像において、その画像領域上の位置が同じ位置の信号が、同一タイミングで出力されるように調整されている。
制御信号変換部421は、連続する閃光検出信号が6個のフレーム画像(6フレーム期間)のどの部分に発生しているかに対応した制御信号を以下のように生成(設定)し、出力する。すなわち、
(A)閃光検出信号が全く発生しない場合(閃光検出信号がフレームメモリ1〜6のいずれにも発生していない場合)、制御信号を「0」に設定する(制御信号を「0」を示す信号値に設定する)。
(B)閃光検出信号がフレームメモリ1、およびフレームメモリ2に発生する場合、制御信号の信号値を「1」に設定する(制御信号を「1」を示す信号値に設定する)。
(C)閃光検出信号がフレームメモリ2、およびフレームメモリ3に発生する場合、制御信号を「2」に設定する(制御信号を「2」を示す信号値に設定する)。
(D)閃光検出信号がフレームメモリ3、およびフレームメモリ4に発生する場合、制御信号を「3」に設定する(制御信号を「3」を示す信号値に設定する)。
(E)閃光検出信号がフレームメモリ4、およびフレームメモリ5に発生する場合、制御信号を「4」に設定する(制御信号を「4」を示す信号値に設定する)。
(F)閃光検出信号がフレームメモリ5、およびフレームメモリ6に発生する場合、制御信号を「5」に設定する(制御信号を「5」を示す信号値に設定する)。
(A)制御信号値0の場合:
フレームメモリ2,3,4,5から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
(B)制御信号値1の場合:
フレームメモリ1,2,3,4から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
(C)制御信号値2の場合:
フレームメモリ2,3,4,5から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
(D)制御信号値3の場合:
フレームメモリ2,3,4,5から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
(E)制御信号値4の場合:
フレームメモリ2,3,4,5から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部23に出力する。
(F)制御信号値5の場合:
フレームメモリ3,4,5,6から、それぞれ、出力される画像信号を選択し、選択した4つの画像信号を加算部423に出力する。
画像処理部404では、フォーマット変換部403から出力された画像信号(60pの画像信号)に対しガンマ処理(ガンマ補正)、輪郭強調処理等を施す。そして、画像処理部404により処理された画像信号が、画像処理部404から出力される。
次に、撮像装置400の動作について、図3を用いて、詳しく説明する。
図3は、本実施形態における撮像装置100で、外部閃光により画像が受ける悪影響を説明する図である。図3の(1)〜(4)は、連続したフレームでCMOSイメージセンサが受光しているタイミングを、最終出力の垂直同期信号を基準にして、示している。
しかしながら、本実施形態に係る撮像装置100では、外部閃光を検出したフレーム、すなわち、図3でのフレーム(2)およびフレーム(3)の画像信号(フレーム(2)およびフレーム(3)を形成する画像信号)を加算することにより最終の画像信号を生成するため、高輝度な横帯の発生を防ぐことができる。
さらに、図11を用いて、フォーマット変換部403の処理について説明を加える。
図11は、本実施形態における撮像装置400で、外部閃光により撮像部401から出力される画像信号により形成される画像に高輝度な横帯が発生するタイミングを説明する図である。図11において、(1)から(6)は、フレームメモリ部420に記憶されるフレーム周波数240Hz(フレームレート240[fps])における連続する6つのフレーム(240pの6フレーム)を示しており、外部閃光がないフレームは、1フレーム分ハッチングを施している。外部閃光があるフレームは、上半分あるいは下半分を白くしている。
1発の外部閃光があった場合、図11に示すように、(b)から(f)の5種類の位相関係があり得る。本実施形態における撮像装置400では、外部閃光がない場合、(a)も含め、次の(A)〜(F)のようにして、フォーマット変換部403で加算するフレームを決定し、決定したフレームの信号を加算する。なお、図11に(N)で表記しているフレームは、フレームNに対応する。
(A)(a)の場合(外部閃光がない場合):
フレーム2、フレーム3、フレーム4、フレーム5の信号を加算する。
(B)(b)の位相関係の場合:
フレーム1、フレーム2、フレーム3、フレーム4の信号を加算する。
(C)(c)の位相関係の場合:
フレーム2、フレーム3、フレーム4、フレーム5の信号を加算する。
(D)(d)の位相関係の場合:
フレーム2、フレーム3、フレーム4、フレーム5の信号を加算する。
(E)(e)の位相関係の場合:
フレーム2、フレーム3、フレーム4、フレーム5の信号を加算する。
(F)(f)の位相関係の場合:
フレーム3、フレーム4、フレーム5、フレーム6の信号を加算する。
以上のように、本実施形態における撮像装置400では、4倍速で駆動させる撮像部1と、外部閃光を検知したフレーム画像を加算して画像信号を出力するフォーマット変換部403とを設けたことにより、最終出力のフレーム周波数60Hz(フレームレート60[fps])の画像信号に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもない。このため、撮像装置400から出力される画像信号により形成される映像において、動画としての連続性も保つことができる。
次に、本実施形態の第1変形例について、図12〜図14を用いて、説明する。
第1変形例において、上記実施形態と異なるのは、フォーマット変換部403での処理内容のみであり、それ以外については、上記実施形態で説明したのと同じである。なお、本変形例においても、フォーマット変換部403で、画像信号が、240pから60pにフレームレート変換される場合について、説明する。
図12〜図14は、フォーマット変換部403に入力される画像信号Sig_inと、フォーマット変換部403から出力される画像信号Sig_outと、のタイミングチャート図である。なお、図12〜図14の上段に示す四角形の中の数字は、フレーム番号を示すものとする。そして、白い(背景色のない)四角形で示したフレームは、外部閃光の影響を受けているフレームであることを示している。
図12(a)の場合:
図12(a)は、フレーム1〜フレーム18において、外部閃光の影響の影響を受けているフレームがない場合の画像信号Sig_inおよび画像信号Sig_outのタイミングチャート図である。
同様に、図12(a)の場合、期間T2の入力画像信号Sin_inに対して、出力画像信号Sig_outが、「6+7+8+9」の信号として取得され、期間T3の入力画像信号Sin_inに対して、出力画像信号Sig_outが、「10+11+12+13」の信号として取得される。
図12(b)の場合:
次に、図12(b)の場合について、説明する。
図12(b)は、フレーム3、4、8、9、11、12に、外部閃光の影響がある場合のタイミングチャート図である。
したがって、図12(b)の場合も、画像信号の時間軸方向の重心がずれることはなく、撮像装置400により取得される撮像画像により形成される映像は、自然な映像となる。
次に、図13の場合について、説明する。
図13(a)、(b)は、フレーム5、6に、外部閃光の影響がある場合のタイミングチャート図である。なお、図13(a)は、上記実施形態でのタイムチャート図であり、図13(b)は、本変形例でのタイミグチャート図である。
図13(a)の場合(上記実施形態による処理):
図13(a)の場合、期間T1は、図11の(f)の位相関係(上記実施形態で説明した(F)の場合に相当)であるので、フォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム3〜6の4つのフレームに対応する画像信号が選択され、選択されたフレーム3〜6の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「3+4+5+6」)が取得される。
図13(a)の場合、期間T3は、図11の(a)の位相関係(上記実施形態で説明した(A)の場合に相当)であるので、フォーマット変換部403では、期間T3の入力画像信号Sig_inに対して、フレーム10〜13の4つのフレームに対応する画像信号が選択され、選択されたフレーム10〜13の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「10+11+12+13」)が取得される。
図13(b)の場合(第1変形例による処理):
そこで、本変形例では、フォーマット変換部403において、図13(b)に示すように、4つのフレームを選択し、画像信号の時間軸方向の重心のずれを低減させる。
つまり、図11の位相関係(f)である場合の6フレーム期間(例えば、図13(b)の期間T1)の次の6フレーム期間(例えば、図13(b)の期間T2)の位相関係は、必ず、図11の(b)の位相関係となる。したがって、本変形例の制御信号変換部421は、位相関係のパターンを監視し、上記パターンを検出した場合、図11の位相関係(f)である場合の6フレーム期間(例えば、図13(b)の期間T1)の次の6フレーム期間において、時間軸方向に後ろ側の4つのフレームを選択するように制御信号をセレクタ部422に出力する。
次に、図14の場合について、説明する。
図14(a)、(b)は、フレーム1、2に、外部閃光の影響がある場合のタイミングチャート図である。なお、図14(a)は、上記実施形態でのタイムチャート図であり、図14(b)は、本変形例でのタイミグチャート図である。
図14(a)の場合(上記実施形態による処理):
図14(a)の場合、期間T1は、図11の(b)の位相関係(上記実施形態で説明した(B)の場合に相当)であるので、フォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム1〜4の4つのフレームに対応する画像信号が選択され、選択されたフレーム1〜4の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「1+2+3+4」)が取得される。
図14(a)の場合、期間T3も、期間T2と同様である。
このようにして取得された画像信号Sig_outは、時間軸方向の重心がずれることになる。つまり、図14(a)の場合、出力画像信号Sig_outは、図14(a)に示したC13、C14、C15を中心とする4つのフレームを加算して生成されているので、出力画像信号Sig_outの時間軸方向の重心は、時間軸方向に等間隔でないC13、C14、C15に準ずるものであると考えることが出来る。したがって、図14(a)の場合、画像信号の時間軸方向の重心がずれることなる。
図14(b)の場合(第1変形例による処理):
図14(b)の場合、第1変形例のフォーマット変換部は、期間T1では、上記実施形態と同様の処理を行うが、期間T2では、上記実施形態と異なる処理を行う。具体的には、第1変形例のフォーマット変換部は、図14(b)に示すように、期間T1で選択されたフレームが時間軸方向に前側4つのフレーム(フレーム1〜4)であるので、次の期間T2においても、時間軸方向の重心のずれを抑えるために、時間軸方向に前側の4つのフレーム(フレーム5〜8)を選択する。なお、このような選択を行う制御信号は、本変形例の制御信号変換部421により生成される。
≪第2変形例≫
次に、本実施形態の第2変形例について、図15を用いて、説明する。
第2変形例において、上記実施形態と異なるのは、フォーマット変換部403での処理内容のみであり、それ以外については、上記実施形態で説明したのと同じである。なお、本変形例においても、フォーマット変換部403で、画像信号が、240pから60pにフレームレート変換される場合について、説明する。
図15(a)は、フレーム1、2に、外部閃光の影響がある場合のタイミングチャート図であり、図15(b)は、フレーム5、6に、外部閃光の影響がある場合のタイミングチャート図である。
まず、図15(a)の場合について、説明する。
(期間T1):
期間T1では、外部閃光の影響を受けているフレーム1、2が検出されるため、本変形例のフォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム1〜6の6つのフレームに対応する画像信号が選択され、選択されたフレーム1〜6の6つのフレームに対応する画像信号が加算され、さらに、ゲインG1(=4/6)によるゲイン処理を実行されることで、出力画像信号Sig_out(「1+2+3+4+5+6」×G1)が取得される。
(期間T2):
期間T2では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部403では、期間T2の入力画像信号Sig_inに対して、フレーム6〜9の4つのフレームに対応する画像信号が選択され、選択されたフレーム6〜9の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「6+7+8+9」)が取得される。
(期間T3):
期間T3では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部403では、期間T3の入力画像信号Sig_inに対して、フレーム10〜13の4つのフレームに対応する画像信号が選択され、選択されたフレーム10〜13の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「10+11+12+13」)が取得される。
(期間T1):
期間T1では、外部閃光の影響を受けているフレーム5、6が検出されるため、本変形例のフォーマット変換部403では、期間T1の入力画像信号Sig_inに対して、フレーム1〜6の6つのフレームに対応する画像信号が選択され、選択されたフレーム1〜6の6つのフレームに対応する画像信号が加算され、さらに、ゲインG1(=4/6)によるゲイン処理を実行されることで、出力画像信号Sig_out(「1+2+3+4+5+6」×G1)が取得される。
(期間T2):
期間T2でも、外部閃光の影響を受けているフレーム5、6が検出されるため、本変形例のフォーマット変換部403では、期間T2の入力画像信号Sig_inに対して、フレーム5〜10の6つのフレームに対応する画像信号が選択され、選択されたフレーム5〜10の6つのフレームに対応する画像信号が加算され、さらに、ゲインG1(=4/6)によるゲイン処理を実行されることで、出力画像信号Sig_out(「5+6+7+8+9+10」×G1)が取得される。
(期間T3):
期間T3では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部403では、期間T3の入力画像信号Sig_inに対して、フレーム10〜13の4つのフレームに対応する画像信号が選択され、選択されたフレーム10〜13の4つのフレームに対応する画像信号が加算されることで、出力画像信号Sig_out(「10+11+12+13」)が取得される。
なお、本変形例の制御信号変換部421は、次の(1)、(2)に示すように選択処理がなされるように制御信号を生成し、生成した制御信号をセレクタ部422に出力する。
(1)6フレーム期間に外部閃光の影響のあるフレームが検出された場合、6個のフレームに相当する画像信号の選択処理(6個全てを選択する処理)がなされるように、制御信号を生成する。
(2)6フレーム期間に外部閃光の影響のあるフレームが検出されない場合、時間軸方向の前後端の2個のフレームを除いた中央の4個のフレームに相当する画像信号の選択処理(中央の4個のフレームに相当する画像信号を選択する処理)がなされるように、制御信号を生成する。
以上により、本変形例において、フォーマット変換部403から出力される画像信号Sig_outは、図15に示すように、その時間軸方向の重心が、C19、C20、C21となるので、時間軸方向の重心のずれがない画像信号となる。その結果、本変形例に係る撮像装置により取得される撮像画像により形成される映像は、自然な映像となる。
[他の実施形態]
上記第2実施形態および第3実施形態において、平均演算部での平均演算の対象とするフレーム数は、固定である場合について説明した(図6の場合は、平均演算の対象のフレーム数は「2」であり、図7の場合、平均演算の対象のフレーム数は「4」である)。しかし、これに限定されることはなく、平均演算部での平均演算の対象とするフレーム数を可変にし、時間重心が一定に保つことができるようにフレームを選択するようにしてもよい。
図8に示すように、(a)(d)および(g)の位相関係の場合、平均演算部での平均演算の対象とするフレーム数を「4」にし、平均演算部での平均演算の対象とするフレームを、黒丸で示したフレームおよび白丸で示したフレームにする。この場合、平均演算部での平均演算の対象とするフレーム数が「2」から「4」に増加しているが、時間重心が一定に保つことができるので、上記第2実施形態で説明したのと同様の効果を奏することができる。さらに、撮像装置において上記処理を採用した場合、平均演算部での平均演算の対象とするフレーム数を増加させることができるので、撮像装置で取得される画像(映像)のS/N比改善効果も得られる。
なお、上記説明は、n=6の場合であり、第2実施形態に対応するものであるが、n=8の場合(第3実施形態に対応)も同様であることは言うまでもない。
また、上記実施形態で説明した撮像装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1、401 撮像部
2、402 閃光検出部
3 平均演算部
4 速度変換部
5、404 画像処理部
5A 画像処理部
5B ガンマ処理部
20 ゲート部
21 加算部
22 記憶部(メモリ回路)
23 除算部
403 フォーマット変換部
420 フレームメモリ部
421 制御信号変換部
422 セレクタ部
423 加算部
Claims (9)
- 撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部と、
前記撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出部と、
前記撮像部により取得されたn倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換部と、
を備える撮像装置。 - 前記nは3以上の整数であり、
前記フォーマット変換部は、
前記閃光検出信号により制御され、前記閃光検出部により閃光が検出された場合、nフレーム分の前記n倍速の画像信号から、前記閃光検出信号に基づいて、閃光を含むフレームの画像を除外し、除外したフレーム以外のフレームを形成する前記n倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得し、前記閃光検出部により閃光が検出されていない場合、nフレーム分の前記n倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得する平均演算部と、
前記平均画像信号を、1/nの速度に変換し、所定の映像フォーマットのタイミングに合わせて画像信号を出力する速度変換部と、
を備える、
請求項1に記載の撮像装置。 - 前記nは5以上の整数であり、
前記平均演算部は、前記n倍速の画像信号により形成される連続するnフレームに1番からn番までのフレーム番号を付けたとき、閃光が検出されていないフレームから、フレーム番号の平均が(n+1)/2となるように平均演算の対象とするフレームを選択して、各画素の平均を計算することで前記平均画像信号を取得する、
請求項2に記載の撮像装置。 - 前記フォーマット変換部は、前記撮像部により取得されたn倍速の画像信号をnフレーム分加算することにより、前記所定の映像フォーマットのタイミングに合わせて画像信号を出力するとともに、前記閃光検出信号に基づいて、前記閃光検出部により閃光の影響を受けているフレームが発生するタイミングに応じて、加算対象とするnフレーム分のフレームを決定する、
請求項1に記載の撮像装置。 - 前記フォーマット変換部は、前記閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームを加算対象とするnフレームに含めて、前記n倍速の画像信号に対して、nフレーム分の加算処理を行う、
請求項4に記載の撮像装置。 - 前記フォーマット変換部は、
(n+2)フレーム分の画像信号を記憶するメモリ部と、
前記メモリ部に記憶される前記(n+2)フレーム分の前記画像信号から、nフレーム分の画像信号を選択するセレクタ部と、
前記セレクタ部により選択された前記nフレーム分の画像信号を加算する加算部と、
を備え、
前記セレクタ部は、前記閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームの画像信号を、選択する前記nフレーム分の画像信号に含める、
請求項4または5に記載の撮像装置。 - 撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法であって、
前記撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出ステップと、
前記撮像部により取得されたn倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換ステップと、
を備える撮像方法。 - 撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムであって、
前記撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出ステップと、
前記撮像部により取得されたn倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換ステップと、
を備える撮像方法をコンピュータに実行させるプログラム。 - 撮像素子を有し、所定の映像フォーマットのn倍(nは2以上の整数)のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してn倍速の画像信号を取得する撮像部を備える撮像装置に用いられる集積回路であって、
前記撮像部により取得されたn倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出部と、
前記撮像部により取得されたn倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換部と、
を備える集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009227908A JP5320245B2 (ja) | 2008-11-05 | 2009-09-30 | 撮像装置、撮像方法、プログラムおよび集積回路 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008284026 | 2008-11-05 | ||
JP2008284026 | 2008-11-05 | ||
JP2008292638 | 2008-11-14 | ||
JP2008292638 | 2008-11-14 | ||
JP2009135043 | 2009-06-04 | ||
JP2009135043 | 2009-06-04 | ||
JP2009227908A JP5320245B2 (ja) | 2008-11-05 | 2009-09-30 | 撮像装置、撮像方法、プログラムおよび集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011015381A JP2011015381A (ja) | 2011-01-20 |
JP5320245B2 true JP5320245B2 (ja) | 2013-10-23 |
Family
ID=42130888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009227908A Active JP5320245B2 (ja) | 2008-11-05 | 2009-09-30 | 撮像装置、撮像方法、プログラムおよび集積回路 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8223221B2 (ja) |
JP (1) | JP5320245B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009107636A1 (ja) * | 2008-02-26 | 2009-09-03 | 日本電気株式会社 | 点滅信号検出回路、点滅信号検出方法、物体検知装置、物体検知方法、及び撮像システム |
JP5225932B2 (ja) * | 2009-05-28 | 2013-07-03 | パナソニック株式会社 | 撮像装置、集積回路、画像処理方法及びプログラム |
JP2013165439A (ja) * | 2012-02-13 | 2013-08-22 | Sony Corp | フラッシュバンド補正装置、フラッシュバンド補正方法及び撮像装置 |
JP6156686B2 (ja) * | 2013-02-20 | 2017-07-05 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
WO2014144794A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Avoiding flash-exposed frames during video recording |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0537896A (ja) * | 1991-06-18 | 1993-02-12 | Canon Inc | 記録装置 |
JP3630093B2 (ja) * | 2000-10-31 | 2005-03-16 | 日本電気株式会社 | 映像データ補正装置及び映像データ補正方法 |
JP4608766B2 (ja) * | 2000-11-27 | 2011-01-12 | ソニー株式会社 | 固体撮像素子の駆動方法、及びカメラ |
JP4631611B2 (ja) * | 2005-08-30 | 2011-02-16 | ソニー株式会社 | フリッカ検出装置とフリッカ除去装置と撮像装置およびフリッカ検出方法 |
JP4760518B2 (ja) * | 2006-05-10 | 2011-08-31 | ソニー株式会社 | 撮像装置、撮像方法、プログラム、および画像処理装置 |
JP4716182B2 (ja) * | 2006-05-16 | 2011-07-06 | 富士フイルム株式会社 | 撮像装置及び撮像制御プログラム |
JP5147302B2 (ja) * | 2007-06-13 | 2013-02-20 | 株式会社エルモ社 | ビデオカメラおよびビデオカメラにおけるフリッカ低減方法 |
JP5111100B2 (ja) * | 2007-12-28 | 2012-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
JP5144481B2 (ja) * | 2008-12-02 | 2013-02-13 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
-
2009
- 2009-09-30 JP JP2009227908A patent/JP5320245B2/ja active Active
- 2009-11-04 US US12/612,218 patent/US8223221B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8223221B2 (en) | 2012-07-17 |
US20100110225A1 (en) | 2010-05-06 |
JP2011015381A (ja) | 2011-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9124809B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
JP5167405B2 (ja) | 閃光の影響を補正する撮像装置 | |
US9288399B2 (en) | Image processing apparatus, image processing method, and program | |
JP4631558B2 (ja) | 撮像装置および画像処理プログラム | |
US20140168429A1 (en) | Image Processing Apparatus, Image Processing Method and Program | |
US8767095B2 (en) | Imaging apparatus, external flash correction method, recording medium, and integrated circuit | |
JP5320245B2 (ja) | 撮像装置、撮像方法、プログラムおよび集積回路 | |
JP5520704B2 (ja) | 撮像装置、閃光判定方法およびプログラム | |
JP2009288780A (ja) | 撮像装置 | |
JP2013165487A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP5829122B2 (ja) | 撮像装置および評価値生成装置 | |
JP5649927B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
JP5820720B2 (ja) | 撮像装置 | |
JP5381541B2 (ja) | 撮像装置 | |
JP6152009B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP5947625B2 (ja) | 撮像装置、及びその制御方法 | |
JP5820213B2 (ja) | 画像処理装置及びその方法、撮像装置 | |
JP5402223B2 (ja) | 撮像装置 | |
JP7237164B2 (ja) | 撮像装置、撮像方法、および映像処理プログラム | |
JP2019149787A (ja) | 撮像装置、画像処理装置、および画像処理プログラム | |
JP2010206591A (ja) | 固体撮像装置、集積回路及びプログラム | |
JP2007259473A (ja) | 動き検出装置 | |
JP2017063261A (ja) | 撮像装置 | |
JP2015115877A (ja) | 撮像装置、その制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5320245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |