JP2017183870A - 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 - Google Patents
撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 Download PDFInfo
- Publication number
- JP2017183870A JP2017183870A JP2016065220A JP2016065220A JP2017183870A JP 2017183870 A JP2017183870 A JP 2017183870A JP 2016065220 A JP2016065220 A JP 2016065220A JP 2016065220 A JP2016065220 A JP 2016065220A JP 2017183870 A JP2017183870 A JP 2017183870A
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure
- imaging processing
- processing apparatus
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 139
- 238000003384 imaging method Methods 0.000 title claims abstract description 88
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000003672 processing method Methods 0.000 title claims description 7
- 239000000758 substrate Substances 0.000 claims description 69
- 239000004065 semiconductor Substances 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000010030 laminating Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 abstract description 7
- 239000002131 composite material Substances 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000009825 accumulation Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な撮像処理装置を提供する。
【解決手段】第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成する制御部を備え、前記制御部は、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、撮像処理装置が提供される。
【選択図】図1
【解決手段】第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成する制御部を備え、前記制御部は、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、撮像処理装置が提供される。
【選択図】図1
Description
本開示は、撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器に関する。
デジタルスチルカメラには、事前に複数フレーム分の設定をしておき、所定の撮像トリガを起点として、1枚ずつ自動で設定を変更しながら連続した複数のフレームを撮像する機能が備えられているものがある。その設定のうち、露光時間、ゲイン、フラッシュ、高感度モードなどの露光系の設定を変更しながら撮像する機能のことをAEB(Auto Exposure Bracketing)と呼ぶ(例えば特許文献1参照)。
既存のAEBは、複数フレームを同じフレームレートで撮像していた。従って、露光時間が短いと、フレーム間に大きな間隔が生じる。フレーム間に大きな間隔が生じた撮像画像を合成するとブラー(被写体ぶれ)が目立つ。一方で、読出し間隔を狭めればブラーを抑制できるが、その反面で最大露光時間の上限が短くなり、露光時間の設定可能範囲が狭まる。
そこで、本開示では、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な、新規かつ改良された撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器を提案する。
本開示によれば、第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成する制御部を備え、前記制御部は、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、撮像処理装置が提供される。
また本開示によれば、第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成することと、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化することと、を含む、撮像処理方法が提供される。
また本開示によれば、コンピュータに、第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成することと、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化することと、を実行させる、コンピュータプログラムが提供される。
また本開示によれば、上記撮像処理装置を備える電子機器が提供される。
以上説明したように本開示によれば、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な、新規かつ改良された撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器を提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の実施の形態
1.1.概要
1.2.機能構成例
1.3.センサモジュールの構成例
1.4.動作例
2.まとめ
1.本開示の実施の形態
1.1.概要
1.2.機能構成例
1.3.センサモジュールの構成例
1.4.動作例
2.まとめ
<1.本開示の実施の形態>
[1.1.概要]
本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。
[1.1.概要]
本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。
上述のように、デジタルスチルカメラには、事前に複数フレーム分の設定をしておき、所定の撮像トリガを起点として、1枚ずつ自動で設定を変更しながら連続した複数のフレームを撮像する機能が備えられているものがある。その設定のうち、露光時間、ゲイン、フラッシュ、高感度モードなどの露光系の設定を変更しながら撮像する機能のことをAEBと称する。
従来のAEB機能は、所定の撮像トリガを起点として、複数フレームを同じフレームレートで撮像していた。図1は、従来のAEB機能を説明する説明図であり、複数フレームを同じフレームレートで撮像する従来のAEB機能について説明する説明図である。図1の実線は撮像素子に対するシャッタタイミングを示し、破線は撮像素子からデータを読み出すリードタイミングを示している。
複数フレームを同じフレームレートで撮像する場合、画素からのデータの読出し間隔は、図1に示したように定常間隔となる。従って、画素のシャッタタイミングは、画素からのデータの読出しタイミングに合わせる必要がある。そのため、図1に示したように、露光時間次第では、前のフレームのデータの読出しタイミングと、次のフレームのシャッタタイミングに大きなブランクが生じうる。
図2は、垂直同期信号(V同期信号)のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する従来のAEB機能を説明する説明図である。図2には、フレームf1からf4までの4つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。なお、リードとシャッタとの間には、画素をリセットするリセット期間が少なくとも必要である。従って、露光間隔は、この画素のリセット期間が含まれている。このように垂直同期信号のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する場合、露光時間次第では露光間隔が長くなる。
図3は、垂直同期信号(V同期信号)のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する従来のAEB機能を説明する説明図である。図3には、図2と同様にフレームf1からf4までの4つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。このように露光時間が垂直同期信号の間隔に比べて短くなるような場合、前のフレームのデータのリードと、次のフレームのシャッタとの間の露光間隔が長くなる。
このように、露光間隔が開いた複数の画像が生成される場合、その複数の画像を合成すると被写体ぶれ(ブラー)が発生しうる。
図4は、露光間隔が開いた複数の画像を合成する例を示す説明図である。図4では、長い露光時間での撮像と、短い露光時間での撮像を繰り返し、長い露光時間で撮像された画像と、短い露光時間で撮像された画像とを合成する例が示されている。なお、以下の説明では、長い露光時間での撮像を「長蓄」、短い露光時間での撮像を「短蓄」とも称する。
図4に示した例では、長蓄による画像と短蓄による画像とを合成しているが、上述したように、垂直同期信号のタイミングで画素からデータを読み出すと、前のフレームのデータのリードと、次のフレームのシャッタとの間の露光間隔が長くなる。従って、動きのある被写体を連続して撮像して、長蓄による画像と短蓄による画像とを合成すると、図4に示したように合成画像のブラーが大きくなってしまう。
垂直同期信号のタイミングで画素からデータを読み出しつつ、合成画像のブラーを抑えるためには、画素からのデータの読出し間隔、すなわち垂直同期信号の間隔を狭めればよい。しかし、垂直同期信号の間隔を狭めると、その反面で最大露光時間の上限が短くなり、露光時間の設定可能範囲が狭まる。露光時間の設定可能範囲が狭まると、図4に示したような長蓄による画像を生成することが出来なくなってしまう。
そこで本件開示者は、上述した点に鑑みて、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、画素からのデータの読出し間隔を極小化することでブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な技術を考案するに至った。
以上、本開示の実施の形態の概要を説明した。
[1.2.機能構成例]
続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図5は、本開示の実施の形態に係る電子機器10の機能構成例を示す説明図である。以下、図5を用いて本開示の実施の形態に係る電子機器10の機能構成例について説明する。
続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図5は、本開示の実施の形態に係る電子機器10の機能構成例を示す説明図である。以下、図5を用いて本開示の実施の形態に係る電子機器10の機能構成例について説明する。
図5に示したように、本開示の実施の形態に係る電子機器10は、撮像部11と、画像処理部12と、表示部13と、制御部14と、記憶部15と、操作部16と、を含んで構成される。
撮像部11は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部11は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部11は、信号処理を行った後の信号を画像処理部12に出力する。なお、撮像部11に含まれるセンサモジュールの構成については後に詳述する。
撮像部11は、上記所定の信号処理として、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。
画像処理部12は、例えばアプリケーションプロセッサ(AP)で構成され、撮像部11から出力される信号を用いて画像処理を実行する。画像処理部12が実行する画像処理には、例えば撮像部11から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部13への表示処理や、記憶部15への記憶処理などがある。
表示部13は、例えば液晶ディスプレイ、有機ELディスプレイなどで構成される表示デバイスである。表示部13は、制御部14によって表示内容が制御される。例えば、表示部13は、撮像部11によって撮像されて、画像処理部12によって画像処理が行われた画像を、制御部14の制御に基づいて表示する。
制御部14は、例えばCPU(Central Processing Unit)等のプロセッサや、ROM、RAMなどで構成され、電子機器10の各部の動作を制御する。
記憶部15は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部15は、撮像部11によって撮像されて、画像処理部12によって画像処理が行われた画像を記憶する。記憶部15が記憶した画像は、電子機器10のユーザの操作に応じて表示部13に表示されうる。
操作部16は、電子機器10の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部16がタッチパネルを含む場合、タッチパネルは表示部13の表示面に設けられる。電子機器10のユーザは、撮像部11が撮像する画像を電子機器10に記録したい場合には、操作部16の所定のボタンを操作することでシャッタトリガを発生させる。撮像部11や画像処理部12は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器10に記録するための処理を実行する。
図5に示した電子機器10は、特定の機器に限定されるものでは無く、例えばデジタルカメラ、スマートフォン、タブレット型携帯端末、携帯型音楽再生装置、ゲーム機などの様々な形態をとりうる。
以上、本開示の実施の形態に係る電子機器10の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器10の、撮像部11に含まれるイメージセンサの構成例について説明する。
[1.3.センサモジュールの構成例]
図6は、撮像部11に含まれるセンサモジュール100の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール100は、本開示の画像処理装置の一例で有り、図6に示したように、3つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール100は、画素基板110と、メモリ基板120と、信号処理基板130と、の順に積層された構成を有する。
図6は、撮像部11に含まれるセンサモジュール100の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール100は、本開示の画像処理装置の一例で有り、図6に示したように、3つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール100は、画素基板110と、メモリ基板120と、信号処理基板130と、の順に積層された構成を有する。
画素基板110は、単位画素がアレイ状に形成された画素領域からなる撮像素子を有する基板である。各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。画素基板110が出力する画素信号は、メモリ基板120に蓄えられ、また信号処理基板130において信号処理が施される。なお、画素基板110は、アナログ信号をデジタル信号に変換するAD変換器を備える。すなわち画素基板110が出力する画素信号はデジタル信号である。
メモリ基板120は、画素基板110が出力する画素信号を一時的に蓄えるDRAM(Dynamic Random Access Memory)などのメモリを有する基板である。メモリ基板120は、複数フレームの画素信号を一時的に蓄えることができる容量を有する。メモリ基板120に蓄えられた画素信号は、信号処理基板130からの読出し命令に基づいて読み出される。
信号処理基板130は、メモリ基板120に蓄えられた画素信号に対する各種信号処理を実行する。信号処理基板130が実行する信号処理は、メモリ基板120に蓄えられた画素信号に対する画質に関する信号処理であり、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。また信号処理基板130は、複数フレームで撮像された画像の合成処理を実行しうる。
なお、図6にはセンサモジュール100が画素基板110と、メモリ基板120と、信号処理基板130と、の順に積層された構成の図を示したが、本開示は係る例に限定されない。例えば、センサモジュール100が画素基板110と、信号処理基板130と、メモリ基板120と、の順に積層された構成を有していても良い。
以上、図6を用いてセンサモジュール100の構成例について説明した。続いて、センサモジュール100の機能構成例について説明する。
図7は、本開示の実施の形態に係るセンサモジュール100の機能構成例を示す説明図である。以下、図7を用いて本開示の実施の形態に係るセンサモジュール100の機能構成例について説明する。
画素基板110は、単位画素がアレイ状に形成された画素領域からなる撮像素子111と、所定のクロック信号やタイミング信号を撮像素子111に供給する制御部112と、を備える。制御部112からの信号に応じて撮像素子111が出力する画素信号は信号処理基板130に一旦送られた後に、メモリ基板120に送られる。
本実施形態では、撮像素子111は、CMOSイメージセンサが用いられ、露光によって生成される画素信号がローリングシャッタ方式により読み出される。制御部112は、後述するように、AEB機能を実行する場合には、あるフレームにおける露光(第1露光)のリード開始と、次のフレームにおける露光(第2露光)のシャッタ開始との間隔を極小化するように、タイミング信号を撮像素子111に供給する。このように制御部112がタイミング信号を撮像素子111に供給することで、本開示の実施の形態に係るセンサモジュール100は、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することができる。
メモリ基板120は、DRAM(Dynamic Random Access Memory)などで構成される画像記憶部121を有する。画像記憶部121は、撮像素子111が出力する画素信号を一時的に蓄える。画像記憶部121は、例えば、複数フレームの画素信号を一時的に蓄えることができる容量を有する。画像記憶部121に蓄えられた画素信号は、信号処理基板130からの読出し命令に基づいて読み出される。
信号処理基板130は、前処理部131と、後処理部132と、を含んで構成される。
前処理部131は、撮像素子111が出力する画素信号に対する信号処理を施す。前処理部131は、信号処理を施した後の画素信号を画像記憶部121に記憶させる。前処理部131が実行する信号処理には、例えば、ゲイン調整処理やクランプ処理、画素加算処理などが含まれうる。
後処理部132は、画像記憶部121に記憶された画素信号に対する信号処理を実行する。後処理部132は、画像記憶部121に記憶された画素信号に対する信号処理を実行すると、信号処理後の画素信号を画像処理部12へ出力する。後処理部132が実行する信号処理としては、例えば、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などが含まれうる。また後処理部132は、複数フレームで撮像された画像の合成処理を実行しうる。
以上、本開示の実施の形態に係るセンサモジュール100の機能構成例を説明した。本開示の実施の形態に係るセンサモジュール100は、係る構成を有することで、AEB機能のように、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することが可能となる。
[1.4.動作例]
続いて、本開示の実施の形態に係るセンサモジュール100の動作例を説明する。図8は、本開示の実施の形態に係るセンサモジュール100の動作例を示す流れ図である。図8に示したのは、AEB機能のように、一度のシャッタトリガで連続して複数の画像を撮像する際の本開示の実施の形態に係るセンサモジュール100の動作例である。以下、図8を用いて本開示の実施の形態に係るセンサモジュール100の動作例について説明する。
続いて、本開示の実施の形態に係るセンサモジュール100の動作例を説明する。図8は、本開示の実施の形態に係るセンサモジュール100の動作例を示す流れ図である。図8に示したのは、AEB機能のように、一度のシャッタトリガで連続して複数の画像を撮像する際の本開示の実施の形態に係るセンサモジュール100の動作例である。以下、図8を用いて本開示の実施の形態に係るセンサモジュール100の動作例について説明する。
一度のシャッタトリガで連続して複数のM枚の画像を撮像する場合、センサモジュール100は、連続する画像のN枚目(Nは1以上M未満の整数)のリード時間より、N+1枚目の露光時間の方が長いかどうか判断する(ステップS101)。ステップS101の判断は、例えば制御部112が実行しうる。
連続する画像のN枚目のリード時間より、N+1枚目の露光時間の方が長いかどうかとは、N枚目について撮像素子111の先頭の行から最後の行まで読み込む時間より、N+1枚目の露光時間が長いかどうか、を意味する。
連続する画像のN枚目のリード時間より、N+1枚目の露光時間の方が長ければ(ステップS101、Yes)、センサモジュール100は、撮像素子111に設けられる画素のある行についてN枚目のリード開始とN+1枚目のシャッタ開始との間隔を極小化する(ステップS102)。ステップS102の制御は、例えば制御部112が実行しうる。
図9は、本開示の実施の形態に係るセンサモジュール100が実行するAEB機能の様子の一例を示す説明図である。図9には、フレームf1からf4までの4つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。
上述したように、リードとシャッタとの間には、画素をリセットするリセット期間が少なくとも必要である。このリセット期間は、例えば後述するように、画素における所定回のAD変換に要する期間に相当する期間である。本実施形態では、センサモジュール100は、リードとシャッタとの間隔を極小化する。センサモジュール100は、例えば、撮像素子111に設けられる画素をリセットするリセット期間に相当する間隔にまでリードとシャッタとの間隔を狭めている。すなわち、本実施形態では、図9に示したように、垂直同期信号の間隔が一定ではない。フレームf1で信号を画素から読み出すための垂直同期信号から、フレームf2で信号を画素から読み出すための垂直同期信号との間隔は、フレームf2の画像の露光時間に、リセット期間を加えた時間に相当する。
図10は、本実施形態に係るセンサモジュール100の効果例を示す説明図である。本実施形態に係るセンサモジュール100は、リードとシャッタとの間隔を極小化することで、長蓄による画像と短蓄による画像とを交互に撮像して合成するような場合における合成画像のブラーを小さく抑えることができる。この合成処理は例えば後処理部132が実行する。これは、リードとシャッタとの間隔を極小化することで、被写体の移動量も極小化することができるからである。
ここで本実施形態に係るセンサモジュール100における画素のリセット期間の一例を説明する。図11は、本実施形態に係るセンサモジュール100における画素のリセット期間の一例を示す説明図である。画素には、垂直同期信号と水平同期信号とが供給される。
本実施形態では、撮像素子111の1アクセス単位を32ラインとしている。この1アクセス単位は、8本のラインを同時に読み出して、読み出したアナログのデータをデジタルのデータに変換するAD変換を4回行うことを意味している。
1アクセス単位の画素に対しては、リードアクセスとシャッタアクセスを同時には出来ない。従って、リードからシャッタまでは、この4回分のAD変換に要する期間をリセット期間とした間隔を空ける。なお、1アクセス単位の量はイメージセンサによって異なる。従ってリセット期間もイメージセンサによって異なる。
リセット期間に影響する要素を整理すると、1水平期間中のAD変換の回数と、同時に読み出すことが出来るライン数と、の2つがある。本実施形態に係るセンサモジュール100は、この2つの要素で決定されるリセット期間に相当する間隔まで、リードとシャッタとの間隔を狭めていることになる。
一方、連続する画像のN枚目のリード時間が、N+1枚目の露光時間未満であれば(ステップS101、No)、センサモジュール100は、撮像素子111に設けられる画素のある行についてN枚目のリードとN+1枚目のリードとが重ならないように、N枚目のリード開始とN+1枚目のシャッタ開始との間隔を極小化する(ステップS103)。ステップS103の制御は、例えば制御部112が実行しうる。
露光時間が短くなると、N枚目のリード開始とN+1枚目のシャッタ開始との間隔を詰めすぎた場合に、N枚目のリード時間とN+1枚目のリード時間とが重なる場合が生じうる。
図12は、本開示の実施の形態に係るセンサモジュール100が実行するAEB機能の様子の一例を示す説明図である。図12には、フレームf1からf4までの4つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。
図12に示した例では、フレームf1のリード期間(リード期間1)と、フレームf2のリード期間(リード期間2)とが重複している。同様に、リード期間2と、フレームf3のリード期間(リード期間3)とが、リード期間3と、フレームf4のリード期間(リード期間4)とが、それぞれ重複している。
このようにリード期間が前後のフレームで重複してしまうような露光時間の条件で撮像される場合、このままではセンサモジュール100は後の方のフレームの画像を外部(例えば画像処理部12)に出力することが出来ない。
そこで本実施形態では、センサモジュール100は、リード期間が前後のフレームで重複しないようにシャッタ開始タイミングを調整してもよい。すなわちセンサモジュール100は、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間から長くしてもよい。リード期間が前後のフレームで重複しないようにシャッタ開始タイミングを調整することで、センサモジュール100は、露光時間が短いフレームが発生しても画像を外部(例えば画像処理部12)に出力することが出来る。
また本実施形態に係るセンサモジュール100は、画像記憶部121を備えている。従って本実施形態に係るセンサモジュール100は、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間に極小化した上で、撮像素子111から読み出したデータを画像記憶部121に一度記憶させてから、外部(例えば画像処理部12)に出力してもよい。
図13は、本実施形態に係るセンサモジュール100によるフレームレートの変換処理の例を示す説明図である。図13は、本実施形態に係るセンサモジュール100が、撮像素子111から読み出した画像を画像記憶部121に一度記憶させてから出力する様子を示している。このように、撮像素子111から読み出した画像を画像記憶部121に一度記憶させておき、画像記憶部121に記憶された画像を順次読み出すことで、本実施形態に係るセンサモジュール100は、リード期間が前後のフレームで重複する場合であっても、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間に極小化することができる。
本実施形態に係るセンサモジュール100は、画素に対するシャッタやリードに掛かる時間を高速化することも出来る。図14は、本実施形態に係るセンサモジュール100が、画素に対するシャッタやリードに掛かる時間を高速化した場合の例を示す説明図である。このようにセンサモジュール100は、画素に対するシャッタやリードに掛かる時間を高速化することで、リード期間が前後のフレームで重複しないようにすることが出来る。
なお、画素に対するシャッタやリードに掛かる時間を高速化すると、センサモジュール100から外部へ出力するためのインタフェース帯域が足りなくなる場合がありうる。そのような場合を考慮し、本実施形態に係るセンサモジュール100は、撮像素子111から読み出した画像を画像記憶部121に一度記憶させておき、画像記憶部121に記憶された画像を、フレームレートを変換して外部(例えば画像処理部12)に出力してもよい。例えば、撮像素子111からは高速に(例えば120fps〜240fps程度の速度で)読み出すことが出来るが、センサモジュール100からはその速度で出力することが出来ない場合、センサモジュール100は、撮像素子111から読み出した画像を画像記憶部121に一度記憶させておき、画像記憶部121に記憶された画像を、例えば30fpsに変換して外部に出力しても良い。
図15は、センサモジュール100による、画像記憶部121を介したフレームレートの変換処理をより詳細に示す説明図である。センサモジュール100は、撮像素子111から読み出す際には、センサモジュール100から画像を出力するフレームレートよりも高速に(例えば画像を出力するフレームレートが30fpsで、撮像素子111から読み出すフレームレートは120fps〜240fps程度の速度で)読み出し、画像を画像記憶部121に一度記憶させておく。そしてセンサモジュール100は、画像を外部に出力する際には、外部出力のインタフェース帯域に律速した速度で、所定の後段処理を実行して、画像を出力する。
このように画像記憶部121を介することで、本実施形態に係るセンサモジュール100は、撮像素子111からの読み出し速度と、センサモジュール100からの出力速度とを変換することが可能になる。
本実施形態に係るセンサモジュール100は、一度のシャッタトリガで複数の画像を撮像する際に、全ての画像について同じ露光時間による撮像を行っても良い。そしてセンサモジュール100は、同じ露光時間による複数の画像を合成する3Dノイズリダクション(3DNR)処理を実行することで、ノイズを抑えた画像を出力できる。もちろん、センサモジュール100は、同じ露光時間で複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化する。本実施形態に係るセンサモジュール100は、3DNR処理を実行する際に、それぞれの画素信号を画像記憶部121に一度記憶させてから、後処理部132で、画像記憶部121に記憶された画素信号を読み出して、合成処理を行う。
本実施形態に係るセンサモジュール100は、前後のフレーム間でリードとシャッタとの期間を極小化することで、3DNRの際に、被写体のブラーが少ないために探索範囲を狭めることが出来る。従って、本実施形態に係るセンサモジュール100は、前後のフレーム間でリードとシャッタとの期間を極小化することで、3DNRを行う回路を軽量化することが出来る。
本実施形態に係るセンサモジュール100は、上述の長蓄による画像と短蓄による画像とを合成したり、3DNR処理を行ったりする際には、一度のシャッタトリガで所定の枚数、例えば6枚の画像を撮像してもよく、所定の枚数以上、例えば7枚以上の枚数の画像を撮像しても良い。本実施形態に係るセンサモジュール100は、所定の枚数を超える枚数の画像を撮像する際に、その中から所定の枚数を選択して長蓄による画像と短蓄による画像とを合成したり、3DNR処理を行ったりしてもよい。
<2.まとめ>
以上説明したように本開示の実施の形態によれば、一度のシャッタトリガで複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化するセンサモジュール100が提供される。
以上説明したように本開示の実施の形態によれば、一度のシャッタトリガで複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化するセンサモジュール100が提供される。
本開示の実施の形態に係るセンサモジュール100は、前後のフレーム間でリードとシャッタとの期間を極小化することで、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することができる。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、画素基板110と、メモリ基板120と、信号処理基板130と、の順に積層された構成を有しているセンサモジュール100を示したが、本開示は係る例に限定されるものではない。センサモジュール100は、画素基板110と、信号処理基板130と、の2枚の基盤が積層された構造を有していても良い。この場合、センサモジュール100は、信号処理基板130の上に画素基板110が積層された構造を有することになる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成する制御部を備え、
前記制御部は、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、撮像処理装置。
(2)
前記第1露光のリード期間と前記第2露光のリード期間とは重ならない、前記(1)に記載の撮像処理装置。
(3)
前記第1露光される画素と前記第2露光される画素とは同一である、前記(1)または(2)に記載の撮像処理装置。
(4)
前記制御部は、前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を、前記画素のリセット期間に相当する間隔とする、前記(1)〜(3)のいずれかに記載の撮像処理装置。
(5)
前記リセット期間は、前記画素から読み出したデータの所定回のAD変換に要する期間に相当する期間である、前記(4)に記載の撮像処理装置。
(6)
前記制御部は、前記第2露光時間が前記第1露光のリード時間より長い場合、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化し、
前記第2露光時間が前記第1露光のリード時間未満の場合、前記第1露光のリード期間と前記第2露光のリード期間とが重ならない条件で前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、前記(1)〜(5)のいずれに記載の撮像処理装置。
(7)
前記第1画像と前記第2画像とを合成する画像処理部をさらに備える、前記(1)〜(6)のいずれかに記載の撮像処理装置。
(8)
前記制御部により前記第1画像と前記第2画像とが記憶される記憶部をさらに備える、前記(1)〜(7)のいずれかに記載の撮像処理装置。
(9)
前記第1画像及び前記第2画像が前記制御部から前記記憶部に記憶されて前記記憶部から読み出される速度は、前記画素から直接読み出される速度と比べて低速である、前記(8)に記載の撮像処理装置。
(10)
前記制御部は、前記記憶部から前記第1画像及び前記第2画像を読み出す速度を可変とする、前記(8)または(9)に記載の撮像処理装置。
(11)
第1半導体基板、及び第2半導体基板からなる2枚の半導体基板を積層して構成され、
前記第1半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第2半導体基板では、前記第1画像と前記第2画像とに対する画像処理が行われる、前記(1)〜(7)のいずれかに記載の画像処理装置。
(12)
第1半導体基板、第2半導体基板、及び第3半導体基板からなる3枚の半導体基板を積層して構成され、
前記第1半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第3半導体基板には、前記記憶部が少なくとも形成され、
前記第2半導体基板では、前記第1画像と前記第2画像とに対する画像処理が行われる、前記(8)〜(10)のいずれかに記載の撮像処理装置。
(13)
前記第2半導体基板が、前記第1半導体基板と前記第3半導体基板との間に設けられる、前記(12)に記載の画像処理装置。
(14)
前記第3半導体基板が、前記第1半導体基板と前記第2半導体基板との間に設けられる、前記(12)に記載の画像処理装置。
(15)
前記制御部は、さらに、前記第2画像に続いて、第3露光時間から第6露光時間による第3露光から第6露光でそれぞれ画素へ露光することで第3画像から第6画像を生成する、前記(1)〜(14)のいずれかに記載の撮像処理装置。
(16)
前記制御部により前記第1画像から前記第6画像が少なくとも記憶される記憶部をさらに備え、
前記制御部は、前記第1画像から前記第6画像を前記記憶部に記憶させた後に前記第1画像から前記第6画像を前記記憶部から読み出す、前記(15)に記載の撮像処理装置。
(17)
前記制御部は、さらに、前記第6画像に続いて、少なくとも第7露光時間による第7露光で画素へ露光することで第7画像を生成し、生成した一連の画像から6つの画像を選択する、前記(16)に記載の撮像処理装置。
(18)
前記第1露光時間は、前記第2露光時間よりも長い、前記(1)〜(17)のいずれかに記載の撮像処理装置。
(19)
前記第1画像及び前記第2画像は、前記画素からローリングシャッタにより読み出される、前記(1)〜(18)のいずれかに記載の撮像処理装置。
(20)
前記第1露光時間と前記第2露光時間とは等しい、前記(1)〜(17)のいずれかに記載の撮像処理装置。
(21)
第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成することと、
前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化することと、
を含む、撮像処理方法。
(22)
コンピュータに、
第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成することと、
前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化することと、
を実行させる、コンピュータプログラム。
(23)
前記(1)〜(20)のいずれかに記載の撮像処理装置を備える、電子機器。
(1)
第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成する制御部を備え、
前記制御部は、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、撮像処理装置。
(2)
前記第1露光のリード期間と前記第2露光のリード期間とは重ならない、前記(1)に記載の撮像処理装置。
(3)
前記第1露光される画素と前記第2露光される画素とは同一である、前記(1)または(2)に記載の撮像処理装置。
(4)
前記制御部は、前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を、前記画素のリセット期間に相当する間隔とする、前記(1)〜(3)のいずれかに記載の撮像処理装置。
(5)
前記リセット期間は、前記画素から読み出したデータの所定回のAD変換に要する期間に相当する期間である、前記(4)に記載の撮像処理装置。
(6)
前記制御部は、前記第2露光時間が前記第1露光のリード時間より長い場合、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化し、
前記第2露光時間が前記第1露光のリード時間未満の場合、前記第1露光のリード期間と前記第2露光のリード期間とが重ならない条件で前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、前記(1)〜(5)のいずれに記載の撮像処理装置。
(7)
前記第1画像と前記第2画像とを合成する画像処理部をさらに備える、前記(1)〜(6)のいずれかに記載の撮像処理装置。
(8)
前記制御部により前記第1画像と前記第2画像とが記憶される記憶部をさらに備える、前記(1)〜(7)のいずれかに記載の撮像処理装置。
(9)
前記第1画像及び前記第2画像が前記制御部から前記記憶部に記憶されて前記記憶部から読み出される速度は、前記画素から直接読み出される速度と比べて低速である、前記(8)に記載の撮像処理装置。
(10)
前記制御部は、前記記憶部から前記第1画像及び前記第2画像を読み出す速度を可変とする、前記(8)または(9)に記載の撮像処理装置。
(11)
第1半導体基板、及び第2半導体基板からなる2枚の半導体基板を積層して構成され、
前記第1半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第2半導体基板では、前記第1画像と前記第2画像とに対する画像処理が行われる、前記(1)〜(7)のいずれかに記載の画像処理装置。
(12)
第1半導体基板、第2半導体基板、及び第3半導体基板からなる3枚の半導体基板を積層して構成され、
前記第1半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第3半導体基板には、前記記憶部が少なくとも形成され、
前記第2半導体基板では、前記第1画像と前記第2画像とに対する画像処理が行われる、前記(8)〜(10)のいずれかに記載の撮像処理装置。
(13)
前記第2半導体基板が、前記第1半導体基板と前記第3半導体基板との間に設けられる、前記(12)に記載の画像処理装置。
(14)
前記第3半導体基板が、前記第1半導体基板と前記第2半導体基板との間に設けられる、前記(12)に記載の画像処理装置。
(15)
前記制御部は、さらに、前記第2画像に続いて、第3露光時間から第6露光時間による第3露光から第6露光でそれぞれ画素へ露光することで第3画像から第6画像を生成する、前記(1)〜(14)のいずれかに記載の撮像処理装置。
(16)
前記制御部により前記第1画像から前記第6画像が少なくとも記憶される記憶部をさらに備え、
前記制御部は、前記第1画像から前記第6画像を前記記憶部に記憶させた後に前記第1画像から前記第6画像を前記記憶部から読み出す、前記(15)に記載の撮像処理装置。
(17)
前記制御部は、さらに、前記第6画像に続いて、少なくとも第7露光時間による第7露光で画素へ露光することで第7画像を生成し、生成した一連の画像から6つの画像を選択する、前記(16)に記載の撮像処理装置。
(18)
前記第1露光時間は、前記第2露光時間よりも長い、前記(1)〜(17)のいずれかに記載の撮像処理装置。
(19)
前記第1画像及び前記第2画像は、前記画素からローリングシャッタにより読み出される、前記(1)〜(18)のいずれかに記載の撮像処理装置。
(20)
前記第1露光時間と前記第2露光時間とは等しい、前記(1)〜(17)のいずれかに記載の撮像処理装置。
(21)
第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成することと、
前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化することと、
を含む、撮像処理方法。
(22)
コンピュータに、
第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成することと、
前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化することと、
を実行させる、コンピュータプログラム。
(23)
前記(1)〜(20)のいずれかに記載の撮像処理装置を備える、電子機器。
10 電子機器
100 センサモジュール
100 センサモジュール
Claims (23)
- 第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成する制御部を備え、
前記制御部は、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、撮像処理装置。 - 前記第1露光のリード期間と前記第2露光のリード期間とは重ならない、請求項1に記載の撮像処理装置。
- 前記第1露光される画素と前記第2露光される画素とは同一である、請求項1に記載の撮像処理装置。
- 前記制御部は、前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を、前記画素のリセット期間に相当する間隔とする、請求項1に記載の撮像処理装置。
- 前記リセット期間は、前記画素から読み出したデータの所定回のAD変換に要する期間に相当する期間である、請求項4に記載の撮像処理装置。
- 前記制御部は、前記第2露光時間が前記第1露光のリード時間より長い場合、前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化し、
前記第2露光時間が前記第1露光のリード時間未満の場合、前記第1露光のリード期間と前記第2露光のリード期間とが重ならない条件で前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化する、請求項1に記載の撮像処理装置。 - 前記第1画像と前記第2画像とを合成する画像処理部をさらに備える、請求項1に記載の撮像処理装置。
- 前記制御部により前記第1画像と前記第2画像とが記憶される記憶部をさらに備える、請求項1に記載の撮像処理装置。
- 前記第1画像及び前記第2画像が前記制御部から前記記憶部に記憶されて前記記憶部から読み出される速度は、前記画素から直接読み出される速度と比べて低速である、請求項8に記載の撮像処理装置。
- 前記制御部は、前記記憶部から前記第1画像及び前記第2画像を読み出す速度を可変とする、請求項8に記載の撮像処理装置。
- 第1半導体基板、及び第2半導体基板からなる2枚の半導体基板を積層して構成され、
前記第1半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第2半導体基板では、前記第1画像と前記第2画像とに対する画像処理が行われる、請求項1に記載の撮像処理装置。 - 第1半導体基板、第2半導体基板、及び第3半導体基板からなる3枚の半導体基板を積層して構成され、
前記第1半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第3半導体基板には、前記記憶部が少なくとも形成され、
前記第2半導体基板では、前記第1画像と前記第2画像とに対する画像処理が行われる、請求項8に記載の撮像処理装置。 - 前記第2半導体基板が、前記第1半導体基板と前記第3半導体基板との間に設けられる、請求項12に記載の撮像処理装置。
- 前記第3半導体基板が、前記第1半導体基板と前記第2半導体基板との間に設けられる、請求項12に記載の撮像処理装置。
- 前記制御部は、さらに、前記第2画像に続いて、第3露光時間から第6露光時間による第3露光から第6露光でそれぞれ画素へ露光することで第3画像から第6画像を生成する、請求項1に記載の撮像処理装置。
- 前記制御部により前記第1画像から前記第6画像が少なくとも記憶される記憶部をさらに備え、
前記制御部は、前記第1画像から前記第6画像を前記記憶部に記憶させた後に前記第1画像から前記第6画像を前記記憶部から読み出す、請求項15に記載の撮像処理装置。 - 前記制御部は、さらに、前記第6画像に続いて、少なくとも第7露光時間による第7露光で画素へ露光することで第7画像を生成し、生成した一連の画像から6つの画像を選択する、請求項16に記載の撮像処理装置。
- 前記第1露光時間は、前記第2露光時間よりも長い、請求項1に記載の撮像処理装置。
- 前記第1画像及び前記第2画像は、前記画素からローリングシャッタにより読み出される、請求項1に記載の撮像処理装置。
- 前記第1露光時間と前記第2露光時間とは等しい、請求項1に記載の撮像処理装置。
- 第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成することと、
前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化することと、
を含む、撮像処理方法。 - コンピュータに、
第1露光時間による第1露光で画素へ露光することで第1画像を生成し、該第1画像に続いて第2露光時間による第2露光で画素へ露光することで第2画像を生成することと、
前記画素の所定行における前記第1露光のリード開始と、前記第2露光のシャッタ開始との間隔を極小化することと、
を実行させる、コンピュータプログラム。 - 請求項1に記載の撮像処理装置を備える、電子機器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016065220A JP2017183870A (ja) | 2016-03-29 | 2016-03-29 | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 |
PCT/JP2017/005575 WO2017169233A1 (ja) | 2016-03-29 | 2017-02-15 | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016065220A JP2017183870A (ja) | 2016-03-29 | 2016-03-29 | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017183870A true JP2017183870A (ja) | 2017-10-05 |
Family
ID=59963931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016065220A Pending JP2017183870A (ja) | 2016-03-29 | 2016-03-29 | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2017183870A (ja) |
WO (1) | WO2017169233A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020137665A1 (ja) * | 2018-12-27 | 2020-07-02 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像方法及びプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7129264B2 (ja) | 2018-08-03 | 2022-09-01 | キヤノン株式会社 | 撮像装置 |
EP3975543A4 (en) * | 2019-06-13 | 2022-07-13 | Sony Group Corporation | IMAGE CAPTURE DEVICE, IMAGE CAPTURE CONTROL METHOD, AND PROGRAM |
WO2021010355A1 (ja) * | 2019-07-16 | 2021-01-21 | 株式会社ニコン | 撮像装置及び撮像方法 |
CN113395482A (zh) * | 2020-03-12 | 2021-09-14 | 平湖莱顿光学仪器制造有限公司 | 一种颜色相关的智能二维视频装置及其二维视频播放方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006135501A (ja) * | 2004-11-04 | 2006-05-25 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP2010078635A (ja) * | 2008-09-24 | 2010-04-08 | Sanyo Electric Co Ltd | ブレ補正装置及び撮像装置 |
JP5375142B2 (ja) * | 2009-02-05 | 2013-12-25 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法、及び電子機器 |
JP5947625B2 (ja) * | 2012-06-08 | 2016-07-06 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
JP6314477B2 (ja) * | 2013-12-26 | 2018-04-25 | ソニー株式会社 | 電子デバイス |
-
2016
- 2016-03-29 JP JP2016065220A patent/JP2017183870A/ja active Pending
-
2017
- 2017-02-15 WO PCT/JP2017/005575 patent/WO2017169233A1/ja active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020137665A1 (ja) * | 2018-12-27 | 2020-07-02 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像方法及びプログラム |
CN113228609A (zh) * | 2018-12-27 | 2021-08-06 | 富士胶片株式会社 | 成像元件、摄像装置、摄像方法及程序 |
JPWO2020137665A1 (ja) * | 2018-12-27 | 2021-10-07 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像方法及びプログラム |
US11509823B2 (en) | 2018-12-27 | 2022-11-22 | Fujifilm Corporation | Imaging element, imaging apparatus, imaging method, and program |
CN113228609B (zh) * | 2018-12-27 | 2023-05-05 | 富士胶片株式会社 | 成像元件、摄像装置、摄像方法及计算机可读存储介质 |
US11758292B2 (en) | 2018-12-27 | 2023-09-12 | Fujifilm Corporation | Imaging element, imaging apparatus, imaging method, and program |
JP7460588B2 (ja) | 2018-12-27 | 2024-04-02 | 富士フイルム株式会社 | 撮像素子、撮像装置、撮像方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2017169233A1 (ja) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9800806B2 (en) | Image processing device that generates an image from pixels with different exposure times | |
US9185308B2 (en) | Imaging apparatus and imaging method | |
JP2017183870A (ja) | 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 | |
US20100080547A1 (en) | Focal point detection device and camera system | |
JP2007336314A (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
JP5746521B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
JP2012175600A (ja) | 撮像装置、および撮像装置制御方法、並びにプログラム | |
US9025065B2 (en) | Solid-state imaging device, image processing method, and camera module for creating high dynamic range images | |
JP2017188760A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 | |
JP2014014069A (ja) | 撮像装置、及びその制御方法 | |
JP2010136224A (ja) | 撮像装置及び撮像方法 | |
JP2013236298A (ja) | 撮像装置 | |
US20180220058A1 (en) | Image capture apparatus, control method therefor, and computer-readable medium | |
JP6261397B2 (ja) | 撮像装置及びその制御方法 | |
JP2017184094A (ja) | 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器 | |
US11240442B2 (en) | Signal processing apparatus and signal processing method | |
JP2014150444A (ja) | 固体撮像装置 | |
JP5829122B2 (ja) | 撮像装置および評価値生成装置 | |
JP6674255B2 (ja) | 固体撮像素子及び撮像装置 | |
JP2019140648A (ja) | 撮像装置及び撮像装置の制御方法 | |
US10203206B2 (en) | Image capture apparatus having signal readouts using distance measurement region | |
US11729506B2 (en) | Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program | |
US11461882B2 (en) | Image processing apparatus, image processing method, computer-readable medium for performing image processing using reduced image | |
JP2015026910A (ja) | 撮像装置及びその制御方法 | |
JP6590055B2 (ja) | 撮像装置 |