JP2017183870A - 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器 - Google Patents

Abstract

【課題】一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な撮像処理装置を提供する。
【解決手段】第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置が提供される。
【選択図】図１

Description

本開示は、撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器に関する。

デジタルスチルカメラには、事前に複数フレーム分の設定をしておき、所定の撮像トリガを起点として、１枚ずつ自動で設定を変更しながら連続した複数のフレームを撮像する機能が備えられているものがある。その設定のうち、露光時間、ゲイン、フラッシュ、高感度モードなどの露光系の設定を変更しながら撮像する機能のことをＡＥＢ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ Ｂｒａｃｋｅｔｉｎｇ）と呼ぶ（例えば特許文献１参照）。

特開２００９−２８４１８１号公報

既存のＡＥＢは、複数フレームを同じフレームレートで撮像していた。従って、露光時間が短いと、フレーム間に大きな間隔が生じる。フレーム間に大きな間隔が生じた撮像画像を合成するとブラー（被写体ぶれ）が目立つ。一方で、読出し間隔を狭めればブラーを抑制できるが、その反面で最大露光時間の上限が短くなり、露光時間の設定可能範囲が狭まる。

そこで、本開示では、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な、新規かつ改良された撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器を提案する。

本開示によれば、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置が提供される。

また本開示によれば、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、を含む、撮像処理方法が提供される。

また本開示によれば、コンピュータに、第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、を実行させる、コンピュータプログラムが提供される。

また本開示によれば、上記撮像処理装置を備える電子機器が提供される。

以上説明したように本開示によれば、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な、新規かつ改良された撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器を提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

従来のＡＥＢ機能を説明する説明図である。 従来のＡＥＢ機能を説明する説明図である。 従来のＡＥＢ機能を説明する説明図である。 露光間隔が開いた複数の画像を合成する例を示す説明図である。 本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。 撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。 同実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。 同実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。 同実施の形態に係るセンサモジュール１００が実行するＡＥＢ機能の様子の一例を示す説明図である。 同実施形態に係るセンサモジュール１００の効果例を示す説明図である。 同実施形態に係るセンサモジュール１００における画素のリセット期間の一例を示す説明図である。 同開示の実施の形態に係るセンサモジュール１００が実行するＡＥＢ機能の様子の一例を示す説明図である。 同実施形態に係るセンサモジュール１００によるフレームレートの変換処理の例を示す説明図である。 同実施形態に係るセンサモジュール１００が、画素に対するシャッタやリードに掛かる時間を高速化した場合の例を示す説明図である。 センサモジュール１００による、画像記憶部１２１を介したフレームレートの変換処理をより詳細に示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．機能構成例
１．３．センサモジュールの構成例
１．４．動作例
２．まとめ

＜１．本開示の実施の形態＞
［１．１．概要］
本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。

上述のように、デジタルスチルカメラには、事前に複数フレーム分の設定をしておき、所定の撮像トリガを起点として、１枚ずつ自動で設定を変更しながら連続した複数のフレームを撮像する機能が備えられているものがある。その設定のうち、露光時間、ゲイン、フラッシュ、高感度モードなどの露光系の設定を変更しながら撮像する機能のことをＡＥＢと称する。

従来のＡＥＢ機能は、所定の撮像トリガを起点として、複数フレームを同じフレームレートで撮像していた。図１は、従来のＡＥＢ機能を説明する説明図であり、複数フレームを同じフレームレートで撮像する従来のＡＥＢ機能について説明する説明図である。図１の実線は撮像素子に対するシャッタタイミングを示し、破線は撮像素子からデータを読み出すリードタイミングを示している。

複数フレームを同じフレームレートで撮像する場合、画素からのデータの読出し間隔は、図１に示したように定常間隔となる。従って、画素のシャッタタイミングは、画素からのデータの読出しタイミングに合わせる必要がある。そのため、図１に示したように、露光時間次第では、前のフレームのデータの読出しタイミングと、次のフレームのシャッタタイミングに大きなブランクが生じうる。

図２は、垂直同期信号（Ｖ同期信号）のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する従来のＡＥＢ機能を説明する説明図である。図２には、フレームｆ１からｆ４までの４つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。なお、リードとシャッタとの間には、画素をリセットするリセット期間が少なくとも必要である。従って、露光間隔は、この画素のリセット期間が含まれている。このように垂直同期信号のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する場合、露光時間次第では露光間隔が長くなる。

図３は、垂直同期信号（Ｖ同期信号）のタイミングで画素からデータを読み出すことで連続した複数のフレームで画像を生成する従来のＡＥＢ機能を説明する説明図である。図３には、図２と同様にフレームｆ１からｆ４までの４つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。このように露光時間が垂直同期信号の間隔に比べて短くなるような場合、前のフレームのデータのリードと、次のフレームのシャッタとの間の露光間隔が長くなる。

このように、露光間隔が開いた複数の画像が生成される場合、その複数の画像を合成すると被写体ぶれ（ブラー）が発生しうる。

図４は、露光間隔が開いた複数の画像を合成する例を示す説明図である。図４では、長い露光時間での撮像と、短い露光時間での撮像を繰り返し、長い露光時間で撮像された画像と、短い露光時間で撮像された画像とを合成する例が示されている。なお、以下の説明では、長い露光時間での撮像を「長蓄」、短い露光時間での撮像を「短蓄」とも称する。

図４に示した例では、長蓄による画像と短蓄による画像とを合成しているが、上述したように、垂直同期信号のタイミングで画素からデータを読み出すと、前のフレームのデータのリードと、次のフレームのシャッタとの間の露光間隔が長くなる。従って、動きのある被写体を連続して撮像して、長蓄による画像と短蓄による画像とを合成すると、図４に示したように合成画像のブラーが大きくなってしまう。

垂直同期信号のタイミングで画素からデータを読み出しつつ、合成画像のブラーを抑えるためには、画素からのデータの読出し間隔、すなわち垂直同期信号の間隔を狭めればよい。しかし、垂直同期信号の間隔を狭めると、その反面で最大露光時間の上限が短くなり、露光時間の設定可能範囲が狭まる。露光時間の設定可能範囲が狭まると、図４に示したような長蓄による画像を生成することが出来なくなってしまう。

そこで本件開示者は、上述した点に鑑みて、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、画素からのデータの読出し間隔を極小化することでブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現可能な技術を考案するに至った。

以上、本開示の実施の形態の概要を説明した。

［１．２．機能構成例］
続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図５は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。

図５に示したように、本開示の実施の形態に係る電子機器１０は、撮像部１１と、画像処理部１２と、表示部１３と、制御部１４と、記憶部１５と、操作部１６と、を含んで構成される。

撮像部１１は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部１１は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部１１は、信号処理を行った後の信号を画像処理部１２に出力する。なお、撮像部１１に含まれるセンサモジュールの構成については後に詳述する。

撮像部１１は、上記所定の信号処理として、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。

画像処理部１２は、例えばアプリケーションプロセッサ（ＡＰ）で構成され、撮像部１１から出力される信号を用いて画像処理を実行する。画像処理部１２が実行する画像処理には、例えば撮像部１１から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部１３への表示処理や、記憶部１５への記憶処理などがある。

表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで構成される表示デバイスである。表示部１３は、制御部１４によって表示内容が制御される。例えば、表示部１３は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を、制御部１４の制御に基づいて表示する。

制御部１４は、例えばＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＯＭ、ＲＡＭなどで構成され、電子機器１０の各部の動作を制御する。

記憶部１５は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部１５は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を記憶する。記憶部１５が記憶した画像は、電子機器１０のユーザの操作に応じて表示部１３に表示されうる。

操作部１６は、電子機器１０の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部１６がタッチパネルを含む場合、タッチパネルは表示部１３の表示面に設けられる。電子機器１０のユーザは、撮像部１１が撮像する画像を電子機器１０に記録したい場合には、操作部１６の所定のボタンを操作することでシャッタトリガを発生させる。撮像部１１や画像処理部１２は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器１０に記録するための処理を実行する。

図５に示した電子機器１０は、特定の機器に限定されるものでは無く、例えばデジタルカメラ、スマートフォン、タブレット型携帯端末、携帯型音楽再生装置、ゲーム機などの様々な形態をとりうる。

以上、本開示の実施の形態に係る電子機器１０の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器１０の、撮像部１１に含まれるイメージセンサの構成例について説明する。

［１．３．センサモジュールの構成例］
図６は、撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール１００は、本開示の画像処理装置の一例で有り、図６に示したように、３つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール１００は、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有する。

画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子を有する基板である。各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。画素基板１１０が出力する画素信号は、メモリ基板１２０に蓄えられ、また信号処理基板１３０において信号処理が施される。なお、画素基板１１０は、アナログ信号をデジタル信号に変換するＡＤ変換器を備える。すなわち画素基板１１０が出力する画素信号はデジタル信号である。

メモリ基板１２０は、画素基板１１０が出力する画素信号を一時的に蓄えるＤＲＡＭ（Dynamic Random Access Memory）などのメモリを有する基板である。メモリ基板１２０は、複数フレームの画素信号を一時的に蓄えることができる容量を有する。メモリ基板１２０に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。

信号処理基板１３０は、メモリ基板１２０に蓄えられた画素信号に対する各種信号処理を実行する。信号処理基板１３０が実行する信号処理は、メモリ基板１２０に蓄えられた画素信号に対する画質に関する信号処理であり、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。また信号処理基板１３０は、複数フレームで撮像された画像の合成処理を実行しうる。

なお、図６にはセンサモジュール１００が画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成の図を示したが、本開示は係る例に限定されない。例えば、センサモジュール１００が画素基板１１０と、信号処理基板１３０と、メモリ基板１２０と、の順に積層された構成を有していても良い。

以上、図６を用いてセンサモジュール１００の構成例について説明した。続いて、センサモジュール１００の機能構成例について説明する。

図７は、本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。以下、図７を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明する。

画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子１１１と、所定のクロック信号やタイミング信号を撮像素子１１１に供給する制御部１１２と、を備える。制御部１１２からの信号に応じて撮像素子１１１が出力する画素信号は信号処理基板１３０に一旦送られた後に、メモリ基板１２０に送られる。

本実施形態では、撮像素子１１１は、ＣＭＯＳイメージセンサが用いられ、露光によって生成される画素信号がローリングシャッタ方式により読み出される。制御部１１２は、後述するように、ＡＥＢ機能を実行する場合には、あるフレームにおける露光（第１露光）のリード開始と、次のフレームにおける露光（第２露光）のシャッタ開始との間隔を極小化するように、タイミング信号を撮像素子１１１に供給する。このように制御部１１２がタイミング信号を撮像素子１１１に供給することで、本開示の実施の形態に係るセンサモジュール１００は、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することができる。

メモリ基板１２０は、ＤＲＡＭ（Dynamic Random Access Memory）などで構成される画像記憶部１２１を有する。画像記憶部１２１は、撮像素子１１１が出力する画素信号を一時的に蓄える。画像記憶部１２１は、例えば、複数フレームの画素信号を一時的に蓄えることができる容量を有する。画像記憶部１２１に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。

信号処理基板１３０は、前処理部１３１と、後処理部１３２と、を含んで構成される。

前処理部１３１は、撮像素子１１１が出力する画素信号に対する信号処理を施す。前処理部１３１は、信号処理を施した後の画素信号を画像記憶部１２１に記憶させる。前処理部１３１が実行する信号処理には、例えば、ゲイン調整処理やクランプ処理、画素加算処理などが含まれうる。

後処理部１３２は、画像記憶部１２１に記憶された画素信号に対する信号処理を実行する。後処理部１３２は、画像記憶部１２１に記憶された画素信号に対する信号処理を実行すると、信号処理後の画素信号を画像処理部１２へ出力する。後処理部１３２が実行する信号処理としては、例えば、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などが含まれうる。また後処理部１３２は、複数フレームで撮像された画像の合成処理を実行しうる。

以上、本開示の実施の形態に係るセンサモジュール１００の機能構成例を説明した。本開示の実施の形態に係るセンサモジュール１００は、係る構成を有することで、ＡＥＢ機能のように、一度のシャッタトリガで複数フレームでの撮像を実行する際に、合成画像のブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することが可能となる。

［１．４．動作例］
続いて、本開示の実施の形態に係るセンサモジュール１００の動作例を説明する。図８は、本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。図８に示したのは、ＡＥＢ機能のように、一度のシャッタトリガで連続して複数の画像を撮像する際の本開示の実施の形態に係るセンサモジュール１００の動作例である。以下、図８を用いて本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。

一度のシャッタトリガで連続して複数のＭ枚の画像を撮像する場合、センサモジュール１００は、連続する画像のＮ枚目（Ｎは１以上Ｍ未満の整数）のリード時間より、Ｎ＋１枚目の露光時間の方が長いかどうか判断する（ステップＳ１０１）。ステップＳ１０１の判断は、例えば制御部１１２が実行しうる。

連続する画像のＮ枚目のリード時間より、Ｎ＋１枚目の露光時間の方が長いかどうかとは、Ｎ枚目について撮像素子１１１の先頭の行から最後の行まで読み込む時間より、Ｎ＋１枚目の露光時間が長いかどうか、を意味する。

連続する画像のＮ枚目のリード時間より、Ｎ＋１枚目の露光時間の方が長ければ（ステップＳ１０１、Ｙｅｓ）、センサモジュール１００は、撮像素子１１１に設けられる画素のある行についてＮ枚目のリード開始とＮ＋１枚目のシャッタ開始との間隔を極小化する（ステップＳ１０２）。ステップＳ１０２の制御は、例えば制御部１１２が実行しうる。

図９は、本開示の実施の形態に係るセンサモジュール１００が実行するＡＥＢ機能の様子の一例を示す説明図である。図９には、フレームｆ１からｆ４までの４つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。

上述したように、リードとシャッタとの間には、画素をリセットするリセット期間が少なくとも必要である。このリセット期間は、例えば後述するように、画素における所定回のＡＤ変換に要する期間に相当する期間である。本実施形態では、センサモジュール１００は、リードとシャッタとの間隔を極小化する。センサモジュール１００は、例えば、撮像素子１１１に設けられる画素をリセットするリセット期間に相当する間隔にまでリードとシャッタとの間隔を狭めている。すなわち、本実施形態では、図９に示したように、垂直同期信号の間隔が一定ではない。フレームｆ１で信号を画素から読み出すための垂直同期信号から、フレームｆ２で信号を画素から読み出すための垂直同期信号との間隔は、フレームｆ２の画像の露光時間に、リセット期間を加えた時間に相当する。

図１０は、本実施形態に係るセンサモジュール１００の効果例を示す説明図である。本実施形態に係るセンサモジュール１００は、リードとシャッタとの間隔を極小化することで、長蓄による画像と短蓄による画像とを交互に撮像して合成するような場合における合成画像のブラーを小さく抑えることができる。この合成処理は例えば後処理部１３２が実行する。これは、リードとシャッタとの間隔を極小化することで、被写体の移動量も極小化することができるからである。

ここで本実施形態に係るセンサモジュール１００における画素のリセット期間の一例を説明する。図１１は、本実施形態に係るセンサモジュール１００における画素のリセット期間の一例を示す説明図である。画素には、垂直同期信号と水平同期信号とが供給される。

本実施形態では、撮像素子１１１の１アクセス単位を３２ラインとしている。この１アクセス単位は、８本のラインを同時に読み出して、読み出したアナログのデータをデジタルのデータに変換するＡＤ変換を４回行うことを意味している。

１アクセス単位の画素に対しては、リードアクセスとシャッタアクセスを同時には出来ない。従って、リードからシャッタまでは、この４回分のＡＤ変換に要する期間をリセット期間とした間隔を空ける。なお、１アクセス単位の量はイメージセンサによって異なる。従ってリセット期間もイメージセンサによって異なる。

リセット期間に影響する要素を整理すると、１水平期間中のＡＤ変換の回数と、同時に読み出すことが出来るライン数と、の２つがある。本実施形態に係るセンサモジュール１００は、この２つの要素で決定されるリセット期間に相当する間隔まで、リードとシャッタとの間隔を狭めていることになる。

一方、連続する画像のＮ枚目のリード時間が、Ｎ＋１枚目の露光時間未満であれば（ステップＳ１０１、Ｎｏ）、センサモジュール１００は、撮像素子１１１に設けられる画素のある行についてＮ枚目のリードとＮ＋１枚目のリードとが重ならないように、Ｎ枚目のリード開始とＮ＋１枚目のシャッタ開始との間隔を極小化する（ステップＳ１０３）。ステップＳ１０３の制御は、例えば制御部１１２が実行しうる。

露光時間が短くなると、Ｎ枚目のリード開始とＮ＋１枚目のシャッタ開始との間隔を詰めすぎた場合に、Ｎ枚目のリード時間とＮ＋１枚目のリード時間とが重なる場合が生じうる。

図１２は、本開示の実施の形態に係るセンサモジュール１００が実行するＡＥＢ機能の様子の一例を示す説明図である。図１２には、フレームｆ１からｆ４までの４つの連続したフレームで、露光時間を変えた画像を生成する様子が示されている。

図１２に示した例では、フレームｆ１のリード期間（リード期間１）と、フレームｆ２のリード期間（リード期間２）とが重複している。同様に、リード期間２と、フレームｆ３のリード期間（リード期間３）とが、リード期間３と、フレームｆ４のリード期間（リード期間４）とが、それぞれ重複している。

このようにリード期間が前後のフレームで重複してしまうような露光時間の条件で撮像される場合、このままではセンサモジュール１００は後の方のフレームの画像を外部（例えば画像処理部１２）に出力することが出来ない。

そこで本実施形態では、センサモジュール１００は、リード期間が前後のフレームで重複しないようにシャッタ開始タイミングを調整してもよい。すなわちセンサモジュール１００は、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間から長くしてもよい。リード期間が前後のフレームで重複しないようにシャッタ開始タイミングを調整することで、センサモジュール１００は、露光時間が短いフレームが発生しても画像を外部（例えば画像処理部１２）に出力することが出来る。

また本実施形態に係るセンサモジュール１００は、画像記憶部１２１を備えている。従って本実施形態に係るセンサモジュール１００は、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間に極小化した上で、撮像素子１１１から読み出したデータを画像記憶部１２１に一度記憶させてから、外部（例えば画像処理部１２）に出力してもよい。

図１３は、本実施形態に係るセンサモジュール１００によるフレームレートの変換処理の例を示す説明図である。図１３は、本実施形態に係るセンサモジュール１００が、撮像素子１１１から読み出した画像を画像記憶部１２１に一度記憶させてから出力する様子を示している。このように、撮像素子１１１から読み出した画像を画像記憶部１２１に一度記憶させておき、画像記憶部１２１に記憶された画像を順次読み出すことで、本実施形態に係るセンサモジュール１００は、リード期間が前後のフレームで重複する場合であっても、フレーム間のリードとシャッタとの間隔を、リセット期間に相当する時間に極小化することができる。

本実施形態に係るセンサモジュール１００は、画素に対するシャッタやリードに掛かる時間を高速化することも出来る。図１４は、本実施形態に係るセンサモジュール１００が、画素に対するシャッタやリードに掛かる時間を高速化した場合の例を示す説明図である。このようにセンサモジュール１００は、画素に対するシャッタやリードに掛かる時間を高速化することで、リード期間が前後のフレームで重複しないようにすることが出来る。

なお、画素に対するシャッタやリードに掛かる時間を高速化すると、センサモジュール１００から外部へ出力するためのインタフェース帯域が足りなくなる場合がありうる。そのような場合を考慮し、本実施形態に係るセンサモジュール１００は、撮像素子１１１から読み出した画像を画像記憶部１２１に一度記憶させておき、画像記憶部１２１に記憶された画像を、フレームレートを変換して外部（例えば画像処理部１２）に出力してもよい。例えば、撮像素子１１１からは高速に（例えば１２０ｆｐｓ〜２４０ｆｐｓ程度の速度で）読み出すことが出来るが、センサモジュール１００からはその速度で出力することが出来ない場合、センサモジュール１００は、撮像素子１１１から読み出した画像を画像記憶部１２１に一度記憶させておき、画像記憶部１２１に記憶された画像を、例えば３０ｆｐｓに変換して外部に出力しても良い。

図１５は、センサモジュール１００による、画像記憶部１２１を介したフレームレートの変換処理をより詳細に示す説明図である。センサモジュール１００は、撮像素子１１１から読み出す際には、センサモジュール１００から画像を出力するフレームレートよりも高速に（例えば画像を出力するフレームレートが３０ｆｐｓで、撮像素子１１１から読み出すフレームレートは１２０ｆｐｓ〜２４０ｆｐｓ程度の速度で）読み出し、画像を画像記憶部１２１に一度記憶させておく。そしてセンサモジュール１００は、画像を外部に出力する際には、外部出力のインタフェース帯域に律速した速度で、所定の後段処理を実行して、画像を出力する。

このように画像記憶部１２１を介することで、本実施形態に係るセンサモジュール１００は、撮像素子１１１からの読み出し速度と、センサモジュール１００からの出力速度とを変換することが可能になる。

本実施形態に係るセンサモジュール１００は、一度のシャッタトリガで複数の画像を撮像する際に、全ての画像について同じ露光時間による撮像を行っても良い。そしてセンサモジュール１００は、同じ露光時間による複数の画像を合成する３Ｄノイズリダクション（３ＤＮＲ）処理を実行することで、ノイズを抑えた画像を出力できる。もちろん、センサモジュール１００は、同じ露光時間で複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化する。本実施形態に係るセンサモジュール１００は、３ＤＮＲ処理を実行する際に、それぞれの画素信号を画像記憶部１２１に一度記憶させてから、後処理部１３２で、画像記憶部１２１に記憶された画素信号を読み出して、合成処理を行う。

本実施形態に係るセンサモジュール１００は、前後のフレーム間でリードとシャッタとの期間を極小化することで、３ＤＮＲの際に、被写体のブラーが少ないために探索範囲を狭めることが出来る。従って、本実施形態に係るセンサモジュール１００は、前後のフレーム間でリードとシャッタとの期間を極小化することで、３ＤＮＲを行う回路を軽量化することが出来る。

本実施形態に係るセンサモジュール１００は、上述の長蓄による画像と短蓄による画像とを合成したり、３ＤＮＲ処理を行ったりする際には、一度のシャッタトリガで所定の枚数、例えば６枚の画像を撮像してもよく、所定の枚数以上、例えば７枚以上の枚数の画像を撮像しても良い。本実施形態に係るセンサモジュール１００は、所定の枚数を超える枚数の画像を撮像する際に、その中から所定の枚数を選択して長蓄による画像と短蓄による画像とを合成したり、３ＤＮＲ処理を行ったりしてもよい。

＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、一度のシャッタトリガで複数の画像を撮像する際に、前後のフレーム間でリードとシャッタとの期間を極小化するセンサモジュール１００が提供される。

本開示の実施の形態に係るセンサモジュール１００は、前後のフレーム間でリードとシャッタとの期間を極小化することで、ブラーの抑制と露光時間の設定可能範囲の広範化とを同時に実現することができる。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有しているセンサモジュール１００を示したが、本開示は係る例に限定されるものではない。センサモジュール１００は、画素基板１１０と、信号処理基板１３０と、の２枚の基盤が積層された構造を有していても良い。この場合、センサモジュール１００は、信号処理基板１３０の上に画素基板１１０が積層された構造を有することになる。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、
前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置。
（２）
前記第１露光のリード期間と前記第２露光のリード期間とは重ならない、前記（１）に記載の撮像処理装置。
（３）
前記第１露光される画素と前記第２露光される画素とは同一である、前記（１）または（２）に記載の撮像処理装置。
（４）
前記制御部は、前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を、前記画素のリセット期間に相当する間隔とする、前記（１）〜（３）のいずれかに記載の撮像処理装置。
（５）
前記リセット期間は、前記画素から読み出したデータの所定回のＡＤ変換に要する期間に相当する期間である、前記（４）に記載の撮像処理装置。
（６）
前記制御部は、前記第２露光時間が前記第１露光のリード時間より長い場合、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化し、
前記第２露光時間が前記第１露光のリード時間未満の場合、前記第１露光のリード期間と前記第２露光のリード期間とが重ならない条件で前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、前記（１）〜（５）のいずれに記載の撮像処理装置。
（７）
前記第１画像と前記第２画像とを合成する画像処理部をさらに備える、前記（１）〜（６）のいずれかに記載の撮像処理装置。
（８）
前記制御部により前記第１画像と前記第２画像とが記憶される記憶部をさらに備える、前記（１）〜（７）のいずれかに記載の撮像処理装置。
（９）
前記第１画像及び前記第２画像が前記制御部から前記記憶部に記憶されて前記記憶部から読み出される速度は、前記画素から直接読み出される速度と比べて低速である、前記（８）に記載の撮像処理装置。
（１０）
前記制御部は、前記記憶部から前記第１画像及び前記第２画像を読み出す速度を可変とする、前記（８）または（９）に記載の撮像処理装置。
（１１）
第１半導体基板、及び第２半導体基板からなる２枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、前記（１）〜（７）のいずれかに記載の画像処理装置。
（１２）
第１半導体基板、第２半導体基板、及び第３半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
前記第３半導体基板には、前記記憶部が少なくとも形成され、
前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、前記（８）〜（１０）のいずれかに記載の撮像処理装置。
（１３）
前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、前記（１２）に記載の画像処理装置。
（１４）
前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、前記（１２）に記載の画像処理装置。
（１５）
前記制御部は、さらに、前記第２画像に続いて、第３露光時間から第６露光時間による第３露光から第６露光でそれぞれ画素へ露光することで第３画像から第６画像を生成する、前記（１）〜（１４）のいずれかに記載の撮像処理装置。
（１６）
前記制御部により前記第１画像から前記第６画像が少なくとも記憶される記憶部をさらに備え、
前記制御部は、前記第１画像から前記第６画像を前記記憶部に記憶させた後に前記第１画像から前記第６画像を前記記憶部から読み出す、前記（１５）に記載の撮像処理装置。
（１７）
前記制御部は、さらに、前記第６画像に続いて、少なくとも第７露光時間による第７露光で画素へ露光することで第７画像を生成し、生成した一連の画像から６つの画像を選択する、前記（１６）に記載の撮像処理装置。
（１８）
前記第１露光時間は、前記第２露光時間よりも長い、前記（１）〜（１７）のいずれかに記載の撮像処理装置。
（１９）
前記第１画像及び前記第２画像は、前記画素からローリングシャッタにより読み出される、前記（１）〜（１８）のいずれかに記載の撮像処理装置。
（２０）
前記第１露光時間と前記第２露光時間とは等しい、前記（１）〜（１７）のいずれかに記載の撮像処理装置。
（２１）
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
を含む、撮像処理方法。
（２２）
コンピュータに、
第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
を実行させる、コンピュータプログラム。
（２３）
前記（１）〜（２０）のいずれかに記載の撮像処理装置を備える、電子機器。

１０ 電子機器
１００ センサモジュール

Claims (23)

1. 第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成する制御部を備え、
   前記制御部は、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、撮像処理装置。
2. 前記第１露光のリード期間と前記第２露光のリード期間とは重ならない、請求項１に記載の撮像処理装置。
3. 前記第１露光される画素と前記第２露光される画素とは同一である、請求項１に記載の撮像処理装置。
4. 前記制御部は、前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を、前記画素のリセット期間に相当する間隔とする、請求項１に記載の撮像処理装置。
5. 前記リセット期間は、前記画素から読み出したデータの所定回のＡＤ変換に要する期間に相当する期間である、請求項４に記載の撮像処理装置。
6. 前記制御部は、前記第２露光時間が前記第１露光のリード時間より長い場合、前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化し、
   前記第２露光時間が前記第１露光のリード時間未満の場合、前記第１露光のリード期間と前記第２露光のリード期間とが重ならない条件で前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化する、請求項１に記載の撮像処理装置。
7. 前記第１画像と前記第２画像とを合成する画像処理部をさらに備える、請求項１に記載の撮像処理装置。
8. 前記制御部により前記第１画像と前記第２画像とが記憶される記憶部をさらに備える、請求項１に記載の撮像処理装置。
9. 前記第１画像及び前記第２画像が前記制御部から前記記憶部に記憶されて前記記憶部から読み出される速度は、前記画素から直接読み出される速度と比べて低速である、請求項８に記載の撮像処理装置。
10. 前記制御部は、前記記憶部から前記第１画像及び前記第２画像を読み出す速度を可変とする、請求項８に記載の撮像処理装置。
11. 第１半導体基板、及び第２半導体基板からなる２枚の半導体基板を積層して構成され、
    前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
    前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、請求項１に記載の撮像処理装置。
12. 第１半導体基板、第２半導体基板、及び第３半導体基板からなる３枚の半導体基板を積層して構成され、
    前記第１半導体基板には、前記画素及び前記制御部が少なくとも形成され、
    前記第３半導体基板には、前記記憶部が少なくとも形成され、
    前記第２半導体基板では、前記第１画像と前記第２画像とに対する画像処理が行われる、請求項８に記載の撮像処理装置。
13. 前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、請求項１２に記載の撮像処理装置。
14. 前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、請求項１２に記載の撮像処理装置。
15. 前記制御部は、さらに、前記第２画像に続いて、第３露光時間から第６露光時間による第３露光から第６露光でそれぞれ画素へ露光することで第３画像から第６画像を生成する、請求項１に記載の撮像処理装置。
16. 前記制御部により前記第１画像から前記第６画像が少なくとも記憶される記憶部をさらに備え、
    前記制御部は、前記第１画像から前記第６画像を前記記憶部に記憶させた後に前記第１画像から前記第６画像を前記記憶部から読み出す、請求項１５に記載の撮像処理装置。
17. 前記制御部は、さらに、前記第６画像に続いて、少なくとも第７露光時間による第７露光で画素へ露光することで第７画像を生成し、生成した一連の画像から６つの画像を選択する、請求項１６に記載の撮像処理装置。
18. 前記第１露光時間は、前記第２露光時間よりも長い、請求項１に記載の撮像処理装置。
19. 前記第１画像及び前記第２画像は、前記画素からローリングシャッタにより読み出される、請求項１に記載の撮像処理装置。
20. 前記第１露光時間と前記第２露光時間とは等しい、請求項１に記載の撮像処理装置。
21. 第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
    前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
    を含む、撮像処理方法。
22. コンピュータに、
    第１露光時間による第１露光で画素へ露光することで第１画像を生成し、該第１画像に続いて第２露光時間による第２露光で画素へ露光することで第２画像を生成することと、
    前記画素の所定行における前記第１露光のリード開始と、前記第２露光のシャッタ開始との間隔を極小化することと、
    を実行させる、コンピュータプログラム。
23. 請求項１に記載の撮像処理装置を備える、電子機器。
    

Images