JP2023124785A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2023124785A JP2023124785A JP2022159718A JP2022159718A JP2023124785A JP 2023124785 A JP2023124785 A JP 2023124785A JP 2022159718 A JP2022159718 A JP 2022159718A JP 2022159718 A JP2022159718 A JP 2022159718A JP 2023124785 A JP2023124785 A JP 2023124785A
- Authority
- JP
- Japan
- Prior art keywords
- gain
- analog
- control
- image
- amplification means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims description 21
- 230000003321 amplification Effects 0.000 claims abstract description 51
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 51
- 238000003702 image correction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 abstract description 61
- 239000003990 capacitor Substances 0.000 description 20
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100243022 Mus musculus Pcnt gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】撮影感度によらず画面内でノイズ感のバラつきの少ないダイナミックレンジを拡大した画像を取得できる撮像装置を提供する。
【解決手段】1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅部と、1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅部と、アナログゲインのみで目標とするゲインが得られる場合には、アナログ増幅部により画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、アナログ増幅部とデジタル増幅部とを用いて、画素信号を第1のゲインと第2のゲインで増幅する第2の制御を行うように制御する制御部とを備える。
【選択図】 図6
【解決手段】1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅部と、1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅部と、アナログゲインのみで目標とするゲインが得られる場合には、アナログ増幅部により画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、アナログ増幅部とデジタル増幅部とを用いて、画素信号を第1のゲインと第2のゲインで増幅する第2の制御を行うように制御する制御部とを備える。
【選択図】 図6
Description
本発明は、撮像装置及びその制御方法に関する。
従来、一般的なデジタルカメラに使われているCCDイメージセンサや、CMOSイメージセンサ等の撮像素子を用いて、階調に関するダイナミックレンジを拡大する技術が提案されている。
特許文献1には、同一画素の出力信号を第1のアナログゲインで増幅した信号と第2のアナログゲインで増幅した信号とを読み出すことが可能な撮像装置が開示されている。そして、第1のゲインの画像と第2のゲインの画像を用いてダイナミックレンジを拡大した画像を取得することができる。
しかしながら、上記の特許文献1に記載された方法では、ダイナミックレンジ拡大を行う際の増幅率が第1および第2のゲインに限られているため、様々な撮影感度におけるダイナミックレンジ拡大処理には対応していない。
本発明は上述した課題に鑑みてなされたものであり、その目的は、設定された撮影感度にかかわらず、ノイズ感のバラつきが少ないダイナミックレンジ拡大画像を取得できる撮像装置を提供することである。
本発明に係わる撮像装置は、1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御手段と、を備えることを特徴とする。
本発明によれば、設定された撮影感度にかかわらず、ノイズ感のバラつきが少ないダイナミックレンジ拡大画像を取得することが可能となる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置150の構成を示すブロック図である。
図1は、本発明の第1の実施形態に係わる撮像装置150の構成を示すブロック図である。
図1において、第1レンズ100は、撮影光学系120の先端に配置されている。絞り101は、後述する絞りアクチュエータ118によって駆動され、その開口径を調節することにより撮影時の光量調節を行う。第2レンズ102、第3レンズ103は、後述するフォーカスアクチュエータ116によって駆動され、光軸方向に進退することにより、撮影光学系120の焦点を調節する。
フォーカルプレーンシャッタ104は、後述するシャッタ駆動回路114によって駆動され、静止画撮影時に撮像素子106の露光秒時を調節する。なお、撮像素子106が電子シャッタ機能を有し、制御パルスで露光秒時を調節するように構成されていてもよい。光学的ローパスフィルタ105は、撮影画像の偽色やモアレを低減するために設けられている。撮像素子106は、撮影光学系120で形成された被写体の光学像を電気信号に変換する。撮像素子106は、後述するCPU109によって制御される。
DSP(Digital Signal Processor)107は、撮像素子106で撮影された画像データの、補正処理、HDR合成処理(HDR画像生成処理)等の画像処理を行う。また、DSP107は、撮像素子106から複数種類のアナログゲインで増幅された出力された画素信号(詳細については後述する)に対して複数種類のデジタルゲインをかける機能(デジタル増幅機能)を有する。
ここで、本実施形態では、複数種類のデジタルゲインをDSP107でかける場合について説明するが、撮像素子106の内部で複数種類のデジタルゲインをかける構成でも構わない。RAM108は、撮像素子106の出力データを保持する信号保持手段の機能と、DSP107で処理された画像データを記憶する画像データ記憶手段の機能と、後述のCPU109が動作を行う際のワークメモリの機能を兼備する。
なお、本実施形態では、これらの機能をRAM108によって実現する構成であるが、アクセス速度が十分に速く動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また、本実施形態では、RAM108は、DSP107、CPU109の外部に配置されているが、その一部または全部の機能をDSP107やCPU109に内蔵する構成であってもよい。
CPU109は、撮像装置150の動作を統括的に制御する。CPU109は、撮像装置150の各部を制御するためのプログラムを実行する。すなわち、DSP107から出力される相関演算の結果を用いて、フォーカス駆動回路115を制御し、撮影光学系120の焦点を調節する機能も有する。本実施形態では、焦点検出部はCPU109が担っているが、撮像素子106の内部に設けられていてもよい。
表示部110は、撮影した静止画像や動画像およびメニュー等の表示を行う。操作部111は、ユーザにより入力される撮影命令や撮影条件等の設定をCPU109に対して指示する。記録媒体112は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ROM113は、CPU109が各部の動作を制御するためにロードして実行するプログラムを格納する。
CPU109の出力に基づいてシャッタ駆動回路114は、フォーカルプレーンシャッタ104を駆動制御する。フォーカス駆動回路115は、撮影光学系120の焦点位置を変更する焦点位置変更手段である。そして、CPU109の出力に基づいてフォーカスアクチュエータ116を制御し、第2レンズ102及び第3レンズ103を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路117は、CPU109の出力に基づいて絞りアクチュエータ118を制御して絞り101の開口を制御する。
図2は、撮像素子106の回路構成の一例を示す図である。画素配列250には、複数の画素200が行列状に配置されている。画素200の各々におけるRは赤色、Gは緑色、Bは青色のカラーフィルタが画素上に配置されることを意味する。また、R(G,B)m_n(m、nは任意の整数)は、画素部250における第m行第n列の画素であることを示す。また、同じ列の画素200のうち奇数行の画素は列出力線202に接続されており、偶数行の画素は列出力線206に接続されている。
列出力線202は列回路203に接続されており、列出力線206は列回路207に接続されている。また、列出力線202と列出力線206の間には、列回路スイッチ205が設けられている。
列回路スイッチ205がオフの場合、奇数行の画素200から出力される画素信号は、列出力線202を介して列回路203のみに入力される。偶数行の画素200から出力される画素信号も同様に、列出力線206を介して列回路207のみに入力される。列回路スイッチ205がオフの場合、奇数行の画素200の信号と偶数行の画素200の信号を同時に読み出すことができる。
また、列回路スイッチ205がオンの場合には、奇数行の画素200から出力される画素信号は、列出力線202および列回路スイッチ205を介して列回路203と列回路207にそれぞれ入力される。偶数行の画素200から出力される画素信号も同様に、列出力線206および列回路スイッチ205を介して列回路203と列回路207にそれぞれ入力される。列回路スイッチ205がオンの場合には、奇数行の画素200の信号と偶数行の画素200の信号が交互に順次読み出される。
各駆動信号RES、TX、SEL、FDINCは、垂直走査回路201から画素200にそれぞれ供給される。これらの駆動信号については、行に対応する数字を表す自然数m(=1,2,・・・,n)が付加されたRES_m、TX_m、SEL_m、FDINC_mと表記する。
ここで、画素200の構成について図3を用いて説明する。
フォトダイオード(以下、PDと略記する)301は、入射光を光電変換し、入射光量に応じた電荷を蓄積する。転送スイッチ302は、駆動信号txのレベルがHighレベルであるときに、PD301に蓄積されている電荷をフローティングディフュージョン部303に転送する。以下では、フローティングディフュージョンをFDと表記する。FD部303は、FDアンプ304を構成するトランジスタのゲートに接続されている。FDアンプ304は、PD301から転送される電荷量を電圧値に変換する。
FDリセットスイッチ305は、FD部303をリセットするためのスイッチ素子であり、駆動信号resのレベルがHighレベルであるときに、FD部303のリセットを行う。また、駆動信号txと駆動信号resのレベルを同時にHighレベルにすると、転送スイッチ302およびFDリセットスイッチ305の両方がオンとなって、FD部303を経由してPD301のリセットが行われる。
FDincスイッチ307は、駆動信号fdincのレベルがHighレベルであるときにオンになり、付加容量308をFD部303と接続する。また、駆動信号fdincのレベルがLowレベルであるときには、FDincスイッチ307がオフになり、付加容量308とFD部303とが非接続状態となる。これにより、FD部303に生じる容量が変化する。言い換えると、FDincスイッチ307および付加容量308は、入力ノードの容量値を可変とする容量可変手段として機能する。
FDincスイッチ307のオン・オフによって、FD部303に転送された電荷に対するFDアンプ304の出力電圧の変換比、すなわちゲイン(以下、FDゲインという)を切り替えることができる。付加容量308がFD部303に接続された接続状態では静電容量値が増加し、非接続状態の場合と比べてゲインが小さくなる。
逆に、付加容量308とFD部303とが非接続状態になると静電容量値が減少し、接続状態と比べてゲインが大きくなる。このように、本実施形態の撮像装置150は、駆動信号fdincに応じてFD部303に保持される電荷量を可変とし、画素200のゲインを切り替える(アナログ増幅機能)ことができる。そのため、複数種類のアナログゲインの出力が可能となる。
画素選択スイッチ306は、駆動信号selのレベルがHighレベルであるときに、FDアンプ304で電圧に変換された画素信号voutを出力する。画素200の出力信号は、前述したように列ごとの列出力線202,206を介して列回路203,207に入力される。なお、本実施形態では、1つの画素200が1つの列出力線に接続されている構成であるが、1つの画素200が複数の列出力線に接続されていても構わない。また、列回路スイッチ205をオンで使用することで、1つの列出力線に対して2つの列回路203,207を接続することが可能であり、1つの画素200の出力信号を、複数種類の異なるアナログゲインで増幅することが可能となる。
次に、図4を参照して、列回路203の構成について説明する。なお、列回路207についても列回路203と同様の構成であるため、ここでは説明を省略する。画素200の出力信号voutは、列出力線202を介して列回路203に入力される。列ごとに設けられた列出力線202は電流源204を介して接地されている。電流源204と、列出力線202に接続された画素200のFDアンプ304とによってソースフォロワ回路が構成される。
列回路203において、クランプ容量401は静電容量C1を有し、フィードバック容量402は静電容量C2を有する。画素200の出力信号voutは、クランプ容量401を介して演算増幅器403の反転入力端子に入力される。演算増幅器403の非反転入力端子には基準電圧Vrefが供給される。
演算増幅器403の反転入力端子と出力端子に接続されたフィードバック容量402と並列にスイッチ404が接続されている。スイッチ404は、フィードバック容量402の両端をショートさせるためのスイッチ素子であり、駆動信号cfsにより制御される。スイッチ404のオン・オフ制御によってゲイン設定を変更することができるため、複数種類のアナログゲインで増幅した信号の出力が可能となる。
S信号転送スイッチ405は、画素200から読み出される画素信号(S信号)を、S信号保持容量407に転送するためのスイッチ素子である。駆動信号tsのレベルをHighレベルにすることにより、演算増幅器403で増幅されたS信号がS信号転送スイッチ405を介してS信号保持容量407に保持される。
N信号転送スイッチ406は、画素200から読み出されるノイズ信号(N信号)をN信号保持容量408に転送するためのスイッチ素子である。駆動信号tnのレベルをHighレベルにすることにより、演算増幅器403で増幅されたN信号がN信号転送スイッチ406を介してN信号保持容量408に保持される。
S信号保持容量407に保持されたS信号は出力電圧vsとして出力され、N信号保持容量408に保持されたN信号は出力電圧vnとして出力される。そして、S信号の出力電圧vsとN信号の出力電圧vnの差分が後述するAD変換器(アナログ-デジタル変換器)によってデジタル信号に変換される。cfs、ts、tn等の駆動信号は、CPU109の制御にしたがってTG210から列回路203に供給される。
図5は、AD変換器の構成を示す図である。AD変換器は、比較器801、カウンタ回路802、ラッチ回路803、および演算回路804を備えている。ランプ信号生成部806(以下RAMP)は、時間に対して変化するランプ信号を生成する回路である。
比較器801は、図4で説明した列回路203のアナログ増幅機能によって増幅された画素信号とランプ信号生成部806により生成されたランプ信号を比較し、時間変化するランプ信号と画素出力が一致したタイミングで反転信号を出力する。
カウンタ回路802は、接続されているカウンタ制御線pCNTから供給されるクロックに基づいてカウント動作を行う。カウンタ回路802は、比較器801が画素信号とランプ信号の比較を開始したタイミングからカウント動作を開始し、比較器801の出力が反転したタイミングでのカウント値を出力する。
ラッチ回路803は、カウンタ回路802が出力するカウント値を一時的に保持すると共に、接続されているラッチ制御線pLTCを介した制御に基づいて保持しているカウント値を出力する。
演算回路804は、接続されている演算制御線pCALを介した制御に基づいて、ラッチ回路803が出力するカウント値を画素のデジタル信号として記憶する。加えて、演算回路804は記憶している画素のデジタル信号を出力する。
ここで、AD変換器におけるゲイン設定について説明する。上述したように列アンプ203、207におけるアナログゲインに限らず、後段のAD変換器でランプ信号の時間変化を変更することにより、画素信号のAD変換時に異なるゲインで増幅するように構成してもよい。すなわち、ランプ信号の時間変化が遅ければ比較器801の出力の反転が遅れ、カウント値が増加する。ランプ信号の時間変化の速度は単位画素200の出力信号の増幅率に相当するので、これをRAMPゲインと称し、時間変化の程度を変えることでRAMPゲインを切り替えることができる。
図2に戻り、列回路203または列回路207から出力される画像データは、タイミングジェネレータ(TG)210から出力される書き込み信号memwrに従ってメモリ211に保持される。メモリ211に保持された画像データは、水平走査回路212の走査によりデータ出力部213へ順次転送される。データ出力部213は、LVDS(Low Voltage Differential Signaling)等の伝送方式により、撮像素子106の外部へ画像データを出力する。
次に、第1の実施形態の撮像装置の動作について説明する。図6は、第1の実施形態の撮像装置におけるHDR撮影動作を説明するためのフローチャートである。このフローチャートの動作は、CPU109がROM113に記憶されているプログラムを実行することにより実現される。
本実施形態では、1回の露光(単一露光)で得られる同じ画素200の出力信号を異なるアナログゲインで増幅することで、HIGH画像とLOW画像を取得することで、HDR撮影を行うものである。操作部111からのユーザの撮影指示によりHDR撮影が開始される。
まず、ステップS500では、CPU109は、操作部111から入力されるユーザの指示に従ってシャッタ駆動回路114を制御することでシャッタ104を開閉し、撮像素子106を1回露光させて画像信号を取得する。
ステップS501では、CPU109は、現在設定されている撮影感度が第1の感度であるか否かを判断する。例えば、太陽光や自然光が入る比較的明るい環境において、アナログゲインのみで目標とするゲイン(以下、本ゲイン)を得ることができる場合には、第1の感度が設定される。なお、ここで示すアナログゲインとは本ゲインを得るためのゲインを指しており、微調整等に用いるゲインにはデジタルゲインを用いても構わない。
現在設定されている撮影感度が第1の感度であると判断された場合にステップS502へ進み、第1の感度と異なると判断された場合にはステップS510へ進む。
ステップS502では、CPU109は、操作部111からのユーザ指示に応じて、HDR合成処理に必要となる高ゲイン側の画像(HIGH画像)と低ゲイン側の画像(LOW画像)の段数差(ゲイン比)を決定する。例えば、HIGH画像とLOW画像の段数差を「3」と設定した場合に、HIGH画像に8倍のゲイン、LOW画像に1倍のゲインがかかるように設定する。
ここでは「3」段差を例として挙げているが、段数差はこれに限定されるものではない。また、HIGH画像とLOW画像のそれぞれのゲインの組み合わせパターンは、撮像素子106の内部で設定可能なアナログゲインであれば構わない。つまり、上記ではHIGH画像のゲインが8倍、LOW画像のゲインが1倍であるものとして説明したが、例えばHIGH画像のゲインが64倍、LOW画像のゲインが8倍というような3段差の組み合わせでも構わない。
ステップS503では、CPU109は、ステップS502で決定されたHIGH画像とLOW画像のゲイン段数差をもとに、HIGH画像とLOW画像のアナログゲインを設定する。ここでは、HIGH画像のアナログゲインを「A設定」、LOW画像のアナログゲインを「B設定」と呼ぶ。例えば、「A設定」は8倍のアナログゲイン、「B設定」は1倍のアナログゲインといったゲイン設定となる。
なお、本実施形態では、第1の感度においてHIGH画像、LOW画像ともに付加容量308やフィードバック容量402を使用することで得られるアナログゲインを想定している。しかし、本発明はこれに限定されるものではなく、アナログゲインを設定できる他の手段を選択してもよい。
ステップS504では、ステップS503で設定したゲインでHIGH画像とLOW画像それぞれの読み出しを行う。このとき、前述したように列回路スイッチ205をオンにし、1回の露光(単一露光)で得られる1つの画素200の出力信号を列回路203と列回路207を用いて異なるアナログゲインで増幅することで、HIGH画像とLOW画像それぞれの読み出しを可能にしている。
ステップS505では、CPU109は、読み出されたHIGH画像とLOW画像を用いたHDR合成処理を行い、ダイナミックレンジを拡大した画像を取得する。
ステップS506では、CPU109は、続けてHDR撮影を行うか否かを判断し、HDR撮影を行わない場合は終了し、続ける場合はステップS501へ戻る。
次に、現在設定されている撮影感度が第1の感度とは異なる場合について説明する。
ステップS501において、現在設定されている撮影感度が第1の感度とは異なると判断された場合、ステップS510へ進む。
ステップS510では、CPU109は、現在設定されている撮影感度が第2の感度であるか否かを判断する。例えば、室内などの太陽光や自然光が入らない比較的暗い環境において、アナログゲインとデジタルゲインを併用し、アナログゲインで足りない部分をデジタルゲインで補うことで本ゲインを得ることができる場合には、第2の感度が設定される。
現在設定されている撮影感度が第2の感度であると判断された場合にステップS511へ進み、第2の感度と異なると判断された場合にはステップS501へ戻る。
前述したように、第2の感度設定では、本ゲインを得るためにアナログゲインとデジタルゲインを併用するが、微調整等に用いるデジタルゲインをさらにかけても構わない。
ステップS511では、CPU109は、ステップS502と同様に、操作部111からのユーザ指示に従って、HDR合成処理に必要となるHIGH画像とLOW画像の段数差(ゲイン比)を決定する。例えば、HIGH画像とLOW画像の段数差を「3」と設定した場合に、HIGH画像に8倍のゲイン、LOW画像に1倍のゲインがかかるように設定する。
ここでは「3」段差を例として挙げているが、段数差はこれに限定されるものではない。また、HIGH画像とLOW画像のそれぞれのゲインの組み合わせパターンは、撮像素子106の内部またはDSP107で設定可能なゲインであれば構わない。つまり、上記ではHIGH画像のゲインが8倍、LOW画像のゲインが1倍としたが、HIGH画像のゲインが64倍、LOW画像のゲインが8倍といったような3段差の組み合わせでも構わない。
ステップS512では、CPU109は、ステップS511で決定されたHIGH画像とLOW画像のゲイン段数差をもとに、列回路203と列回路207にHIGH画像とLOW画像のアナログゲインを設定する。ここでは、HIGH画像のアナログゲインを「A設定」、LOW画像のアナログゲインを「B設定」と呼ぶ。このとき、A設定をアナログゲインで得られる最大値とする。本実施形態では、第2の感度においてHIGH画像、LOW画像ともに付加容量308やフィードバック容量402等でアナログゲインをかける。
ステップS513では、CPU109は、HIGH画像とLOW画像のデジタルゲインを設定する。ここで、HIGH画像のデジタルゲインを「C設定」、LOW画像のデジタルゲインを「D設定」と呼ぶ。なお、本実施形態では、第2の感度においてHIGH画像、LOW画像ともにDSP等でデジタルゲインをかけることを想定しているが、それに限定されるものではなく、撮像素子106内部でかけても構わない。
HIGH画像のゲインが64倍、LOW画像のゲインが8倍、HIGH画像とLOW画像のゲイン差が3段、アナログゲインの最大値が32倍である場合を考える。
ステップS512において決定したアナログゲイン「A設定」は、前述したようにアナログゲインの最大値となるので32倍となる。また、「B設定」はステップS511において決定した段差が3段差であるため、4倍となる。したがって本ゲインを得るためには、HIGH画像、LOW画像それぞれに2倍のデジタルゲインを設定する必要がある。つまり、デジタルゲインの「C設定」を2倍、「D設定」を2倍と設定することになる。
上述したように、アナログゲインとデジタルゲインを併用することで、HIGH画像とLOW画像の本ゲインを得ることが可能となる。
第1の実施形態によれば、HDR撮影時において、第1の感度ではHIGH画像、LOW画像ともにアナログゲインのみを使用することで画像を取得する。また、第2の感度ではHIGH画像、LOW画像ともにアナログゲインとデジタルゲインを併用することで画像を取得する。そのため、設定されている撮影感度によらず、HIGH画像とLOW画像のゲイン段数差を維持することができ、ノイズ感のばらつきが少ないダイナミックレンジを拡大した画像を得ることができる。
(第2の実施形態)
次に、本発明の第2の実施形態について、第1の実施形態との差分を中心に説明する。設定されている撮影感度が第1の感度である場合の処理については第1の実施形態で説明した処理と同じであるため、設定されている撮影感度が第2の感度である場合を中心に説明する。
次に、本発明の第2の実施形態について、第1の実施形態との差分を中心に説明する。設定されている撮影感度が第1の感度である場合の処理については第1の実施形態で説明した処理と同じであるため、設定されている撮影感度が第2の感度である場合を中心に説明する。
図7は、第2の実施形態の撮像装置におけるHDR撮影動作を説明するためのフローチャートである。このフローチャートの動作は、CPU109がROM113に記憶されているプログラムを実行することにより実現される。操作部111からのユーザの撮影指示によりHDR撮影設定が開始される。
ステップS600~ステップS606、ステップS610、ステップS611では、第1の実施形態で示したステップS500~ステップS506、ステップS510、ステップS511と同様の処理を行うため、説明を省略する。
ステップS612では、CPU109は、撮影モードや撮影条件に応じて、第1の感度におけるHIGH画像とLOW画像のアナログゲイン比を維持するか否かを判断する。例えば、撮影モードが動画のように連続撮影するモードの場合、フレーム間でアナログゲイン比が異なってしまうと、フレーム間でノイズ感が異なり、画面がちらついて見えることがある。
一般的にアナログゲインとデジタルゲインを比較したときに、アナログゲインを使用して増幅した方がデジタルゲインを使用して増幅した場合よりもノイズが少ない。これは、アナログゲインを撮像素子106の比較的前段でかけられるため、回路のノイズ等の影響が少ないためである。そのため、上記のような場合では、アナログゲイン比を維持した方がちらつきの少ない動画が得られる。
また、第1の実施形態でも説明したが、第2の感度において、HIGH画像を取得する際のアナログゲインが最大である場合、LOW画像を取得する際のアナログゲインにはまだ余力があることが想定される。そのため、アナログゲイン比を維持しなければ、LOW画像を取得する際のアナログゲインも最大ゲインまで使用することができる。
例えば静止画のように1枚ずつの撮影であれば、撮影感度によってノイズ感の違いが目立ちにくく、LOW画像を取得する際のアナログゲインも最大ゲインまで使用でき、ノイズが低減された画像を取得できる。
例えば静止画のように1枚ずつの撮影であれば、撮影感度によってノイズ感の違いが目立ちにくく、LOW画像を取得する際のアナログゲインも最大ゲインまで使用でき、ノイズが低減された画像を取得できる。
上記で示した例はあくまで一例であり、他の撮影モードや撮影条件によってアナログゲイン比を維持するか否かを判断しても構わない。
図7の説明に戻り、第1の感度のHIGH画像とLOW画像のアナログゲイン比を維持する場合はステップS613へ進み、アナログゲイン比を維持しない場合にはステップS615へ進む。
ステップS613では、CPU109は、HIGH画像とLOW画像のアナログゲイン比を第1の感度で使用した設定に維持する。ステップS512と同様の処理を行い、その次の、ステップS614においても、ステップS513と同様の処理を行う。
つまり、第2の感度が設定された場合において、第1の感度と同様のアナログゲイン比を維持する場合、HIGH画像を取得する際のアナログゲインを「A設定」、LOW画像を取得する際のアナログゲインを「B設定」とする。また、HIGH画像を取得する際のデジタルゲインを「C設定」、LOW画像を取得する際のデジタルゲインを「D設定」とする。
このとき、アナログゲイン比が第1の感度と第2の感度で常に一定になるため、設定された撮影感度によらずノイズ感のバラつきが小さいHDR画像を取得することができる。そのため、前述したように動画のような連続したフレームでのHDR撮影において、フレーム毎に撮影感度が変わる場合にもノイズ感が一定になり、フレーム間のちらつきを抑制することが可能となる。
次に、第2の感度において、第1の感度設定のHIGH画像とLOW画像のアナログゲイン比と異なるゲイン比を設定する場合について説明する。
ステップS615では、HIGH画像を取得する際のアナログゲインを「E設定」、LOW画像を取得する際のアナログゲインを「F設定」とし、第1の感度とは異なるアナログゲイン比を設定する。例えばLOW画像を取得する際のアナログゲインを限界まで使用し、アナログゲインによるゲイン差がなくなっても構わない。
その場合、ステップS611で決定したHIGH画像とLOW画像の段数差を、ステップS616において、デジタルゲインを使用することで補うように設定する。このとき、HIGH画像を取得する際のデジタルゲインを「G設定」、LOW画像を取得する際のデジタルゲインを「H設定」とする。これらはステップS614で設定したデジタルゲインとは異なる。
前述したように、静止画のように画像を1枚ずつ撮影するようなシーンでは、撮影感度によってノイズ感の違いが目立ちにくく、LOW画像においてアナログゲインを限界まで使用することができる分、ノイズが低減された画像を得ることができる。
第2の実施形態によれば、HDR撮影時に第2の感度が設定された場合において、第1の感度が設定された場合のHIGH画像とLOW画像のアナログゲイン比を維持するか否かを、撮影モードや撮影条件に応じて変更できる。アナログゲイン比を維持する場合は、撮影感度によらずノイズ感のバラつきが少ないダイナミックレンジを拡大した画像を取得できる。また、アナログゲイン比を変更する場合は、LOW画像のノイズを低減することが可能であり、ノイズが少ないダイナミックレンジを拡大した画像を取得できる。
(第3の実施形態)
次に、本発明の第3の実施形態について、第2の実施形態との差分を中心に説明する。第3の実施形態では、設定された撮影感度が第2の感度である場合の補正パラメータについて説明する。第2の実施形態でも説明したが、第2の感度において撮影モードや撮影条件に応じてアナログゲイン比を維持するか否かを切り替えることで、高品位なHDR画像を取得することが可能である。
次に、本発明の第3の実施形態について、第2の実施形態との差分を中心に説明する。第3の実施形態では、設定された撮影感度が第2の感度である場合の補正パラメータについて説明する。第2の実施形態でも説明したが、第2の感度において撮影モードや撮影条件に応じてアナログゲイン比を維持するか否かを切り替えることで、高品位なHDR画像を取得することが可能である。
このとき、アナログゲイン量に応じて特性が変化する画像補正用のパラメータについては、アナログゲイン比と同様に切り替える必要がある。例えば、アナログゲイン1倍時と64倍時では、輝度出力のリニアリティ(直線性)が異なる可能性があり、アナログゲイン量に応じてそれぞれリニアリティを揃えるような補正を行う必要がある。
図8は、第3の実施形態の撮像装置における撮影動作を説明するためのフローチャートである。このフローチャートの動作は、CPU109がROM113に記憶されているプログラムを実行することにより実現される。操作部111からのユーザの撮影指示によりHDR撮影が開始される。
ステップS700~ステップS706、ステップS710~ステップS716は第2の実施形態で示したステップS600~ステップS606、ステップS610~ステップS616と同様の処理を行うため、説明を省略する。
設定された撮影感度が第2の感度で、且つステップS712で第1の感度におけるHIGH画像とLOW画像のアナログゲイン比を維持すると判断した場合のステップS720の処理について説明する。なお、ステップS712での判断基準は、図7のステップS612と同様である。
ステップS713、ステップS714によりHIGH画像とLOW画像のアナログゲインをそれぞれ「A設定」「B設定」、デジタルゲインをそれぞれ「C設定」「D設定」とする。このとき、前述したような輝度出力のリニアリティ補正のように、ゲイン設定に応じて変更する画像補正パラメータを、「X」とする。このときの「X」とは、HIGH画像を取得する際のアナログゲイン「A設定」、LOW画像を取得する際のアナログゲイン「B設定」に対応したパラメータである。
次に、設定された撮影感度が第2の感度で、且つステップS712で第1の感度におけるHIGH画像とLOW画像のアナログゲイン比と異なるゲイン比に設定すると判断した場合のステップS721の処理について説明する。
ステップS715、ステップS716において、HIGH画像とLOW画像を取得する際のアナログゲインをそれぞれ「E設定」、「F設定」、デジタルゲインをそれぞれ「G設定」、「H設定」とする。このとき、前述したような輝度出力のリニアリティ補正のように、ゲイン設定に応じて変える画像補正パラメータを、「Y」とする。
このときの「Y」とはHIGH画像を取得する際のアナログゲイン「E設定」、LOW画像を取得する際のアナログゲイン「F設定」に対応したパラメータである。また、本実施形態では「X」、「Y」をアナログゲインに起因した補正パラメータとして例示したが、デジタルゲインの「C設定」、「D設定」、「G設定」、「H設定」に起因した補正パラメータでも構わない。
上記で説明したように、本実施形態では、ステップS713、ステップS714で設定した「A設定」~「D設定」とステップS715、ステップS716で設定した「E設定」~「H設定」にそれぞれ対応した画像補正パラメータ「X」、「Y」を用意し、撮影モードや撮影条件に応じて切り替える。
第3の実施形態によれば、HDR撮影時に第2の感度が設定された場合において、第1の感度におけるHIGH画像とLOW画像のアナログゲイン比を維持するかどうかに応じて補正パラメータを切り替えることが可能になる。そのため、高品質なダイナミックレンジを拡大した画像を取得することが可能となる。
本明細書の開示は、以下の撮像装置、方法、プログラムおよび記憶媒体を含む。
(項目1)
1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、
前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御手段と、
を備えることを特徴とする撮像装置。
1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、
前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御手段と、
を備えることを特徴とする撮像装置。
(項目2)
前記制御手段は、前記第2の制御において、前記第1の制御における前記アナログ増幅手段のアナログゲイン比を維持することを特徴とする項目1に記載の撮像装置。
前記制御手段は、前記第2の制御において、前記第1の制御における前記アナログ増幅手段のアナログゲイン比を維持することを特徴とする項目1に記載の撮像装置。
(項目3)
前記制御手段は、前記第2の制御において、前記第1の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いることを特徴とする項目1に記載の撮像装置。
前記制御手段は、前記第2の制御において、前記第1の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いることを特徴とする項目1に記載の撮像装置。
(項目4)
前記制御手段は、前記第2の制御において、撮影の条件に応じて、前記第1の制御における前記アナログ増幅手段のアナログゲイン比を維持するか、前記第1の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いるかを切り替えることを特徴とする項目1に記載の撮像装置。
前記制御手段は、前記第2の制御において、撮影の条件に応じて、前記第1の制御における前記アナログ増幅手段のアナログゲイン比を維持するか、前記第1の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いるかを切り替えることを特徴とする項目1に記載の撮像装置。
(項目5)
前記制御手段は、前記第2の制御において、前記アナログゲイン比を維持するか否かに応じて、画像補正用のパラメータをさらに切り替えること特徴とする項目4に記載の撮像装置。
前記制御手段は、前記第2の制御において、前記アナログゲイン比を維持するか否かに応じて、画像補正用のパラメータをさらに切り替えること特徴とする項目4に記載の撮像装置。
(項目6)
前記制御手段は、前記アナログ増幅手段のアナログゲインの前記第1のゲインと前記第2のゲインに対して足りない部分を、前記デジタル増幅手段のデジタルゲインにより補うことを特徴とする項目1乃至5のいずれか1項目に記載の撮像装置。
前記制御手段は、前記アナログ増幅手段のアナログゲインの前記第1のゲインと前記第2のゲインに対して足りない部分を、前記デジタル増幅手段のデジタルゲインにより補うことを特徴とする項目1乃至5のいずれか1項目に記載の撮像装置。
(項目7)
前記第1のゲインと前記第2のゲインの段数差を設定する設定手段をさらに備えることを特徴とする項目1乃至6のいずれか1項目に記載の撮像装置。
前記第1のゲインと前記第2のゲインの段数差を設定する設定手段をさらに備えることを特徴とする項目1乃至6のいずれか1項目に記載の撮像装置。
(項目8)
前記第1のゲインで増幅した画素信号からなる第1の画像と、前記第2のゲインで増幅した画素信号からなる第2の画像を合成する合成手段をさらに備えることを特徴とする項目1乃至7のいずれか1項目に記載の撮像装置。
前記第1のゲインで増幅した画素信号からなる第1の画像と、前記第2のゲインで増幅した画素信号からなる第2の画像を合成する合成手段をさらに備えることを特徴とする項目1乃至7のいずれか1項目に記載の撮像装置。
(項目9)
前記合成手段は、前記第1の画像と前記第2の画像を合成して、HDR画像を生成することを特徴とする項目8に記載の撮像装置。
前記合成手段は、前記第1の画像と前記第2の画像を合成して、HDR画像を生成することを特徴とする項目8に記載の撮像装置。
(項目10)
1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段とを備える撮像装置を制御する方法であって、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御工程を有することを特徴とする撮像装置の制御方法。
1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段とを備える撮像装置を制御する方法であって、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御工程を有することを特徴とする撮像装置の制御方法。
(項目11)
項目10に記載の制御方法をコンピュータに実行させるためのプログラム。
項目10に記載の制御方法をコンピュータに実行させるためのプログラム。
(項目12)
項目10に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
項目10に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
106:撮像素子、107:DSP、109:CPU、202,206:列出力線、203,207:列回路、205:列回路スイッチ、307:FDincスイッチ、308:付加容量
Claims (12)
- 1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、
前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御手段と、
を備えることを特徴とする撮像装置。 - 前記制御手段は、前記第2の制御において、前記第1の制御における前記アナログ増幅手段のアナログゲイン比を維持することを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記第2の制御において、前記第1の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いることを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記第2の制御において、撮影の条件に応じて、前記第1の制御における前記アナログ増幅手段のアナログゲイン比を維持するか、前記第1の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いるかを切り替えることを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記第2の制御において、前記アナログゲイン比を維持するか否かに応じて、画像補正用のパラメータをさらに切り替えること特徴とする請求項4に記載の撮像装置。
- 前記制御手段は、前記アナログ増幅手段のアナログゲインの前記第1のゲインと前記第2のゲインに対して足りない部分を、前記デジタル増幅手段のデジタルゲインにより補うことを特徴とする請求項1に記載の撮像装置。
- 前記第1のゲインと前記第2のゲインの段数差を設定する設定手段をさらに備えることを特徴とする請求項1に記載の撮像装置。
- 前記第1のゲインで増幅した画素信号からなる第1の画像と、前記第2のゲインで増幅した画素信号からなる第2の画像を合成する合成手段をさらに備えることを特徴とする請求項1に記載の撮像装置。
- 前記合成手段は、前記第1の画像と前記第2の画像を合成して、HDR画像を生成することを特徴とする請求項8に記載の撮像装置。
- 1つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記1つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段とを備える撮像装置を制御する方法であって、
アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第1のゲインと第2のゲインで増幅する第1の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第1のゲインと前記第2のゲインで増幅する第2の制御を行うように制御する制御工程を有することを特徴とする撮像装置の制御方法。 - 請求項10に記載の制御方法をコンピュータに実行させるためのプログラム。
- 請求項10に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/048564 WO2023162470A1 (ja) | 2022-02-25 | 2022-12-28 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022028385 | 2022-02-25 | ||
JP2022028385 | 2022-02-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023124785A true JP2023124785A (ja) | 2023-09-06 |
Family
ID=87886081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022159718A Pending JP2023124785A (ja) | 2022-02-25 | 2022-10-03 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023124785A (ja) |
-
2022
- 2022-10-03 JP JP2022159718A patent/JP2023124785A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5784426B2 (ja) | 撮像装置 | |
JP5946421B2 (ja) | 撮像装置及びその制御方法 | |
JP7353783B2 (ja) | 撮像装置とその制御方法及び撮像素子とその制御方法 | |
US11830890B2 (en) | Image sensor, image capturing apparatus and image processing apparatus | |
JP6234058B2 (ja) | 焦点調節装置およびその制御方法 | |
JP7332302B2 (ja) | 撮像装置及びその制御方法 | |
US20200021744A1 (en) | Image sensor, focus detection method and storage medium | |
JP2018019140A (ja) | 撮像装置及び撮像装置の制御方法 | |
US10999521B2 (en) | Imaging device and control method therefor | |
JP2018042089A (ja) | 撮像装置及びその制御方法、プログラム | |
WO2023162470A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2020092346A (ja) | 撮像装置およびその制御方法 | |
JP2023124785A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2020043391A (ja) | 撮像装置およびその制御方法 | |
JP6444254B2 (ja) | 焦点検出装置、撮像装置、焦点検出方法、プログラム、及び記憶媒体 | |
JP2007088842A (ja) | 撮像装置、および撮像素子の駆動方法 | |
JP2018019139A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2011009834A (ja) | 撮像装置及び撮像方法 | |
JP2017011347A (ja) | 画像形成方法、画像形成装置、および画像形成プログラム | |
JP2020129755A (ja) | 画像処理装及び方法、及び撮像装置 | |
JP2020057882A (ja) | 撮像装置 | |
WO2023162469A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US11595571B2 (en) | Control apparatus, control method, image capturing apparatus, and image capturing system | |
WO2023162483A1 (ja) | 撮像装置及びその制御方法 | |
US11974058B2 (en) | Image capturing apparatus and control method thereof |