JP2020048135A - 撮像装置及びその制御方法 - Google Patents
撮像装置及びその制御方法 Download PDFInfo
- Publication number
- JP2020048135A JP2020048135A JP2018176701A JP2018176701A JP2020048135A JP 2020048135 A JP2020048135 A JP 2020048135A JP 2018176701 A JP2018176701 A JP 2018176701A JP 2018176701 A JP2018176701 A JP 2018176701A JP 2020048135 A JP2020048135 A JP 2020048135A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- scan
- pixel
- image
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】動画やライブビューにて低照度でフレームレートを落とす際に、スローシャッターの位相差検出画素の被写体ぶれを抑えつつ、低照度性能を改善したい。【解決手段】スローシャッターモードの際には、画像信号の蓄積時間は延長し、位相差検出信号の蓄積時間は延長せず、読み出し行数を増やし、位相差検出信号を加算演算する、ことを特徴とする。【選択図】図1
Description
本発明は、撮像装置及びその制御方法に関し、特に焦点検出技術に関する。
撮像装置において、撮像素子に位相差検出機能を組み込むことにより、撮影レンズのピントずれ量を求めることを可能とする技術が提案されている。
特許文献1では、撮像素子の一部の受光素子において、受光部の感度領域をオンチップマイクロレンズの光軸に対して偏心させることで瞳分割機能を持たせている。そして、これらの受光素子を有する画素を、撮像素子中に所定の間隔で配置させることで位相差検出機能を実現している。
特許文献2では、撮像素子の一つのマイクロレンズに対応する各画素に、A画素及びB画素の複数の光電変換素子を設け、A画素出力とA+B画素出力を読み出している。そして、A画素出力とA+B画素出力を減算処理することでB画素出力を求め、位相差検出機能を実現している。
これらの位相差検出を行う際に、低照度の環境で撮影する場合を考える。
特許文献3の前提で書かれているように、低照度環境下ではスローシャッターモードのように蓄積時間を延ばす方法がある。これはビデオカメラなどで被写体ぶれはあっても、とりあえず被写体が映ればよい、という割り切りで広く行われている制御である。
このとき位相差検出画素の蓄積時間も延長されるが、画像は被写体ぶれを起こしやすくなり、位相差検出によくない影響が出る。かといって蓄積時間を短いままにすれば、そもそも信号レベルが低いので、位相差検出どころではなくなってしまう。
特許文献3ではゲインをかけることによって問題を解決しようとしているが、ゲインをかけるとS/Nが低化し、やはり同様に位相差検出によくない影響が出る。
特許文献1のような読み出し方で位相差検出画素を含むライン数を増やすとしても、センサの画素読み出し速度に依存し、ハイビジョンや4Kと画素数が増加し、フレームレートも30fps、から60、120fpsと増加する中では、限界がある。
上記の課題を解決するために、本発明に係る撮像装置は、
被写体からの光を光電変換する単位画素が行列状に配列され、前記単位画素に生じた電荷に基づく画像生成用の第1の信号、及び前記単位画素の一部領域に生じた電荷に基づく位相差検出用の第2の信号を出力する撮像素子と、
前記第1の信号及び前記第2の信号を行毎に読み出すための走査を制御する走査回路と、
を備え、
前記走査回路は、
前記第1の信号を第1の周期で間引いて読み出す第1の走査と、
前記第1の走査で前記第1の信号が読み出されない行について、前記第2の信号を第2の周期毎に所定の間引き率で間引いて読み出す第2の走査と、
前記第1の走査で前記第1の信号が読み出されない行について、前記第3の信号を第2の周期より長い第3の周期毎に所定の間引き率で間引いて読み出す第3の走査と、
を行う撮像装置において、
スローシャッターモードの際には
前記第1の走査と前期第2の走査を行い、
前記第1の信号の光電変換の蓄積時間は前記スローシャッターモード以外よりも長く、
前記第2の信号の光電変換の蓄積時間は前記スローシャッターモード以外と等しく、
前記第2の走査行において加算演算を行い、
スローシャッターモード以外のモードでは、
前記第1の走査と前期第3の走査を行う、
ことを特徴とする。
被写体からの光を光電変換する単位画素が行列状に配列され、前記単位画素に生じた電荷に基づく画像生成用の第1の信号、及び前記単位画素の一部領域に生じた電荷に基づく位相差検出用の第2の信号を出力する撮像素子と、
前記第1の信号及び前記第2の信号を行毎に読み出すための走査を制御する走査回路と、
を備え、
前記走査回路は、
前記第1の信号を第1の周期で間引いて読み出す第1の走査と、
前記第1の走査で前記第1の信号が読み出されない行について、前記第2の信号を第2の周期毎に所定の間引き率で間引いて読み出す第2の走査と、
前記第1の走査で前記第1の信号が読み出されない行について、前記第3の信号を第2の周期より長い第3の周期毎に所定の間引き率で間引いて読み出す第3の走査と、
を行う撮像装置において、
スローシャッターモードの際には
前記第1の走査と前期第2の走査を行い、
前記第1の信号の光電変換の蓄積時間は前記スローシャッターモード以外よりも長く、
前記第2の信号の光電変換の蓄積時間は前記スローシャッターモード以外と等しく、
前記第2の走査行において加算演算を行い、
スローシャッターモード以外のモードでは、
前記第1の走査と前期第3の走査を行う、
ことを特徴とする。
本発明に係る撮像装置によれば、低照度で撮像画素の蓄積時間を延長し、位相差検出画素の蓄積時間はそのままで被写体ぶれを軽減しつつ、位相差検出画素の読み出し行数を増やすことができ、低照度でのSN改善、位相差検出性能の改善した撮像装置及びその制御方法を提供することができる。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。
図2は、本実施形態にかかわるレンズおよびレンズ交換型のカメラ本体の構成を示すブロック図である。なお、本実施形態ではレンズ交換型のカメラの例を説明するが、レンズ一体型のカメラであっても良い。
[撮像装置の構成]
図2に示すように、本実施形態の撮像装置は、レンズ20およびカメラ21から構成されている。
図2に示すように、本実施形態の撮像装置は、レンズ20およびカメラ21から構成されている。
レンズ20には、レンズ全体の動作を統括制御するレンズ制御部206が設けられている。カメラ21には、カメラ全体の動作を統括制御するカメラ制御部224が設けられている。カメラ制御部224とレンズ制御部206とは、互いに通信することができる。なお、撮像装置がレンズ一体型である場合は、レンズ制御部206の機能および手段はすべてカメラ制御部224に含まれるように構成してもよい、そのときカメラ制御部224はレンズ一体型の撮像装置全体の動作を統括制御する。
まず、レンズ20の構成について説明する。レンズ20は、固定レンズ201、絞り202、フォーカスレンズ203、絞り制御部204、フォーカス制御部205、レンズ制御部206、レンズ操作部207を備えている。本実施形態では、固定レンズ201、絞り202、フォーカスレンズ203により撮像光学系が構成されている。固定レンズ201は、レンズ20の最も被写体側に配置された固定の第1群レンズである。絞り202は、絞り制御部204によって駆動され、後述する撮像素子212への入射光量を制御する。フォーカスレンズ203は、レンズ20の最も像面側に配置され、フォーカス制御部205によって光軸方向に駆動され、後述する撮像素子212に結像する焦点の調節を行う。レンズ制御部206は、絞り制御部204が絞り202の開口量を、フォーカス制御部205がフォーカスレンズ203の光軸方向の位置を決定するよう制御する。レンズ操作部207によってユーザの操作があった場合には、レンズ制御部206はユーザ操作に応じた制御を行う。レンズ制御部206は、後述するカメラ制御部224からの制御命令または制御情報に応じて絞り制御部204やフォーカス制御部205の制御を行う。また、レンズ制御部206は、レンズ制御情報(光学情報)をカメラ制御部224に送信する。
次に、カメラ21の構成について説明する。カメラ21は、撮像光学系を通過した光束から撮像信号を取得できるように、以下の構成を有する。すなわち、シャッター211、撮像素子212、アナログフロントエンド(AFE)213、DSP(Digital Signal Processor)214、カメラ制御部224、タイミングジェネレータ225、シャッター制御部226を有する。また、カメラ21は、焦点検出信号処理部215、バス216、表示制御部217、表示部218、記録媒体制御部219、記録媒体220、RAM221、ROM222、フラッシュROM223、カメラ操作部227を有する。
シャッター211はカメラ制御部224の制御に応じて後述する撮像素子212の露光時間を調節する。撮像素子212は、CCDやCMOSセンサにより構成される光電変換素子(フォトダイオードPD)である。レンズ20の撮像光学系を通ってきた光束(被写体像)は撮像素子212の受光面上に結像され、フォトダイオードPD(光電変換部)によって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部224の指令に従ってタイミングジェネレータ225から与えられる駆動パルスに基づいて、信号電荷に応じた電圧信号(撮像信号、焦点検出信号)として撮像素子212から順次読み出される。
本実施形態において、撮像素子212は、位相差検出方式の焦点検出を行うために、図3(b)のように1つの画素部につき2つのフォトダイオードPDを保持している。撮像光学系TLの射出瞳EPの全域を通過した光束をマイクロレンズMLで分離し、この2つのフォトダイオードPDで結像することで、撮像用と焦点検出用の2つの信号が取り出せるようになっている。2つのフォトダイオードPDの信号を加算した信号A+Bが撮像信号であり、個々のフォトダイオードの信号A、信号Bが焦点検出用の2つの像信号(焦点検出信号)になっている。2つのフォトダイオードPDのうち一方のフォトダイオードPD(第1の光電変換部)と他方のフォトダイオードPD(第1の光電変換部)とでは、射出瞳EPのうち少なくとも一部が異なる(重複していない)瞳領域を通過した光束をそれぞれ受光する。つまり、撮像素子212上には撮像光学系の射出瞳EPのうち互いに少なくとも一部が異なる(重複していない)瞳領域を通過した一対の光束をそれぞれ光電変換する第1の光電変換部および第2の光電変換部を有する画素部が二次元状に複数配列されている。これにより撮像画面内の全域で焦点検出を可能としている。
本実施形態において焦点検出は、像ずれ量の検出を指す。焦点検出信号を基に、後述する焦点検出信号処理部215で2つの(一対の)像信号に対して相関演算を行い、像ずれ量や各種信頼性情報を算出する。なお、図3(a)は、本実施形態の撮像素子212の一部の画素部を拡大したもので、原色ベイヤー配列と呼ばれる画素構成を採用している。具体的には、R(Red),G(Green),B(Blue)の原色カラーフィルタがベイヤー配列された2次元単板CMOSカラーイメージセンサが用いられている。ここで、図3(a)に示されるRは、R画素を表し、Bは、B画素を表し、GrおよびGbは、G画素を表している。
撮像素子212から読み出された撮像信号および焦点検出信号はアナログフロントエンド(AFE)213に入力され、リセットノイズを除去するための相関二重サンプリング(CDS)、ゲインの調節(AGC)、信号のデジタル化(AD)、また、ダークオフセットレベルをクランプする。
DSP214は、AFE213から出力された撮像信号(画像信号)に対して、各種の補正処理、現像処理、圧縮処理を行う。更に、DSP214は、撮像素子212で発生する各種ノイズの補正処理、欠陥画素の検出及び欠陥画素と焦点検出信号の補正処理、飽和画素の検出及び飽和画素の補正処理等を行う。
その後、DSP214は撮像信号(画像信号)をRAM221に格納する。RAM221に格納した撮像信号(画像信号)は、バス216を介して、表示制御部217によって表示部218に表示される。また、撮像信号の記録を行うモードの時には、記録媒体制御部219によって記録媒体220に記録される。また、バス216を介して接続されたROM222には、カメラ制御部224が実行する制御プログラムおよび制御に必要な各種データ等が格納されている。フラッシュROM223には、ユーザ設定情報等のカメラ21の動作に関する各種設定情報等が格納されている。更に、DSP214は焦点検出信号を焦点検出信号処理部215に出力する。
焦点検出信号処理部215はDSP214から出力された焦点検出用の2つの(一対の)像信号を基に、相関演算を行い、像ずれ量を算出する。その後、検出した像ずれ量をカメラ制御部224へ出力する。また、カメラ制御部224は、取得した像ずれ量を基に、これらを算出する設定の変更を焦点検出信号処理部215に通知する。例えば、像ずれ量が大きい場合に相関演算を行う領域を広く設定したり、コントラスト情報に応じてバンドパスフィルタの種類を変更したりする。なお、本実施形態では、信号処理装置は少なくともこの焦点検出信号処理部215と後述するカメラ制御部224から構成される。
なお、本実施形態は撮像信号および焦点検出用の2つの(一対の)像信号の計3つの信号を撮像素子212から取り出しているが、このような方法に限定されない。撮像素子212の処理負荷を考慮し、例えば撮像信号と焦点検出信号の1つの像信号の計2つを取り出し、撮像信号と焦点検出信号の差分を取ることでもう1つの焦点検出信号を生成するような制御にしても良い。
カメラ制御部224は、カメラ21内全体と情報をやり取りして制御を行う。カメラ21内の処理だけでなく、カメラ操作部227からの入力に応じて、電源のON/OFF、レリーズボタン、設定の変更、記録の開始、記録映像の確認等の、ユーザが操作したさまざまなカメラ機能を実行する。レリーズボタンには、使用者により操作されるレリーズボタンの第1ストローク操作(半押し操作)によりONするレリーズスイッチSW1と、レリーズボタンの第2ストローク操作(全押し操作)によりONするレリーズスイッチSW2とが接続されている。また、先述したようにレンズ20内のレンズ制御部206と情報をやり取りし、レンズに制御命令または制御情報を送ることや、レンズ内のレンズ制御情報(光学情報)を取得する。
ここで、図4を用いて、本実施形態の撮像素子212の駆動方法を説明する。図4(a)は、撮像素子212の画素領域を示す図である。図4(a)〜(e)に示す画素領域中の左側及び上側の縦線領域は、遮光されたオプティカルブラック部(OB部)を示している。また、図4(a)の画素領域の左側には行番号を示している。
垂直方向に、第1の周期で間引きながら、撮像信号を読み出す。この第1回目の走査を、以下「第1走査」という。そして、全面を垂直方向に走査したのち、再度垂直走査を垂直方向の上部の行に戻し、今度は、第1走査で読み出さなかった行について、第2の周期で間引きながら再度走査する。この第2回目の走査を以下「第2走査」という。第1走査では、対象行の単位画素から画像生成用の撮像信号を読み出す。一方、第2走査では、対象行の単位画素内のA画素、B画素の焦点検出信号を順次読み出す。そして、読み出した撮像信号を用いて画像を生成するとともに、焦点検出信号に基づいて、像ずれ量を検出する。
第1走査及び第2走査を行う場合の読み出し行の模式図を図4(b)に示す。図4(b)において、太枠で囲まれた行は、第1走査における読み出し対象行であり、その他の行は、第1走査において読み出されずに間引かれる行である。また、図4(b)にひし形パターンを付した行は、第2走査における読み出し対象行である。
図4(b)に示す例では、V0行目の撮像信号を読み出した後、第1の周期後(図4では3行後)のV1行目から撮像信号を読み出す。引き続き、同じ第1の周期で、V2、V3、V4、V5、V6及びV7行目から撮像信号を順次読み出す。これらV0からV7までの読み出しが、第1走査である。第1走査により読み出される行は、画像生成に好適な同一のマイクロレンズMLの下部に配置された画素全体に生じる電荷信号を出力することとなり、V0〜V7行目の撮像信号から画像が生成される。
なお、本実施形態では列方向(水平方向)には間引きせずに読み出しを行っているため、水平方向と垂直方向の読み出し画素数が異なり、画像の縦横比が異なってしまう。しかしながら後段で縦横比の変換を行ってもよいし、水平方向も同じ比率で一般的な間引き読み出し、あるいは加算間引き読み出しを行ってもよく、任意の方法で縦横比の変換が可能である。
V7行目まで第1走査で読み出した後、V8行目まで戻り、V8行目に含まれる画素のうち、まず、A画素から信号Aを読み出す。続けて、同一行のV8行目に含まれる画素のうち、B画素から信号Bを読み出す。その後、第2の周期後(図4では1行後)のV9行目に含まれる画素のうち、A画素から信号Aを読み出す。続けて、同一行のV9行目に含まれる画素のうち、B画素から信号Bを読み出す。その後、すでに第1の走査で読み出しているV4行目をスキップし、次の第2の周期後(1行後)のV10行目のA画素及びB画素、更に次の第2の周期後(1行後)のV11行目のA画素及びB画素を読み出す。同様に、すでに第1の走査で読み出しているV5行目をスキップし、V12行目及び次のV13行目を順次読み出す。これらV8からV13までの読み出しが第2走査である。
このように、第2走査では、同一行に対して、A画素から信号A及びB画素から信号Bを別々に読み出す。なお、焦点を検出する画素領域が焦点検出領域として予め設定されている場合には、この焦点検出領域を含む最も狭い行範囲を、第2走査の対象行範囲とすることが好ましい。例えば、図4(b)において、V8行目からV13行目の範囲に焦点検出領域が予め設定されている場合には、上述の動作のように、V8行目からV13行目までが第2走査の対象行範囲となる。なお、焦点検出領域は、不図示の操作部によりユーザが所望の領域を指定しても良いし、被写体検出等による公知の方法により自動的に設定しても良いし、あるいは、固定の領域であっても良い。
こうして読み出されて処理される順序に画素配置を並べ替えると、図4(c)に示す模式図のようになる。先に説明したように、V0〜V7行目は、第1走査において撮像信号を読み出しているため、この撮像信号を用いて通常の画像生成が可能である。一方、V8〜V13行目は、第2走査においてA画素及びB画素から焦点検出信号を読み出しているため、同一行毎に得られる一対の信号である信号Aと信号Bに基づいて、像ずれ量を検出することが可能である。
図4(d)は、図4(b)で説明した第2走査における第2の周期を大きくし、読み出し行数を減らした第3走査を示すものである。
同様に太枠で囲まれた行は、第1走査における読み出し対象行であり、その他の行は、第1走査において読み出されずに間引かれる行である。また、図4(d)にひし形パターンを付した行は、第3走査における読み出し対象行である。
第1走査として、V0行目の撮像信号を読み出した後、第1の周期後のV1行目から撮像信号を読み出し、V2、V3、V4、V5、V6及びV7行目から撮像信号を順次読み出す。V0〜V7行目の撮像信号から画像が生成される。
V7行目まで第1走査で読み出した後、V8行目まで戻り、先と同様にV8行目に含まれる画素のA画素から信号Aを読み出し、B画素から信号Bを読み出す。その後、第3の周期後(図4では2行後)のV9行目に含まれる画素のA画素から信号Aを読み出し、B画素から信号Bを読み出す。その後、すでに第1の走査で読み出しているV4行目をスキップし、次の第3の周期後(2行後)のV10行目のA画素及びB画素を読み出す。これらV8からV10までの読み出しが第3走査である。
こうして読み出されて処理される順序に画素配置を並べ替えると、図4(e)に示す模式図のようになる。先に説明したように、V0〜V7行目は、第1走査において撮像信号を読み出しているため、この撮像信号を用いて通常の画像生成が可能である。一方、V8〜V10行目は、第2走査においてA画素及びB画素から焦点検出信号を読み出しているため、同一行毎に得られる一対の信号である信号Aと信号Bに基づいて、像ずれ量を検出することが可能である。像ずれ量の演算は図7で後述する。
このように第2走査は第2の周期を小さくすることにより、焦点検出信号の読み出し行数が増加する。これらの行を加算することにより位相差検出時のノイズ低減効果が期待できる。これは低照度の場合に特に有利である。一方、第3走査は第3の周期を大きくすることにより焦点検出信号の読み出し行数は減少するが、図4(e)のように全体の行数が減少するため、垂直方向の読み出し時間が短縮され、高速なフレームレートへの対応が可能となる。
次に、上述した撮像素子212の駆動の時間経過について図5の模式図を用いて説明する。
図5において横軸は時間経過を表わしており、それぞれ1周期の読み出しを表し、これをずっと繰り返される。時間aは時間bの2倍になっている。通常このような撮像センサ読み出しには次のフレームの処理を行うブランキング期間が必要だが、この模式図では図示しない。
各行ごとの読み出し動作を行っている時間を各行に対応した枠で表示している。各行の長さが露光期間を示しており、左端のタイミングで行のリセット解除を行ない、右端のタイミングで読み出しを開始することを模式的に表している。
図5(b)では、撮像素子212の読み出しにかかる時間を考慮し、各ラインの蓄積時間を同一になるように各行のリセット解除を行っている。図5(a)については後述する。
図4(b)(c)で示す第1走査、第2走査が図5(a)に対応し、図4(d)(e)で示す第1走査、第3走査が図3(b)に対応する。
なお、図5の符号において図4と同じものについて同一の符号を付している。したがって図4で解説した順で図5(a)はV0〜v13b、図5(b)ではV0〜V12bまで各行読み出しを行っていることを示している。
ここで図4、図5を用いて実際のカメラ動作を解説する。
一例として秒間60コマのフレームレートで動画撮影を行っていたとする。これは動画撮影によらず静止画撮影のためのライブビュー表示でも同様である。その秒間60コマ撮影している状態を図5(b)とする。この場合の読み出しは図4(d)(e)のようになる。このときの1コマの時間bは以下のようになる。
1000(ms)/60≒16.7(ms)
撮像素子212の読み出し性能の中で、画面内の輝度が同一になるよう、各行の露光時間は同一にして、各行リセット解除、露光、読み出しを行っている。
撮像素子212の読み出し性能の中で、画面内の輝度が同一になるよう、各行の露光時間は同一にして、各行リセット解除、露光、読み出しを行っている。
この制約の中でなるべく長く露光時間をとれるようにするため、図5(b)では焦点検出画素の行の読み出し数を減らす。これによって秒間60コマを実現している。
この時に低照度環境などで露光時間を増加が必要になったとする。しかし先述の通り16.6(ms)ギリギリ使用しておりこれ以上露光時間を延ばすことはできない。
ここで特許文献3のように、スローシャッターモードに移行し秒間30コマのフレームレートに移行したとする。この場合の1コマの時間aは以下のようになる。
1000(ms)/30≒33.3(ms)
この時、従来は図5(c)のように画像信号も焦点検出信号も同じだけ露光時間を延ばしていた。なお読み出し制御は図4(d)(e)のようになる。画像信号は多少の被写体ぶれがあっても暗い中でなんらか写っていることが優先されるのでこの制御は妥当である。しかし、焦点検出信号の露光時間も延ばすと、被写体ぶれによって焦点検出が不可能になることが考えられる。これは焦点検出の目的を達成できない。
この時、従来は図5(c)のように画像信号も焦点検出信号も同じだけ露光時間を延ばしていた。なお読み出し制御は図4(d)(e)のようになる。画像信号は多少の被写体ぶれがあっても暗い中でなんらか写っていることが優先されるのでこの制御は妥当である。しかし、焦点検出信号の露光時間も延ばすと、被写体ぶれによって焦点検出が不可能になることが考えられる。これは焦点検出の目的を達成できない。
そこで図5(a)と図4(b)(c)のように画像信号の露光時間は延長し、時間a≒33.3(ms)とするが、焦点検出信号の露光時間は延長しない。そうすると今度は低照度で焦点検出信号のSN比が低化するので、読み出し行数を増加させる。これにより被写体ぶれを秒間60コマと同等でありながら、増加した時間bにより、読み出し行数を増やしSN比を改善することができる。
[焦点検出の説明]
図7は図4のV8からV13の焦点検出領域から取得した像信号である。sからtが焦点検出範囲を表し、pからqがシフト量を踏まえた焦点検出演算に必要な範囲である。またxからyは、分割した1つ分の焦点検出領域を表す。
図7は図4のV8からV13の焦点検出領域から取得した像信号である。sからtが焦点検出範囲を表し、pからqがシフト量を踏まえた焦点検出演算に必要な範囲である。またxからyは、分割した1つ分の焦点検出領域を表す。
(A)はシフト前の像信号を波形で表した図である。実線701が像信号A、破線
702が像信号Bである。
702が像信号Bである。
(B)は(A)のシフト前の像波形に対しプラス方向にシフトした図であり、(C)は(A)のシフト前の像波形に対しマイナス方向にシフトした図である。相関量を算出する際には、それぞれ矢印の方向に701、702を1ビットずつシフトする。続いて相関量CORの算出法について説明する。
まず、(B)(C)で説明した通りに、像信号Aと像信号Bを1ビットずつシフトしていき、その時の像信号Aと像信号Bの差の絶対値の和を算出する。この時、シフト量をiで表し、最小シフト数は図7中のp−s、最大シフト数は図7中のq−tである。またxは焦点検出領域の開始座標、yは焦点検出領域の終了座標である。これら用い、以下の式(1)によって算出する事ができる。
この相関量COR[i]が小さい方ほど、A像とB像の一致度が高く、その時のシフト量がピントずれ量となり、焦点検出できたことになる。
この相関量の算出において、スローシャッターモードの際には第2の走査であるところのV8a、V9aを垂直方向に加算して像信号A。V8b、V9bを垂直方向に加算して像信号Bとすることによって、像信号のS/N比を改善し低照度での性能を向上することができる。
[撮像装置の動作]
次に図1で、本実施形態における撮像装置の動作について説明する。
次に図1で、本実施形態における撮像装置の動作について説明する。
図1は、撮像装置の動画撮影の処理手順を示すフローチャートである。これは静止画撮影のためのライブビュー表示でも同様である。この動画撮影では、S101からS110を繰り返しレンズのフォーカスを駆動させて焦点調節をし続ける。
S101からS103では、動画記録に関する制御を行う。S101は動画記録スイッチがオンされているか否かを判断し、オンされている場合はS102へ進み、動画の記録開始し、オフの場合はS103へ進み、動画の記録停止を行う。本実施形態においては動画記録スイッチを押下することで、動画の記録開始および停止を行うが、もちろん切り替えスイッチ等の他の方式によって記録開始および停止を行っても構わない。
S104では、露出の測定と制御を行う。図6は本実施例でのプログラム線図である。表の見方としては照度がEV13のときは絞りF1.4、蓄積時間1/4000(図6では逆数で表記)、ゲインは1倍で制御することを示す。ただし動画やライブビューのフレームレートは蓄積時間が1/60以上であれば秒間60コマのままである。
このプログラム線図の場合EV6より暗い場合はスローシャッターモードと判断し、フレームレートを秒間30コマに落とす。たとえばEV5の場合はスローシャッターモードと判断しフレームレートを秒間30コマとし、絞りF1.4、蓄積時間1/30、2倍のセンサゲインをかける制御を行う。
S105では、S104での露出制御結果スローシャッターモードであればS107へ処理を移し、そうでなければS106へ。
S106では、通常のシャッターモードとして次のフレームの露光時間を通常のままとする。秒間60コマの撮像モードであれば秒間60コマとし、露光時間は16.7(ms)とする。
S107では、スローシャッターモードとして次のフレームの露光時間延長する。秒間60コマの撮像モードであれば、スローシャッターモードでは秒間30コマとし、露光時間は33.3(ms)となる。
S108では一対の焦点検出信号に基づいて、像ずれ量を検出する。また、一対の焦点検出信号である信号A及び信号Bのピーク値を検出する。
S109では、S108で焦点検出した像すれ量をレンズ(フォーカスレンズ203)の駆動量に変換し、算出したレンズの駆動量に従ってしてレンズを駆動する。S110では、動画撮影処理が停止されたかどうかを判定する。継続する場合はS101へ進み、停止する場合は動画撮影処理を終了する。
[本実施例による効果]
以上のように、本実施形態では、
本発明によれば、低照度で撮像画素の蓄積時間を延長し、位相差検出画素の蓄積時間はそのままで被写体ぶれを軽減しつつ、位相差検出画素の読み出し行数を増やすことができ、低照度でのSN改善、位相差検出性能の改善した撮像装置及びその制御方法を提供することができる。
以上のように、本実施形態では、
本発明によれば、低照度で撮像画素の蓄積時間を延長し、位相差検出画素の蓄積時間はそのままで被写体ぶれを軽減しつつ、位相差検出画素の読み出し行数を増やすことができ、低照度でのSN改善、位相差検出性能の改善した撮像装置及びその制御方法を提供することができる。
[変形例]
本実施例では低照度下でスローシャッターモードとなった時には、かならず第1と第2の走査を行うが、これは常に行わない方法もある。
本実施例では低照度下でスローシャッターモードとなった時には、かならず第1と第2の走査を行うが、これは常に行わない方法もある。
被写体が動いているなら第1と第2の走査を用い、図5(a)のような露光・読み出しを行い位相差検出信号の露光時間は伸ばさないこととする。そして、被写体が静止していれば第1と第3の走査を用い、図5(c)のような露光・読み出しを行い位相差検出信号の露光時間をのばしてもよい。これを行うことにより低照度でのS/N比を改善することができる。
被写体が動いているかどうかの判断はたとえば、撮像装置に内蔵する不図示のジャイロを用いる方法、被写体の動きを追尾して判断する方法、画面全体の動きベクトルを検出する方法などが考えられる。
また、図7での相関量の算出において、スローシャッターモードの際には第2の走査であるところのV8aを像信号A、V8bを像信号Bとして算出される相関量をCOR8とする。同様にV9aを像信号A、V9bを像信号Bとして算出される相関量をCOR9とする。
この相関量COR8とCOR9を加算することによっても相関量のS/N比を改善し低照度での性能を向上することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
20 レンズ、21 カメラ、
214 DSP(Digital Signal Processor)、
215 焦点検出信号処理部、224 カメラ制御部
214 DSP(Digital Signal Processor)、
215 焦点検出信号処理部、224 カメラ制御部
Claims (11)
- 被写体からの光を光電変換する単位画素が行列状に配列され、前記単位画素に生じた電荷に基づく画像生成用の第1の信号、及び前記単位画素の一部領域に生じた電荷に基づく位相差検出用の第2の信号を出力する撮像素子と、
前記第1の信号及び前記第2の信号を行毎に読み出すための走査を制御する走査回路と、
を備え、
前記走査回路は、
前記第1の信号を第1の周期で間引いて読み出す第1の走査と、
前記第1の走査で前記第1の信号が読み出されない行について、前記第2の信号を第2の周期毎に所定の間引き率で間引いて読み出す第2の走査と、
前記第1の走査で前記第1の信号が読み出されない行について、前記第3の信号を第2の周期より長い第3の周期毎に所定の間引き率で間引いて読み出す第3の走査と、
を行う撮像装置において、
スローシャッターモードの際には
前記第1の走査と前期第2の走査を行い、
前記第1の信号の光電変換の蓄積時間は前記スローシャッターモード以外よりも長く、
前記第2の信号の光電変換の蓄積時間は前記スローシャッターモード以外と等しく、
前記第2の走査行において加算演算を行い、
スローシャッターモード以外のモードでは、前記第1の走査と前期第3の走査を行う、
ことを特徴とする撮像装置。 - 前記スローシャッターモードとは、動画撮影において、被写体が低照度であり、撮像装置のフレームレートを落とし、1コマあたりのシャッタースピードを低下させるモード、であることを特徴とする請求項1に記載の撮像装置。
- 前記動画撮影とは、静止画撮影のためのビューファインダーのための動画であることを特徴とする請求項2に記載の撮像装置。
- 前記スローシャッターモードの際に、前記第2の信号の光電変換の蓄積時間を前記スローシャッターモード外と比べ延長するが、延長された前記第1の信号の光電変換の蓄積時間よりは短いことを特徴とする請求項1乃至3のいずれかの1項に記載の撮像装置。
- 前記スローシャッターモードの際に、増加された前記第2の走査を加算してから相関演算を行うことを特徴とする請求項1乃至4のいずれかの1項に記載の撮像装置。
- 前記スローシャッターモードの際に、増加された前記第2の走査を相関演算してから加算を行うことを特徴とする請求項1乃至4のいずれかの1項に記載の撮像装置。
- 前記単位画素は、前記一部領域としてA画素及びB画素を有し、
前記第1の信号は、前記A画素及び前記B画素からの合成信号であり、
前記第2の信号は、前記A画素からの信号、及び前記B画素からの信号どちらかであることを特徴とする請求項1乃至6のいずれかの1項に記載の撮像装置。 - 前記走査回路は、前記第1の走査を行った後に前記第2の走査を行うであることを特徴とする請求項1乃至7のいずれかの1項に記載の撮像装置。
- 前記被写体からの光を前記撮像素子に結像させる光学系と、
前記第2の信号に基づいて、前記光学系の焦点を調整する焦点調整手段と、
を更に備えるであることを特徴とする請求項1乃至8のいずれかの1項に記載の撮像装置。 - 前記スローシャッターモードであっても、条件を満たさない限り、前記第1の信号の光電変換の蓄積時間の変更と、前記第2の信号の光電変換の蓄積時間を変更しないことと、前記第2の走査の行数の変更と加算を行わないことを特徴とする請求項1乃至9のいずれかの1項に記載の撮像装置。
- 前記条件とは被写体が動いていることであることを特徴とする請求項10に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018176701A JP2020048135A (ja) | 2018-09-21 | 2018-09-21 | 撮像装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018176701A JP2020048135A (ja) | 2018-09-21 | 2018-09-21 | 撮像装置及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020048135A true JP2020048135A (ja) | 2020-03-26 |
Family
ID=69901853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018176701A Pending JP2020048135A (ja) | 2018-09-21 | 2018-09-21 | 撮像装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020048135A (ja) |
-
2018
- 2018-09-21 JP JP2018176701A patent/JP2020048135A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10419694B2 (en) | Method and apparatus for imaging an object | |
US9979874B2 (en) | Image capturing apparatus and pixel scanning method for image generation | |
JP5319347B2 (ja) | 撮像装置及びその制御方法 | |
JP5241355B2 (ja) | 撮像装置とその制御方法 | |
JP6338436B2 (ja) | 撮像装置及びその制御方法 | |
JP5219778B2 (ja) | 撮像装置及びその制御方法 | |
WO2015190156A1 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
JP5523065B2 (ja) | 撮像装置及びその制御方法 | |
JP5657184B2 (ja) | 撮像装置及び信号処理方法 | |
US20060197854A1 (en) | Image capturing apparatus and computer software product | |
JP5199736B2 (ja) | 画像撮像装置 | |
US8040407B2 (en) | Image capturing apparatus and image capturing apparatus control method | |
JP2015018084A (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP6929106B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5452269B2 (ja) | 撮像装置 | |
JP2011087050A (ja) | デジタルカメラ | |
JP6270400B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US20090051791A1 (en) | Imaging apparatus | |
JP6467289B2 (ja) | 撮像装置およびその制御方法 | |
JP6594048B2 (ja) | 撮像装置及びその制御方法 | |
JPH11258491A (ja) | 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP2020048135A (ja) | 撮像装置及びその制御方法 | |
JPH11258489A (ja) | 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP2011077770A (ja) | 固体電子撮像装置の制御装置およびその動作制御方法 | |
JP4992382B2 (ja) | ノイズ除去方法ならびにノイズ除去制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |