JP2013254114A - 撮像装置、制御方法、及びプログラム - Google Patents
撮像装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2013254114A JP2013254114A JP2012130189A JP2012130189A JP2013254114A JP 2013254114 A JP2013254114 A JP 2013254114A JP 2012130189 A JP2012130189 A JP 2012130189A JP 2012130189 A JP2012130189 A JP 2012130189A JP 2013254114 A JP2013254114 A JP 2013254114A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- image
- pixel
- reconstructed image
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】合焦評価用の生成再構成画像の画素数を設定し、該画素数と画像信号の画素から生成可能な再構成画像の上限画素数とから生成再構成画像の各画素の生成に用いる生成可能な再構成画像の画素を決定する。そして、生成再構成画像の各画素について、生成に用いる生成可能な再構成画像の画素に対応する画像信号の画素のうち、所定数の画素を、生成再構成画像の生成に用いる画素として選択する。このとき撮像装置は、設定された生成再構成画像の画素数が上限画素数よりも少ない場合は、生成に用いる生成可能な再構成画像の画素のそれぞれについて少なくとも1つの対応する画像信号の画素を選択する。
【選択図】図6
Description
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、撮像手段により出力された画像信号から生成する生成再構成画像について設定する、該生成再構成画像内で合焦する被写体の焦点距離を決定する決定手段と、決定手段により決定された焦点距離に応じて、生成再構成画像の各画素に対応する所定数の画像信号の画素の画素値を合算することで、焦点距離に合焦した生成再構成画像を生成する生成手段と、生成手段により生成された生成再構成画像について合焦評価を行う評価手段と、を有する撮像装置であって、生成手段により生成される生成再構成画像の画素数を設定する設定手段と、設定手段により設定された生成再構成画像の画素数と、画像信号の画素から生成可能な再構成画像の上限画素数とから生成再構成画像の各画素の生成に用いる生成可能な再構成画像の画素を決定し、生成再構成画像の各画素について、生成に用いる生成可能な再構成画像の画素に対応する画像信号の画素のうち、所定数の画素を選択する選択手段と、を有し、選択手段は、設定手段により設定された生成再構成画像の画素数が上限画素数よりも少ない場合に、生成に用いる生成可能な再構成画像の画素のそれぞれについて少なくとも1つの対応する画像信号の画素を選択することを特徴とする。
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後に任意の焦点距離に合焦した画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、任意の焦点距離に合焦した画像を生成して焦点検出動作を行うことが可能な任意の機器に適用可能である。
・「ライトフィールド(LF:Light Field)データ」
本実施形態のデジタルカメラ100が有する撮像部102から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系202の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。LFデータは、光線空間情報とも呼ばれる。
・「再構成画像」
LFデータから生成される、任意の焦点距離に合焦した画像。具体的には生成する焦点距離に対応する焦点面(再構成面)での画素配置に従ってLFデータの画素を並び替え、再構成画像の1画素に対応する画素の画素値を合算することで該画素の画素値を得る。通常画素値を合算する画素数は、瞳分割数になる。
図1は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ100及びレンズ200の機能構成を示すブロック図である。
カメラ制御部101は、例えばCPUであり、不図示のROM及びRAMを内蔵する。カメラ制御部101は、ROMに格納されている後述のオートフォーカス(AF)処理の動作プログラムを読み出し、RAMに展開して実行することにより、デジタルカメラ100が有する各ブロックの動作制御を行う。またカメラ制御部101は、撮像部102から出力される画像信号の解析により決定した焦点位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点107を介してレンズ200に送信する。
レンズ制御部201は、例えばCPUであり、不図示のROM及びRAMを内蔵する。レンズ制御部201は、ROMに格納されているレンズ200が有する各ブロックの動作プログラムを読み出し、RAMに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部201は、電気接点107を介してカメラ制御部101より焦点位置や絞り値の情報を受信すると、該情報をレンズ駆動部203に伝送し、撮像光学系202の対応する光学部材を駆動させる。
このような構成をもつ本実施形態のデジタルカメラ100のAF処理について、図3のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部101が、例えばROMに記憶されている対応する処理プログラムを読み出し、RAMに展開して実行することにより実現することができる。なお、本AF処理は、例えばデジタルカメラ100が撮影モードで起動中にレリーズボタンの半押し操作がなされたことを、カメラ制御部101が操作検出部106からの制御信号により検出された際に開始されるものとして説明する。
ここで、本実施形態の評価距離決定処理について、図4(a)のフローチャートを用いて詳細を説明する。
ここで、本実施形態の画素選択処理について、図4(b)のフローチャートを用いて詳細を説明する。
N×s×n=4×2×1=8
となり、LFデータの8画素が、再構成画像の現像処理により得られる現像画像の1画素に対応する。つまり、Rのカラーフィルタが適用されたマイクロレンズに対応付けられた画素1乃至4の累計画素値を有する画素と、Gのカラーフィルタが適用されたマイクロレンズに対応付けられた画素1乃至4の累計画素値を有する画素により、現像画像の1画素が生成される。
N×s×n=4×2×2=16
となり、図6(a)において枠で示したLFデータの16画素が生成の対象となる。即ち、LFデータから生成可能な再構成画像の画素のうちの4画素(現像画像における2画素)が、生成する間引いた再構成画像の2画素(現像画像における1画素)の生成に参照される。つまり、図示されるような1次元のLFデータから1/2の間引きを行なって得られる再構成画像(間引き再構成画像)の画素数は、間引きを行わずに得られる再構成画像の画素数、即ち上限画素数に対して1/2になる。
1.間引き再構成画像の1画素の生成に参照される、LFデータから生成可能な上限画素数を有する再構成画像の複数の画素のそれぞれについて、各画素に対応するLFデータの画素を少なくとも1つ選択(再構成面において離散的にし、被写体像の周波数情報をより多く反映するため)
2.間引き再構成画像の1画素の生成に参照される、上限画素数を有する再構成画像の複数の画素のうち、少なくとも2つの画素間で異なる瞳領域を通過した光束に対応するLFデータの画素を含むように選択
3.間引き再構成画像の1画素の生成に参照される、上限画素数を有する再構成画像の複数の画素のうち、少なくとも異なるカラーフィルタに対応する画素で、異なる瞳領域を通過した光束に対応するLFデータの画素を含むように選択
ここで、本実施形態の再構成画像生成処理について、図4(c)のフローチャートを用いて詳細を説明する。
ここで、本実施形態のコントラスト評価処理について、図4(d)のフローチャートを用いて詳細を説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (7)
- 被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
前記撮像手段により出力された前記画像信号から生成する生成再構成画像について設定する、該生成再構成画像内で合焦する被写体の焦点距離を決定する決定手段と、
前記決定手段により決定された前記焦点距離に応じて、前記生成再構成画像の各画素に対応する所定数の前記画像信号の画素の画素値を合算することで、前記焦点距離に合焦した前記生成再構成画像を生成する生成手段と、
前記生成手段により生成された前記生成再構成画像について合焦評価を行う評価手段と、を有する撮像装置であって、
前記生成手段により生成される前記生成再構成画像の画素数を設定する設定手段と、
前記設定手段により設定された前記生成再構成画像の画素数と、前記画像信号の画素から生成可能な再構成画像の上限画素数とから前記生成再構成画像の各画素の生成に用いる前記生成可能な再構成画像の画素を決定し、前記生成再構成画像の各画素について、生成に用いる前記生成可能な再構成画像の画素に対応する前記画像信号の画素のうち、前記所定数の画素を選択する選択手段と、を有し、
前記選択手段は、前記設定手段により設定された前記生成再構成画像の画素数が前記上限画素数よりも少ない場合に、前記生成に用いる生成可能な再構成画像の画素のそれぞれについて少なくとも1つの対応する前記画像信号の画素を選択する
ことを特徴とする撮像装置。 - 前記選択手段は、前記生成再構成画像の画素数が前記上限画素数よりも少ない場合に、前記生成に用いる生成可能な再構成画像の画素のうちの少なくとも2つの画素間で、異なる瞳領域を通過した対応する前記画像信号の画素を含むように、前記所定数の前記画像信号の画素を選択することを特徴とする請求項1に記載の撮像装置。
- 前記撮像手段は複数のカラーフィルタを有し、前記画像信号の画素は前記複数のカラーフィルタのいずれかに対応した色信号であり、
前記生成手段は、前記生成再構成画像の各画素を、前記複数のカラーフィルタの各々に対応する前記画像信号の画素を用いて生成し、
前記選択手段は、前記生成再構成画像の画素数が前記上限画素数よりも少ない場合に、前記生成に用いる生成可能な再構成画像の各画素に対応する前記画像信号の画素について、前記複数のカラーフィルタの各々に対応する画素で異なる瞳領域を通過した画素を選択することを特徴とする請求項1または2に記載の撮像装置。 - 前記決定手段は、前記評価手段による評価結果に応じて、現在設定している前記焦点距離と次に設定する前記焦点距離との間隔を変更し、
前記設定手段は、前記間隔が閾値より大きい場合に、前記生成再構成画像の画素数を前記上限画素数よりも少ない第1の画素数に設定し、前記間隔が前記閾値より小さい場合に、前記生成再構成画像の画素数を前記第1の画素数よりも多く、かつ前記上限画素数以下の第2の画素数に決定する
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 - 前記所定数は瞳分割数であることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
前記撮像手段により出力された前記画像信号から生成する生成再構成画像について設定する、該生成再構成画像内で合焦する被写体の焦点距離を決定する決定手段と、
前記決定手段により決定された前記焦点距離に応じて、前記生成再構成画像の各画素に対応する所定数の前記画像信号の画素の画素値を合算することで、前記焦点距離に合焦した前記生成再構成画像を生成する生成手段と、
前記生成手段により生成された前記生成再構成画像について合焦評価を行う評価手段と、を有する撮像装置の制御方法であって、
前記撮像装置の設定手段が、前記生成手段により生成される前記生成再構成画像の画素数を設定する設定工程と、
前記撮像装置の選択手段が、前記設定工程において設定された前記生成再構成画像の画素数と、前記画像信号の画素から生成可能な再構成画像の上限画素数とから前記生成再構成画像の各画素の生成に用いる前記生成可能な再構成画像の画素を決定し、前記生成再構成画像の各画素について、生成に用いる前記生成可能な再構成画像の画素に対応する前記画像信号の画素のうち、前記所定数の画素を選択する選択工程と、を有し、
前記選択手段は前記選択工程において、前記設定工程において設定された前記生成再構成画像の画素数が前記上限画素数よりも少ない場合に、前記生成に用いる生成可能な再構成画像の画素のそれぞれについて少なくとも1つの対応する前記画像信号の画素を選択する
ことを特徴とする撮像装置の制御方法。 - コンピュータを、請求項1乃至5のいずれか1項に記載の撮像装置の撮像手段を除く各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130189A JP6046922B2 (ja) | 2012-06-07 | 2012-06-07 | 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130189A JP6046922B2 (ja) | 2012-06-07 | 2012-06-07 | 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013254114A true JP2013254114A (ja) | 2013-12-19 |
JP2013254114A5 JP2013254114A5 (ja) | 2015-07-23 |
JP6046922B2 JP6046922B2 (ja) | 2016-12-21 |
Family
ID=49951639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012130189A Expired - Fee Related JP6046922B2 (ja) | 2012-06-07 | 2012-06-07 | 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6046922B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015200826A (ja) * | 2014-04-09 | 2015-11-12 | キヤノン株式会社 | 焦点調節装置及び撮像装置、及び、焦点調節方法 |
JP2015207815A (ja) * | 2014-04-17 | 2015-11-19 | キヤノン株式会社 | 撮像素子および撮像素子を備えた撮像装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2008199477A (ja) * | 2007-02-15 | 2008-08-28 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2009258610A (ja) * | 2008-03-17 | 2009-11-05 | Ricoh Co Ltd | 焦点距離検出装置及び撮像装置及び撮像方法及びカメラ及び合焦装置及び合焦方法 |
JP2011135170A (ja) * | 2009-12-22 | 2011-07-07 | Samsung Electronics Co Ltd | 撮像装置及び撮像方法 |
WO2011081187A1 (ja) * | 2009-12-28 | 2011-07-07 | 株式会社ニコン | 撮像素子、および、撮像装置 |
-
2012
- 2012-06-07 JP JP2012130189A patent/JP6046922B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2008199477A (ja) * | 2007-02-15 | 2008-08-28 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2009258610A (ja) * | 2008-03-17 | 2009-11-05 | Ricoh Co Ltd | 焦点距離検出装置及び撮像装置及び撮像方法及びカメラ及び合焦装置及び合焦方法 |
JP2011135170A (ja) * | 2009-12-22 | 2011-07-07 | Samsung Electronics Co Ltd | 撮像装置及び撮像方法 |
WO2011081187A1 (ja) * | 2009-12-28 | 2011-07-07 | 株式会社ニコン | 撮像素子、および、撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015200826A (ja) * | 2014-04-09 | 2015-11-12 | キヤノン株式会社 | 焦点調節装置及び撮像装置、及び、焦点調節方法 |
JP2015207815A (ja) * | 2014-04-17 | 2015-11-19 | キヤノン株式会社 | 撮像素子および撮像素子を備えた撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6046922B2 (ja) | 2016-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5264131B2 (ja) | 撮像装置 | |
US9279955B2 (en) | Image pickup apparatus, control method thereof, and program | |
JP5000413B2 (ja) | 撮像システム及び画像信号処理プログラム | |
JP2009115893A (ja) | 撮像装置 | |
US10009533B2 (en) | Image pickup apparatus and control method thereof with contrast focus evaluation | |
JP5753371B2 (ja) | 撮像装置およびその制御方法 | |
JP2011081271A (ja) | 撮像装置 | |
JPWO2013027488A1 (ja) | 撮像装置 | |
JP4823167B2 (ja) | 撮像装置 | |
JP2007240877A (ja) | 撮像装置及びその制御方法 | |
JP6046922B2 (ja) | 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体 | |
JP4823169B2 (ja) | 撮像装置 | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6624834B2 (ja) | 撮像装置およびその制御方法 | |
JP6039958B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2009086490A (ja) | 撮像装置 | |
JP2011197690A (ja) | 撮像装置及びその制御方法 | |
JP5893412B2 (ja) | 撮像装置およびその制御方法 | |
JP2014142497A (ja) | 撮像装置及びその制御方法 | |
JP2013254114A5 (ja) | 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体 | |
JP5968081B2 (ja) | 撮像装置及びその制御方法 | |
JP5207893B2 (ja) | 撮像装置及びその制御方法 | |
JP2013246215A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2016071275A (ja) | 撮像装置およびフォーカス制御プログラム | |
JP2020057017A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150608 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6046922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |