JP6285639B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents
画像処理装置、撮像装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6285639B2 JP6285639B2 JP2013095956A JP2013095956A JP6285639B2 JP 6285639 B2 JP6285639 B2 JP 6285639B2 JP 2013095956 A JP2013095956 A JP 2013095956A JP 2013095956 A JP2013095956 A JP 2013095956A JP 6285639 B2 JP6285639 B2 JP 6285639B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pixels
- image signal
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 84
- 238000003384 imaging method Methods 0.000 title claims description 75
- 238000000034 method Methods 0.000 title claims description 38
- 238000011156 evaluation Methods 0.000 claims description 89
- 230000003287 optical effect Effects 0.000 claims description 36
- 210000001747 pupil Anatomy 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 229920006395 saturated elastomer Polymers 0.000 claims description 7
- 230000004907 flux Effects 0.000 claims description 5
- 239000000470 constituent Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 27
- 238000012854 evaluation process Methods 0.000 description 12
- 230000008707 rearrangement Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
Images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
Description
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後に任意の被写体距離に合焦した画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、任意の被写体距離に合焦した画像を生成可能な任意の機器に適用可能である。
・「ライトフィールド(LF:Light Field)データ」
本実施形態のデジタルカメラ100が有する撮像部102から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系202の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。LFデータは、光線空間情報とも呼ばれる。
・「再構成画像」
LFデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面(再構成面)での画素配置に従ってLFデータの画素を並び替え、再構成画像の1画素に対応する画素の画素値を合算することで該画素の画素値を得る。通常画素値を合算する画素数は、瞳分割数になる。LFデータの撮影時の合焦面、即ち撮像素子上(撮像面)の画素配置が図4のようである場合、再構成画像を生成する再構成面が決定されると、該再構成面における各画素は、撮像面における各画素に入射する光束の入射方向を考慮して決定される。具体的には、再構成面における画素配置は再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定し、該画素配置において1つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の1画素を生成することができる。
図1は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ100及びレンズ200の機能構成を示すブロック図である。
カメラ制御部101は、例えばCPUであり、不図示のROM及びRAMを内蔵する。カメラ制御部101は、デジタルカメラ100が有する各ブロックの動作プログラムをROMから読み出し、RAMに展開して実行することにより各ブロックの動作制御を行う。またカメラ制御部101は、撮像部102から出力される画像信号の解析により決定した合焦位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点107を介してレンズ200に送信する。
レンズ制御部201は、例えばCPUであり、不図示のROM及びRAMを内蔵する。レンズ制御部201は、ROMに格納されているレンズ200が有する各ブロックの動作プログラムを読み出し、RAMに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部201は、電気接点107を介してカメラ制御部101より合焦位置や絞り値の情報を受信すると、該情報をレンズ駆動部203に伝送し、撮像光学系202の対応する光学部材を駆動させる。
以下、任意の被写体距離に合焦した再構成画像を生成する例として、このような構成をもつ本実施形態のデジタルカメラ100の、被写体に合焦する合焦位置を探索して評価する合焦評価処理について、図3のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部101が、例えばROMに記憶されている対応する処理プログラムを読み出し、RAMに展開して実行することにより実現することができる。なお、本合焦評価処理は、例えばデジタルカメラ100が撮影モードで起動中にレリーズボタンの半押し操作がなされたことに応じて実行されるオートフォーカス(AF)処理の過程でLFデータの取得命令がなされた際に開始されるものとして説明する。本合焦評価処理は、AF処理の過程でフォーカスレンズの1つの位置について撮像されたLFデータから複数の被写体距離について再構成画像を生成し、その各々についてコントラスト評価を行う。そして、該コントラスト評価の結果から、次にLFデータを取得する被写体距離の決定がなされる。
ここで、本実施形態の再構成画像生成処理について、図5(a)のフローチャートを用いて詳細を説明する。
ここで、本実施形態のコントラスト評価処理について、図5(b)のフローチャートを用いて詳細を説明する。
上述した実施形態では、コントラスト評価を行う再構成画像の画素の生成時に合算可能な画素を、LFデータに対応する光束が含まれているか否かに応じて判断するものとして説明したが、本発明の実施はこれに限られない。
上述した実施形態及び変形例1では、コントラスト評価用の再構成画像について、加算対象のLFデータの画素を制御するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、コントラスト評価に限らず、観賞用の再構成画像を生成する際にも本発明は適用可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (17)
- 画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得手段と、
所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
前記取得手段により取得された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な1つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
前記合算可能な前記画像信号の画素は、該画像信号が取得された際の前記撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定される
ことを特徴とする画像処理装置。 - 前記生成手段は、前記所定の被写体距離の範囲について生成可能な再構成画像の中から、前記所定の領域内の画素の生成時に合算可能な前記画像信号の画素数が最も少ない画素を特定し、生成する再構成画像の前記所定の領域内の画素の生成時に、該最も少ない画素と同数の前記画像信号の画素の画素値を合算することを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記最も少ない画素についての前記生成時に合算可能な前記画像信号の画素の位置の対応位置に存在する画素の画素値を、生成する再構成画像の前記所定の領域内の画素の生成時に合算することを特徴とする請求項2に記載の画像処理装置。
- 前記生成手段は、前記所定の被写体距離の範囲について生成可能な全ての再構成画像において、前記所定の領域内の画素の生成時に常に合算可能な前記画像信号の画素の位置の対応位置に存在する画素の画素値を、生成する再構成画像の前記所定の領域内の画素の生成時に合算することを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、生成する再構成画像の前記所定の領域内の画素の生成時に画素値を合算する前記画像信号の画素数が所定の数に満たない場合に、前記所定の領域を生成する再構成画像に含めないことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記合算可能な前記画像信号の画素は、前記画像信号を撮像した撮像素子に含まれる、光学像に対応しない画素値を出力する光電変換素子から出力された画素を含まないことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記合算可能な前記画像信号の画素は、前記画像信号を撮像した際に、前記撮像光学系に生じた口径食により光学像が結像されなかった画素を含まないことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まないことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得手段と、
所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
前記取得手段により取得された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な1つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まない
ことを特徴とする画像処理装置。 - 画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像手段と、
所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
前記撮像手段により撮像された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な1つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
前記合算可能な前記画像信号の画素は、該画像信号が取得された際の前記撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定される
ことを特徴とする撮像装置。 - 画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像手段と、
所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定手段と、
前記撮像手段により撮像された画像信号から、前記決定手段により決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有し、
前記生成手段は、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な1つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まない
ことを特徴とする撮像装置。 - 画像処理装置の取得手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得工程と、
前記画像処理装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
前記画像処理装置の生成手段が、前記取得工程において取得された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な1つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
前記合算可能な前記画像信号の画素は、該画像信号が取得された際の前記撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定される
ことを特徴とする画像処理装置の制御方法。 - 画像処理装置の取得手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を取得する取得工程と、
前記画像処理装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
前記画像処理装置の生成手段が、前記取得工程において取得された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な1つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まない
ことを特徴とする画像処理装置の制御方法。 - 撮像装置の撮像手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像工程と、
前記撮像装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
前記撮像装置の生成手段が、前記撮像工程において撮像された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な1つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
前記合算可能な前記画像信号の画素は、該画像信号が取得された際の前記撮像光学系を基準に定まる各画素の像高の情報、及び該画像信号の画素の状態の少なくともいずれかに基づいて決定される
ことを特徴とする撮像装置の制御方法。 - 撮像装置の撮像手段が、画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像を撮像する撮像工程と、
前記撮像装置の決定手段が、所定の被写体距離の範囲のうち、合焦評価を行う評価対象の被写体距離を決定する決定工程と、
前記撮像装置の生成手段が、前記撮像工程において撮像された画像信号から、前記決定工程において決定された前記評価対象の被写体距離の被写体に合焦する再構成画像を生成する生成工程であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成工程と、を有し、
前記生成手段は前記生成工程において、生成する再構成画像の所定の領域内の画素について、前記所定の被写体距離の範囲について生成可能な1つの再構成画像において該領域内の画素の生成時に合算可能な前記画像信号の画素に応じて、画素値を合算する前記画像信号の画素を異ならせ、
前記合算可能な前記画像信号の画素は、前記画像信号のうちの画素値が飽和している画素を含まない
ことを特徴とする撮像装置の制御方法。 - コンピュータを、請求項1乃至9のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- コンピュータに、請求項14または15に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013095956A JP6285639B2 (ja) | 2013-04-30 | 2013-04-30 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013095956A JP6285639B2 (ja) | 2013-04-30 | 2013-04-30 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014217035A JP2014217035A (ja) | 2014-11-17 |
JP2014217035A5 JP2014217035A5 (ja) | 2016-06-23 |
JP6285639B2 true JP6285639B2 (ja) | 2018-02-28 |
Family
ID=51942320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013095956A Expired - Fee Related JP6285639B2 (ja) | 2013-04-30 | 2013-04-30 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6285639B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009115541A (ja) * | 2007-11-05 | 2009-05-28 | Sharp Corp | 距離測定装置および距離測定方法 |
JP5743769B2 (ja) * | 2011-07-15 | 2015-07-01 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2013
- 2013-04-30 JP JP2013095956A patent/JP6285639B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014217035A (ja) | 2014-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5264131B2 (ja) | 撮像装置 | |
JP2013201752A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP4823167B2 (ja) | 撮像装置 | |
US20140320734A1 (en) | Image capture apparatus and method of controlling the same | |
JP2012003087A (ja) | 撮像装置 | |
JP4823168B2 (ja) | 撮像装置 | |
US20140125861A1 (en) | Imaging apparatus and method for controlling same | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP4823169B2 (ja) | 撮像装置 | |
JP6624834B2 (ja) | 撮像装置およびその制御方法 | |
JP2013160991A (ja) | 撮像装置 | |
CN109151265B (zh) | 摄像设备、控制方法和存储介质 | |
JP6285639B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2010134309A (ja) | オートフォーカス装置、オートフォーカス方法及び撮像装置 | |
JP2019168661A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP6046922B2 (ja) | 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体 | |
JP6039958B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP5207893B2 (ja) | 撮像装置及びその制御方法 | |
JP6741549B2 (ja) | 撮像装置及びその制御方法 | |
JP2016071275A (ja) | 撮像装置およびフォーカス制御プログラム | |
JP2015152830A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6272099B2 (ja) | 画像処理装置、制御方法およびプログラム | |
JP6071748B2 (ja) | 撮像装置およびその制御方法 | |
CN111510619B (zh) | 焦点检测设备和方法、调焦设备、摄像设备和存储介质 | |
WO2024053522A1 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160502 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160502 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180202 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6285639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |