JP2010049152A - 焦点情報検出装置 - Google Patents
焦点情報検出装置 Download PDFInfo
- Publication number
- JP2010049152A JP2010049152A JP2008215106A JP2008215106A JP2010049152A JP 2010049152 A JP2010049152 A JP 2010049152A JP 2008215106 A JP2008215106 A JP 2008215106A JP 2008215106 A JP2008215106 A JP 2008215106A JP 2010049152 A JP2010049152 A JP 2010049152A
- Authority
- JP
- Japan
- Prior art keywords
- image
- contrast
- photoelectric conversion
- conversion element
- microlens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
【解決手段】複数のマイクロレンズを平面上に配列したマイクロレンズアレイ6を撮影光学系3の予定焦点面近傍に配置するとともに、複数の光電変換素子を平面上に配列した光電変換素子アレイ7をマイクロレンズアレイ6の背後に配置し、撮影光学系3を透過した被写体からの光束をマイクロレンズアレイ6を介して光電変換素子アレイ7で受光し、光電変換素子アレイ7により撮像した画像に基づいて撮影光学系3の焦点情報を検出する焦点情報検出装置であって、光電変換素子アレイ7による撮像画像に基づいて、予定焦点面近傍の複数の焦点面における画像を合成する画像合成手段8bと、画像合成手段8bによる各焦点面の合成画像からコントラストを抽出した画像を生成するコントラスト検出手段8cと、コントラスト検出手段8cによる各焦点面のコントラスト画像に基づいて、撮像画像の任意の位置の焦点位置を推定する焦点推定手段8dとを備える。
【選択図】図1
Description
Light Field Photogragh with a Hand-held Plenoptic Camera,Stanford Tech Report CTSR 2005-02
(2) 請求項2の発明は、請求項1に記載の焦点情報検出装置において、焦点推定手段は、各焦点面のコントラスト画像から撮像画像の任意の位置における離散的なコントラストを検出し、これらの離散的なコントラストを補間してコントラストが極値を示す焦点面の位置を撮像画像の任意の位置における焦点位置とする。
(3) 請求項3の発明は、請求項1または請求項2に記載の焦点情報検出装置において、コントラスト検出手段は、合成画像にラプラシアン・フィルター処理を施してコントラスト画像を生成する。
(4) 請求項4の発明は、請求項1〜3のいずれか一項に記載の焦点情報検出装置において、画像合成手段は、マイクロレンズアレイ上のマイクロレンズごとに、注目するマイクロレンズ直下の光電変換素子の出力と、当該マイクロレンズの周辺の各マイクロレンズに対応する偏心位置の光電変換素子の出力とを積算し、積算値を当該マイクロレンズ位置の画素出力とする演算をマイクロレンズアレイ上のすべてのマイクロレンズに対して行い、合成画像を生成する。
次に、撮像画像に基づいて任意の焦点面における画像を合成する方法を説明する。交換レンズ3は撮像素子5の撮像面(予定焦点面)に被写体像を結像する。この被写体像の内、例えば人物の顔が撮像素子5の撮像面において合焦状態にあれば、画像中の人物の顔にピントが合っている。このとき、撮像素子5の撮像面(予定焦点面)と共役な位置関係にあるマイクロレンズアレイ6のレンズ頂点面においても、画像中の人物の顔にピントが合っていることになる。もし、画像中の人物の顔が撮像素子5の撮像面の前方または後方において合焦状態にあれば、人物の顔はいわゆる前ピンまたは後ピンの状態にあり、マイクロレンズアレイ6側においてはレンズ頂点面の前側(ハーフミラー4側)または後側に人物の顔にピントの合った面、すなわち焦点面があることになる。
x/(f・d)=1/y ・・・(1)
Abs(x)<2f ・・・(2)
の範囲で成立することになる。なお、(2)式において、Abs(x)はxの絶対値を返す関数である。
−nm, (−n+1)m,・・,−1m,0,+1m,・・,(n−1)m,nm ・・・(3)
なお、焦点面Sの間隔mと面数についてはカメラ1および交換レンズ3の仕様、焦点情報の検出精度等に基づいて適宜決定すればよい。
次に、各焦点面の合成画像に対してフィルター処理を施し、コントラストを抽出した画像を生成する。この一実施の形態では、各焦点面の合成画像に図4(a)に示すようなラプラシアン・フィルター処理を施してコントラスト抽出画像を得る。図4(a)に示すラプラシアン・フィルターはコントラストを8方向で捉えるものであるが、例えばコントラストを4方向で捉える図4(b)に示すラプラシアン・フィルターを用いてもよい。各焦点面のコントラスト抽出画像はコントラストデータメモリ9bに格納される。
一連のコントラスト抽出画像の同一画素におけるコントラストを比較し、最もコントラストが高い焦点面の画像を選択し、さらにこの焦点面の前後の焦点面における同一画素のコントラストを検出する。これらの3つの焦点面の同一画素のコントラストに基づいて、その画素のコントラストが極値となる正確な焦点面位置を推定する。
Claims (4)
- 複数のマイクロレンズを平面上に配列したマイクロレンズアレイを撮影光学系の予定焦点面近傍に配置するとともに、複数の光電変換素子を平面上に配列した光電変換素子アレイを前記マイクロレンズアレイの背後に配置し、前記撮影光学系を透過した被写体からの光束を前記マイクロレンズアレイを介して前記光電変換素子アレイで受光し、前記光電変換素子アレイにより撮像した画像に基づいて前記撮影光学系の焦点情報を検出する焦点情報検出装置であって、
前記光電変換素子アレイによる前記撮像画像に基づいて、前記予定焦点面近傍の複数の焦点面における画像を合成する画像合成手段と、
前記画像合成手段による各焦点面の前記合成画像からコントラストを抽出した画像を生成するコントラスト検出手段と、
前記コントラスト検出手段による各焦点面の前記コントラスト画像に基づいて、前記撮像画像の任意の位置の焦点位置を推定する焦点推定手段とを備えることを特徴とする焦点情報検出装置。 - 請求項1に記載の焦点情報検出装置において、
前記焦点推定手段は、前記各焦点面の前記コントラスト画像から前記撮像画像の任意の位置における離散的なコントラストを検出し、これらの離散的なコントラストを補間してコントラストが極値を示す焦点面の位置を前記撮像画像の任意の位置における焦点位置とすることを特徴とする焦点情報検出装置。 - 請求項1または請求項2に記載の焦点情報検出装置において、
前記コントラスト検出手段は、前記合成画像にラプラシアン・フィルター処理を施して前記コントラスト画像を生成することを特徴とする焦点情報検出装置。 - 請求項1〜3のいずれか一項に記載の焦点情報検出装置において、
前記画像合成手段は、前記マイクロレンズアレイ上のマイクロレンズごとに、注目するマイクロレンズ直下の光電変換素子の出力と、当該マイクロレンズの周辺の各マイクロレンズに対応する偏心位置の光電変換素子の出力とを積算し、積算値を当該マイクロレンズ位置の画素出力とする演算を前記マイクロレンズアレイ上のすべてのマイクロレンズに対して行い、前記合成画像を生成することを特徴とする焦点情報検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008215106A JP5256933B2 (ja) | 2008-08-25 | 2008-08-25 | 焦点情報検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008215106A JP5256933B2 (ja) | 2008-08-25 | 2008-08-25 | 焦点情報検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010049152A true JP2010049152A (ja) | 2010-03-04 |
JP5256933B2 JP5256933B2 (ja) | 2013-08-07 |
Family
ID=42066264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008215106A Expired - Fee Related JP5256933B2 (ja) | 2008-08-25 | 2008-08-25 | 焦点情報検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5256933B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259218A (ja) * | 2010-06-09 | 2011-12-22 | Nikon Corp | 撮像装置 |
JP2013128217A (ja) * | 2011-12-19 | 2013-06-27 | Canon Inc | 撮像装置 |
JP2014029429A (ja) * | 2012-07-31 | 2014-02-13 | Canon Inc | 撮像装置、制御方法、及びプログラム |
JP2014153890A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 画像処理装置、撮像装置、制御方法、及びプログラム |
JP2015011049A (ja) * | 2013-06-26 | 2015-01-19 | 富士通セミコンダクター株式会社 | 撮像装置、選択方法、および選択プログラム |
EP3136711A1 (de) * | 2011-05-17 | 2017-03-01 | Werth Messtechnik GmbH | Verfahren zur erzeugung und auswertung eines bilds |
JP2017157239A (ja) * | 2017-06-06 | 2017-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2008046556A (ja) * | 2006-08-21 | 2008-02-28 | Nikon Corp | カメラ |
JP2008098836A (ja) * | 2006-10-10 | 2008-04-24 | Samsung Techwin Co Ltd | 撮像装置および撮像方法 |
JP2008527944A (ja) * | 2005-01-18 | 2008-07-24 | リアデン リミテッド ライアビリティ カンパニー | 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法 |
-
2008
- 2008-08-25 JP JP2008215106A patent/JP5256933B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008527944A (ja) * | 2005-01-18 | 2008-07-24 | リアデン リミテッド ライアビリティ カンパニー | 符号化レンズ結像技術を用いて静止画像及び映像を取り込むための装置及び方法 |
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2008046556A (ja) * | 2006-08-21 | 2008-02-28 | Nikon Corp | カメラ |
JP2008098836A (ja) * | 2006-10-10 | 2008-04-24 | Samsung Techwin Co Ltd | 撮像装置および撮像方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259218A (ja) * | 2010-06-09 | 2011-12-22 | Nikon Corp | 撮像装置 |
EP3136711A1 (de) * | 2011-05-17 | 2017-03-01 | Werth Messtechnik GmbH | Verfahren zur erzeugung und auswertung eines bilds |
JP2013128217A (ja) * | 2011-12-19 | 2013-06-27 | Canon Inc | 撮像装置 |
JP2014029429A (ja) * | 2012-07-31 | 2014-02-13 | Canon Inc | 撮像装置、制御方法、及びプログラム |
JP2014153890A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 画像処理装置、撮像装置、制御方法、及びプログラム |
US9615016B2 (en) | 2013-02-07 | 2017-04-04 | Canon Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, control method and recording medium, where each subject is focused in a reconstructed image |
JP2015011049A (ja) * | 2013-06-26 | 2015-01-19 | 富士通セミコンダクター株式会社 | 撮像装置、選択方法、および選択プログラム |
JP2017157239A (ja) * | 2017-06-06 | 2017-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5256933B2 (ja) | 2013-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9503633B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP5173665B2 (ja) | 画像撮影装置およびその距離演算方法と合焦画像取得方法 | |
JP5256933B2 (ja) | 焦点情報検出装置 | |
JP6223169B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
TW201033938A (en) | Reference image techniques for three-dimensional sensing | |
JP5938281B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP6047025B2 (ja) | 撮像装置及びその制御方法 | |
JP2009175680A (ja) | 受光装置、焦点検出装置および撮像装置 | |
US20130188026A1 (en) | Depth estimating image capture device and image sensor | |
JP5263310B2 (ja) | 画像生成装置、撮像装置、画像生成方法 | |
WO2019124040A1 (ja) | 測距カメラ | |
JP2014153890A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2014157425A (ja) | 撮像装置及びその制御方法 | |
JP2015201722A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP4710983B2 (ja) | 画像合成装置、撮像装置、画像合成方法 | |
JP7121269B2 (ja) | 測距カメラ | |
JP2009198771A (ja) | 焦点検出装置および撮像装置 | |
JP2012123317A5 (ja) | ||
WO2018061876A1 (ja) | 撮像装置 | |
JP2020193820A (ja) | 計測装置、撮像装置、制御方法及びプログラム | |
JP5743769B2 (ja) | 画像処理装置および画像処理方法 | |
JP2010109921A (ja) | 画像合成装置 | |
JP2018074362A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5488221B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130408 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160502 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5256933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |