JP5746794B2 - 撮像装置及び画像処理方法 - Google Patents
撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP5746794B2 JP5746794B2 JP2014538217A JP2014538217A JP5746794B2 JP 5746794 B2 JP5746794 B2 JP 5746794B2 JP 2014538217 A JP2014538217 A JP 2014538217A JP 2014538217 A JP2014538217 A JP 2014538217A JP 5746794 B2 JP5746794 B2 JP 5746794B2
- Authority
- JP
- Japan
- Prior art keywords
- subject distance
- unit
- variation
- estimation
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 90
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012545 processing Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 27
- 230000000875 corresponding effect Effects 0.000 description 72
- 230000006870 function Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/529—Depth or shape recovery from texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
次に、コントラストAFについて、図4及び図5を参照して説明する。
18で取得した各AF評価値とレンズ位置とに基づいて、AF評価値が最大になるレンズ位置(合焦位置)を算出する(ステップS22、図5の(A))。
図6は、フォーカスレンズ制御部320の機能ブロック図が示されている。フォーカスレンズ制御部320には、メインCPU214からレンズCPU340を介してレンズ移動指令が送られる。
図7は、点像復元処理を行うメインCPU214及びデジタル信号処理部206の要部ブロック図を示す。メインCPU214は、復元処理用の機能としてレンズ位置入力部214−2、第1の被写体距離推定部214−4、推定ばらつき取得部214−6、及び第2の被写体距離推定部214−8を備えている。
G(X,Y)=H(X,Y)*F(X,Y)
ただし、*はコンボリューションを示す。
G(X,Y)*R(X,Y)=F(X,Y)
このR(X,Y)を復元フィルタという。復元フィルタは、原画像と復元画像との2乗平均誤差を最小にする最小2乗フィルタ(ウィナーフィルタ)、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。
図8から図10は、復元フィルタ選択部206−4及び復元フィルタ記憶部206−6により行われる、本発明の第1の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。
図11から図13は、本発明の第2の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。
Claims (11)
- 撮影レンズにより結像された被写体像を撮像し、該被写体像を示す画像を取得する撮像部と、
前記撮像部による撮像時の、焦点検出部より推定した被写体距離を求める第1の被写体距離推定部と、
少なくとも被写体距離に対応した点像分布関数に基づいて作成した複数の復元フィルタを記憶する復元フィルタ記憶部と、
前記第1の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを取得する推定ばらつき取得部と、
前記第1の被写体距離推定部により推定した被写体距離に前記推定ばらつき取得部により取得した無限遠側の最大の推定ばらつきを加算した被写体距離を算出する第2の被写体距離推定部と、
前記復元フィルタ記憶部に記憶された複数の復元フィルタのうちの前記第2の被写体距離推定部により算出した被写体距離に最も近い無限遠側に対応した復元フィルタを選択する復元フィルタ選択部と、
前記復元フィルタ選択部により選択した復元フィルタを使用して前記撮像部により取得した画像の復元処理を行う復元処理部と、
を備えた撮像装置。 - 前記第1の被写体距離推定部は、前記撮影レンズのフォーカスレンズのレンズ位置に基づいて被写体距離を推定する請求項1に記載の撮像装置。
- 前記撮影レンズは交換レンズであり、
前記推定ばらつき取得部は、前記交換レンズ毎に該交換レンズの無限遠側の最大の推定ばらつきを記憶する推定ばらつき記憶部を有し、装着された前記交換レンズの情報を取得し、取得した前記交換レンズの情報に基づいて前記推定ばらつき記憶部から対応する推定ばらつきを取得する請求項2に記載の撮像装置。 - 前記撮影レンズは、前記第1の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを記憶する推定ばらつき記憶部を有するレンズであり、
前記推定ばらつき取得部は、前記レンズの推定ばらつき記憶部から推定ばらつきを取得する請求項2に記載の撮像装置。 - 前記第1の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきは、交換レンズの個体差による推定ばらつき、及び交換レンズの温度特性による推定ばらつきのうちの少なくとも一方である請求項2から4のいずれか1項に記載の撮像装置。
- 前記復元フィルタ記憶部は、前記第1の被写体距離推定部により推定される最も至近側の被写体距離に前記最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離と、無限遠との範囲内に相当する複数の復元フィルタを記憶する請求項1から5のいずれか1項に記載の撮像装置。
- 前記復元フィルタ記憶部は、前記撮影レンズに関わらず被写体距離に対応した前記複数の復元フィルタを記憶する請求項1から6のいずれか1項に記載の撮像装置。
- 前記撮影レンズは、前記復元フィルタ記憶部が内蔵された交換レンズである請求項1から7のいずれか1項に記載の撮像装置。
- 前記復元処理部により復元処理して得られた画像を記録する記録部を備えた請求項1から8のいずれか1項に記載の撮像装置。
- 前記復元フィルタ記憶部は、前記推定ばらつきに対応してそれぞれ複数の復元フィルタが格納された複数のテーブルを持ち、
前記復元フィルタ選択部は、前記推定ばらつき取得部により取得した推定ばらつきの大きさに応じて前記複数のテーブルから対応するテーブルを選択し、選択したテーブルから前記復元フィルタを選択する請求項1から9のいずれか1項に記載の撮像装置。 - 撮像部から被写体像を示す画像を取得する画像取得工程と、
前記撮像部による撮像時の焦点検出部より推定した被写体距離を求める第1の被写体距離推定工程と、
少なくとも被写体距離に対応した点像分布関数に基づいて作成した複数の復元フィルタを記憶する復元フィルタ記憶部を準備する工程と、
前記第1の被写体距離推定工程により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを取得する推定ばらつき取得工程と、
前記第1の被写体距離推定工程により推定した被写体距離に前記推定ばらつき取得工程により取得した無限遠側の最大の推定ばらつきを加算した被写体距離を算出する第2の被写体距離推定工程と、
前記復元フィルタ記憶部に記憶された複数の復元フィルタのうちの前記第2の被写体距離推定工程により算出した被写体距離に最も近い無限遠側に対応した復元フィルタを選択する復元フィルタ選択工程と、
前記復元フィルタ選択工程により選択した復元フィルタを使用して前記撮像部により取得した画像の復元処理を行う復元処理工程と、
を含む画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014538217A JP5746794B2 (ja) | 2012-09-27 | 2013-04-23 | 撮像装置及び画像処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012213830 | 2012-09-27 | ||
JP2012213830 | 2012-09-27 | ||
JP2014538217A JP5746794B2 (ja) | 2012-09-27 | 2013-04-23 | 撮像装置及び画像処理方法 |
PCT/JP2013/061841 WO2014050188A1 (ja) | 2012-09-27 | 2013-04-23 | 撮像装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5746794B2 true JP5746794B2 (ja) | 2015-07-08 |
JPWO2014050188A1 JPWO2014050188A1 (ja) | 2016-08-22 |
Family
ID=50387608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014538217A Active JP5746794B2 (ja) | 2012-09-27 | 2013-04-23 | 撮像装置及び画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9402024B2 (ja) |
JP (1) | JP5746794B2 (ja) |
CN (1) | CN104662890B (ja) |
DE (1) | DE112013004759B4 (ja) |
WO (1) | WO2014050188A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014050189A1 (ja) * | 2012-09-27 | 2014-04-03 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
JP5874753B2 (ja) * | 2014-01-28 | 2016-03-02 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
JP6381376B2 (ja) * | 2014-09-02 | 2018-08-29 | キヤノン株式会社 | 撮像装置、カメラシステム、画像処理装置および画像処理プログラム |
JP6493702B2 (ja) * | 2017-06-29 | 2019-04-03 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御方法、撮像装置、撮像システム、移動体、制御方法、及びプログラム |
CN111367054A (zh) * | 2020-04-21 | 2020-07-03 | 厦门力鼎光电股份有限公司 | 一种小型高清的光学成像镜头 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010008418A1 (en) * | 2000-01-13 | 2001-07-19 | Minolta Co., Ltd. | Image processing apparatus and method |
JP2001197354A (ja) * | 2000-01-13 | 2001-07-19 | Minolta Co Ltd | デジタル撮像装置および画像復元方法 |
JP4389371B2 (ja) * | 2000-09-28 | 2009-12-24 | 株式会社ニコン | 画像修復装置および画像修復方法 |
JP4649836B2 (ja) | 2003-12-11 | 2011-03-16 | 株式会社ニコン | カメラシステム |
US7711259B2 (en) * | 2006-07-14 | 2010-05-04 | Aptina Imaging Corporation | Method and apparatus for increasing depth of field for an imager |
JP2008172321A (ja) * | 2007-01-09 | 2008-07-24 | Olympus Imaging Corp | 電気的画像回復処理を行う撮像装置 |
US8724013B2 (en) * | 2007-12-27 | 2014-05-13 | Qualcomm Incorporated | Method and apparatus with fast camera auto focus |
US8472744B2 (en) * | 2008-05-27 | 2013-06-25 | Nikon Corporation | Device and method for estimating whether an image is blurred |
JP5371331B2 (ja) * | 2008-09-01 | 2013-12-18 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
US8526754B2 (en) * | 2009-05-28 | 2013-09-03 | Aptina Imaging Corporation | System for enhancing depth of field with digital image processing |
JP5501069B2 (ja) | 2010-03-31 | 2014-05-21 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2011259314A (ja) * | 2010-06-10 | 2011-12-22 | Fujifilm Corp | 撮像装置、画像処理装置及びプログラム |
JP5676988B2 (ja) * | 2010-09-14 | 2015-02-25 | キヤノン株式会社 | 焦点調節装置 |
WO2012063449A1 (ja) * | 2010-11-08 | 2012-05-18 | パナソニック株式会社 | 撮像装置、撮像方法、プログラム、および集積回路 |
US9170791B1 (en) * | 2010-11-30 | 2015-10-27 | Symantec Corporation | Storing data items with content encoded in storage addresses |
CN102625043B (zh) * | 2011-01-25 | 2014-12-10 | 佳能株式会社 | 图像处理设备、成像设备和图像处理方法 |
JP5468178B2 (ja) * | 2011-03-31 | 2014-04-09 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP6070566B2 (ja) * | 2011-11-11 | 2017-02-01 | 株式会社ニコン | 焦点調節装置、撮像装置、およびレンズ鏡筒 |
CN104798364B (zh) * | 2012-06-07 | 2018-08-17 | 数位光学欧洲有限公司 | Mems快速对焦照相机模块 |
JP6335423B2 (ja) * | 2012-08-31 | 2018-05-30 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
WO2014050189A1 (ja) * | 2012-09-27 | 2014-04-03 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
DE112013005594T5 (de) * | 2012-11-22 | 2015-10-22 | Fujifilm Corporation | Abbildungsvorrichtung, Unschärfebetrag-Berechnungsverfahren und Objektivvorrichtung |
JP5960286B2 (ja) * | 2012-12-19 | 2016-08-02 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
JP6071669B2 (ja) * | 2013-03-15 | 2017-02-01 | キヤノン株式会社 | レンズ装置およびカメラシステム |
JP6021780B2 (ja) * | 2013-10-07 | 2016-11-09 | キヤノン株式会社 | 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法 |
-
2013
- 2013-04-23 DE DE112013004759.4T patent/DE112013004759B4/de not_active Expired - Fee Related
- 2013-04-23 WO PCT/JP2013/061841 patent/WO2014050188A1/ja active Application Filing
- 2013-04-23 CN CN201380049888.1A patent/CN104662890B/zh active Active
- 2013-04-23 JP JP2014538217A patent/JP5746794B2/ja active Active
-
2015
- 2015-03-18 US US14/661,670 patent/US9402024B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN104662890A (zh) | 2015-05-27 |
CN104662890B (zh) | 2017-11-17 |
DE112013004759B4 (de) | 2017-10-19 |
WO2014050188A1 (ja) | 2014-04-03 |
US20150195448A1 (en) | 2015-07-09 |
JPWO2014050188A1 (ja) | 2016-08-22 |
DE112013004759T5 (de) | 2015-08-06 |
US9402024B2 (en) | 2016-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6031587B2 (ja) | 撮像装置、信号処理方法、信号処理プログラム | |
JP5819564B2 (ja) | 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム | |
JP6086975B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901782B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901801B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP6000446B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
US9800774B2 (en) | Image capture device with restoration processing and image restoration processing method | |
JP5746794B2 (ja) | 撮像装置及び画像処理方法 | |
JP5746795B2 (ja) | 撮像装置及び画像処理方法 | |
WO2013094551A1 (ja) | 撮像装置、その制御方法およびプログラム | |
JP6379307B2 (ja) | 撮像装置、合焦制御方法、及び合焦制御プログラム | |
JP5972485B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901780B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5934844B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
WO2013145887A1 (ja) | 撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150416 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5746794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |