JP5627256B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP5627256B2 JP5627256B2 JP2010059176A JP2010059176A JP5627256B2 JP 5627256 B2 JP5627256 B2 JP 5627256B2 JP 2010059176 A JP2010059176 A JP 2010059176A JP 2010059176 A JP2010059176 A JP 2010059176A JP 5627256 B2 JP5627256 B2 JP 5627256B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- function
- resolution
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 93
- 238000012545 processing Methods 0.000 title claims description 73
- 230000003287 optical effect Effects 0.000 claims description 61
- 238000012546 transfer Methods 0.000 claims description 20
- 230000015556 catabolic process Effects 0.000 claims description 14
- 238000006731 degradation reaction Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000005314 correlation function Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000013477 bayesian statistics method Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000002945 steepest descent method Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
また、従来の超解像技術では、低解像度の画像のみから画像全体の高解像度画像を推定するためには撮影光学系の伝達特性(伝達関数)を正確に知る必要がある。しかし、撮影光学系の伝達特性は、その光学系を構成するレンズの収差、被写体の照明波長、撮像素子の開口等の複数のパラメータに依存するため、正確に評価することは一般的に困難である。しかも、個々の撮像装置に設けられた撮影光学系の伝達特性を個別に測定して取り込むことは一般的ではない。撮影光学系の伝達特性が不正確な状態で高解像度画像を推定しても、良好な高解像度画像を生成することはできない。
なお、撮像を行う撮像部と上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
まず、具体的な実施例の説明に先立って、各実施例にて用いられる超解像技術について説明する。
(超解像原理)
ベイズ統計に基づく画像の復元方法について、モノクロ1次元画像の場合を例として説明する。ここでは、被写体を原画像といい、撮像装置による撮影光学系を通した撮像によって生成された画像およびその画像を電気的に拡大した画像(デジタルズーム画像)を劣化画像という。また、画像の復元によって劣化画像から原画像に近い画像を生成(復元)する技術を超解像技術といい、復元された画像を回復画像または高解像度画像という。
ただし、h(x)は撮影光学系の伝達特性(伝達関数)であるPSFである。
P(f(x1))=f(x1) ・・・(3)
P(g(x2))=g(x2) ・・・(4)
と表せる。
P(g(x2)|f(x1))=h(x2−x1) ・・・(5)
と表せる。
つまり、劣化画像内のある座標x2に像を結像させる原画像の分布は、式(2)〜(5)より、
つまり、式(6)はさらに、
式8左辺=
式8右辺=
上記の関係は、f(x)が真の原画像である場合に成り立つ。つまり、f(x)を算出することが劣化画像から原画像を復元することに相当する。
g(x)=C×f(x)+n ・・・(13)
なお、行列Cは、劣化関数であり、PSFのみではなく、撮像装置のシステムに起因する劣化要因を含むものであってもよい。
ただし、Z(f)は画像の滑らかさや付加条件からの拘束項等を含む拘束関数(拘束条件に相当する関数)であり、αは重み係数である。評価関数T(f)が最小となるf(x)の演算には、従来の最急降下法等の手法を用いることができる。
(画像処理方法の概念)
次に、本発明の実施例において劣化画像から原画像を復元するための画像処理方法について説明する。
式(11)の推定式と式(14)の評価関数とを用いて劣化画像から原画像を復元するには、初期推定分布fを設定する必要がある。初期推定分布fは、復元された原画像と同じ撮像倍率での撮像により生成された劣化画像であるgが用いられることが一般的である。また、PSFまたはOTF等の撮影光学系の伝達特性と、付加条件等から得られる拘束項(拘束条件)とが重要であることが理解される。
ステップS26′では、システムコントローラ108は、画像処理部104に、超解像処理を行わせる。ここでは、画像処理部104は、図7に示した伸張画像210bと望遠画像210cの同一被写体領域において、望遠画像210cの分布が原画像であると仮定し、初期推定分布に設定する。式(11)で示した原理から、伸張画像210bの分布と原画像としての望遠画像210cの分布とが分かっているとき、撮影光学系の伝達特性であるPSFを復元することが可能である。つまり、同一被写体領域において、伸張画像210bでの劣化関数を望遠画像210cが有する周波数領域内で復元することができる。
102 撮像素子
104 画像処理部
108 システムコントローラ
Claims (5)
- 撮像により生成された画像または該画像の一部を伸張処理して生成された画像である第1の画像、および撮像により生成され、前記第1の画像よりも撮像倍率が高い画像に相当する画像であって該第1の画像に含まれる原画像としての被写体の一部を被写体として含む第2の画像を取得する画像取得手段と、
前記第2の画像を拘束条件として用いて前記原画像を推定し、または前記第2の画像を用いて前記撮像における劣化関数を推定し、前記第1の画像と推定した前記原画像または前記劣化関数とを用いて、該第1の画像よりも解像度が高い第3の画像を生成する処理手段とを有することを特徴とする画像処理装置。 - 前記処理手段は、前記画像処理において、g(x)を前記第1の画像とし、Cを前記劣化関数とし、f(x)を前記原画像として推定される画像とし、αを重み係数とし、Z(f)を前記拘束条件に相当する拘束関数として、以下の評価関数T(f)の値が最小となる演算を行い、
前記拘束関数であるZ(f)は、前記第1の画像と前記第2の画像との相関を表す相関関数を含むことを特徴とする請求項1に記載の画像処理装置。 - 前記処理手段は、前記第2の画像から推定した、前記撮像に用いられた撮影光学系の伝達関数を前記劣化関数として用いて前記第3の画像を生成することを特徴とする請求項1又は2に記載の画像処理装置。
- 撮像を行う撮像部と、
請求項1から3のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。 - コンピュータに、
撮像により生成された画像または該画像の一部を伸張処理して生成された画像である第1の画像、および撮像により生成され、前記第1の画像よりも撮像倍率が高い画像に相当する画像であって該第1の画像に含まれる原画像としての被写体の一部を被写体として含む第2の画像を取得するステップと、
前記第2の画像を拘束条件として用いて前記原画像を推定し、または前記第2の画像を用いて前記撮像における劣化関数を推定し、前記第1の画像と推定した前記原画像または前記劣化関数とを用いて、該第1の画像よりも解像度が高い第3の画像を生成するステップとを含む処理を実行させることを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010059176A JP5627256B2 (ja) | 2010-03-16 | 2010-03-16 | 画像処理装置、撮像装置および画像処理プログラム |
US13/044,920 US8780222B2 (en) | 2010-03-16 | 2011-03-10 | Image processing apparatus that produces a higher resolution image, image pickup apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010059176A JP5627256B2 (ja) | 2010-03-16 | 2010-03-16 | 画像処理装置、撮像装置および画像処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011193338A JP2011193338A (ja) | 2011-09-29 |
JP2011193338A5 JP2011193338A5 (ja) | 2013-05-02 |
JP5627256B2 true JP5627256B2 (ja) | 2014-11-19 |
Family
ID=44646951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010059176A Active JP5627256B2 (ja) | 2010-03-16 | 2010-03-16 | 画像処理装置、撮像装置および画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8780222B2 (ja) |
JP (1) | JP5627256B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021083045A (ja) * | 2019-11-22 | 2021-05-27 | 株式会社リコー | 撮像システム、結像光学系、及び画像処理方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6210062B2 (ja) * | 2012-06-21 | 2017-10-11 | ソニー株式会社 | 撮像制御装置、撮像制御方法およびプログラム |
JP6234151B2 (ja) * | 2013-10-09 | 2017-11-22 | キヤノン株式会社 | 撮像装置 |
JP6257285B2 (ja) * | 2013-11-27 | 2018-01-10 | キヤノン株式会社 | 複眼撮像装置 |
CN103986867B (zh) * | 2014-04-24 | 2017-04-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像拍摄终端和图像拍摄方法 |
CN104144295A (zh) * | 2014-08-12 | 2014-11-12 | 北京智谷睿拓技术服务有限公司 | 成像控制方法和装置及成像设备 |
TWI531852B (zh) * | 2014-09-16 | 2016-05-01 | 聚晶半導體股份有限公司 | 影像擷取裝置及數位變焦方法 |
TWI565317B (zh) * | 2015-01-06 | 2017-01-01 | 緯創資通股份有限公司 | 影像處理方法以及行動電子裝置 |
JP6558902B2 (ja) * | 2015-01-21 | 2019-08-14 | キヤノン株式会社 | 複眼撮像装置、複眼撮像装置の制御方法、複眼撮像制御プログラム、および記憶媒体 |
WO2017120266A1 (en) * | 2016-01-08 | 2017-07-13 | Flir Systems, Inc. | Systems and methods for image resolution enhancement |
US10366144B2 (en) | 2016-04-01 | 2019-07-30 | Ebay Inc. | Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image |
WO2019138342A1 (en) | 2018-01-09 | 2019-07-18 | 6115187 Canada, Inc. d/b/a Immervision, Inc. | Constant resolution continuous hybrid zoom system |
US11019269B2 (en) * | 2018-07-10 | 2021-05-25 | Canon Kabushiki Kaisha | Image capturing apparatus, method of controlling the same, and storage medium |
CN109124615B (zh) * | 2018-09-06 | 2023-07-11 | 佛山科学技术学院 | 一种可选区高动态激光散斑血流成像装置及方法 |
CN111709892B (zh) * | 2020-06-15 | 2023-06-23 | 北京环境特性研究所 | 一种空间目标湍流退化图像快速盲复原方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4345940B2 (ja) * | 1999-04-13 | 2009-10-14 | 株式会社リコー | 手ぶれ画像補正方法、記録媒体及び撮像装置 |
JP2002341396A (ja) | 2001-05-16 | 2002-11-27 | Canon Inc | カメラおよびプリント装置 |
US8019803B2 (en) | 2004-10-14 | 2011-09-13 | Lightron Co., Ltd. | Method and device for restoring degraded information |
JP4654887B2 (ja) | 2005-11-14 | 2011-03-23 | 株式会社ニコン | 撮像装置 |
JP4437988B2 (ja) * | 2005-12-02 | 2010-03-24 | アルプス電気株式会社 | 電子カメラ |
WO2007139067A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム |
US20080030592A1 (en) * | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
JP2008079123A (ja) * | 2006-09-22 | 2008-04-03 | Olympus Corp | 撮像装置及びフォーカス制御プログラム |
US8824833B2 (en) * | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
JP2009244944A (ja) * | 2008-03-28 | 2009-10-22 | Nikon Corp | 画像回復装置および撮影装置 |
WO2010108119A2 (en) * | 2009-03-19 | 2010-09-23 | Flextronics Ap, Llc | Dual sensor camera |
-
2010
- 2010-03-16 JP JP2010059176A patent/JP5627256B2/ja active Active
-
2011
- 2011-03-10 US US13/044,920 patent/US8780222B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021083045A (ja) * | 2019-11-22 | 2021-05-27 | 株式会社リコー | 撮像システム、結像光学系、及び画像処理方法 |
JP7404806B2 (ja) | 2019-11-22 | 2023-12-26 | 株式会社リコー | 撮像システム、結像光学系、及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110228120A1 (en) | 2011-09-22 |
US8780222B2 (en) | 2014-07-15 |
JP2011193338A (ja) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5627256B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5414752B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
US9628696B2 (en) | Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
JP4794963B2 (ja) | 撮像装置および撮像プログラム | |
JP5797016B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5523017B2 (ja) | 画像処理装置及び画像処理方法 | |
US8976280B2 (en) | Distortion estimating image processing device, method, and non-transitory storage medium | |
JP6436783B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6257285B2 (ja) | 複眼撮像装置 | |
JP6478511B2 (ja) | 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体 | |
JP5677366B2 (ja) | 撮像装置 | |
WO2008041522A1 (fr) | Dispositif de traitement d'image, programme de traitement d'image, procédé de production d'image et support d'enregistrement | |
JP6045254B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5981003B1 (ja) | デジタルカメラシステム,デジタルカメラ,交換レンズ,歪曲収差補正処理方法,歪曲収差補正処理プログラム | |
JP6664177B2 (ja) | 焦点検出装置、予測方法、プログラム及び記憶媒体 | |
WO2010032649A1 (ja) | 画像表示装置及び撮像装置 | |
US20150145958A1 (en) | Multi-lens image capturing apparatus | |
JP5543280B2 (ja) | 画像処理装置、画像処理方法 | |
JP4709071B2 (ja) | 撮像システム及び装置、撮像装置の制御方法 | |
JP2020030569A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
JP2016119542A (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP5611439B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
JP2012085205A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2017028583A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2015119428A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130314 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130314 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140930 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5627256 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |