JP5331816B2 - 画像補正装置及び画像補正方法 - Google Patents
画像補正装置及び画像補正方法 Download PDFInfo
- Publication number
- JP5331816B2 JP5331816B2 JP2010533363A JP2010533363A JP5331816B2 JP 5331816 B2 JP5331816 B2 JP 5331816B2 JP 2010533363 A JP2010533363 A JP 2010533363A JP 2010533363 A JP2010533363 A JP 2010533363A JP 5331816 B2 JP5331816 B2 JP 5331816B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- point spread
- adaptive
- image
- spread function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims description 45
- 230000003044 adaptive effect Effects 0.000 claims abstract description 182
- 230000006870 function Effects 0.000 claims abstract description 124
- 238000004364 calculation method Methods 0.000 claims description 61
- 238000011156 evaluation Methods 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 2
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 47
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 16
- 238000012937 correction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
図1は、本発明の実施の形態1に係る画像補正装置100の機能構成を示すブロック図である。
次に、本発明の実施の形態2について、図面を参照しながら説明する。
101 演算制御部
102 メモリ部
103 表示部
104 入力部
105 通信I/F部
106 データ記憶部
107 プログラム格納部
108 バス
110、210 適応的領域分割部
111 第1PSF算出部
111a、211 候補領域選択部
111b、212 ブレ方向判定部
111c 初期領域決定部
112 領域保持部
113 第2PSF算出部
114 類似度判定部
115、213 適応的領域決定部
120 PSF補間部
130 画像補正部
214 PSF算出部
300 システムLSI
400 カメラ
Claims (12)
- 入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正装置であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を1つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備え、
前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を1つの適応的領域として決定する
画像補正装置。 - 前記適応的領域分割部は、
前記入力画像の一部の領域である初期領域の点広がり関数を第1点広がり関数として算出する第1点広がり関数算出部と、
前記初期領域を保持領域として保持する領域保持部と、
前記初期領域を含む領域であって前記初期領域よりも大きな領域である評価領域の点広がり関数を第2点広がり関数として算出する第2点広がり関数算出部と、
前記第1点広がり関数と前記第2点広がり関数とが類似するか否かを判定する類似度判定部と、
前記類似度判定部により前記第1点広がり関数と前記第2点広がり関数とが類似しないと判定された場合、前記領域保持部に最後に保持された保持領域を前記適応的領域として決定することにより、ブレが共通する領域を1つの適応的領域として決定する適応的領域決定部とを備え、
前記領域保持部は、前記類似度判定部により前記第1点広がり関数と前記第2点広がり関数とが類似すると判定された場合、前記評価領域を保持領域として保持し、
前記第2点広がり関数算出部は、前記類似度判定部により前記第1点広がり関数と前記第2点広がり関数とが類似すると判定された場合、前記評価領域を含む領域であって前記評価領域より大きな領域である新たな評価領域の点広がり関数を前記第2点広がり関数として算出する
請求項1に記載の画像補正装置。 - 前記第1点広がり関数算出部は、
前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記初期領域として決定する初期領域決定部とを備え、
前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
請求項2に記載の画像補正装置。 - 前記適応的領域分割部は、単一のブレ方向であるか否かに基づいて、ブレが共通する領域を1つの適応的領域として決定する
請求項1に記載の画像補正装置。 - 前記適応的領域分割部は、
前記入力画像の全部又は一部の領域を候補領域として選択する候補領域選択部と、
前記候補領域選択部により選択された候補領域のブレ方向が単一のブレ方向であるか否かを判定するブレ方向判定部と、
前記ブレ方向判定部により単一のブレ方向であると判定された場合、前記候補領域を前記適応的領域として決定することにより、ブレが共通する領域を1つの適応的領域として決定する適応的領域決定部とを備え、
前記候補領域選択部は、前記ブレ方向判定部により単一のブレ方向でないと判定された場合、前記候補領域よりも小さな領域を新たな候補領域として選択する
請求項4に記載の画像補正装置。 - 前記点広がり関数補間部は、算出された前記点広がり関数のうち少なくとも2つの点広がり関数が直線で表現される場合、当該少なくとも2つの点広がり関数のそれぞれを2以上に分割し、分割した点広がり関数を用いて当該少なくとも2つの点広がり関数を互いに対応付けることにより得られる対応関係に基づいて、当該少なくとも2つの点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項1に記載の画像補正装置。 - 前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項6に記載の画像補正装置。 - 前記点広がり関数補間部は、算出された前記点広がり関数を動的計画法によるマッチング手法を用いて互いに対応付けることにより得られる対応関係に基づいて、当該点広がり関数にそれぞれ対応する前記適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項1に記載の画像補正装置。 - 前記点広がり関数補間部は、算出された前記点広がり関数が互いに類似するか否かを判定し、互いに類似すると判定された点広がり関数にそれぞれ対応する適応的領域の代表画素間に位置する画素の点広がり関数を補間する
請求項8に記載の画像補正装置。 - 入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する画像補正方法であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を1つの適応的領域として決定することにより、前記入力画像を適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割ステップと、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間ステップと、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正ステップとを含み、
前記適応的領域分割ステップでは、点広がり関数の類似性に基づいて、ブレが共通する領域を1つの適応的領域として決定する
画像補正方法。 - 入力画像を補正することにより、前記入力画像よりもブレの少ない目的画像を生成する集積回路であって、
前記入力画像を構成する画素の画素値に基づいて、ブレが共通する領域を1つの適応的領域として決定することにより、前記入力画像を複数の適応的領域に分割し、分割した適応的領域ごとに、画像のブレの特徴を示す点広がり関数を算出する適応的領域分割部と、
算出された前記点広がり関数を用いて、前記複数の適応的領域のそれぞれを代表する画素である代表画素間に位置する画素の点広がり関数を補間する点広がり関数補間部と、
補間後の前記点広がり関数を用いて前記入力画像を補正することにより、前記目的画像を生成する画像補正部とを備え、
前記適応的領域分割部は、点広がり関数の類似性に基づいて、ブレが共通する領域を1つの適応的領域として決定する
集積回路。 - 請求項10に記載の画像補正方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010533363A JP5331816B2 (ja) | 2009-02-25 | 2010-02-22 | 画像補正装置及び画像補正方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009042741 | 2009-02-25 | ||
JP2009042741 | 2009-02-25 | ||
PCT/JP2010/001115 WO2010098054A1 (ja) | 2009-02-25 | 2010-02-22 | 画像補正装置及び画像補正方法 |
JP2010533363A JP5331816B2 (ja) | 2009-02-25 | 2010-02-22 | 画像補正装置及び画像補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010098054A1 JPWO2010098054A1 (ja) | 2012-08-30 |
JP5331816B2 true JP5331816B2 (ja) | 2013-10-30 |
Family
ID=42665272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010533363A Active JP5331816B2 (ja) | 2009-02-25 | 2010-02-22 | 画像補正装置及び画像補正方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8422827B2 (ja) |
EP (1) | EP2403235B1 (ja) |
JP (1) | JP5331816B2 (ja) |
CN (1) | CN102017607B (ja) |
WO (1) | WO2010098054A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012155456A (ja) * | 2011-01-25 | 2012-08-16 | Panasonic Corp | 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法 |
US8624986B2 (en) * | 2011-03-31 | 2014-01-07 | Sony Corporation | Motion robust depth estimation using convolution and wavelet transforms |
JP5674532B2 (ja) * | 2011-03-31 | 2015-02-25 | 富士フイルム株式会社 | 撮像装置、画像処理方法及び画像処理装置 |
JP2013005258A (ja) * | 2011-06-17 | 2013-01-07 | Panasonic Corp | ブレ補正装置、ブレ補正方法及び帳票 |
US9124797B2 (en) | 2011-06-28 | 2015-09-01 | Microsoft Technology Licensing, Llc | Image enhancement via lens simulation |
CN103906473B (zh) * | 2011-10-28 | 2016-01-06 | 日立阿洛卡医疗株式会社 | 超声波成像装置、超声波成像方法 |
US9137526B2 (en) * | 2012-05-07 | 2015-09-15 | Microsoft Technology Licensing, Llc | Image enhancement via calibrated lens simulation |
CN102789574B (zh) * | 2012-07-02 | 2015-07-29 | 湖北微驾技术有限公司 | 基于三棱镜光学传感器的指纹图像几何矫正算法 |
WO2014010726A1 (ja) * | 2012-07-12 | 2014-01-16 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
US9589328B2 (en) * | 2012-11-09 | 2017-03-07 | Nikon Corporation | Globally dominant point spread function estimation |
AU2012258467A1 (en) * | 2012-12-03 | 2014-06-19 | Canon Kabushiki Kaisha | Bokeh amplification |
KR101527656B1 (ko) * | 2013-12-12 | 2015-06-10 | 한국과학기술원 | 의료 영상에서 비강체 영상 정합을 이용한 점상 강도 분포 함수를 보간하는 방법 및 시스템 |
US10165263B2 (en) * | 2013-09-30 | 2018-12-25 | Nikon Corporation | Point spread function estimation of optics blur |
US9684970B2 (en) * | 2015-02-27 | 2017-06-20 | Qualcomm Incorporated | Fast adaptive estimation of motion blur for coherent rendering |
WO2018129692A1 (en) * | 2017-01-12 | 2018-07-19 | Intel Corporation | Image refocusing |
CN110991550B (zh) * | 2019-12-13 | 2023-10-17 | 歌尔科技有限公司 | 一种视频监控方法、装置、电子设备及存储介质 |
CN111476746A (zh) * | 2020-03-19 | 2020-07-31 | 航天信德智图(北京)科技有限公司 | 一种基于ihs变换与自适应区域特征的遥感图像融合方法 |
US20230319401A1 (en) * | 2022-03-31 | 2023-10-05 | Qualcomm Incorporated | Image capture using dynamic lens positions |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002112099A (ja) * | 2000-09-28 | 2002-04-12 | Nikon Corp | 画像修復装置および画像修復方法 |
JP2008176735A (ja) * | 2007-01-22 | 2008-07-31 | Toshiba Corp | 画像処理装置及び方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3189870B2 (ja) * | 1996-12-24 | 2001-07-16 | シャープ株式会社 | 画像処理装置 |
JP2001197355A (ja) | 2000-01-13 | 2001-07-19 | Minolta Co Ltd | デジタル撮像装置および画像復元方法 |
US20010008418A1 (en) * | 2000-01-13 | 2001-07-19 | Minolta Co., Ltd. | Image processing apparatus and method |
US20070146689A1 (en) | 2004-01-15 | 2007-06-28 | Matsushita Electric Industrial Co., Ltd. | Measuring method for optical transfer function, image restoring method, and digital imaging device |
JP2005309560A (ja) * | 2004-04-19 | 2005-11-04 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
JP2006221347A (ja) | 2005-02-09 | 2006-08-24 | Tokyo Institute Of Technology | ぶれ情報検出方法 |
US7991240B2 (en) * | 2007-09-17 | 2011-08-02 | Aptina Imaging Corporation | Methods, systems and apparatuses for modeling optical images |
US8040382B2 (en) * | 2008-01-07 | 2011-10-18 | Dp Technologies, Inc. | Method and apparatus for improving photo image quality |
-
2010
- 2010-02-22 US US12/988,890 patent/US8422827B2/en active Active
- 2010-02-22 JP JP2010533363A patent/JP5331816B2/ja active Active
- 2010-02-22 WO PCT/JP2010/001115 patent/WO2010098054A1/ja active Application Filing
- 2010-02-22 CN CN2010800014220A patent/CN102017607B/zh active Active
- 2010-02-22 EP EP10745941.4A patent/EP2403235B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002112099A (ja) * | 2000-09-28 | 2002-04-12 | Nikon Corp | 画像修復装置および画像修復方法 |
JP2008176735A (ja) * | 2007-01-22 | 2008-07-31 | Toshiba Corp | 画像処理装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2403235A1 (en) | 2012-01-04 |
US8422827B2 (en) | 2013-04-16 |
JPWO2010098054A1 (ja) | 2012-08-30 |
EP2403235A4 (en) | 2013-01-16 |
CN102017607B (zh) | 2013-12-25 |
WO2010098054A1 (ja) | 2010-09-02 |
US20110033132A1 (en) | 2011-02-10 |
CN102017607A (zh) | 2011-04-13 |
EP2403235B1 (en) | 2014-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5331816B2 (ja) | 画像補正装置及び画像補正方法 | |
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
JP5906493B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
EP2574038B1 (en) | Image capturing apparatus, image processing apparatus, image processing method, and image processing program | |
JP5499050B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2011119802A (ja) | 画像処理装置、画像処理方法 | |
JP6319972B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2013242658A (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
JP5388072B2 (ja) | モーションブラー制御装置、方法、及びプログラム | |
JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2017175364A (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP5184574B2 (ja) | 撮像装置、画像処理装置、および画像処理方法 | |
KR20110075366A (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7025237B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2017229025A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2017028583A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2015119428A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
JP4763415B2 (ja) | 画像処理装置 | |
JP6566780B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2010079815A (ja) | 画像補正装置 | |
JP6570406B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP2021096460A (ja) | 像ブレ補正装置及びその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130729 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5331816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |