JP5188651B2 - 画像処理装置、およびそれを用いた撮像装置 - Google Patents
画像処理装置、およびそれを用いた撮像装置 Download PDFInfo
- Publication number
- JP5188651B2 JP5188651B2 JP2012508186A JP2012508186A JP5188651B2 JP 5188651 B2 JP5188651 B2 JP 5188651B2 JP 2012508186 A JP2012508186 A JP 2012508186A JP 2012508186 A JP2012508186 A JP 2012508186A JP 5188651 B2 JP5188651 B2 JP 5188651B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recovery
- difference
- imaging system
- transfer function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 192
- 238000003384 imaging method Methods 0.000 title claims description 189
- 230000006870 function Effects 0.000 claims abstract description 137
- 238000012546 transfer Methods 0.000 claims abstract description 109
- 238000011084 recovery Methods 0.000 claims description 258
- 238000000034 method Methods 0.000 claims description 109
- 230000008569 process Effects 0.000 claims description 85
- 230000003287 optical effect Effects 0.000 claims description 79
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000010365 information processing Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000004075 alteration Effects 0.000 abstract description 59
- 238000012937 correction Methods 0.000 description 61
- 239000000203 mixture Substances 0.000 description 27
- 238000003860 storage Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 238000006731 degradation reaction Methods 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 7
- 206010010071 Coma Diseases 0.000 description 5
- 230000002411 adverse Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000009931 harmful effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010073261 Ovarian theca cell tumour Diseases 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004033 diameter control Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 208000001644 thecoma Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
入力画像を取得する画像取得手段と、
被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する画像回復手段とを有し、
前記画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるよう回復することを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと該入力画像とを用いて第1回復画像を生成する第1回復画像生成手段と、
前記入力画像と前記第1回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記第1の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復することを特徴とする。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと該入力画像とを用いて生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像とを用いて生成された第2回復画像と、の差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記第1の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、
前記第2の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
撮像系を介して撮像素子で得られた画像を取得する画像取得手段と、
前記撮像系の光学伝達関数と、少なくとも2つのアジムス方向間における光学伝達関数のMTFの差が減少するように補正したMTFとに基づいて生成された画像回復フィルタを用いて、前記画像を回復処理する画像回復手段を有することを特徴とする。
画像取得工程により取得される画像(以下、入力画像)は、撮像光学系を介して撮像素子で撮像することで得られたデジタル画像である。ここで得られたデジタル画像は、撮像光学系(レンズ)と各種の光学フィルタ類を含む撮像光学系の収差等に基づく光学伝達関数(OTF)により、被写界内での物体と比較して劣化している。この光学伝達関数(OTF)は、上記のような撮像光学系の光学素子の収差やその他の撮像装置の特性に基づいた伝達関数であることが望ましい。撮像光学系はレンズの他にも曲率を有するミラー(反射面)を用いることもできる。
次に、画像回復フィルタの生成について図2A、Bを参照しながら説明する。図2Aは実空間において入力画像の画素に対してコンボリューション処理が行われる画像回復フィルタの模式図である。画像回復フィルタのタップ(セル)数は、撮像系の収差特性や要求される回復精度に応じて決めることができ、画像が2次元のときは、一般的に画像の各画素に対応したタップ数を有する2次元の画像回復フィルタとなる。図2Aには、例として11×11タップの2次元画像回復フィルタを示した。また、画像回復フィルタのタップ数に関しては、一般的に多いほど回復精度が向上するので、タップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。
次に、生成した画像回復フィルタを用いて、補正画像を得る方法について説明する。既に説明しているが、補正工程においては劣化画像に画像回復フィルタをコンボリューションすることにより、補正画像(回復画像)を得ることができる。ここでは、画像回復フィルタのタップ内に含まれる各画素に対してコンボリューション(畳み込み積分、積和)処理が行われる。コンボリューションは、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値と画像回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理である。
以上の処理により取得した補正画像(回復画像)を、所望のデバイスに出力する。撮像装置であれば表示部あるいは記録媒体等に出力する。画像回復処理を行った画像に対して、その他の画像処理などを行うのであれば、後の工程を実行するデバイスに画像を出力すればよい。
より撮像状態に適した画像回復フィルタに補正したものを用いることもできる。
補正制御情報は、撮像装置113、画像処理装置111および出力機器116のいずれかで回復処理および回復度合い調整処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像装置113で回処理のみ行い、画像処理装置111で回復度合いの調整を行う場合、画像回復フィルタを画像処理装置111に伝送する必要は無いが、少なくとも撮影画像と回復画像あるいは回復成分情報(差分情報)を伝送する必要がある。
撮像装置情報は、製品名称に相当する撮像装置113の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
撮像状態情報は、撮影時の撮像装置113の状態に関する情報である。例えば、焦点距離(ズーム位置)、絞り値、被写体距離(合焦距離)、ISO感度、ホワイトバランス設定等である。
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数(OTF)は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。回復度合い調整パラメータとは、実施例3以降で説明する回復強度調整係数μや色合成比調整係数ωである。
画像回復フィルタ群は、画像回復処理で用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合、別の装置(機器)から画像回復フィルタを伝送する必要がある。
ユーザ設定情報は、ユーザの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザは調整パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザ設定情報は、ユーザが調整パラメータを決定した履歴から、最も好む鮮鋭度を学習機能により更新することが好ましい。
入力画像gmは、実施例1の画像取得工程により説明した入力画像と同じである。
画像回復処理に用いる画像回復フィルタは実施例1の画像回復フィルタ生成工程に説明した画像回復フィルタと同じである。
振幅成分および位相成分を回復する画像回復フィルタを用いた画像回復処理により、第1の画像fd1mが得られる。従来における画像回復では、この第1の画像fd1mを回復画像(補正画像)として出力している。第1の画像fd1mが必要な画質を満たしていれば、補正画像fmとして用いることができるが、実際には上記のようにノイズが増幅されていたり、リンギングや偽色が含まれている。ノイズに関しては、予め画像回復フィルタの回復度合いを適正に設定することで抑制できるが、リンギングや偽色に関しては、その発生量の予測が困難であるため、回復画像を評価して再度、回復度合いを調整する必要がある。
第2の画像fd2mは、第1の画像fd1mよりも低い回復度合いの画像回復フィルタ(第2の画像回復フィルタ)を用いて画像回復処理を行う。より好ましくは、第1の画像fd1mのようにアジムス方向間の振幅特性が相対的に揃うように回復するのがよい。第2の画像fd2mは、例えば図8に示したように、回復前の2つのアジムス方向のMTF、破線(a)、実線(b)に対して、低回復ゲインでアジムス方向間のMTFを揃えることで、破線(c)、実線(d)のように、非対称収差を補正することができる。
第1の画像fd1mから第2の画像fd2mを式6のように減算する(色成分および画素ごとの減算処理を行う)ことで、色成分ごとの回復成分情報Smを生成することができる。第1の画像fd1mおよび第2の画像fd2mは、撮像系(撮像光学系)で劣化した位相成分(位相成分の劣化)が揃うように補正されている場合、位相成分の状態は実質的に等しいが、振幅成分の状態は異なっている。したがって、回復成分情報Smは、第1の画像fd1mと第2の画像fd2mの振幅成分の差分情報ということができる。
上記、アジムス方向間のMTFの差を低減する画像回復フィルタを用いて回復処理を行った回復画像は、収差の非対称性が改善されている。しかし、一般的に被写体は奥行きがあり、実際に撮像された状態で発生している収差特性と画像回復フィルタが想定している収差特性とに相違がある場合には、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。
画像回復フィルタ群は、画像回復処理に用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合は、別の装置(機器)から画像回復フィルタを伝送する必要がある。
すでに画像回復処理が行われ、回復成分情報が生成されている場合、位相が補正された第2の画像と回復成分情報を別の機器に伝送すれば、該別の機器で回復度合い調整処理を行うことができる。
調整パラメータ群は、色合成比調整係数ωおよび回復強度調整係数μのセットである。色合成比調整係数ωおよび回復強度調整係数μは、前述したように、画像上の位置に応じて変更可能である。また、撮影状態に応じて変更することも可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでもよいし、調整係数を決定するための関数でもよい。
ユーザ設定情報は、ユーザの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザは調整パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザ設定情報は、ユーザが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。
102 撮像素子
104 画像処理部
106 撮像系制御部
108 記憶部
110 システムコントローラ
Claims (23)
- 入力画像を取得する画像取得手段と、
被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する画像回復手段とを有し、
前記画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるよう回復することを特徴とする画像処理装置。 - 前記画像回復フィルタは、被写体から回復画像を得る際の任意の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該任意の2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるよう回復することを特徴とする請求項1に記載の画像処理装置。
- 前記画像回復フィルタは、画素に対応する複数のタップを有し、
前記タップは2次元に配列されていることを特徴とする請求項1又は2のいずれか1項に記載の画像処理装置。 - 前記タップの係数値の分布が、前記2つのアジムス方向間で異なることを特徴とする請求項3に記載の画像処理装置。
- 前記画像回復手段は、取得された画像の画素に対して前記画像回復フィルタを畳み込み積分することにより画像回復を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記画像回復フィルタは、2つのアジムス方向で異なる周波数特性を有する伝達関数と、該2つのアジムス方向間の伝達関数の絶対値の差が減少するように補正した補正伝達関数に基づいて生成されることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 撮像系により形成された被写体像を光電変換して撮影画像を生成する撮像素子と、
前記撮影画像を前記入力画像として処理する請求項1乃至6のいずれか1項に記載の画像処理装置とを有することを特徴とする撮像装置。 - 撮像系により生成された画像を入力画像として取得する工程と、
前記撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する工程とを有し、
前記画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の差よりも小さくなるよう回復することを特徴とする画像処理方法。 - 撮像系により生成された画像を入力画像として取得する画像取得工程と、
前記撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する画像回復工程とを情報処理装置に実行させる画像処理プログラムであって、
前記画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるよう回復することを特徴とする画像処理プログラム。 - 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと該入力画像とを用いて第1回復画像を生成する第1回復画像生成手段と、
前記入力画像と前記第1回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記第1の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復することを特徴とする画像処理装置。 - 前記調整係数は、前記第1回復画像に対する前記入力画像の演算量を調整する回復強度調整係数であることを特徴とする請求項10に記載の画像処理装置。
- 前記差分情報を、前記第1回復画像と前記入力画像の色成分ごとの差分量を前記色成分の混合比を示す色合成比調整係数に応じて合成することで取得し、
前記回復強度調整係数を、前記色成分ごとに設定することを特徴とする請求項11に記載の画像処理装置。 - 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと該入力画像とを用いて生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像とを用いて生成された第2回復画像と、の差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記第1の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、
前記第2の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする画像処理装置。 - 前記調整係数は、前記第1回復画像に対する前記第2回復画像の演算量を調整する回復強度調整係数であることを特徴とする請求項13に記載の画像処理装置。
- 前記差分情報を前記第1回復画像と前記第2回復画像の色成分ごとの差分量を前記色成分の混合比を示す色合成比調整係数に応じて合成することで取得し、
前記回復強度調整係数を、前記色成分ごとに設定することを特徴とする請求項14に記載の画像処理装置。 - 前記第1の画像回復フィルタは、2つのアジムス方向で異なる周波数特性を有する伝達関数と、該2つのアジムス方向間の伝達関数の絶対値の差が減少するように補正した補正伝達関数に基づいて生成されることを特徴とする請求項10乃至15のいずれか1項に記載の画像処理装置。
- 前記回復調整画像生成手段は、前記撮像系と前記第1の画像回復フィルタとを含む系の2つのアジムス方向間の伝達関数の振幅成分の差が、前記撮像系の該2つのアジムス方向間の伝達関数の振幅成分の差よりも減少するように回復することを特徴とする請求項10乃至16のいずれか1項に記載の画像処理装置。
- 撮影画像を前記入力画像として処理する請求項10乃至17のいずれか1項に記載の画像処理装置とを有することを特徴とする撮像装置。
- 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと該入力画像とを用いて生成された第1回復画像と、前記入力画像との差分情報を取得する差分情報取得工程と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成工程とを情報処理装置に実行させる画像処理プログラムであって、
前記第1の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復することを特徴とする画像処理プログラム。 - 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと該入力画像とを用いて生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像とを用いて生成された第2回復画像と、の差分情報を取得する差分情報取得工程と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成工程とを情報処理装置に実行させる画像処理プログラムであって、
前記第1の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、
前記第2の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする画像処理プログラム。 - 入力画像を取得する工程と、
前記入力画像を取得するために用いた撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像を用いて生成された第1回復画像と、前記入力画像との差分情報を取得する工程と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する工程とを有し、
前記第1の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復することを特徴とする画像処理方法。 - 入力画像を取得する工程と、
前記入力画像を取得するために用いた撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像とを用いて生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像とを用いて生成された第2回復画像と、の差分情報を取得する工程と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する工程とを有し、
前記第1の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、
前記第2の画像回復フィルタは、被写体から回復画像を得る際の2つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該2つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする画像処理方法。 - 撮像系を介して撮像素子で得られた画像を取得する画像取得手段と、
前記撮像系の光学伝達関数と、少なくとも2つのアジムス方向間における光学伝達関数のMTFの差が減少するように補正したMTFとに基づいて生成された画像回復フィルタを用いて、前記画像を回復処理する画像回復手段を有することを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012508186A JP5188651B2 (ja) | 2010-03-31 | 2011-03-10 | 画像処理装置、およびそれを用いた撮像装置 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010082832 | 2010-03-31 | ||
PCT/JP2010/055865 WO2011121763A1 (ja) | 2010-03-31 | 2010-03-31 | 画像処理装置、およびそれを用いた撮像装置 |
JPPCT/JP2010/055865 | 2010-03-31 | ||
JP2010082832 | 2010-03-31 | ||
PCT/JP2011/055610 WO2011122284A1 (ja) | 2010-03-31 | 2011-03-10 | 画像処理装置、およびそれを用いた撮像装置 |
JP2012508186A JP5188651B2 (ja) | 2010-03-31 | 2011-03-10 | 画像処理装置、およびそれを用いた撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5188651B2 true JP5188651B2 (ja) | 2013-04-24 |
JPWO2011122284A1 JPWO2011122284A1 (ja) | 2013-07-08 |
Family
ID=44712008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012508186A Active JP5188651B2 (ja) | 2010-03-31 | 2011-03-10 | 画像処理装置、およびそれを用いた撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8514304B2 (ja) |
JP (1) | JP5188651B2 (ja) |
CN (1) | CN102822863B (ja) |
WO (1) | WO2011122284A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011122283A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP4931266B2 (ja) * | 2010-08-27 | 2012-05-16 | キヤノン株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
JP5274623B2 (ja) * | 2011-07-04 | 2013-08-28 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 |
DE102011078631A1 (de) * | 2011-07-05 | 2013-01-10 | Robert Bosch Gmbh | Anordnung und Verfahren zum Bestimmen einer Abbildungsabweichung einer Kamera |
JP2013066648A (ja) * | 2011-09-26 | 2013-04-18 | Olympus Corp | 内視鏡用画像処理装置及び内視鏡装置 |
US9030594B1 (en) * | 2012-04-19 | 2015-05-12 | Southern Methodist University | Applying phase transfer function |
JP5968088B2 (ja) * | 2012-06-04 | 2016-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、および、プログラム |
JP6306811B2 (ja) | 2012-06-22 | 2018-04-04 | 富士通株式会社 | 画像処理装置、情報処理方法及びプログラム |
JP5983373B2 (ja) * | 2012-12-07 | 2016-08-31 | 富士通株式会社 | 画像処理装置、情報処理方法及びプログラム |
JP2014138196A (ja) * | 2013-01-15 | 2014-07-28 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
CN104956661B (zh) * | 2013-02-01 | 2018-08-17 | 佳能株式会社 | 图像拾取装置、图像处理装置、图像处理方法 |
US9674431B2 (en) | 2013-02-01 | 2017-06-06 | Canon Kabushiki Kaisha | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
JP5709911B2 (ja) * | 2013-02-04 | 2015-04-30 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 |
JP5933105B2 (ja) | 2013-02-15 | 2016-06-08 | 富士フイルム株式会社 | 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム |
JP5864813B2 (ja) * | 2013-03-04 | 2016-02-17 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 |
WO2014148074A1 (ja) * | 2013-03-18 | 2014-09-25 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体 |
JP5833794B2 (ja) * | 2013-03-27 | 2015-12-16 | 富士フイルム株式会社 | 撮像装置 |
CN104704806B (zh) * | 2013-03-28 | 2017-08-29 | 富士胶片株式会社 | 图像处理装置、摄像装置以及图像处理方法 |
JP6236908B2 (ja) * | 2013-06-21 | 2017-11-29 | 株式会社リコー | 撮像装置、撮像システムおよび撮像方法 |
CN105432069B (zh) * | 2013-07-25 | 2018-09-25 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及程序 |
CN105493493B (zh) | 2013-08-01 | 2018-08-28 | 富士胶片株式会社 | 摄像装置、摄像方法及图像处理装置 |
CN105432068B (zh) * | 2013-08-01 | 2018-08-24 | 富士胶片株式会社 | 摄像装置、摄像方法及图像处理装置 |
CN107623816A (zh) | 2013-10-09 | 2018-01-23 | 佳能株式会社 | 图像处理设备、图像拾取设备以及图像处理方法 |
JP6124849B2 (ja) * | 2013-10-09 | 2017-05-10 | キヤノン株式会社 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
JP6291795B2 (ja) * | 2013-11-06 | 2018-03-14 | 株式会社リコー | 撮像システムおよび撮像方法 |
JP6335589B2 (ja) * | 2014-03-31 | 2018-05-30 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法及び視差量検出装置 |
WO2015151590A1 (ja) * | 2014-03-31 | 2015-10-08 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
CN106134177B (zh) * | 2014-03-31 | 2019-05-28 | 富士胶片株式会社 | 图像处理装置、摄影装置、图像处理方法及图像处理程序 |
JP6415113B2 (ja) * | 2014-05-29 | 2018-10-31 | オリンパス株式会社 | 撮像装置、画像処理方法 |
JP2016051982A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社ニコン | 画像処理装置、カメラおよび画像処理プログラム |
JP6071974B2 (ja) * | 2014-10-21 | 2017-02-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
JP6347763B2 (ja) * | 2015-05-19 | 2018-06-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
JP6648918B2 (ja) * | 2015-08-17 | 2020-02-14 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
CN108141530B (zh) | 2015-09-29 | 2020-06-30 | 富士胶片株式会社 | 图像处理装置、图像处理方法及介质 |
JP6768312B2 (ja) * | 2016-03-08 | 2020-10-14 | キヤノン株式会社 | 画像処理装置、光学機器、画像処理方法、画像処理プログラム、および記録媒体 |
JP6626783B2 (ja) * | 2016-06-02 | 2019-12-25 | Hoya株式会社 | 画像処理装置および電子内視鏡システム |
FR3054354B1 (fr) * | 2016-07-22 | 2019-11-22 | Idemia France | Amelioration d'une image en profondeur sujette a un effet d'ombrage |
WO2018037920A1 (ja) * | 2016-08-26 | 2018-03-01 | 日本電気株式会社 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能記録媒体 |
KR102565277B1 (ko) * | 2017-11-24 | 2023-08-09 | 삼성전자주식회사 | 영상 복원 장치 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003078812A (ja) * | 2001-05-29 | 2003-03-14 | Hewlett Packard Co <Hp> | デジタル画像における動きによるぼけを低減する方法 |
JP2007036799A (ja) * | 2005-07-28 | 2007-02-08 | Kyocera Corp | 画像処理装置 |
JP2009021905A (ja) * | 2007-07-13 | 2009-01-29 | Hoya Corp | 輪郭強調装置 |
JP2009271725A (ja) * | 2008-05-07 | 2009-11-19 | Tokyo Institute Of Technology | 画像復元装置、画像復元方法及び画像復元プログラム |
JP2009289079A (ja) * | 2008-05-29 | 2009-12-10 | Nittoh Kogaku Kk | 画像出力装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7336845B2 (en) * | 2003-04-21 | 2008-02-26 | Transpacific Ip Ltd. | Improving modulation transfer function of an image |
US20070146689A1 (en) * | 2004-01-15 | 2007-06-28 | Matsushita Electric Industrial Co., Ltd. | Measuring method for optical transfer function, image restoring method, and digital imaging device |
IL160152A (en) * | 2004-02-01 | 2011-06-30 | Rafael Advanced Defense Sys | Super-resolution image processing |
JP4475143B2 (ja) * | 2004-11-29 | 2010-06-09 | セイコーエプソン株式会社 | 画像補正装置 |
US7486835B2 (en) * | 2005-03-17 | 2009-02-03 | Delphi Technologies, Inc. | System and method for enhancing an image |
JP4787959B2 (ja) | 2006-01-10 | 2011-10-05 | 国立大学法人東京工業大学 | 画像復元フィルタ及びそれを用いた画像復元方法 |
JP4453734B2 (ja) * | 2007-09-21 | 2010-04-21 | ソニー株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置 |
JP4813446B2 (ja) * | 2007-11-16 | 2011-11-09 | 富士フイルム株式会社 | 撮像システム、この撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器、並びに撮像システムの製造方法 |
US8077247B2 (en) * | 2007-12-07 | 2011-12-13 | Fujinon Corporation | Imaging system, imaging apparatus, portable terminal apparatus, onboard apparatus, medical apparatus and method of manufacturing the imaging system |
US8111318B2 (en) * | 2007-12-07 | 2012-02-07 | Fujinon Corporation | Imaging system, imaging apparatus, portable terminal apparatus, onboard apparatus, medical apparatus and method of manufacturing the imaging system |
JP5157015B2 (ja) * | 2008-02-04 | 2013-03-06 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム |
JP5078148B2 (ja) * | 2008-03-10 | 2012-11-21 | 株式会社リコー | 画像処理装置及び画像撮像装置 |
JP5273371B2 (ja) * | 2008-12-24 | 2013-08-28 | 株式会社リコー | 画像処理装置及び方法、並びに車載カメラ装置 |
US8259210B2 (en) * | 2010-03-01 | 2012-09-04 | Fujifilm Corporation | Imaging lens and imaging system |
WO2011122283A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
-
2011
- 2011-03-10 JP JP2012508186A patent/JP5188651B2/ja active Active
- 2011-03-10 WO PCT/JP2011/055610 patent/WO2011122284A1/ja active Application Filing
- 2011-03-10 CN CN201180017173.9A patent/CN102822863B/zh active Active
- 2011-08-05 US US13/204,453 patent/US8514304B2/en active Active
-
2013
- 2013-03-25 US US13/849,781 patent/US8692909B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003078812A (ja) * | 2001-05-29 | 2003-03-14 | Hewlett Packard Co <Hp> | デジタル画像における動きによるぼけを低減する方法 |
JP2007036799A (ja) * | 2005-07-28 | 2007-02-08 | Kyocera Corp | 画像処理装置 |
JP2009021905A (ja) * | 2007-07-13 | 2009-01-29 | Hoya Corp | 輪郭強調装置 |
JP2009271725A (ja) * | 2008-05-07 | 2009-11-19 | Tokyo Institute Of Technology | 画像復元装置、画像復元方法及び画像復元プログラム |
JP2009289079A (ja) * | 2008-05-29 | 2009-12-10 | Nittoh Kogaku Kk | 画像出力装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102822863B (zh) | 2015-11-25 |
CN102822863A (zh) | 2012-12-12 |
WO2011122284A1 (ja) | 2011-10-06 |
US20130208150A1 (en) | 2013-08-15 |
US20110285879A1 (en) | 2011-11-24 |
US8692909B2 (en) | 2014-04-08 |
JPWO2011122284A1 (ja) | 2013-07-08 |
US8514304B2 (en) | 2013-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
JP5441652B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5546229B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5147994B2 (ja) | 画像処理装置およびそれを用いた撮像装置 | |
US8754957B2 (en) | Image processing apparatus and method | |
JP6525718B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5054248B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 | |
JP2011123589A5 (ja) | ||
JP2011124692A5 (ja) | ||
KR101536162B1 (ko) | 화상처리장치 및 방법 | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP2013045404A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP6238673B2 (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6604737B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2017224906A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5188651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |