JP6194793B2

JP6194793B2 - Image correction apparatus, image correction method, and image correction program

Info

Publication number: JP6194793B2
Application number: JP2013272799A
Authority: JP
Inventors: 由樹雄平井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-12-27
Filing date: 2013-12-27
Publication date: 2017-09-13
Anticipated expiration: 2033-12-27
Also published as: JP2015127864A

Description

本件は、画像補正装置、画像補正方法及び画像補正プログラムに関する。 This case relates to an image correction apparatus, an image correction method, and an image correction program.

デジタルカメラ（より詳しくはデジタルスチルカメラ）によって被写体が撮影される場合、焦点がずれて撮影により得られる画像がぼけることがある。ぼけた画像（以下、ぼけ画像という）からぼけを取り除き、ぼけ画像をエッジ（輪郭）が先鋭化された非ぼけ画像に補正する技術が提案されている。 When a subject is photographed by a digital camera (more specifically, a digital still camera), an image obtained by photographing may be blurred due to defocusing. A technique for removing blur from a blurred image (hereinafter referred to as a blurred image) and correcting the blurred image to a non-blurred image with sharp edges (outlines) has been proposed.

例えば、ぼけ画像は、ぼけていないと推定される推定画像に画像のぼけの程度を表すPoint Spread Function（ＰＳＦ：点拡がり関数）を畳み込んだ画像であると仮定する。そして、ぼけ画像と複数の推定画像との二乗誤差から誤差が最小となる推定画像を非ぼけ画像として決定する技術が知られている（例えば、特許文献１、非特許文献１参照）。 For example, it is assumed that the blurred image is an image obtained by convolving a point spread function (PSF: point spread function) representing the degree of blur of an image estimated to be not blurred. A technique is known in which an estimated image with the smallest error is determined as a non-blurred image from the square error between the blurred image and a plurality of estimated images (see, for example, Patent Document 1 and Non-Patent Document 1).

ところが、ぼけ画像にノイズが含まれている場合、上述した技術によってぼけ画像を非ぼけ画像に補正する場合、ノイズまで強調されてしまい、補正精度が低下する。例えば、ノイズを低減する技術（例えば、特許文献２参照）を利用してぼけ画像からノイズを低減した上で補正がなされれば、わずかながら上述した補正精度の低下は抑制される。 However, when noise is included in the blurred image, when the blurred image is corrected to a non-blurred image by the above-described technique, noise is emphasized, and the correction accuracy is reduced. For example, if correction is performed after reducing noise from a blurred image using a technique for reducing noise (see, for example, Patent Document 2), the above-described decrease in correction accuracy is suppressed to a small extent.

特開２０１３−２５０８９１号公報JP2013-250891A 特開２００８−１２４７６４号公報JP 2008-124664 A

アナト・レビン(Anat Levin)、外３名、「アンダースタンディング・アンド・エヴァリュエーティング・ブラインド・デコンボリューション・アルゴリズムス(Understanding and evaluating blind deconvolution algorithms)」、[online]、２００９年、シー・ブイ・ピー・アール(CVPR)、[平成２５年１２月１２日検索]、インターネット<URL:ｈｔｔｐ：／／ｗｗｗ．ｗｉｓｄｏｍ．ａｃ．ｉｌ／~ｌｅｖｉｎａ／ｐａｐｅｒｓ／ｄｅｃｏｎｖＬｅｖｉｎＥｔａｌＣＶＰＲ０９．ｐｄｆ>.Anat Levin, three others, "Understanding and evaluating blind deconvolution algorithms", [online], 2009, Sea Buoy・ PR (CVPR), [December 12, 2013 search], Internet <URL: http: // www. Wisdom. ac. il / ~ levina / papers / deconvLevinEtalCVPR09. pdf>.

しかしながら、ノイズを含むぼけ画像から非ぼけ画像に補正する場合、ノイズ量の低減が不十分だと補正後の非ぼけ画像ではノイズが強調され、逆に、ノイズ量の低減が過分だと、エッジの先鋭度が低下するという問題がある。 However, when correcting from a blurred image containing noise to a non-blurred image, if the noise amount is not sufficiently reduced, the noise is emphasized in the corrected non-blurred image. Conversely, if the noise amount is excessively reduced, the edge There is a problem that the sharpness of the lowering.

そこで、１つの側面では、本件は、ぼけ画像を高精度に補正できる画像補正装置、画像補正方法及び画像補正プログラムを提供することを目的とする。 Therefore, in one aspect, an object of the present invention is to provide an image correction apparatus, an image correction method, and an image correction program that can correct a blurred image with high accuracy.

本明細書に開示の画像補正装置は、画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正装置であって、前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出手段と、前記抽出手段によって抽出されたノイズ量に応じた前記重み係数を算出する算出手段と、を有する画像補正装置である。 An image correction apparatus disclosed in the present specification corrects an image using blur information that represents the degree of blur of the image and a weighting factor that determines the degree of noise reduction included in the image. A correction device, wherein the noise is based on a difference between a first differential image obtained from the image before reducing the noise and a second differential image obtained from the image after reducing the noise. An image correction apparatus comprising: extraction means for extracting an amount; and calculation means for calculating the weighting coefficient according to the amount of noise extracted by the extraction means.

本明細書に開示の画像補正方法は、画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正方法であって、前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、を有する画像補正方法である。 An image correction method disclosed in the present specification is an image that corrects the image using blur information that represents the degree of blur of the image and a weighting factor that determines the degree of noise reduction included in the image. A correction method, wherein the noise is based on a difference between a first differential image obtained from the image before reducing the noise and a second differential image obtained from the image after reducing the noise. An image correction method comprising: an extraction step for extracting an amount; and a calculation step for calculating the weighting coefficient according to the amount of noise extracted by the extraction step.

本明細書に開示の画像補正プログラムは、画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像をコンピュータに補正させる画像補正プログラムであって、前記コンピュータに、前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、を実行させるための画像補正プログラムである。 An image correction program disclosed in the present specification corrects the image to a computer using blur information indicating the degree of blur of the image and a weighting factor that determines the degree of reduction in the amount of noise included in the image. A difference between a first differential image obtained from the image before reducing the noise and a second differential image obtained from the image after reducing the noise. The image correction program for executing the extraction step of extracting the noise amount based on the calculation step and the calculation step of calculating the weighting factor according to the noise amount extracted by the extraction step.

本明細書に開示の画像補正装置、画像補正方法及び画像補正プログラムによれば、ぼけ画像を高精度に補正することができる。 According to the image correction apparatus, the image correction method, and the image correction program disclosed in this specification, a blurred image can be corrected with high accuracy.

図１は、撮像装置のブロック図の一例である。FIG. 1 is an example of a block diagram of an imaging apparatus. 図２は、画像補正装置の動作の一例を示すフローチャートである。FIG. 2 is a flowchart illustrating an example of the operation of the image correction apparatus. 図３は、ノイズ低減の一例を説明するための図である。FIG. 3 is a diagram for explaining an example of noise reduction. 図４は、画像の微分の一例を説明するための図である。FIG. 4 is a diagram for explaining an example of image differentiation. 図５は、差分画像の生成の一例を説明するための図である。FIG. 5 is a diagram for explaining an example of generation of a difference image. 図６は、差分画像の生成の一例を説明するための図である。FIG. 6 is a diagram for explaining an example of generation of a difference image. 図７は、差分画像の輝度勾配の頻度を示すグラフの一例である。FIG. 7 is an example of a graph showing the frequency of the luminance gradient of the difference image. 図８は、ぼけ画像が非ぼけ画像に補正される様子の一例を比較例と対比して説明するための図である。FIG. 8 is a diagram for explaining an example of how a blurred image is corrected to a non-blurred image in comparison with a comparative example. 図９は、重み係数の算出式を求める処理の一例を示すフローチャートである。FIG. 9 is a flowchart illustrating an example of a process for obtaining a weighting coefficient calculation formula. 図１０は、重み係数と補正後のノイズ量の関係を示すグラフの一例である。FIG. 10 is an example of a graph showing the relationship between the weighting factor and the corrected noise amount. 図１１は、重み係数の算出式の一例である。FIG. 11 is an example of a weighting coefficient calculation formula. 図１２は、情報処理装置のハードウェア構成の一例である。FIG. 12 is an example of a hardware configuration of the information processing apparatus.

以下、本件を実施するための形態について図面を参照して説明する。 Hereinafter, an embodiment for carrying out this case will be described with reference to the drawings.

図１は、撮像装置１００のブロック図の一例である。
撮像装置１００は、光学系１１０、撮像素子１２０、Analogue Front End（ＡＦＥ）１３０、画像補正装置１４０、後処理装置１５０、駆動制御装置１６０、制御装置１７０、画像メモリ１８０及び表示装置１９０を含んでいる。撮像装置１００としては、例えばスマートフォンを含む携帯電話機、ネットワークカメラ、デジタルカメラなどがある。 FIG. 1 is an example of a block diagram of the imaging apparatus 100.
The imaging apparatus 100 includes an optical system 110, an imaging element 120, an analog front end (AFE) 130, an image correction apparatus 140, a post-processing apparatus 150, a drive control apparatus 160, a control apparatus 170, an image memory 180, and a display apparatus 190. Yes. Examples of the imaging device 100 include a mobile phone including a smartphone, a network camera, and a digital camera.

光学系１１０は、例えば複数のレンズ１１１，１１２，１１３と絞り１１４を含んでいる。複数のレンズ１１１，１１２，１１３の各位置は、駆動制御装置１６０から出力されたレンズ用駆動制御信号に基づいて調整される。絞り１１４の絞りの度合は、駆動制御装置１６０から出力された絞り用駆動制御信号に基づいて調整される。これにより、光学系１１０は、被写体からの光を撮像素子１２０の撮像面に集光させて被写体の像を結像する。 The optical system 110 includes, for example, a plurality of lenses 111, 112, 113 and a diaphragm 114. The positions of the plurality of lenses 111, 112, 113 are adjusted based on the lens drive control signal output from the drive control device 160. The degree of aperture of the aperture 114 is adjusted based on the aperture drive control signal output from the drive control device 160. As a result, the optical system 110 focuses the light from the subject on the imaging surface of the image sensor 120 to form an image of the subject.

撮像素子１２０は、駆動制御装置１６０から出力された撮像用駆動制御信号とＡＦＥ１４０から出力されたタイミングパルスに基づいて、被写体の像をアナログ信号の画像に変換し、ＡＦＥ１４０に出力する。尚、撮像素子１２０としては、例えば、Charge Coupled Device（ＣＣＤ：電荷結合素子）やComplementary Metal Oxide Semiconductor（ＣＭＯＳ：相補型金属酸化膜半導体）といった二次元撮像素子がある。 The image sensor 120 converts the subject image into an analog signal image based on the imaging drive control signal output from the drive control device 160 and the timing pulse output from the AFE 140, and outputs the analog signal image to the AFE 140. Examples of the image sensor 120 include a two-dimensional image sensor such as a charge coupled device (CCD) and a complementary metal oxide semiconductor (CMOS).

ＡＦＥ１３０は、例えばタイミングジェネレータ１３１とAnalogue/Digital Converter（Ａ／Ｄコンバータ）１３２とを含んでいる。タイミングジェネレータ１３１は、制御装置１７０から出力された制御信号に基づいて、撮像素子１２０とＡ／Ｄコンバータ１３２の駆動タイミングを決定するタイミングパルスを生成し、撮像素子１２０とＡ／Ｄコンバータ１３２に出力する。Ａ／Ｄコンバータ１３２は、タイミングパルスに基づいて、撮像素子１２０から出力されたアナログ信号の画像をデジタル信号の画像に変換し、画像補正装置１４０に出力する。尚、ＡＦＥ１３０は例えばハードウェア回路で実現される。 The AFE 130 includes, for example, a timing generator 131 and an analog / digital converter (A / D converter) 132. The timing generator 131 generates a timing pulse for determining the drive timing of the image sensor 120 and the A / D converter 132 based on the control signal output from the control device 170 and outputs the timing pulse to the image sensor 120 and the A / D converter 132. To do. The A / D converter 132 converts the analog signal image output from the image sensor 120 into a digital signal image based on the timing pulse and outputs the digital signal image to the image correction device 140. The AFE 130 is realized by a hardware circuit, for example.

画像補正装置１４０は、ＰＳＦと画像に含まれるノイズのノイズ量を低減（好ましくは除去）する度合を決定する重み係数とを利用して、Ａ／Ｄコンバータ１３２から出力された画像を補正する。ＰＳＦによりエッジ部分の周辺画素への拡がりの程度が判断できる。ノイズとしては例えば撮像素子１２０の暗電流によるノイズがある。画像補正装置１４０は、例えばDigital Signal Processor（ＤＳＰ）によって実現される。画像補正装置１４０をハードウェア回路で実現してもよい。画像補正装置１４０は、例えばＲＡＷメモリ１４１、ノイズ量抽出部１４２、設定部１４３、重み係数算出部１４４及び画像補正部１４５を含んでいる。ノイズ量抽出部１４２，・・・，画像補正部１４５は、撮像装置１００が有する記憶装置（不図示）に記憶されたプログラムがＤＳＰに読み込まれて処理されることにより実現される。尚、当該プログラムは後述するフローチャートに応じたプログラムとすることができる。 The image correction device 140 corrects the image output from the A / D converter 132 using the PSF and a weighting factor that determines the degree of reduction (preferably removing) the amount of noise included in the image. The degree of expansion of the edge portion to the peripheral pixels can be determined by PSF. As the noise, for example, there is noise due to dark current of the image sensor 120. The image correction device 140 is realized by a digital signal processor (DSP), for example. The image correction device 140 may be realized by a hardware circuit. The image correction device 140 includes, for example, a RAW memory 141, a noise amount extraction unit 142, a setting unit 143, a weighting coefficient calculation unit 144, and an image correction unit 145. The noise amount extraction unit 142,..., The image correction unit 145 are realized by reading a program stored in a storage device (not shown) included in the imaging apparatus 100 and processing the program. The program can be a program according to a flowchart described later.

ＲＡＷメモリ１４１は、Ａ／Ｄコンバータ１３２から出力された画像をＲＡＷ形式で記憶する。これにより、ＲＡＷメモリ１４１にはまだ加工されていない画像（例えばオリジナル画像）が記憶される。
ノイズ量抽出部１４２は、ＲＡＷメモリ１４１から画像を取得し、ノイズを低減する前の画像から得られる第１微分画像とノイズを低減した後の画像から得られる第２微分画像との差分に基づいて、画像に含まれるノイズのノイズ量を抽出する。
設定部１４３は、制御装置１７０から出力された制御信号に基づいて、重み係数算出部１４４に対し重み係数の算出式を選択的に設定する。重み係数の算出式としては、例えばノイズ量と重み係数との関係が関数化された関数（例えば１次関数）による算出式やノイズ量と重み係数との関係が対応付けられたルックアップテーブルによる算出式などがある。これらの算出式は設定部１４３によって保持されていてもよいし記憶装置に記憶されていて設定部１４３が取得するようにしてもよい。 The RAW memory 141 stores the image output from the A / D converter 132 in the RAW format. As a result, an unprocessed image (for example, an original image) is stored in the RAW memory 141.
The noise amount extraction unit 142 acquires an image from the RAW memory 141, and based on the difference between the first differential image obtained from the image before noise reduction and the second differential image obtained from the image after noise reduction. To extract the amount of noise included in the image.
The setting unit 143 selectively sets a weight coefficient calculation formula for the weight coefficient calculation unit 144 based on the control signal output from the control device 170. As a calculation formula for the weighting factor, for example, a calculation formula based on a function (for example, a linear function) obtained by functionalizing the relationship between the noise amount and the weighting factor or a lookup table in which the relationship between the noise amount and the weighting factor is associated. There are calculation formulas. These calculation formulas may be held by the setting unit 143 or may be stored in the storage device and acquired by the setting unit 143.

重み係数算出部１４４は、ノイズ量抽出部１４２によって抽出されたノイズ量と設定部１４３によって設定された算出式に基づいて、ノイズ量に応じた重み係数を算出する。重み係数算出部１４４は、算出した重み係数を画像補正部１４５に出力する。
画像補正部１４５は、ＲＡＷメモリ１４１から画像を取得し、重み係数算出部１４４から出力された重み係数に基づいて、取得した画像を補正する。この結果、ぼけ画像は非ぼけ画像に補正される。非ぼけ画像は画像メモリ１８０に保存される。
後処理装置１５０は、制御装置１７０から出力された制御信号に基づいて、画像補正部１４５から非ぼけ画像を取得して表示装置１９０に表示させる。具体的には、後処理装置１５０は、非ぼけ画像から表示装置１９０に表示させるための表示用非ぼけ画像を生成し、生成した表示用非ぼけ画像を表示装置１９０に出力する。後処理装置１５０は、画像メモリ１８０から非ぼけ画像を取得して同様の処理を行ってもよい。尚、表示用非ぼけ画像の生成としては、例えば画像フォーマットの変換、表示装置１９０の画面サイズに合わせるための調整（例えば拡大処理や縮小処理）、表示装置１９０の解像度に合わせるための調整（例えば解像度変換処理）がある。 The weighting factor calculation unit 144 calculates a weighting factor according to the noise amount based on the noise amount extracted by the noise amount extraction unit 142 and the calculation formula set by the setting unit 143. The weighting coefficient calculation unit 144 outputs the calculated weighting coefficient to the image correction unit 145.
The image correction unit 145 acquires an image from the RAW memory 141 and corrects the acquired image based on the weighting factor output from the weighting factor calculation unit 144. As a result, the blurred image is corrected to a non-blurred image. The non-blurred image is stored in the image memory 180.
The post-processing device 150 acquires a non-blurred image from the image correction unit 145 based on the control signal output from the control device 170 and causes the display device 190 to display it. Specifically, the post-processing device 150 generates a display non-blurred image to be displayed on the display device 190 from the non-blurred image, and outputs the generated display non-blurred image to the display device 190. The post-processing device 150 may acquire a non-blurred image from the image memory 180 and perform similar processing. The generation of the non-blurred image for display includes, for example, conversion of the image format, adjustment for adjusting to the screen size of the display device 190 (for example, enlargement processing and reduction processing), and adjustment for adjusting to the resolution of the display device 190 (for example, Resolution conversion processing).

駆動制御装置１６０は、制御装置１７０から出力された制御信号に基づいて、レンズ用駆動制御信号や絞り用駆動制御信号を生成する。駆動制御装置１６０は、生成したこれらの駆動制御信号を光学系１１０や撮像素子１２０に出力することにより、光学系１１０のレンズ１１１，１１２，１１３の各位置や絞り１１４の絞り度合を制御する。
制御装置１７０は、撮像装置１００全体の動作を制御する。例えば、制御装置１７０は、上述したＡＦＥ１３０、画像補正装置１４０、後処理装置１５０及び駆動制御装置１６０を制御するための各種の制御信号を生成する。制御装置１７０は、生成した制御信号を対応する構成要素（例えばＡＦＥ１３０や画像補正装置１４０等）へ出力する。これにより、各構成要素が制御される。例えば、制御装置１７０は撮像装置１００が有する操作機構（不図示）がユーザにより操作された場合、設定部１４３を制御する制御信号を出力すれば、設定部１４３は当該制御信号によって制御される。尚、制御装置１７０としては例えばCentral Processing Unit（ＣＰＵ）がある。上述した後処理装置１５０及び駆動制御装置１６０はＣＰＵで実現される。 The drive control device 160 generates a lens drive control signal and an aperture drive control signal based on the control signal output from the control device 170. The drive control device 160 outputs these generated drive control signals to the optical system 110 and the image sensor 120, thereby controlling the positions of the lenses 111, 112, and 113 of the optical system 110 and the diaphragm degree of the diaphragm 114.
The control device 170 controls the overall operation of the imaging device 100. For example, the control device 170 generates various control signals for controlling the AFE 130, the image correction device 140, the post-processing device 150, and the drive control device 160 described above. The control device 170 outputs the generated control signal to a corresponding component (for example, the AFE 130 or the image correction device 140). Thereby, each component is controlled. For example, when the control device 170 outputs a control signal for controlling the setting unit 143 when a user operates an operation mechanism (not shown) of the imaging device 100, the setting unit 143 is controlled by the control signal. As the control device 170, for example, there is a Central Processing Unit (CPU). The post-processing device 150 and the drive control device 160 described above are realized by a CPU.

画像メモリ１８０は、画像補正部１４５によって補正された画像を記憶する。画像メモリ１８０としては例えばフラッシュメモリがある。
表示装置１９０は、後処理装置１５０から出力された表示用非ぼけ画像を表示する。表示装置１９０は例えばVideo Random Access Memory（ＶＲＡＭ）と液晶ディスプレイとを含んでいる。したがって、後処理装置１５０から出力された表示用非ぼけ画像はＶＲＡＭに記憶され、ＶＲＡＭに記憶された表示用非ぼけ画像が液晶ディスプレイに表示される。尚、後処理装置１５０とＶＲＡＭは画像補正装置１４０に含まれていてもよい。 The image memory 180 stores the image corrected by the image correction unit 145. An example of the image memory 180 is a flash memory.
The display device 190 displays the display non-blurred image output from the post-processing device 150. The display device 190 includes, for example, a video random access memory (VRAM) and a liquid crystal display. Therefore, the display non-blurred image output from the post-processing device 150 is stored in the VRAM, and the display non-blurred image stored in the VRAM is displayed on the liquid crystal display. The post-processing device 150 and the VRAM may be included in the image correction device 140.

次に、図２乃至図７を参照して、上述した画像補正装置１４０の動作について説明する。 Next, the operation of the image correction apparatus 140 described above will be described with reference to FIGS.

図２は、画像補正装置１４０の動作の一例を示すフローチャートである。図３は、ノイズ低減の一例を説明するための図である。図４は、画像の微分の一例を説明するための図である。図５及び図６は、差分画像の生成の一例を説明するための図である。図７は、差分画像の輝度勾配の頻度を示すグラフの一例である。 FIG. 2 is a flowchart showing an example of the operation of the image correction apparatus 140. FIG. 3 is a diagram for explaining an example of noise reduction. FIG. 4 is a diagram for explaining an example of image differentiation. 5 and 6 are diagrams for explaining an example of generation of a difference image. FIG. 7 is an example of a graph showing the frequency of the luminance gradient of the difference image.

まず、図２に示すように、ノイズ量抽出部１４２は、画像のノイズを低減する（ステップＳ１０１）。具体的には、ノイズ量抽出部１４２は、ＲＡＷメモリ１４１から画像を取得し、ローパスフィルタを利用して画像に含まれるノイズを低減する。この結果、図３（ａ）に示すように、ノイズ低減前の画像（波形図）に含まれていたノイズ（例えば高周波成分）はローパスフィルタによって低減し、図３（ｂ）に示すように、ノイズが低減した画像（波形図）が生成される。 First, as shown in FIG. 2, the noise amount extraction unit 142 reduces image noise (step S101). Specifically, the noise amount extraction unit 142 acquires an image from the RAW memory 141, and reduces noise included in the image using a low-pass filter. As a result, as shown in FIG. 3A, noise (for example, a high frequency component) included in the image (waveform diagram) before noise reduction is reduced by a low-pass filter, and as shown in FIG. An image (waveform diagram) with reduced noise is generated.

次いで、ノイズ量抽出部１４２は、ノイズ低減前の画像とノイズ低減後の画像の双方を微分する（ステップＳ１０２）。この結果、図４（ａ）に示すように、ノイズ低減前の画像が微分されると、エッジ部分が強調された第１微分画像が生成される。同様に、図４（ｂ）に示すように、ノイズ低減後の画像が微分されると、エッジ部分が強調された第２微分画像が生成される。尚、図４において、視認性確保の観点から微分前後の画像の縮尺は変更されている。後述する図６においても同様である。 Next, the noise amount extraction unit 142 differentiates both the image before noise reduction and the image after noise reduction (step S102). As a result, as shown in FIG. 4A, when the image before noise reduction is differentiated, a first differential image in which the edge portion is emphasized is generated. Similarly, as shown in FIG. 4B, when the image after noise reduction is differentiated, a second differential image in which the edge portion is emphasized is generated. In FIG. 4, the scale of the image before and after differentiation is changed from the viewpoint of ensuring visibility. The same applies to FIG. 6 described later.

次いで、ノイズ量抽出部１４２は、微分後の双方の画像の差分を生成する（ステップＳ１０３）。すなわち、ノイズ量抽出部１４２は、第１微分画像と第２微分画像との差分画像を生成する。具体的には、ノイズ低減前の画像の微分結果である第１微分画像（図５（ａ）参照）からノイズ低減後の画像の微分結果である第２微分画像（図５（ｂ）参照）が差し引かれ、差分画像（図５（ｃ）参照）が生成される。この結果、ノイズが少ない画像（図６（ａ）参照）からはノイズが少ない差分画像（図６（ｂ）参照）が生成される。ノイズが多い画像（図６（ｃ）参照）からはノイズが多い差分画像（図６（ｄ）参照）が生成される。 Next, the noise amount extraction unit 142 generates a difference between both differentiated images (step S103). That is, the noise amount extraction unit 142 generates a difference image between the first differential image and the second differential image. Specifically, the second differential image (see FIG. 5B) which is the differential result of the image after noise reduction from the first differential image (see FIG. 5A) which is the differential result of the image before noise reduction. Are subtracted to generate a difference image (see FIG. 5C). As a result, a difference image (see FIG. 6B) with less noise is generated from an image with less noise (see FIG. 6A). From a noisy image (see FIG. 6C), a noisy differential image (see FIG. 6D) is generated.

次いで、ノイズ量抽出部１４２は、ノイズ量を抽出する（ステップＳ１０４）。具体的には、ノイズ量抽出部１４２は、差分画像における輝度勾配の頻度を生成し、生成した輝度勾配の頻度に基づいて信号対雑音比（Ｓ／Ｎ比）を算出する。Ｓ／Ｎ比とノイズの標準偏差との関係は定式化しているため、Ｓ／Ｎ比とノイズの標準偏差との関係を表す所定の数式を利用して、Ｓ／Ｎ比に応じたノイズの標準偏差をノイズ量として抽出する。ＳＮ比が大きいほどノイズの影響が小さい。逆に、ＳＮ比が小さいほどノイズの影響が大きい。例えば、図７に示すように、ノイズが少ない画像を表す正規分布ＡのＳ／Ｎ比が算出されると、Ｓ／Ｎ比３０．８ｄＢが算出される。ノイズが多い画像を表す正規分布ＢのＳ／Ｎ比が算出されると、Ｓ／Ｎ比２１．２ｄＢが算出される。算出されたこれらのＳ／Ｎ比に基づいて、ノイズの標準偏差がノイズ量として抽出される。このように、第１微分画像と第２微分画像との差分画像を生成し、差分画像のおける輝度勾配の頻度のＳ／Ｎ比を算出し、算出したノイズの標準偏差をノイズ量として抽出することで、微分を行わずに同様の処理を行った場合と比べて、エッジの影響が抑制されたノイズ量が感度良く抽出される。 Next, the noise amount extraction unit 142 extracts the noise amount (step S104). Specifically, the noise amount extraction unit 142 generates a luminance gradient frequency in the difference image, and calculates a signal-to-noise ratio (S / N ratio) based on the generated luminance gradient frequency. Since the relationship between the S / N ratio and the standard deviation of noise is formulated, a predetermined mathematical expression representing the relationship between the S / N ratio and the standard deviation of noise is used to calculate the noise corresponding to the S / N ratio. Standard deviation is extracted as the amount of noise. The larger the S / N ratio, the smaller the influence of noise. Conversely, the smaller the S / N ratio, the greater the influence of noise. For example, as shown in FIG. 7, when the S / N ratio of the normal distribution A representing an image with little noise is calculated, the S / N ratio of 30.8 dB is calculated. When the S / N ratio of the normal distribution B representing an image having a lot of noise is calculated, the S / N ratio 21.2 dB is calculated. Based on these calculated S / N ratios, the standard deviation of noise is extracted as the amount of noise. In this way, a differential image between the first differential image and the second differential image is generated, the S / N ratio of the luminance gradient frequency in the differential image is calculated, and the calculated standard deviation of the noise is extracted as the noise amount. Thus, compared with the case where the same processing is performed without performing differentiation, the amount of noise in which the influence of the edge is suppressed is extracted with high sensitivity.

次いで、重み係数算出部１４４は、ノイズ量と重み係数の算出式を利用して重み係数を算出する（ステップＳ１０５）。具体的には、重み係数算出部１４４は、ノイズ量抽出部１４２からノイズ量を取得する。重み係数算出部１４４は、取得したノイズ量と設定部１４３によって設定された算出式に基づいて、ノイズ量に応じた重み係数を算出する。重み係数の算出式としては、図２に示すように、（１）ノイズ量ｘと重み係数εとの関係を関数化したε＝ｆ（ｘ）、（２）ノイズ量ｘと重み係数εとの関係を線形関数化したε＝ａｘ＋ｂ、（３）ノイズ量ｘと重み係数εとの対応関係を表すルックアップテーブルなどがある。重み係数算出部１４４は、設定されたいずれかの算出式に取得したノイズ量を入力することによって、ノイズ量に応じた重み係数を算出する。尚、重み係数の算出式の詳細は後述する。 Next, the weighting factor calculation unit 144 calculates a weighting factor using a noise amount and a weighting factor calculation formula (step S105). Specifically, the weight coefficient calculation unit 144 acquires the noise amount from the noise amount extraction unit 142. The weighting factor calculation unit 144 calculates a weighting factor according to the noise amount based on the acquired noise amount and the calculation formula set by the setting unit 143. As shown in FIG. 2, the calculation formula of the weighting factor is (1) ε = f (x) obtained by functionalizing the relationship between the noise amount x and the weighting factor ε, and (2) the noise amount x and the weighting factor ε. Ε = ax + b in which the above relationship is converted into a linear function, and (3) a look-up table representing the correspondence between the noise amount x and the weighting coefficient ε. The weighting coefficient calculation unit 144 calculates a weighting coefficient corresponding to the noise amount by inputting the acquired noise amount to any one of the set calculation formulas. The details of the weight coefficient calculation formula will be described later.

次いで、画像補正部１４５は、ノイズ低減前の画像を補正する（ステップＳ１０６）。具体的には、画像補正部１４５は、ＰＳＦと重み係数算出部１４４から出力された重み係数とを利用して画像を補正する。この結果、ぼけ画像は非ぼけ画像に補正される。より詳しくは、ノイズ量が少ないぼけ画像には少ないノイズ量に応じた重み係数が利用されて非ぼけ画像に補正される。ノイズ量が多いぼけ画像には多いノイズ量に応じた重み係数が利用されて非ぼけ画像に補正される。 Next, the image correction unit 145 corrects the image before noise reduction (step S106). Specifically, the image correction unit 145 corrects the image using the PSF and the weighting factor output from the weighting factor calculation unit 144. As a result, the blurred image is corrected to a non-blurred image. More specifically, a blur image with a small amount of noise is corrected to a non-blurred image using a weighting factor corresponding to the small amount of noise. A blur image with a large amount of noise is corrected to a non-blurred image by using a weighting factor corresponding to the large amount of noise.

ここで、本実施形態におけるぼけ画像について説明する。 Here, the blurred image in the present embodiment will be described.

ぼけ画像は、非ぼけ画像に対し、ある点から光学的な拡がりを持ったぼけを畳み込んだ画像である。したがって、ぼけ画像をＹ、非ぼけ画像をＸ、ぼけ関数（例えばＰＳＦ）をｋ、ノイズをｎとすると、ぼけ画像Ｙは、以下に示す数式（１）で表される。 A blurred image is an image obtained by convolution of a blur having an optical extension from a certain point with respect to a non-blurred image. Therefore, if the blurred image is Y, the non-blurred image is X, the blur function (for example, PSF) is k, and the noise is n, the blurred image Y is expressed by the following formula (1).

上述した数式（１）において、ぼけ画像Ｙは非ぼけ画像Ｘに対してＰＳＦを畳み込んだ画像となっている。さらに、ぼけ画像Ｙには、画像上のノイズが含まれる。ここで、理想的に画像にノイズが含まれていない場合（ノイズ０の場合）、以下に示す数式（２）を評価関数とし、非ぼけ画像Ｘが求められる。 In the above formula (1), the blurred image Y is an image obtained by convolving the PSF with the non-blurred image X. Further, the blurred image Y includes noise on the image. Here, when noise is ideally not included in the image (in the case of noise 0), the non-blurred image X is obtained using the following formula (2) as an evaluation function.

上述した数式（２）において、評価関数が最小になるほどぼけ画像が非ぼけ画像に近づく。 In Equation (2) described above, the blurred image approaches the non-blurred image as the evaluation function is minimized.

ところが、画像にノイズが含まれている場合、上述した評価関数が最小になるだけでは、ぼけ画像が非ぼけ画像に補正される際にノイズの影響を受ける。したがって、以下に示す数式（３）に表されるように、ノイズの影響を少なくする正則化項εＥ（Ｘ）を評価関数に追加する。 However, when noise is included in an image, the image is affected by noise when the blurred image is corrected to a non-blurred image only by minimizing the above-described evaluation function. Therefore, a regularization term εE (X) that reduces the influence of noise is added to the evaluation function, as represented by the following formula (3).

正則化項εＥ（Ｘ）は、正則化関数Ｅ（Ｘ）に重み係数εを掛け合わせたものである。したがって、重み係数εの値が大きくなるほどノイズの影響が少なくなるが、重み係数εの値が大きすぎるとエッジの先鋭度が低下し非ぼけ画像がなまる。このため、ノイズ量に応じた重み係数が算出されることが望ましい。本実施形態では、上述したように、ノイズ量に応じた重み係数が算出されるため、ノイズ量の低減が不十分であったり過分であったりすることが解消され、ぼけ画像が高精度に補正される。 The regularization term εE (X) is obtained by multiplying the regularization function E (X) by the weighting factor ε. Therefore, the larger the value of the weighting coefficient ε, the less the influence of noise. However, if the value of the weighting coefficient ε is too large, the sharpness of the edge decreases and the non-blurred image becomes dark. For this reason, it is desirable to calculate a weighting coefficient according to the amount of noise. In the present embodiment, as described above, since the weighting coefficient corresponding to the amount of noise is calculated, it is eliminated that the reduction of the amount of noise is insufficient or excessive, and the blurred image is corrected with high accuracy. Is done.

図８は、ぼけ画像Ｙが非ぼけ画像Ｘに補正される様子の一例を比較例と対比して説明するための図である。 FIG. 8 is a diagram for explaining an example of how the blurred image Y is corrected to the non-blurred image X in comparison with the comparative example.

まず、図８（ａ）に示すように、ノイズが少ないぼけ画像「Ｙ１」に対しＰＳＦ「ｋ」とぼけ画像「Ｙ１」に応じた重み係数「ε１」（不図示）が利用されて補正がなされると、ノイズの強調とエッジの先鋭度の低下が抑えられた非ぼけ画像「Ｘ１」が復元される。また、図８（ｂ）に示すように、ノイズが多いぼけ画像「Ｙ２」に対しＰＳＦ「ｋ」とぼけ画像「Ｙ１」に応じた重み係数「ε２」（不図示）が利用されて補正がなされても、ノイズの強調とエッジの先鋭度の低下が抑えられた非ぼけ画像「Ｘ２」が復元される。より詳しくは、非ぼけ画像Ｘ１，Ｘ２のいずれもがそれぞれぼけ画像Ｙ１，Ｙ２に対しノイズが低減されており、かつ、エッジ部分の先鋭度の低下（低傾斜）が抑えられエッジ部分が急峻（高傾斜）となっている。 First, as shown in FIG. 8A, the blur image “Y1” with less noise is corrected by using the PSF “k” and the weight coefficient “ε1” (not shown) corresponding to the blur image “Y1”. Then, the non-blurred image “X1” in which noise enhancement and edge sharpness decrease are suppressed is restored. Further, as shown in FIG. 8B, the blurring image “Y2” having a lot of noise is corrected by using the PSF “k” and the weighting coefficient “ε2” (not shown) corresponding to the blurred image “Y1”. However, the non-blurred image “X2” in which noise enhancement and reduction in edge sharpness are suppressed is restored. More specifically, in each of the non-blurred images X1 and X2, noise is reduced with respect to the blurred images Y1 and Y2, respectively, and the sharpness (low inclination) of the edge portion is suppressed and the edge portion is steep ( High slope).

一方、図８（ｃ）に示すように、ノイズを含むぼけ画像「Ｙ３」に対しＰＳＦ「ｋ」と適正でない重み係数、例えばぼけ画像「Ｙ３」に応じていない重み係数（不図示）が利用されて補正がなされると、エッジの先鋭度の低下は抑えられるものの、ノイズが強調された非ぼけ画像「Ｘ３」が復元される。 On the other hand, as shown in FIG. 8C, PSF “k” and an inappropriate weighting factor (for example, a weighting factor (not shown) not corresponding to the blurred image “Y3”) are used for the blurred image “Y3” including noise. When the correction is performed, the non-blurred image “X3” in which the noise is emphasized is restored although the decrease in the sharpness of the edge is suppressed.

以上説明したように、画像のぼけの程度を表すＰＳＦとノイズ量の低減度を決める重み係数を利用して画像を補正する場合、ノイズ低減前後の微分画像同士の差分に基づいてノイズ量を抽出し、ノイズ量に応じた重み係数を算出することで、ぼけ画像を高精度に補正することができる。 As described above, when correcting an image using a PSF that represents the degree of blur of the image and a weighting factor that determines the degree of noise reduction, the amount of noise is extracted based on the difference between the differential images before and after noise reduction. The blur image can be corrected with high accuracy by calculating a weighting coefficient corresponding to the amount of noise.

次に、図９乃至図１１を参照して、上述した重み係数の算出式を求める処理について説明する。 Next, with reference to FIG. 9 to FIG. 11, a process for obtaining the above-described weight coefficient calculation formula will be described.

図９は、重み係数の算出式を求める処理の一例を示すフローチャートである。図１０は、重み係数と補正後のノイズ量の関係を示すグラフの一例である。図１１は、重み係数の算出式の一例である。尚、図９に示す処理は、撮像装置１００の製造を担当する担当者（例えば設計者や開発者など）が後述する情報処理装置３００を利用することによって行われる。求められた算出式は、撮像装置１００の設定部１４３に保持されたり撮像装置１００が有する記憶装置に記憶されたりする。 FIG. 9 is a flowchart illustrating an example of a process for obtaining a weighting coefficient calculation formula. FIG. 10 is an example of a graph showing the relationship between the weighting factor and the corrected noise amount. FIG. 11 is an example of a weighting coefficient calculation formula. The process shown in FIG. 9 is performed by a person in charge (for example, a designer or developer) in charge of manufacturing the imaging apparatus 100 using the information processing apparatus 300 described later. The obtained calculation formula is held in the setting unit 143 of the imaging apparatus 100 or stored in a storage device included in the imaging apparatus 100.

まず、図９に示すように、複数の画像の中から任意の画像が１つ指定される（ステップＳ２０１）。指定した画像が重み係数の算出対象画像となる。画像が指定されると、指定した画像のノイズ量が抽出される（ステップＳ２０２）。ノイズ量の抽出は上述した抽出処理と同様の処理により行われる。例えば、指定した画像に含まれるノイズ量が少なければ、図１０に示すように、ノイズ低減前のノイズ量としてノイズ量「１０」が抽出される。 First, as shown in FIG. 9, one arbitrary image is designated from a plurality of images (step S201). The designated image is a weighting coefficient calculation target image. When the image is designated, the noise amount of the designated image is extracted (step S202). The extraction of the noise amount is performed by the same process as the extraction process described above. For example, if the amount of noise included in the designated image is small, as shown in FIG. 10, the noise amount “10” is extracted as the noise amount before noise reduction.

ノイズ量が抽出されると、次いで、重み係数が指定される（ステップＳ２０３）。指定した画像に対する重み係数が初めて指定される場合には、例えば非常に小さな重み係数（例えば「０」）が指定される。重み係数が指定されると、次いで、指定した重み係数を利用して指定した画像を補正する（ステップＳ２０４）。画像の補正は上述した補正処理と同様の処理により行われる。画像が補正されると、補正後の画像のノイズ量が抽出される（ステップＳ２０５）。上述したように、ノイズ量「１０」が抽出されていた場合、図１０に示すように、補正により補正後のノイズ量はノイズ量「１０」からわずかに低減する（重み係数「０」に対応する２つの点の内ノイズ量「１０」以下の点の方を参照）。 Once the amount of noise is extracted, a weighting factor is then designated (step S203). When the weighting factor for the designated image is designated for the first time, for example, a very small weighting factor (for example, “0”) is designated. When the weighting factor is designated, the designated image is then corrected using the designated weighting factor (step S204). Image correction is performed by a process similar to the correction process described above. When the image is corrected, the noise amount of the corrected image is extracted (step S205). As described above, when the noise amount “10” is extracted, as shown in FIG. 10, the corrected noise amount is slightly reduced from the noise amount “10” by the correction (corresponding to the weight coefficient “0”). (Refer to the point where the noise amount is “10” or less of the two points.)

次いで、補正後のノイズ量が閾値以下であるか否か判断される（ステップＳ２０６）。当該閾値は、ノイズ量の低減度合と非ぼけ画像のなまり具合いに応じて、上述した担当者によって適宜設定される。図１０に示すように、重み係数「０」が指定した場合、補正後のノイズ量は閾値以下でないため、ノイズの低減が不十分であると判断され（ステップＳ２０６：ＮＯ）、次の重み係数（例えば「０．００５」）が指定される（ステップＳ２０７）。その後、補正後のノイズ量が閾値以下になるまで、ステップＳ２０４〜Ｓ２０７の処理が行われる。これにより、図１０に示すように、補正後のノイズ量が閾値以下となる重み係数（例えば「０．０７」）が決定される。すなわち、ノイズ低減前のノイズ量がノイズ量「１０」である場合には、図１０のＡで示される重み係数が決定される。尚、例えば図１０のＡで示される重み係数より大きな重み係数（例えば「０．１」）が指定された場合、エッジの先鋭度が低下するため、当該重み係数は採用されない。 Next, it is determined whether or not the corrected noise amount is equal to or less than a threshold value (step S206). The threshold is appropriately set by the person in charge described above according to the degree of noise reduction and the degree of blurring of the non-blurred image. As shown in FIG. 10, when the weighting factor “0” is designated, the noise amount after correction is not less than or equal to the threshold value, so that it is determined that noise reduction is insufficient (step S206: NO), and the next weighting factor is determined. (For example, “0.005”) is designated (step S207). Thereafter, the processes in steps S204 to S207 are performed until the corrected noise amount is equal to or less than the threshold value. As a result, as shown in FIG. 10, a weighting coefficient (for example, “0.07”) that makes the corrected noise amount equal to or less than the threshold value is determined. That is, when the noise amount before noise reduction is the noise amount “10”, the weighting coefficient indicated by A in FIG. 10 is determined. For example, when a weighting coefficient (for example, “0.1”) larger than the weighting coefficient indicated by A in FIG. 10 is designated, the edge sharpness is lowered, and thus the weighting coefficient is not adopted.

ノイズ低減前のノイズ量と当該ノイズ量に応じた重み係数が決定されると、指定した画像のノイズ低減前のノイズ量と決定された重み係数とを関連付ける（ステップＳ２０８）。ノイズ量と重み係数が関連付けられると、全画像が完了したか否か判断される（ステップＳ２０９）。例えば、まだ重み係数の算出対象画像が残っている場合には、全画像が完了していないと判断され（ステップＳ２０９：ＮＯ）、別の画像が指定される（ステップＳ２１０）。そして、指定された別の画像のノイズ量が抽出される（ステップＳ２１１）。これにより、図１０に示すように、例えばノイズ低減前のノイズ量「２１」が抽出される。ノイズ量が抽出されると、上述したステップＳ２０３〜Ｓ２０９の処理が繰り返される。例えば、指定された別の画像に対し重み係数「０」が指定されて補正された場合ノイズが強調されるが、重み係数を段々と大きくし、補正後のノイズ量を順次抽出することで、図１０に示すように、ノイズ低減前のノイズ量「２１」に対し図１０のＢで示される重み係数（例えば「０．１５」）が決定される。尚、上述したように、例えば図１０のＢで示される重み係数より大きな重み係数（例えば「０．２」）が指定された場合、エッジの先鋭度が低下するため、当該重み係数もまた採用されない。そして、全画像が完了したと判断された場合（ステップＳ２０９：ＹＥＳ）、処理が終了する。 When the noise amount before noise reduction and the weighting coefficient corresponding to the noise amount are determined, the noise amount before noise reduction of the designated image is associated with the determined weighting coefficient (step S208). When the noise amount and the weighting coefficient are associated with each other, it is determined whether or not all the images have been completed (step S209). For example, if there are still weight coefficient calculation target images remaining, it is determined that all the images have not been completed (step S209: NO), and another image is designated (step S210). Then, the noise amount of another designated image is extracted (step S211). Thereby, as shown in FIG. 10, for example, the noise amount “21” before noise reduction is extracted. When the amount of noise is extracted, the processes of steps S203 to S209 described above are repeated. For example, when the weighting factor “0” is designated and corrected for another designated image, the noise is enhanced. By gradually increasing the weighting factor and sequentially extracting the corrected noise amount, As shown in FIG. 10, the weighting coefficient (for example, “0.15”) indicated by B in FIG. 10 is determined for the noise amount “21” before noise reduction. As described above, for example, when a weighting factor (for example, “0.2”) larger than the weighting factor indicated by B in FIG. 10 is specified, the sharpness of the edge is lowered, so that the weighting factor is also adopted. Not. If it is determined that all the images have been completed (step S209: YES), the process ends.

図１１では、ノイズ低減前のノイズ量と重み係数との複数の関係がグラフ上にプロットされている。グラフ上には上述した関係Ａ，Ｂ以外にも複数の関係がプロットされている。これらの関係を分析すると、例えばグラフ上にプロットされたすべての関係を通る関数ε＝ｆ（ｘ）を重み係数の算出式としてもよい。また、グラフ上にプロットされたすべての関係に対し最小二乗法を利用し、図１１に示すように、線形関数化した１次関数ε＝ａｘ＋ｂを重み係数の算出式としてもよい。さらに、このような関数を重み係数の算出式とせずに、複数の関係を表すルックアップテーブルを重み係数の算出式としてもよい。このように求められた重み係数算出式が撮像装置１００に搭載されるため、ノイズ量に応じた最適な重み係数が算出される。 In FIG. 11, a plurality of relationships between the noise amount and the weighting factor before noise reduction are plotted on the graph. A plurality of relationships are plotted on the graph in addition to the relationships A and B described above. When these relationships are analyzed, for example, a function ε = f (x) passing through all the relationships plotted on the graph may be used as a weighting coefficient calculation formula. Alternatively, the least square method may be used for all the relationships plotted on the graph, and as shown in FIG. 11, a linear function ε = ax + b may be used as a weighting coefficient calculation formula. Furthermore, instead of using such a function as a weighting factor calculation formula, a lookup table representing a plurality of relationships may be used as a weighting factor calculation formula. Since the weighting factor calculation formula thus obtained is mounted on the imaging apparatus 100, an optimum weighting factor corresponding to the amount of noise is calculated.

次に、図１２を参照して、上述した画像補正装置１４０を情報処理装置３００で実現する場合について説明する。 Next, a case where the above-described image correction device 140 is realized by the information processing device 300 will be described with reference to FIG.

図１２は、情報処理装置３００のハードウェア構成の一例である。情報処理装置３００しては、例えばPersonal Computer（ＰＣ）、スマートフォンを含む携帯電話機、タブレット端末などがある。 FIG. 12 is an example of a hardware configuration of the information processing apparatus 300. Examples of the information processing apparatus 300 include a personal computer (PC), a mobile phone including a smartphone, and a tablet terminal.

情報処理装置３００は、少なくともＣＰＵ３０１、ＲＡＭ３０２、Read Only Memory（ＲＯＭ）３０３及び通信Ｉ／Ｆ（インタフェース）３０４を含んでいる。情報処理装置３００は、必要に応じて、Hard Disk Drive（ＨＤＤ）３０５、入力Ｉ／Ｆ３０６、出力Ｉ／Ｆ３０７、入出力Ｉ／Ｆ３０８、ドライブ装置３０９の少なくとも１つを含んでいてもよい。これらの各機器３０１〜３０９は、内部バス３１０によって互いに接続されている。少なくともＣＰＵ３０１とＲＡＭ３０２とが協働することによってコンピュータが実現される。 The information processing apparatus 300 includes at least a CPU 301, a RAM 302, a read only memory (ROM) 303, and a communication I / F (interface) 304. The information processing apparatus 300 may include at least one of a hard disk drive (HDD) 305, an input I / F 306, an output I / F 307, an input / output I / F 308, and a drive apparatus 309 as necessary. These devices 301 to 309 are connected to each other by an internal bus 310. At least the CPU 301 and the RAM 302 cooperate to realize a computer.

入力Ｉ／Ｆ３０６には、入力装置４１０が接続される。入力装置４１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ３０７には、表示装置４２０が接続される。表示装置４２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ３０８には、半導体メモリ４３０が接続される。半導体メモリ４３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ３０８は、半導体メモリ４３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ３０６及び入出力Ｉ／Ｆ３０８は、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ３０７は、例えばディスプレイポートを備えている。 An input device 410 is connected to the input I / F 306. Examples of the input device 410 include a keyboard and a mouse.
A display device 420 is connected to the output I / F 307. An example of the display device 420 is a liquid crystal display.
A semiconductor memory 430 is connected to the input / output I / F 308. Examples of the semiconductor memory 430 include a universal serial bus (USB) memory and a flash memory. The input / output I / F 308 reads programs and data stored in the semiconductor memory 430.
The input I / F 306 and the input / output I / F 308 include, for example, a USB port. The output I / F 307 includes a display port, for example.

ドライブ装置３０９には、可搬型記録媒体４４０が挿入される。可搬型記録媒体４４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置３０９は、可搬型記録媒体４４０に記録されたプログラムやデータを読み込む。
通信Ｉ／Ｆ３０４は、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。情報処理装置３００は、通信Ｉ／Ｆ３０４を介してネットワークＮＷと接続される。 A portable recording medium 440 is inserted into the drive device 309. Examples of the portable recording medium 440 include a removable disk such as a Compact Disc (CD) -ROM and a Digital Versatile Disc (DVD). The drive device 309 reads a program and data recorded on the portable recording medium 440.
The communication I / F 304 includes, for example, a port and a physical layer chip (PHY chip). The information processing apparatus 300 is connected to the network NW via the communication I / F 304.

上述したＲＡＭ３０２は、ＲＯＭ３０３やＨＤＤ３０５に記憶されたプログラムを読み込む。ＲＡＭ３０２は、可搬型記録媒体４４０に記録されたプログラムを読み込む。読み込まれたプログラムをＣＰＵ３０１が実行することにより、上述した各種の動作が実行される。尚、プログラムは上述したフローチャートに応じたものとすればよい。以上説明した情報処理装置３００によっても、ぼけ画像を高精度に補正することができる。 The RAM 302 described above reads a program stored in the ROM 303 or the HDD 305. The RAM 302 reads a program recorded on the portable recording medium 440. When the CPU 301 executes the read program, the various operations described above are executed. In addition, what is necessary is just to make a program according to the flowchart mentioned above. The information processing apparatus 300 described above can also correct a blurred image with high accuracy.

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、２つの機能を１つの機能で実現してもよいし、１つの機能を２つ以上の機能に分散してもよい。また、上述した差分画像は１次元の波形図を利用して説明したが、２次元の差分画像でも同様である。さらに、上述した図１０では１つの閾値が設定されたが、当該閾値より下に別の閾値が設けられてもよい。当該別の閾値はエッジの先鋭度を判定するための閾値である。別の閾値により、図１０のＡやＢにおける重み係数（例えば「０．０７」や「０．１５」）を超える重み係数（例えば「０．１」や「０．２」）が排除される。すなわち、閾値と別の閾値との間に存在する重み係数（例えば「０．０７」や「０．１５」）だけが決定される。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to the specific embodiments according to the present invention, and various modifications are possible within the scope of the gist of the present invention described in the claims.・ Change is possible. For example, two functions may be realized by one function, or one function may be distributed to two or more functions. The above-described difference image has been described using a one-dimensional waveform diagram, but the same applies to a two-dimensional difference image. Furthermore, although one threshold value is set in FIG. 10 described above, another threshold value may be provided below the threshold value. The other threshold value is a threshold value for determining the sharpness of the edge. Another threshold value eliminates a weight coefficient (for example, “0.1” or “0.2”) that exceeds the weight coefficient (for example, “0.07” or “0.15”) in A or B of FIG. . That is, only the weighting coefficient (for example, “0.07” or “0.15”) existing between the threshold and another threshold is determined.

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正方法であって、前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、を有する画像補正方法。
（付記２）前記算出ステップは、前記ノイズ量の増加に応じて前記重み係数を増加することを特徴とする付記１に記載の画像補正方法。
（付記３）前記算出ステップは、前記ノイズ量と前記重み係数との関係を関数化した関数情報に基づいて、前記重み係数を算出することを特徴とする付記１又は２に記載の画像補正方法。
（付記４）前記算出ステップは、前記ノイズ量と前記重み係数との関係を線形関数化した線形関数情報に基づいて、前記重み係数を算出することを特徴とする付記３に記載の画像補正方法。
（付記５）前記算出ステップは、前記ノイズ量と前記重み係数との対応表を表す対応表情報に基づいて、前記重み係数を算出することを特徴とする付記１又は２に記載の画像補正方法。
（付記６）前記抽出ステップは、前記差分における輝度勾配に基づいて信号対雑音比を算出し、前記信号対雑音比とノイズの標準偏差との関係を表す数式を利用して、算出した前記信号対雑音比に応じたノイズの標準偏差をノイズ量として抽出することを特徴とする付記１から５のいずれか１項に記載の画像補正方法。 In addition, the following additional notes are disclosed regarding the above description.
(Supplementary Note 1) An image correction method for correcting the image using blur information representing a degree of blur of the image and a weighting factor that determines a degree of reducing the amount of noise included in the image. An extraction step for extracting the amount of noise based on a difference between a first differential image obtained from the image before noise reduction and a second differential image obtained from the image after noise reduction; An image correction method comprising: a calculation step of calculating the weighting coefficient according to the amount of noise extracted in the extraction step.
(Supplementary note 2) The image correction method according to supplementary note 1, wherein the calculating step increases the weighting factor in accordance with an increase in the amount of noise.
(Supplementary note 3) The image correction method according to Supplementary note 1 or 2, wherein the calculation step calculates the weighting factor based on function information obtained by functionalizing a relationship between the noise amount and the weighting factor. .
(Supplementary note 4) The image correction method according to supplementary note 3, wherein the calculating step calculates the weighting factor based on linear function information obtained by linearizing a relationship between the noise amount and the weighting factor. .
(Supplementary Note 5) The image correction method according to Supplementary Note 1 or 2, wherein the calculation step calculates the weighting factor based on correspondence table information representing a correspondence table between the noise amount and the weighting factor. .
(Supplementary Note 6) The extraction step calculates a signal-to-noise ratio based on a luminance gradient in the difference, and calculates the signal using a mathematical expression representing a relationship between the signal-to-noise ratio and a standard deviation of noise. The image correction method according to any one of appendices 1 to 5, wherein a standard deviation of noise corresponding to a noise-to-noise ratio is extracted as a noise amount.

１００撮像装置
１４０画像補正装置
１４１ＲＡＷメモリ
１４２ノイズ量抽出部（抽出手段）
１４３設定部
１４４重み係数算出部（算出手段）
１４５画像補正部 DESCRIPTION OF SYMBOLS 100 Imaging device 140 Image correction device 141 RAW memory 142 Noise amount extraction part (extraction means)
143 Setting unit 144 Weight coefficient calculation unit (calculation means)
145 Image correction unit

Claims

画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正装置であって、
前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出手段と、
前記抽出手段によって抽出されたノイズ量に応じた前記重み係数を算出する算出手段と、
を有する画像補正装置。 An image correction apparatus that corrects the image using blur information that represents a degree of blur of the image and a weighting factor that determines the degree of reduction in the amount of noise included in the image,
Extraction means for extracting the amount of noise based on a difference between a first differential image obtained from the image before reducing the noise and a second differential image obtained from the image after reducing the noise When,
Calculating means for calculating the weighting coefficient according to the amount of noise extracted by the extracting means;
An image correction apparatus.

前記算出手段は、前記ノイズ量の増加に応じて前記重み係数を増加することを特徴とする請求項１に記載の画像補正装置。 The image correction apparatus according to claim 1, wherein the calculation unit increases the weighting factor according to an increase in the noise amount.

前記算出手段は、前記ノイズ量と前記重み係数との関係を関数化した関数情報に基づいて、前記重み係数を算出することを特徴とする請求項１又は２に記載の画像補正装置。 The image correction apparatus according to claim 1, wherein the calculation unit calculates the weighting coefficient based on function information obtained by functionalizing a relationship between the noise amount and the weighting coefficient.

前記算出手段は、前記ノイズ量と前記重み係数との関係を線形関数化した線形関数情報に基づいて、前記重み係数を算出することを特徴とする請求項３に記載の画像補正装置。 The image correction apparatus according to claim 3, wherein the calculation unit calculates the weighting factor based on linear function information obtained by linearizing a relationship between the noise amount and the weighting factor.

前記算出手段は、前記ノイズ量と前記重み係数との対応表を表す対応表情報に基づいて、前記重み係数を算出することを特徴とする請求項１又は２に記載の画像補正装置。 The image correction apparatus according to claim 1, wherein the calculation unit calculates the weighting factor based on correspondence table information representing a correspondence table between the noise amount and the weighting factor.

前記抽出手段は、前記差分における輝度勾配に基づいて信号対雑音比を算出し、前記信号対雑音比とノイズの標準偏差との関係を表す数式を利用して、算出した前記信号対雑音比に応じたノイズの標準偏差をノイズ量として抽出することを特徴とする請求項１から５のいずれか１項に記載の画像補正装置。 The extraction means calculates a signal-to-noise ratio based on a luminance gradient in the difference, and uses the mathematical expression representing a relationship between the signal-to-noise ratio and a standard deviation of noise to calculate the calculated signal-to-noise ratio. 6. The image correction apparatus according to claim 1, wherein a standard deviation of the corresponding noise is extracted as a noise amount.

画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像を補正する画像補正方法であって、
前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、
前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、
を有する画像補正方法。 An image correction method that corrects the image using blur information that represents a degree of blur of the image and a weighting factor that determines the degree of reduction in the amount of noise included in the image,
An extraction step for extracting the amount of noise based on a difference between a first differential image obtained from the image before reducing the noise and a second differential image obtained from the image after reducing the noise. When,
A calculation step of calculating the weighting factor according to the amount of noise extracted by the extraction step;
An image correction method comprising:

画像のぼけの程度を表すぼけ情報と前記画像に含まれるノイズのノイズ量を低減する度合を決定する重み係数とを利用して前記画像をコンピュータに補正させる画像補正プログラムであって、
前記コンピュータに、
前記ノイズを低減する前の前記画像から得られる第１の微分画像と前記ノイズを低減した後の前記画像から得られる第２の微分画像との差分に基づいて、前記ノイズ量を抽出する抽出ステップと、
前記抽出ステップによって抽出されたノイズ量に応じた前記重み係数を算出する算出ステップと、
を実行させるための画像補正プログラム。 An image correction program for causing a computer to correct the image using blur information representing the degree of blur of the image and a weighting factor that determines the degree of reduction in the amount of noise included in the image,
In the computer,
An extraction step for extracting the amount of noise based on a difference between a first differential image obtained from the image before reducing the noise and a second differential image obtained from the image after reducing the noise. When,
A calculation step of calculating the weighting factor according to the amount of noise extracted by the extraction step;
An image correction program for executing