JP2006339957A - Image correction device - Google Patents

Image correction device Download PDF

Info

Publication number
JP2006339957A
JP2006339957A JP2005161173A JP2005161173A JP2006339957A JP 2006339957 A JP2006339957 A JP 2006339957A JP 2005161173 A JP2005161173 A JP 2005161173A JP 2005161173 A JP2005161173 A JP 2005161173A JP 2006339957 A JP2006339957 A JP 2006339957A
Authority
JP
Japan
Prior art keywords
pixel
edge
correlation
reference area
signal value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005161173A
Other languages
Japanese (ja)
Inventor
Naoko Okubo
直子 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2005161173A priority Critical patent/JP2006339957A/en
Publication of JP2006339957A publication Critical patent/JP2006339957A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image correction device which reduces noise of an image by eliminating the effect of pixels having much noise. <P>SOLUTION: An image correction device which is provided to an image information output means comprising an imaging means 101, a computing unit 102, and a memory 103 as constituent elements and reduces noise of an image includes: setting a degree of correlation between the pixel signal value of a pixel present in a reference area nearby the pixel of interest and the pixel signal value of the pixel of interest as the degree of correlation of the pixel on the basis of relative positions of the pixel and the pixel of interest; setting reliability of the pixel signal value of the pixel present in the reference area as reliability of the pixel on the basis of the sensitivity of a pixel element corresponding to the pixel; and correcting the pixel signal value of the pixel of interest by using the pixel signal value, the degree of correlation, and reliability of the pixel present in the reference area. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は画像補正装置に関する。   The present invention relates to an image correction apparatus.

従来、画像ノイズの低減方法についての提案がなされている。例えば、下記特許文献１には、画像の輪郭を損なうことなく、迅速に画像上のノイズを低減、除去し、自然で滑らかな色再現を行うために、注目画素がエッジに含まれる場合、エッジに沿った楕円形のメディアンフィルタを用いた平滑化処理を実行する方法が記述されている。   Conventionally, proposals have been made for methods for reducing image noise. For example, in Patent Document 1 below, when a pixel of interest is included in an edge in order to quickly reduce and remove noise on the image without damaging the contour of the image and perform natural and smooth color reproduction, Describes a method of performing a smoothing process using an elliptical median filter.

特開２００４−２１４７５６号公報JP 2004-214756 A

しかしながら、上記特許文献１に記載の画像ノイズの低減方法においては、ノイズを含む画素を除外せずに補正するので、ノイズが多い画像ではノイズを含む画素の画素信号値が反映されてしまうため、ノイズの除去および低減が困難になる、という問題点があった。   However, in the method for reducing image noise described in Patent Document 1, correction is performed without excluding pixels including noise, and therefore the pixel signal value of pixels including noise is reflected in an image having a lot of noise. There is a problem that it is difficult to remove and reduce noise.

本発明は上記の問題に鑑みてなされたものであり、本発明が解決しようとする課題は、ノイズが多い画素の影響を排除して画像のノイズを低減する画像補正装置を提供することである。   The present invention has been made in view of the above problems, and a problem to be solved by the present invention is to provide an image correction apparatus that eliminates the influence of noisy pixels and reduces image noise. .

画素信号値を補正する対象となっている画素、すなわち、注目画素の近傍に、該補正に用いる画素が存在する参照領域を設定し、さらに、該参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置関係に基づいて設定し、前記参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定し、前記参照領域内に存在する画素の画素信号値、前記相関度および前記信頼度を用いて前記注目画素の画素信号値を補正することを特徴とする画像補正装置を構成する。   A reference region in which a pixel used for correction is set in the vicinity of a pixel that is a target for correcting a pixel signal value, that is, a pixel of interest, and a pixel signal value of a pixel that exists in the reference region The degree of correlation with the pixel signal value of the pixel of interest is set as the degree of correlation of the pixel based on the relative positional relationship between the pixel and the pixel of interest, and the pixel signal value of the pixel existing in the reference region The reliability is set as the reliability of the pixel based on the sensitivity of the pixel element corresponding to the pixel, and the pixel signal value of the pixel existing in the reference region, the correlation and the reliability are used. An image correction apparatus that corrects a pixel signal value of a pixel of interest is configured.

本発明の実施によって、ノイズが多い画素の影響を排除して画像のノイズを低減する画像補正装置を提供することが可能となる。   By implementing the present invention, it is possible to provide an image correction apparatus that reduces the noise of an image by eliminating the influence of a noisy pixel.

本発明に係る画像補正装置は、画像のノイズを低減する画像補正装置であって、注目画素近傍の参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置関係に基づいて設定する相関度設定手段と、前記参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定する信頼度設定手段と、前記参照領域内に存在する画素の画素信号値、前記相関度および前記信頼度を用いて前記注目画素の画素信号値を補正する画素信号値補正手段とを備えることを特徴とする。   An image correction apparatus according to the present invention is an image correction apparatus that reduces image noise, and calculates a correlation between a pixel signal value of a pixel existing in a reference region near a target pixel and a pixel signal value of the target pixel. The correlation degree setting means for setting the correlation degree of the pixel based on the relative positional relationship between the pixel and the pixel of interest, and the reliability of the pixel signal value of the pixel existing in the reference area, The reliability pixel is set using the reliability setting means for setting the reliability based on the sensitivity of the pixel element corresponding to the pixel, the pixel signal value of the pixel existing in the reference area, the correlation, and the reliability. And a pixel signal value correcting means for correcting the pixel signal value.

ここで、「注目画素」は、画素信号値を補正する対象となっている画素を意味し、「参照領域」は、画素信号値が前記注目画素の画素信号値の補正に用いられるような画素が存在する領域を意味し、「画素素子」は、入力信号を個々の画素信号に変換する変換素子を意味し、画素素子と画素とは１対１に対応しているものとし、「感度」は画素素子である変換素子の変換効率を意味している。   Here, the “target pixel” means a pixel whose pixel signal value is to be corrected, and the “reference region” is a pixel whose pixel signal value is used for correcting the pixel signal value of the target pixel. The “pixel element” means a conversion element that converts an input signal into individual pixel signals. The pixel element and the pixel have a one-to-one correspondence. Means the conversion efficiency of the conversion element which is a pixel element.

このような構成によって、注目画素と補正に用いる画素との相対位置関係に基づく相関度を考慮した補正処理において、注目画素に近い画素、すなわち、注目画素と同じ対象物が撮像されている可能性が高い画素に対して高い相関度を設定することによって、画像中の領域形状を乱すことなく補正ができる。   With such a configuration, there is a possibility that a pixel close to the target pixel, that is, the same object as the target pixel is captured in the correction processing in consideration of the degree of correlation based on the relative positional relationship between the target pixel and the pixel used for correction. By setting a high degree of correlation with respect to a pixel having a high value, correction can be performed without disturbing the shape of the region in the image.

また、補正に用いる画素の画素信号値の信頼度を、対応する画素素子の感度に基づき、画素素子の感度が高ければその画素の信頼度も高くなるように設定することによって、信頼度が低い画素素子に対応する画素、すなわち、画素素子の感度が低く、大きいノイズが発生し得る画素の画素信号値が、注目画素の補正に反映される程度が弱く、また、感度が高く、ノイズが小さい画素素子に対応する画素の画素信号値が、注目画素の補正に、より強く反映されるようになるため、画素素子の感度が低く、大きいノイズが発生し得る画素数の割合が多い画像であっても、より精度の高い補正を行うことができる。   In addition, the reliability of the pixel signal value of the pixel used for correction is low based on the sensitivity of the corresponding pixel element, so that if the sensitivity of the pixel element is high, the reliability of the pixel is also high. The pixel signal value of the pixel corresponding to the pixel element, that is, the pixel element with low pixel element sensitivity and large noise may be reflected in the correction of the target pixel, and the sensitivity is high and the noise is small. Since the pixel signal value of the pixel corresponding to the pixel element is more strongly reflected in the correction of the target pixel, the sensitivity of the pixel element is low, and the image has a high ratio of the number of pixels that can generate large noise. However, more accurate correction can be performed.

また、前記相関度および信頼度を共に考慮した補正を行うので、大きいノイズが発生し得る画素数の割合が多い画像であっても、画像中の領域形状を乱すことなく、かつ、精度の高い補正を行うことができる。   In addition, since the correction is performed in consideration of both the degree of correlation and the degree of reliability, even an image having a large ratio of the number of pixels that may generate a large noise does not disturb the shape of the region in the image and has high accuracy. Correction can be performed.

以下に、温度画像の時系列画像のノイズ低減を実施の形態例として、本発明を詳細に説明する。本実施の形態例では、温度値（画素素子が出力する画素信号値）にノイズが大きく乗っている画素が多く存在し、且つ画素数が少ない画像の、ノイズ低減を目的とする。   In the following, the present invention will be described in detail by taking noise reduction of a time-series image of temperature images as an embodiment. In this embodiment, an object is to reduce noise of an image in which there are many pixels with large noise on the temperature value (pixel signal value output from the pixel element) and the number of pixels is small.

なお、本実施の形態例では温度画像を対象とするが、本発明は、これに限るものではなく、他の２次元画像データのノイズ低減を行う画像補正装置であってもよい。   Although the present embodiment is directed to temperature images, the present invention is not limited to this, and may be an image correction apparatus that performs noise reduction of other two-dimensional image data.

図１に、本実施の形態例の構成概略図を示す。図において、撮像手段１０１は、本実施の形態例では、電子式遠赤外線カメラであるとするが、その他の撮像手段、例えば、可視光や近赤外線の電子式カメラであってもよい。   FIG. 1 shows a schematic configuration diagram of the present embodiment. In the figure, the imaging means 101 is an electronic far-infrared camera in this embodiment, but may be other imaging means, for example, a visible light or near-infrared electronic camera.

メモリ１０３には、撮像手段１０１の各画素素子の感度が記録されている。演算器１０２は、メモリ１０３に記憶された情報に基づき、撮像手段１０１で得られた画像の補正演算を行う。また、不図示の出力手段によって、演算器１０２で補正された画像情報を出力する。   In the memory 103, the sensitivity of each pixel element of the imaging unit 101 is recorded. The computing unit 102 performs a correction calculation of the image obtained by the imaging unit 101 based on the information stored in the memory 103. Further, the image information corrected by the computing unit 102 is output by an output unit (not shown).

本実施の形態例において、演算器１０２には、上記の相関度設定手段、信頼度設定手段および画素信号値補正手段が具備されている。   In the present embodiment, the computing unit 102 includes the correlation degree setting means, the reliability setting means, and the pixel signal value correction means.

さらに、本実施の形態例においては、前記相関度設定手段は、前記参照領域にエッジが存在すると判断するか、前記参照領域にエッジが存在しないと判断するか、または、前記参照領域にエッジが存在するか否かが判定困難であると判断するエッジ関連判断手段を具備している。ここで、「エッジ」は、画面中の物体像の輪郭を意味する。   Further, in the present embodiment, the correlation setting unit determines that an edge exists in the reference area, determines that no edge exists in the reference area, or has an edge in the reference area. Edge-related determining means for determining whether or not it is present is difficult. Here, “edge” means the contour of an object image on the screen.

前記相関度設定手段は、エッジ関連判断手段によって、参照領域にエッジが存在すると判断された場合には、注目画素を通りエッジに平行な直線と参照領域内に存在する画素との距離に基づいて該画素の前記相関度を設定し、エッジ関連判断手段によって、参照領域にエッジが存在しないと判断された場合には、参照領域内の全ての画素の相関度として同一の値を設定し、エッジ関連判断手段によって、参照領域にエッジが存在するか否かが判定困難であると判断された場合には、注目画素と参照領域内の各画素との直線距離に基づき該画素の相関度を設定する。ここで、「注目画素を通り」は、注目画素の位置を表す点（ここでは、注目画素の中心、すなわち、下記位置座標（ｉａ，ｊａ）で表される点であるとする）を通ることを意味し、「直線と参照領域内に存在する画素との距離」は、参照領域内に存在する画素の位置を表す点（ここでは、注目画素の中心、すなわち、下記位置座標（ｉ，ｊ）で表される点であるとする）から直線に下した垂線の長さを意味する。「注目画素と参照領域内の各画素との直線距離」は、それぞれの画素の位置を表す点の間の直線距離を意味する。 The correlation setting means, when the edge relation determination means determines that an edge exists in the reference area, based on the distance between the straight line passing through the target pixel and the pixel existing in the reference area. The correlation degree of the pixel is set, and when the edge-related determining unit determines that no edge exists in the reference area, the same value is set as the correlation degree of all the pixels in the reference area. When it is determined by the related determination means that it is difficult to determine whether an edge exists in the reference area, the correlation degree of the pixel is set based on the linear distance between the target pixel and each pixel in the reference area To do. Here, “pass through the target pixel” is a point representing the position of the target pixel (here, the center of the target pixel, ie, a point represented by the following position coordinates (i a , j a )). The “distance between the straight line and the pixel existing in the reference region” is a point representing the position of the pixel existing in the reference region (here, the center of the target pixel, that is, the following position coordinates (i , J) means the length of a perpendicular line drawn from a straight line. “Linear distance between the pixel of interest and each pixel in the reference area” means a linear distance between points representing the positions of the respective pixels.

図２から図９に、本実施の形態例の作用を示す。   2 to 9 show the operation of this embodiment.

図２に、本実施の形態例のフローチャートを示す。   FIG. 2 shows a flowchart of this embodiment.

処理Ｓ２０１では、所定の事象をトリガーとして処理を開始する。例えば、撮像手段１０１の電源投入時をトリガーとする。なお、トリガーはこれに限るものではない。   In the process S201, the process is started with a predetermined event as a trigger. For example, a trigger is when the image pickup unit 101 is turned on. The trigger is not limited to this.

処理Ｓ２０２では、撮像手段で撮像した画像をメモリ１０３に取り込む。取り込んだ画像において、画面左上から右方向にｉ番目の画素、下にｊ番目の画素（ｉ，ｊ）における画素信号値をＴｉｊとする。 In step S <b> 202, the image captured by the imaging unit is taken into the memory 103. In the captured image, the pixel signal value at the i-th pixel in the right direction from the upper left of the screen and the j-th pixel (i, j) below is T ij .

処理Ｓ２０３では、注目画素を設定する。注目画素の位置座標を（ｉａ，ｊａ）とする。注目画素とは、補正対象の画素のことである。設定方法は、例えば、画面中の全画素を補正する場合には、画面左上端を開始点として、注目画素を順次更新していく。他にも、対応する画素素子の感度が所定の閾値以下である画素のみを補正対象として抽出することも考えられる。なお、注目画素の設定方法は、これらに限定されるものではない。 In step S203, a target pixel is set. Let the position coordinates of the pixel of interest be (i a , j a ). A target pixel is a pixel to be corrected. In the setting method, for example, when correcting all the pixels in the screen, the target pixel is sequentially updated with the upper left corner of the screen as a starting point. In addition, it may be possible to extract only pixels whose sensitivity of the corresponding pixel element is equal to or lower than a predetermined threshold as a correction target. Note that the pixel-of-interest setting method is not limited to these.

処理Ｓ２０４では、参照領域を設定する。具体的には、参照領域の幅ＲｘおよびＲｙを設定する。注目画素と参照領域との関係を、図３を用いて説明する。図３の３０１は撮像された取得画像であり、３０２は注目画素であり、３０３は参照領域である。図３に示すように、参照領域の幅ＲｘおよびＲｙとは縦方向および横方向の画素数である。図３の例では、Ｒｘ＝５、Ｒｙ＝７となる。ＲｘおよびＲｙの設定方法は、例えば、予め所定の値をメモリに保存しておいてこれを参照する。   In process S204, a reference area is set. Specifically, reference area widths Rx and Ry are set. The relationship between the target pixel and the reference area will be described with reference to FIG. In FIG. 3, reference numeral 301 denotes a captured image, 302 denotes a target pixel, and 303 denotes a reference area. As shown in FIG. 3, the widths Rx and Ry of the reference region are the numbers of pixels in the vertical and horizontal directions. In the example of FIG. 3, Rx = 5 and Ry = 7. For the setting method of Rx and Ry, for example, a predetermined value is stored in a memory in advance and referred to.

なお、参照領域幅の取得方法はこれに限定されるものではない。例えば、参照領域内に存在すべき有効画素数が予め決まっている場合には、（参照領域内に存在して欲しい有効画素数）／（参照領域の画素数）＝（入力画像全画素中における有効画素数）／（入力画像全画素数）となるように、参照領域の大きさを定めても構わない。なお、ここで言う有効画素とは、対応する画素素子の感度が所定の閾値よりも大きい画素、すなわち、その画素の画素信号値にはノイズがあまり含まれず、画素信号値の信頼性が高いといえる画素のことである。   Note that the reference area width acquisition method is not limited to this. For example, when the number of effective pixels to be present in the reference area is determined in advance, (number of effective pixels desired to be present in the reference area) / (number of pixels in the reference area) = (total number of pixels in the input image) The size of the reference area may be determined so that the number of effective pixels) / (total number of pixels in the input image). The effective pixel referred to here is a pixel in which the sensitivity of the corresponding pixel element is larger than a predetermined threshold, that is, the pixel signal value of the pixel does not include much noise, and the pixel signal value has high reliability. It is a pixel that can be said.

処理Ｓ２０５では、処理対象の画像が、処理開始から２回目以降に取得した画像であるか判定し、２回目以降であれば処理Ｓ２０６に、１回目であれば処理Ｓ２１６に移行する。   In process S205, it is determined whether the image to be processed is an image acquired for the second time or later from the start of the process, and if it is the second or later, the process proceeds to process S206, and if it is the first time, the process proceeds to process S216.

処理Ｓ２０６では、注目画素のエッジ指標を算出する。エッジ指標をＥａとおくと、Ｅａは次式で与えられる。

Ｅａ ＝ Σδｉｊ （式１）

ここで、Σδｉｊは、参照領域に含まれる画素（ｉ，ｊ）（このように、画素を、その位置座標で表す、以下同様）全てについてのδｉｊの総和を表す。また、δｉｊは、下記（式２）で与えられる。

δｉｊ ＝ ０（Ｓｉｊ ＝ −１のとき）
δｉｊ ＝ １（その他のとき） （式２）

ここで、Ｓｉｊは、前回の処理周期において、後段の処理Ｓ２１４で求めるエッジ傾き画像の、画素（ｉ，ｊ）における値である。Ｓｉｊ ＝ −１であれば、画素（ｉ，ｊ）はエッジに含まれないことを意味する。Ｓｉｊ ＝ 0〜360 であれば、画素（ｉ，ｊ）は、傾き角度Ｓｉｊ（単位：度）のエッジ成分（エッジ部分に位置する画素）であることを意味する。図４の（ｂ）に、Ｓｉｊのマップ（数値の分布図）の一例を示す。なお、エッジ角度は、画面座標軸におけるｊ方向を0度とし、反時計回り方向を正方向とする（図８参照）。 In step S206, an edge index of the target pixel is calculated. Assuming that the edge index is Ea, Ea is given by the following equation.

Ea = Σδ ij (Formula 1)

Here, Σδ ij represents the total sum of δ ij for all the pixels (i, j) included in the reference area (in this way, the pixels are represented by their position coordinates, and so on). Δ ij is given by the following (formula 2).

δ ij = 0 (when S ij = −1)
δ ij = 1 (other time) (Formula 2)

Here, S ij is a value at the pixel (i, j) of the edge tilt image obtained in the subsequent processing S214 in the previous processing cycle. If S ij = −1, it means that the pixel (i, j) is not included in the edge. If S ij = 0 to 360, it means that the pixel (i, j) is an edge component (pixel located at the edge portion) of the inclination angle S ij (unit: degree). FIG. 4B shows an example of a map of Sij (distribution diagram of numerical values). The edge angle is set to 0 degree in the j direction on the screen coordinate axis and the positive direction in the counterclockwise direction (see FIG. 8).

よって、エッジ指標Ｅａとは、参照領域内に、エッジに含まれる画素が何画素存在するのかを示す値である。図４の（ｂ）の例では、Ｅａ＝１６となる。   Therefore, the edge index Ea is a value indicating how many pixels included in the edge exist in the reference area. In the example of FIG. 4B, Ea = 16.

エッジ角度画像の求め方については、後述する。   A method for obtaining the edge angle image will be described later.

処理Ｓ２０７では、エッジ指標Ｅａが下記（式３）の条件を満たすか判定する。   In step S207, it is determined whether the edge index Ea satisfies the following condition (Formula 3).

Ｅａ ＞ ΘＥ （式３）

ここでΘＥは所定の閾値である。条件（式３）を満たせば、これは前記エッジ関連判断手段が参照領域にエッジが存在すると判断した場合であるので、処理Ｓ２０８に移行し、満たさなければ処理Ｓ２１５に移行する。

処理Ｓ２１５では、エッジ指標Ｅａが下記（式４）の条件を満たすか判定する。 Ea> Θ E (Formula 3)

Here, Θ E is a predetermined threshold value. If the condition (Equation 3) is satisfied, this is a case where the edge-related determining means determines that an edge exists in the reference region, so the process proceeds to step S208, and if not satisfied, the process proceeds to step S215.

In step S215, it is determined whether the edge index Ea satisfies the following condition (Formula 4).

Ｅａ ＜ ΘＮ （式４）

ここでΘＮは所定の閾値であり、ΘＥ ＞ ΘＮを満たす値である。条件（式４）を満たせば、これは前記エッジ関連判断手段が参照領域にエッジが存在しないと判断した場合であるので、処理Ｓ２１７に移行し、満たさなければ、これは前記エッジ関連判断手段が参照領域にエッジが存在するか否かが判定困難であると判断した場合であるので、処理Ｓ２１６に移行する。 Ea <Θ N (Formula 4)

Where theta N is a predetermined threshold value is a value that satisfies Θ E> Θ N. If the condition (Equation 4) is satisfied, this is a case where the edge-related determining means determines that no edge exists in the reference region. Therefore, the process proceeds to step S217. Since it is determined that it is difficult to determine whether an edge exists in the reference area, the process proceeds to step S216.

処理Ｓ２０６、Ｓ２０７、Ｓ２１５の補足説明を行う。対象画像が時系列画像であり、かつ、撮像対象の動きに対して画像取り込み間隔が十分に短いことが保証されている場合には、ある参照領域内にエッジが存在する可能性は、前回取り込んだ画像の同じ参照領域内にエッジ画素（エッジに含まれる画素）が多ければ高くなるし、逆にエッジ画素が少なければ低くなる。つまり、エッジが存在する可能性が十分に高ければ処理Ｓ２０８およびＳ２０９に、エッジの有無の判定が困難な場合には処理Ｓ２１６に、エッジが無いと判断できる場合には処理Ｓ２１７に移行する。   A supplementary explanation of the processes S206, S207, and S215 will be given. If the target image is a time-series image and it is guaranteed that the image capture interval is sufficiently short relative to the movement of the imaging target, the possibility that an edge exists in a certain reference area is captured the previous time. The higher the number of edge pixels (pixels included in the edge) in the same reference area of the image, the lower the number of edge pixels. That is, if the possibility that an edge exists is sufficiently high, the process proceeds to steps S208 and S209. If it is difficult to determine the presence or absence of an edge, the process proceeds to step S216. If it can be determined that there is no edge, the process proceeds to step S217.

Ｓ２０８およびＳ２０９は、参照領域内にエッジが存在する場合の処理である。 処理Ｓ２０８では、エッジが存在する場合に、エッジ角度も考慮した補正を行うため、参照領域内の平均エッジ傾き角度を算出する。前述した、前回の処理結果で得られたエッジ角度に対し、参照領域内での平均傾き角度θａを求める。θａは下記（式５）で与えられる。

θａ ＝ Σ{(δｉｊ×Ｓｉｊ)}/Σδｉｊ （式５）

ここで、Σ{Ｘ｝は、参照領域に含まれる画素（ｉ，ｊ）全てについてのＸの総和を表し、δｉｊは、上記（式２）で与えられる。 S208 and S209 are processes performed when an edge exists in the reference area. In process S208, when an edge exists, the average edge inclination angle in the reference region is calculated in order to perform correction in consideration of the edge angle. Aforementioned, with respect to edge angle obtained in the previous processing results, obtaining the average inclination angle theta a in the reference area. theta a is given by the following equation (5).

θ a = Σ {(δ ij × S ij )} / Σδ ij (Formula 5)

Here, Σ {X} represents the total sum of X for all the pixels (i, j) included in the reference region, and δ ij is given by the above (Equation 2).

処理Ｓ２０９では、参照領域内の各画素（ｉ，ｊ）に対して、距離指標Ｄｉｊ ＝ Ｇ(θａ，ｉ，ｊ）を算出する。ここで、距離指標Ｄｉｊは、注目画素（ｉａ，ｊａ）を通る傾き角度θａの直線と、画素の位置（ｉ，ｊ）との距離（画素の位置（ｉ，ｊ）から該直線に下した垂線の長さ）であり（図５参照）、（式６）で与えられる。

Ｄｉｊ ＝ Ｇ(θａ，ｉ，ｊ)
＝ |(ｉ−ｉａ)ｃｏｓθａ − (ｊ−ｊａ)ｓｉｎθａ| （式６）

ここに、｜Ｘ｜はＸの絶対値を表す。 In the process S209, a distance index D ij = G (θ a , i, j) is calculated for each pixel (i, j) in the reference area. Here, the distance index D ij is calculated from the distance (pixel position (i, j)) between the straight line having the inclination angle θ a passing through the pixel of interest (i a , j a ) and the pixel position (i, j). (The length of a perpendicular line) (see FIG. 5) and is given by (Equation 6).

D ij = G (θ a , i, j)
= | (Ii a ) cos θ a − (j−j a ) sin θ a | (Formula 6)

Here, | X | represents the absolute value of X.

処理Ｓ２１６では、エッジの有無が曖昧な場合、すなわち、前記エッジ関連判断手段が参照領域にエッジが存在するか否かが判定困難であると判断した場合に、距離指標Ｄｉｊを算出する処理である。エッジの有無が曖昧であるため、注目画素に近い画素の画素信号値ほど、注目画素の補正後の画素信号値に反映されるように重み付けを行う。距離指標Ｄｉｊは、注目画素と参照領域内の画素（ｉ，ｊ）との距離であり（図６参照）、下記（式７）で与えられる。

Ｄｉｊ ＝ Ｇ(ｉ，ｊ)
＝ ＳＱＲ{(ｉ−ｉａ)２ ＋（ｊ−ｊａ)２} （式７）

ここに、ＳＱＲ{Ｘ}はＸの平方根を表す。 In the process S216, when the presence or absence of an edge is ambiguous, that is, when the edge-related determining unit determines that it is difficult to determine whether or not an edge exists in the reference region, a process of calculating a distance index D ij is performed. is there. Since the presence or absence of an edge is ambiguous, weighting is performed so that the pixel signal value of a pixel closer to the target pixel is reflected in the corrected pixel signal value of the target pixel. The distance index D ij is the distance between the target pixel and the pixel (i, j) in the reference area (see FIG. 6), and is given by the following (formula 7).

D ij = G (i, j)
= SQR {(i− a a ) 2 + (j−j a ) 2 } (Expression 7)

Here, SQR {X} represents the square root of X.

処理Ｓ２１７は、前記エッジ関連判断手段が参照領域にエッジが存在しないと判断した場合の処理である。エッジが無いため、参照領域内の全画素がほぼ等しい画素信号値を持つと見なすことが出来る。そのため、注目画素の補正に参照領域内のある画素の値を用いるのに際し、注目画素とその画素との距離に応じて、その画素の画素信号値が注目画素の補正後の値に反映される程度を変化させる必要がない。よって、Ｄｉｊを下記（式８）によって算出する。

Ｄｉｊ ＝ １ （式８）

処理Ｓ２１０では、参照領域内の各画素について、注目画素との相関度を求める。画素（ｉ，ｊ）の相関度をＲｉｊとすると、本実施の形態例では、Ｒｉｊを次式で与えるものとする。 Process S217 is a process performed when the edge-related determining unit determines that no edge exists in the reference area. Since there is no edge, it can be considered that all the pixels in the reference region have substantially the same pixel signal value. Therefore, when the value of a certain pixel in the reference area is used for correcting the target pixel, the pixel signal value of the target pixel is reflected in the corrected value of the target pixel according to the distance between the target pixel and the pixel. There is no need to change the degree. Therefore, D ij is calculated by the following (formula 8).

D ij = 1 (Formula 8)

In step S210, the degree of correlation with the target pixel is obtained for each pixel in the reference area. Assuming that the correlation degree of the pixel (i, j) is R ij , in the present embodiment, R ij is given by the following equation.

Ｒｉｊ ＝ β／(Ｄｉｊ＋ｄ） （式９）
ここで、βは任意の係数値であり、ｄは０での割算を防ぐための正数である。
なお、相関度の算出法は（式９）に限定されるものではなく、例えば距離指標を変数としたガウス分布に従ってＲｉｊ ＝ ｅｘｐ{−Ｄｉｊ ２/２σ｝として算出してもよい。ここでσは、例えばσ ＝ Ｒｘ/４とする。処理Ｓ２１０は、前記相関度設定手段による相関度設定処理に相当する。 R ij = β / (D ij + d) (Formula 9)
Here, β is an arbitrary coefficient value, and d is a positive number for preventing division by zero.
The method of calculating the correlation is not limited to (Equation 9), and may be calculated as R ij = exp {−D ij 2 / 2σ} according to a Gaussian distribution with the distance index as a variable, for example. Here, σ is, for example, σ = Rx / 4. Process S210 corresponds to a correlation setting process by the correlation setting unit.

このように、注目画素の近傍に傾き角度θのエッジがある場合には、注目画素を通る傾き角度θの直線からの距離が小さいほど、注目画素の補正後の値に反映させる程度を大きくする。この根拠は次の通りである。   As described above, when there is an edge of the inclination angle θ in the vicinity of the target pixel, the extent to which the corrected value of the target pixel is reflected is increased as the distance from the straight line of the inclination angle θ passing through the target pixel is smaller. . The basis for this is as follows.

エッジが存在する場合には、エッジに垂直な方向の輝度勾配が大きい。逆に、エッジに平行な方向の勾配は小さいため、エッジに平行な直線上の画素の画素信号値はいずれもほぼ等しい値となり得る。つまり、注目画素を通る傾き角度θの直線上の画素信号値は、注目画素とほぼ等しい画素信号値となる。また、エッジに垂直な方向に輝度勾配が発生しているので、エッジから垂直方向に離れていくほど、輝度はエッジ上の値から離れた値をとり得る。つまり、注目画素を通る角度θの直線からの距離が大きいほど、注目画素と離れた値をとり得る。以上の理由から、注目画素の近傍に傾き角度θのエッジがある場合には、注目画素を通る傾き角度θの直線からの距離が小さいほど、補正値に反映させる程度を大きくすることで、補正の精度を向上させることができる。   When there is an edge, the luminance gradient in the direction perpendicular to the edge is large. On the other hand, since the gradient in the direction parallel to the edge is small, the pixel signal values of the pixels on the straight line parallel to the edge can be almost equal. That is, the pixel signal value on the straight line with the inclination angle θ passing through the target pixel becomes a pixel signal value substantially equal to the target pixel. In addition, since a luminance gradient is generated in a direction perpendicular to the edge, the luminance can take a value farther from the value on the edge as the distance from the edge increases in the vertical direction. That is, as the distance from the straight line of the angle θ passing through the target pixel is larger, a value farther from the target pixel can be taken. For the above reasons, if there is an edge with an inclination angle θ in the vicinity of the target pixel, the smaller the distance from the straight line of the inclination angle θ passing through the target pixel, the greater the degree of reflection in the correction value. Accuracy can be improved.

処理Ｓ２１１では、参照領域内の各画素の信頼度Ｐｉｊを求める。この処理は、前記信頼度設定手段が各画素の信頼度を設定する処理に相当する。ここでは、各画素の信頼度は、各画素に対応する画素素子の感度に基づき算出し、設定する。各画素素子の感度Ｋｉｊは撮像手段１０１に依存した値であり、既知であるとする。この処理Ｓ２１１は、前記信頼度設定手段が各画素の画素信号値の信頼度を設定する処理に相当する。感度Ｋｉｊが所定の閾値ΘＫ以下であれば、信頼度Ｐｉｊ ＝ ０とし、感度Ｋｉｊが所定の閾値ΘＫよりも大きい値であれば、信頼度Ｐｉｊ ＝ α×Ｋｉｊとする。ここでαは任意の係数値であるとする。 In process S211, the reliability P ij of each pixel in the reference area is obtained. This process corresponds to a process in which the reliability setting unit sets the reliability of each pixel. Here, the reliability of each pixel is calculated and set based on the sensitivity of the pixel element corresponding to each pixel. It is assumed that the sensitivity K ij of each pixel element is a value depending on the imaging unit 101 and is known. This process S211 corresponds to a process in which the reliability setting unit sets the reliability of the pixel signal value of each pixel. If the sensitivity K ij is equal to or less than the predetermined threshold Θ K , the reliability P ij = 0, and if the sensitivity K ij is larger than the predetermined threshold Θ K , the reliability P ij = α × K ij . . Here, α is an arbitrary coefficient value.

上記の信頼度算出方法について、図９を用いて説明する。撮像手段１０１の感度マップを９０１で、感度マップ中の注目画素を９０２、参照領域を９０３で示す。参照領域９０３内の各画素に対応する画素素子の感度値Ｋｉｊは、図９の（ｂ）で与えられたとする。このとき、係数α ＝ １とし、閾値ΘＫ ＝ ５とすると、図９の(ｃ)に示す各画素の信頼度が得られる。 The reliability calculation method will be described with reference to FIG. A sensitivity map of the imaging unit 101 is denoted by 901, a target pixel in the sensitivity map is denoted by 902, and a reference region is denoted by 903. It is assumed that the sensitivity value K ij of the pixel element corresponding to each pixel in the reference region 903 is given by (b) in FIG. At this time, if the coefficient α = 1 and the threshold Θ K = 5, the reliability of each pixel shown in FIG. 9C is obtained.

上記相関度および信頼度を求める過程は、相関度設定手段が、注目画素近傍の参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置関係に基づいて設定し、信頼度設定手段が、参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定することに該当し、
特に、相関度設定手段が、参照領域にエッジが存在すると判断するか、参照領域にエッジが存在しないと判断するか、または、参照領域にエッジが存在するか否かが判定困難であると判断するエッジ関連判断手段を具備し、該エッジ関連判断手段によって、参照領域にエッジが存在すると判断された場合には、注目画素を通りエッジに平行な直線と参照領域内に存在する画素との距離に基づいて該画素の相関度を設定し、該エッジ関連判断手段によって、参照領域にエッジが存在しないと判断された場合には、参照領域内の全ての画素の相関度として同一の値を設定し、エッジ関連判断手段によって、参照領域にエッジが存在するか否かが判定困難であると判断された場合には、注目画素と参照領域内の各画素との直線距離に基づき該画素の相関度を設定することに該当する。 In the process of obtaining the correlation level and the reliability level, the correlation level setting means determines the correlation level between the pixel signal value of the pixel existing in the reference region near the target pixel and the pixel signal value of the target pixel. The reliability is set based on the relative positional relationship between the pixel and the pixel of interest, and the reliability setting means uses the reliability of the pixel signal value of the pixel existing in the reference area as the reliability of the pixel. Corresponding to setting based on the sensitivity of the pixel element corresponding to the pixel,
In particular, the correlation setting unit determines that an edge exists in the reference area, determines that no edge exists in the reference area, or determines whether it is difficult to determine whether an edge exists in the reference area. A distance between a straight line passing through the pixel of interest and parallel to the edge and a pixel existing in the reference area when the edge relation determination means determines that an edge exists in the reference area. The correlation degree of the pixel is set based on the reference value, and when the edge related determination means determines that no edge exists in the reference area, the same value is set as the correlation degree of all the pixels in the reference area. If it is determined by the edge-related determination means that it is difficult to determine whether or not an edge exists in the reference area, the pixel is determined based on the linear distance between the target pixel and each pixel in the reference area. Corresponds to setting the Sekido.

処理Ｓ２１２では、注目画素の画素信号値を補正する。補正後の値をＴ'とおくと、Ｔ'は下記（式１０）で与えられる。   In process S212, the pixel signal value of the target pixel is corrected. If the corrected value is T ′, T ′ is given by (Equation 10) below.

Ｔ' ＝ Ｆ(Ｒｉｊ，Ｐｉｊ，Ｔｉｊ） （式１０）
ここで、本実施の形態例では、（式１０）の右辺の式として下記（式１１）を用いる。 T ′ = F (R ij , P ij , T ij ) (Formula 10)
Here, in this embodiment, the following (Expression 11) is used as the expression on the right side of (Expression 10).

Ｆ(Ｒｉｊ，Ｐｉｊ，Ｔｉｊ）＝ Σ(Ｒｉｊ×Ｐｉｊ×Ｔｉｊ)/Σ(Ｒｉｊ×Ｐｉｊ）（式１１）
ここで、Σ(Ｘ）は、参照領域に含まれる画素（ｉ，ｊ）全てについてのＸの総和を表す。 F (R ij , P ij , T ij ) = Σ (R ij × P ij × T ij ) / Σ (R ij × P ij ) (Formula 11)
Here, Σ (X) represents the total sum of X for all the pixels (i, j) included in the reference area.

上記の画素信号値の補正は、画素信号値補正手段が、参照領域内に存在する画素の画素信号値、相関度および信頼度を用いて注目画素の画素信号値を補正することに該当し、特に、画素信号値補正手段が、参照領域内に存在する画素の画素信号値の、相関度と信頼度とを重さとした加重平均値を用いて、注目画素の画素信号値を補正することに該当している。上記の場合には、重さとしてＲｉｊ×Ｐｉｊを用いているが、Ｒｉｊ＋Ｐｉｊを用いてもよいし、さらに一般に、ＲｉｊとＰｉｊとの関数であって、Ｒｉｊが大きくなれば大きくなり、Ｐｉｊが大きくなれば大きくなるようなものを用いてもよい。 The correction of the pixel signal value corresponds to the pixel signal value correcting unit correcting the pixel signal value of the pixel of interest using the pixel signal value, the degree of correlation, and the reliability of the pixel existing in the reference region, In particular, the pixel signal value correcting means corrects the pixel signal value of the pixel of interest using a weighted average value of the pixel signal values of the pixels existing in the reference region, which is weighted by the degree of correlation and the reliability. Applicable. In the above case, R ij × P ij is used as the weight, but R ij + P ij may be used, and more generally, it is a function of R ij and P ij, and R ij is large. It is also possible to use a device that becomes larger as Pij increases and increases as P ij increases.

処理Ｓ２１３では、補正対象である全ての画素の補正が終了しているか否かを判定する。終了していれば、処理Ｓ２１３に移行する。終了していなければ、処理Ｓ２１７において補正対象である注目画素（ｉａ、ｊａ）を更新し、処理Ｓ２０４に戻る。 In process S213, it is determined whether or not correction of all the pixels to be corrected has been completed. If completed, the process proceeds to step S213. If not completed, the target pixel (i a , j a ) to be corrected is updated in the process S217, and the process returns to the process S204.

ここで、係数αおよびβについて、補足説明を行う。係数αおよびβは、信頼度と相関度との重み付けに相当する。例えば、信頼度が一様に高い画像、すなわち、各画素が含むノイズの大きさが小さい画像であれば、信頼度よりも相関度の重みを上げたいので、係数βの値を大きくすればよい。逆に、信頼度が低い画素の割合が高い画像であれば、相関度よりも信頼度の重みを上げたいので、係数αの値を大きくすればよい。ただし、この場合には、加重平均に用いる重みとして、例えば、Ｒｉｊ＋Ｐｉｊを用いる（Ｒｉｊ×Ｐｉｊを重みとして用いた場合には、αおよびβの大きさは加重平均の結果に無関係となるので）。 Here, supplementary explanation will be given for the coefficients α and β. The coefficients α and β correspond to the weighting between the reliability and the correlation. For example, in the case of an image with a high level of reliability, that is, an image with a small amount of noise included in each pixel, it is desirable to increase the value of the coefficient β because it is desired to increase the correlation weight rather than the reliability. . On the other hand, if the image has a high proportion of pixels with low reliability, it is desirable to increase the value of the coefficient α because it is desired to increase the weight of reliability over the correlation. However, in this case, for example, R ij + P ij is used as the weight used for the weighted average (when R ij × P ij is used as the weight, the magnitudes of α and β are irrelevant to the result of the weighted average. Because it becomes).

処理Ｓ２１４では、エッジ角度画像を設定する。本実施の形態例では、図７に示す縦エッジ検出Ｓｏｂｅｌフィルタおよび横エッジ検出Ｓｏｂｅｌフィルタを用い、エッジ角度を算出する。以下に、その算出方法について、図４を用いて説明する。   In process S214, an edge angle image is set. In the present embodiment, the edge angle is calculated using the vertical edge detection Sobel filter and the horizontal edge detection Sobel filter shown in FIG. The calculation method will be described below with reference to FIG.

ある画素（ｉ，ｊ）の、縦エッジ検出Ｓｏｂｅｌフィルタをかけた値をＳｖｉｊ、横エッジ検出Ｓｏｂｅｌフィルタをかけた値をＳｈｉｊとすると、各々は次式で与えられる。

Ｓｖｉｊ ＝ −Ｔ'ｉ−１，ｊ−１ − ２×Ｔ'ｉ−１，ｊ − Ｔ'ｉ−１，ｊ＋１ ＋ Ｔ'ｉ＋１，ｊ−１ ＋ ２×Ｔ'ｉ＋１，ｊ ＋ Ｔ'ｉ＋１，ｊ＋１ （式１２）

Ｓｈｉｊ ＝ −Ｔ'ｉ−１，ｊ−１ − ２×Ｔ'ｉ，ｊ−１ − Ｔ'ｉ＋１，ｊ−１ ＋ Ｔ'ｉ−１，ｊ＋１ ＋ ２×Ｔ'ｉ，ｊ＋１ ＋ Ｔ'ｉ＋１，ｊ＋１ （式１３）

ここで、Ｔ'ｉ，ｊ
は、補正画像における、画素（ｉ，ｊ）の画素信号値である。 When a value obtained by applying a vertical edge detection Sobel filter of a certain pixel (i, j) is Sv ij and a value obtained by applying a horizontal edge detection Sobel filter is Sh ij , each is given by the following equation.

Sv ij = −T ′ i−1, j− 1−2 × T ′ i−1, j −T ′ i−1, j + 1 + T ′ i + 1, j−1 + 2 × T ′ i + 1, j + T ′ i + 1, j + 1 (Formula 12)

Sh ij = −T ′ i−1, j− 1−2 × T ′ i, j−1 −T ′ i + 1, j−1 + T ′ i−1, j + 1 + 2 × T ′ i, j + 1 + T ′ i + 1, j + 1 (Formula 13)

Where T ′ i, j
Is a pixel signal value of the pixel (i, j) in the corrected image.

このとき、エッジ角度画像における、画素（ｉ，ｊ）の画素信号値をＳｉｊとすると、Ｓｉｊは次式で与えられる。 In this case, the edge angle image, the pixel signal of pixel (i, j) and S ij, S ij is given by the following equation.

Ｓｉｊ ＝ ε×{９０×|Ｓｈｉｊ|}/{|Ｓｖｉｊ|＋|Ｓｈｉｊ|} （式１４）
ここで、係数εは、次式の条件に従って与えられる。

ε ＝ １（Ｓｈｉｊ×Ｓｖｉｊ＜０のとき）
ε ＝ −１（その他のとき） （式１５）

図４の例では、図４の（ｃ）の縦エッジ画像（Ｓｖｉｊのマップ）および図４の（ｄ）の横エッジ画像（Ｓｈｉｊのマップ）を（式１４）、（式１５）に適用することで、図４の（ｂ）に示すエッジ角度画像（Ｓｉｊのマップ）が得られる。 S ij = ε × {90 × | Sh ij |} / {| Sv ij | + | Sh ij |} (Formula 14)
Here, the coefficient ε is given according to the condition of the following equation.

ε = 1 (when Sh ij × Sv ij <0)
ε = -1 (in other cases) (Formula 15)

In the example of FIG. 4, the vertical edge image (Sv ij map) in FIG. 4C and the horizontal edge image (Sh ij map) in FIG. 4D are expressed in (Expression 14) and (Expression 15). By applying this, an edge angle image ( Sij map) shown in FIG. 4B is obtained.

なお、エッジ角度画像の設定方法は、本手法に限定されるものではなく、他の手法を用いて構わない。   Note that the edge angle image setting method is not limited to this method, and other methods may be used.

処理が終了したら、処理Ｓ２０２に戻り、次の画像の処理に移行する。   When the process is completed, the process returns to process S202, and the process proceeds to the next image process.

本実施の形態例において、注目画素の補正は、信頼度と相関度で加重した平均値を用いて補正するので、大きいノイズが発生し得る画素数の割合が多い画像であっても、画像中の領域形状を乱すことなく、かつ、精度の高い補正を行うことができる。   In the present embodiment, the pixel of interest is corrected using an average value weighted by the reliability and the correlation. Therefore, even in an image having a large ratio of the number of pixels that can generate large noise, It is possible to perform highly accurate correction without disturbing the area shape.

また、相関度設定手段は、参照領域にエッジが存在する場合には、注目画素を通るエッジの傾き角方向の直線との垂直方向の距離に基づき相関度を設定する、という構成なので、大きいノイズが発生し得る画素数の割合が多い画像であっても、画像中の領域形状を乱すことなく補正を行うことができる。   Further, since the correlation setting means is configured to set the correlation based on the vertical distance from the straight line in the inclination angle direction of the edge passing through the target pixel when the edge exists in the reference region, a large noise Even an image having a large proportion of the number of pixels that can generate correction can be corrected without disturbing the shape of the region in the image.

また、参照領域内にエッジが存在しない場合には、全ての画素の相関度が等しくなるので、エッジが無い場合には、注目画素との距離に関わらず、信頼性の高い画素の値ほど、注目画素の補正後の値に反映されるため、より精度の高い補正を行うことができる。   In addition, when there is no edge in the reference region, the correlation degree of all the pixels is equal, so when there is no edge, regardless of the distance to the target pixel, the more reliable pixel value, Since it is reflected in the corrected value of the target pixel, more accurate correction can be performed.

また、参照領域にエッジが存在するか否か判定困難な場合には、注目画素と参照領域内の各画素との直線距離に基づき相関度を算出するので、エッジの有無が不明な場合であっても、画像中の領域形状を乱すことなく、かつ、精度の高い補正を行うことができる。   If it is difficult to determine whether an edge exists in the reference area, the degree of correlation is calculated based on the linear distance between the target pixel and each pixel in the reference area. However, it is possible to perform highly accurate correction without disturbing the region shape in the image.

また、上記の感度とは、画素に発生するノイズの大きさと相関を持つ値のことであって、感度が高い画素素子に対応する画素ほどその画素の画素信号値に発生するノイズの値が低くなる。ノイズとの相関を持つ値を設定できるのであれば、感度マップは任意の手段を用いて取得し、設定して構わない。   The sensitivity is a value having a correlation with the magnitude of noise generated in a pixel. A pixel corresponding to a pixel element having a higher sensitivity has a lower noise value generated in the pixel signal value of the pixel. Become. As long as a value having a correlation with noise can be set, the sensitivity map may be acquired and set using any means.

なお、本発明の実施形態は、上記の実施の形態例に限定されるものではない。
例えば、画素数が少なく、１画素あたりの空間分解能が低い画像の場合には、エッジの傾きが１画素単位で変化し得るので、エッジ傾き角度に基づく相関度は求め難いため、エッジが存在する場合およびエッジの有無が不明の場合には、注目画素に近い画素の画素信号値ほど注目画素の補正に大きく反映されるように重み付けを行い、エッジが無い場合には、そのような重み付けを行わない実施形態であってもよい。 The embodiment of the present invention is not limited to the above-described embodiment.
For example, in the case of an image with a small number of pixels and a low spatial resolution per pixel, the slope of the edge can change in units of one pixel, and therefore there is an edge because the degree of correlation based on the edge slope angle is difficult to obtain. If there is no edge, the weighting is performed so that the pixel signal value of the pixel closer to the target pixel is more greatly reflected in the correction of the target pixel. If there is no edge, such weighting is performed. There may be no embodiment.

また、本実施の形態例においては、エッジ関連判断手段によって、参照領域にエッジが存在すると判断された場合には、注目画素を通りエッジに平行な直線と参照領域内に存在する画素との距離に基づいて画素の相関度を設定する第１の設定処理と、エッジ関連判断手段によって、参照領域にエッジが存在しないと判断された場合には、参照領域内の全ての画素の相関度として同一の値を設定する第２の設定処理と、エッジ関連判断手段によって、参照領域にエッジが存在するか否かが判定困難であると判断された場合には、注目画素と参照領域内の各画素との直線距離に基づき画素の相関度を設定する第３の設定処理との全てを実行しているが、上記第１ないし第３の設定処理のうちの少なくとも１つの設定処理を実行するものであってもよい。   In this embodiment, when the edge-related determining unit determines that an edge exists in the reference area, the distance between the straight line passing through the target pixel and the pixel existing in the reference area. The first setting process for setting the correlation degree of the pixel based on the reference value and the edge relation determination unit determine that the edge does not exist in the reference area, the same correlation degree for all the pixels in the reference area When it is determined by the second setting process for setting the value of the image and the edge-related determining means whether it is difficult to determine whether or not an edge exists in the reference area, the target pixel and each pixel in the reference area And the third setting process for setting the degree of correlation of the pixels based on the linear distance between the first and third setting processes. At least one of the first to third setting processes is executed. Even so There.

また、上述した画素数の大小以外にも、感度が良好でない画素素子に対応する画素数の大小、撮像手段の波長帯（赤外光、可視光等）に応じて、実施の形態を変更してよい。   In addition to the above-described size of the pixel, the embodiment is changed according to the size of the pixel corresponding to the pixel element having poor sensitivity and the wavelength band (infrared light, visible light, etc.) of the imaging means. It's okay.

以上に説明したように、本発明の効果は、特に、ノイズを多く含む画素信号値を持つノイズ画素の割合が高い画像のノイズ補正において発揮される。ただし、もちろんノイズ画素の割合が低い画像においても、本発明に係るノイズ補正は適用可能である。   As described above, the effect of the present invention is particularly exerted in noise correction of an image having a high ratio of noise pixels having pixel signal values containing a lot of noise. However, of course, the noise correction according to the present invention can also be applied to an image having a low ratio of noise pixels.

実施の形態例の構成概略図である。1 is a schematic configuration diagram of an embodiment. 実施の形態例のフローチャートである。It is a flowchart of an embodiment. 参照領域設定の説明図である。It is explanatory drawing of a reference area setting. エッジ画像の説明図である。It is explanatory drawing of an edge image. エッジが存在する場合の、距離指標の説明図である。It is explanatory drawing of a distance parameter | index when an edge exists. エッジの有無が不明の場合における、距離指標の説明図である。It is explanatory drawing of a distance parameter | index in case the presence or absence of an edge is unknown. エッジ検出フィルタの説明図である。It is explanatory drawing of an edge detection filter. エッジ角度の説明図である。It is explanatory drawing of an edge angle. 信頼度設定の説明図である。It is explanatory drawing of reliability setting.

符号の説明Explanation of symbols

１０１：撮像手段、１０２：演算器、１０３：メモリ、３０１：取得画像、３０２：注目画素、３０３：参照領域、９０１：感度マップ、９０２：注目画素、９０３：参照領域。   101: imaging means, 102: computing unit, 103: memory, 301: acquired image, 302: attention pixel, 303: reference area, 901: sensitivity map, 902: attention pixel, 903: reference area.

Claims (3)

画像のノイズを低減する画像補正装置であって、
注目画素近傍の参照領域内に存在する画素の画素信号値と前記注目画素の画素信号値との相関度を、該画素の相関度として、該画素と前記注目画素との相対位置関係に基づいて設定する相関度設定手段と、
前記参照領域内に存在する画素の画素信号値の信頼度を、該画素の信頼度として、該画素に対応する画素素子の感度に基づいて設定する信頼度設定手段と、
前記参照領域内に存在する画素の画素信号値、前記相関度および前記信頼度を用いて前記注目画素の画素信号値を補正する画素信号値補正手段とを備えることを特徴とする画像補正装置。 An image correction apparatus for reducing image noise,
Based on the relative positional relationship between the pixel and the pixel of interest, the correlation between the pixel signal value of the pixel existing in the reference region near the pixel of interest and the pixel signal value of the pixel of interest is the correlation of the pixel. Correlation degree setting means to be set;
A reliability setting means for setting the reliability of the pixel signal value of the pixel existing in the reference region as the reliability of the pixel based on the sensitivity of the pixel element corresponding to the pixel;
An image correction apparatus comprising: a pixel signal value correcting unit that corrects a pixel signal value of the pixel of interest using a pixel signal value of a pixel existing in the reference region, the correlation degree, and the reliability. 前記画素信号値補正手段は、前記参照領域内に存在する画素の画素信号値の、前記相関度と前記信頼度とを重さとした加重平均値を用いて、前記注目画素の画素信号値を補正することを特徴とする請求項１に記載の画像補正装置。   The pixel signal value correction unit corrects the pixel signal value of the pixel of interest using a weighted average value of the pixel signal values of the pixels existing in the reference region, the weight of which is the correlation and the reliability. The image correction apparatus according to claim 1, wherein: 前記相関度設定手段は、前記参照領域にエッジが存在すると判断するか、前記参照領域にエッジが存在しないと判断するか、または、前記参照領域にエッジが存在するか否かが判定困難であると判断するエッジ関連判断手段を具備し、
該エッジ関連判断手段によって、前記参照領域にエッジが存在すると判断された場合には、前記注目画素を通りエッジに平行な直線と前記参照領域内に存在する画素との距離に基づいて該画素の前記相関度を設定する第１の設定処理と、
該エッジ関連判断手段によって、前記参照領域にエッジが存在しないと判断された場合には、前記参照領域内の全ての画素の前記相関度として同一の値を設定する第２の設定処理と、
該エッジ関連判断手段によって、前記参照領域にエッジが存在するか否かが判定困難であると判断された場合には、前記注目画素と前記参照領域内の各画素との直線距離に基づき該画素の相関度を設定する第３の設定処理とのうちの少なくとも１つの設定処理を実行することを特徴とする請求項１または２に記載の画像補正装置。 It is difficult for the correlation setting means to determine whether an edge exists in the reference area, to determine that no edge exists in the reference area, or to determine whether an edge exists in the reference area. Edge-related determination means for determining,
When it is determined by the edge related determination means that an edge exists in the reference area, the pixel is determined based on a distance between a straight line passing through the target pixel and parallel to the edge and a pixel existing in the reference area. A first setting process for setting the degree of correlation;
A second setting process for setting the same value as the degree of correlation of all the pixels in the reference area when the edge-related determination unit determines that no edge exists in the reference area;
When it is determined by the edge related determination means that it is difficult to determine whether or not an edge exists in the reference area, the pixel is determined based on a linear distance between the target pixel and each pixel in the reference area. The image correction apparatus according to claim 1, wherein at least one of the third setting processes for setting the degree of correlation is executed.
JP2005161173A 2005-06-01 2005-06-01 Image correction device Pending JP2006339957A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005161173A JP2006339957A (en) 2005-06-01 2005-06-01 Image correction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005161173A JP2006339957A (en) 2005-06-01 2005-06-01 Image correction device

Publications (1)

Publication Number Publication Date
JP2006339957A true JP2006339957A (en) 2006-12-14

Family

ID=37560108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005161173A Pending JP2006339957A (en) 2005-06-01 2005-06-01 Image correction device

Country Status (1)

Country Link
JP (1) JP2006339957A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114642A (en) * 2009-11-27 2011-06-09 Mitsubishi Electric Corp Noise eliminating device and noise elimination method
US9633280B2 (en) 2013-11-29 2017-04-25 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium for determining pixel similarities

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114642A (en) * 2009-11-27 2011-06-09 Mitsubishi Electric Corp Noise eliminating device and noise elimination method
US9633280B2 (en) 2013-11-29 2017-04-25 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium for determining pixel similarities

Similar Documents

Publication Publication Date Title
US8059870B2 (en) Time-of-flight sensor-assisted iris capture system and method
Zhuo et al. Defocus map estimation from a single image
US8203602B2 (en) Depth-aware blur kernel estimation method for iris deblurring
US8374389B2 (en) Iris deblurring method based on global and local iris image statistics
EP2745504B1 (en) Image projector, image processing method, computer program and recording medium
EP2901236B1 (en) Video-assisted target location
EP3798975B1 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
CN111383252B (en) Multi-camera target tracking method, system, device and storage medium
WO2018127539A1 (en) Methods and devices for extracting an object from a video sequence
JP5259291B2 (en) White balance correction device and signal processing program
CN113822942B (en) Method for measuring object size by monocular camera based on two-dimensional code
JP2024507089A (en) Image correspondence analysis device and its analysis method
JP2008269218A (en) Image processor, image processing method, and image processing program
JP2006339957A (en) Image correction device
CN117058183A (en) Image processing method and device based on double cameras, electronic equipment and storage medium
US10929962B2 (en) Imposing a priori knowledge to estimate turbulence
JP2018160024A (en) Image processing device, image processing method and program
JP2014035294A (en) Information acquisition device and object detector
CN110781712A (en) Human head space positioning method based on human face detection and recognition
JP6481375B2 (en) Information processing system, information processing method, program, and information processing apparatus
JP2009025894A (en) Face image detection method and face image processor
Jisha et al. Fusion strategy for single image dehazing
CN112435295A (en) Blackbody position detection method, electronic device and computer-readable storage medium
CN112529956A (en) Blackbody position detection method, electronic device and computer-readable storage medium
JP4674549B2 (en) Motion vector detection device