JP2007180691A

JP2007180691A - Noise amount measuring device

Info

Publication number: JP2007180691A
Application number: JP2005374420A
Authority: JP
Inventors: Nobutoshi Fujinami; 伸敏藤濤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-12-27
Filing date: 2005-12-27
Publication date: 2007-07-12

Abstract

<P>PROBLEM TO BE SOLVED: To solve a problem of the difficulty in accurately measuring a noise amount through the calculation of the noise amount on the basis of a difference between a preceding frame and a succeeding frame because the calculated value is reflected by the noise and the motion when measuring the noise amount of video signals in a video image region. <P>SOLUTION: The noise amount measuring device provided with: a storage means for storing an input signal; a two-dimensional noise candidate detection means; and a means for detecting the correlation between the preceding and succeeding frames, measures the noise amount on the basis of a difference between image information of a noise candidate region extracted by the two-dimensional noise candidate detection means and image information of a region with a high correlation between the preceding and succeeding frames. Since wrong measurement caused by a motion can be prevented, the noise measurement accuracy is improved. Further, since the noise amount can be measured with high accuracy, the noise reduction effect can properly be adjusted. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、映像信号中のノイズに関し、特にそのノイズ量の測定および巡回型ノイズ低減装置に関するものである。 The present invention relates to noise in a video signal, and more particularly to measurement of the amount of noise and a cyclic noise reduction apparatus.

従来、特許文献１に示すように、この種の映像信号中のノイズ量検出は、既知のレベルの信号を映像の一部に定め、この信号に対して、既知のレベルとの差分をとりノイズ量を算出していた。つまり、本当の意味での映像に含まれるノイズ量の評価ではなく、その映像が経てきた系で被るノイズ量を検出していた。 Conventionally, as shown in Patent Document 1, this kind of noise detection in a video signal is performed by determining a signal of a known level as a part of the video and taking a difference from the known level for this signal. The amount was calculated. In other words, it was not an evaluation of the amount of noise included in the video in the true sense, but the amount of noise experienced by the system through which the video passed.

あるいは、フレーム間で差分をとり、その差分からノイズ量を算出していた。すなわち、この差分が大きいとノイズ量も多いと判断していた。しかし、この場合、動きのある画像に対しても差分は大きくなり、差分が大きくなるのはノイズに起因するのか、動きに起因するのか判断することは難しく、正確なノイズ量を測定することは困難であった。 Alternatively, a difference is taken between frames, and a noise amount is calculated from the difference. That is, if this difference is large, it is determined that the amount of noise is large. However, in this case, even for images with motion, the difference is large, and it is difficult to determine whether the difference is due to noise or motion. It was difficult.

あるいは、前後のフレームで相関性の高い領域を探索し、その領域との差分からノイズ量を算出していたが、相関性の高い領域をある領域内のすべての画素について探索しているため、処理に負担がかかる、または、ノイズではない画素の差分もノイズ量に反映され、ノイズ量の精度が低くなる、という課題があった。 Or, searching for a highly correlated area in the previous and subsequent frames, and calculating the amount of noise from the difference from that area, but searching for all the pixels in a certain area of the highly correlated area, There is a problem that processing is burdened or the difference between pixels that are not noise is reflected in the noise amount, and the accuracy of the noise amount is lowered.

また、巡回型ノイズ低減装置を実現するにもノイズ量の測定誤りによって、ノイズの少ない映像に対してもノイズ低減効果が働き、映像として見苦しいものとなっていた。
特開平８−２０１４６４号公報 Also, in order to realize a cyclic noise reduction device, a noise reduction effect works even on an image with little noise due to an error in measuring the amount of noise, which makes the image unsightly.
JP-A-8-201464

上述のように、従来この種の映像信号中のノイズ量の検出には、既知のレベルの信号を映像の一部に定める必要があったり、つまりその映像が経てきた系で被るノイズ量の検出で真の意味での映像に含まれるノイズ量の評価ではなかったり、また、ノイズ以外の画素についてもノイズ量に反映されるという問題点があった。そこでこの発明の目的は、上述の問題点を解決し、２次元ノイズ候補検出手段と前後のフレームでの相関性を検出する手段両方を用いて、動きのある実映像中のノイズ量を精度よくかつ効率よく推定することの可能な映像信号のノイズ量測定装置および巡回型ノイズ低減受像機を提供せんとするものである。 As described above, detection of the amount of noise in a video signal of this type conventionally requires a signal of a known level to be defined as part of the video, that is, detection of the amount of noise experienced by the system through which the video has passed. However, there is a problem in that it is not an evaluation of the amount of noise included in the video in the true sense, and pixels other than noise are reflected in the amount of noise. SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to solve the above-mentioned problems and to accurately determine the amount of noise in a moving real image by using both a two-dimensional noise candidate detection means and a means for detecting the correlation between previous and next frames. The present invention also provides an apparatus for measuring the amount of noise of a video signal and a cyclic noise reduction receiver that can be estimated efficiently.

この課題を解決するために、本願第１の発明では、映像信号を入力するための第１及び第２の入力端子と、前記第１の入力端子から入力された映像信号からノイズ候補を抽出する２次元ノイズ候補検出手段と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段を備え、前記第１の映像信号から前記２次元ノイズ候補検出手段で抽出されたノイズ候補を含む任意の第１の領域における画像情報と最も相関性の高い、前記第２の映像信号から抽出した画像情報との差分を算出し、さらに前記算出された画像情報の差分信号を映像領域に渡って積分することによりノイズ量を測定する様にしたものである。 In order to solve this problem, in the first invention of the present application, noise candidates are extracted from the first and second input terminals for inputting a video signal and the video signal input from the first input terminal. Two-dimensional noise candidate detection means, first storage means for storing the video signal input from the second input terminal, the first video signal input from the first input terminal, and the first Control means for calculating a difference from the second video signal read from the storage means, first integration means for integrating the difference signal calculated from the calculation means, and controlling the first integration means. A control device, a plurality of second storage means for storing integration results calculated by the first integration means, and a minimum value of the plurality of integration results output from the plurality of second storage means Comparing means and calculated by the comparing means Second integration means for integrating the minimum value, and having the highest correlation with image information in an arbitrary first region including noise candidates extracted from the first video signal by the two-dimensional noise candidate detection means. A high difference between the image information extracted from the second video signal is calculated, and the amount of noise is measured by integrating the calculated difference signal of the image information over the video area. is there.

また、本願第２の発明では、映像信号を入力するための第１及び第２の入力端子と、前記第１の入力端子から入力された映像信号からノイズ候補を抽出する２次元ノイズ候補検出手段と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段に加え、前記第２の積分手段の出力結果に基づいて演算する第２の演算手段をさらに備え、前記第１の映像信号から前記２次元ノイズ候補検出手段で抽出されたノイズ候補を含む任意の第１の領域における画像情報と最も相関性の高い前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の映像領域に渡って積分し、さらに前記算出された積分値である第２の積分結果を第２の演算手段において統計処理することによりノイズ量を測定する様にしたものである。 In the second invention of the present application, first and second input terminals for inputting a video signal, and two-dimensional noise candidate detection means for extracting a noise candidate from the video signal input from the first input terminal. And a first storage means for storing the video signal input from the second input terminal, a first video signal input from the first input terminal, and the first storage means. Computing means for calculating a difference from the second video signal; first integrating means for integrating the difference signal calculated from the computing means; a control device for controlling the first integrating means; A plurality of second storage means for storing integration results calculated by one integration means; a comparison means for obtaining minimum values of the plurality of integration results output from the plurality of second storage means; and the comparison Integrate the minimum value calculated by means Noise candidate extracted from the first video signal by the two-dimensional noise candidate detecting means, further comprising second calculating means for calculating based on the output result of the second integrating means in addition to the second integrating means. The difference between the image information in any first area including the image information extracted from the second video signal having the highest correlation is calculated, and the difference signal of the calculated image information is set in the arbitrary video area. Further, the amount of noise is measured by statistically processing the second integration result, which is the calculated integration value, in the second calculation means.

また、本願第３の発明では、映像信号を入力するための第１及び第２の入力端子と、前記第１の入力端子から入力された映像信号からノイズ候補を抽出する２次元ノイズ候補検出手段と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段と、さらに巡回型ノイズ低減手段を備え、前記第１の映像信号から前記２次元ノイズ候補検出手段で抽出されたノイズ候補を含む任意の第１の領域における画像情報と最も相関性の高い、前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を映像領域に渡って積分することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節する様にしたものである。 In the third invention of the present application, first and second input terminals for inputting a video signal, and two-dimensional noise candidate detection means for extracting a noise candidate from the video signal input from the first input terminal. And a first storage means for storing the video signal input from the second input terminal, a first video signal input from the first input terminal, and the first storage means. Computing means for calculating a difference from the second video signal; first integrating means for integrating the difference signal calculated from the computing means; a control device for controlling the first integrating means; A plurality of second storage means for storing integration results calculated by one integration means; a comparison means for obtaining minimum values of the plurality of integration results output from the plurality of second storage means; and the comparison Integrate the minimum value calculated by means 2 integration means, and further a cyclic noise reduction means, and most correlated with image information in an arbitrary first region including noise candidates extracted from the first video signal by the two-dimensional noise candidate detection means. The difference between the image information extracted from the second video signal and the image information extracted from the second video signal is calculated, and the amount of noise is measured by integrating the calculated difference signal of the image information over the video region. The noise reduction effect is adjusted according to the amount of noise.

また、本願第４の発明では、映像信号を入力するための第１及び第２の入力端子と、前記第１の入力端子から入力された映像信号からノイズ候補を抽出する２次元ノイズ候補検出手段と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段と、前記第２の積分手段の出力結果に基づいて演算する第２の演算手段と、さらに巡回型ノイズ低減手段を備え、前記第１の映像信号から前記２次元ノイズ候補検出手段で抽出されたノイズ候補を含む任意の第１の領域における画像情報と最も相関性の高い前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の映像領域に渡って積分し、前記算出された積分値である第２の積分結果を第２の演算手段において統計処理することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節する様にしたものである。 In the fourth invention of the present application, first and second input terminals for inputting a video signal and two-dimensional noise candidate detection means for extracting a noise candidate from the video signal input from the first input terminal. And a first storage means for storing the video signal input from the second input terminal, a first video signal input from the first input terminal, and the first storage means. Computing means for calculating a difference from the second video signal; first integrating means for integrating the difference signal calculated from the computing means; a control device for controlling the first integrating means; A plurality of second storage means for storing integration results calculated by one integration means; a comparison means for obtaining minimum values of the plurality of integration results output from the plurality of second storage means; and the comparison Integrate the minimum value calculated by means 2 integrating means, second computing means for computing based on the output result of the second integrating means, and cyclic noise reducing means, and the two-dimensional noise candidate detecting means from the first video signal The difference between the image information extracted from the second video signal having the highest correlation with the image information in the arbitrary first region including the noise candidate extracted in step S is calculated, and the difference signal of the calculated image information is calculated. Is integrated over an arbitrary video area, and the second integration result, which is the calculated integration value, is statistically processed in the second computing means, and the noise amount is measured. Further, according to the measured noise amount, In this way, the noise reduction effect is adjusted.

本願第１及び第２の発明によれば、映像領域内でのノイズ量測定が可能となり、また相関性を考慮せずに測定した場合に比べ、動きのある映像信号に対してもノイズ量の測定が可能となり、さらに２次元ノイズ候補検出手段を用いることにより、ノイズ量の精度の向上と処理の負担の軽減効果がある。 According to the first and second inventions of the present application, it is possible to measure the amount of noise in the video region, and it is also possible to measure the amount of noise for a moving video signal as compared with the case where measurement is performed without considering the correlation. Measurement can be performed, and further, by using the two-dimensional noise candidate detection means, there is an effect of improving the accuracy of the noise amount and reducing the processing load.

また、本願第３及び第４の発明によれば、前記の理由によりノイズ量が精度良く測定できるため、ノイズ低減効果の調節も適切に行うことが可能となり、画質の向上した映像受像機が実現可能となる。 In addition, according to the third and fourth inventions of the present application, the amount of noise can be accurately measured for the reasons described above, so that the noise reduction effect can be adjusted appropriately and a video receiver with improved image quality is realized. It becomes possible.

以下本発明の実施の形態について、図１〜図５を使用して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS.

（実施の形態１）
図１に本願第１の発明におけるノイズ量測定装置のブロック図の一例を示す。本願第１の発明では、まず、入力端子１から入力された第１の映像信号から、１００に示す二次元ノイズ候補検出手段でノイズの候補となる画素を抽出しておく。この画素をノイズ候補画素と呼ぶことにする。そして、任意のノイズ候補画素を中心とする任意の第１の領域（例えば５×５、以下、領域Ｐとする）を基準画像とし、前記第１の映像信号より少なくとも１フレーム前の、任意の第２の映像信号と基準画像との相関性の高い領域を探索する。この第２の映像信号は、入力端子２に前記第１の信号を入力し、１０１に示す記憶手段１で記憶させておくことによって生成する。 (Embodiment 1)
FIG. 1 shows an example of a block diagram of a noise amount measuring apparatus according to the first aspect of the present invention. In the first invention of the present application, first, a pixel as a noise candidate is extracted from the first video signal input from the input terminal 1 by the two-dimensional noise candidate detecting means 100. This pixel is called a noise candidate pixel. An arbitrary first area centered on an arbitrary noise candidate pixel (for example, 5 × 5, hereinafter referred to as an area P) is set as a reference image, and an arbitrary area at least one frame before the first video signal is selected. A region having a high correlation between the second video signal and the reference image is searched. This second video signal is generated by inputting the first signal to the input terminal 2 and storing it in the storage means 1 shown at 101.

二次元ノイズ候補検出手段での具体的なノイズ候補検出方法としては以下の方法が考えられる。 The following methods can be considered as specific noise candidate detection methods in the two-dimensional noise candidate detection means.

第１の方法としては、二次元ノイズ候補検出手段での具体的なノイズ候補検出方法としては、第１の映像信号に対してハイパスフィルタ処理を行った後、信号値がある閾値より大きい画素を抽出し、この画素を前記ノイズ候補画素とする方法が考えられる。 As a first method, as a specific noise candidate detection method in the two-dimensional noise candidate detection means, after a high-pass filter process is performed on the first video signal, a pixel whose signal value is larger than a certain threshold value is selected. A method of extracting and setting this pixel as the noise candidate pixel is conceivable.

次に、第２の方法としては、第１の映像信号に対してハイパスフィルタ処理を行った後、信号値がある閾値より大きい画素を抽出し、その抽出した画素に対して隣接する画素の数がある閾値より少ない画素を前記ノイズ候補画素とする方法が考えられる。 Next, as a second method, after the high-pass filter process is performed on the first video signal, pixels whose signal value is larger than a certain threshold are extracted, and the number of pixels adjacent to the extracted pixels is determined. A method can be considered in which pixels that are smaller than a certain threshold are used as the noise candidate pixels.

次に、第３の方法としては、第１の映像信号に対してハイパスフィルタ処理を行った後、信号値がある閾値より大きい画素を抽出し、その抽出した画素に対して隣接しあう画素数がある閾値より少ない画素を前記ノイズ候補画素とする方法が考えられる。 Next, as a third method, after performing high-pass filter processing on the first video signal, pixels whose signal value is larger than a certain threshold are extracted, and the number of pixels adjacent to the extracted pixels A method can be considered in which pixels that are smaller than a certain threshold are used as the noise candidate pixels.

次に、第４の方法としては、第１の映像信号に対してハイパスフィルタ処理を行った後、信号値がある閾値より大きい画素を抽出し、その抽出した画素に対して隣接しあう画素を１つの領域としたときに、その領域の形状があるパターンのもの（例えば、円状のもの）のみを前記ノイズ候補画素とする方法が考えられる。 Next, as a fourth method, after a high-pass filter process is performed on the first video signal, pixels whose signal value is larger than a certain threshold are extracted, and pixels adjacent to the extracted pixels are extracted. A method may be considered in which only one pixel having a certain shape (for example, a circle) is used as the noise candidate pixel.

次に、第５の方法としては、第１の映像信号に対してハイパスフィルタ処理を行った後、信号値がある閾値より大きい画素を抽出し、その抽出した画素に対して隣接しあう画素を１つの領域としたときに、その領域を構成する画素数がある閾値以下でかつ領域の形状があるパターンのもの（例えば、円状のもの）のみを前記ノイズ候補画素とする方法が考えられる。 Next, as a fifth method, after a high-pass filter process is performed on the first video signal, pixels whose signal value is larger than a certain threshold are extracted, and pixels adjacent to the extracted pixels are extracted. There can be considered a method in which only one pixel having a pattern with a region shape equal to or smaller than a certain threshold (for example, a circle) is used as the noise candidate pixel.

また、相関性の高い領域の具体的な探索方法としては、まず、前記領域Ｐと前記第２の映像信号について、前記領域Ｐとその位置にある第２の映像信号との画素ごとの差分を算出し、その差分の和を求める。この差分の和を相関値と呼ぶことにする。次に前記領域Ｐを左右上下に１画素あるいは複数画素を動かし、同様にその位置における相関値を求める。そしてある範囲で領域Ｐを動かし最小になる相関値を求めることで、相関性の高い領域を探索することが可能となる。なお、この相関値の最小値を最小相関値と呼ぶことにする。 As a specific search method for a highly correlated area, first, for the area P and the second video signal, a difference for each pixel between the area P and the second video signal at the position is calculated. Calculate the sum of the differences. This sum of differences will be referred to as a correlation value. Next, one pixel or a plurality of pixels are moved in the region P right and left and up and down, and the correlation value at that position is similarly obtained. Then, by moving the region P within a certain range and obtaining a minimum correlation value, it is possible to search for a region with high correlation. Note that the minimum correlation value is referred to as a minimum correlation value.

また、図１に示すブロック図におけるこの最小相関値の求め方は、１０２に示す演算手段１により前記領域Ｐと前記第２の映像信号との差分を求め、１０３に示す積分手段１により相関値を求める。そして、前記領域Ｐの位置をずらして同様に相関値を求め、そのずらした位置ごとの相関値を１０４に示す記憶手段２にそれぞれ記憶する。１０５に示す比較手段１により最小となる相関値を求める。 Further, the minimum correlation value in the block diagram shown in FIG. 1 is obtained by calculating the difference between the region P and the second video signal by the calculation means 1 indicated by 102 and the correlation value by the integration means 1 indicated by 103. Ask for. Then, the correlation value is similarly obtained by shifting the position of the region P, and the correlation value for each shifted position is stored in the storage means 2 indicated by 104. The minimum correlation value is obtained by the comparison means 1 shown at 105.

この最小相関値を算出後、他のノイズ候補画素全てについても同様に相関最小値を求め、１０６に示す積分手段２により相関最小値の和を求める。前記積分手段２で求められた相関最小値の和をＶｎと呼ぶこととする。前記Ｖｎは動きのない映像はもちろんのこと、動きのある映像に対してもノイズ量を反映しており、ノイズ量と考えることができる。しかし、被写体の動きがあまりにも早く、相関の高い領域の探索に追いつけない映像や、あるいは、シーンチェンジ等による急激に変化する画像に対しては、前記Ｖｎ値は極端に大きくなる。しかし、適切な閾値ＴＨ１とＴＨ２（ＴＨ１＜ＴＨ２）を用いて、Ｖｎ＜ＴＨ１であればノイズの少ない映像、ＴＨ１＜Ｖｎ＜ＴＨ２であればノイズの多い映像、ＴＨ２＜Ｖｎであれば動きの早い映像であると判断できる。したがって、前記Ｖｎはノイズ量を測定する上で有効な値となる。 After calculating the minimum correlation value, the minimum correlation value is similarly determined for all other noise candidate pixels, and the sum of the minimum correlation values is determined by the integrating means 2 shown at 106. The sum of the minimum correlation values obtained by the integrating means 2 is called Vn. Vn reflects the amount of noise not only for a motionless image but also for a moving image, and can be considered as a noise amount. However, the Vn value becomes extremely large for an image that moves too quickly and cannot catch up with a search for a highly correlated area, or an image that changes rapidly due to a scene change or the like. However, using appropriate threshold values TH1 and TH2 (TH1 <TH2), if Vn <TH1, a video with less noise, a video with much noise if TH1 <Vn <TH2, and a fast motion if TH2 <Vn. It can be judged that it is a video. Therefore, the Vn is an effective value for measuring the amount of noise.

（実施の形態２）
また、本願第２の発明においては、さらに、図３に示す３０８の演算手段２を用いて、フレームごとに算出されるＶｎをデータとして統計処理を行うことにより、ノイズ量測定の精度が向上する。統計処理として、ヒストグラムを用いる方法、中央値を算出する方法、平均値を算出する方法が考えられる。 (Embodiment 2)
Further, in the second invention of the present application, the accuracy of noise amount measurement is further improved by performing statistical processing using Vn calculated for each frame as data using the calculation means 2 of 308 shown in FIG. . As statistical processing, a method using a histogram, a method of calculating a median value, and a method of calculating an average value are conceivable.

ヒストグラムを用いる方法は、現フレームを含むある連続する一定の複数フレームにおいて算出された複数のノイズ量データに対してヒストグラムを算出する。前記ヒストグラムから最も頻度の高い範囲に存在するＶｎ値を抽出する。この前記抽出されたＶｎ値に対して、例えば平均値Ｖｎ１を算出する。前記Ｖｎ１を現フレームにおけるノイズ測定量とすることで、動きの早い映像によって突然Ｖｎ値が大きくなっても安定してノイズ量を測定することが可能となり、ノイズ量測定の精度が大幅に向上するという効果がある。 In the method using the histogram, the histogram is calculated for a plurality of noise amount data calculated in a certain continuous plurality of frames including the current frame. Vn values existing in the most frequent range are extracted from the histogram. For example, an average value Vn1 is calculated for the extracted Vn value. By using Vn1 as the noise measurement amount in the current frame, it becomes possible to stably measure the noise amount even when the Vn value suddenly increases due to a fast moving image, and the accuracy of noise amount measurement is greatly improved. There is an effect.

また、中央値を算出する方法は、現フレームを含むある一定の連続する複数フレームにおいて算出された複数のノイズ量データの中央値Ｖｎｍを算出し、前記Ｖｎｍを現フレームにおけるノイズ測定量とするものである。中央値を算出する方法は、簡単なハード設計が実現できる上、ノイズ測定値の精度が向上するという効果がある。また、平均値を算出する方法は、現フレームをある一定の連続する複数フレームにおいて算出された複数のノイズ量の平均値Ｖｎａを算出し、前記Ｖｎａを現フレームにおけるノイズ量とするものである。これにより、簡単なハード設計が実現できる上、ノイズ測定値の精度が向上するという効果がある。 The median is calculated by calculating the median value Vnm of a plurality of noise amount data calculated in a certain continuous plurality of frames including the current frame, and using the Vnm as the noise measurement amount in the current frame. It is. The method of calculating the median value has an effect that a simple hardware design can be realized and the accuracy of the noise measurement value is improved. The average value is calculated by calculating an average value Vna of a plurality of noise amounts calculated in a certain continuous plurality of frames from the current frame, and using the Vna as a noise amount in the current frame. As a result, a simple hardware design can be realized and the accuracy of noise measurement values can be improved.

さらに、前記本願第２の発明において統計処理を行う前に、あらかじめフレームごとに算出されるＶｎデータに対して、フレーム軸方向にローパスフィルタをかけることでＶｎのばらつきが小さくなり、この状態で統計処理を行うことで、さらにノイズ量測定の精度が向上するという効果がある。 Further, before performing statistical processing in the second invention of the present application, by applying a low-pass filter in the frame axis direction to the Vn data calculated for each frame in advance, the variation in Vn is reduced. By performing the processing, there is an effect that the accuracy of noise amount measurement is further improved.

なお、相関性の高い領域を探索するにあたって、領域Ｐを垂直方向に１画素、水平方向に数画素（例えば５画素）の長方形とすることにより、主にテレビジョンの受像方式である、ラスタスキャン方式に適合し、メモリ資源を節約することが可能となる。 When searching for highly correlated areas, the area P is a rectangle of one pixel in the vertical direction and several pixels (for example, five pixels) in the horizontal direction, so that the raster scan, which is mainly a television image receiving system, is used. It is possible to save memory resources by conforming to the method.

また、上記ノイズ量測定方法は、映像領域の全ての画素に対して二次元ノイズ候補を抽出し、相関最小値の和Ｖｎを算出したが、処理の負担を軽減させるため、映像領域内のある領域Ａについてのみ相関最小値の和Ｖｎを算出し、それをノイズ量としてもかまわない。また、この領域Ａは映像領域内に複数あってもかまわない。その際、複数あるそれぞれの領域で最小相関値の和を求め、その和を前記Ｖｎとする。 In the noise amount measuring method, two-dimensional noise candidates are extracted for all pixels in the video area and the sum Vn of the minimum correlation values is calculated. It is possible to calculate the sum Vn of the minimum correlation values only for the region A and use it as the noise amount. Further, there may be a plurality of areas A in the video area. At that time, the sum of the minimum correlation values is obtained in each of a plurality of regions, and the sum is set as Vn.

（実施の形態３）
また、本願第３、４の発明は、前記ノイズ量測定装置と巡回型ノイズ低減装置を備えた装置において、ノイズ測定装置で測定された前記Ｖｎの値に応じてノイズ軽減効果を調節する映像受像機である。 (Embodiment 3)
Further, the third and fourth inventions of the present application, in an apparatus including the noise amount measuring apparatus and the cyclic noise reducing apparatus, adjust the noise reduction effect according to the value of Vn measured by the noise measuring apparatus. Machine.

図４にこの装置のブロック線図を示す。この装置は、デジタル映像信号が入力される入力端子４０１と、入力映像信号に係数１―Ｋを乗算する第１の乗算器４０２と、フレームメモリ４０６により１フレーム遅延した映像信号に帰還係数Ｋを乗算する第２の乗算器４０３と、係数Ｋ（ここで０≦Ｋ≦１）を発生する係数発生器４０４と、乗算器４０２及び４０３の出力を加算して加算信号をフレームメモリ４０６に供給する一方出力端子４０７に出力する加算器４０５と、加算器４０５からの加算信号を新たな映像信号として１フレーム分格納するフレームメモリ４０６に加えて、前記ノイズ量測定装置４０８を具備している。なお、乗算器４０２，４０３、加算器４０５、及びフレームメモリ４０６は、フレーム巡回型フィルタを構成している。 FIG. 4 shows a block diagram of this apparatus. This apparatus includes an input terminal 401 to which a digital video signal is input, a first multiplier 402 that multiplies the input video signal by a coefficient 1-K, and a feedback coefficient K applied to the video signal delayed by one frame by the frame memory 406. A second multiplier 403 that performs multiplication, a coefficient generator 404 that generates a coefficient K (where 0 ≦ K ≦ 1), and outputs of the multipliers 402 and 403 are added to supply an addition signal to the frame memory 406. On the other hand, in addition to the adder 405 output to the output terminal 407 and the frame memory 406 for storing the added signal from the adder 405 for one frame as a new video signal, the noise amount measuring device 408 is provided. The multipliers 402 and 403, the adder 405, and the frame memory 406 constitute a frame recursive filter.

このフレーム巡回型フィルタにより、入力映像信号を１―Ｋ倍した信号（これは帰還係数Ｋ分だけ入力映像信号を小さくした信号と言える）と、１フレーム遅延した映像信号をＫ倍した信号とを加算することにより、結果としてフレーム間の差信号（フレーム相関が強い映像信号の場合は、この差信号は主にノイズ成分と言える）に係数Ｋを乗算したものを入力映像信号から減算することになり、ノイズを除去している。ここで、入力映像信号をＳ１、フレームメモリ４０６から出力される１フレーム遅延の映像信号をＳ２とすると、出力端子４０７には、（１―Ｋ）Ｓ１＋ＫＳ２＝Ｓ１―Ｋ（Ｓ１―Ｓ２）が出力される。即ち、現在の入力映像信号Ｓ１からノイズ成分に相当するＫ（Ｓ１―Ｓ２）を減算することにより、ノイズ除去が図られる。 By this frame recursive filter, a signal obtained by multiplying the input video signal by 1-K (which can be said to be a signal obtained by reducing the input video signal by the feedback coefficient K) and a signal obtained by multiplying the video signal delayed by one frame by K are obtained. As a result, the difference signal between frames (in the case of a video signal with strong frame correlation, this difference signal can be said to be mainly a noise component) multiplied by a coefficient K is subtracted from the input video signal. The noise is removed. Here, assuming that the input video signal is S1, and the one-frame delayed video signal output from the frame memory 406 is S2, (1-K) S1 + KS2 = S1-K (S1-S2) is output to the output terminal 407. Is done. That is, noise removal is achieved by subtracting K (S1-S2) corresponding to the noise component from the current input video signal S1.

さて、この装置において、前記係数値Ｋは、前記ノイズ量測定装置によって測定されたノイズ測定値に基づいて係数発生器４０４で決定される。例えば、係数発生器４０４は、ノイズ測定値に対して係数Ｋを図５のような特性をもって発生するとする。すなわち、ノイズ測定値が０以上Ｎｔｈ１以下のときは動きのない映像と考え、ノイズ測定値の増加に対して係数Ｋを単調増加させ、ノイズ測定値がＮｔｈ１以上のときは動きの早い映像と考え、ノイズ測定値の増加に対して係数Ｋを単調減少させ、ノイズ測定値がＮｔｈ２以上のときは係数Ｋを０にする。 In this apparatus, the coefficient value K is determined by the coefficient generator 404 based on the noise measurement value measured by the noise amount measurement apparatus. For example, it is assumed that the coefficient generator 404 generates the coefficient K with the characteristics as shown in FIG. That is, when the noise measurement value is 0 or more and Nth1 or less, it is considered that the image does not move, the coefficient K is monotonously increased with respect to the increase of the noise measurement value, and when the noise measurement value is Nth1 or more, it is considered that the image moves quickly. The coefficient K is monotonously decreased with respect to the increase of the noise measurement value, and the coefficient K is set to 0 when the noise measurement value is Nth2 or more.

すると、係数Ｋの大きい場合は該当の画素が時間の経過とともにはノイズが多い部分であるとして、相関の高い映像信号を時系列的に加算・平均化することになり、ノイズ低減ができる。係数Ｋの小さい場合は該当の画素がノイズの少ない部分であるか、時間の経過とともに変化して動いている部分であるとして、入力映像信号をそのまま出力するようになり、相関の低い動いた部分の映像信号を加算して尾を引いたような残像の発生を防ぐことが可能となる。したがって、これにより、映像信号中のノイズ量に応じた巡回型ノイズ低減装置が実現可能となる。 Then, when the coefficient K is large, it is assumed that the corresponding pixel is a portion where the noise is increased with time, and the highly correlated video signals are added and averaged in time series, and noise can be reduced. When the coefficient K is small, the input video signal is output as it is, assuming that the corresponding pixel is a part with little noise or is changing with time, and the part with low correlation is moved. It is possible to prevent the occurrence of an afterimage such that the video signal is added and the tail is pulled. Therefore, this makes it possible to realize a cyclic noise reduction device according to the amount of noise in the video signal.

以上述べた本発明はここに記載した実施の形態に限定されることなく、発明の要旨内で各種の変形、変更の可能なことは自明である。 The present invention described above is not limited to the embodiments described herein, and it is obvious that various modifications and changes can be made within the scope of the invention.

本発明に係る映像信号のノイズ量測定装置および測定方法は、映像領域内でのノイズ量測定を可能とし、さらに相関性を考慮せずに測定した場合に比べ、動きによる誤測定を防止でき、さらに、二次元ノイズ候補検出手段を用いることにより、ノイズ測定精度の向上と、処理に対する負担の軽減効果がある。これにより、ノイズ低減効果の調節も適切でかつ処理の負担なく行うことが可能となり、画質の向上した映像受像機を実現可能とする効果も有し、ノイズ測定および巡回型ノイズ低減装置並びにそれを用いた映像受像機などに有用である。 The apparatus and method for measuring the amount of noise of a video signal according to the present invention enables measurement of the amount of noise in the video region, and can prevent erroneous measurement due to movement compared to the case where measurement is performed without considering the correlation. Furthermore, the use of the two-dimensional noise candidate detection means has the effect of improving noise measurement accuracy and reducing the burden on processing. This makes it possible to adjust the noise reduction effect appropriately and without any processing burden, and also has the effect of realizing a video receiver with improved image quality. It is useful for the video receiver used.

本願第１の発明によるノイズ量測定装置のブロック図Block diagram of the noise amount measuring apparatus according to the first invention of the present application 本願第１の発明によるノイズ候補画素と第１の領域とを示した図The figure which showed the noise candidate pixel and 1st area | region by 1st invention of this application 本願第２の発明によるノイズ量測定装置のブロック図Block diagram of the noise amount measuring apparatus according to the second invention of the present application 本願第３及び４の発明による巡回型ノイズ低減装置のブロック図Block diagram of a cyclic noise reduction apparatus according to the third and fourth inventions of the present application 本願第３及び４の発明による巡回型ノイズ低減装置における係数発生回路における係数Ｋの出力特性を示した図The figure which showed the output characteristic of the coefficient K in the coefficient generation circuit in the cyclic | annular noise reduction apparatus by 3rd and 4th invention of this application

符号の説明Explanation of symbols

１０１記憶手段１
１０２演算手段１
１０３積分手段１
１０４記憶手段２
１０５比較手段１
１０６積分手段２
１０７制御 101 storage means 1
102 Calculation means 1
103 integration means 1
104 Storage means 2
105 comparison means 1
106 Integration means 2
107 control

Claims

映像信号を入力するための第１及び第２の入力端子と、前記第１の入力端子から入力された映像信号からノイズ候補を抽出する２次元ノイズ候補検出手段と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段を備え、
前記第１の映像信号から前記２次元ノイズ候補検出手段で抽出されたノイズ候補を含む任意の第１の領域における画像情報と最も相関性の高い、前記第２の映像信号から抽出した画像情報との差分を算出し、さらに前記算出された画像情報の差分信号を映像領域に渡って積分するによりノイズ量を測定することを特徴とするノイズ量測定装置。 First and second input terminals for inputting a video signal, two-dimensional noise candidate detection means for extracting a noise candidate from the video signal input from the first input terminal, and the second input terminal A first storage means for storing the input video signal, a difference between the first video signal input from the first input terminal and the second video signal read from the first storage means Computing means, first integrating means for integrating the difference signal computed from the computing means, a control device for controlling the first integrating means, and the integral computed by the first integrating means A plurality of second storage means for storing results, a comparison means for obtaining minimum values of the plurality of integration results outputted from the plurality of second storage means, and integrating the minimum values calculated by the comparison means Second integrating means for
Image information extracted from the second video signal having the highest correlation with image information in an arbitrary first region including a noise candidate extracted from the first video signal by the two-dimensional noise candidate detection means; A noise amount measuring apparatus, wherein the noise amount is measured by further integrating the calculated difference signal of the image information over the video region.

第１の領域は垂直方向１画素、水平方向少なくとも２画素以上の領域であることを特徴とする請求項１に記載のノイズ量測定装置。 The noise amount measuring apparatus according to claim 1, wherein the first area is an area having one pixel in the vertical direction and at least two pixels in the horizontal direction.

ノイズ量を算出するにあたり、前記第１の領域と、前記第２の映像信号から抽出した画像情報との差分を映像領域内の１つ以上の第２の領域に渡って積分することによりノイズ量を測定することを特徴とする請求項１に記載のノイズ量測定装置。 In calculating the amount of noise, the amount of noise is obtained by integrating the difference between the first region and image information extracted from the second video signal over one or more second regions in the video region. The noise amount measuring apparatus according to claim 1, wherein:

映像信号を入力するための第１及び第２の入力端子と、前記第１の入力端子から入力された映像信号からノイズ候補を抽出する２次元ノイズ候補検出手段と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段に加え、前記第２の積分手段の出力結果に基づいて演算する第２の演算手段をさらに備え、
前記第１の映像信号から前記２次元ノイズ候補検出手段で抽出されたノイズ候補を含む任意の第１の領域における画像情報と最も相関性の高い前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を映像領域に渡って積分し、さらに前記算出された積分値である第２の積分結果を第２の演算手段において統計処理することによりノイズ量を測定することを特徴とするノイズ量測定装置。 First and second input terminals for inputting a video signal, two-dimensional noise candidate detection means for extracting a noise candidate from the video signal input from the first input terminal, and the second input terminal A first storage means for storing the input video signal, a difference between the first video signal input from the first input terminal and the second video signal read from the first storage means Computing means, first integrating means for integrating the difference signal computed from the computing means, a control device for controlling the first integrating means, and the integral computed by the first integrating means A plurality of second storage means for storing results, a comparison means for obtaining minimum values of the plurality of integration results outputted from the plurality of second storage means, and integrating the minimum values calculated by the comparison means In addition to the second integrating means Further comprising a second calculating means for calculating, based on the output result of the second integration means,
Image information in an arbitrary first region including a noise candidate extracted from the first video signal by the two-dimensional noise candidate detection means and image information extracted from the second video signal having the highest correlation The difference is calculated, the difference signal of the calculated image information is integrated over the video region, and the second integration result, which is the calculated integration value, is statistically processed in the second calculation means, thereby generating noise. A noise amount measuring apparatus characterized by measuring a quantity.

第２の演算手段は、一定の連続する複数フレームにおけるヒストグラムの最も頻度の高い範囲に存在する信号を処理することを特徴とする請求項４に記載のノイズ量測定装置。 5. The noise amount measuring apparatus according to claim 4, wherein the second calculation means processes a signal existing in a most frequent range of a histogram in a certain continuous plurality of frames.

第２の演算手段は、一定の連続する複数フレームにおける中央値を算出することを特徴とする請求項４に記載のノイズ量測定装置。 The noise amount measuring apparatus according to claim 4, wherein the second calculation means calculates a median value in a fixed number of consecutive frames.

第２の演算手段、は一定の連続する複数フレームにおける平均値を出力することを特徴とする請求項４に記載のノイズ量測定装置。 The noise amount measuring apparatus according to claim 4, wherein the second calculation means outputs an average value in a certain continuous plurality of frames.

第２の演算手段は、入力される積分結果に対して、あらかじめ時間軸方向にローパスフィルタをかけた後に、種種の統計処理を行うことを特徴とする請求項５乃至請求項７のいずれかに記載のノイズ量測定装置。 The second calculation means performs various kinds of statistical processing on the input integration result after applying a low-pass filter in the time axis direction in advance. The noise amount measuring apparatus described.

第１の領域は垂直方向１画素、水平方向少なくとも２画素以上の領域であることを特徴とする請求項４に記載のノイズ量測定装置。 The noise amount measuring apparatus according to claim 4, wherein the first area is an area of one pixel in the vertical direction and at least two pixels in the horizontal direction.

ノイズ量を算出するにあたり、前記第１の領域と、前記第２の映像信号から抽出した画像情報との差分を映像領域内の１つ以上の第２の領域に渡って積分することによりノイズ量を測定することを特徴とする請求項４に記載のノイズ量測定装置。 In calculating the amount of noise, the amount of noise is obtained by integrating the difference between the first region and image information extracted from the second video signal over one or more second regions in the video region. The noise amount measuring apparatus according to claim 4, wherein:

映像信号を入力するための第１及び第２の入力端子と、前記第１の入力端子から入力された映像信号からノイズ候補を抽出する２次元ノイズ候補検出手段と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段と、さらに巡回型ノイズ低減手段を備え、
前記第１の映像信号から前記２次元ノイズ候補検出手段で抽出されたノイズ候補を含む任意の第１の領域における画像情報と最も相関性の高い、前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の映像領域に渡って積分することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節することを特徴とする映像受像機。 First and second input terminals for inputting a video signal, two-dimensional noise candidate detection means for extracting a noise candidate from the video signal input from the first input terminal, and the second input terminal A first storage means for storing the input video signal, a difference between the first video signal input from the first input terminal and the second video signal read from the first storage means Computing means, first integrating means for integrating the difference signal computed from the computing means, a control device for controlling the first integrating means, and the integral computed by the first integrating means A plurality of second storage means for storing results, a comparison means for obtaining minimum values of the plurality of integration results outputted from the plurality of second storage means, and integrating the minimum values calculated by the comparison means Second integrating means for further Comprising a mold noise reducing means,
Image information extracted from the second video signal having the highest correlation with image information in an arbitrary first region including a noise candidate extracted from the first video signal by the two-dimensional noise candidate detection means; A noise amount is measured by integrating a difference signal of the calculated image information over an arbitrary video region, and a noise reduction effect is adjusted according to the measured noise amount. Characteristic video receiver.

第１の領域は垂直方向１画素、水平方向少なくとも２画素以上の領域であることを特徴とする請求項１１に記載の映像受像機。 12. The video receiver according to claim 11, wherein the first area is an area having one pixel in the vertical direction and at least two pixels in the horizontal direction.

前記第１の領域と、前記第２の映像信号から抽出した画像情報との差分を映像領域内の１つ以上の第２の領域に渡って積分することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節することを特徴とする請求項１１に記載の映像受像機。 A noise amount is measured by integrating a difference between the first area and image information extracted from the second video signal over one or more second areas in the video area, and the measurement is further performed. The video receiver according to claim 11, wherein the noise reduction effect is adjusted in accordance with the amount of noise that has occurred.

映像信号を入力するための第１及び第２の入力端子と、前記第１の入力端子から入力された映像信号からノイズ候補を抽出する２次元ノイズ候補検出手段と、前記第２の入力端子から入力された映像信号を記憶する第１の記憶手段と、前記第１の入力端子から入力された第１の映像信号と前記第１の記憶手段から読み出された第２の映像信号との差分を算出する演算手段と、前記演算手段から算出された差分信号を積分する第１の積分手段と、前記第１の積分手段を制御する制御装置と、前記第１の積分手段より算出された積分結果を記憶する複数の第２の記憶手段と、前記複数の第２の記憶手段から出力された複数の前記積分結果の最小値を求める比較手段と、前記比較手段により算出された最小値を積分する第２の積分手段と、前記第２の積分手段の出力結果に基づいて演算する第２の演算手段と、さらに巡回型ノイズ低減手段を備え、
前記第１の映像信号から前記２次元ノイズ候補検出手段で抽出されたノイズ候補を含む任意の第１の領域における画像情報と最も相関性の高い前記第２の映像信号から抽出した画像情報との差分を算出し、前記算出された画像情報の差分信号を任意の映像領域に渡って積分し、前記算出された積分値である第２の積分結果を第２の演算手段において統計処理することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節することを特徴とする映像受像機。 First and second input terminals for inputting a video signal, two-dimensional noise candidate detection means for extracting a noise candidate from the video signal input from the first input terminal, and the second input terminal A first storage means for storing the input video signal, a difference between the first video signal input from the first input terminal and the second video signal read from the first storage means Computing means, first integrating means for integrating the difference signal computed from the computing means, a control device for controlling the first integrating means, and the integral computed by the first integrating means A plurality of second storage means for storing results, a comparison means for obtaining minimum values of the plurality of integration results outputted from the plurality of second storage means, and integrating the minimum values calculated by the comparison means Second integrating means for performing said second integration Second calculating means for calculating, based on the output result of the integration means further comprises a recursive type noise reducing means,
Image information in an arbitrary first region including a noise candidate extracted from the first video signal by the two-dimensional noise candidate detection means and image information extracted from the second video signal having the highest correlation By calculating the difference, integrating the calculated difference signal of the image information over an arbitrary video region, and statistically processing the second integration result, which is the calculated integration value, in the second calculation means. A video receiver characterized by measuring a noise amount and further adjusting a noise reduction effect according to the measured noise amount.

第１の領域は垂直方向１画素、水平方向少なくとも２画素以上の領域であることを特徴とする請求項１４に記載の映像受像機。 15. The video receiver according to claim 14, wherein the first area is an area having one pixel in the vertical direction and at least two pixels in the horizontal direction.

前記第１の領域と、前記第２の映像信号から抽出した画像情報との差分を映像領域内の１つ以上の第２の領域に渡って積分することによりノイズ量を測定し、さらに前記測定したノイズ量に応じてノイズ低減効果を調節することを特徴とする請求項１４に記載の映像受像機。 A noise amount is measured by integrating a difference between the first area and image information extracted from the second video signal over one or more second areas in the video area, and the measurement is further performed. The video receiver according to claim 14, wherein the noise reduction effect is adjusted according to the amount of noise that has occurred.