JP4791275B2 - Moving image noise removal device - Google Patents

Moving image noise removal device Download PDF

Info

Publication number
JP4791275B2
JP4791275B2 JP2006184519A JP2006184519A JP4791275B2 JP 4791275 B2 JP4791275 B2 JP 4791275B2 JP 2006184519 A JP2006184519 A JP 2006184519A JP 2006184519 A JP2006184519 A JP 2006184519A JP 4791275 B2 JP4791275 B2 JP 4791275B2
Authority
JP
Japan
Prior art keywords
input
pixel
pixel values
filter
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006184519A
Other languages
Japanese (ja)
Other versions
JP2008017021A (en
Inventor
みどり 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006184519A priority Critical patent/JP4791275B2/en
Publication of JP2008017021A publication Critical patent/JP2008017021A/en
Application granted granted Critical
Publication of JP4791275B2 publication Critical patent/JP4791275B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Description

この発明は、入力動画像のノイズを除去し、画質の改善を行うための動画像ノイズ除去装置に関するものである。   The present invention relates to a moving image noise removing apparatus for removing noise from an input moving image and improving image quality.

従来のノイズ除去装置において、複数ラインの画素値が入力される複数のフィルタは、独立に処理されることが多かった。そのため、３つのラインが入力されるフィルタを２つ利用するときには、前段に配置されたフィルタで１ライン分遅延され、後段に配置されたフィルタでさらに１ライン分遅延されるので、演算遅延以外に、２ライン分の遅延が必要である。
例えば、３ラインメディアンフィルタでは、入力画素値を２ライン分遅延した画素値、１ライン分遅延した画素値、遅延なしの画素値の３ラインの画素値を入力し、これらをソートして中央の値を出力する。出力画素値は、入力の１ライン分遅延した画素値に相当するので、３ラインメディアンフィルタでの処理遅延は、１ライン分遅延と演算遅延との合算値である（例えば、特許文献１参照）。 In a conventional noise removal apparatus, a plurality of filters to which pixel values of a plurality of lines are input are often processed independently. Therefore, when using two filters with three lines input, the filter placed in the previous stage is delayed by one line, and the filter placed in the subsequent stage is further delayed by one line. A delay of 2 lines is required.
For example, in a three-line median filter, pixel values of three lines of input pixel values delayed by two lines, pixel values delayed by one line, and pixel values without delay are input, and these are sorted to obtain the center Output the value. Since the output pixel value corresponds to a pixel value delayed by one line of input, the processing delay in the three-line median filter is a sum value of the delay by one line and the operation delay (see, for example, Patent Document 1). .

また、入力画像を２次元ＬＰＦ演算しているノイズ低減回路では、対象とする画素の周辺が演算対象となるため、少なくとも水平および垂直方向に３個以上の画素値が入力されることが必要である。ここで、最小の３画素×３ラインの入力を想定すると、入力画素値を２ライン分遅延した画素値、１ライン分遅延した画素値、遅延なしの画素値の３ラインの画素値を入力し、ＬＰＦ演算処理を行う。この演算の結果、得られる画素値は中央の１ライン分遅延した画素値である。その結果、動静の判定をこの位置の画素に対して行うこととなり、入力画素値を１ライン分遅延した画素値のノイズ低減演算が実行される。このため、このノイズ低減回路での処理遅延は、１ライン分遅延と演算遅延との合算値である（例えば、特許文献２参照）。   In addition, in the noise reduction circuit that performs the two-dimensional LPF calculation on the input image, the periphery of the target pixel is the calculation target, and therefore it is necessary to input three or more pixel values at least in the horizontal and vertical directions. is there. Here, assuming the input of the minimum 3 pixels × 3 lines, the pixel value of the input pixel value delayed by 2 lines, the pixel value delayed by 1 line, and the pixel value without delay are input. , LPF calculation processing is performed. As a result of this calculation, the pixel value obtained is a pixel value delayed by one center line. As a result, the motion determination is performed on the pixel at this position, and the noise reduction calculation of the pixel value obtained by delaying the input pixel value by one line is executed. For this reason, the processing delay in this noise reduction circuit is the sum of the delay for one line and the operation delay (for example, see Patent Document 2).

特開平０９−２００５７９号公報JP 09-200579 A 特開平０６−２２５１７８号公報Japanese Patent Laid-Open No. 06-225178

しかし、メディアンフィルタによるインパルスノイズ除去と、フレーム間差分抑圧フィルタによるノイズ低減とをともに行うときには、メディアンフィルタとフレーム間差分抑圧フィルタとを直列に接続する。このとき、入力ライン分の画素値を揃えるため、ライン遅延が挿入されるが、このライン遅延は、上下のＮラインずつの画素値が入力される場合、すなわち入力ライン数が（２×Ｎ＋１）の場合、Ｎライン分の遅延となる。そして、前段に配置されたフィルタに上下のＮラインずつの画素値が入力され、後段に配置されたフィルタに上下のＭラインずつの画素値が入力されるので、演算遅延に加え、（Ｎ＋Ｍ）ライン分の遅延が発生する。このため、入力ライン数が多いほど遅延が大きくなり、かつ遅延を実現するためのメモリ等の回路も多くなるという問題がある。   However, when performing both the impulse noise removal by the median filter and the noise reduction by the interframe difference suppression filter, the median filter and the interframe difference suppression filter are connected in series. At this time, a line delay is inserted in order to align the pixel values for the input lines. This line delay is calculated when the pixel values of the upper and lower N lines are input, that is, the number of input lines is (2 × N + 1). In this case, the delay is N lines. Then, the pixel value for each of the upper and lower N lines is input to the filter arranged in the preceding stage, and the pixel value for each of the upper and lower M lines is input to the filter arranged in the subsequent stage. Therefore, in addition to the operation delay, (N + M) Line delay occurs. For this reason, there is a problem that the larger the number of input lines, the larger the delay and the more circuits such as a memory for realizing the delay.

この発明の目的は、インパルスノイズおよびフレーム間差分の抑圧をともに処理しても、遅延の少なく、必要とするメモリの少ない動画像ノイズ除去装置を提供することである。   An object of the present invention is to provide a moving image noise removing apparatus that requires little memory and requires little memory even if both impulse noise and inter-frame difference suppression are processed.

この発明に係わる動画像ノイズ除去装置は、連続するフレーム内の上下方向に並ぶライン上に並ぶ画素のラスタースキャン順に入力される画素値からなる動画像の画像データに含まれるノイズを除去する動画像ノイズ除去装置において、予め定めた正の整数Ｎが予め定めた正の整数Ｍを超える場合、入力された画素値および該画素値の入力に対して１ライン分から２ｎ｛但し、ｎはＮから（Ｎ−Ｍ）までの異なる正の整数）ライン分それぞれ前に入力された２ｎ個の画素値がそれぞれ入力され、フィルタ処理して得る画素値を上記画素値の入力に対してｎライン分前に入力されたそれぞれの画素値に代えて出力する（Ｍ＋１）個の第１画像フィルタと、上記（Ｍ＋１）個の第１画像フィルタから出力された画素値および上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタから出力された画素値が１ライン分からＭライン分それぞれ遅延された画素値が入力され、フィルタ処理して得る画素値を上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力が入力された画素値に代えて出力する第２画像フィルタと、を有する。   The moving image noise removing apparatus according to the present invention removes noise contained in moving image image data composed of pixel values input in the raster scan order of pixels arranged on a line arranged in the vertical direction in successive frames. In the noise removal apparatus, when the predetermined positive integer N exceeds the predetermined positive integer M, the input pixel value and the input of the pixel value from one line to 2n {where n is from N ( (N−M) different positive integers) 2n pixel values previously input for the respective lines are input, and the pixel values obtained by filtering are input n lines before the pixel values input. (M + 1) first image filters to be output instead of the input pixel values, the pixel values output from the (M + 1) first image filters, and the (2N + 1) pixels The pixel value output from the first image filter to which the prime value is input is input as a pixel value delayed from one line to M lines, and the pixel value obtained by filtering is the above (2N + 1) pixel values. A second image filter that outputs the output of the input first image filter instead of the input pixel value.

この発明に係わる動画像ノイズ除去装置の効果は、インパルスノイズを除去できる第１画像フィルタとフレーム間差分を抑圧できる第２画像フィルタを備えて動画像のノイズを除去処理しても、第２画像フィルタの入力として第１画像フィルタの出力を入力ライン数を減少させたものを使用しているので、処理に伴って発生する遅延がＭとＮの大きな方の数のライン分の遅延と演算遅延だけであり、従来の（Ｍ＋Ｎ）ライン遅延と演算遅延に比べてＭまたはＮの小さい方分のライン遅延を短縮することができる。   The effect of the moving image noise removing apparatus according to the present invention is that the first image filter that can remove the impulse noise and the second image filter that can suppress the inter-frame difference are provided, and even if the noise of the moving image is removed, the second image can be removed. Since the output of the first image filter with the reduced number of input lines is used as the input of the filter, the delay generated by the processing is a delay corresponding to the larger number of lines of M and N and an operation delay. As compared with the conventional (M + N) line delay and calculation delay, the line delay corresponding to the smaller M or N can be shortened.

実施の形態１．
図１は、この発明の実施の形態１に係わる動画像ノイズ除去装置の構成図である。
動画像は、所定の周期で切り替わるフレームで構成され、フレームは、複数の画素から構成されている。画素は、人がフレームを眺めたときの上方左端から水平に右手方向に走査され、右端に達すると１画素分下方に移動しながら左端から再度水平に右手方向に走査を繰り返す。このとき、左端から右端に１回走査する画素群をライン（走査線）と称す。
動画像のデータは、画素毎の画素値から構成され、画素値は、ライン毎、フレーム毎に送受信される。そしてこの発明に係わる動画像ノイズ除去装置は、動画像のデータに送受信の過程で加わるノイズをメディアンフィルタとフレーム間差分抑圧フィルタで除去する機能を有する。 Embodiment 1 FIG.
FIG. 1 is a block diagram of a moving image noise removing apparatus according to Embodiment 1 of the present invention.
A moving image is composed of frames that are switched at a predetermined cycle, and the frame is composed of a plurality of pixels. The pixels are scanned horizontally in the right-hand direction from the upper left end when the person looks at the frame, and when reaching the right end, the pixels are moved downward by one pixel while repeating the scanning in the right-hand direction again from the left end. At this time, a pixel group that scans once from the left end to the right end is referred to as a line (scanning line).
The moving image data is composed of pixel values for each pixel, and the pixel values are transmitted and received for each line and each frame. The moving image noise removing apparatus according to the present invention has a function of removing noise added to moving image data during transmission / reception by a median filter and an inter-frame difference suppressing filter.

この発明の実施の形態１に係わる動画像ノイズ除去装置は、図１に示すように、入力された元動画像の画素値を２ライン分記憶し、２ライン分遅延した画素値を２ライン遅延画素値として出力する２ライン遅延手段１、入力された元動画像の画素値を１ライン分を記憶し、１ライン分遅延した画素値を１ライン遅延画素値として出力する１ライン遅延手段２を有する。   As shown in FIG. 1, the moving image noise removing apparatus according to the first embodiment of the present invention stores pixel values of the input original moving image for two lines, and delays the pixel values delayed by two lines by two lines. 2-line delay means 1 for outputting as a pixel value, 1-line delay means 2 for storing a pixel value of the input original moving image for one line, and outputting a pixel value delayed by one line as a one-line delay pixel value Have.

また、動画像ノイズ除去装置は、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値が入力され、２ライン遅延画素値が入力される直近に入力された２個の２ライン遅延画素値、１ライン遅延画素値が入力される直近に入力された２個の１ライン遅延画素値および元動画像の画素値が入力される直近に入力された２個の元動画像の画素値を記憶し、３つの２ライン遅延画素値、３つの１ライン画素値および３つの元動画像の画素値を大きさ順に並べ替え、大きさの中央の画素値を出力する選択回路３を有する。なお、この選択回路３は、３入力の第１画像フィルタであり、３ライン×３画素メディアンフィルタを構成する。   In addition, the moving image noise removing apparatus receives a 2-line delayed pixel value, a 1-line delayed pixel value, and a pixel value of the input original moving image, and the two input immediately before the 2-line delayed pixel value is input. 2 line delay pixel values, 1 line delay pixel value input immediately before 2 1 line delay pixel values input, and original moving image pixel values input immediately before 2 original moving images A selection circuit that stores pixel values of an image, rearranges three two-line delayed pixel values, three one-line pixel values, and three original moving image pixel values in order of size, and outputs a pixel value at the center of the size 3. The selection circuit 3 is a three-input first image filter and constitutes a 3 line × 3 pixel median filter.

ここで、選択回路３の動作を図２を参照して説明する。図２（ａ）において、１行目には２ライン遅延画素値、２行目には１ライン遅延画素値、３行目には、元動画像の画素値を示す。また、１列目には今回入力された画素値、２列目には直近に入力された画素値、３列目には２つ前に入力された画素値を示す。図２（ａ）に示す９つの画素値を大小の順に並べ替えると図２（ｂ）のようになる。そして、大きさが中央の画素値、図２（ｂ）の場合、８を画素値として出力する。   Here, the operation of the selection circuit 3 will be described with reference to FIG. In FIG. 2A, the first line shows the 2-line delayed pixel value, the second line shows the 1-line delayed pixel value, and the third line shows the pixel value of the original moving image. The first column indicates the pixel value input this time, the second column indicates the pixel value input most recently, and the third column indicates the pixel value input two times before. When the nine pixel values shown in FIG. 2A are rearranged in order of magnitude, the result is as shown in FIG. Then, in the case of FIG. 2B where the size is the center pixel value, 8 is output as the pixel value.

また、動画像ノイズ除去装置は、入力された元動画像の画素値が入力され、元動画像の画素値が入力される直近に入力された２個の元動画像の画素値を記憶し、３つの元動画像の画素値を大きさ順に並べ替え、大きさの中央の画素値を出力する第３画像フィルタとしての水平メディアンフィルタ４、選択回路３から出力される画素値を１ライン分記憶し、１ライン分遅延する画素値を出力する第２の１ライン遅延手段５を有する。なお、この水平メディアンフィルタ４は、水平３画素メディアンフィルタを構成する。   In addition, the moving image noise removing device stores the pixel values of the two original moving images that are input immediately after the pixel values of the input original moving image are input and the pixel values of the original moving image are input, The pixel values of the three original moving images are rearranged in order of size, the horizontal median filter 4 as a third image filter that outputs the pixel value at the center of the size, and the pixel values output from the selection circuit 3 are stored for one line. And a second one-line delay means 5 for outputting a pixel value delayed by one line. The horizontal median filter 4 constitutes a horizontal three-pixel median filter.

ここで、水平メディアンフィルタ４の動作を図３を参照して説明する。図３（ａ）において、１列目には今回入力された元動画像の画素値、２列目には直近に入力された元動画像の画素値、３列目には２つ前に入力された元動画像の画素値が示されている。図３（ａ）に示す３つの画素値を大小の順に並べ替えると図３（ｂ）のようになる。そして大きさが中央の画素値、図３（ｂ）の場合、１１を画素値として出力する。   Here, the operation of the horizontal median filter 4 will be described with reference to FIG. In FIG. 3A, the pixel value of the original moving image input this time in the first column, the pixel value of the original moving image input most recently in the second column, and the previous input in the third column. The pixel value of the original moving image is shown. When the three pixel values shown in FIG. 3A are rearranged in order of magnitude, the result is as shown in FIG. Then, in the case of the pixel value having the size at the center, FIG. 3B, 11 is output as the pixel value.

また、動画像ノイズ除去装置は、第２の１ライン遅延手段５から出力される画素値、選択回路３から出力される画素値、水平メディアンフィルタ４から出力される画素値が入力され、第２の１ライン遅延手段５から出力される画素値が入力される直近に入力された２個の画素値、選択回路３から出力される画素値が入力される直近に入力された２個の画素値および水平メディアンフィルタ４から出力される画素値が入力される直近に入力された２個の画素値と入力された３つの画素値とを用いて３行３列の現フレーム画素値行列を作成し、選択回路３から出力される画素値が入力される直近に入力された画素値に対応する画素を囲繞する９画素のフレームメモリ７に記憶されている画素値を用いて３行３列の前フレーム画素値行列を作成し、現フレーム画素値行列と前フレーム画素値行列の行列要素毎の差分の絶対値を求め、差分の絶対値の最大値Ｑを出力する動領域演算手段６を有する。   In addition, the moving image noise removing apparatus receives the pixel value output from the second one-line delay unit 5, the pixel value output from the selection circuit 3, and the pixel value output from the horizontal median filter 4. The two pixel values input immediately before the pixel value output from the one-line delay means 5 is input, and the two pixel values input immediately after the pixel value output from the selection circuit 3 is input. The current pixel value matrix of 3 rows and 3 columns is created using the two recently input pixel values and the three input pixel values to which the pixel values output from the horizontal median filter 4 are input. The pixel value output from the selection circuit 3 is input, and the pixel value stored in the frame memory 7 of 9 pixels surrounding the pixel corresponding to the pixel value input immediately before is input by using the pixel value stored in the 9-pixel frame memory 7. Create a frame pixel value matrix, The absolute value of the difference for each matrix element of the frame pixel value matrix and the previous frame pixel value matrix, has a moving region calculating means 6 for outputting the maximum value Q of the absolute value of the difference.

ここで、動領域演算手段６の動作を図４を参照して説明する。図４（ａ）は、現フレーム画素値行列、図４（ｂ）は、前フレーム画素値行列、図４（ｃ）は、差分の絶対値の行列を示す。そして、差分の絶対値の最大値Ｑは、図４（ｃ）の場合、３となる。   Here, the operation of the moving area calculating means 6 will be described with reference to FIG. 4A shows a current frame pixel value matrix, FIG. 4B shows a previous frame pixel value matrix, and FIG. 4C shows a matrix of absolute values of differences. The maximum absolute value Q of the difference is 3 in the case of FIG.

また、動画像ノイズ除去装置は、動領域演算手段６から出力される差分の絶対値の最大値Ｑが入力され、最大値Ｑと予め定められた２つの閾値ＴＨ、２×ＴＨとを用いて３つの特性に分類し、特性を示す値を出力する動領域判定手段８、特性に応じて選択回路３から出力される画素値と、選択回路３から出力される画素値の画素に対応する対応するフレームメモリ７に記憶されている前フレームの画素の画素値と、の差分を抑圧する差分抑圧回路９を有する。なお、動領域演算手段６、動領域判定手段８、差分抑圧回路９およびフレームメモリ７は、第２画像フィルタを構成する。   In addition, the moving image noise removing apparatus receives the maximum value Q of the absolute value of the difference output from the moving region calculation means 6, and uses the maximum value Q and two predetermined thresholds TH and 2 × TH. The moving region determination means 8 that outputs a value indicating the characteristic, classified into three characteristics, the pixel value output from the selection circuit 3 according to the characteristic, and the correspondence corresponding to the pixel of the pixel value output from the selection circuit 3 A difference suppression circuit 9 that suppresses a difference between the pixel value of the pixel of the previous frame stored in the frame memory 7 and the frame memory 7. The moving area calculation means 6, the moving area determination means 8, the difference suppression circuit 9, and the frame memory 7 constitute a second image filter.

ここで、動領域判定手段８の動作について説明する。差分の絶対値の最大値Ｑと２つの閾値ＴＨおよび２×ＴＨを用いて３つの特性に分類する。例えば、最大値Ｑが０以上で閾値ＴＨ以下のとき、特性ａ、最大値Ｑが閾値ＴＨを超えて閾値２×ＴＨ以下のとき、特性ｂ、最大値Ｑが閾値２×ＴＨを超えるとき、特性ｃと分類する。
次に、差分抑圧回路９の動作について図５を参照して説明する。図５には、選択回路３から出力される画素値とそれに対応する前フレームの画素値との差分を横軸に表し、選択回路３から出力される画素値を変更した画素値とそれに対応する前フレームの画素値との差分を縦軸に表している。特性ｃの場合、差分は変わらないが、特性ｂの場合、選択回路３から出力された画素値を変更して差分が小さくなるようにする。さらに、特性ａの場合、差分がさらに小さくなるように画素値を変更し、差分抑圧する。 Here, the operation of the moving region determination means 8 will be described. The characteristics are classified into three characteristics using the maximum absolute value Q of the difference and the two threshold values TH and 2 × TH. For example, when the maximum value Q is greater than or equal to 0 and less than or equal to the threshold value TH, the characteristic a, when the maximum value Q exceeds the threshold value TH and is less than or equal to the threshold value 2 × TH, or when the characteristic b and the maximum value Q exceed the threshold value 2 × TH, Classify as characteristic c.
Next, the operation of the differential suppression circuit 9 will be described with reference to FIG. In FIG. 5, the horizontal axis represents the difference between the pixel value output from the selection circuit 3 and the corresponding pixel value of the previous frame, and the pixel value output from the selection circuit 3 is changed and corresponds to it. The vertical axis represents the difference from the pixel value of the previous frame. In the case of the characteristic c, the difference does not change, but in the case of the characteristic b, the pixel value output from the selection circuit 3 is changed so that the difference becomes small. Further, in the case of the characteristic a, the pixel value is changed so that the difference is further reduced, and the difference is suppressed.

次に、この発明の実施の形態１に係わる動画像ノイズ除去装置の動作を図６のタイミングチャートを使って説明する。
元画像の画素値として、フレームの各ラインの画素の画素値が順次入力される。
選択回路３への入力は、２ライン遅延手段１から出力される２ライン遅延画素値、１ライン遅延手段２から出力される１ライン遅延画素値、元画像の画素値が入力される。
選択回路３からの出力は、３ライン×３画素の９個の画素値の大きさの中央値（メディアン）で１ライン遅延画素値を置き換えるので、この出力には１ライン分の遅延と処理遅延が発生する。
水平メディアンフィルタ４は、元画像の画素値が入力され、水平３画素の３個の画素値の大きさの中央値（メディアン）で元画像の画素値を置き換えて出力するので、この出力には処理遅延が発生する。
動領域演算手段６は、選択回路３から出力された画素値、第２の１ライン遅延手段５から出力される選択回路３から出力された画素値を１ライン分遅延した画素値および水平メディアンフィルタ４から出力された画素値が入力される。このうち、選択回路３から出力された画素値を１ライン分遅延した画素値がある程度の演算遅延の後差分抑圧回路９から最終画素が出力される。結果、入力から出力前の遅延は、１ライン分遅延とメディアンフィルタおよび差分抑圧処理の処理遅延を足したものとなる。 Next, the operation of the moving image noise removing apparatus according to Embodiment 1 of the present invention will be described with reference to the timing chart of FIG.
As the pixel values of the original image, the pixel values of the pixels in each line of the frame are sequentially input.
The input to the selection circuit 3 is a 2-line delay pixel value output from the 2-line delay means 1, a 1-line delay pixel value output from the 1-line delay means 2, and a pixel value of the original image.
Since the output from the selection circuit 3 replaces the one-line delayed pixel value with the median value of the nine pixel values of 3 lines × 3 pixels, this output includes a delay for one line and a processing delay. Will occur.
Since the horizontal median filter 4 receives the pixel value of the original image and replaces the pixel value of the original image with the median value of the three pixel values of the three horizontal pixels, the horizontal median filter 4 outputs this. Processing delay occurs.
The moving area calculation means 6 includes a pixel value output from the selection circuit 3, a pixel value obtained by delaying the pixel value output from the selection circuit 3 output from the second one-line delay means 5 by one line, and a horizontal median filter. The pixel value output from 4 is input. Among these, the pixel value output from the selection circuit 3 is delayed by one line, and the final pixel is output from the difference suppression circuit 9 after a certain calculation delay. As a result, the delay from the input to the output is the sum of the delay for one line and the processing delay of the median filter and the difference suppression processing.

このような動画像ノイズ除去装置は、メディアンフィルタとフレーム間差分抑圧フィルタでの処理を１ライン分遅延と処理遅延だけで行うことができる。そして、従来のようにメディアンフィルタとフレーム間差分抑圧フィルタを直列に接続した場合より１ライン分の遅延を短縮することができる。
また、処理に伴って発生する遅延が影響する範囲は、動領域演算手段６だけであるため、影響を少なく押さえることができる。たとえば、水平メディアンフィルタ４は、垂直方向の細いラインを消しやすいので、その影響で静止領域を動領域と誤判定することがあり得る。しかし、処理対象は１ライン上の、３ライン×３画素のメディアンフィルタの出力であるため、垂直方向の細いラインが消去されて出力されることはない。 Such a moving image noise removing apparatus can perform processing by the median filter and the inter-frame difference suppression filter with only one line delay and processing delay. Then, the delay for one line can be shortened as compared with the case where the median filter and the inter-frame difference suppression filter are connected in series as in the prior art.
In addition, since the range affected by the delay generated by the processing is only the moving area calculation means 6, the influence can be suppressed to a small extent. For example, since the horizontal median filter 4 easily erases thin lines in the vertical direction, the stationary region may be erroneously determined as a moving region due to the influence. However, since the processing target is the output of the median filter of 3 lines × 3 pixels on one line, the thin line in the vertical direction is not erased and output.

また、メディアンフィルタはインパルスノイズ除去に有効であり、一方フレーム間差分抑圧フィルタは、動画像に含まれる静止部分の画素値の揺れを抑制することができる。そして、メディアンフィルタとフレーム間差分抑圧フィルタを直列に接続することで２種類のノイズの除去を行える。さらに、インパルスノイズによる動領域演算での誤判定を防ぐこともできる。   Further, the median filter is effective for removing impulse noise, while the inter-frame difference suppression filter can suppress the fluctuation of the pixel value of the still portion included in the moving image. Two types of noise can be removed by connecting the median filter and the inter-frame difference suppression filter in series. Furthermore, it is possible to prevent erroneous determination in the dynamic region calculation due to impulse noise.

また、この実施の形態１に係わるメディアンフィルタの出力は、選択回路３で行う３ライン×３画素のメディアンフィルタ処理の結果であるが、対象画像の上下左右の５画素のフィルタや、対象画素の上下のみの垂直メディアンフィルタでも実現可能である。また、隣接５画素、上下３画素、水平３画素のメディアンフィルタ、フィルタ無しなどと、何らかの判定に基づいて切替を行うことも可能である。   The output of the median filter according to the first embodiment is a result of the median filter processing of 3 lines × 3 pixels performed by the selection circuit 3. It can also be realized with a vertical median filter with only top and bottom. It is also possible to perform switching based on some determination such as a median filter of five adjacent pixels, three upper and lower pixels, and three horizontal pixels, or no filter.

また、動領域演算手段６では、上述のような演算方法以外にも、周辺９画素に重み付け平均を使用した平均値と処理対象画素位置と同じ位置の前フレームの画素値との差分をとり、その差分値を判定用の値として出力することでも実現可能である。 In addition to the calculation method described above, the moving region calculation means 6 takes the difference between the average value using the weighted average for the nine neighboring pixels and the pixel value of the previous frame at the same position as the processing target pixel position, This can also be realized by outputting the difference value as a determination value.

実施の形態２．
図７は、この発明の実施の形態２に係わる動画像ノイズ除去装置の構成図である。
この発明の実施の形態２に係わる動画像ノイズ除去装置は、図７に示すように、実施の形態１に係わる動画像ノイズ除去装置に３ライン遅延手段１１、４ライン遅延手段１２、垂直５画素フィルタ１３、第２の２ライン遅延手段１４を追加し、選択回路３の代わりに垂直３画素フィルタ１５、水平メディアンフィルタ４の代わりにスルー手段１６、動領域演算手段６の代わりに動領域演算手段６Ｂを有することが異なっており、それ以外は同様であるので、同様な部分に同じ符号を付記して説明は省略する。この実施の形態２に係わる動画像ノイズ除去装置では、垂直３画素フィルタ１５および垂直５画素フィルタ１３が第１画像フィルタを構成している。また、スルー手段１６が第３画像フィルタを構成している。 Embodiment 2. FIG.
FIG. 7 is a block diagram of a moving image noise removing apparatus according to Embodiment 2 of the present invention.
As shown in FIG. 7, the moving image noise removing apparatus according to the second embodiment of the present invention is similar to the moving image noise removing apparatus according to the first embodiment in that the three-line delay means 11, the four-line delay means 12, and the five vertical pixels. A filter 13 and a second two-line delay means 14 are added, a vertical three-pixel filter 15 instead of the selection circuit 3, a through means 16 instead of the horizontal median filter 4, and a dynamic area calculation means instead of the dynamic area calculation means 6. 6B is different, and other than that is the same, the same portions are denoted by the same reference numerals, and the description thereof is omitted. In the moving image noise removing apparatus according to the second embodiment, the vertical three-pixel filter 15 and the vertical five-pixel filter 13 constitute a first image filter. The through means 16 constitutes a third image filter.

３ライン遅延手段１１は、入力された元動画像の画素値を３ライン分記憶し、３ライン分遅延した画素値を３ライン遅延画素値として出力する。
４ライン遅延手段１２は、入力された元動画像の画素値を４ライン分記憶し、４ライン分遅延した画素値を４ライン遅延画素値として出力する。 The 3-line delay means 11 stores the pixel values of the input original moving image for 3 lines, and outputs the pixel values delayed by 3 lines as 3-line delay pixel values.
The 4-line delay unit 12 stores the pixel values of the input original moving image for 4 lines, and outputs the pixel values delayed by 4 lines as 4-line delay pixel values.

垂直５画素フィルタ１３は、４ライン遅延画素値、３ライン遅延画素値、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値が入力され、４ライン遅延画素値、３ライン遅延画素値、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値に所定の係数で重み付けして加算し、所定の値で除算して、その商を２ライン遅延画素値の代わりに出力する。具体的な例として、垂直５画素フィルタ１３では、式（１）に従って重み付け平均値を求める。なお、画素の座標（ｘ，ｙ）のフィルタ前の画素値をＩ（ｘ，ｙ）、フィルタ後の画素値をＩ’（ｘ，ｙ）とする。
所定の係数の選択方法によっては、画像に含まれる高周波成分を取り除くことができ、その結果インパルスノイズを除去することも可能である。また、同様に特定の周波数成分を強調することも可能で、その結果エッジを強調することも可能である。 The vertical 5-pixel filter 13 receives a 4-line delay pixel value, a 3-line delay pixel value, a 2-line delay pixel value, a 1-line delay pixel value, and a pixel value of the input original moving image, and receives a 4-line delay pixel value, A 3-line delay pixel value, a 2-line delay pixel value, a 1-line delay pixel value, and a pixel value of the input original moving image are added by weighting with a predetermined coefficient, divided by a predetermined value, and the quotient is 2 Output instead of the line delay pixel value. As a specific example, the vertical 5-pixel filter 13 obtains a weighted average value according to Equation (1). Note that the pixel value before filtering of the pixel coordinates (x, y) is I (x, y), and the pixel value after filtering is I ′ (x, y).
Depending on the method of selecting a predetermined coefficient, it is possible to remove high-frequency components contained in the image, and as a result, it is possible to remove impulse noise. Similarly, a specific frequency component can be emphasized, and as a result, an edge can be emphasized.

Figure 0004791275
Figure 0004791275

垂直３画素フィルタ１５は、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値が入力され、２ライン遅延画素値、１ライン遅延画素値および入力された元動画像の画素値に所定の係数で重み付けして加算し、所定の値で除算して、その商を１ライン遅延画素値の代わりに出力する。具体的な例として、垂直３画素フィルタ１５では、式（２）に従って重み付け平均値を求める。この所定の係数は、垂直５画素フィルタ１３の係数と類似の係数を使用しており、垂直５画素フィルタ１３と同様の効果が得られる。
スルー手段１６は、１入力の垂直画像フィルタである。そして、１入力の垂直画像フィルタは元画像の画素値をそのまま出力するものとする。 The vertical 3-pixel filter 15 receives a 2-line delay pixel value, a 1-line delay pixel value, and a pixel value of the input original moving image, and receives a 2-line delay pixel value, a 1-line delay pixel value, and an input original moving image. The pixel value is weighted with a predetermined coefficient and added, and divided by a predetermined value, and the quotient is output instead of the one-line delayed pixel value. As a specific example, the vertical three-pixel filter 15 obtains a weighted average value according to Expression (2). As this predetermined coefficient, a coefficient similar to the coefficient of the vertical 5-pixel filter 13 is used, and the same effect as that of the vertical 5-pixel filter 13 is obtained.
The through means 16 is a one-input vertical image filter. The one-input vertical image filter outputs the pixel value of the original image as it is.

Figure 0004791275
Figure 0004791275

動領域演算手段６Ｂは、垂直５画素フィルタ１３から出力される画素値、垂直５画素フィルタ１３から出力される画素値が１ライン分遅延された画素値、垂直５画素フィルタ１３から出力される画素値が２ライン分遅延された画素値、垂直３画素フィルタ１５から出力される画素値、スルー手段１６から出力される画素値が入力される。   The moving area calculation means 6B is a pixel value output from the vertical 5-pixel filter 13, a pixel value output from the vertical 5-pixel filter 13 that is delayed by one line, and a pixel output from the vertical 5-pixel filter 13. The pixel value delayed by two lines, the pixel value output from the vertical three-pixel filter 15, and the pixel value output from the through means 16 are input.

また、動領域演算手段６Ｂは、第２の２ライン遅延手段１４から出力される画素値が入力される直近に入力された５個の画素値、第２の１ライン遅延手段５から出力される画素値が入力される直近に入力された４個の画素値、垂直５画素フィルタ１３から出力される画素値が入力される直近に入力された４個の画素値、垂直３画素フィルタ１５から出力される画素値が入力される直近に入力された４個の画素値およびスルー手段１６から出力される画素値が入力される直近に入力された４個の画素値と入力された５つの画素値とを用いて５行５列の現フレーム画素値行列を作成する。   Also, the moving region calculation means 6B outputs the five pixel values inputted immediately before the pixel value outputted from the second two-line delay means 14 is inputted, and is outputted from the second one-line delay means 5. 4 pixel values input immediately before the pixel value is input, 4 pixel values input immediately after the pixel value output from the vertical 5-pixel filter 13 is input, output from the vertical 3-pixel filter 15 The four pixel values input immediately before the pixel value to be input and the four pixel values input immediately after the pixel value output from the through means 16 are input and the five pixel values input Are used to create a 5 × 5 current frame pixel value matrix.

また、動領域演算手段６Ｂは、垂直５画素フィルタ１３から出力される画素値が入力される２つ前に入力された画素値に対応する画素を囲繞する２５画素のフレームメモリ７に記憶されている画素値を用いて５行５列の前フレーム画素値行列を作成し、現フレーム画素値行列と前フレーム画素値行列の行列要素毎の差分の絶対値を求め、差分の絶対値の最大値を出力する。   Further, the moving region calculation means 6B is stored in the 25-pixel frame memory 7 surrounding the pixel corresponding to the pixel value inputted two times before the pixel value outputted from the vertical five-pixel filter 13 is inputted. The previous frame pixel value matrix of 5 rows and 5 columns is created using the existing pixel values, the absolute value of the difference for each matrix element of the current frame pixel value matrix and the previous frame pixel value matrix is obtained, and the maximum absolute value of the difference Is output.

このように構成することで、２つの垂直フィルタとフレーム間差分抑圧フィルタを直列に接続した場合に比べ２ライン分遅延を短縮できる。また、実施の形態１と同様に、遅延を短縮するため、精度の劣るフィルタ出力を使用しているが、領域判定にのみ影響するため、出力画素値に劣化の影響を受けることが少ない。
なお、この実施の形態２においては、垂直フィルタの入力は垂直５画素、垂直３画素としたが、７画素、９画素、・・・、（２ｎ＋１）画素（ｎは１〜Ｎまでの正の整数）と増やしても良い。 By configuring in this way, the delay for two lines can be shortened compared to the case where two vertical filters and an inter-frame difference suppression filter are connected in series. In addition, as in the first embodiment, in order to shorten the delay, a filter output with poor accuracy is used. However, since it affects only the region determination, the output pixel value is hardly affected by deterioration.
In the second embodiment, the input of the vertical filter is 5 pixels vertical and 3 pixels vertical, but 7 pixels, 9 pixels,..., (2n + 1) pixels (n is a positive number from 1 to N) (Integer) may be increased.

また、実施の形態１に係わる動領域演算手段６は、元動画像の画素値、１ライン分遅延された画素値および２ライン分遅延された画素値が入力され、実施の形態２に係わる動領域演算手段６Ｂは、元動画像の画素値、１ライン分遅延している垂直３画素フィルタ１５、２ライン分遅延している垂直５画素フィルタ１３、その垂直５画素フィルタの出力が１ライン分遅延されて全体としては３ライン分遅延している第２の１ライン遅延手段５の出力および垂直５画素フィルタの出力が２ライン分遅延されて全体としては４ライン分遅延している第２の２ライン遅延手段１４の出力が入力されている例を用いて説明したが、元動画像の画素値と１ライン分から２Ｍ（但し、Ｍは１以上の正の整数）ライン分それぞれ遅延された画素値とが入力されてもよい。Ｍが１の場合、実施の形態１の例となり、Ｍが２の場合、実施の形態２の例となる。   In addition, the moving region calculation means 6 according to the first embodiment receives the pixel value of the original moving image, the pixel value delayed by one line, and the pixel value delayed by two lines, and moves according to the second embodiment. The area calculation means 6B includes a pixel value of the original moving image, a vertical three-pixel filter 15 delayed by one line, a vertical five-pixel filter 13 delayed by two lines, and an output of the vertical five-pixel filter corresponding to one line. The output of the second one-line delay means 5 delayed by three lines as a whole and the output of the vertical 5-pixel filter are delayed by two lines and delayed by four lines as a whole. Although the description has been given using the example in which the output of the two-line delay means 14 is input, the pixel value of the original moving image and the pixels delayed from the line by 2M (where M is a positive integer equal to or greater than 1), respectively. Value is entered It may be. When M is 1, it becomes an example of Embodiment 1, and when M is 2, it becomes an example of Embodiment 2.

また、実施の形態１においては、３つの画素値が入力される１個の第１画像フィルタを用いており、実施の形態２においては、５つの画素値と３つの画素値とがそれぞれ入力される２個の第１画像フィルタを用いて説明したが、これに限るものではない。
ここで一般化した動画像ノイズ除去装置の構成を図８、図９を参照して説明する。図８は、第１画像フィルタに入力される画素値の数（２Ｎ＋１）が第２画像フィルタに入力される画素値の数（２Ｍ＋１）以下の場合の動画像ノイズ除去装置である。即ち、ＮがＭ以下の場合である。図９は、第１画像フィルタに入力される画素値の数（２Ｎ＋１）が第２画像フィルタに入力される画素値の数（２Ｍ＋１）を超えた場合の動画像ノイズ除去装置である。即ち、ＮがＭを超えた場合である。 In the first embodiment, one first image filter to which three pixel values are input is used. In the second embodiment, five pixel values and three pixel values are respectively input. However, the present invention is not limited to this.
The structure of the generalized moving image noise removing apparatus will be described with reference to FIGS. FIG. 8 shows a moving image noise removal apparatus in a case where the number of pixel values (2N + 1) input to the first image filter is equal to or less than the number of pixel values (2M + 1) input to the second image filter. That is, N is M or less. FIG. 9 shows a moving image noise removal apparatus when the number of pixel values (2N + 1) input to the first image filter exceeds the number of pixel values (2M + 1) input to the second image filter. That is, when N exceeds M.

そして、最も多くの画素値が入力される第１画像フィルタには、元動画像の画素値と１ライン分から２Ｎライン分それぞれ遅延された画素値が入力される。また、第２画像フィルタには、（２Ｍ＋１）個の画素値が入力される。
ＮがＭ以下の場合、図８に示すように、第１画像フィルタの個数は、Ｎ個である。そして、第２画像フィルタには、Ｎ個の第１画像フィルタからの出力と、第３画像フィルタからの出力と、（２Ｎ＋１）個の画素値が入力される第１画像フィルタの出力を１ライン分から（２Ｍ−Ｎ）ライン分遅延した（２Ｍ−Ｎ）個の画素値が入力される。
一方、ＮがＭを超える場合、図９に示すように、第１画像フィルタの個数は、（Ｍ＋１）個である。そして、第２画像フィルタには、（Ｍ＋１）個の第１画像フィルタからの出力と、（２Ｎ＋１）個の画素値が入力される第１画像フィルタの出力を１ライン分からＭライン分遅延したＭ個の画素値が入力される。 Then, the pixel value of the original moving image and the pixel value delayed by 1N to 2N lines are input to the first image filter to which the most pixel values are input. In addition, (2M + 1) pixel values are input to the second image filter.
When N is equal to or smaller than M, the number of first image filters is N as shown in FIG. The second image filter includes one line of output from the N first image filters, output from the third image filter, and output of the first image filter to which (2N + 1) pixel values are input. (2M-N) pixel values delayed by (2M-N) lines are input.
On the other hand, when N exceeds M, the number of first image filters is (M + 1) as shown in FIG. In the second image filter, M is obtained by delaying the output from the (M + 1) first image filters and the output of the first image filter to which (2N + 1) pixel values are input by M lines from one line. Pixel values are input.

実施の形態１は、Ｍ＝Ｎ＝１であるので図８の具体例であり、実施の形態２は、Ｍ＝Ｎ＝２であるのでこれも図８の具体例である。
図８に示すＮがＭ以下の場合、Ｎ個の第１画像フィルタに入力される画素値は、それぞれ（２Ｎ＋１）個、｛２（Ｎ−１）＋１｝個、・・・、５個、３個である。
このとき、第２画像フィルタに入力される画素値は（２Ｍ＋１）個であるので、Ｎ個の第１画像フィルタからの出力、（２Ｎ＋１）個の画素値が入力される第１画像フィルタの出力が１ライン分から（２Ｍ−Ｎ）ライン分それぞれ遅延された（２Ｍ−Ｎ）個の画素値および第３画像フィルタの出力が入力される。そして、第２画像フィルタからの出力は、（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力が（Ｍ−Ｎ）ライン分遅延された画素値に代えて出力され、この（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力がＮライン分遅延された画素値に代えて出力されるので、第２画像フィルタの出力はＭライン分遅延と演算遅延しているので、Ｎライン分だけ遅延が短縮される。 The first embodiment is a specific example of FIG. 8 because M = N = 1, and the second embodiment is also a specific example of FIG. 8 because M = N = 2.
When N shown in FIG. 8 is less than or equal to M, the pixel values input to the N first image filters are (2N + 1), {2 (N−1) +1},..., 5, Three.
At this time, since there are (2M + 1) pixel values input to the second image filter, outputs from the N first image filters and outputs from the first image filter to which (2N + 1) pixel values are input. Are input from (2M-N) pixel values delayed from one line to (2M-N) lines and the output of the third image filter. The output from the second image filter is output instead of the pixel value delayed by (M−N) lines from the output of the first image filter to which (2N + 1) pixel values are input. ) Since the output of the first image filter to which the number of pixel values is input is output instead of the pixel value delayed by N lines, the output of the second image filter is delayed by the delay of M lines. , The delay is reduced by N lines.

一方、図９に示すＮがＭを超える場合、（Ｍ＋１）個の第１画像フィルタに入力される画素値は、それぞれ（２Ｎ＋１）個、｛２（Ｎ−１）＋１｝個、｛２（Ｎ−２）＋１｝個、・・・、｛２（Ｎ−Ｍ＋１）＋１｝個、｛２（Ｎ−Ｍ）＋１｝個である。
このときも、第２画像フィルタに入力される画素値は（２Ｍ＋１）個であるので、（Ｍ＋１）個の第１画像フィルタからの出力、（２Ｎ＋１）個の画素値が入力される第１画像フィルタの出力が１ライン分からＭライン分それぞれ遅延されたＭ個の画素値が入力される。そして、第２画像フィルタからの出力は、（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力に代えて出力され、この（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力はＮライン分遅延された画素値に代えて出力されるので、第２画像フィルタの出力はＮライン分遅延と演算遅延の和だけ遅延しているので、Ｍライン分だけ遅延が短縮される。 On the other hand, when N shown in FIG. 9 exceeds M, the pixel values input to the (M + 1) first image filters are (2N + 1), {2 (N−1) +1}, {2 ( N-2) +1}, ..., {2 (N-M + 1) +1}, {2 (N-M) +1}.
Also at this time, since there are (2M + 1) pixel values input to the second image filter, the output from the (M + 1) first image filter and the first image to which (2N + 1) pixel values are input. M pixel values obtained by delaying the output of the filter from one line to M lines are input. The output from the second image filter is output instead of the output of the first image filter to which (2N + 1) pixel values are input, and the first image filter to which (2N + 1) pixel values are input. Is output in place of the pixel value delayed by N lines, so the output of the second image filter is delayed by the sum of the delay by N lines and the operation delay, so the delay is reduced by M lines. The

次に、Ｎ＝４、Ｍ＝３のようにＮがＭを超える場合について説明する。このとき、第１画像フィルタは（Ｍ＋１）＝４個の画像フィルタを有し、それぞれ９個、７個、５個、３個の画素値が入力される。そして、第２画像フィルタには７個の画素値が入力されるが、４個の第１画像フィルタからの出力、９個の画素値が入力された第１画像フィルタからの出力が１ライン分から３ライン分遅延された３個の画素値が入力される。ここで、９個の画素値が入力された第１画像フィルタの出力は４ライン分遅延して入力された画素値に代えて出力されている。第２画像フィルタは、その出力に代えてライン遅延なしで算出するため、合計の遅延は４ライン分遅延と演算遅延の和となる。
また、Ｎ＝４、Ｍ＝１の場合、第１画像フィルタは２個の画像フィルタを有し、それぞれ９個、７個の画素値が入力される。そして、第２画像フィルタには３個の画素値が入力されるが、２個の第１画像フィルタからの出力、９個の画素値が入力された第１画像フィルタからの出力が１ライン分遅延された１個の画素値が入力される。このとき、９個の画素値が入力された第１画像フィルタの出力は４ライン分遅延して入力された画素値に代えて出力されている。第２画像フィルタは、その出力に代えてライン遅延なしで算出するため、合計の遅延は４ライン分遅延と演算遅延の和となる。 Next, a case where N exceeds M, such as N = 4 and M = 3, will be described. At this time, the first image filter has (M + 1) = 4 image filters, and 9 pixel values, 7 pixel values, 5 pixel values, and 3 pixel values are input, respectively. Seven pixel values are input to the second image filter, but the output from the four first image filters and the output from the first image filter to which the nine pixel values are input are from one line. Three pixel values delayed by three lines are input. Here, the output of the first image filter to which nine pixel values are input is output in place of the input pixel value delayed by four lines. Since the second image filter calculates without a line delay instead of its output, the total delay is the sum of the delay for four lines and the operation delay.
When N = 4 and M = 1, the first image filter has two image filters, and nine pixel values and seven pixel values are input, respectively. Three pixel values are input to the second image filter, but the output from the two first image filters and the output from the first image filter to which nine pixel values are input are equivalent to one line. One delayed pixel value is input. At this time, the output of the first image filter to which nine pixel values are input is output in place of the input pixel value delayed by four lines. Since the second image filter calculates without a line delay instead of its output, the total delay is the sum of the delay for four lines and the operation delay.

この発明の実施の形態１に係わる動画像ノイズ除去装置に構成図である。It is a block diagram in the moving image noise removal apparatus concerning Embodiment 1 of this invention. 実施の形態１に係わる選択回路の処理を説明するための図である。6 is a diagram for explaining processing of a selection circuit according to the first embodiment; FIG. 実施の形態１に係わる水平メディアンフィルタの処理を説明するための図である。FIG. 10 is a diagram for explaining horizontal median filter processing according to the first embodiment; 実施の形態１に係わる動領域演算手段の処理を説明するための図である。FIG. 6 is a diagram for explaining processing of a moving area calculation unit according to the first embodiment. 実施の形態１に係わる差分抑圧で特性毎の差分抑圧量を示す図である。It is a figure which shows the difference suppression amount for every characteristic by the difference suppression concerning Embodiment 1. FIG. 動画像ノイズ除去装置のタイミングチャートである。It is a timing chart of a moving image noise removal apparatus. この発明の実施の形態２に係わる動画像ノイズ除去装置に構成図である。It is a block diagram in the moving image noise removal apparatus concerning Embodiment 2 of this invention. 第１画像フィルタに入力される画素値の数が第２画像フィルタに入力される画素値の数以下の場合の動画像ノイズ除去装置の構成図である。It is a block diagram of a moving image noise removal apparatus in case the number of pixel values input into a 1st image filter is below the number of pixel values input into a 2nd image filter. 第１画像フィルタに入力される画素値の数が第２画像フィルタに入力される画素値の数を超えた場合の動画像ノイズ除去装置の構成図である。It is a block diagram of a moving image noise removal apparatus when the number of pixel values input into a 1st image filter exceeds the number of pixel values input into a 2nd image filter.

符号の説明Explanation of symbols

１ ２ライン遅延手段、２ １ライン遅延手段、３ 選択回路、４ 水平メディアンフィルタ、５ １ライン遅延手段、６、６Ｂ 動領域演算手段、７ フレームメモリ、８ 動領域判定手段、９ 差分抑圧回路、１１ ３ライン遅延手段、１２ ４ライン遅延手段、１３ 垂直５画素フィルタ、１４ ２ライン遅延手段、１５ 垂直３画素フィルタ、１６ スルー手段。   1 2-line delay means, 2 1-line delay means, 3 selection circuit, 4 horizontal median filter, 5 1-line delay means, 6, 6B dynamic area calculation means, 7 frame memory, 8 dynamic area determination means, 9 differential suppression circuit, 11 3 line delay means, 12 4 line delay means, 13 vertical 5 pixel filter, 14 2 line delay means, 15 vertical 3 pixel filter, 16 through means.

Claims (8)

連続するフレーム内の上下方向に並ぶライン上に並ぶ画素のラスタースキャン順に入力される画素値からなる動画像の画像データに含まれるノイズを除去する動画像ノイズ除去装置において、
予め定めた正の整数Ｎが予め定めた正の整数Ｍを超える場合、入力された画素値および該画素値の入力に対して１ライン分から２ｎ｛但し、ｎはＮから（Ｎ−Ｍ）までの異なる正の整数）ライン分それぞれ前に入力された２ｎ個の画素値がそれぞれ入力され、フィルタ処理して得る画素値を上記画素値の入力に対してｎライン分前に入力されたそれぞれの画素値に代えて出力する（Ｍ＋１）個の第１画像フィルタと、
上記（Ｍ＋１）個の第１画像フィルタから出力された画素値および上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタから出力された画素値が１ライン分からＭライン分それぞれ遅延された画素値が入力され、フィルタ処理して得る画素値を上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力が入力された画素値に代えて出力する第２画像フィルタと、
を有することを特徴とする動画像ノイズ除去装置。 In a moving image noise removing apparatus for removing noise included in image data of a moving image composed of pixel values input in the order of raster scan of pixels arranged on a line arranged in the vertical direction in a continuous frame,
When the predetermined positive integer N exceeds the predetermined positive integer M, the input pixel value and the input of the pixel value are from 1 line to 2n {where n is from N to (N−M) 2n pixel values previously input for each line) are input, and the pixel values obtained by filtering are input for n lines before the pixel value input. (M + 1) first image filters to be output instead of pixel values;
The pixel values output from the (M + 1) first image filters and the pixel values output from the first image filter to which the (2N + 1) pixel values are input are delayed from one line to M lines, respectively. A second image filter that receives pixel values and outputs pixel values obtained by filtering instead of the input pixel values of the output of the first image filter to which the (2N + 1) pixel values are input;
A moving image noise removing apparatus comprising: 連続するフレーム内の上下方向に並ぶライン上に並ぶ画素のラスタースキャン順に入力される画素値からなる動画像の画像データに含まれるノイズを除去する動画像ノイズ除去装置において、
予め定めた正の整数Ｍが予め定められた正の整数Ｎ以上のとき、入力された画素値および該画素値の入力に対して１ライン分から２ｎ｛但し、ｎはＮから１までの異なる正の整数）ライン分それぞれ前に入力された２ｎ個の画素値がそれぞれ入力され、フィルタ処理して得る画素値を上記画素値の入力に対してｎライン分前に入力されたそれぞれの画素値に代えて出力するＮ個の第１画像フィルタと、
入力された画素値をそのまま、または入力された画素値をフィルタ処理して得る画素値を出力する第３画像フィルタと、
上記Ｎ個の第１画像フィルタから出力された画素値、上記第３画像フィルタから出力される画素値および上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタから出力された画素値が１ライン分から（２Ｍ−Ｎ）ライン分それぞれ遅延された画素値が入力され、フィルタ処理して得る画素値を上記（２Ｎ＋１）個の画素値が入力された第１画像フィルタの出力を（Ｍ−Ｎ）ライン分遅延されて入力された画素値に代えて出力する第２画像フィルタと、
を有することを特徴とする動画像ノイズ除去装置。 In a moving image noise removing apparatus for removing noise included in image data of a moving image composed of pixel values input in the order of raster scan of pixels arranged on a line arranged in the vertical direction in a continuous frame,
When the predetermined positive integer M is greater than or equal to the predetermined positive integer N, the input pixel value and the input of the pixel value are from 1 line to 2n {where n is a different positive value from N to 1 2n pixel values previously input for each line) are input, and the pixel values obtained by filtering are changed to the respective pixel values input n lines before the pixel value input. N first image filters to be output instead;
A third image filter that outputs the pixel value obtained by filtering the input pixel value as it is or the input pixel value;
The pixel values output from the N first image filters, the pixel values output from the third image filter, and the pixel values output from the first image filter to which the (2N + 1) pixel values are input. Pixel values delayed from one line to (2M−N) lines are input, and the pixel value obtained by filtering is output from the first image filter to which the above (2N + 1) pixel values are input (M− N) a second image filter that outputs in place of the input pixel value delayed by a line;
A moving image noise removing apparatus comprising: 上記第２画像フィルタは、
直近のフレームの画素値を記憶するフレームメモリと、
所定個のライン×所定個の画素の画素値と上記フレームメモリに記憶された上記所定個のライン×所定個の画素の画素値から動領域判定値を出力する動領域演算手段と、
上記動領域判定値および所定の閾値から処理対象の画素が静止領域、動領域または上記動領域と上記静止領域の境界のいずれかに属するか判定する動領域判定手段と、
上記動領域判定手段の判定結果に応じてあらかじめ決められた３種類の特性から、中央に位置するラインの中央に位置する画素の値を変更して、上記フレームメモリ上の該当する位置の画素の画素値との差を減少させる差分抑圧手段と、
を有することを特徴とする請求項１または２に記載の動画像ノイズ除去装置。 The second image filter is
A frame memory for storing pixel values of the most recent frame;
A moving region calculation means for outputting a moving region determination value from the pixel value of the predetermined line × the predetermined pixel and the pixel value of the predetermined line × the predetermined pixel stored in the frame memory;
A moving area determination means for determining whether the pixel to be processed belongs to a stationary area, a moving area, or a boundary between the moving area and the stationary area from the moving area determination value and a predetermined threshold;
The value of the pixel located at the center of the line located at the center is changed from the three types of characteristics determined in advance according to the determination result of the moving region determination means, and the pixel at the corresponding position on the frame memory is changed. Differential suppression means for reducing the difference from the pixel value;
The moving image noise removing device according to claim 1, wherein the moving image noise removing device is provided. 上記動領域演算手段は、所定の個数のラインの画素値が入力され、中央に位置するラインの中央に位置する画素を囲繞する所定の個数のライン×所定の個数の画素の領域の画素値と、上記フレームメモリに記憶された直近のフレームの上記所定の個数のライン×所定の個数の画素の領域の対応する領域の画素値との差分絶対値を算出し、該差分絶対値の最大値を出力することを特徴とする請求項３に記載の動画像ノイズ除去装置。   The moving region calculation means receives a pixel value of a predetermined number of lines, a predetermined number of lines surrounding a pixel positioned at the center of the line positioned at the center × a pixel value of a region of a predetermined number of pixels Calculating a difference absolute value between the predetermined number of lines of the most recent frame stored in the frame memory and a pixel value of a corresponding region of a predetermined number of pixels, and calculating a maximum value of the difference absolute value. 4. The moving image noise removing device according to claim 3, wherein the moving image noise removing device outputs the moving image noise. 上記第１画像フィルタは、メディアンフィルタで構成されることを特徴とする請求項１乃至４のいずれか一項に記載の動画像ノイズ除去装置。   The moving image noise removing device according to any one of claims 1 to 4, wherein the first image filter is a median filter. 上記第１画像フィルタは、所定の個数のラインの画素値が入力される所定の個数のライン×所定の個数の画素からなるメディアンフィルタであることを特徴とする請求項５に記載の動画像ノイズ除去装置。   The moving image noise according to claim 5, wherein the first image filter is a median filter including a predetermined number of lines to which pixel values of a predetermined number of lines are input × a predetermined number of pixels. Removal device. 上記第３画像フィルタは、１ラインの画素値が入力される水平の所定の個数の画素からなるメディアンフィルタであることを特徴とする請求項２に記載の動画像ノイズ除去装置。   3. The moving image noise removing device according to claim 2, wherein the third image filter is a median filter including a predetermined number of horizontal pixels to which pixel values of one line are input. 上記第１画像フィルタは、垂直方向に特定の重み付けで平均を取る垂直フィルタであることを特徴とする請求項１乃至４のいずれか一項に記載の動画像ノイズ除去装置。   5. The moving image noise removing apparatus according to claim 1, wherein the first image filter is a vertical filter that takes an average with a specific weight in a vertical direction.
JP2006184519A 2006-07-04 2006-07-04 Moving image noise removal device Expired - Fee Related JP4791275B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006184519A JP4791275B2 (en) 2006-07-04 2006-07-04 Moving image noise removal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006184519A JP4791275B2 (en) 2006-07-04 2006-07-04 Moving image noise removal device

Publications (2)

Publication Number Publication Date
JP2008017021A JP2008017021A (en) 2008-01-24
JP4791275B2 true JP4791275B2 (en) 2011-10-12

Family

ID=39073648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006184519A Expired - Fee Related JP4791275B2 (en) 2006-07-04 2006-07-04 Moving image noise removal device

Country Status (1)

Country Link
JP (1) JP4791275B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4358283B1 (en) 2008-08-04 2009-11-04 株式会社東芝 Noise reduction device and noise reduction method
JP2011188922A (en) 2010-03-12 2011-09-29 Fujifilm Corp Radiographic image capturing device
CN102196191B (en) * 2010-03-17 2013-07-03 瑞昱半导体股份有限公司 Image processing device and method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03284067A (en) * 1990-03-30 1991-12-13 Toshiba Corp Noise reduction circuit
JP3106831B2 (en) * 1993-12-24 2000-11-06 松下電器産業株式会社 Video signal processing device

Also Published As

Publication number Publication date
JP2008017021A (en) 2008-01-24

Similar Documents

Publication Publication Date Title
US7995868B2 (en) Image processing method and image processing device
KR100914619B1 (en) Spatio-temporal adaptive video de-interlacing
JP4791275B2 (en) Moving image noise removal device
JP2008060814A (en) Imaging apparatus
US20030169941A1 (en) Edge enhancement method and apparatus in digital image scalar-up circuit
JP4475196B2 (en) Block noise detection device and block noise detection program
US8619189B2 (en) Image processing apparatus to reduce isolated noise effects in moving image drive distribution processing
JP3706830B2 (en) Image signal processing device
JPH1141491A (en) Two-dimensional noise reducing circuit
JP4358462B2 (en) Noise removal circuit
JP4621944B2 (en) Image filter device, method and computer program
JP4380399B2 (en) Imaging apparatus, noise reduction apparatus, noise reduction method, and program
JP3106831B2 (en) Video signal processing device
JP4832411B2 (en) Noise reduction processing apparatus and noise reduction processing method
JP4440297B2 (en) Noise reduction device and noise reduction method for television video signal
JP2010171624A (en) Outline correction circuit and interpolation pixel generation circuit
KR100960176B1 (en) Image signal processing device, image signal processing circuit, image signal processing method, and recording medium
JP2009177524A (en) Scanning line interpolating device and scanning line interpolating method
JP2006191454A (en) Noise detection circuit, signal processing apparatus provided with the circuit, imaging apparatus provided with the apparatus, and noise elimination method
JP3734652B2 (en) Image processing device
WO2013150824A1 (en) Image processing device and method, and image processing program
JP2004303076A (en) Image processing method and image processor
JP3657826B2 (en) Pixel interpolation method
JP3463640B2 (en) Digital noise reduction circuit
JP4549723B2 (en) Image signal enhancement device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110721

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4791275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees