JP6642570B2 - Image processing apparatus, image processing method, and image processing program - Google Patents

Image processing apparatus, image processing method, and image processing program Download PDF

Info

Publication number
JP6642570B2
JP6642570B2 JP2017518760A JP2017518760A JP6642570B2 JP 6642570 B2 JP6642570 B2 JP 6642570B2 JP 2017518760 A JP2017518760 A JP 2017518760A JP 2017518760 A JP2017518760 A JP 2017518760A JP 6642570 B2 JP6642570 B2 JP 6642570B2
Authority
JP
Japan
Prior art keywords
frame
noise
image
variance
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017518760A
Other languages
Japanese (ja)
Other versions
JPWO2016185708A1 (en
Inventor
健太 先崎
健太 先崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016185708A1 publication Critical patent/JPWO2016185708A1/en
Application granted granted Critical
Publication of JP6642570B2 publication Critical patent/JP6642570B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、画像に含まれるノイズを低減する技術に関する。   The present invention relates to a technique for reducing noise included in an image.

画像に含まれるノイズを低減する技術は、撮影した画像をより鮮明に再現するためだけでなく、様々な画像処理におけるノイズ強調を防ぐためにも、欠かせない技術である。なお、以下では、ノイズとは、加法性白色ガウシアンノイズを指すものとする。   A technique for reducing noise included in an image is an indispensable technique not only for reproducing a captured image more clearly but also for preventing noise enhancement in various image processing. In the following, noise refers to additive white Gaussian noise.

効果的なノイズ除去を実現するためには、ノイズ除去技術の高性能化に加えて、処理対象画像に含まれるノイズの強度（分散や標準偏差）の情報が必要である。処理対象画像に含まれるノイズの強度を小さく見積もると、ノイズ除去結果の画像にノイズが残存する。一方、ノイズ強度を大きく見積もると、ノイズ除去結果の画像にボケが生じ、テクスチャやエッジが不明瞭になる。つまり、処理対象画像に含まれるノイズの強度をより正確に推定する技術が求められている。   In order to realize effective noise removal, information on the intensity (variance and standard deviation) of the noise included in the image to be processed is required in addition to improving the performance of the noise removal technology. When the intensity of the noise included in the processing target image is estimated to be small, the noise remains in the image resulting from the noise removal. On the other hand, if the noise intensity is largely estimated, the image resulting from the noise removal becomes blurred, and the texture and edges become unclear. That is, there is a need for a technique for more accurately estimating the intensity of noise included in an image to be processed.

画像に含まれるノイズの強度を見積もる技術として、一般的に以下の手法が考えられる。１つ目は、カメラのセンサが既知である場合に、カメラゲインのパラメータおよびセンサノイズの関係を事前に測定してテーブル化しておく手法である。この手法は、実際の運用時にテーブルを参照することにより、撮影画像におけるノイズの強度を推定する。また、２つ目は、画像からエッジやテクスチャが存在しない領域を抽出し、抽出した領域における画素値の揺らぎをノイズ由来とみなす手法である。この手法は、当該領域の画素値の分散を対象画像のノイズの強度とみなす。また、３つ目は、カメラが固定されている状況において、短い時間間隔で時間的に連続した２枚の画像を用いる手法である。この手法は、２枚の画像の差分画像の画素値の分散を２で割ったものをノイズの強度とみなす。   As a technique for estimating the intensity of noise included in an image, the following method is generally considered. The first method is to measure the relationship between the parameters of the camera gain and the sensor noise in advance when the camera sensor is known, and make a table. This method estimates the noise intensity in a captured image by referring to a table during actual operation. The second is a method of extracting a region where no edge or texture exists from an image, and regarding the fluctuation of the pixel value in the extracted region as being derived from noise. In this method, the variance of the pixel values in the area is regarded as the noise intensity of the target image. A third method is to use two images that are temporally continuous at short time intervals in a situation where the camera is fixed. In this method, a value obtained by dividing a variance of pixel values of a difference image between two images by two is regarded as a noise intensity.

また、画像に含まれるノイズの強度を見積もる関連技術が、特許文献１に記載されている。この関連技術は、第１の画像および第１の画像に連続する第２の画像の間で、対応する画素同士の差分を算出する。そして、この関連技術は、第１の画像における平坦領域を構成する各画素に対応する差分の分散に基づいて、第１の画像におけるノイズレベルを検出する。そして、この関連技術は、第１の画像を構成する全画素に対応する差分の分散と、検出したノイズレベルとに基づいて、第１の画像における動き領域を検出する。   A related technique for estimating the intensity of noise included in an image is described in Patent Document 1. This related technique calculates a difference between corresponding pixels between a first image and a second image that is continuous with the first image. Then, the related technique detects a noise level in the first image based on a variance of a difference corresponding to each pixel forming a flat region in the first image. Then, the related technique detects a motion region in the first image based on the variance of the difference corresponding to all pixels forming the first image and the detected noise level.

また、画像に含まれるノイズの強度を見積もる他の関連技術が、特許文献２に記載されている。この関連技術は、フレーム内でのノイズレベルと、フレーム間でのノイズレベルとを算出する。そして、この関連技術は、画像内の動き部に対しては、フレーム内でのノイズレベルを選択する。また、この関連技術は、画像内の静止部に対しては、フレーム間でのノイズレベルを選択する。   Another related technique for estimating the intensity of noise included in an image is described in Patent Document 2. This related technique calculates a noise level within a frame and a noise level between frames. This related technique selects a noise level in a frame for a moving part in an image. This related technique selects a noise level between frames for a static portion in an image.

特開２０１２−２３１３８９号公報JP 2012-231389 A 特開２０１３−２５８５１３号公報JP 2013-258513 A

しかしながら、上述した一般的な技術および関連技術には、以下の課題がある。   However, the above-mentioned general technology and related technologies have the following problems.

一般的な１つ目の手法は、ノイズ分散のテーブルをカメラごとに計測する必要がある。このため、この手法は、カメラセンサの情報が得られない場合には適用できないという問題がある。加えて、この手法は、センサの個体差を考慮してカメラのセンサごとにテーブルを生成すると、事前に膨大な作業コストが必要であるという問題がある。   In the first general method, it is necessary to measure a noise variance table for each camera. For this reason, there is a problem that this method cannot be applied when the information of the camera sensor cannot be obtained. In addition, this method has a problem in that if a table is generated for each sensor of a camera in consideration of individual differences between sensors, an enormous work cost is required in advance.

また、一般的な２つ目の手法は、対象画像の全面がテクスチャで覆われているような画像に対しては、テクスチャの画素値分散をノイズの分散に加算してしまう。このような場合、この手法は、分散値を真値より大きく見積もってしまい、正確なノイズの強度推定ができないという問題がある。   Further, the second general method adds the variance of the pixel value of the texture to the variance of the noise for an image in which the entire surface of the target image is covered with the texture. In such a case, this method has a problem that the variance value is estimated to be larger than the true value, and accurate noise intensity estimation cannot be performed.

また、一般的な３つ目の手法は、カメラが動く場合には適用できない。また、この手法は、カメラが固定されている場合であっても、画像中に動体が存在する場合や、シーンチェンジ、撮影環境の照明変動、カメラゲインの変動などにより映像が大きく変動する場合には、分散値を真値より大きく見積もってしまう。このような場合、この手法は、正確なノイズの強度推定ができないという問題がある。   Further, the third general method cannot be applied when the camera moves. In addition, this method is used even when the camera is fixed, when there is a moving object in the image, or when the image fluctuates greatly due to scene change, illumination fluctuation of the shooting environment, fluctuation of camera gain, etc. Estimates the variance value larger than the true value. In such a case, this method has a problem that accurate noise intensity estimation cannot be performed.

また、特許文献１に記載された関連技術は、テクスチャやエッジの影響を除外した平坦領域を用いてノイズレベルを算出しているが、動き領域を検出するためにノイズレベルを算出するので、ノイズレベルの算出の際には動きのある領域の影響を考慮していない。このため、この関連技術は、画像に動きのある領域が含まれる場合に、正確なノイズの強度推定ができないという問題がある。   In the related art described in Patent Document 1, the noise level is calculated using a flat area excluding the influence of texture and edges. However, since the noise level is calculated to detect a moving area, the noise level is calculated. In calculating the level, the influence of a moving area is not taken into account. For this reason, this related art has a problem that when a moving area is included in an image, accurate noise intensity estimation cannot be performed.

また、特許文献２に記載された関連技術は、静止部に適用するフレーム間ノイズレベルを算出する際に、動きのある領域の影響を考慮することについては記載されていない。このため、この関連技術は、画像に動きのある領域が含まれる場合に、静止部に対する正確なノイズレベルの推定ができないという問題がある。   Further, the related art described in Patent Literature 2 does not disclose taking into account the influence of a moving area when calculating an inter-frame noise level applied to a still part. For this reason, this related technique has a problem that when a moving area is included in an image, it is not possible to accurately estimate a noise level for a stationary portion.

本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をより正確に推定する技術を提供することを目的とする。   The present invention has been made to solve the above problems. That is, an object of the present invention is to provide a technique for more accurately estimating the intensity of noise even in an image including a texture or a region with a lot of motion.

上記目的を達成するために、本発明の画像処理装置は、映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定手段と、前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定手段と、前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定手段と、を備える。   In order to achieve the above object, an image processing apparatus according to the present invention is configured such that, in a frame image included in a video, a change in pixel value is a variance of noise in the frame image based on a pixel value belonging to a flat area. An intra-frame noise variance estimating unit for estimating an intra-frame noise variance, and a difference image representing a difference between the frame image and a neighboring frame image temporally close to the frame image, wherein the difference between the frame image and the neighboring frame image is An inter-frame noise variance estimating means for estimating an inter-frame noise variance, which is a variance of noise between the frame image and the adjacent frame image, based on a pixel value belonging to a non-moving area, and the intra-frame noise variance and the frame The frame image based on the smaller of the inter-noise variances. Comprising a noise intensity determination means for determining the intensity of that noise, the.

また、本発明の画像処理方法は、コンピュータ装置が、映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定し、前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定し、前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定する。   Further, in the image processing method of the present invention, in the frame image included in the video, based on the pixel value belonging to a flat area where the change of the pixel value is a flat area, the intra-frame image is a variance of noise in the frame image. Estimating the noise variance, in the difference image representing the difference between the frame image and the adjacent frame image temporally adjacent to the frame image, the pixel value belonging to an area where there is no motion between the frame image and the adjacent frame image The inter-frame noise variance, which is the variance of noise between the frame image and the adjacent frame image, based on the smaller of the intra-frame noise variance and the inter-frame noise variance. Determine the intensity of the

また、本発明の画像処理プログラムは、映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定ステップと、前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定ステップと、前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定ステップと、をコンピュータ装置に実行させる。 Further, the image processing program according to the present invention estimates an intra-frame noise variance, which is a variance of noise in the frame image, based on a pixel value belonging to a flat region where a change in pixel value is flat in a frame image included in the video. In a noise variance estimating step, and a difference image representing a difference between the frame image and a nearby frame image temporally adjacent to the frame image, wherein the difference image belongs to a region where there is no motion between the frame image and the nearby frame image. An inter-frame noise variance estimating step of estimating an inter-frame noise variance, which is a variance of noise between the frame image and the adjacent frame image, based on a pixel value; and a small one of the intra-frame noise variance and the inter-frame noise variance. Of the frame image based on the A noise intensity determining step of determining the intensity of the figure, Ru cause the computer to execute an apparatus.

本発明は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をより正確に推定する技術を提供することができる。   The present invention can provide a technique for more accurately estimating the intensity of noise even in an image including a texture or an area with a lot of motion.

本発明の第１の実施の形態としての画像処理装置の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention. 本発明の第１の実施の形態としての画像処理装置のハードウェア構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of the image processing apparatus according to the first embodiment of the present invention. 本発明の第１の実施の形態としての画像処理装置の動作を説明するフローチャートである。5 is a flowchart illustrating an operation of the image processing apparatus according to the first embodiment of the present invention. 本発明の第２の実施の形態としての画像処理装置の構成を示すブロック図である。FIG. 11 is a block diagram illustrating a configuration of an image processing device according to a second embodiment of the present invention. 本発明の第２の実施の形態におけるフレーム内ノイズ分散推定部の詳細な構成を示すブロック図である。FIG. 13 is a block diagram illustrating a detailed configuration of an intra-frame noise variance estimating unit according to a second embodiment of the present invention. 本発明の第２の実施の形態におけるフレーム間ノイズ分散推定部の詳細な構成を示すブロック図である。FIG. 11 is a block diagram illustrating a detailed configuration of an inter-frame noise variance estimating unit according to a second embodiment of the present invention. 本発明の第２の実施の形態としての画像処理装置がフレーム内ノイズ分散を推定する動作を説明するフローチャートである。11 is a flowchart illustrating an operation of the image processing apparatus according to the second embodiment of the present invention for estimating noise variance in a frame. 本発明の第２の実施の形態としての画像処理装置がフレーム間ノイズ分散を推定する動作を説明するフローチャートである。11 is a flowchart illustrating an operation of the image processing apparatus according to the second embodiment of the present invention for estimating an inter-frame noise variance. 本発明の第３の実施の形態としての画像処理装置の構成を示すブロック図である。FIG. 13 is a block diagram illustrating a configuration of an image processing device according to a third embodiment of the present invention. 本発明の第３の実施の形態におけるフレーム間ノイズ分散推定部の詳細な構成を示すブロック図である。FIG. 14 is a block diagram illustrating a detailed configuration of an inter-frame noise variance estimating unit according to a third embodiment of the present invention. 本発明の第３の実施の形態としての画像処理装置がフレーム間ノイズ分散を推定する動作を説明するフローチャートである。13 is a flowchart illustrating an operation of the image processing apparatus according to the third embodiment of the present invention for estimating an inter-frame noise variance. 本発明の第４の実施の形態としての画像処理装置の構成を示すブロック図である。FIG. 14 is a block diagram illustrating a configuration of an image processing apparatus according to a fourth embodiment of the present invention. 本発明の第４の実施の形態としての画像処理装置の動作を説明するフローチャートである。13 is a flowchart illustrating an operation of the image processing apparatus according to the fourth embodiment of the present invention.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（第１の実施の形態）
本発明の第１の実施の形態としての画像処理装置１の機能ブロック構成を図１に示す。図１において、画像処理装置１は、フレーム内ノイズ分散推定部１１と、フレーム間ノイズ分散推定部１２と、ノイズ強度決定部１３とを備える。画像処理装置１は、映像に含まれるフレーム番号ｔの画像（フレーム画像ｕｔ）と、フレーム番号ｔのフレームに近接するフレーム番号ｔ−１の画像（近接フレーム画像ｕｔ−１）とを入力として取得する。また、画像処理装置１は、これらの２枚の画像を用いて、フレーム画像ｕｔに含まれるノイズ強度σ２ ｔの推定を行い出力する。(First Embodiment)
FIG. 1 shows a functional block configuration of an image processing apparatus 1 according to a first embodiment of the present invention. 1, the image processing apparatus 1 includes an intra-frame noise variance estimating unit 11, an inter-frame noise variance estimating unit 12, and a noise intensity determining unit 13. The image processing apparatus 1 inputs an image of a frame number t (frame image u t ) included in the video and an image of a frame number t-1 adjacent to the frame of the frame number t (proximal frame image u t-1 ). To get as The image processing apparatus 1, using these two images, and outputs performs estimation of noise intensity sigma 2 t included in the frame image u t.

なお、フレーム画像ｕｔ−１は、映像においてフレーム画像ｕｔに対して時間的に前または後に連続していることが好ましいが、必ずしも連続していなくてもよい。近接フレーム画像ｕｔ−１は、フレーム画像ｕｔに対して所定の時間的近接条件を満たしていればよい。The frame image u t-1 is preferably that are continuous in time before or after the frame image u t in the video may not be contiguous. Proximity frame image u t-1 has only to satisfy the predetermined temporal proximity to the frame image u t.

ここで、画像処理装置１は、図２に示すようなハードウェア要素によって構成可能である。図２において、画像処理装置１は、ＣＰＵ（Central Processing Unit）１００１およびメモリ１００２を含むコンピュータ装置によって構成される。メモリ１００２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）等によって構成される。ＣＰＵ１００１は、メモリ１００２に格納されるコンピュータ・プログラムを読み込んで実行する。この場合、画像処理装置１の各機能ブロックは、メモリ１００２に格納されるコンピュータ・プログラムを読み込んで実行するＣＰＵ１００１によって構成される。なお、画像処理装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。   Here, the image processing apparatus 1 can be configured by hardware elements as shown in FIG. 2, the image processing apparatus 1 is configured by a computer device including a CPU (Central Processing Unit) 1001 and a memory 1002. The memory 1002 includes a random access memory (RAM), a read only memory (ROM), an auxiliary storage device (such as a hard disk), and the like. The CPU 1001 reads and executes a computer program stored in the memory 1002. In this case, each functional block of the image processing apparatus 1 is configured by the CPU 1001 that reads and executes a computer program stored in the memory 1002. Note that the hardware configuration of the image processing apparatus 1 and its functional blocks is not limited to the above-described configuration.

また、画像処理装置１は、画像入力装置９０１に接続される。例えば、画像入力装置９０１は、カメラやスキャナなどの撮像機器、または、それらにより撮影されて画像データが蓄積される画像データベース等によって構成される。画像処理装置１および画像入力装置９０１は、周辺機器接続インタフェースによって接続されていてもよいし、ネットワークを介して接続されていてもよい。画像処理装置１には、画像入力装置９０１から、上述のフレーム画像ｕｔおよび近接フレーム画像ｕｔ−１が入力される。The image processing device 1 is connected to the image input device 901. For example, the image input device 901 is configured by an imaging device such as a camera or a scanner, or an image database or the like in which image data is stored by being captured by the imaging device. The image processing device 1 and the image input device 901 may be connected by a peripheral device connection interface, or may be connected via a network. The image processing apparatus 1, from the image input unit 901, a frame image u t and close the frame image u t-1 described above is input.

また、画像処理装置１は、出力装置９０２に接続される。例えば、出力装置９０２は、ディスプレイ、プリンタ、または、出力情報を格納するハードディスクやメモリカードなどの記憶媒体によって構成される。画像処理装置１および出力装置９０２は、周辺機器接続インタフェースによって接続されていてもよいし、ネットワークを介して接続されていてもよい。画像処理装置１は、出力装置９０２に対して、上述のノイズ強度σ２ ｔを出力する。The image processing device 1 is connected to the output device 902. For example, the output device 902 is configured by a display, a printer, or a storage medium such as a hard disk or a memory card that stores output information. The image processing device 1 and the output device 902 may be connected by a peripheral device connection interface or may be connected via a network. The image processing device 1 outputs the above-described noise intensity σ 2 t to the output device 902.

フレーム内ノイズ分散推定部１１は、フレーム画像ｕｔから、画素値の変化が平坦な平坦領域を抽出する。そして、フレーム内ノイズ分散推定部１１は、抽出した平坦領域に属する画素値に基づいて、フレーム画像ｕｔにおけるノイズの分散（フレーム内ノイズ分散）を推定する。Frame noise variance estimation unit 11, from the frame image u t, change in pixel value is extracted flat planar region. Then, the intra-frame noise variance estimation unit 11 based on the extracted pixel values belonging to a flat area, estimates the variance of the noise in the frame image u t (frame in the noise variance).

フレーム間ノイズ分散推定部１２は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間の差分を表す差分画像に基づいて、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間で動きのない領域を抽出する。そして、フレーム間ノイズ分散推定部１２は、抽出した動きのない領域に属する差分画像の画素値に基づいて、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間におけるノイズの分散（フレーム間ノイズ分散）を推定する。Interframe noise variance estimation unit 12, based on the difference image representing the difference between the frame image u t and close the frame image u t-1, no motion between the frame images u t and close the frame image u t-1 region Is extracted. Then, the inter-frame noise variance estimation unit 12 based on the extracted pixel values of the difference images belonging to the area without motion, dispersion of the frame image u t and close the frame image u t-1 noise during (inter noise variance ).

ノイズ強度決定部１３は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方に基づいて、フレーム画像ｕｔにおけるノイズ強度σ２ ｔを決定する。そして、ノイズ強度決定部１３は、決定したノイズ強度σ２ ｔを出力する。Noise intensity determination unit 13, based on the smaller of the intra-frame noise variance and the inter-frame noise variance, determines the noise intensity sigma 2 t in the frame image u t. Then, the noise intensity determination unit 13 outputs the determined noise intensity σ 2 t .

以上のように構成された画像処理装置１の動作について、図３を参照して説明する。   The operation of the image processing apparatus 1 configured as described above will be described with reference to FIG.

まず、画像処理装置１は、映像に含まれるフレーム画像ｕｔおよび近接フレーム画像ｕｔ−１を取得する（ステップＳ１）。First, the image processing apparatus 1 acquires the frame image u t and close the frame image u t-1 included in the image (step S1).

次に、フレーム内ノイズ分散推定部１１は、フレーム画像ｕｔから、画素値の変化が平坦な平坦領域を抽出する。そして、フレーム内ノイズ分散推定部１１は、抽出した平坦領域に属する画素値に基づいて、フレーム画像ｕｔにおけるフレーム内ノイズ分散を推定する（ステップＳ２）。Next, the intra-frame noise variance estimation unit 11, from the frame image u t, change in pixel value is extracted flat planar region. Then, the intra-frame noise variance estimation unit 11 based on the extracted pixel values belonging to a flat area, estimates the frame noise variance in the frame image u t (Step S2).

次に、フレーム間ノイズ分散推定部１２は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間の差分を表す差分画像に基づいて、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間で動きのない領域を抽出する。そして、フレーム間ノイズ分散推定部１２は、抽出した動きのない領域に属する差分画像の画素値に基づいて、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１間におけるフレーム間ノイズ分散を推定する（ステップＳ３）。Then, the interframe noise variance estimation unit 12, based on the difference image representing the difference between the frame image u t and close the frame image u t-1, motion between the frame images u t and close the frame image u t-1 Extract the region without the. Then, the inter-frame noise variance estimation unit 12 based on the extracted pixel values of the motionless difference images belonging to the region, estimates the inter-frame noise variance in the frame image u t and close the frame image u t-1 between ( Step S3).

次に、ノイズ強度決定部１３は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方に基づいて、フレーム画像におけるノイズ強度σ２ ｔを決定し、出力する（ステップＳ４）。Next, the noise intensity determination unit 13 determines and outputs the noise intensity σ 2 t in the frame image based on the smaller of the intra-frame noise variance and the inter-frame noise variance (step S4).

以上で、画像処理装置１は、動作を終了する。   Thus, the operation of the image processing apparatus 1 ends.

次に、本発明の第１の実施の形態の効果について述べる。   Next, effects of the first exemplary embodiment of the present invention will be described.

本発明の第１の実施の形態としての画像処理装置は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をより正確に推定することができる。   The image processing apparatus according to the first embodiment of the present invention can more accurately estimate the noise intensity even for an image including a texture or an area with a lot of motion.

その理由について説明する。本実施の形態では、フレーム内ノイズ分散推定部が、フレーム画像における平坦領域の画素値を用いて、フレーム内ノイズ分散を推定する。また、フレーム間ノイズ分散推定部が、フレーム画像および近接フレーム画像間の差分画像の動きのない領域における画素値を用いて、フレーム間ノイズ分散を推定する。そして、ノイズ強度決定部が、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方に基づいて、フレーム画像のノイズ強度を決定するからである。   The reason will be described. In the present embodiment, the intra-frame noise variance estimating unit estimates the intra-frame noise variance using the pixel values of the flat region in the frame image. Further, the inter-frame noise variance estimating unit estimates the inter-frame noise variance by using the pixel values of the difference image between the frame image and the adjacent frame image in the area where there is no motion. Then, the noise intensity determination unit determines the noise intensity of the frame image based on the smaller of the intra-frame noise variance and the inter-frame noise variance.

ここで、テクスチャが多く含まれるフレーム画像の場合、フレーム内ノイズ分散は真値より大きくなる。この場合、本実施の形態は、映像中に動きのない領域が存在すれば、フレーム内ノイズ分散よりも小さく真値に近い値となるフレーム間ノイズ分散に基づくことで、フレーム画像のノイズ強度を高精度に推定可能となる。また、動体を含むフレーム画像間や、シーンチェンジ・照明変動・カメラゲイン変動など画面全体が大きく変動するフレーム画像間では、フレーム間ノイズ分散が真値より大きくなる。この場合、本実施の形態は、画像中に平坦な領域が存在すれば、フレーム間ノイズ分散よりも小さく真値に近い値となるフレーム内ノイズ分散に基づくことで、フレーム画像のノイズ強度を高精度に推定可能となる。   Here, in the case of a frame image containing many textures, the noise variance in the frame becomes larger than the true value. In this case, in the present embodiment, if there is no motion in the video, the noise intensity of the frame image is reduced based on the inter-frame noise variance that is smaller than the intra-frame noise variance and is close to the true value. It can be estimated with high accuracy. Further, between frame images including moving objects, and between frame images in which the entire screen greatly fluctuates due to scene changes, illumination fluctuations, camera gain fluctuations, the inter-frame noise variance becomes larger than the true value. In this case, in the present embodiment, if a flat region exists in the image, the noise intensity of the frame image is increased based on the intra-frame noise variance that is smaller than the inter-frame noise variance and is close to the true value. It can be estimated with high accuracy.

（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。(Second embodiment)
Next, a second embodiment of the present invention will be described in detail with reference to the drawings. In each of the drawings referred to in the description of the present embodiment, steps having the same configuration and the same operation as those in the first embodiment of the present invention are denoted by the same reference numerals, and detailed description in the present embodiment will be given. Description is omitted.

まず、本発明の第２の実施の形態としての画像処理装置２の構成を図４に示す。図４において、画像処理装置２は、フレーム内ノイズ分散推定部２１と、フレーム間ノイズ分散推定部２２と、ノイズ強度決定部２３とを備える。画像処理装置２は、本発明の第１の実施の形態と同様に、映像に含まれるフレーム画像ｕｔおよび近接フレーム画像ｕｔ−１を入力として取得する。また、画像処理装置２は、本発明の第１の実施の形態と同様に、これらの２枚の画像を用いて、フレーム画像ｕｔに含まれるノイズ強度σ２ ｔの推定を行い出力するが、その詳細が異なる。First, FIG. 4 shows a configuration of an image processing apparatus 2 according to a second embodiment of the present invention. 4, the image processing apparatus 2 includes an intra-frame noise variance estimating unit 21, an inter-frame noise variance estimating unit 22, and a noise intensity determining unit 23. The image processing apparatus 2, as in the first embodiment of the present invention, to obtain the frame image u t and close the frame image u t-1 included in the image as input. The image processing apparatus 2, as in the first embodiment of the present invention, by using these two images, but outputs perform estimation of the noise intensity sigma 2 t included in the frame image u t , The details are different.

ここで、画像処理装置２およびその各機能ブロックは、図２を参照して説明した本発明の第１の実施の形態としての画像処理装置１と同様のハードウェア要素によって構成可能である。ただし、画像処理装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。   Here, the image processing apparatus 2 and its functional blocks can be configured by the same hardware elements as the image processing apparatus 1 according to the first embodiment of the present invention described with reference to FIG. However, the hardware configuration of the image processing apparatus 2 and its functional blocks is not limited to the above-described configuration.

次に、画像処理装置２の各機能ブロックの構成について説明する。   Next, the configuration of each functional block of the image processing device 2 will be described.

まず、フレーム内ノイズ分散推定部２１の構成の詳細について説明する。フレーム内ノイズ分散推定部２１は、図５に示すように、ブロック分割部２１１と、ブロック内分散算出部２１２と、分散ヒストグラム生成部２１３と、フレーム内ノイズ分散算出部２１４とを含む。フレーム内ノイズ分散推定部２１は、これらの機能ブロックを用いて、フレーム画像ｕｔのフレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａを推定する。First, the configuration of the intra-frame noise variance estimating unit 21 will be described in detail. As shown in FIG. 5, the intra-frame noise variance estimating unit 21 includes a block dividing unit 211, an intra-block variance calculating unit 212, a variance histogram generating unit 213, and an intra-frame noise variance calculating unit 214. Frame noise variance estimation unit 21 uses these function blocks, the intra-frame noise variance sigma 2 t frame image u t, estimates the intra.

具体的には、ブロック分割部２１１は、フレーム画像ｕｔを所定のサイズのブロックに分割する。例えば、フレーム画像ｕｔの幅が６４０画素であり、高さが４８０画素であるとする。また、分割するブロックのサイズとして、高さ8画素および幅8画素が定められているとする。この場合、ブロック分割部２１１は、フレーム画像ｕｔを（６４０×４８０）／（８×８）＝４８００個のブロックに分割する。ここで、“／”は、除算を表す。Specifically, the block dividing unit 211 divides the frame image u t into blocks of a predetermined size. For example, assume that the width of the frame image ut is 640 pixels and the height is 480 pixels. It is also assumed that a height of 8 pixels and a width of 8 pixels are determined as the size of a block to be divided. In this case, the block division unit 211 divides the frame image u t (640 × 480) / (8 × 8) = 4800 blocks. Here, “/” represents division.

ブロック内分散算出部２１２は、フレーム画像ｕｔが分割されたブロック位置（ｉ，ｊ）の各ブロックについて、その画素値の分散ｖｉｎｔｒａ（ｉ，ｊ）を算出する。ここで、ｉは、１以上ｎ以下の整数であり、ｊは、１以上ｍ以下の整数である。なお、ｎは、フレーム画像ｕｔの幅方向に並ぶブロック数である。また、ｍは、フレーム画像ｕｔの高さ方向に並ぶブロック数である。Block variance calculation unit 212, for each block of the block position frame image u t is divided (i, j), calculates the variance v intra (i, j) of the pixel values. Here, i is an integer of 1 or more and n or less, and j is an integer of 1 or more and m or less. Here, n is a number of blocks arranged in the width direction of the frame image u t. Further, m is a number of blocks arranged in the height direction of the frame image u t.

分散ヒストグラム生成部２１３は、各ブロックの分散ｖｉｎｔｒａ（ｉ，ｊ）から、ヒストグラムを生成する。The variance histogram generating unit 213 generates a histogram from the variance v intra (i, j) of each block.

フレーム内ノイズ分散算出部２１４は、分散ヒストグラム生成部２１３によって生成されたヒストグラムの下位γｓｍｏｏｔｈパーセントが、画素値の変化が平坦な領域に属するブロックで算出された分散であるみなす。ここで、γｓｍｏｏｔｈは、あらかじめ定められた１００以下の正数である。そして、フレーム内ノイズ分散算出部２１４は、ヒストグラムの下位γｓｍｏｏｔｈパーセントのヒストグラムのビンの値を、平坦判定閾値τｓｍｏｏｔｈとする。例えば、フレーム内ノイズ分散算出部２１４は、ヒストグラムのビンの度数の下位からの合計が、γｓｍｏｏｔｈパーセントを超える最も小さいビンの幅に含まれる値を、平坦判定閾値τｓｍｏｏｔｈとしてもよい。あるいは、フレーム内ノイズ分散算出部２１４は、ヒストグラムのビンの度数の下位からの合計が、γｓｍｏｏｔｈパーセントを超えない最も大きいビンの幅に含まれる値を、平坦判定閾値τｓｍｏｏｔｈとしてもよい。なお、ビンの幅に含まれる値とは、そのビンの幅の中央値、最小値、または、最大値等であってもよい。そして、フレーム内ノイズ分散算出部２１４は、ｖｉｎｔｒａ（ｉ，ｊ）＜τｓｍｏｏｔｈである分散値ｖｉｎｔｒａ（ｉ，ｊ）の統計量（例えば、平均値や中央値等）に基づいて、フレーム画像ｕｔのフレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａを算出する。The in-frame noise variance calculation unit 214 regards the lower γsmooth percentage of the histogram generated by the variance histogram generation unit 213 as the variance calculated in a block whose pixel value change belongs to a flat area. Here, γ smooth is a predetermined positive number of 100 or less. Then, the intra-frame noise variance calculation unit 214 sets the bin value of the histogram of the lower γsmooth percentage of the histogram as the flatness determination threshold τsmooth . For example, the intra-frame noise variance calculation unit 214 may set the value included in the width of the smallest bin exceeding the γsmooth percentage in the total number of bins in the histogram from the lower order as the flatness determination threshold τsmooth . Alternatively, the intra-frame noise variance calculation unit 214 may set a value included in the width of the largest bin whose sum from the lowest frequency of bins in the histogram does not exceed γsmooth percentage as the flatness determination threshold τsmooth . The value included in the bin width may be a median value, a minimum value, a maximum value, or the like of the bin width. Then, the intra- frame noise variance calculation unit 214 calculates the frame based on the statistic of the variance value v intra (i, j) satisfying v intra (i, j) < τsmooth (for example, an average value or a median value). frame noise variance sigma 2 t images u t, calculates the intra.

次に、フレーム間ノイズ分散推定部２２の構成の詳細について説明する。フレーム間ノイズ分散推定部２２は、図６に示すように、差分画像生成部２２１と、差分画像ブロック分割部２２２と、差分画像ブロック内分散算出部２２３と、動き判定部２２４と、フレーム間ノイズ分散算出部２２５とを含む。フレーム間ノイズ分散推定部２２は、これらの機能ブロックを用いて、差分画像のブロック毎の画素値分散が、フレーム内ノイズ分散に基づく動き判定閾値τｎｏｍｖよりも小さい領域を動きのない領域として、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒを推定する。Next, the configuration of the inter-frame noise variance estimating unit 22 will be described in detail. As shown in FIG. 6, the inter-frame noise variance estimating unit 22 includes a differential image generating unit 221, a differential image block dividing unit 222, a differential image block variance calculating unit 223, a motion determining unit 224, and an inter-frame noise And a variance calculation unit 225. The inter-frame noise variance estimating unit 22 uses these functional blocks to set an area where the pixel value variance of each block of the difference image is smaller than the motion determination threshold τ nomv based on the intra-frame noise variance as a non-motion area. The inter- frame noise variance σ 2 t, inter is estimated.

具体的には、差分画像生成部２２１は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１から、差分画像ｄを生成する。例えば、差分画像生成部２２１は、フレーム画像ｕｔを構成する各画素（ｘ，ｙ）について、ｄ（ｘ，ｙ）＝ｕｔ（ｘ，ｙ）−ｕｔ−１（ｘ，ｙ）を算出すればよい。Specifically, the difference image generation unit 221 from the frame image u t and close the frame image u t-1, to generate a difference image d. For example, the difference image generation unit 221, each pixel (x, y) constituting the frame image u t for, d (x, y) = u t (x, y) -u t-1 (x, y) and What is necessary is just to calculate.

差分画像ブロック分割部２２２は、差分画像ｄを、所定のサイズのブロックに分割する。分割処理は、フレーム内ノイズ分散推定部２１におけるブロック分割部２１１と同様である。なお、ブロックのサイズは、ブロック分割部２１１によって分割されるブロックと同じでも良いし、異なっていてもよい。   The difference image block dividing unit 222 divides the difference image d into blocks of a predetermined size. The dividing process is the same as that of the block dividing unit 211 in the intra-frame noise variance estimating unit 21. Note that the size of the block may be the same as or different from the block divided by the block dividing unit 211.

差分画像ブロック内分散算出部２２３は、差分画像ｄが分割されたブロック位置（ｉ，ｊ）の各ブロックについて、その画素値の分散ｖｉｎｔｅｒ（ｉ，ｊ）を算出する。ここで、ｉは、１以上ｎ’以下の整数であり、ｊは、１以上ｍ’以下の整数である。なお、ｎ’は、差分画像ｄの幅方向に並ぶブロック数である。また、ｍ’は、差分画像ｄの高さ方向に並ぶブロック数である。The difference image intra-block variance calculation unit 223 calculates the variance v inter (i, j) of the pixel value of each block at the block position (i, j) into which the difference image d is divided. Here, i is an integer of 1 or more and n 'or less, and j is an integer of 1 or more and m' or less. Note that n ′ is the number of blocks arranged in the width direction of the difference image d. M ′ is the number of blocks arranged in the height direction of the difference image d.

動き判定部２２４は、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａに基づいて、動き判定閾値τｎｏｍｖを求める。例えば、動き判定部２２４は、次式（１）を用いて、動き判定閾値τｎｏｍｖを求めてもよい。

Figure 0006642570
The motion determination unit 224 determines a motion determination threshold τ nomv based on the intra- frame noise variance σ 2 t, intra . For example, the motion determination unit 224 may calculate the motion determination threshold τ nomv using the following equation (1).
Figure 0006642570

ここで、αは、動き判定の厳密さを調整するパラメータである。原理的には、α＝１．０でよい。ただし、動き判定の厳密さを下げる（多少の動きを許容する）場合、αには、１．０より大きい値が設定される。また、動き判定の厳密さを上げる場合、αには、１．０より小さい値が設定される。 Here, α is a parameter for adjusting the strictness of the motion determination. In principle, α = 1.0. However, when the strictness of the motion determination is reduced (a slight motion is allowed), a value larger than 1.0 is set to α. To increase the strictness of the motion determination, a value smaller than 1.0 is set for α.

そして、動き判定部２２４は、ｖｉｎｔｅｒ（ｉ，ｊ）＜τｎｏｍｖであるブロックを、動きのない領域と判定する。また、動き判定部２２４は、ｖｉｎｔｅｒ（ｉ，ｊ）＜τｎｏｍｖでないブロックを、動きのある領域と判定する。例えば、動き判定部２２４は、ｖｉｎｔｅｒ（ｉ，ｊ）＜τｎｏｍｖであるブロックについて、動き判定結果ｍ（ｉ，ｊ）＝１としてもよい。また、動き判定部２２４は、ｖｉｎｔｅｒ（ｉ，ｊ）＜τｎｏｍｖでないブロックについて、動き判定結果ｍ（ｉ，ｊ）＝０としてもよい。この場合、動き判定結果が１であることは、動きがない領域であることを示す。また、動き判定結果が０であることは、動きがある領域であることを示す。Then, the motion determining unit 224 determines a block in which v inter (i, j) <τ nomv as a region with no motion. In addition, the motion determining unit 224 determines a block that does not satisfy v inter (i, j) <τ nomv as a motion area. For example, the motion determination unit 224 may set the motion determination result m (i, j) = 1 for a block in which v inter (i, j) <τ nomv . Further, the motion determination unit 224 may set the motion determination result m (i, j) = 0 for a block where v inter (i, j) <τ nomv . In this case, the fact that the motion determination result is 1 indicates that there is no motion. A motion determination result of 0 indicates that there is a motion.

フレーム間ノイズ分散算出部２２５は、差分画像ｄの各ブロックのノイズ分散ｖｉｎｔｅｒ（ｉ，ｊ）および動き判定結果ｍ（ｉ，ｊ）に基づいて、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒを算出する。The inter-frame noise variance calculation unit 225 calculates an inter- frame noise variance σ 2 t, inter based on the noise variance v inter (i, j) and the motion determination result m (i, j) of each block of the difference image d. I do.

具体的には、フレーム間ノイズ分散算出部２２５は、動きのないブロックの総数ｎｎｏｍｖを、次式（２）を用いて算出する。

Figure 0006642570
Specifically, the inter-frame noise variance calculation unit 225 calculates the total number n nomv of blocks without motion using the following equation (2).
Figure 0006642570

ここで、ｎｎｏｍｖ＝０である場合、フレーム間ノイズ分散算出部２２５は、画面全体が大きく変動したとみなし、σ２ ｔ，ｉｎｔｅｒ＝σ２ ｔ，ｉｎｔｒａとする。また、ｎｎｏｍｖ≠０である場合、フレーム間ノイズ分散算出部２２５は、次式（３）を用いてσ２ ｔ，ｉｎｔｅｒを算出する。

Figure 0006642570
Here, if n nomv = 0, the inter -frame noise variance calculation unit 225 assumes that the entire screen greatly fluctuates, and sets σ 2 t, inter = σ 2 t, intra . When nnomvｖ0 , the inter-frame noise variance calculation unit 225 calculates σ 2 t, inter using the following equation (3).
Figure 0006642570

なお、フレーム間ノイズ分散推定部２２は、フレーム画像ｕｔに対する近接フレーム画像ｕｔ−１が存在しない場合には、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒを推定することができない。この場合、フレーム間ノイズ分散推定部２２は、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａを用いて、σ２ ｔ，ｉｎｔｅｒ＝σ２ ｔ，ｉｎｔｒａとしてもよい。Incidentally, the inter-frame noise variance estimation unit 22, if the neighboring frame image u t-1 for the frame image u t does not exist, it is impossible to estimate the inter-frame noise variance sigma 2 t, the inter. In this case, the inter-frame noise variance estimating unit 22 may use the intra- frame noise variance σ 2 t, intra to set σ 2 t, inter = σ 2 t, intra .

次に、ノイズ強度決定部２３の構成の詳細について説明する。   Next, the configuration of the noise intensity determination unit 23 will be described in detail.

ノイズ強度決定部２３は、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａと、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒとのうち小さい方を、フレーム画像ｕｔのノイズ強度として決定する。すなわち、ノイズ強度決定部２３は、フレーム画像ｕｔのノイズ強度として、σ２ ｔ＝ｍｉｎ（σ２ ｔ，ｉｎｔｅｒ，σ２ ｔ，ｉｎｔｒａ）を算出する。Noise intensity determining unit 23, the intra-frame noise variance sigma 2 t, and intra, inter-frame noise variance sigma 2 t, the smaller of the inter, determined as a noise intensity of the frame image u t. That is, the noise intensity determination unit 23 calculates the noise strength of the frame image u t, σ 2 t = min (σ 2 t, inter, σ 2 t, intra) the.

以上のように構成された画像処理装置２の動作について説明する。ここで、画像処理装置２の動作の概略は、図３を参照して説明した本発明の第１の実施の形態としての画像処理装置１の動作と略同様である。ただし、ステップＳ２〜Ｓ４における動作の詳細が異なる。   The operation of the image processing apparatus 2 configured as described above will be described. Here, the outline of the operation of the image processing apparatus 2 is substantially the same as the operation of the image processing apparatus 1 according to the first embodiment of the present invention described with reference to FIG. However, details of the operations in steps S2 to S4 are different.

まず、ステップＳ２におけるフレーム内ノイズ分散推定処理について、本実施の形態における詳細な動作を、図７を参照して説明する。   First, a detailed operation in the present embodiment of the intra-frame noise variance estimation processing in step S2 will be described with reference to FIG.

図７では、まず、ブロック分割部２１１は、フレーム画像ｕｔを、所定のサイズのブロックに分割する（ステップＳ２１）。In Figure 7, first, the block dividing unit 211, a frame image u t, is divided into blocks of a predetermined size (step S21).

次に、ブロック内分散算出部２１２は、分割された各ブロックについて、画素値の分散ｖｉｎｔｒａ（ｉ，ｊ）を算出する（ステップＳ２２）。Next, the intra-block variance calculation unit 212 calculates the variance v intra (i, j) of the pixel value for each of the divided blocks (step S22).

次に、ヒストグラム生成部２１３は、ステップＳ１２で算出された各ブロックの分散ｖｉｎｔｒａ（ｉ，ｊ）からヒストグラムを生成する（ステップＳ２３）。Next, the histogram generation unit 213 generates a histogram from the variance v intra (i, j) of each block calculated in step S12 (step S23).

次に、フレーム内ノイズ分散算出部２１４は、ヒストグラムの下位γｓｍｏｏｔｈパーセントのビンの値に基づいて、平坦判定閾値τｓｍｏｏｔｈを算出する（ステップＳ２４）。Next, the noise variance calculating unit 214 frame, based on the value of the lower gamma smooth smooth percent of bins of the histogram, calculates a flatness determination threshold tau smooth smooth (step S24).

次に、フレーム内ノイズ分散算出部２１４は、分散ｖｉｎｔｒａ（ｉ，ｊ）が平坦判定閾値τｓｍｏｏｔｈより小さなブロックを平坦領域に属するとみなす。そして、フレーム内ノイズ分散算出部２１４は、それらのブロックの分散の統計量（例えば平均値や中央値など）を、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａとして算出する（ステップＳ２５）。Next, the intra- frame noise variance calculation unit 214 regards a block whose variance v intra (i, j) is smaller than the flatness determination threshold τsmooth as belonging to a flat area. Then, the intra-frame noise variance calculation unit 214 calculates the statistic of the variance of the blocks (for example, an average value or a median value) as the intra- frame noise variance σ 2 t, intra (step S25).

次に、ステップＳ３におけるフレーム間ノイズ分散推定処理について、本実施の形態における詳細な動作を、図８を参照して説明する。   Next, a detailed operation in the present embodiment of the inter-frame noise variance estimation processing in step S3 will be described with reference to FIG.

図８では、まず、差分画像生成部２２１は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１から、差分画像ｄを生成する（ステップＳ３１）。In Figure 8, first, the difference image generation unit 221 from the frame image u t and close the frame image u t-1, to generate a difference image d (step S31).

次に、差分画像ブロック分割部２２２は、差分画像ｄを、所定のサイズのブロックに分割する（ステップＳ３２）。   Next, the difference image block dividing unit 222 divides the difference image d into blocks of a predetermined size (Step S32).

次に、差分画像ブロック内分散算出部２２３は、分割された各ブロックについて、その画素値の分散ｖｉｎｔｅｒ（ｉ，ｊ）を算出する（ステップＳ３３）。Next, the intra-difference-image-block variance calculation unit 223 calculates the variance v inter (i, j) of the pixel value of each divided block (step S33).

次に、動き判定部２２４は、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａに基づいて、動き判定閾値τｎｏｍｖを算出する。そして、動き判定部２２４は、差分画像の各ブロックについて、その分散ｖｉｎｔｅｒ（ｉ，ｊ）が動き判定閾値τｎｏｍｖより小さいか否かに基づいて、動き判定結果ｍ（ｉ，ｊ）を求める（ステップＳ３４）。Next, the motion determination unit 224 calculates a motion determination threshold τ nomv based on the intra- frame noise variance σ 2 t, intra . Then, the motion determination unit 224 obtains a motion determination result m (i, j) for each block of the difference image based on whether or not the variance v inter (i, j) is smaller than the motion determination threshold τ nomv. (Step S34).

例えば、前述のように、動き判定部２２４は、式（１）を用いて、動き判定閾値τｎｏｍｖを算出してもよい。For example, as described above, the motion determination unit 224 may calculate the motion determination threshold τ nomv using Expression (1).

次に、フレーム間ノイズ分散算出部２２５は、動き判定結果ｍ（ｉ，ｊ）に基づいて、動きのない領域のブロックの分散ｖｉｎｔｅｒ（ｉ，ｊ）の統計量（平均値や中央値など）を、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒとして算出する（ステップＳ３５）。Next, based on the motion determination result m (i, j), the inter- frame noise variance calculation unit 225 calculates a statistic (an average value, a median value, or the like) of the variance v inter (i, j) of a block in a region without motion. ) Is calculated as the inter- frame noise variance σ 2 t, inter (step S35).

例えば、前述のように、フレーム間ノイズ分散算出部２２５は、式（３）を用いて、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒを算出してもよい。For example, as described above, the inter-frame noise variance calculation unit 225 may calculate the inter- frame noise variance σ 2 t, inter using Expression (3).

なお、前述のように、動きのない領域（ｍ（ｉ，ｊ）＝１）と判定されたブロックの個数ｎｎｏｍｖが０である場合、フレーム間ノイズ分散算出部２２５は、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａを、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒとしてもよい。As described above, when the number n nomv of blocks determined to be a region without motion (m (i, j) = 1) is 0, the inter-frame noise variance calculation unit 225 determines the intra-frame noise variance σ 2 t, the intra, inter-frame noise variance sigma 2 t, may be inter.

次に、ステップＳ４におけるノイズ強度決定部２３の処理について説明する。本実施の形態では、ノイズ強度決定部２３は、ステップＳ１およびＳ２で算出されたσ２ ｔ，ｉｎｔｒａおよびσ２ ｔ，ｉｎｔｅｒのうち小さい方を、フレーム画像ｕｔのノイズ強度σ２ ｔとして決定し出力する。Next, the processing of the noise intensity determination unit 23 in step S4 will be described. In the present embodiment, the noise intensity determination unit 23 determines the smaller one of σ 2 t, intra and σ 2 t, inter calculated in steps S1 and S2 as the noise intensity σ 2 t of the frame image ut. Output.

以上で、画像処理装置２の動作の説明を終了する。   This is the end of the description of the operation of the image processing apparatus 2.

次に、本発明の第２の実施の形態の効果について述べる。   Next, effects of the second exemplary embodiment of the present invention will be described.

本発明の第２の実施の形態としての画像処理装置は、テクスチャまたは動きの多い領域を含む映像であっても、ノイズの強度をさらに正確に推定することができる。   The image processing apparatus according to the second embodiment of the present invention can more accurately estimate the noise intensity even for an image including a texture or an area with a lot of motion.

その理由について説明する。本実施の形態では、フレーム内ノイズ分散推定部が、フレーム画像を分割した各ブロックにおける画素値の分散についてヒストグラムを生成し、ヒストグラムに基づいて定めた平坦判定閾値を用いて、平坦領域を抽出する。そして、フレーム内ノイズ分散推定部が、平坦領域の画素値の分散の統計量を、フレーム内ノイズ分散として推定するからである。また、フレーム間ノイズ分散推定部が、フレーム画像および近接フレーム画像間の差分画像を分割した各ブロックにおける画素値の分散を算出し、算出した分散を、フレーム内ノイズ分散に基づく動き判定閾値と比較することにより、動きのない領域を抽出する。そして、フレーム間ノイズ分散推定部が、動きのない領域における画素値の分散の統計量を、フレーム間ノイズ分散として推定するからである。そして、ノイズ強度決定部が、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方を、フレーム画像のノイズ強度として決定するからである。   The reason will be described. In the present embodiment, the intra-frame noise variance estimating unit generates a histogram for the variance of pixel values in each block obtained by dividing the frame image, and extracts a flat region using a flatness determination threshold determined based on the histogram. . Then, the intra-frame noise variance estimating unit estimates the statistic of the variance of the pixel values in the flat region as the intra-frame noise variance. Further, the inter-frame noise variance estimating unit calculates the variance of the pixel value in each block obtained by dividing the difference image between the frame image and the adjacent frame image, and compares the calculated variance with a motion determination threshold based on the intra-frame noise variance. By doing so, an area without motion is extracted. Then, the inter-frame noise variance estimating unit estimates the statistic of the variance of the pixel values in the area without motion as the inter-frame noise variance. Then, the noise intensity determination unit determines the smaller one of the intra-frame noise variance and the inter-frame noise variance as the noise intensity of the frame image.

このように、本実施の形態は、テクスチャが多い画像の場合に真値より大きくなるフレーム内ノイズ分散と、動きが多い画像の場合に真値より大きくなるフレーム間ノイズ分散とのうち、小さいものを選択してフレーム画像のノイズ強度として決定する。これにより、本実施の形態は、動きが多いがテクスチャが少ない画像や、テクスチャが多いが動きが少ない画像に対して、より真値に近いノイズ強度を決定することができ、ノイズ強度推定の精度を向上させる。   As described above, in the present embodiment, the smaller one of the intra-frame noise variance that becomes larger than the true value in the case of an image with many textures and the inter-frame noise variance that becomes larger than the true value in the case of an image with many motions Is selected as the noise intensity of the frame image. As a result, the present embodiment can determine a noise intensity closer to a true value for an image having a large amount of motion but a small amount of texture, or an image having a large amount of texture but a small amount of movement, and thus the accuracy of the noise intensity estimation can be determined. Improve.

また、本実施の形態は、フレーム間ノイズ分散を算出する際に、フレーム内ノイズ分散を用いて動き判定閾値を算出する。このため、画像ごとに動き判定閾値をユーザが調整する必要がない。また、本実施の形態は、フレーム間ノイズ分散を、ブロックごとのノイズ分散がフレーム内ノイズ分散より小さなブロックだけを用いて算出することになる。このため、本実施の形態は、動きのない領域があると判定できる場合には、フレーム内分散よりも真値に近いノイズ分散の推定結果を得ることができる。   Further, in the present embodiment, when calculating the inter-frame noise variance, the motion determination threshold is calculated using the intra-frame noise variance. Therefore, there is no need for the user to adjust the motion determination threshold for each image. Further, in the present embodiment, the inter-frame noise variance is calculated using only blocks in which the noise variance of each block is smaller than the intra-frame noise variance. For this reason, in the present embodiment, when it can be determined that there is an area without motion, it is possible to obtain a noise variance estimation result closer to the true value than the intra-frame variance.

（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第２の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。(Third embodiment)
Next, a third embodiment of the present invention will be described in detail with reference to the drawings. In each of the drawings referred to in the description of the present embodiment, steps having the same configuration and the same operation as those in the second embodiment of the present invention are denoted by the same reference numerals, and detailed descriptions in the present embodiment will be given. Description is omitted.

まず、本発明の第３の実施の形態としての画像処理装置３の構成を図９に示す。図９において、画像処理装置３は、本発明の第２の実施の形態としての画像処理装置２に対して、フレーム間ノイズ分散推定部２２に替えて、フレーム間ノイズ分散推定部３２を備える点が異なる。フレーム間ノイズ分散推定部３２は、図１０に示すように、本発明の第２の実施の形態におけるフレーム間ノイズ分散推定部２２に対して、動き判定部２２４に替えて動き判定部３２４を含み、さらに、分散ヒストグラム生成部３２６および動き判定閾値算出部３２７を含む点が異なる。フレーム間ノイズ分散推定部３２は、これらの機能ブロックを用いて、フレーム内ノイズ分散に基づく第１の閾値と、差分画像のブロック毎の画素値の分散に基づく第２の閾値とに基づいて、動き判定閾値を決定する。そして、フレーム間ノイズ分散推定部３２は、差分画像のブロック毎の画素値の分散が、動き判定閾値よりも小さい領域を動きのない領域として、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒを推定する。First, FIG. 9 shows a configuration of an image processing device 3 according to a third embodiment of the present invention. In FIG. 9, the image processing apparatus 3 is different from the image processing apparatus 2 according to the second embodiment of the present invention in that an inter-frame noise variance estimating unit 32 is provided instead of the inter-frame noise variance estimating unit 22. Are different. As shown in FIG. 10, the inter-frame noise variance estimating unit 32 includes a motion determining unit 324 in place of the motion determining unit 224 in the inter-frame noise variance estimating unit 22 according to the second embodiment of the present invention. Further, the difference is that a variance histogram generation unit 326 and a motion determination threshold value calculation unit 327 are included. The inter-frame noise variance estimating unit 32 uses these functional blocks, based on a first threshold based on the intra-frame noise variance and a second threshold based on the variance of pixel values of each block of the difference image, Determine a motion determination threshold. Then, the inter-frame noise variance estimating unit 32 estimates the inter- frame noise variance σ 2 t, inter with an area where the variance of the pixel value of each block of the difference image is smaller than the motion determination threshold as an area without motion.

具体的には、分散ヒストグラム生成部３２６は、差分画像ｄにおける各ブロックの分散値ｖｉｎｔｅｒ（ｉ，ｊ）のヒストグラムを生成する。Specifically, the variance histogram generation unit 326 generates a histogram of the variance value v inter (i, j) of each block in the difference image d.

動き判定閾値算出部３２７は、差分画像ｄの各ブロックの分散値ｖｉｎｔｅｒ（ｉ，ｊ）のヒストグラムと、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａとに基づいて、動き判定閾値τｎｏｍｖを算出する。具体的には、動き判定閾値算出部３２７は、動き判定閾値τｎｏｍｖの１つ目の候補として、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａに基づく第１の閾値τｎｏｍｖ１を算出する。第１の閾値τｎｏｍｖ１の算出には、式（１）を用いればよい。The motion determination threshold calculator 327 calculates a motion determination threshold τ nomv based on a histogram of the variance v inter (i, j) of each block of the difference image d and the intra- frame noise variance σ 2 t, intra. . Specifically, motion determination threshold value calculation unit 327 calculates a first candidate motion determination threshold tau NOMV, the intra-frame noise variance sigma 2 t, the first threshold tau Nomv1 based on intra. Equation (1) may be used to calculate the first threshold value τnomv1 .

また、動き判定閾値算出部３２７は、動き判定閾値τｎｏｍｖの２つ目の候補として、差分画像ｄの各ブロックの分散値ｖｉｎｔｅｒ（ｉ，ｊ）に基づく第２の閾値τｎｏｍｖ２を算出する。具体的には、動き判定閾値算出部３２７は、分散値ｖｉｎｔｅｒ（ｉ，ｊ）のヒストグラムの下位γｎｏｍｖパーセントを、動きのない領域で算出された分散であるとみなし、そのビンの値を第２の閾値τｎｏｍｖ２としてもよい。ここで、γｎｏｍｖは、あらかじめ定められた１００以下の正数である。例えば、動き判定閾値算出部３２７は、ヒストグラムの度数の下位からの合計がγｎｏｍｖパーセントを超える最も小さいビンの幅に含まれる値を第２の閾値τｎｏｍｖ２としてもよい。また、動き判定閾値算出部３２７は、ヒストグラムの度数の下位からの合計がγｎｏｍｖパーセントを超えない最も大きいビンの幅に含まれる値を第２の閾値τｎｏｍｖ２としてもよい。なお、ビンの幅に含まれる値とは、そのビンの幅の中央値、最小値、または、最大値等であってもよい。そして、動き判定閾値算出部３２７は、第１の閾値τｎｏｍｖ１および第２の閾値τｎｏｍｖ２のうち小さい方を、動き判定閾値τｎｏｍｖとする。すなわち、動き判定閾値算出部３２７は、次式（４）を用いて動き判定閾値τｎｏｍｖを算出する。

Figure 0006642570
The motion determination threshold value calculation unit 327 calculates a second candidate motion determination threshold tau NOMV, variance v inter (i, j) of each block of the difference image d of the second threshold tau Nomv2 based on . Specifically, the motion determination threshold value calculation unit 327, the dispersion value v inter (i, j) the lower gamma NOMV percent of the histogram of considered to be calculated dispersed with no moving area, the value of that bin The second threshold value τ nomv2 may be used. Here, γ nomv is a predetermined positive number of 100 or less. For example, the motion determination threshold value calculation unit 327 may set a value included in the width of the smallest bin whose sum from the lowermost frequency of the histogram exceeds γ nomv percent as the second threshold value τ nomv2 . In addition, the motion determination threshold value calculation unit 327 may set the value included in the width of the largest bin whose sum from the lowermost frequency of the histogram does not exceed γ nomv percent as the second threshold value τ nomv2 . The value included in the bin width may be a median value, a minimum value, a maximum value, or the like of the bin width. Then, the motion determination threshold calculation unit 327 sets the smaller one of the first threshold τ nomv1 and the second threshold τ nomv2 as the motion determination threshold τ nomv . That is, the motion determination threshold calculator 327 calculates the motion determination threshold τ nomv using the following equation (4).
Figure 0006642570

動き判定部３２４は、本発明の第２の実施の形態における動き判定部２２４と略同様に構成されるが、動き判定閾値τｎｏｍｖとして、動き判定閾値算出部３２７により算出された閾値を用いる点が異なる。具体的には、動き判定部３２４は、差分画像ｄのブロックのうち、その分散ｖｉｎｔｅｒ（ｉ，ｊ）が、動き判定閾値算出部３２７により算出された動き判定閾値τｎｏｍｖより小さいブロックを、動きのない領域と判定する。そして、動き判定部３２４は、本発明の第２の実施の形態と同様に、ブロック位置（ｉ，ｊ）における動き判定結果ｍ（ｉ，ｊ）として、１（動きがない）または０（動きがある）を設定する。The motion determining unit 324 is configured substantially in the same manner as the motion determining unit 224 according to the second embodiment of the present invention, except that the threshold value calculated by the motion determining threshold calculating unit 327 is used as the motion determining threshold τ nomv. Are different. Specifically, the motion determination unit 324 determines, among the blocks of the difference image d, a block whose variance v inter (i, j) is smaller than the motion determination threshold τ nomv calculated by the motion determination threshold calculation unit 327. It is determined that there is no motion. Then, as in the second embodiment of the present invention, the motion determination unit 324 determines 1 (no motion) or 0 (no motion) as the motion determination result m (i, j) at the block position (i, j). Is set).

以上のように構成された画像処理装置３の動作について説明する。画像処理装置３の動作は、本発明の第２の実施の形態としての画像処理装置２の動作と略同様であるが、図８を参照して説明したフレーム間ノイズ分散推定処理の詳細が異なる。   The operation of the image processing device 3 configured as described above will be described. The operation of the image processing apparatus 3 is substantially the same as the operation of the image processing apparatus 2 according to the second embodiment of the present invention, except for the details of the inter-frame noise variance estimation processing described with reference to FIG. .

本実施の形態におけるフレーム間ノイズ分散推定処理の動作を、図１１に示す。   FIG. 11 shows the operation of the inter-frame noise variance estimation processing in the present embodiment.

図１１では、まず、フレーム間ノイズ分散推定部３２は、ステップＳ３１〜Ｓ３３まで、本発明の第２の実施の形態と同様に動作して、差分画像ｄの各ブロックについて分散ｖｉｎｔｅｒ（ｉ，ｊ）を算出する。In FIG. 11, first, the inter-frame noise variance estimating unit 32 operates in steps S31 to S33 in the same manner as the second embodiment of the present invention, and performs variance v inter (i, j) is calculated.

次に、動き判定閾値算出部３２７は、フレーム内ノイズ分散σ２ ｔ，ｉｎｔｒａに基づいて、第１の閾値τｎｏｍｖ１を算出する（ステップＳ４４）。Next, the motion determination threshold calculator 327 calculates a first threshold τ nomv1 based on the intra- frame noise variance σ 2 t, intra (step S44).

前述のように、動き判定閾値算出部３２７は、式（１）を用いて第１の閾値τｎｏｍｖ１を算出してもよい。As described above, the motion determination threshold value calculation unit 327 may calculate the first threshold value τ nomv1 using Expression (1).

次に、分散ヒストグラム生成部３２６は、各ブロックの分散ｖｉｎｔｅｒ（ｉ，ｊ）についてヒストグラムを生成する。そして、動き判定閾値算出部３２７は、ヒストグラムの下位γｎｏｍｖパーセントのビンの値に基づいて、第２の閾値τｎｏｍｖ２を算出する（ステップＳ４５）。Next, the variance histogram generation unit 326 generates a histogram for the variance v inter (i, j) of each block. Then, the motion determination threshold calculator 327 calculates a second threshold τ nomv2 based on the bin value of the lower γ nomv percent of the histogram (step S45).

次に、動き判定閾値算出部３２７は、第１の閾値τｎｏｍｖ１および第２の閾値τｎｏｍｖ２を比較し、小さい方を動き判定閾値τｎｏｍｖとする（ステップＳ４６）。Next, the motion determination threshold calculation unit 327 compares the first threshold τ nomv1 and the second threshold τ nomv2, and sets the smaller one as the motion determination threshold τ nomv (step S46).

次に、フレーム間ノイズ分散推定部３２は、本発明の第２の実施の形態と同様にステップＳ３５を実行し、フレーム間ノイズ分散σ２ ｔ，ｉｎｔｅｒを推定する。Next, the inter-frame noise variance estimating unit 32 executes step S35 in the same manner as in the second embodiment of the present invention , and estimates the inter- frame noise variance σ 2 t, inter .

以上で、フレーム間ノイズ分散推定部３２は、フレーム間ノイズ分散推定処理の動作を終了する。   Thus, the inter-frame noise variance estimating unit 32 ends the operation of the inter-frame noise variance estimation process.

次に、本発明の第３の実施の形態の効果について述べる。   Next, effects of the third exemplary embodiment of the present invention will be described.

本発明の第３の実施の形態としての画像処理装置は、画像にテクスチャが多い画像に対して、ノイズの強度をさらに正確に推定することができる。   The image processing apparatus according to the third embodiment of the present invention can more accurately estimate the noise intensity for an image having many textures.

その理由について説明する。本実施の形態では、本発明の第２の実施の形態と同様の構成に加えて、フレーム間ノイズ分散推定部が、次のように構成されるからである。すなわち、フレーム間ノイズ分散推定部が、フレーム内ノイズ分散に基づく第１の閾値と、差分画像のブロックごとの分散値に基づいて算出される第２の閾値との小さい方を動き判定閾値とする。そして、フレーム間ノイズ分散推定部が、この動き判定閾値を用いて、フレーム画像において動きのない領域を推定し、動きのない領域の画素値に基づいて、フレーム間ノイズ分散を算出するからである。   The reason will be described. This is because, in the present embodiment, in addition to the same configuration as the second embodiment of the present invention, the inter-frame noise variance estimating unit is configured as follows. That is, the inter-frame noise variance estimating unit sets a smaller one of the first threshold based on the intra-frame noise variance and the second threshold calculated based on the variance of each block of the difference image as the motion determination threshold. . Then, the inter-frame noise variance estimating unit estimates an area without motion in the frame image using the motion determination threshold, and calculates an inter-frame noise variance based on the pixel value of the area without motion. .

このため、本実施の形態は、より厳密に動き判定を行うことが可能になり、フレーム間ノイズ分散をより正確に推定することになる。その結果、本実施の形態は、画像にテクスチャが多い場合でも、フレーム間ノイズ分散をより正確に推定可能となる。   For this reason, in the present embodiment, it is possible to make a more precise motion determination, and to more accurately estimate the inter-frame noise variance. As a result, the present embodiment can more accurately estimate the inter-frame noise variance even when the image has many textures.

（第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described in detail with reference to the drawings. In each of the drawings referred to in the description of the present embodiment, steps having the same configuration and the same operation as those in the third embodiment of the present invention are denoted by the same reference numerals, and detailed description in the present embodiment will be given. Description is omitted.

まず、本発明の第４の実施の形態としての画像処理装置４の構成を図１２に示す。図１２において、画像処理装置４は、本発明の第３の実施の形態としての画像処理装置３と同様の構成に加えて、さらに、ノイズ抑圧部４４を備える。   First, FIG. 12 shows a configuration of an image processing apparatus 4 according to a fourth embodiment of the present invention. In FIG. 12, the image processing apparatus 4 further includes a noise suppression unit 44 in addition to the same configuration as the image processing apparatus 3 according to the third embodiment of the present invention.

ノイズ抑圧部４４は、フレーム画像ｕｔに対して、ノイズ強度決定部２３によって決定されるノイズ強度σ２ ｔを用いてノイズ抑圧処理を適用し、ノイズが抑圧された画像ｚｔを生成する。そして、ノイズ抑圧部４４は、画像ｚｔを出力する。Noise suppressing section 44, the frame image u t, by applying the noise suppression process using the noise strength sigma 2 t which is determined by the noise intensity determination unit 23 generates an image z t where noise is suppressed. The noise suppressing section 44 outputs the image z t.

ここで、ノイズ抑圧処理には、様々な公知の手法を適用可能である。一例として、適応ウィナーフィルタによるノイズ抑圧（ノイズ除去）の例を示す。   Here, various known methods can be applied to the noise suppression processing. As an example, an example of noise suppression (noise removal) by an adaptive Wiener filter will be described.

適応ウィナーフィルタについて説明する。ここでは、ｕを入力画像とし、ｕに含まれるノイズの分散をσ２ ｎとする。また、局所領域として画素位置（ｘ，ｙ）を中心とする５画素×５画素の領域を用いるものとする。この場合、この局所領域の画素値の局所平均値μ（ｘ，ｙ）は、次式（５）で表される。

Figure 0006642570
The adaptive Wiener filter will be described. Here, u is an input image, and the variance of noise included in u is σ 2 n . Also, a region of 5 pixels × 5 pixels centering on the pixel position (x, y) is used as a local region. In this case, the local average value μ (x, y) of the pixel values in this local area is represented by the following equation (5).
Figure 0006642570

また、この領域の画素値の局所分散σ２ ｖ（ｘ，ｙ）は、次式（６）で表される。

Figure 0006642570
Further, the local variance σ 2 v (x, y) of the pixel values in this area is represented by the following equation (6).
Figure 0006642570

このとき、適応ウィナーフィルタによる処理結果ｚ（ｘ，ｙ）は、次式（７）で表される。

Figure 0006642570
At this time, the processing result z (x, y) by the adaptive Wiener filter is expressed by the following equation (7).
Figure 0006642570

適応ウィナーフィルタでは、注目画素における局所分散σ２ ｖ（ｘ，ｙ）がノイズ分散σ２ ｎと同程度である場合、すなわち注目画素が平坦領域にある場合は、ｚ（ｘ，ｙ）は、局所平均値μ（ｘ，ｙ）に近づく。一方、注目画素がエッジである場合のように、局所分散σ２ ｖ（ｘ，ｙ）が大きな領域にある場合、ｚ（ｘ，ｙ）は、入力信号であるｕ（ｘ，ｙ）に近づく。In the adaptive Wiener filter, when the local variance σ 2 v (x, y) at the pixel of interest is approximately equal to the noise variance σ 2 n , that is, when the pixel of interest is in a flat region, z (x, y) is It approaches the local average value μ (x, y). On the other hand, when the local variance σ 2 v (x, y) is in a large area, such as when the target pixel is an edge, z (x, y) approaches u (x, y) as the input signal. .

ノイズ抑圧部４４は、このような適応ウィナーフィルタの入力画像ｕとしてフレーム画像ｕｔを適用し、ノイズの分散σ２ ｎとして、ノイズ強度決定部２３で算出されたノイズ強度σ２ ｔを適用することにより、ノイズが抑圧された画像ｚｔを生成する。なお、ノイズ抑圧部４４が適応ウィナーフィルタを採用する場合、上述の局所領域は５画素×５画素に限定されるものではない。Noise suppressing section 44, such to apply the frame image u t as the input image u of the adaptive Wiener filter, as a dispersion sigma 2 n of the noise, to apply the noise strength sigma 2 t calculated in the noise intensity determination unit 23 it allows to generate an image z t where noise is suppressed. When the noise suppression unit 44 employs the adaptive Wiener filter, the above-described local region is not limited to 5 pixels × 5 pixels.

以上のように構成された画像処理装置４の動作について、図１３を参照して説明する。   The operation of the image processing apparatus 4 configured as described above will be described with reference to FIG.

図１３では、まず、フレーム内ノイズ分散推定部２１、フレーム間ノイズ分散推定部３２およびノイズ強度決定部２３は、フレーム画像ｕｔおよび近接フレーム画像ｕｔ−１を入力として、フレーム画像ｕｔのノイズ強度σ２ ｔを推定する（ステップＳ５１）。In Figure 13, first, the intra-frame noise variance estimation unit 21, the inter-frame noise variance estimation unit 32 and the noise intensity determination unit 23 is input with frame image u t and close the frame image u t-1, frame image u t The noise intensity σ 2 t is estimated (step S51).

なお、ステップＳ５１のノイズ強度推定動作は、図３、図７、図１１を参照して説明した本発明の第３の実施の形態としての画像処理装置３の動作と同様である。   The noise intensity estimation operation in step S51 is the same as the operation of the image processing device 3 according to the third embodiment of the present invention described with reference to FIGS. 3, 7, and 11.

次に、ノイズ抑圧部４４は、注目画素位置（ｘ，ｙ）においてフレーム画像ｕｔの局所平均μ（ｘ，ｙ）および局所分散σ２ ｖ（ｘ，ｙ）を算出する（ステップＳ５２）。Next, the noise suppressing section 44, a local average of the frame image u t at the target pixel position (x, y) μ (x , y) and the local variance σ 2 v (x, y) is calculated (step S52).

次に、ノイズ抑圧部４４は、例えば適応ウィナーフィルタを用いて、注目画素位置（ｘ，ｙ）におけるノイズ除去画像ｚ（ｘ，ｙ）を算出する（ステップＳ５３）。   Next, the noise suppression unit 44 calculates a noise-removed image z (x, y) at the target pixel position (x, y) using, for example, an adaptive Wiener filter (step S53).

ここで、フレーム画像ｕｔの全画素うち処理の完了していない画素がある場合（ステップＳ５４でＮｏ）、ノイズ抑圧部４４は、ステップＳ５２に戻って処理を継続する。Here, if there is a pixel that is not completed for all pixels out process of a frame image u t (No in step S54), the noise suppression unit 44 continues the processing returns to step S52.

一方、フレーム画像ｕｔの全画素についてステップＳ５２〜Ｓ５３を完了したならば（ステップＳ５４でＹｅｓ）、ノイズ抑圧部４４は、動作を終了する。On the other hand, if completed the steps S52~S53 for all pixels of the frame image u t (Yes in step S54), the noise suppressing unit 44 ends the operation.

以上で、画像処理装置４は、動作を終了する。   Thus, the operation of the image processing apparatus 4 ends.

次に、本発明の第４の実施の形態の効果について述べる。   Next, effects of the fourth embodiment of the present invention will be described.

本発明の第４の実施の形態としての画像処理装置は、テクスチャまたは動きの多い領域を含む映像に対して、フレーム画像ごとにより適切なノイズ強度を用いて、より適切なノイズ抑圧処理を実行することができる。   The image processing apparatus according to the fourth embodiment of the present invention executes more appropriate noise suppression processing on an image including a texture or an area with a lot of motion by using a more appropriate noise intensity for each frame image. be able to.

その理由について説明する。本実施の形態では、ノイズ抑圧部が、フレーム画像毎に、本発明の第３の実施の形態と同様の構成により決定されたノイズ強度を用いて、ノイズ抑圧処理を施すからである。   The reason will be described. This is because, in the present embodiment, the noise suppression unit performs the noise suppression process for each frame image using the noise intensity determined by the same configuration as in the third embodiment of the present invention.

なお、本実施の形態として、本発明の第３の実施の形態の構成に、ノイズ抑圧部を加えた画像処理装置について説明した。これに限らず、本発明の第１または第２の実施の形態の構成に、本実施の形態のノイズ抑圧部を加えた画像処理装置も、本実施の形態と同様の効果を奏する。   Note that, as the present embodiment, an image processing apparatus in which a noise suppression unit is added to the configuration of the third embodiment of the present invention has been described. However, the present invention is not limited thereto, and an image processing apparatus in which the noise suppression unit of the present embodiment is added to the configuration of the first or second embodiment of the present invention also has the same effect as that of the present embodiment.

また、上述した本発明の第２から第４の実施の形態において、ノイズ強度決定部は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方を、フレーム画像におけるノイズ強度として決定するものとして説明した。ただし、各実施の形態のノイズ強度決定部は、必ずしも小さい方そのものをノイズ強度として適用しなくてもよい。例えば、ノイズ強度決定部は、フレーム内ノイズ分散およびフレーム間ノイズ分散のうち小さい方を用いて所定の演算を行うことにより、ノイズ強度を決定してもよい。   Further, in the above-described second to fourth embodiments of the present invention, the noise intensity determination unit determines that the smaller of the intra-frame noise variance and the inter-frame noise variance is determined as the noise intensity in the frame image. did. However, the noise intensity determination unit of each embodiment does not necessarily have to apply the smaller noise intensity itself. For example, the noise intensity determination unit may determine the noise intensity by performing a predetermined operation using the smaller of the intra-frame noise variance and the inter-frame noise variance.

また、上述した本発明の各実施の形態において、画像処理装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。   Also, in each of the embodiments of the present invention described above, each functional block of the image processing apparatus has been described mainly with respect to an example in which the functional blocks are realized by a CPU that executes a computer program stored in a storage device or a ROM. However, the present invention is not limited to this, and some, all, or a combination of the functional blocks may be realized by dedicated hardware.

また、上述した本発明の各実施の形態において、画像処理装置の機能ブロックは、複数の装置に分散されて実現されてもよい。   Further, in each of the embodiments of the present invention described above, the functional blocks of the image processing device may be implemented by being distributed to a plurality of devices.

また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した画像処理装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておく。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。   In each of the embodiments of the present invention described above, the operation of the image processing apparatus described with reference to each flowchart is stored in a storage device (storage medium) of a computer device as a computer program of the present invention. Then, the CPU may read and execute the computer program. In such a case, the present invention is configured by the code of the computer program or the storage medium.

また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。   In addition, the above-described embodiments can be implemented in appropriate combinations.

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。   The present invention has been described above using the above-described embodiment as a typical example. However, the invention is not limited to the embodiments described above. That is, the present invention can apply various aspects that can be understood by those skilled in the art within the scope of the present invention.

この出願は、２０１５年５月１８日に出願された日本出願特願２０１５−１０１２７２を基礎とする優先権を主張し、その開示の全てをここに取り込む。   This application claims priority based on Japanese Patent Application No. 2015-101272 filed on May 18, 2015, the disclosure of which is incorporated herein in its entirety.

１、２、３、４ 画像処理装置
１１、２１ フレーム内ノイズ分散推定部
１２、２２、３２ フレーム間ノイズ分散推定部
１３、２３ ノイズ強度決定部
４４ ノイズ抑圧部
２１１ ブロック分割部
２１２ ブロック内分散算出部
２１３ 分散ヒストグラム生成部
２１４ フレーム内ノイズ分散算出部
２２１ 差分画像生成部
２２２ 差分画像ブロック分割部
２２３ 差分画像ブロック内分散算出部
２２４、３２４ 動き判定部
２２５ フレーム間ノイズ分散算出部
３２６ 分散ヒストグラム生成部
３２７ 動き判定閾値算出部
９０１ 画像入力装置
９０２ 出力装置
１００１ ＣＰＵ
１００２ メモリ1, 2, 3, 4 Image processing device 11, 21 In-frame noise variance estimating unit 12, 22, 32 Inter-frame noise variance estimating unit 13, 23 Noise intensity determining unit 44 Noise suppressing unit 211 Block dividing unit 212 In-block variance calculation Unit 213 variance histogram generation unit 214 intra-frame noise variance calculation unit 221 difference image generation unit 222 difference image block division unit 223 difference image block variance calculation unit 224, 324 motion determination unit 225 inter-frame noise variance calculation unit 326 variance histogram generation unit 327 Motion determination threshold value calculation unit 901 Image input device 902 Output device 1001 CPU
1002 memory

Claims (6)

映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定手段と、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定手段と、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定手段と、
を備えた画像処理装置。 In a frame image included in the video, an intra-frame noise variance estimating unit that estimates an intra-frame noise variance, which is a variance of noise in the frame image, based on a pixel value belonging to a flat region where a change in pixel value is flat,
In a difference image representing a difference between the frame image and a neighboring frame image temporally close to the frame image, the frame image is based on a pixel value belonging to an area where there is no movement between the frame image and the neighboring frame image. And an inter-frame noise variance estimating means for estimating an inter-frame noise variance that is a variance of noise between the adjacent frame images,
A noise intensity determining unit that determines a noise intensity in the frame image based on a smaller one of the intra-frame noise variance and the inter-frame noise variance,
An image processing device comprising: 前記フレーム間ノイズ分散推定手段は、前記差分画像の局所領域毎の画素値の分散が、前記フレーム内ノイズ分散に基づく動き判定閾値よりも小さい領域を前記動きのない領域として、前記フレーム間ノイズ分散を推定することを特徴とする請求項１に記載の画像処理装置。   The inter-frame noise variance estimating means may set the area where the variance of the pixel value for each local area of the difference image is smaller than a motion determination threshold based on the intra-frame noise variance as the non-motion area, and The image processing apparatus according to claim 1, wherein: 前記フレーム間ノイズ分散推定手段は、前記フレーム内ノイズ分散に基づく第１の閾値と、前記差分画像の局所領域毎の画素値の分散に基づく第２の閾値とに基づいて、前記動き判定閾値を決定することを特徴とする請求項２に記載の画像処理装置。   The inter-frame noise variance estimating means sets the motion determination threshold based on a first threshold based on the intra-frame noise variance and a second threshold based on a variance of pixel values for each local region of the difference image. The image processing apparatus according to claim 2, wherein the determination is made. 前記ノイズ強度決定手段によって決定されたノイズ強度に基づいて、前記フレーム画像に対するノイズ抑圧処理を実行するノイズ抑圧手段をさらに備えたことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。   4. The apparatus according to claim 1, further comprising: a noise suppression unit configured to execute a noise suppression process on the frame image based on the noise intensity determined by the noise intensity determination unit. 5. The image processing apparatus according to any one of the preceding claims. コンピュータ装置が、
映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定し、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定し、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定する画像処理方法。 Computer equipment
In a frame image included in a video, a change in pixel value is based on a pixel value belonging to a flat area, and an intra-frame noise variance that is a variance of noise in the frame image is estimated.
In a difference image representing a difference between the frame image and a neighboring frame image temporally close to the frame image, the frame image is based on a pixel value belonging to an area where there is no movement between the frame image and the neighboring frame image. Estimating the inter-frame noise variance, which is the variance of noise between the adjacent frame images,
An image processing method for determining a noise intensity in the frame image based on a smaller one of the intra-frame noise variance and the inter-frame noise variance. 映像に含まれるフレーム画像において、画素値の変化が平坦な平坦領域に属する画素値に基づいて、前記フレーム画像におけるノイズの分散であるフレーム内ノイズ分散を推定するフレーム内ノイズ分散推定ステップと、
前記フレーム画像および前記フレーム画像に時間的に近接する近接フレーム画像間の差分を表す差分画像において、前記フレーム画像および前記近接フレーム画像間で動きのない領域に属する画素値に基づいて、前記フレーム画像および前記近接フレーム画像間におけるノイズの分散であるフレーム間ノイズ分散を推定するフレーム間ノイズ分散推定ステップと、
前記フレーム内ノイズ分散および前記フレーム間ノイズ分散のうち小さい方に基づいて、前記フレーム画像におけるノイズの強度を決定するノイズ強度決定ステップと、
をコンピュータ装置に実行させる画像処理プログラム。 In a frame image included in the video, an intra-frame noise variance estimating step of estimating an intra-frame noise variance that is a variance of noise in the frame image based on a pixel value belonging to a flat region where a change in pixel value is flat,
In a difference image representing a difference between the frame image and a neighboring frame image temporally close to the frame image, the frame image is based on a pixel value belonging to an area where there is no movement between the frame image and the neighboring frame image. And an inter-frame noise variance estimating step of estimating an inter-frame noise variance that is a variance of noise between the adjacent frame images,
A noise intensity determining step of determining an intensity of noise in the frame image based on a smaller one of the intra-frame noise variance and the inter-frame noise variance;
The image processing program causing a computer to execute the device.
JP2017518760A 2015-05-18 2016-05-16 Image processing apparatus, image processing method, and image processing program Active JP6642570B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015101272 2015-05-18
JP2015101272 2015-05-18
PCT/JP2016/002395 WO2016185708A1 (en) 2015-05-18 2016-05-16 Image processing device, image processing method, and storage medium

Publications (2)

Publication Number Publication Date
JPWO2016185708A1 JPWO2016185708A1 (en) 2018-03-15
JP6642570B2 true JP6642570B2 (en) 2020-02-05

Family

ID=57319752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518760A Active JP6642570B2 (en) 2015-05-18 2016-05-16 Image processing apparatus, image processing method, and image processing program

Country Status (2)

Country Link
JP (1) JP6642570B2 (en)
WO (1) WO2016185708A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10674045B2 (en) * 2017-05-31 2020-06-02 Google Llc Mutual noise estimation for videos
CN112311962B (en) * 2019-07-29 2023-11-24 深圳市中兴微电子技术有限公司 Video denoising method and device and computer readable storage medium
CN111754432B (en) * 2020-06-22 2023-12-29 成都国科微电子有限公司 Inter-frame differential motion detection method and device
CN116567196A (en) * 2022-01-27 2023-08-08 北京字跳网络技术有限公司 Video noise detection method, device, equipment and medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4496106B2 (en) * 2005-02-28 2010-07-07 株式会社東芝 Image processing apparatus and image processing method
JP2012231389A (en) * 2011-04-27 2012-11-22 Sony Corp Image processing apparatus, image processing method, and program
JP2013258513A (en) * 2012-06-12 2013-12-26 Sony Corp Measuring device, measurement method, and program

Also Published As

Publication number Publication date
WO2016185708A1 (en) 2016-11-24
JPWO2016185708A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6169276B2 (en) Temporal noise reduction method and related apparatus for noise images
US8279930B2 (en) Image processing apparatus and method, program, and recording medium
KR102182695B1 (en) Method and Apparatus for Noise Reduction
JP6642570B2 (en) Image processing apparatus, image processing method, and image processing program
US10511846B1 (en) Real-time adaptive video denoiser with moving object detection
US9591258B2 (en) Image processing apparatus, image processing method, program and storage medium
KR102049080B1 (en) Image processing apparatus and method thereof
JP2010532628A (en) Apparatus and method for reducing artifacts in images
JP2010134700A (en) Image evaluation device and image evaluation method
JP4224882B2 (en) Data processing apparatus and data processing method
JPWO2010007777A1 (en) Image processing apparatus, image processing method, program, recording medium, and integrated circuit
JP2005150903A (en) Image processing apparatus, noise elimination method, and noise elimination program
JP6652052B2 (en) Image processing apparatus and image processing method
JP2002208006A (en) Method for reducing image noise
JP2016201037A (en) Image processing device, image processing method, and program
US11501417B2 (en) Image processing apparatus for estimating the number of specific objects in an image
KR102453392B1 (en) Method and Apparatus for Video Denoising Considering Moving Object
KR100456102B1 (en) Apparatus and Method of Motion Detection for Temporal Filtering
JP2015076676A (en) Image processing apparatus, image processing method, and program
US9508020B2 (en) Image processing system with artifact suppression mechanism and method of operation thereof
TWI386868B (en) Method of motion detection using content adaptive penalty
JP4729127B2 (en) Image evaluation device
JP5873415B2 (en) Foreground detection device, foreground detection method, and computer program
US10057596B2 (en) Motion estimation method and apparatus for periodic pattern
JP2013258513A (en) Measuring device, measurement method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6642570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150