JP2012227791A - Image processor, image processing method, program and recording medium - Google Patents
Image processor, image processing method, program and recording medium Download PDFInfo
- Publication number
- JP2012227791A JP2012227791A JP2011094456A JP2011094456A JP2012227791A JP 2012227791 A JP2012227791 A JP 2012227791A JP 2011094456 A JP2011094456 A JP 2011094456A JP 2011094456 A JP2011094456 A JP 2011094456A JP 2012227791 A JP2012227791 A JP 2012227791A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- screen
- input screen
- noise reduction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims abstract description 108
- 230000009467 reduction Effects 0.000 claims abstract description 105
- 238000005259 measurement Methods 0.000 claims description 40
- 238000011946 reduction process Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 36
- 238000005516 engineering process Methods 0.000 description 18
- 125000004122 cyclic group Chemical group 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000006185 dispersion Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、画像のノイズを低減させるために、正確にノイズを計測することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。 The present technology relates to an image processing device and method, a program, and a recording medium, and in particular, an image processing device and method, a program, and a recording that enable accurate noise measurement to reduce image noise. It relates to the medium.
動画の映像信号は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、映像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。 A video signal of a moving image is a signal in which similar image information is repeated in a frame period, and the correlation between frames is very strong. On the other hand, since the video signal has no correlation with coding distortion and noise components, when the video signal is time-averaged in units of frames, the signal components hardly change and only distortion and noise components become small. Can be reduced.
このような映像信号の特性を利用してノイズを低減する装置として、画像の動きを検出するフレーム巡回型ノイズ低減装置がある。 As a device for reducing noise by utilizing such characteristics of a video signal, there is a frame cyclic noise reduction device that detects image motion.
従来のノイズ低減装置は、動きベクトルを検出し、動きベクトルに基づいて動き成分を求め、画像の動き成分に応じて加算比率を変え、加算比率に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する構成とされている。従って、動き補償した対応画素を累積的に加重平均することとなり、残像の発生を防止しながらノイズを低減できるようになされている。 The conventional noise reduction device detects a motion vector, obtains a motion component based on the motion vector, changes the addition ratio according to the motion component of the image, and based on the addition ratio, the pixel of the current frame and the corresponding pixel of the previous frame Are weighted averaged to generate an output video signal. Accordingly, the corresponding pixels subjected to motion compensation are cumulatively weighted and averaged, so that noise can be reduced while preventing the occurrence of afterimages.
ノイズを低減する際には、例えば、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行することが重要となる。例えば、時間加算ノイズ低減処理では、もともと入力画像のノイズが少ない場合、時間加算において本来足し込むべきでない動き補償の誤りまで足し込んでしまい、出力画像がかえって劣化してしまう場合がある。また、例えば、画面内ノイズ低減処理では、本来のノイズより強いノイズを想定してノイズ低減処理を施すと、解像感が低下してしまう場合がある。 When reducing the noise, for example, it is important to correctly measure the amount of noise included in the input image and execute processing according to the amount of noise. For example, in the time addition noise reduction process, when the noise of the input image is originally low, a motion compensation error that should not be added in the time addition may be added and the output image may be deteriorated. In addition, for example, in the in-screen noise reduction processing, if noise reduction processing is performed assuming noise stronger than the original noise, the resolution may be degraded.
このように、ノイズを低減する際には、例えば、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行する必要がある。 Thus, when reducing the noise, for example, it is necessary to correctly measure the amount of noise included in the input image and execute processing according to the amount of noise.
また、検出された動きベクトルに基づいて、入力画素の動きが判定され、その判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定し、ノイズ量に基づいて、その入力画素の信頼性を表す入力信頼度が計算され、入力画素と、その入力画素に対応する、１フレーム前の出力画素との重み付け加算が、それぞれの入力信頼度と出力信頼度から求められた値を重みとして行われるようにすることも提案されている（例えば、特許文献１参照）。 Further, the motion of the input pixel is determined based on the detected motion vector, and the noise amount of the stationary portion of the input pixel is estimated based on the determination result, and the input is determined based on the noise amount. A value obtained by calculating the input reliability indicating the reliability of the pixel and calculating the weighted addition of the input pixel and the output pixel of the previous frame corresponding to the input pixel from the input reliability and the output reliability. It has also been proposed to perform the process using a weight (see, for example, Patent Document 1).
特許文献１によれば、データのＳ／Ｎが変動する場合であっても、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響することを抑止することができる。
According to
また、入力映像信号のシーンチェンジ信号に基づいてノイズレベル検出を制御すると共に、ノイズレベル検出結果に基づいて、非線形処理の強さを制御することで、２つ以上の異なる映像信号源から合成された映像信号が入力された場合でも、ノイズレベルを正確に検出できるようにする技術も提案されている（例えば、特許文献２参照）。 In addition, the noise level detection is controlled based on the scene change signal of the input video signal, and the intensity of the nonlinear processing is controlled based on the noise level detection result, thereby being synthesized from two or more different video signal sources. A technique has also been proposed that enables a noise level to be accurately detected even when a video signal is input (see, for example, Patent Document 2).
ところで、従来の技術では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測することが一般的であった。その際ノイズを正しく計測するためには、ＮＲ画面のノイズは完全に除去されていることが前提となる。 By the way, in the conventional technique, it is common to measure the amount of noise on the input screen by obtaining the variance of the difference values between the NR screen subjected to the noise reduction process and the input screen. In this case, in order to correctly measure the noise, it is assumed that the noise on the NR screen is completely removed.
しかしながら、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないという問題がある。 However, in the time-added noise reduction processing, the noise reduction effect is maximized as the processing is repeated in time series. Therefore, the noise reduction effect is still weak particularly in the first frame, and there is a problem that noise cannot be measured correctly.
本技術はこのような状況に鑑みて開示するものであり、画像のノイズを低減させるために、正確にノイズを計測することができるようにするものである。 The present technology is disclosed in view of such a situation, and enables noise to be accurately measured in order to reduce image noise.
本技術の第１の側面は、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置である。 According to a first aspect of the present technology, an image obtained by performing time addition noise reduction processing on an image of the (n−1) -th frame is an NR screen, and a motion compensation unit that performs motion compensation on the NR screen, and an input In the image data, the image of the nth frame is used as an input screen, and a predetermined value obtained from the pixel value of the input screen and the pixel value of the motion-compensated NR screen is used in the time addition noise reduction processing. By correcting based on the traveling history, a noise measurement unit that measures noise of the input screen, an addition ratio determination unit that determines an addition ratio corresponding to the measured noise, and the determined addition ratio By multiplying by a coefficient determined in this way, the pixel value of the input screen and the corresponding pixel value in the motion compensated NR screen are weighted and added to the input screen. Subjected to temporal addition noise reduction processing is an image processing apparatus and a temporal addition noise reduction unit.
前記ノイズ計測部は、前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、前記演算された差分値の分散値を算出して取得する分散取得部と、前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備えるようにすることができる。 The noise measuring unit calculates a difference value between a pixel of the input screen and a pixel of the motion compensated NR screen, and calculates and obtains a variance value of the calculated difference value An acquisition unit and a correction unit that corrects the acquired dispersion value based on a traveling history in the time-added noise reduction process can be provided.
前記ノイズ計測部は、前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外するようにすることができる。 The noise measurement unit measures the noise for each block having a predetermined number of pixels constituting the input screen, and the pixel value of the block of the input screen and the corresponding block of the motion compensated NR screen. It is possible to calculate a difference feature amount based on the pixel value and to exclude a block in which the difference feature amount is equal to or greater than a threshold from the noise measurement target.
前記ノイズ計測部により計測されたノイズに対応するフィルタ閾値に基づいて前記入力画面に面内ノイズ低減処理を施す面内ノイズ低減部をさらに備えるようにすることができる。 An in-plane noise reduction unit that performs an in-plane noise reduction process on the input screen based on a filter threshold corresponding to the noise measured by the noise measurement unit may be further provided.
本技術の一側面は、動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップを含む画像処理方法である。 In one aspect of the present technology, the motion compensation unit sets an image obtained by performing time-added noise reduction processing on the image of the (n−1) -th frame as an NR screen, performs motion compensation on the NR screen, and measures noise. A unit that uses the image of the nth frame in the input image data as an input screen, and adds a predetermined value obtained from the pixel value of the input screen and the pixel value of the motion-compensated NR screen to the time addition By correcting based on the traveling history in the noise reduction process, the noise of the input screen is measured, the addition ratio determination unit determines the addition ratio corresponding to the measured noise, the time addition noise reduction unit, By multiplying the coefficient determined according to the determined addition ratio, the pixel value of the input screen and the corresponding pixel value in the motion compensated NR screen are weighted and added. In an image processing method comprising the step of subjecting the temporal addition noise reduction processing on the input screen.
本技術の一側面は、コンピュータを、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させるプログラムである。 In one aspect of the present technology, the computer uses a motion compensation unit that performs motion compensation on the NR screen using an image obtained by performing time-added noise reduction processing on the image of the (n-1) th frame as an NR screen, In the input image data, the n-th frame image is used as an input screen, and a predetermined value obtained from the pixel value of the input screen and the pixel value of the motion compensated NR screen is converted into the time-added noise reduction process. The noise measurement unit that measures the noise of the input screen, the addition ratio determination unit that determines the addition ratio corresponding to the measured noise, and the determined addition ratio By multiplying a coefficient determined accordingly, the pixel value of the input screen and the corresponding pixel value in the motion compensated NR screen are weighted and added, A program to function as an image processing apparatus and a temporal addition noise reduction unit for performing the temporal addition noise reduction processing to the force screen.
本技術の一側面においては、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償が行われ、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズが計測され、前記計測されたノイズに対応する加算比率が決定され、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理が施される。 In one aspect of the present technology, an image obtained by performing time addition noise reduction processing on the image of the (n−1) -th frame is an NR screen, motion compensation is performed on the NR screen, and the input image An image of the nth frame in the data is used as an input screen, and a predetermined value obtained from the pixel value of the input screen and the pixel value of the motion compensated NR screen is based on the cyclic history in the time addition noise reduction processing. The noise of the input screen is measured, the addition ratio corresponding to the measured noise is determined, and the pixel of the input screen is multiplied by a coefficient determined according to the determined addition ratio. The time addition noise reduction processing is performed on the input screen by weighting and adding the value and the corresponding pixel value on the motion compensated NR screen.
本技術によれば、画像のノイズを低減させるために、正確にノイズを計測することができる。 According to the present technology, noise can be accurately measured in order to reduce image noise.
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。 Hereinafter, embodiments of the technology disclosed herein will be described with reference to the drawings.
最初に時間加算ノイズ低減処理について説明する。時間加算ノイズ低減処理は、フレーム巡回型ノイズ低減処理とも称される。 First, the time addition noise reduction process will be described. The time addition noise reduction processing is also referred to as frame cyclic noise reduction processing.
例えば、動画の映像信号（画像信号）は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、画像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。このような画像信号の特性を利用してノイズを低減する方式が、フレーム巡回型ノイズ低減処理である。フレーム巡回型ノイズ低減処理を行うノイズ低減装置は、ＩＩＲ（Infinite impulse response）フィルタとも称される。 For example, a video signal (image signal) of a moving image is a signal in which similar image information is repeated in a frame period, and the correlation between frames is very strong. On the other hand, since the video signal has no correlation with the coding distortion and noise component, when the image signal is time-averaged in units of frames, the signal component hardly changes and only the distortion and noise component become small. Can be reduced. A method of reducing noise using such characteristics of the image signal is frame cyclic noise reduction processing. A noise reduction device that performs frame cyclic noise reduction processing is also referred to as an IIR (Infinite impulse response) filter.
いま、フレーム１、フレーム２、・・・フレームｎにおけるノイズの標準偏差がσである場合を考える。
Consider a case where the standard deviation of noise in
フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の全画素を、Ｘ1、Ｘ2、・・・Ｘnで表し、画素の分散を求める関数をＶで表すと、各フレームの画面におけるノイズ量は、式（１）により表される。
All the pixels in the screen in each of
なお、式（１）におけるσの二乗が各フレームの画面におけるノイズ量を表すことになる。 Note that the square of σ in equation (1) represents the amount of noise on the screen of each frame.
また、フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の画素値の平均値は、式（２）により表される。
Further, the average value of the pixel values in the screen in each of
そうすると、対数の法則より式（３）が導出される。 Then, Equation (3) is derived from the logarithm law.
式（３）より、フレーム１、フレーム２、・・・フレームｎの画素値を加算していくことによりノイズを低減できることが分かる。
From equation (3), it can be seen that noise can be reduced by adding pixel values of
すなわち、図１に示されるように、例えば、動画像を構成するｎ枚の画面を時間方向に加算することにより、ノイズ量を１／ｎに低減した画面を生成することが可能となる。時間加算ノイズ低減処理では、このようにして画像のノイズを低減（Noise Reduction：ＮＲ）するようになされている。 That is, as shown in FIG. 1, for example, by adding n screens constituting a moving image in the time direction, it is possible to generate a screen in which the amount of noise is reduced to 1 / n. In the time-added noise reduction processing, image noise is reduced in this way (Noise Reduction: NR).
図２は、従来のＩＩＲフィルタの構成例を示すブロック図である。同図におけるＩＩＲフィルタ２０は、入力端子３１から入力された動画像のノイズを低減し、出力端子３２から出力するようになされている。
FIG. 2 is a block diagram illustrating a configuration example of a conventional IIR filter. The
図２のＩＩＲフィルタ２０は、ノイズ計測部４１、加算比率算出部４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部４３、乗算器４４、乗算器４５、加算器４６、およびバッファ４７を有する構成とされている。
The
入力端子３１から入力された第ｎ番目のフレーム（以下、適宜入力画面と称することにする）ノイズ計測部４１とＭＥ／ＭＣ部４３に入力される。
The nth frame (hereinafter referred to as an input screen as appropriate) input from the
ノイズ計測部４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部４２に供給する。例えば、ノイズ計測部４１は、後述するように、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（以下、適宜ＮＲ画面と称する）を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
The
加算比率算出部４２は、ノイズの標準偏差σに応じた加算比率αを算出する。そして、乗算器４５には係数αが供給され、乗算器４４には係数（１−α）が供給される。
The addition
バッファ４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
The
ＭＥ／ＭＣ部４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率算出部４２と乗算器４５に出力する。
The ME /
乗算器４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
The
乗算器４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
The
加算器４６は、乗算器４４と乗算器４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子３２から出力される。
The
このようにして、ＩＩＲフィルタ２０による時間加算ノイズ低減処理が施される。上述したように、ノイズ計測部４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部４２に供給し、加算比率算出部４２は、ノイズの標準偏差σに応じた加算比率αを算出するようになされている。
In this way, the time addition noise reduction processing by the
このように、時間加算ノイズ低減処理によってノイズを低減する際には、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行する必要がある。これは、例えば、もともと入力画像のノイズが少ない場合、時間加算において本来足し込むべきでない動き補償の誤りまで足し込んでしまい、出力画像がかえって劣化してしまう場合などがあるからである。 As described above, when noise is reduced by the time-added noise reduction processing, it is necessary to correctly measure the amount of noise included in the input image and execute processing according to the amount of noise. This is because, for example, when the noise of the input image is originally low, an error in motion compensation that should not be added in the time addition is added, and the output image may be deteriorated.
また、上述したように、例えば、動画像を構成するｎ枚の画面を時間方向に加算することにより、ノイズ量を１／ｎに低減した画面を生成することが可能となる。 Further, as described above, for example, by adding n screens constituting a moving image in the time direction, it is possible to generate a screen in which the amount of noise is reduced to 1 / n.
いま、動画像の各フレームの画面におけるノイズの標準変化の値が一律にσであるとした場合、各フレームの画面におけるノイズ量はσの二乗で表される。 Now, assuming that the standard change value of noise on the screen of each frame of the moving image is uniformly σ, the amount of noise on the screen of each frame is represented by the square of σ.
そうすると、図３に示されるように、第１番目のフレームの画面（入力画面［1］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［1］）のノイズ量はσの二乗となる。また、第２番目のフレームの画面（入力画面［2］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［2］）のノイズ量はσの二乗を２で割った値となる。同様に、第３番目のフレームの画面（入力画面［3］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［3］）のノイズ量はσの二乗を３で割った値となり、・・・第ｎ番目のフレームの画面（入力画面［n］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［n］）のノイズ量はσの二乗をｎで割った値となる。 Then, as shown in FIG. 3, the noise amount of the screen (NR screen [1]) on which the time addition noise reduction processing is performed on the screen of the first frame (input screen [1]) is σ Squared. Further, the amount of noise on the screen (NR screen [2]) on which the time-added noise reduction processing is performed on the screen of the second frame (input screen [2]) is a value obtained by dividing the square of σ by two. Become. Similarly, the noise amount of the screen (NR screen [3]) on which the time-added noise reduction processing is performed on the screen of the third frame (input screen [3]) is a value obtained by dividing the square of σ by 3 The noise amount of the screen (NR screen [n]) on which the time-added noise reduction processing has been applied to the screen of the nth frame (input screen [n]) is the square of σ divided by n. Value.
すなわち、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が大きくなるのである。ここで、時間加算ノイズ低減処理（フレーム巡回型ノイズ低減処理）における時系列の処理の回数ｎは巡回履歴とも称される。 That is, in the time addition noise reduction process, the noise reduction effect increases as the processes are repeated in time series. Here, the number n of time-series processes in the time addition noise reduction process (frame cyclic noise reduction process) is also referred to as a cyclic history.
このことから、式（４）が導出される。なお、式（４）では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測できるものとしている。 From this, equation (4) is derived. In Expression (4), it is assumed that the noise amount of the input screen can be measured by obtaining the variance of the difference value between the NR screen subjected to the noise reduction process and the input screen.
式（４）においては、画素の分散を求める関数をＶで表し、ｃiは入力画面の各画素を表しており、ｍiはＮＲ画面の各画素を表している。なお、式（４）における巡回履歴ｎは、入力画面を処理するまでに施された時系列の処理の回数を意味し、例えば、入力画面が第４番目のフレームである場合、ｎは３となる。 In the equation (4), a function for obtaining pixel dispersion is represented by V, ci represents each pixel of the input screen, and mi represents each pixel of the NR screen. In addition, the cyclic history n in Equation (4) means the number of time-series processes performed until the input screen is processed. For example, when the input screen is the fourth frame, n is 3. Become.
さらに、式（４）より式（５）を導出することができる。 Furthermore, equation (5) can be derived from equation (4).
式（５）より、ＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測する場合、巡回履歴ｎを特定しなければ、正確なノイズを計測することができないことが分かる。 When measuring the noise amount of the input screen by obtaining the variance of the difference value between the NR screen and the input screen from Equation (5), accurate noise cannot be measured unless the traveling history n is specified. I understand that.
そこで、本技術では、例えば、ＩＩＲフィルタのノイズ計測部におけるノイズの計測の際に巡回履歴を用いて計測値を補正するようにする。 Therefore, in the present technology, for example, the measurement value is corrected using the traveling history when noise is measured in the noise measurement unit of the IIR filter.
図４は、本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。同図に示されるノイズ低減装置１２０は、例えば、ＩＩＲフィルタとして構成される。
FIG. 4 is a block diagram illustrating a configuration example according to an embodiment of a noise reduction device to which the present technology is applied. The
図４のノイズ低減装置（ＩＩＲフィルタ）１２０は、ノイズ計測部１４１、時間加算ＮＲ部１４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部１４３、およびバッファ１４７を有する構成とされている。
The noise reduction device (IIR filter) 120 in FIG. 4 includes a
入力端子１３１から入力された時刻ｔのフレーム（入力画面）は、ノイズ計測部１４１、ＭＥ／ＭＣ部１４３、および時間加算ＮＲ部１４２に入力される。
A frame (input screen) at time t input from the
バッファ１４７には、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。 The buffer 147 holds data of an image (NR screen) obtained by performing noise reduction processing on the frame at time t-1.
ＭＥ／ＭＣ部１４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、時間加算ＮＲ部１４２と減算器１６１に出力する。
For example, the ME /
ノイズ計測部１４１は、入力画面のノイズの標準偏差σの二乗値をノイズ量として時間加算ＮＲ部１４２に供給する。ノイズ計測部１４１は、後述するように、ＮＲ画面を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
The
ノイズ計測部１４１は、減算器１６１、分散取得部１６２、および補正部１６３を有する構成とされている。
The
減算器１６１は、入力画面の各画素の値と、動き補償後のＮＲ画面において対応する各画素の値の差分を算出する。すなわち、減算器１６１は、式（４）における（ｃi−ｍi）の演算を行う。
The
分散取得部１６２は、減算器１６１から出力される差分値の分散を演算して取得する。すなわち、分散取得部１６２により、式（４）における最も左の項の演算が行われる。そして、分散取得部１６２は、演算結果を補正部１６３に出力する。
The
補正部１６３は、時間加算ＮＲ部１４２から巡回履歴ｎを取得し、分散取得部１６２から出力される演算結果の値を補正する。補正部１６３は、ｎ／（ｎ＋１）を分散取得部１６２から出力される演算結果の値に乗じることによって補正する。
The
補正部１６３の処理結果の値が、入力画面のノイズ量としてノイズ計測部１４１から出力されることになる。
The value of the processing result of the
なお、ノイズ計測部１４１が入力画面のノイズを計測する際には、所定の画素数からなるブロック毎に差分を算出し、差分値の分散の取得およびその補正を行うようになされている。
Note that when the
例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面において、同じ位置の９×９画素の矩形のブロックを抽出し、それらのブロック内の画素値の差分を算出し、差分値の分散の取得およびその補正が行われる。 For example, as shown in FIG. 5, on the NR screen after motion compensation and the input screen, a 9 × 9 pixel rectangular block at the same position is extracted, and the difference between the pixel values in these blocks is calculated. Acquisition of the variance of the value and its correction are performed.
図５に示されるようなブロックの抽出は、動き補償後のＮＲ画面と入力画面のそれぞれにおいてブロックをラスタスキャンにより移動させ、ブロックを移動させる都度、抽出される。そして、抽出されたブロックのそれぞれについて、ブロック内の画素値の差分を算出し、差分値の分散の取得およびその補正が行われる。 The block extraction as shown in FIG. 5 is extracted every time the block is moved by raster scanning on each of the motion compensated NR screen and the input screen. Then, for each of the extracted blocks, the difference between the pixel values in the block is calculated, and the dispersion of the difference value is acquired and corrected.
１画面分のブロックが抽出された後、ブロック毎のノイズ量を積算し、さらにその値が正規化されるなどして入力画面のノイズ量として出力される。 After the blocks for one screen are extracted, the noise amount for each block is integrated, and the value is normalized and output as the noise amount of the input screen.
また、ブロック毎のノイズ量を積算する際に、後述する差分特徴量を算出して閾値と比較することにより、閾値以上の差分特徴量が算出されたブロックのノイズ量を積算しないようになされている。閾値以上の差分特徴量を有するブロックでは、動き補償の誤りが生じていると考えられるからである。 In addition, when integrating the noise amount for each block, the difference feature amount described later is calculated and compared with a threshold value, so that the noise amount of the block in which the difference feature amount equal to or greater than the threshold value is not integrated. Yes. This is because it is considered that a motion compensation error has occurred in a block having a difference feature amount equal to or greater than the threshold.
時間加算ＮＲ部１４２の構成は、図２を参照して上述した場合と同様である。すなわち、時間加算ＮＲ部１４２は、ノイズ量に応じた加算比率αを算出する加算比率算出部を有している。そして、入力画面の画素に係数（１−α）が乗じられ、動き補償されたＮＲ画面の画素に係数αを乗じられて加算されるようになされている。
The configuration of the time
すなわち、時間加算ＮＲ部１４２においては、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施される。これにより、時刻ｔ＋１のフレームの各画素に時間加算ノイズ低減処理が施す際に用いられるＮＲ画面が生成されるのである。
That is, the time
次に、図６のフローチャートを参照して、図４のノイズ低減装置１２０による時間加算ノイズ低減処理の例について説明する。
Next, an example of time addition noise reduction processing by the
ステップＳ２１において、入力端子１３１から画像のデータが入力される。すなわち、ノイズを低減させるべき画像のデータが入力される。
In step S <b> 21, image data is input from the
ステップＳ２２において、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ１４７に保持されている、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
In step S22, the ME /
ステップＳ２３において、ノイズ計測部１４１は、入力画面のノイズ量（σの二乗）を計算する。これにより後述するようにノイズ量が算出される。
In step S23, the
ステップＳ２４において、時間加算ＮＲ部１４２は、ステップＳ２３の処理で算出されたノイズ量に基づいて加算比率を決定する。このとき、例えば、ノイズ量に対応付けられて記憶されている加算比率の値が読み出されることにより、加算比率の値αが決定される。なお、ノイズ量に対応する加算比率は、時間加算ＮＲ部１４２に予め記憶されているものとする。
In step S24, the time
ステップＳ２５において、ＮＲ画面が生成される。すなわち、入力画面の画素に係数（１−α）を乗じる処理を行い、動き補償されたＮＲ画面の画素に係数αを乗じる処理が行われ、対応する画素毎に加算して時刻ｔのフレームに対してノイズ低減処理が施された画像のデータが生成される。 In step S25, an NR screen is generated. That is, a process of multiplying a pixel of the input screen by a coefficient (1-α), a process of multiplying a pixel of the NR screen subjected to motion compensation by a coefficient α, and adding each corresponding pixel to the frame at time t. On the other hand, image data subjected to noise reduction processing is generated.
つまり、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施され、時刻ｔのフレームについてのＮＲ画面が生成されるのである。 That is, the pixel value of the input screen and the corresponding pixel value in the motion-compensated NR screen are weighted and added, so that the time addition noise reduction processing is performed on each pixel of the input screen, and the NR screen for the frame at time t Is generated.
なお、生成されたＮＲ画面は、出力端子１３２から出力されるとともに、バッファ１４７に保持される。
Note that the generated NR screen is output from the
このようにして時間加算ノイズ低減処理が実行される。 In this way, the time addition noise reduction process is executed.
次に、図７のフローチャートを参照して、図６のステップＳ２３のノイズ計算処理の詳細な例について説明する。 Next, a detailed example of the noise calculation process in step S23 of FIG. 6 will be described with reference to the flowchart of FIG.
ステップＳ４１において、入力画面とＮＲ画面から所定の画素数のブロックが抽出される。このとき、例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面において、同じ位置の９×９画素の矩形のブロックが抽出される。 In step S41, a block having a predetermined number of pixels is extracted from the input screen and the NR screen. At this time, for example, as shown in FIG. 5, a 9 × 9 pixel rectangular block at the same position is extracted on the NR screen after motion compensation and the input screen.
ステップＳ４２において、差分特徴量ｄが演算される。ここで、差分特徴量ｄは、ステップＳ２１の処理で抽出されたブロック内の画素の値の差分の平均値の絶対値として算出される。 In step S42, the difference feature amount d is calculated. Here, the difference feature amount d is calculated as the absolute value of the average value of the differences between the pixel values in the block extracted in the process of step S21.
ステップＳ４３において、ステップＳ４２の処理で得られた差分特徴量ｄの値が予め設定された閾値と比較される。ステップＳ４３において、差分特徴量ｄが閾値以上ではないと判定された場合、処理は、ステップＳ４４に進む。 In step S43, the value of the difference feature quantity d obtained in the process of step S42 is compared with a preset threshold value. If it is determined in step S43 that the difference feature amount d is not equal to or greater than the threshold, the process proceeds to step S44.
ステップＳ４４において、減算器１６１は、入力画面の各画素の値と、動き補償後のＮＲ画面において対応する各画素の値の差分を算出する。すなわち、減算器１６１は、式（４）における（ｃi−ｍi）の演算を行う。
In step S44, the
なお、ステップＳ４４の処理は、ステップＳ４２の処理とともにまとめて１つの処理として同時に実行されるようにしてもよい。 Note that the process of step S44 may be executed simultaneously as a single process together with the process of step S42.
ステップＳ４５において、分散取得部１６２は、ステップＳ４４の処理で得られた差分値の分散を演算して取得する。これにより、式（４）における最も左の項の演算が行われる。
In step S45, the
ステップＳ４６において、補正部１６３は、時間加算ＮＲ部１４２から巡回履歴ｎを取得し、ｎの値を特定する。
In step S46, the
ステップＳ４７において、補正部１６３は、ステップＳ４６の処理で特定された巡回履歴ｎの値に基づいて、ステップＳ４５の処理結果として分散取得部１６２から出力される値を補正する。このとき、補正部１６３は、ｎ／（ｎ＋１）を分散取得部１６２から出力される演算結果の値に乗じることによって補正する。
In step S47, the
ステップＳ４８において、ステップＳ４７の処理結果の値を、当該ブロックのノイズ量として足し込む。 In step S48, the value of the processing result in step S47 is added as the noise amount of the block.
なお、ステップＳ４３において、差分特徴量ｄが閾値以上であると判定された場合、ステップＳ４４乃至ステップＳ４８の処理はスキップされる。閾値以上の差分特徴量を有するブロックでは、動き補償の誤りが生じていると考えられるからである。つまり、差分特徴量ｄが閾値以上であるブロックは、ノイズの計測を行うにあたって無効なブロックとして無視されるようになされている。 If it is determined in step S43 that the difference feature amount d is greater than or equal to the threshold value, the processing in steps S44 to S48 is skipped. This is because it is considered that a motion compensation error has occurred in a block having a difference feature amount equal to or greater than the threshold. That is, a block whose difference feature amount d is equal to or greater than a threshold value is ignored as an invalid block when noise is measured.
ステップＳ４９において、１画面分の処理が終わったか否かが判定される。すなわち、例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面のそれぞれにおいてブロックをラスタスキャンにより移動させ、１画面分のブロックを抽出し、各ブロックについて上述した処理がなされたか否かが判定される。 In step S49, it is determined whether or not processing for one screen has been completed. That is, for example, as shown in FIG. 5, blocks are moved by raster scanning on each of the NR screen after motion compensation and the input screen, blocks for one screen are extracted, and the above processing has been performed for each block. It is determined whether or not.
ステップＳ４９において、まだ１画面分の処理が終わっていないと判定された場合、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返し実行される。 If it is determined in step S49 that the processing for one screen has not been completed, the processing returns to step S41, and the subsequent processing is repeatedly executed.
ステップＳ４９において、１画面分の処理が終わったと判定された場合、処理は、ステップＳ５０に進む。 If it is determined in step S49 that the processing for one screen has been completed, the processing proceeds to step S50.
ステップＳ５０において、これまでにステップＳ４８の処理で足し込まれたノイズ量が正規化される。すなわち、足し込まれたノイズ量が有効なブロック（差分特徴量ｄが閾値未満であるブロック）数で除されるなどして正規化される。 In step S50, the amount of noise added up to now in step S48 is normalized. That is, the added noise amount is normalized by being divided by the number of effective blocks (blocks whose difference feature amount d is less than the threshold).
ステップＳ５１において、ステップＳ４９の処理で正規化されたノイズ量が、入力画面のノイズ量として出力される。 In step S51, the noise amount normalized by the process in step S49 is output as the noise amount of the input screen.
このようにして、ノイズ計算処理が実行される。 In this way, the noise calculation process is executed.
従来の技術では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測することが一般的であった。その際ノイズを正しく計測するためには、ＮＲ画面のノイズは完全に除去されていることが前提となる。 In the prior art, it is common to measure the amount of noise on the input screen by obtaining the variance of the difference values between the NR screen subjected to noise reduction processing and the input screen. In this case, in order to correctly measure the noise, it is assumed that the noise on the NR screen is completely removed.
しかしながら、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないという問題があった。 However, in the time-added noise reduction processing, the noise reduction effect is maximized as the processing is repeated in time series. Therefore, the noise reduction effect is still weak particularly in the first frame, and there is a problem that noise cannot be measured correctly.
これに対して、本技術では、ノイズ量の値を得る際に、巡回履歴を取得して補正するようにした。従って、本技術によれば、画像のノイズを低減させるために、正確にノイズを計測することができる。 On the other hand, in the present technology, when the noise amount value is obtained, the traveling history is acquired and corrected. Therefore, according to the present technology, noise can be accurately measured in order to reduce image noise.
ところで、以上においては、時間加算ノイズ低減処理によって入力画面のノイズを低減する際に、加算比率を決定するために必要となる情報として入力画面のノイズを計測する例について説明した。しかし、本技術により計測されたノイズを、例えば、時間加算ノイズ低減処理以外の方式によって入力画面のノイズを低減する際に必要となる情報として用いるようにしてもよい。 By the way, in the above, the example which measures the noise of an input screen as information required in order to determine an addition ratio when reducing the noise of an input screen by a time addition noise reduction process was demonstrated. However, you may make it use the noise measured by this technique as information required when reducing the noise of an input screen by methods other than a time addition noise reduction process, for example.
図８は、本技術を適用したノイズ低減装置の別の実施の形態に係る構成例を示すブロック図である。同図に示されるノイズ低減装置２２０は、例えば、ＩＩＲフィルタとして構成されるが、ノイズ低減装置２２０は、時間加算ノイズ低減処理のみではなく、画面内ノイズ低減処理によって入力画面のノイズを低減するようになされている。
FIG. 8 is a block diagram illustrating a configuration example according to another embodiment of the noise reduction device to which the present technology is applied. The
図８のノイズ低減装置（ＩＩＲフィルタ）２２０は、ノイズ計測部２４１、時間加算ＮＲ部２４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部２４３、画面内ＮＲ部２４４、およびバッファ２４７を有する構成とされている。
The noise reduction device (IIR filter) 220 of FIG. 8 includes a
ノイズ低減装置２２０の場合、入力端子２３１から入力された時刻ｔのフレーム（入力画面）は、ノイズ計測部２４１、ＭＥ／ＭＣ部２４３、および画面内ＮＲ部２４４に入力される。
In the case of the
画面内ＮＲ部２４４は、例えば、εフィルタにより入力画面のノイズを低減するようになされている。εフィルタは、非線形平滑化フィルタ、すなわち、画素値の急峻な変化を損なうことなく当該画素値を平滑化する際に有効なディジタルフィルタであり、画像のエッジを保存したまま平滑化し、その結果得られた平滑化画像を画面内ノイズ低減処理結果の画像として出力する。例えば、フィルタ窓の中心の値であるフィルタ中央値を基準レベルとし、基準レベルから±εの範囲外の値の画素の値を置き換えることで平滑化するとともに、フィルタ窓の位置をずらしながらこのような処理が繰り返され、画像が平滑化されていく。
The in-
従って、画面内ＮＲ部２４４による画面内ノイズ低減処理では、時間加算ＮＲ部２４２による時間加算ノイズ低減処理の場合と異なり、１フレーム（または１時刻）前の入力画面のノイズを低減した画像（ＮＲ画面）を用いずに、現在の入力画面のノイズが低減される。
Accordingly, in the in-screen noise reduction processing by the in-
εフィルタのフィルタ閾値εは、通常、処理対象の画像のノイズ量に基づいて計算される。このフィルタ閾値εを計算する際に、ノイズ計測部２４１により計測された入力画面のノイズ量が用いられるようになされている。
The filter threshold ε of the ε filter is usually calculated based on the amount of noise in the processing target image. When calculating the filter threshold ε, the noise amount of the input screen measured by the
図８におけるノイズ計測部２４１、時間加算ＮＲ部２４２、ＭＥ／ＭＣ部２４３、およびバッファ２４７は、それぞれ図４におけるノイズ計測部１４１、時間加算ＮＲ部１４２、ＭＥ／ＭＣ部１４３、およびバッファ１４７と同様の機能ブロックなので詳細な説明は省略する。ただし、時間加算ＮＲ部２４２は、時間加算ＮＲ部１４２の場合と異なり、画面内ＮＲ部２４４から出力された画像（画面内ＮＲ後の入力画面）の画素値と、ＮＲ画面の画素値とを用いた重み付け加算を行うようになされている。
The
このように、ノイズ低減装置２２０の場合、時間加算ノイズ低減処理に先立って、画面内ノイズ低減処理が施されるようになされている。そして、時間加算ノイズ低減処理および画面内ノイズ低減処理の双方において、ノイズ計測部２４１により計測された入力画面のノイズ量が用いられるようになされている。
Thus, in the case of the
次に、図９のフローチャートを参照して、図８のノイズ低減装置２２０による時間加算および画面内ノイズ低減処理の例について説明する。
Next, an example of time addition and in-screen noise reduction processing by the
ステップＳ１０１において、入力端子２３１から画像のデータが入力される。すなわち、ノイズを低減させるべき画像のデータが入力される。
In step S <b> 101, image data is input from the
ステップＳ１０２において、ＭＥ／ＭＣ部２４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ２４７に保持されている、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
In step S102, the ME /
ステップＳ１０３において、ノイズ計測部２４１は、入力画面のノイズ量（σの二乗）を計算する。これによりノイズ量が算出される。なお、図９のステップＳ１０３におけるノイズ計算処理は、図７を参照して上述した場合と同様の処理なので、詳細な説明は省略する。
In step S103, the
ステップＳ１０４において、画面内ＮＲ部２４４は、ステップＳ１０３の処理で計算されたノイズ量に基づいて、εフィルタのフィルタ閾値εを算出し、フィルタ閾値を決定する。
In step S104, the in-
ステップＳ１０５において、画面内ＮＲ部２４４は、ステップＳ１０４の処理で算出されたフィルタ閾値に基づいて入力画面を平滑化する。このとき、例えば、フィルタ窓の中心の値であるフィルタ中央値を基準レベルとし、基準レベルから±εの範囲外の値の画素の値を置き換えることで平滑化するとともに、フィルタ窓の位置をずらしながらこのような処理が繰り返され、入力画面が平滑化される。
In step S105, the in-
ステップＳ１０６において、時間加算ＮＲ部２４２は、ステップＳ１０３の処理で算出されたノイズ量に基づいて加算比率を決定する。このとき、例えば、ノイズ量に対応付けられて記憶されている加算比率の値が読み出されることにより、加算比率の値αが決定される。なお、ノイズ量に対応する加算比率は、時間加算ＮＲ部２４２に予め記憶されているものとする。
In step S106, the time
ステップＳ１０７において、ＮＲ画面が生成される。すなわち、画面内ＮＲ後の入力画面の画素に係数（１−α）を乗じる処理を行い、動き補償されたＮＲ画面の画素に係数αを乗じる処理が行われ、対応する画素毎に加算して時刻ｔのフレームに対してノイズ低減処理が施された画像のデータが生成される。 In step S107, an NR screen is generated. That is, a process of multiplying the pixel of the input screen after the NR in the screen by the coefficient (1-α) and a process of multiplying the pixel of the motion compensated NR screen by the coefficient α are performed and added for each corresponding pixel. Image data in which noise reduction processing is performed on the frame at time t is generated.
つまり、画面内ＮＲ後の入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施され、時刻ｔのフレームについてのＮＲ画面が生成されるのである。 That is, by adding the pixel value of the input screen after the NR in the screen and the corresponding pixel value in the motion-compensated NR screen, time addition noise reduction processing is performed on each pixel of the input screen, and the time t An NR screen for the frame is generated.
なお、生成されたＮＲ画面は、出力端子２３２から出力されるとともに、バッファ２４７に保持される。
The generated NR screen is output from the
このようにして時間加算および画面内ノイズ低減処理が実行される。このようにすることで、より効果的に入力画面のノイズを低減させることができる。 In this way, time addition and in-screen noise reduction processing are executed. By doing in this way, the noise of an input screen can be reduced more effectively.
図１０は、本技術の効果を説明する図である。同図は、縦軸が計測されたノイズの標準偏差σの値とされ、横軸が巡回履歴の値とされ、巡回履歴の変化に伴うノイズの計測結果の変化がグラフとして示されている。なお、図１０における入力画面のノイズの標準編差は、どのフレーム（巡回履歴）においても一律にσ＝１０である。従って、正しくノイズが計測されている場合、計測結果は巡回履歴に関わらず常にσ＝１０である。 FIG. 10 is a diagram for explaining the effect of the present technology. In the figure, the vertical axis is the value of the measured noise standard deviation σ, the horizontal axis is the value of the traveling history, and the change of the noise measurement result accompanying the change of the traveling history is shown as a graph. Note that the standard variation of noise on the input screen in FIG. 10 is uniformly σ = 10 in any frame (cyclic history). Therefore, when noise is correctly measured, the measurement result is always σ = 10 regardless of the traveling history.
図１０の線３０１は、従来の方式により計測された計測結果を表している。なお、従来の方式は、例えば、図４のノイズ計測部１４１において補正部１６３が除去された構成とされ、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を算出し、その分散値をそのままノイズとして計測するものである。
A
図１０の線３０２は、本技術を用いた方式により計測された計測結果を表している。本技術を用いた方式では、例えば、図４のノイズ計測部１４１により、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を算出し、その分散値をさらに巡回履歴に基づいて補正した値をノイズとして計測する。
A
図１０に示されるように、線３０１の場合、巡回履歴が略１乃至１０程度の部分において、計測結果σの値が１０から大きく乖離している。これに対して、線３０２の場合、巡回履歴の値に関わらず、計測結果σの値がほぼ一様に１０とされている。
As shown in FIG. 10, in the case of the
図１０より、従来の方式では、巡回履歴が浅い場合、ノイズを正しく計測出来ないことが分かる。時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないからである。そして、本技術により従来の方式の問題点が改善されたことが分かる。 From FIG. 10, it can be seen that with the conventional method, noise cannot be measured correctly when the traveling history is shallow. This is because in the time-added noise reduction processing, the noise reduction effect is maximized as the processing is repeated in time series, so that the noise reduction effect is still weak particularly in the first frame, and noise cannot be measured correctly. And it turns out that the problem of the conventional system was improved by this technique.
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
The series of processes described above can be executed by hardware, or can be executed by software. When the above-described series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose
図１１において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
In FIG. 11, a CPU (Central Processing Unit) 701 executes various processes according to a program stored in a ROM (Read Only Memory) 702 or a program loaded from a
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
The
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
The input /
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
A drive 710 is also connected to the input /
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
When the above-described series of processing is executed by software, a program constituting the software is installed from a network such as the Internet or a recording medium such as a
なお、この記録媒体は、図１１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
The recording medium shown in FIG. 11 is a magnetic disk (including a floppy disk (registered trademark)) on which a program is recorded, which is distributed to distribute the program to the user separately from the apparatus main body. Removable media consisting of optical disks (including CD-ROM (compact disk-read only memory), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk) (registered trademark)), or semiconductor memory It includes not only those configured by 711 but also those configured by a
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Note that the series of processes described above in this specification includes processes that are performed in parallel or individually even if they are not necessarily processed in time series, as well as processes that are performed in time series in the order described. Is also included.
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
なお、本技術は以下のような構成も取ることができる。 In addition, this technique can also take the following structures.
（１）第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部と
を備える画像処理装置。
（２）前記ノイズ計測部は、
前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、
前記演算された差分値の分散値を算出して取得する分散取得部と、
前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備える
（１）に記載の画像処理装置。
（３）前記ノイズ計測部は、
前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、
前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、
前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外する
（１）または（２）に記載の画像処理装置。
（４）前記ノイズ計測部により計測されたノイズに対応するフィルタ閾値に基づいて前記入力画面に面内ノイズ低減処理を施す面内ノイズ低減部をさらに備える
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、
加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、
時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。
（６）コンピュータを、
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させる
プログラム。
（７）請求項６に記載のプログラムが記録されている記録媒体。
(1) A motion compensation unit that performs a motion compensation on the NR screen using an image obtained by performing time addition noise reduction processing on the image of the (n-1) th frame,
In the input image data, the n-th frame image is used as an input screen, and a predetermined value obtained from the pixel value of the input screen and the pixel value of the motion compensated NR screen is converted into the time-added noise reduction process. A noise measuring unit that measures the noise of the input screen by correcting based on the traveling history in
An addition ratio determining unit for determining an addition ratio corresponding to the measured noise;
By multiplying the pixel value of the input screen and the corresponding pixel value in the motion-compensated NR screen by multiplying by a coefficient determined according to the determined addition ratio, the time addition is performed on the input screen. An image processing apparatus comprising: a time addition noise reduction unit that performs noise reduction processing.
(2) The noise measurement unit
A difference calculation unit for calculating a difference value between the pixel of the input screen and the pixel of the motion compensated NR screen;
A variance acquisition unit that calculates and acquires a variance value of the calculated difference value;
The image processing apparatus according to (1), further comprising: a correction unit that corrects the acquired variance value based on a traveling history in the time addition noise reduction processing.
(3) The noise measurement unit
While measuring the noise for each block consisting of a predetermined number of pixels constituting the input screen,
Calculating a difference feature amount based on the pixel value of the block of the input screen and the pixel value of the corresponding block in the motion-compensated NR screen;
The image processing apparatus according to (1) or (2), wherein a block in which the difference feature amount is equal to or greater than a threshold value is excluded from the noise measurement target.
(4) The apparatus further includes an in-plane noise reduction unit that performs an in-plane noise reduction process on the input screen based on a filter threshold corresponding to the noise measured by the noise measurement unit. The image processing apparatus described.
(5) The motion compensation unit sets the image obtained by performing the time addition noise reduction process on the image of the (n−1) -th frame as an NR screen, performs motion compensation on the NR screen,
The noise measurement unit uses the nth frame image in the input image data as an input screen, and obtains a predetermined value obtained from a pixel value of the input screen and a pixel value of the motion-compensated NR screen, By correcting based on the traveling history in the time addition noise reduction process, the noise of the input screen is measured,
An addition ratio determining unit determines an addition ratio corresponding to the measured noise;
The time addition noise reduction unit weights and adds the pixel value of the input screen and the corresponding pixel value in the motion compensated NR screen by multiplying by a coefficient determined according to the determined addition ratio, An image processing method comprising: performing the time addition noise reduction processing on the input screen.
(6)
A motion compensator for performing motion compensation on the NR screen, with an image obtained by performing the time-added noise reduction processing on the image of the (n-1) th frame as an NR screen;
In the input image data, the n-th frame image is used as an input screen, and a predetermined value obtained from the pixel value of the input screen and the pixel value of the motion compensated NR screen is converted into the time-added noise reduction process. A noise measuring unit that measures the noise of the input screen by correcting based on the traveling history in
An addition ratio determining unit for determining an addition ratio corresponding to the measured noise;
By multiplying the pixel value of the input screen and the corresponding pixel value in the motion-compensated NR screen by multiplying by a coefficient determined according to the determined addition ratio, the time addition is performed on the input screen. A program that functions as an image processing apparatus including a time addition noise reduction unit that performs noise reduction processing.
(7) A recording medium on which the program according to
１２０ ノイズ低減装置， １３１ 入力端子， １３２ 出力端子， １４１ ノイズ計測部， １４２ 時間加算ＮＲ部， １４３ ＭＥ／ＭＣ部， １４７ バッファ， １６１ 減算器， １６２ 分散取得部， １６３ 補正部， ２２０ ノイズ低減装置， ２３１ 入力端子， ２３２ 出力端子， ２４１ ノイズ付加部， ２４２ 時間加算ＮＲ部， ２４３ ＭＥ／ＭＣ部， ２４４ 画面内ＮＲ部， ２４７ バッファ 120 noise reduction device, 131 input terminal, 132 output terminal, 141 noise measurement unit, 142 time addition NR unit, 143 ME / MC unit, 147 buffer, 161 subtractor, 162 dispersion acquisition unit, 163 correction unit, 220 noise reduction device , 231 input terminal, 232 output terminal, 241 noise addition unit, 242 time addition NR unit, 243 ME / MC unit, 244 in-screen NR unit, 247 buffer
Claims (7)
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部と
を備える画像処理装置。 A motion compensator for performing motion compensation on the NR screen, with an image obtained by performing the time-added noise reduction processing on the image of the (n-1) th frame as an NR screen;
In the input image data, the n-th frame image is used as an input screen, and a predetermined value obtained from the pixel value of the input screen and the pixel value of the motion compensated NR screen is converted into the time-added noise reduction process. A noise measuring unit that measures the noise of the input screen by correcting based on the traveling history in
An addition ratio determining unit for determining an addition ratio corresponding to the measured noise;
By multiplying the pixel value of the input screen and the corresponding pixel value in the motion-compensated NR screen by multiplying by a coefficient determined according to the determined addition ratio, the time addition is performed on the input screen. An image processing apparatus comprising: a time addition noise reduction unit that performs noise reduction processing.
前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、
前記演算された差分値の分散値を算出して取得する分散取得部と、
前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備える
請求項１に記載の画像処理装置。 The noise measuring unit is
A difference calculation unit for calculating a difference value between the pixel of the input screen and the pixel of the motion compensated NR screen;
A variance acquisition unit that calculates and acquires a variance value of the calculated difference value;
The image processing apparatus according to claim 1, further comprising: a correction unit that corrects the acquired variance value based on a traveling history in the time addition noise reduction processing.
前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、
前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、
前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外する
請求項１に記載の画像処理装置。 The noise measuring unit is
While measuring the noise for each block consisting of a predetermined number of pixels constituting the input screen,
Calculating a difference feature amount based on the pixel value of the block of the input screen and the pixel value of the corresponding block in the motion-compensated NR screen;
The image processing apparatus according to claim 1, wherein a block whose difference feature amount is equal to or greater than a threshold value is excluded from the noise measurement target.
請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising: an in-plane noise reduction unit that performs an in-plane noise reduction process on the input screen based on a filter threshold corresponding to the noise measured by the noise measurement unit.
ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、
加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、
時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。 The motion compensation unit sets an image obtained by performing the time addition noise reduction processing on the image of the (n−1) -th frame as an NR screen, performs motion compensation on the NR screen,
The noise measurement unit uses the nth frame image in the input image data as an input screen, and obtains a predetermined value obtained from a pixel value of the input screen and a pixel value of the motion-compensated NR screen, By correcting based on the traveling history in the time addition noise reduction process, the noise of the input screen is measured,
An addition ratio determining unit determines an addition ratio corresponding to the measured noise;
The time addition noise reduction unit weights and adds the pixel value of the input screen and the corresponding pixel value in the motion compensated NR screen by multiplying by a coefficient determined according to the determined addition ratio, An image processing method comprising: performing the time addition noise reduction processing on the input screen.
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させる
プログラム。 Computer
A motion compensator for performing motion compensation on the NR screen, with an image obtained by performing the time-added noise reduction processing on the image of the (n-1) th frame as an NR screen;
In the input image data, the n-th frame image is used as an input screen, and a predetermined value obtained from the pixel value of the input screen and the pixel value of the motion compensated NR screen is converted into the time-added noise reduction process. A noise measuring unit that measures the noise of the input screen by correcting based on the traveling history in
An addition ratio determining unit for determining an addition ratio corresponding to the measured noise;
By multiplying the pixel value of the input screen and the corresponding pixel value in the motion-compensated NR screen by multiplying by a coefficient determined according to the determined addition ratio, the time addition is performed on the input screen. A program that functions as an image processing apparatus including a time addition noise reduction unit that performs noise reduction processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011094456A JP2012227791A (en) | 2011-04-20 | 2011-04-20 | Image processor, image processing method, program and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011094456A JP2012227791A (en) | 2011-04-20 | 2011-04-20 | Image processor, image processing method, program and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012227791A true JP2012227791A (en) | 2012-11-15 |
Family
ID=47277484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011094456A Withdrawn JP2012227791A (en) | 2011-04-20 | 2011-04-20 | Image processor, image processing method, program and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012227791A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015050795A1 (en) * | 2013-10-04 | 2015-04-09 | Reald Inc. | Image mastering systems and methods |
| JP2017502551A (en) * | 2013-11-01 | 2017-01-19 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | Temporal noise reduction method and related apparatus for noise images |
| JP2019024198A (en) * | 2017-07-21 | 2019-02-14 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | Suppression of background clutter in video imagery |
| WO2023140027A1 (en) * | 2022-01-24 | 2023-07-27 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
-
2011
- 2011-04-20 JP JP2011094456A patent/JP2012227791A/en not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015050795A1 (en) * | 2013-10-04 | 2015-04-09 | Reald Inc. | Image mastering systems and methods |
| US9558421B2 (en) | 2013-10-04 | 2017-01-31 | Reald Inc. | Image mastering systems and methods |
| JP2017502551A (en) * | 2013-11-01 | 2017-01-19 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | Temporal noise reduction method and related apparatus for noise images |
| US9721330B2 (en) | 2013-11-01 | 2017-08-01 | Huawei Technologies Co., Ltd. | Temporal noise reduction method for noisy image and related apparatus |
| JP2019024198A (en) * | 2017-07-21 | 2019-02-14 | ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ | Suppression of background clutter in video imagery |
| JP7207875B2 (en) | 2017-07-21 | 2023-01-18 | ザ・ボーイング・カンパニー | Suppress background clutter in video images |
| WO2023140027A1 (en) * | 2022-01-24 | 2023-07-27 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4344964B2 (en) | Image processing apparatus and image processing method | |
| US9854168B2 (en) | One-pass video stabilization | |
| US8204124B2 (en) | Image processing apparatus, method thereof, and program | |
| US9454805B2 (en) | Method and apparatus for reducing noise of image | |
| US20050025244A1 (en) | Apparatus for estimating motion considering correlation between blocks and method thereof | |
| KR101756842B1 (en) | Method and apparatus for image frame interpolation | |
| US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
| US20110235942A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2013059016A (en) | Image processing device, method, and program | |
| JP2010147986A (en) | Image processing apparatus and image processing method, and program | |
| US20120093231A1 (en) | Image processing apparatus and image processing method | |
| JP2003163894A (en) | Apparatus and method of converting frame and/or field rate using adaptive motion compensation | |
| US9036695B2 (en) | Motion-compensated temporal filtering based on variable filter parameters | |
| KR20070063304A (en) | Motion estimator and motion estimating method | |
| US8750635B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2012227791A (en) | Image processor, image processing method, program and recording medium | |
| US8824782B2 (en) | Addition ratio learning apparatus and method, image processing apparatus and method, program, and recording medium | |
| EP2136548B1 (en) | Image processing apparatus, image processing method, and program | |
| JP2013255132A (en) | Image processor, image processing method and program | |
| KR20080066486A (en) | Apparatus and method for estimating motion vector | |
| JP5197374B2 (en) | Motion estimation | |
| CN106611405B (en) | Image interpolation method and device | |
| US20230316463A1 (en) | Filter for temporal noise reduction | |
| JP2005229166A (en) | Apparatus and method for measuring noise amount in video signal | |
| CN110989856A (en) | Coordinate prediction method, device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |