JP5060643B1 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5060643B1
JP5060643B1 JP2011189170A JP2011189170A JP5060643B1 JP 5060643 B1 JP5060643 B1 JP 5060643B1 JP 2011189170 A JP2011189170 A JP 2011189170A JP 2011189170 A JP2011189170 A JP 2011189170A JP 5060643 B1 JP5060643 B1 JP 5060643B1
Authority
JP
Japan
Prior art keywords
pixel
image signal
target pixel
image processing
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011189170A
Other languages
Japanese (ja)
Other versions
JP2013051587A (en
Inventor
秀吾 小西
利幸 浪岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011189170A priority Critical patent/JP5060643B1/en
Priority to CN201210068941XA priority patent/CN102970462A/en
Application granted granted Critical
Publication of JP5060643B1 publication Critical patent/JP5060643B1/en
Publication of JP2013051587A publication Critical patent/JP2013051587A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】画像信号のノイズを低減することができる画像処理装置を実現する。
【解決手段】実施形態によれば、画像処理装置は、対象画素に対する複数の周辺画素それぞれの類似度を算出し、算出された類似度それぞれに対応する重み係数を用いて対象画素の値と複数の周辺画素の値との加重平均を算出し、加重平均に基づいて対象画素の値を修正する。類似度算出手段は、対象画素を含む画素ブロックの画素ベクトルと複数の基底ベクトルそれぞれとの複数の第1の内積を示す第3のベクトル、第1の周辺画素を含む第2の画素ブロックの画素ベクトルと基底ベクトルそれぞれとの複数の第2の内積とを算出し、複数の第1の内積を示す第3のベクトルと複数の第2の内積を示す第4のベクトルとの間の差の大きさに基づいて、対象画素と第1の周辺画素との類似度を算出する。
【選択図】図1
An image processing apparatus capable of reducing noise in an image signal is realized.
According to an embodiment, an image processing apparatus calculates a degree of similarity of each of a plurality of surrounding pixels with respect to a target pixel, and uses a weighting factor corresponding to each of the calculated degrees of similarity to determine the value of the target pixel and the plurality of values. A weighted average with the values of the surrounding pixels is calculated, and the value of the target pixel is corrected based on the weighted average. The similarity calculation means includes a third vector indicating a plurality of first inner products of the pixel vector of the pixel block including the target pixel and each of the plurality of base vectors, and a pixel of the second pixel block including the first peripheral pixel A plurality of second inner products of the vector and each of the basis vectors are calculated, and a difference between the third vector indicating the plurality of first inner products and the fourth vector indicating the plurality of second inner products is calculated. Based on this, the similarity between the target pixel and the first peripheral pixel is calculated.
[Selection] Figure 1

Description

本発明の実施形態は、画像信号を処理するための画像処理装置および画像処理方法に関する。   Embodiments described herein relate generally to an image processing apparatus and an image processing method for processing an image signal.

近年、テレビジョン(TV)、セットトップボックス、ビデオレコーダといった様々な画像処理装置が開発されている。これら画像処理装置の多くは、映像コンテンツの高画質化を実現するため高画質化機能を有している。   In recent years, various image processing apparatuses such as a television (TV), a set top box, and a video recorder have been developed. Many of these image processing apparatuses have a high image quality function in order to realize high image quality of video content.

高画質化機能の一つとして、ノイズ除去機能がある。ノイズ除去機能は画像信号内のノイズを低減する機能である。最近では、対象画素の近傍の幾つかの周辺画素の値を用いて対象画素の値を修正するというノイズ除去技術も開発され始めている。   One of the image quality enhancement functions is a noise removal function. The noise removal function is a function for reducing noise in the image signal. Recently, a noise removal technique in which the value of the target pixel is corrected using the values of some peripheral pixels in the vicinity of the target pixel has been developed.

特開2010−178302号公報JP 2010-178302 A

しかし、アナログ放送信号、アナログビデオ信号のような画像信号は比較的多くのノイズを含む場合がある。もし周辺画素自体が比較的多くのノイズ成分を含むならば、対象画素のノイズを低減できなくなる可能性がある。   However, image signals such as analog broadcast signals and analog video signals may contain a relatively large amount of noise. If the surrounding pixels themselves contain a relatively large amount of noise components, there is a possibility that the noise of the target pixel cannot be reduced.

本発明は、画像信号のノイズを低減することができる画像処理装置および画像処理方法を提供することを目的とする。   An object of the present invention is to provide an image processing apparatus and an image processing method capable of reducing noise in an image signal.

実施形態によれば、画像処理装置は、画像信号に対するノイズリダクション処理を実行するように構成されている。前記画像処理装置は、類似度算出手段と修正手段とを具備する。前記類似度算出手段は、前記画像信号内の対象画素に対する前記対象画素の近傍の複数の周辺画素それぞれの類似度を算出する。前記修正手段は、前記算出された類似度それぞれに対応する重み係数を用いて前記対象画素の値と前記複数の周辺画素の値との加重平均を算出し、前記加重平均に基づいて前記対象画素の値を修正する。前記類似度算出手段は、前記対象画素を含む第1の画素ブロック内の画素それぞれの値を示す第1の画素ベクトルと複数の基底ベクトルそれぞれとの複数の第1の内積を算出し、前記複数の周辺画素内の第1の周辺画素を含む第2の画素ブロック内の画素それぞれの値を示す第2の画素ベクトルと前記複数の基底ベクトルそれぞれとの複数の第2の内積を算出し、前記複数の第1の内積を示す第3のベクトルと前記複数の第2の内積を示す第4のベクトルとの間の差の大きさに基づいて、前記対象画素に対する前記第1の周辺画素の類似度を算出するように構成されている。   According to the embodiment, the image processing apparatus is configured to perform noise reduction processing on an image signal. The image processing apparatus includes similarity calculation means and correction means. The similarity calculation means calculates the similarity of each of a plurality of peripheral pixels in the vicinity of the target pixel with respect to the target pixel in the image signal. The correcting means calculates a weighted average of the value of the target pixel and the values of the plurality of surrounding pixels using a weighting factor corresponding to each of the calculated similarities, and based on the weighted average, the target pixel Correct the value of. The similarity calculating means calculates a plurality of first inner products of a first pixel vector indicating a value of each pixel in the first pixel block including the target pixel and a plurality of base vectors, and Calculating a plurality of second inner products of a second pixel vector indicating a value of each of the pixels in the second pixel block including the first peripheral pixel in the peripheral pixels of the plurality of base vectors, and Similarity of the first peripheral pixel to the target pixel based on a magnitude of a difference between a third vector indicating a plurality of first inner products and a fourth vector indicating the plurality of second inner products It is configured to calculate the degree.

実施形態に係る画像処理装置の構成を示すブロック図。1 is a block diagram showing a configuration of an image processing apparatus according to an embodiment. 同実施形態の画像処理装置内のノイズリダクション処理部によって実行される類似度算出処理の概要を示す図。FIG. 3 is a diagram showing an overview of similarity calculation processing executed by a noise reduction processing unit in the image processing apparatus of the embodiment. 図2の類似度算出処理の手順を示す図。The figure which shows the procedure of the similarity calculation process of FIG. 同実施形態の画像処理装置内に設けられる類似度算出部の構成を示すブロック図。2 is an exemplary block diagram illustrating a configuration of a similarity calculation unit provided in the image processing apparatus according to the embodiment. 同実施形態の画像処理装置において用いられる複数の基底パターンを示す図。The figure which shows the several base pattern used in the image processing apparatus of the embodiment. 図5の複数の基底パターンを用いて実行されるベクトル変換処理を示す図。The figure which shows the vector conversion process performed using the several base pattern of FIG. 同実施形態の画像処理装置によって表示されるモード設定画面を示す図。FIG. 4 is a diagram showing a mode setting screen displayed by the image processing apparatus of the embodiment. 同実施形態の画像処理装置によって実行されるノイズリダクション処理の手順を示すフローチャート。6 is an exemplary flowchart illustrating a procedure of noise reduction processing which is executed by the image processing apparatus according to the embodiment.

以下、実施の形態について図面を参照して説明する。
まず、図1を参照して、一実施形態に係る画像処理装置の構成について説明する。この画像処理装置は、例えば、テレビジョン(TV)1として実現される。このTV1は、テレビジョン放送信号を受信し、この受信されたテレビジョン放送信号内の画像信号(放送番組の映像信号)に対応する画像をディスプレイに表示する。また、TV1は、テレビジョン放送信号のみならず、外部映像機器から出力される画像信号に対応する画像をディスプレイに表示することもできる。
Hereinafter, embodiments will be described with reference to the drawings.
First, the configuration of an image processing apparatus according to an embodiment will be described with reference to FIG. This image processing apparatus is realized as a television (TV) 1, for example. The TV 1 receives a television broadcast signal and displays an image corresponding to an image signal (video signal of a broadcast program) in the received television broadcast signal on a display. The TV 1 can display not only a television broadcast signal but also an image corresponding to an image signal output from an external video device on a display.

TV1は、図1に示されているように、チューナ2、入力信号セレクタデ4、コントローラ6、ノイズリダクション処理部8、出力信号セレクタ10、表示パネル12、リモコン信号受信部、等を備えている。   As shown in FIG. 1, the TV 1 includes a tuner 2, an input signal selector 4, a controller 6, a noise reduction processing unit 8, an output signal selector 10, a display panel 12, a remote control signal receiving unit, and the like.

テレビジョン放送信号は、アンテナ100、入力端子101を介してチューナ2に供給される。このチューナ2は、テレビジョン放送信号によって放送される映像コンテンツデータ(放送番組データ)を受信する受信部である。より詳しくは、チューナ2は、テレビジョン放送信号を受信し、受信したテレビジョン放送信号から画像信号(映像信号)を生成する。テレビジョン放送信号はたとえばアナログ放送信号である。チューナ2は、コントローラ6によって指定されるチャンネルのテレビジョン放送信号を受信し、その受信した放送信号を復調する。チューナ2から出力される画像信号(映像信号)はデジタル信号であってもよい。チューナ2から出力される映像信号は入力信号セレクタ4に供給される。   The television broadcast signal is supplied to the tuner 2 via the antenna 100 and the input terminal 101. The tuner 2 is a receiving unit that receives video content data (broadcast program data) broadcast by a television broadcast signal. More specifically, the tuner 2 receives a television broadcast signal and generates an image signal (video signal) from the received television broadcast signal. The television broadcast signal is, for example, an analog broadcast signal. The tuner 2 receives a television broadcast signal of a channel designated by the controller 6 and demodulates the received broadcast signal. The image signal (video signal) output from the tuner 2 may be a digital signal. The video signal output from the tuner 2 is supplied to the input signal selector 4.

入力端子102および103の各々は外部映像機器からの画像信号(映像信号)を入力するための入力端子である。入力端子102および103にそれぞれ入力される画像信号も入力信号セレクタ4に供給される。   Each of the input terminals 102 and 103 is an input terminal for inputting an image signal (video signal) from an external video device. Image signals respectively input to the input terminals 102 and 103 are also supplied to the input signal selector 4.

入力信号セレクタ4は、コントローラ6の制御の下、3種類の入力画像信号から1つの画像信号を選択し、そして選択した画像信号をノイズリダクション処理部8に供給する。このノイズリダクション処理部8は、画像信号に対して各種画像処理を施す映像処理部の一部として実現されている。ノイズリダクション処理は、画像信号のノイズを低減する処理である。ノイズリダクション処理では、画像信号内の各対象画素の値が必要に応じて修正される。この場合、対象画素の値とこの対象画素の近傍の幾つかの周辺画素の値との加重平均が算出され、この加重平均を用いて、当該対象画素の値が修正される。ある周辺画素に対応する重み付け値は、対象画素に対するその周辺画素の類似度に基づいて決定される。対象画素に対する類似度が高い周辺画素ほど大きな重み付け値が適用され、対象画素に対する類似度が低い周辺画素ほど小さな重み付け値が適用される。これにより、画像信号のテクスチャに合わせて適応的に各対象画素に対するノイズリダクション処理を行うことができる。   The input signal selector 4 selects one image signal from the three types of input image signals under the control of the controller 6 and supplies the selected image signal to the noise reduction processing unit 8. The noise reduction processing unit 8 is realized as part of a video processing unit that performs various types of image processing on an image signal. The noise reduction process is a process for reducing the noise of the image signal. In the noise reduction process, the value of each target pixel in the image signal is corrected as necessary. In this case, a weighted average between the value of the target pixel and the values of several neighboring pixels in the vicinity of the target pixel is calculated, and the value of the target pixel is corrected using the weighted average. A weighting value corresponding to a certain peripheral pixel is determined based on the similarity of the peripheral pixel to the target pixel. A larger weighting value is applied to a peripheral pixel having a higher similarity to the target pixel, and a smaller weighting value is applied to a peripheral pixel having a lower similarity to the target pixel. Thereby, it is possible to adaptively perform noise reduction processing on each target pixel in accordance with the texture of the image signal.

出力信号セレクタ10は、コントローラ6の制御の下、ノイズリダクション処理が施された画像信号およびノイズリダクション処理が施されない画像信号のいずれか一方の画像信号を選択する。選択された画像信号は必要に応じて他の各種画像処理が施された後に、表示パネル12に供給される。表示パネル12は画像信号に対応する画像を表示するディスプレイである。表示パネル12は液晶ディスプレイのようなフラットパネルディスプレイであってもよい。   Under the control of the controller 6, the output signal selector 10 selects one of the image signal that has been subjected to noise reduction processing and the image signal that has not been subjected to noise reduction processing. The selected image signal is supplied to the display panel 12 after being subjected to various other image processing as required. The display panel 12 is a display that displays an image corresponding to the image signal. The display panel 12 may be a flat panel display such as a liquid crystal display.

コントローラ6はデジタル1内の各コンポーネントの動作を制御する。コントローラ6はマイクロコンピュータのようなプロセッサであってもよい。コントローラ6は、モード設定部32を備えている。モード設定部32は、複数の周辺画素を用いて対象画素の値を修正するという上述のノイズリダクション処理を必要に応じてON/OFFするように構成されている。より詳しくは、モード設定部32は、TV1をノイズリダクション処理が施された画像信号が出力される第1モードまたはノイズリダクション処理が施されない画像信号が出力される第2モードのいずれか一方のモードに設定する。TV1が第1モードに設定された場合、ON/OFF制御部33は、ノイズリダクション処理が施された画像信号を出力信号セレクタ10に選択させる。一方、TV1が第2モードに設定された場合、ON/OFF制御部33は、ノイズリダクション処理が施された画像信号を出力信号セレクタ10に選択させる。   The controller 6 controls the operation of each component in the digital 1. The controller 6 may be a processor such as a microcomputer. The controller 6 includes a mode setting unit 32. The mode setting unit 32 is configured to turn ON / OFF the above-described noise reduction process of correcting the value of the target pixel using a plurality of peripheral pixels as necessary. More specifically, the mode setting unit 32 is either one of a first mode in which an image signal subjected to noise reduction processing is output from the TV 1 or a second mode in which an image signal not subjected to noise reduction processing is output. Set to. When the TV 1 is set to the first mode, the ON / OFF control unit 33 causes the output signal selector 10 to select the image signal that has been subjected to the noise reduction process. On the other hand, when the TV 1 is set to the second mode, the ON / OFF control unit 33 causes the output signal selector 10 to select the image signal subjected to the noise reduction process.

ユーザは、リモートコントローラを操作することにより、上述のノイズリダクション処理のON/OFFを指示することができる。換言すれば、モード設定部32は、リモコン信号受信部14によってリモートコントローラから受信される遠隔制御信号に基づいて、TV1を第1モードまたは第2モードのいずれか一方のモードに設定する。   The user can instruct ON / OFF of the above-described noise reduction processing by operating the remote controller. In other words, the mode setting unit 32 sets the TV 1 to one of the first mode and the second mode based on the remote control signal received from the remote controller by the remote control signal receiving unit 14.

モード設定部32は、信号レベル判定部31によって判定される入力画像信号の信号レベルに応じて、上述のノイズリダクション処理を自動的にON/OFFすることもできる。信号レベル判定部31は、画像信号の信号レベルが閾値よりも低いか否かを判定し、この判定結果をモード設定部32に供給する。チューナ2によって受信される放送信号が入力画像信号として選択される場合においては、信号レベル判定部31は、チューナ2によって受信される放送信号の信号レベル、たとえば受信される放送信号の電界強度レベル、が閾値よりも低いか否かを判定する。チューナ2によって受信される放送信号はアナログ放送信号である。このため、放送信号の電界強度レベルが低い場合には、放送信号によって伝搬される画像信号に多くのノイズが含まれている可能性がある。放送信号の電界強度レベルが閾値よりも低い場合には、モード設定部32は、ノイズリダクション処理を自動的にONする。一方、放送信号の電界強度レベルが閾値以上である場合には、モード設定部32は、ノイズリダクション処理を自動的にOFFしてもよい。放送信号の電界強度レベルとしては、ブランキング期間中の電界強度レベルを用いてもよい。また、電界強度レベルを用いる代わりに、放送信号のペデスタルレベルを検出し、この検出されたペデスタルレベルが所定の閾値よりも低いか否かを判定してもよい。   The mode setting unit 32 can also automatically turn on / off the above-described noise reduction processing according to the signal level of the input image signal determined by the signal level determination unit 31. The signal level determination unit 31 determines whether or not the signal level of the image signal is lower than the threshold value, and supplies the determination result to the mode setting unit 32. When the broadcast signal received by the tuner 2 is selected as the input image signal, the signal level determination unit 31 is configured to receive the signal level of the broadcast signal received by the tuner 2, for example, the electric field strength level of the received broadcast signal, It is determined whether or not is lower than a threshold value. The broadcast signal received by the tuner 2 is an analog broadcast signal. For this reason, when the electric field strength level of the broadcast signal is low, there is a possibility that a lot of noise is included in the image signal propagated by the broadcast signal. When the field intensity level of the broadcast signal is lower than the threshold value, the mode setting unit 32 automatically turns on the noise reduction process. On the other hand, when the electric field intensity level of the broadcast signal is equal to or higher than the threshold, the mode setting unit 32 may automatically turn off the noise reduction process. As the electric field strength level of the broadcast signal, the electric field strength level during the blanking period may be used. Further, instead of using the electric field strength level, the pedestal level of the broadcast signal may be detected, and it may be determined whether or not the detected pedestal level is lower than a predetermined threshold.

入力端子102がアナログ映像信号を入力するための端子である場合には、信号レベル判定部31は、外部映像機器から入力端子102に供給されるアナログ映像信号の信号レベルが閾値よりも低いか否かも判定する。   When the input terminal 102 is a terminal for inputting an analog video signal, the signal level determination unit 31 determines whether or not the signal level of the analog video signal supplied from the external video device to the input terminal 102 is lower than a threshold value. Also determine.

ノイズリダクション処理部8は、バッファ21、類似度算出部22、および加重平均化部23を備える。バッファ21は入力画像信号内の画素群を一時的に格納するメモリである。対象画素(処理対象画素ともいう)のノイズリダクション処理に必要な複数の画素それぞれの値がバッファ21に格納される。対象画素の値および対象画素の近傍に存在する複数の周辺画素それぞれの値は、類似度算出部22および加重平均化部23の双方に供給される。また、対象画素の値は類似度算出部22および加重平均化部23に供給されるだけでなく、出力信号セレクタ10にも供給される。   The noise reduction processing unit 8 includes a buffer 21, a similarity calculation unit 22, and a weighted averaging unit 23. The buffer 21 is a memory that temporarily stores a pixel group in the input image signal. Values of a plurality of pixels necessary for noise reduction processing of the target pixel (also referred to as processing target pixel) are stored in the buffer 21. The value of the target pixel and the values of each of a plurality of peripheral pixels existing in the vicinity of the target pixel are supplied to both the similarity calculation unit 22 and the weighted averaging unit 23. Further, the value of the target pixel is supplied not only to the similarity calculation unit 22 and the weighted averaging unit 23 but also to the output signal selector 10.

類似度算出部22は、対象画素に対する複数の周辺画素それぞれの類似度を算出する。複数の周辺画素は対象画素の近傍の画素である。加重平均化部23は、算出された類似度それぞれに対応する重み係数を用いて対象画素の値と複数の周辺画素の値との加重平均を算出し、この加重平均に基づいて対象画素の値を修正する。修正された対象画素の値は出力信号セレクタ10に供給される。なお、画像信号がRGB信号である場合には、2画素間の類似度の算出および加重平均の算出は、R,G,Bそれぞれについて別個に行ってもよい。   The similarity calculation unit 22 calculates the similarity of each of a plurality of surrounding pixels with respect to the target pixel. The plurality of peripheral pixels are pixels in the vicinity of the target pixel. The weighted averaging unit 23 calculates a weighted average of the value of the target pixel and the values of a plurality of surrounding pixels using a weighting factor corresponding to each calculated similarity, and the value of the target pixel based on the weighted average To correct. The corrected value of the target pixel is supplied to the output signal selector 10. When the image signal is an RGB signal, the calculation of the similarity between the two pixels and the calculation of the weighted average may be performed separately for each of R, G, and B.

本実施形態では、対象画素と任意の一つの周辺画素(第1の周辺画素)との間の類似度の算出においては、それら2つの画素のみならず、対象画素を含む第1の画素ブロックと、第1の周辺画素を含む第2の画素ブロックとが用いられる。   In the present embodiment, in the calculation of the similarity between the target pixel and any one peripheral pixel (first peripheral pixel), the first pixel block including the target pixel as well as the two pixels The second pixel block including the first peripheral pixel is used.

以下、図2および図3を参照して、類似度算出処理の手順を説明する。
図2は、対象画素(処理対象画素)に対する複数の周辺画素それぞれの類似度の例を示している。図2では、対象画素を中心とする5×5画素の領域が類似度算出範囲として設定されている。この類似度算出範囲に属する画素毎に、対象画素に対する類似度が求められる。図2の右側は、対象画素を含む25画素それぞれの対象画素に対する類似度を示している。算出された類似度それぞれに対応する重み係数を用いて、対象画素の値と複数の周辺画素の値との加重平均、つまり25画素の値の加重平均、が算出される。そして、算出された加重平均に基づいて対象画素の値が修正される。この場合、算出された加重平均の値を対象画素の修正後の値として用いてもよい。
Hereinafter, the procedure of the similarity calculation process will be described with reference to FIGS.
FIG. 2 shows an example of the similarity of each of a plurality of peripheral pixels with respect to the target pixel (processing target pixel). In FIG. 2, an area of 5 × 5 pixels centering on the target pixel is set as the similarity calculation range. For each pixel belonging to this similarity calculation range, the similarity to the target pixel is obtained. The right side of FIG. 2 shows the degree of similarity for each of the 25 pixels including the target pixel. A weighted average of the value of the target pixel and the values of a plurality of surrounding pixels, that is, a weighted average of the values of 25 pixels, is calculated using a weighting factor corresponding to each of the calculated similarities. Then, the value of the target pixel is corrected based on the calculated weighted average. In this case, the calculated weighted average value may be used as the corrected value of the target pixel.

図3は、ある2つの画素間の類似度算出処理の例を示している。図2では、対象画素を中心とする3×3画素の領域が対象画素を含む第1の画素ブロックとして設定されている。さらに、類似度算出対象画素を中心とする3×3画素の領域が、類似度算出対象画素を含む第2の画素ブロックとして設定されている。   FIG. 3 shows an example of similarity calculation processing between two certain pixels. In FIG. 2, a 3 × 3 pixel area centered on the target pixel is set as a first pixel block including the target pixel. Furthermore, a 3 × 3 pixel area centered on the similarity calculation target pixel is set as a second pixel block including the similarity calculation target pixel.

第1の画素ブロックは、あらかじめ決められた複数(N個)の基底ベクトルを用いてN次元のベクトルAに変換される。N個の基底ベクトルは画像をN個の空間周波数成分に分解するための基底である。N個の基底ベクトルを用いた変換は一種の直交変換に相当する。この変換では、第1の画素ブロック内の9画素それぞれ値を示す第1の画素ベクトルが各基底ベクトルに射影される。この射影のための演算では、第1の画素ベクトルと各基底ベクトルとの内積が算出される。算出されるベクトルAは、第1の画素ブロックの周波数特性を示す。つまり、算出されるベクトルAは、第1の画素ブロックが有するN個の空間周波数成分それぞれの値を示す。   The first pixel block is converted into an N-dimensional vector A using a plurality of (N) base vectors determined in advance. N basis vectors are bases for decomposing an image into N spatial frequency components. The transformation using N basis vectors corresponds to a kind of orthogonal transformation. In this conversion, a first pixel vector indicating a value of each of nine pixels in the first pixel block is projected onto each base vector. In this calculation for projection, the inner product of the first pixel vector and each base vector is calculated. The calculated vector A indicates the frequency characteristic of the first pixel block. That is, the calculated vector A indicates the value of each of the N spatial frequency components included in the first pixel block.

第2の画素ブロックも、同じN個の基底ベクトルを用いて、別のN次元のベクトルBに変換される。この変換では、第2の画素ブロック内の画素それぞれの値を示す第2の画素ベクトルを各基底ベクトルに射影する演算が実行される。この演算では、第2の画素ベクトルと各基底ベクトルとの内積が算出される。ベクトルBは第2の画素ブロックの周波数特性、つまり第2の画素ブロックが有するN個の空間周波数成分それぞれの値を示す。   The second pixel block is also converted into another N-dimensional vector B using the same N basis vectors. In this conversion, an operation for projecting the second pixel vector indicating the value of each pixel in the second pixel block onto each base vector is executed. In this calculation, the inner product of the second pixel vector and each base vector is calculated. The vector B represents the frequency characteristic of the second pixel block, that is, the value of each of the N spatial frequency components included in the second pixel block.

そして、これら2つのN次元ベクトルA,B間の差の大きに基づいて、対象画素と類似度算出対象画素との間の類似度が算出される。たとえば、ベクトルA,B間の距離の近さが、それら対象画素と類似度算出対象画素との間の類似度として算出される。   Based on the difference between the two N-dimensional vectors A and B, the similarity between the target pixel and the similarity calculation target pixel is calculated. For example, the closeness of the distance between the vectors A and B is calculated as the similarity between the target pixel and the similarity calculation target pixel.

次に、図4を参照して、類似度算出部22の構成を説明する。
類似度算出部22は、変換部41、および絶対差分和(SAD)算出部42を備える。変換部41は第1の画素ブロックaとN個の基底ベクトルe,e,…en−1それぞれとのN個の内積を算出し、これによって第1の画素ブロックaをN次元のベクトルAに変換する。ベクトルAは算出されたN個の内積を要素として含む。
Next, the configuration of the similarity calculation unit 22 will be described with reference to FIG.
The similarity calculation unit 22 includes a conversion unit 41 and an absolute difference sum (SAD) calculation unit 42. The conversion unit 41 calculates N inner products of the first pixel block a and each of the N basis vectors e 0 , e 1 ,..., E n−1 , and thereby converts the first pixel block a to an N-dimensional Convert to vector A. The vector A includes the calculated N inner products as elements.

さらに、変換部41は、第2の画素ブロックbとN個の基底ベクトルe,e,…en−1それぞれとのN個の内積を算出し、これによって第2の画素ブロックbをN次元のベクトルBに変換する。ベクトルBは算出されたN個の内積を要素として含む。 Further, the conversion unit 41 calculates N inner products of the second pixel block b and each of the N basis vectors e 0 , e 1 ,..., E n−1 , and thereby converts the second pixel block b into the second pixel block b. Convert to an N-dimensional vector B. The vector B includes the calculated N inner products as elements.

絶対差分和(SAD)算出部42は、ベクトルAとベクトルBとの間の絶対差分和(SAD)を算出する。ベクトルAとベクトルBとの間のSADは、それらベクトル間の差の大きさを示す。   The absolute difference sum (SAD) calculation unit 42 calculates the absolute difference sum (SAD) between the vector A and the vector B. The SAD between vector A and vector B indicates the magnitude of the difference between the vectors.

次に、図5を参照して、基底ベクトルe,e,…en−1の例について説明する。
本実施形態では、低周波成分(DC成分)から高周波成分までに至る範囲内に定義し得る全ての基底ベクトルのうち、自然画像の特性にあった幾つかの基底ベクトルが上述のN個の基底ベクトルとして予め選択されている。たとえば、全ての基底ベクトルから高周波成分側の幾つかの基底ベクトルを除いた残りの周波数成分それぞれに対応する基底ベクトルを、上述のN個の基底ベクトルとして用いてもよい。
Next, an example of basis vectors e 0 , e 1 ,... En n−1 will be described with reference to FIG.
In the present embodiment, among all the basis vectors that can be defined within the range from the low frequency component (DC component) to the high frequency component, some basis vectors that match the characteristics of the natural image are the above-mentioned N basis vectors. It is preselected as a vector. For example, base vectors corresponding to the remaining frequency components obtained by removing some base vectors on the high frequency component side from all base vectors may be used as the N base vectors.

3×3の画素ブロックを周波数領域に変換する場合には、低周波成分(DC成分)から高周波成分までの至る範囲内に9個の基底パターンを定義することができる。本実施形態では、これら9個の基底パターンから高周波成分側の幾つかの基底パターンを除いた残りの基底パターン、たとえば低周波側の6つの基底パターンe,e,e,e,e,eが、上述のN個の基底ベクトルe,e,…en−1として用いられる。 When converting a 3 × 3 pixel block into the frequency domain, nine base patterns can be defined within a range from a low frequency component (DC component) to a high frequency component. In the present embodiment, the remaining base patterns obtained by removing some base patterns on the high frequency component side from these nine base patterns, for example, six base patterns e 0 , e 1 , e 2 , e 3 , e 4, e 5 is, n pieces of basis vectors e 0 above, e 1, is used as a ... e n-1.

自然画像の周波数成分は低周波側に偏っている。このため、画像に含まれる高周波成分はノイズである可能性が高い。したがって、低周波側の基底ベクトルe,e,e,e,e,eのみを用いた変換により、ノイズによる影響を低減することができる。なぜなら、ベクトルA,Bのどちらも、基底ベクトルe,e,e,e,e,eに対応する複数の周波数成分以外の他の高周波数成分に関する値を含まないからである。したがって、ノイズのような特定の高周波成分を除外した状態で画素間の類似度を精度よく求めることができる。 The frequency component of the natural image is biased toward the low frequency side. For this reason, the high frequency component included in the image is highly likely to be noise. Therefore, the influence by noise can be reduced by the conversion using only the low-frequency basis vectors e 0 , e 1 , e 2 , e 3 , e 4 , and e 5 . This is because neither of the vectors A and B includes a value related to other high frequency components other than the plurality of frequency components corresponding to the base vectors e 0 , e 1 , e 2 , e 3 , e 4 , and e 5. is there. Therefore, the similarity between pixels can be accurately obtained in a state where a specific high-frequency component such as noise is excluded.

基底ベクトルe(=1,1,1,1,1,1,1,1,1)はDC成分に対応する基底パターンである。基底ベクトルe(=−1,−1,−1,2,2,2,−1,−1,−1)は一つの横線状の変化パターンを有する基底パターンである。基底ベクトルe(=−1,2,−1,−1,2,−1,−1,2,−1)は一つの縦線状の変化パターンを有する基底パターンである。基底ベクトルe(=−1,−1,2,−1,2,−1,2,−1,−1)は、斜め線状の変化パターンを有する基底パターンである。基底ベクトルe(=2,−1,−1,−1,2,−1,−1,−1,2)も、斜め線状の変化パターンを有する基底パターンである。基底ベクトルe(=−1,1,−1,1,0,1,−1,1,−1)は、格子状の変化パターンを有する基底パターンである。 The basis vector e 0 (= 1, 1, 1, 1, 1, 1, 1, 1, 1) is a basis pattern corresponding to the DC component. The basis vector e 1 (= −1, −1, −1, 2, 2, 2, −1, −1, −1) is a basis pattern having one horizontal line-shaped change pattern. A base vector e 2 (= −1, 2, −1, −1, 2, −1, −1, 2, −1) is a base pattern having one vertical line-shaped change pattern. The basis vector e 3 (= −1, −1, 2, −1, 2, −1, 2, −1, −1) is a basis pattern having an oblique line-shaped change pattern. The basis vector e 4 (= 2, −1, −1, −1, −1, −1, −1, −1, 2) is also a basis pattern having an oblique line-shaped change pattern. The basis vector e 5 (= −1, 1, −1, 1, 0, 1, −1, 1, −1) is a basis pattern having a lattice-like change pattern.

次に、図6を参照して、ベクトルAおよびベクトルBを算出する手順を説明する。
対象画素a5を含む第1の画素ブロックaに対応する第1の画素ベクトルは以下の通りである。
a=a1,a2,a3,a4,a5,a6,a7,a8,a9
類似度算出対象画素b5を含む第2の画素ブロックbに対応する第2の画素ベクトルは以下の通りである。
a=b1,b2,b3,b4,b5,b6,b7,b8,b9
まず、第1の画素ベクトル(=a1,a2,a3,a4,a5,a6,a7,a8,a9)と基底ベクトルe(=1,1,1,1,1,1,1,1,1)との内積(=a・e)が算出される。同様にして、第1の画素ベクトルと基底ベクトルeとの内積(=a・e)、第1の画素ベクトルと基底ベクトルeとの内積(=a・e)、第1の画素ベクトルと基底ベクトルeとの内積(=a・e)、第1の画素ベクトルと基底ベクトルeとの内積(=a・e)、第1の画素ベクトルと基底ベクトルeとの内積(=a・e)が算出される。
Next, a procedure for calculating the vector A and the vector B will be described with reference to FIG.
The first pixel vector corresponding to the first pixel block a including the target pixel a5 is as follows.
a = a1, a2, a3, a4, a5, a6, a7, a8, a9
The second pixel vector corresponding to the second pixel block b including the similarity calculation target pixel b5 is as follows.
a = b1, b2, b3, b4, b5, b6, b7, b8, b9
First, the first pixel vector (= a1, a2, a3, a4, a5, a6, a7, a8, a9) and the base vector e 0 (= 1, 1, 1, 1, 1, 1, 1, 1, The inner product (= a · e 0 ) with 1 ) is calculated. Similarly, the first pixel dot product between the vector and the basis vectors e 1 (= a · e 1 ), a first pixel vector inner product of the basis vector e 2 (= a · e 2 ), the first pixel inner product between the vector and the base vector e 3 (= a · e 3 ), the first pixel dot product between the vector and the base vector e 4 (= a · e 4 ), the first pixel vectors and basis vectors e 5 The inner product (= a · e 5 ) is calculated.

ベクトルAは、以下のように表される。
A=a・e,a・e,a・e,a・e,a・e,a・e
次に、第2の画素ベクトル(=b1,b2,b3,b4,b5,b6,b7,b8,b9)と基底ベクトルeとの内積(=b・e)が算出される。同様にして、第2の画素ベクトルと基底ベクトルeとの内積(=b・e)、第2の画素ベクトルと基底ベクトルeとの内積(=b・e)、第2の画素ベクトルと基底ベクトルeとの内積(=b・e)、第2の画素ベクトルと基底ベクトルeとの内積(=b・e)、第2の画素ベクトルと基底ベクトルeとの内積(=b・e)が算出される。
Vector A is expressed as follows:
A = a · e 0 , a · e 1 , a · e 2 , a · e 3 , a · e 4 , a · e 5
Next, a second pixel vector (= b1, b2, b3, b4, b5, b6, b7, b8, b9) and the inner product between the basis vectors e 0 (= b · e 0 ) is calculated. Similarly, the second pixel dot product between the vector and the basis vectors e 1 (= b · e 1 ), the second pixel vectors and the inner product of the basis vector e 2 (= b · e 2 ), the second pixel inner product between the vector and the base vector e 3 (= b · e 3 ), the inner product of the second pixel vectors and basis vectors e 4 (= b · e 4 ), the second pixel vectors and basis vectors e 5 The inner product (= b · e 5 ) is calculated.

ベクトルBは、以下のように表される。
B=b・e,b・e,b・e,b・e,b・e,b・e
ベクトルAとベクトルBとの間のSADは、以下の式で求められる。
SAD=|a・e−b・e|+|a・e−b・e|+|a・e−b・e|
+|a・e−b・e|+|a・e−b・e|+|a・e−b・e|
次に、図7を参照して、表示パネル12に表示されるユーザインタフェースについて説明する。
コントローラ6は、ユーザによるリモートコントローラの操作に応じて、画像調整(映像調整)に関する各種設定のためのメニューを表示パネル12に表示する。図7に示されているように、映像調整の設定に関するメニューには「ノイズリダクション」項目が含まれている。ユーザによるリモートコントローラの操作によって「ノイズリダクション」項目が選択されると、コントローラ6は、ユーザにノイズ低減効果のオン/オフを指定させるための設定画面を表示パネル12に表示する。この設定画面には、オンモード、オフモード、およびオートモードそれぞれに対応する項目が表示される。ユーザは、リモートコントローラの操作によって、オンモード、オフモード、オートモードのいずれかを選択することができる。オンモードは上述の第1のモードである。オンモードが選択された場合には、ノイズリダクション処理が施された画像信号が表示パネル12に表示される。オフモードは上述の第2のモードであり、オフモードが選択された場合には、ノイズリダクション処理が施されない画像信号が表示パネル12に表示される。オートモードが選択された場合には、入力画像信号の信号レベルに応じて、ノイズリダクション処理のオンとオフとが自動的に切り替えられる。
Vector B is expressed as follows:
B = b · e 0 , b · e 1 , b · e 2 , b · e 3 , b · e 4 , b · e 5
The SAD between the vector A and the vector B is obtained by the following equation.
SAD = | a · e 0 −b · e 0 | + | a · e 1 −b · e 1 | + | a · e 2 −b · e 2 |
+ | A · e 3 −b · e 3 | + | a · e 4 −b · e 4 | + | a · e 5 −b · e 5 |
Next, a user interface displayed on the display panel 12 will be described with reference to FIG.
The controller 6 displays a menu for various settings relating to image adjustment (video adjustment) on the display panel 12 in accordance with the operation of the remote controller by the user. As shown in FIG. 7, the menu relating to the image adjustment setting includes a “noise reduction” item. When the “noise reduction” item is selected by the operation of the remote controller by the user, the controller 6 displays a setting screen for allowing the user to specify ON / OFF of the noise reduction effect on the display panel 12. On this setting screen, items corresponding to the on mode, the off mode, and the auto mode are displayed. The user can select any one of an on mode, an off mode, and an auto mode by operating the remote controller. The on mode is the first mode described above. When the on mode is selected, the image signal subjected to the noise reduction process is displayed on the display panel 12. The off mode is the second mode described above. When the off mode is selected, an image signal not subjected to noise reduction processing is displayed on the display panel 12. When the auto mode is selected, ON / OFF of the noise reduction process is automatically switched according to the signal level of the input image signal.

次に、図8のフローチャートを参照して、TV1によって実行されるノイズリダクション処理の手順について説明する。ノイズリダクション処理は放送番組データのような映像コンテンツデータの再生中に実行される。   Next, with reference to the flowchart of FIG. 8, the procedure of the noise reduction process performed by TV1 is demonstrated. The noise reduction process is executed during the reproduction of video content data such as broadcast program data.

コントローラ6は、まず、ノイズリダクション(NR)がオンされているか否かを判定する(ステップS11)。ノイズリダクション(NR)がオンであるならば(ステップS11のYES)、ノイズリダクション処理が実行される。ノイズリダクション処理では、画像信号内の各対象画素の値が必要に応じて修正される。この場合、対象画素と対象画素の近傍の幾つかの周辺画素の値との加重平均を用いて、当該対象画素の値が修正される。ある周辺画素に対応する重み付け値は、その周辺画素と対象画素との間の類似度に基づいて決定される。図8においては、対象画素が図6の画素a5であり、類似度算出対象周辺画素(以下、第1の周辺画素という)が図6の画素b5である場合を想定する。   First, the controller 6 determines whether or not noise reduction (NR) is turned on (step S11). If noise reduction (NR) is on (YES in step S11), noise reduction processing is executed. In the noise reduction process, the value of each target pixel in the image signal is corrected as necessary. In this case, the value of the target pixel is corrected using a weighted average of the target pixel and the values of several neighboring pixels in the vicinity of the target pixel. A weighting value corresponding to a certain peripheral pixel is determined based on the similarity between the peripheral pixel and the target pixel. In FIG. 8, it is assumed that the target pixel is the pixel a5 in FIG. 6 and the similarity calculation target peripheral pixel (hereinafter referred to as the first peripheral pixel) is the pixel b5 in FIG.

ノイズリダクション処理部8は、まず、予め決められたN個の基底ベクトルe,e,…en−1を用いて、対象画素a5を含む画素ブロックaをベクトルA(=a・e,a・e,…,a・en−1)に変換する(ステップS12)。このステップS12では、画素ブロックa内の画素それぞれの値を示す第1の画素ベクトル(a1,a2,a3,a4,a5,a6,a7,a8,a9)と基底ベクトルeとの内積を算出する処理が、N個の基底ベクトルe,e,…en−1それぞれについて繰り返し実行される。これにより、N個の第1の内積(=a・e,a・e,…,a・en−1)が上述のベクトルAとして算出される。 First, the noise reduction processing unit 8 uses a predetermined number N of basis vectors e 0 , e 1 ,..., E n−1 to convert a pixel block a including the target pixel a 5 into a vector A (= a · e 0. , A · e 1 ,..., A · e n−1 ) (step S12). In this step S12, an inner product of the first pixel vector (a1, a2, a3, a4, a5, a6, a7, a8, a9) indicating the value of each pixel in the pixel block a and the base vector e is calculated. The process is repeated for each of the N basis vectors e 0 , e 1 ,... En n−1 . As a result, N first inner products (= a · e 0 , a · e 1 ,..., A · e n−1 ) are calculated as the vector A described above.

次いで、ノイズリダクション処理部8は、上述のN個の基底ベクトルe,e,…en−1を用いて、第1の周辺画素b5を含む画素ブロックbをベクトルB(=b・e,b・e,…,b・en−1)に変換する(ステップS13)。このステップS13では、画素ブロックb内の画素それぞれの値を示す第2の画素ベクトル(b1,b2,b3,b4,b5,b6,b7,b8,b9)と基底ベクトルeとの内積を算出する処理が、N個の基底ベクトルe,e,…en−1それぞれについて繰り返し実行される。これにより、N個の第2の内積(=b・e,b・e,…,b・en−1)が上述のベクトルBとして算出される。 Next, the noise reduction processing unit 8 uses the above-described N basis vectors e 0 , e 1 ,... En n−1 to convert the pixel block b including the first peripheral pixel b 5 into the vector B (= b · e 0 , b · e 1 ,..., B · e n−1 ) (step S13). In this step S13, the inner product of the second pixel vector (b1, b2, b3, b4, b5, b6, b7, b8, b9) indicating the value of each pixel in the pixel block b and the base vector e is calculated. The process is repeated for each of the N basis vectors e 0 , e 1 ,... En n−1 . Accordingly, N second inner products (= b · e 0 , b · e 1 ,..., B · e n−1 ) are calculated as the vector B described above.

次いで、ノイズリダクション処理部8は、ベクトルAとベクトルBとの間のSADを算出し、このSADに基づいて、第1の周辺画素b5の対象画素aに対する類似度を算出する(ステップS14)。   Next, the noise reduction processing unit 8 calculates SAD between the vector A and the vector B, and calculates the similarity of the first peripheral pixel b5 to the target pixel a based on the SAD (step S14).

ノイズリダクション処理部8は、対象画素aのノイズリダクションのために使用されるべき全ての周辺画素の類似度が算出されたか否かを判定する(ステップS15)。類似度が算出されていない周辺画素が存在するならば(ステップS15のNO)、ノイズリダクション処理部8は、類似度算出対象周辺画素(第1の周辺画素)を別の周辺画素に変更する(ステップS16)。そして、ノイズリダクション処理部8は、ステップS13〜S15の処理を再び実行する。   The noise reduction processing unit 8 determines whether or not the similarities of all peripheral pixels that should be used for noise reduction of the target pixel a have been calculated (step S15). If there is a peripheral pixel whose similarity is not calculated (NO in step S15), the noise reduction processing unit 8 changes the similarity calculation target peripheral pixel (first peripheral pixel) to another peripheral pixel ( Step S16). And the noise reduction process part 8 performs the process of step S13-S15 again.

全ての周辺画素に対応する類似度が算出されたならば(ステップS15のYES)、ノイズリダクション処理部8は、全ての周辺画素に対応する類似度それぞれに対応する重み係数を用いて、対象画素aの値と全ての周辺画素の値との加重平均を算出し、そしてこの加重平均に基づいて対象画素aの値を修正する(ステップS17)。ステップS17では、たとえば、対象画素aと全ての周辺画素とを含む25画素それぞれに対応する25タップのローパスフィルタを用いて、25画素の加重平均を示す画素値が得られる。   If the similarities corresponding to all the peripheral pixels have been calculated (YES in step S15), the noise reduction processing unit 8 uses the weighting factor corresponding to each of the similarities corresponding to all the peripheral pixels, and the target pixel A weighted average of the value of a and the values of all surrounding pixels is calculated, and the value of the target pixel a is corrected based on the weighted average (step S17). In step S17, for example, a pixel value indicating a weighted average of 25 pixels is obtained using a 25-tap low-pass filter corresponding to each of 25 pixels including the target pixel a and all peripheral pixels.

上述のノイズリダクション処理は画像信号内の全ての画素に対して実行される。これにより、各画素の値が修正された画像信号がディスプレイ(表示パネル12)に出力される(ステップS18)。   The noise reduction process described above is executed for all pixels in the image signal. Thereby, the image signal in which the value of each pixel is corrected is output to the display (display panel 12) (step S18).

ノイズリダクション(NR)がオフであるならば(ステップS11のNO)、コントローラ6は、ステップS12〜S17の処理をスキップして、ノイズリダクション処理が施されていない画像信号が表示パネル12に出力される(ステップS18)。   If the noise reduction (NR) is off (NO in step S11), the controller 6 skips the processes in steps S12 to S17, and an image signal not subjected to the noise reduction process is output to the display panel 12. (Step S18).

以上説明したように、本実施形態によれば、対象画素に対する複数の周辺画素それぞれの類似度が算出される。そして、算出された類似度それぞれに対応する重み係数を用いて、対象画素の値と複数の周辺画素の値との加重平均が算出され、この加重平均に基づいて、対象画素の値が修正される。したがって、個々の対象画素の値を修正する処理を画像信号のテクスチャに合わせて適応的に実行することができ、これにより画像信号のノイズを低減することができる。   As described above, according to the present embodiment, the similarity of each of a plurality of peripheral pixels with respect to the target pixel is calculated. Then, a weighted average of the value of the target pixel and the values of a plurality of surrounding pixels is calculated using the weighting factor corresponding to each calculated similarity, and the value of the target pixel is corrected based on the weighted average. The Therefore, the process of correcting the value of each target pixel can be adaptively executed in accordance with the texture of the image signal, thereby reducing the noise of the image signal.

さらに、本実施形態では、対象画素と各周辺画素との間の類似度の算出においては、対象画素を含む第1の画素ブロック内の画素それぞれの値を示す第1の画素ベクトルと複数の基底ベクトルそれぞれとの複数の第1の内積が算出される。さらに、上述の複数の周辺画素内の第1の周辺画素を含む第2の画素ブロック内の画素それぞれの値を示す第2の画素ベクトルと上述の複数の基底ベクトルそれぞれとの複数の第2の内積が算出される。そして、複数の第1の内積を示す第3のベクトル(ベクトルA)と複数の第2の内積を示す第4のベクトル(ベクトルB)との間の差の大きさに基づいて、対象画素に対する第1の周辺画素の類似度が算出される。したがって、たとえある周辺画素にノイズが含まれていても、その周辺画素と対象画素との間の類似度の算出結果は、そのノイズに直接的に影響を受けることがない。よって、周辺画素の値と対象画素の値との間の差分値そのものを用いてそれら画素間の類似度を算出するという方法を用いる場合に比べ、本実施形態の処理は、それら画素間の類似度を精度よく算出することを可能にする。この結果、画像信号のノイズを効率よく低減することができる。   Further, in the present embodiment, in calculating the similarity between the target pixel and each peripheral pixel, a first pixel vector indicating a value of each pixel in the first pixel block including the target pixel and a plurality of bases A plurality of first inner products with each vector are calculated. Further, a plurality of second pixels including a second pixel vector indicating a value of each pixel in the second pixel block including the first peripheral pixel in the plurality of peripheral pixels and each of the plurality of base vectors described above. An inner product is calculated. Then, based on the magnitude of the difference between the third vector (vector A) indicating the plurality of first inner products and the fourth vector (vector B) indicating the plurality of second inner products, The similarity of the first surrounding pixels is calculated. Therefore, even if a certain peripheral pixel includes noise, the calculation result of the similarity between the peripheral pixel and the target pixel is not directly affected by the noise. Therefore, compared with the case of using the method of calculating the similarity between the pixels using the difference value itself between the value of the surrounding pixel and the value of the target pixel, the processing of the present embodiment is similar to the similarity between the pixels. It is possible to accurately calculate the degree. As a result, the noise of the image signal can be efficiently reduced.

さらに、ベクトルA,Bのどちらも、上述の複数の基底ベクトルに対応する複数の周波数成分以外の他の周波数成分に関する値は含まない。したがって、ノイズのような特定の高周波成分を除外することができるので、画素間の類似度をより精度よく算出することができる。   Furthermore, neither of the vectors A and B includes values related to frequency components other than the plurality of frequency components corresponding to the above-described plurality of base vectors. Therefore, specific high-frequency components such as noise can be excluded, and the similarity between pixels can be calculated with higher accuracy.

本実施形態のノイズリダクション処理はノイズ低減効果が高いので、ノイズの少ない画像信号、たとえばデジタル画像等、に対してノイズリダクション処理を適用すると、その画像の尖鋭度が低下される可能性がある。本実施形態では、必要に応じてノイズリダクション処理の実行をON/OFFすることができるので、ノイズの多い画像信号、たとえばアナログ画像信号等、の表示中のみ、ノイズリダクション処理をONすることができる。   Since the noise reduction process of the present embodiment has a high noise reduction effect, when the noise reduction process is applied to an image signal with little noise, such as a digital image, the sharpness of the image may be lowered. In this embodiment, the execution of the noise reduction process can be turned ON / OFF as necessary, so that the noise reduction process can be turned ON only during display of a noisy image signal, for example, an analog image signal. .

なお、本実施形態では、第1の画素ブロックおよび第2の画素ブロックの各々が正方ブロックである場合を例示したが、第1の画素ブロックおよび第2の画素ブロックの各々はたとえば横長の画素ブロックであってもよい。   In the present embodiment, the case where each of the first pixel block and the second pixel block is a square block is exemplified. However, each of the first pixel block and the second pixel block is, for example, a horizontally long pixel block. It may be.

また、本実施形態のノイズリダクション処理はフレーム内処理であるため、写真等の静止画にも適用することができる。   Further, since the noise reduction processing of the present embodiment is intra-frame processing, it can also be applied to still images such as photographs.

また、本実施形態のノイズリダクション処理はコンピュータプログラムによって実行することもできる。したがって、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じて、このコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。コンピュータとしては、プロセッサを含む様々な電子機器を使用することができる。   Moreover, the noise reduction process of this embodiment can also be performed by a computer program. Therefore, the same effect as that of the present embodiment can be easily realized simply by installing and executing this computer program on a computer through a computer-readable storage medium storing the computer program. As the computer, various electronic devices including a processor can be used.

また、本実施形態の画像処理装置はTVに限らず、セットトップボックス、ビデオレコーダ等であってもよい。   In addition, the image processing apparatus according to the present embodiment is not limited to a TV but may be a set top box, a video recorder, or the like.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

1…TV、2…チューナ、6…コントローラ、8…ノイズリダクション処理部、12…表示パネル、21…バッファ、22…類似度算出部、23…加重平均化部、41…変換部、42…SAD算出部。   DESCRIPTION OF SYMBOLS 1 ... TV, 2 ... Tuner, 6 ... Controller, 8 ... Noise reduction processing part, 12 ... Display panel, 21 ... Buffer, 22 ... Similarity calculation part, 23 ... Weighted averaging part, 41 ... Conversion part, 42 ... SAD Calculation unit.

Claims (9)

画像信号に対するノイズリダクション処理を実行するように構成された画像処理装置であって、
前記画像信号内の対象画素に対する前記対象画素の近傍の複数の周辺画素それぞれの類似度を算出する類似度算出手段と、
前記算出された類似度それぞれに対応する重み係数を用いて前記対象画素の値と前記複数の周辺画素の値との加重平均を算出し、前記加重平均に基づいて前記対象画素の値を修正する修正手段とを具備し、
前記類似度算出手段は、
前記対象画素を含む第1の画素ブロック内の画素それぞれの値を示す第1の画素ベクトルと複数の基底ベクトルそれぞれとの複数の第1の内積を算出し、
前記複数の周辺画素内の第1の周辺画素を含む第2の画素ブロック内の画素それぞれの値を示す第2の画素ベクトルと前記複数の基底ベクトルそれぞれとの複数の第2の内積を算出し、
前記複数の第1の内積を示す第3のベクトルと前記複数の第2の内積を示す第4のベクトルとの間の差の大きさに基づいて、前記対象画素に対する前記第1の周辺画素の類似度を算出するように構成されている画像処理装置。
An image processing apparatus configured to perform noise reduction processing on an image signal,
Similarity calculating means for calculating the similarity of each of a plurality of peripheral pixels in the vicinity of the target pixel with respect to the target pixel in the image signal;
A weighted average of the value of the target pixel and the values of the plurality of surrounding pixels is calculated using a weighting factor corresponding to each of the calculated similarities, and the value of the target pixel is corrected based on the weighted average. Correction means,
The similarity calculation means includes:
Calculating a plurality of first inner products of a first pixel vector indicating a value of each pixel in the first pixel block including the target pixel and each of a plurality of base vectors;
Calculating a plurality of second inner products of a second pixel vector indicating a value of each pixel in the second pixel block including the first peripheral pixel in the plurality of peripheral pixels and each of the plurality of base vectors. ,
Based on the magnitude of the difference between the third vector indicating the plurality of first inner products and the fourth vector indicating the plurality of second inner products, the first peripheral pixel of the target pixel An image processing apparatus configured to calculate a similarity.
前記画像処理装置を前記ノイズリダクション処理が施された画像信号が出力される第1モードまたは前記ノイズリダクション処理が施されない画像信号が出力される第2モードのいずれか一方のモードに設定する設定手段をさらに具備する請求項1記載の画像処理装置。   Setting means for setting the image processing device to one of a first mode in which an image signal subjected to the noise reduction process is output and a second mode in which an image signal not subjected to the noise reduction process is output. The image processing apparatus according to claim 1, further comprising: リモートコントローラから受信される遠隔制御信号に基づいて、前記画像処理装置を前記ノイズリダクション処理が施された画像信号が出力される第1モードまたは前記ノイズリダクション処理が施されない画像信号が出力される第2モードのいずれか一方のモードに設定する設定手段をさらに具備する請求項1記載の画像処理装置。   Based on a remote control signal received from a remote controller, the image processing apparatus outputs a first mode in which the image signal subjected to the noise reduction process is output or an image signal in which the image signal not subjected to the noise reduction process is output. 2. The image processing apparatus according to claim 1, further comprising setting means for setting one of the two modes. 前記画像信号の信号レベルが閾値よりも低いか否かを判定し、前記判定結果に基づいて、前記画像処理装置を前記ノイズリダクション処理が施された画像信号が出力される第1モードまたは前記ノイズリダクション処理が施されない画像信号が出力される第2モードのいずれか一方のモードに設定する設定手段をさらに具備する請求項1記載の画像処理装置。   It is determined whether the signal level of the image signal is lower than a threshold value, and based on the determination result, the image processing device outputs the image signal that has been subjected to the noise reduction processing in the first mode or the noise The image processing apparatus according to claim 1, further comprising a setting unit configured to set any one of the second modes in which an image signal not subjected to reduction processing is output. テレビジョン放送信号を受信し前記受信したテレビジョン放送信号から前記画像信号を生成するチューナをさらに具備する請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a tuner that receives a television broadcast signal and generates the image signal from the received television broadcast signal. テレビジョン放送信号を受信し前記受信したテレビジョン放送信号から前記画像信号を生成するチューナと、
前記画像信号の信号レベルが閾値よりも低いか否かを判定し、前記判定結果に基づいて、前記画像処理装置を前記ノイズリダクション処理が施された画像信号が出力される第1モードまたは前記ノイズリダクション処理が施されない画像信号が出力される第2モードのいずれか一方のモードに設定する設定手段とをさらに具備する請求項1記載の画像処理装置。
A tuner that receives a television broadcast signal and generates the image signal from the received television broadcast signal;
It is determined whether the signal level of the image signal is lower than a threshold value, and based on the determination result, the image processing device outputs the image signal that has been subjected to the noise reduction processing in the first mode or the noise The image processing apparatus according to claim 1, further comprising a setting unit configured to set one of the second modes in which an image signal not subjected to reduction processing is output.
前記画像信号に対応する画像を表示するディスプレイをさらに具備する請求項1記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a display that displays an image corresponding to the image signal. 画像信号を処理する画像処理制御方法であって、
前記画像信号内の対象画素に対する前記対象画素の近傍の複数の周辺画素それぞれの類似度を算出する処理と、前記算出された類似度それぞれに対応する重み係数を用いて前記対象画素の値と前記複数の周辺画素の値との加重平均を算出し、前記加重平均に基づいて前記対象画素の値を修正する処理とを含むノイズリダクション処理を実行し、
前記複数の類似度を算出することは、
前記対象画素を含む第1の画素ブロック内の画素それぞれの値を示す第1の画素ベクトルと複数の基底ベクトルそれぞれとの複数の第1の内積を算出することと、
前記複数の周辺画素内の第1の周辺画素を含む第2の画素ブロック内の画素それぞれの値を示す第2の画素ベクトルと前記複数の基底ベクトルそれぞれとの複数の第2の内積を算出することと、
前記複数の第1の内積を示す第3のベクトルと前記複数の第2の内積を示す第4のベクトルとの間の差の大きさに基づいて、前記対象画素に対する前記第1の周辺画素の類似度を算出することとを具備する画像処理方法。
An image processing control method for processing an image signal,
A process of calculating the similarity of each of a plurality of peripheral pixels in the vicinity of the target pixel with respect to the target pixel in the image signal, and using the weighting factor corresponding to each of the calculated similarities and the value of the target pixel Calculating a weighted average with values of a plurality of surrounding pixels, and performing a noise reduction process including a process of correcting the value of the target pixel based on the weighted average;
Calculating the plurality of similarities includes:
Calculating a plurality of first inner products of a first pixel vector indicating a value of each pixel in the first pixel block including the target pixel and each of a plurality of base vectors;
A plurality of second inner products of a second pixel vector indicating a value of each pixel in a second pixel block including a first peripheral pixel in the plurality of peripheral pixels and each of the plurality of base vectors are calculated. And
Based on the magnitude of the difference between the third vector indicating the plurality of first inner products and the fourth vector indicating the plurality of second inner products, the first peripheral pixel of the target pixel An image processing method comprising calculating a similarity.
前記ノイズリダクション処理が施された画像信号を出力する第1モードまたは前記ノイズリダクション処理が施されない画像信号を出力する第2モードのいずれか一方のモードを選択することをさらに具備する請求項8記載の画像処理方法。   9. The method according to claim 8, further comprising selecting one of a first mode for outputting the image signal subjected to the noise reduction process and a second mode for outputting the image signal not subjected to the noise reduction process. Image processing method.
JP2011189170A 2011-08-31 2011-08-31 Image processing apparatus and image processing method Active JP5060643B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011189170A JP5060643B1 (en) 2011-08-31 2011-08-31 Image processing apparatus and image processing method
CN201210068941XA CN102970462A (en) 2011-08-31 2012-03-15 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011189170A JP5060643B1 (en) 2011-08-31 2011-08-31 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP5060643B1 true JP5060643B1 (en) 2012-10-31
JP2013051587A JP2013051587A (en) 2013-03-14

Family

ID=47189581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011189170A Active JP5060643B1 (en) 2011-08-31 2011-08-31 Image processing apparatus and image processing method

Country Status (2)

Country Link
JP (1) JP5060643B1 (en)
CN (1) CN102970462A (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6128987B2 (en) * 2013-06-25 2017-05-17 オリンパス株式会社 Image processing apparatus, image processing method, and image processing program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006269651A (en) * 2005-03-23 2006-10-05 Canon Inc Image extraction device and its method, and exposure apparatus provided therewith and its method
JP5144202B2 (en) * 2007-10-05 2013-02-13 オリンパス株式会社 Image processing apparatus and program
JP4355744B2 (en) * 2007-12-17 2009-11-04 シャープ株式会社 Image processing device
JP5197414B2 (en) * 2009-02-02 2013-05-15 オリンパス株式会社 Image processing apparatus and image processing method
CN101493887B (en) * 2009-03-06 2012-03-28 北京工业大学 Eyebrow image segmentation method based on semi-supervision learning and Hash index
JP5451302B2 (en) * 2009-10-19 2014-03-26 キヤノン株式会社 Image processing apparatus and method, program, and storage medium
CN101950414B (en) * 2010-09-02 2012-07-04 西安电子科技大学 Non-local mean de-noising method for natural image

Also Published As

Publication number Publication date
JP2013051587A (en) 2013-03-14
CN102970462A (en) 2013-03-13

Similar Documents

Publication Publication Date Title
US8314890B2 (en) Image processing apparatus and image processing method
US7995146B2 (en) Image processing apparatus and image processing method
US8331719B2 (en) Sharpness enhancing apparatus and method
JP2005175735A (en) Video signal processor, television receiver employing the same, and video signal processing method
JP2009165036A (en) Image processor and computer program
US20080062325A1 (en) Image processing apparatus, display apparatus comprising image processing apparatus and image processing method
US20090322952A1 (en) Method for adjusting saturation and contrast of an area of an image and apparatus thereof
US7602988B2 (en) Method for adjusting saturation and contrast of an area of an image and apparatus thereof
JP2015165385A (en) Image processing method and image processor
US10380725B2 (en) Image processing apparatus, image processing method, and storage medium
JP2007096997A (en) Video signal processing apparatus and video signal processing method
JP4605654B2 (en) Video signal processing device and display device equipped with the same
JP6190482B1 (en) Display control device, display device, television receiver, display control device control method, control program, and recording medium
JP4872508B2 (en) Image processing apparatus, image processing method, and program
US7375770B2 (en) Method for luminance transition improvement
US20090040388A1 (en) Signal processing apparatus and control method thereof
JP5060643B1 (en) Image processing apparatus and image processing method
JP2010198321A (en) Image processing device and image processing method
US20160086302A1 (en) Image processing apparatus and control method thereof
US20220188994A1 (en) Image processing apparatus and image processing method
JP4305917B2 (en) Video signal processing apparatus and television apparatus
JP2010220030A (en) Video correction circuit, and video display device
JP5072742B2 (en) Image processing apparatus and image processing method
JPH0944648A (en) Image processing device and method therefor
US20180376031A1 (en) Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120803

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5060643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250