JP7114431B2 - Image processing method, image processing device and program - Google Patents

Image processing method, image processing device and program Download PDF

Info

Publication number
JP7114431B2
JP7114431B2 JP2018188180A JP2018188180A JP7114431B2 JP 7114431 B2 JP7114431 B2 JP 7114431B2 JP 2018188180 A JP2018188180 A JP 2018188180A JP 2018188180 A JP2018188180 A JP 2018188180A JP 7114431 B2 JP7114431 B2 JP 7114431B2
Authority
JP
Japan
Prior art keywords
patch
similar
target
patches
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018188180A
Other languages
Japanese (ja)
Other versions
JP2019106173A (en
Inventor
大輝 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2018/044657 priority Critical patent/WO2019116975A1/en
Publication of JP2019106173A publication Critical patent/JP2019106173A/en
Priority to US16/893,455 priority patent/US11301962B2/en
Application granted granted Critical
Publication of JP7114431B2 publication Critical patent/JP7114431B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

本発明は、入力画像に含まれるノイズを低減する画像処理技術に関する。 The present invention relates to an image processing technique for reducing noise contained in an input image.

従来、撮影装置で撮影することにより得られた画像に含まれる画像に対してノイズを低減するためのノイズ低減処理が知られている。特許文献1には、撮影画像からパッチ集合を生成し、パッチ集合に属する全てのパッチに対してノイズ低減処理を行い、ノイズ低減処理したパッチの合成処理を行う手法が開示されている。 2. Description of the Related Art Conventionally, noise reduction processing for reducing noise in an image included in an image obtained by photographing with an imaging device is known. Japanese Patent Application Laid-Open No. 2002-200001 discloses a method of generating a patch set from a captured image, performing noise reduction processing on all patches belonging to the patch set, and performing synthesis processing of the noise-reduced patches.

特開2013-026669号公報JP 2013-026669 A

このような従来のパッチベースのノイズ低減方法においては、撮影画像において処理対象の着目パッチと類似している複数の類似パッチをパッチ集合として検出する。このとき着目パッチの画素数が多い方が類似パッチの検出精度が高い。一方で、パッチ集合に対するノイズ低減処理では、パッチ集合に含まれるパッチ数に対して、各パッチの画素数が多い場合、各パッチに対してノイズ低減処理を精度よく実行できない場合がある。そこで本発明は、パッチベースのノイズ低減処理において、類似パッチの検出および各パッチのノイズ低減処理を適切に実行することを目的とする。 In such a conventional patch-based noise reduction method, a plurality of similar patches similar to the target patch to be processed are detected as a patch set in the captured image. At this time, the detection accuracy of the similar patch is higher when the number of pixels of the target patch is larger. On the other hand, in noise reduction processing for a patch set, if the number of pixels in each patch is large with respect to the number of patches included in the patch set, noise reduction processing may not be performed accurately for each patch. SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to detect similar patches and appropriately execute noise reduction processing for each patch in patch-based noise reduction processing.

上記課題を解決するために本発明は、入力画像に対してノイズを低減することで出力画像を生成する画像処理装置であって、前記入力画像において、第1の画素数を有する着目パッチを設定する着目パッチ設定手段と、前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出する検出手段と、前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも1つの画素を含み、前記第1の画素数とは異なる第2の画素数を有する複数の対象パッチを設定する対象パッチ設定手段と、ノイズ低減処理の対象とするパッチとして、前記類似パッチを用いるか、前記対象パッチを用いるかを判定する判定手段と、前記判定手段により、前記類似パッチを用いると判定された場合は、前記複数の類似パッチに基づいて前記複数の類似パッチに前記ノイズ低減処理を実行し、前記判定手段により、前記対象パッチを用いると判定された場合は、前記複数の対象パッチに基づいて、前記対象パッチに前記ノイズ低減処理を実行するノイズ低減処理手段と、前記ノイズ低減処理手段によりノイズを低減された結果を合成することで、前記出力画像を生成する合成手段と、を有することを特徴とする。 In order to solve the above problems, the present invention provides an image processing apparatus for generating an output image by reducing noise in an input image, wherein a patch of interest having a first number of pixels is set in the input image. a target patch setting means for detecting a plurality of similar patches similar to the target patch in the input image; and at least one pixel included in the similar patch based on the plurality of similar patches. a target patch setting means for setting a plurality of target patches having a second number of pixels different from the first number of pixels ; and if the determination means determines that the similar patch is to be used, the noise reduction processing is performed on the plurality of similar patches based on the plurality of similar patches, and the When the determination means determines that the target patch is used, noise reduction processing means for executing the noise reduction processing on the target patch based on the plurality of target patches, and noise reduction by the noise reduction processing means. and synthesizing means for synthesizing the reduced result to generate the output image.

本発明により、パッチベースのノイズ低減処理において、類似パッチの検出および各パッチのノイズ低減処理を適切に実行することができる。 According to the present invention, detection of similar patches and noise reduction processing of each patch can be appropriately performed in patch-based noise reduction processing.

画像処理装置のハードウェア構成を示すブロック図FIG. 2 is a block diagram showing the hardware configuration of an image processing device; 画像処理装置の詳細な論理構成を示すブロック図Block diagram showing the detailed logical configuration of the image processing device 画像処理装置が実行するノイズ低減処理の流れを示すフローチャート4 is a flow chart showing the flow of noise reduction processing executed by the image processing apparatus; 着目画素、着目パッチ、参照パッチ、対象パッチを説明する図Diagrams for explaining a pixel of interest, a patch of interest, a reference patch, and a target patch 画像処理装置の詳細な論理構成を示すブロック図Block diagram showing the detailed logical configuration of the image processing device 画像処理装置が実行するノイズ低減処理の流れを示すフローチャート4 is a flow chart showing the flow of noise reduction processing executed by the image processing apparatus; 類似パッチと対象パッチの位置関係を説明する図Diagram explaining the positional relationship between similar patches and target patches

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. Note that the configurations shown in the following embodiments are merely examples, and the present invention is not necessarily limited to the illustrated configurations.

<実施形態1>
本実施形態では、パッチベースのノイズ低減処理を実行する画像処理装置について説明する。パッチベースのノイズ低減処理においては、着目パッチと類似している類似パッチを検出する工程と、検出した類似パッチを用いて各パッチのノイズを低減する工程とを含む。本実施形態では特に、類似パッチを検出する際に用いるパッチを構成する画素数と、各パッチのノイズを低減する際に用いるパッチを構成する画素数とを、それぞれ適切に設定する。図1は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。画像処理装置は、CPU101、RAM102、記憶部103、汎用I/F(インタフェース)110、表示部108を有する。各構成は、メインバス108を介して相互に接続されている。画像処理装置は、汎用I/F110を介して、撮像装置105、入力装置106、外部メモリ107と接続されている。入力装置106は例えば、マウスやキーボードなどユーザが画像処理装置に指示するための装置である。
<Embodiment 1>
In this embodiment, an image processing apparatus that executes patch-based noise reduction processing will be described. The patch-based noise reduction process includes the steps of detecting similar patches that are similar to the patch of interest, and using the detected similar patches to reduce noise in each patch. Particularly in this embodiment, the number of pixels forming a patch used for detecting similar patches and the number of pixels forming a patch used for reducing noise in each patch are set appropriately. FIG. 1 is a block diagram showing the hardware configuration of an image processing apparatus according to this embodiment. The image processing apparatus has a CPU 101 , a RAM 102 , a storage section 103 , a general-purpose I/F (interface) 110 and a display section 108 . Each configuration is interconnected via a main bus 108 . The image processing device is connected to the imaging device 105, the input device 106, and the external memory 107 via the general-purpose I/F 110. FIG. The input device 106 is, for example, a device such as a mouse and a keyboard for the user to give instructions to the image processing apparatus.

CPU101は、入力された画像や後述のプログラムに従って、各構成を制御する。記憶部103は、HDDやSSDなどの記憶デバイスである。記憶部103には、CPU101が各種構成を実行するためのコンピュータプログラムが格納されている。RAM102は、入力した画像データなどを一時的に保持するバッファメモリや、CPU101の作業領域などとして使用される。画像処理装置は、記憶部103に格納されたプログラムをCPU101で解釈し、命令に基づいた動作をする。表示部108は液晶ディスプレイや有機ELディスプレイなどである。表示部108は、画像やユーザが所望の指示を入力するためのユーザインターフェース(UI)を表示する。画像処理装置は、表示部108を介して入力されるユーザからの指示に従って、RAM102に格納された画像に対して、ノイズ低減処理を実行する。またノイズ低減処理後の画像は、再びRAM102に格納する。RAM102に格納されたノイズ低減処理後の画像は、ユーザからの指示に応じて、表示部108や外部メモリ107に出力される。 The CPU 101 controls each configuration according to the input image and a program described later. A storage unit 103 is a storage device such as an HDD or an SSD. The storage unit 103 stores computer programs for the CPU 101 to execute various configurations. The RAM 102 is used as a buffer memory for temporarily holding input image data, a work area for the CPU 101, and the like. The image processing apparatus interprets the program stored in the storage unit 103 by the CPU 101 and operates according to the instruction. A display unit 108 is a liquid crystal display, an organic EL display, or the like. A display unit 108 displays images and a user interface (UI) for the user to input desired instructions. The image processing apparatus performs noise reduction processing on the image stored in the RAM 102 according to instructions from the user input via the display unit 108 . The image after noise reduction processing is stored in the RAM 102 again. The noise-reduced image stored in the RAM 102 is output to the display unit 108 or the external memory 107 according to instructions from the user.

ここで、パッチベースのノイズ低減処理の概要について説明する。入力画像における着目画素について、着目画素を基準とする複数の画素で構成されたパッチを、着目パッチと呼ぶこととする。着目画素の近傍の複数の画素それぞれを参照画素とし、各参照画素に対応するパッチを参照パッチと呼ぶこととする。参照パッチは、参照画素を基準とする複数の画素で構成されたパッチである。参照パッチは、着目パッチに対してノイズ低減処理をする際に参照される。1つの着目画素に対して複数の参照画素が設定されるため、1つの着目画素に対して複数の参照パッチが存在することになる。パッチベースのノイズ低減処理では、参照パッチのうち、着目パッチと画素値の分布が類似しているパッチである類似パッチを検出し、類似パッチ群(パッチ集合)を生成する。なお、類似パッチは、着目パッチと同じ画素数で構成されたパッチである。また類似パッチ群には着目パッチ自身が含まれていても構わない。次に、類似パッチ群に基づいて、類似パッチ群に含まれる各パッチのノイズを低減するノイズ低減処理を実行する。ノイズを低減した類似パッチを合成することにより、入力画像に対してノイズ低減処理した画像を生成する。なお、パッチとは、入力画像の一部に相当する領域を意味する。また、パッチとは、複数の画素で構成される画素群を意味する。図2は、ノイズ低減処理を実行する画像処理装置の詳細な論理構成を示すブロック図である。画像処理装置は、画像入力部201、着目パッチ設定部202、類似パッチ検出部203、対象パッチ設定部204、ノイズ低減処理部205、画像合成部206を有する。画像入力部201は、ノイズ低減処理の処理対象とする入力画像を表す画像データを入力する。入力画像は、R(レッド)、G(グリーン)、B(ブルー)それぞれの画像とする。各色に対応する画像は、0~255の8ビットの画素値を有する画素からなる。 Here, an outline of patch-based noise reduction processing will be described. For a pixel of interest in an input image, a patch composed of a plurality of pixels with the pixel of interest as a reference will be referred to as a patch of interest. Let each of a plurality of pixels in the vicinity of the pixel of interest be referred to as a reference pixel, and the patch corresponding to each reference pixel will be referred to as a reference patch. A reference patch is a patch composed of a plurality of pixels based on a reference pixel. The reference patch is referred to when performing noise reduction processing on the patch of interest. Since a plurality of reference pixels are set for one pixel of interest, a plurality of reference patches exist for one pixel of interest. In the patch-based noise reduction process, similar patches, which are patches having a pixel value distribution similar to that of the target patch, are detected among the reference patches, and a similar patch group (patch set) is generated. Note that the similar patch is a patch configured with the same number of pixels as the patch of interest. Also, the similar patch group may include the target patch itself. Next, based on the similar patch group, noise reduction processing is performed to reduce the noise of each patch included in the similar patch group. A noise-reduced image is generated from the input image by synthesizing the noise-reduced similar patches. A patch means an area corresponding to a part of the input image. Also, a patch means a pixel group composed of a plurality of pixels. FIG. 2 is a block diagram showing a detailed logical configuration of an image processing device that executes noise reduction processing. The image processing apparatus has an image input unit 201 , a target patch setting unit 202 , a similar patch detection unit 203 , a target patch setting unit 204 , a noise reduction processing unit 205 and an image synthesizing unit 206 . The image input unit 201 inputs image data representing an input image to be processed for noise reduction processing. Assume that the input images are R (red), G (green), and B (blue) images. The image corresponding to each color consists of pixels having 8-bit pixel values from 0-255.

着目パッチ設定部202は、入力画像において着目パッチを設定する。着目パッチの形状は、予め設定されている。本実施形態では、入力画像における画素をラスタ順に着目画素とし、着目画素を含む8画素×8画素の矩形領域を着目パッチとして設定する。 A target patch setting unit 202 sets a target patch in the input image. The shape of the patch of interest is set in advance. In this embodiment, the pixels in the input image are set as the pixel of interest in raster order, and a rectangular area of 8×8 pixels including the pixel of interest is set as the patch of interest.

類似パッチ検出部203は、着目画素の近傍において複数の参照パッチを設定し、それら参照パッチのうち着目パッチに類似したパッチを、類似パッチとして選択することで、類似パッチを検出する。なお本実施形態では類似パッチ検出部203は、複数の参照パッチを類似パッチとして選択する。具体的には類似パッチ検出部203はまず、所定の範囲に含まれる着目画素近傍のある画素を参照画素として順に設定し、着目パッチと同様に参照画素に対する参照パッチを設定する。次に類似パッチ検出部203は、参照パッチと着目パッチの類似度を導出して、各参照パッチが着目パッチに類似しているかどうかを判定する。参照パッチが着目パッチに類似している場合は、参照パッチを類似パッチとして選択する。ここでは、着目画素を中心とする15画素×15画素を、参照画素を設定する所定の範囲とする。従って、類似パッチ検出部203は、着目画素を含む225画素を参照画素として設定し、類似パッチを最大で225枚検出する。検出される類似パッチは、着目パッチと同じサイズである。従って本実施形態において類似パッチは、8画素×8画素からなる矩形のパッチである。 The similar patch detection unit 203 detects similar patches by setting a plurality of reference patches in the vicinity of the pixel of interest and selecting patches similar to the patch of interest from among the reference patches as similar patches. Note that in this embodiment, the similar patch detection unit 203 selects a plurality of reference patches as similar patches. Specifically, the similar patch detection unit 203 first sequentially sets pixels in the vicinity of the pixel of interest included in a predetermined range as reference pixels, and sets reference patches for the reference pixels in the same manner as the patch of interest. Next, the similar patch detection unit 203 derives the degree of similarity between the reference patch and the patch of interest, and determines whether each reference patch is similar to the patch of interest. If the reference patch is similar to the patch of interest, the reference patch is selected as a similar patch. Here, 15 pixels×15 pixels centered on the pixel of interest is set as the predetermined range for setting the reference pixels. Therefore, the similar patch detection unit 203 sets 225 pixels including the pixel of interest as reference pixels, and detects up to 225 similar patches. The detected similar patch has the same size as the patch of interest. Therefore, in this embodiment, the similar patch is a rectangular patch consisting of 8 pixels×8 pixels.

対象パッチ設定部204は、検出された類似パッチの画素数を調整することで、ノイズ低減に用いる対象パッチを設定する。詳細は後述するが、着目パッチの画素数が多いほど、多数の類似パッチを用いて以降の処理をしなければ、高精度なノイズ低減を実現できない。一方高精度なノイズ低減処理のため、着目パッチの画素数を小さくすると、着目パッチと類似しているパッチを検出する精度が低下してしまう。そこで本実施形態では、対象パッチ設定部204は、8画素×8画素からなる類似パッチを4画素×4画素からなるパッチに調整することで、対象パッチを設定する。このように本実施形態では、類似パッチを検出する際に用いるパッチの画素数と、各パッチのノイズ低減処理を実行する際に用いるパッチの画素数とを異なる画素数により設定する。ここで対象パッチは、検出された全ての類似パッチごとに設定される。またここでは、類似パッチの一部を対象パッチとするため、対象パッチ群も互いに類似したパッチであるとみなすことができる。 A target patch setting unit 204 sets a target patch to be used for noise reduction by adjusting the number of pixels of the detected similar patch. Although the details will be described later, as the number of pixels in the patch of interest increases, highly accurate noise reduction cannot be achieved unless subsequent processing is performed using a larger number of similar patches. On the other hand, if the number of pixels of the patch of interest is reduced for high-precision noise reduction processing, the accuracy of detecting patches that are similar to the patch of interest decreases. Therefore, in this embodiment, the target patch setting unit 204 sets a target patch by adjusting a similar patch of 8 pixels×8 pixels to a patch of 4 pixels×4 pixels. As described above, in this embodiment, the number of pixels of a patch used when detecting similar patches and the number of pixels of a patch used when performing noise reduction processing for each patch are set with different numbers of pixels. Here, target patches are set for all similar patches detected. Also, since some of the similar patches are treated as target patches here, the target patch group can also be regarded as mutually similar patches.

ノイズ低減部205は対象パッチ群に基づいて各対象パッチに対してノイズ低減し、ノイズ低減された対象パッチ群を生成する。画像合成部206は、ノイズ低減された対象パッチ群を合成することで、ノイズ低減処理された出力画像を生成する。画像合成部206は、ノイズ低減処理された類似パッチを入力画像における元の位置に配置し、他の補正された類似パッチと重なる場合には、同じ画素位置に戻された値を平均化した値を算出する。ノイズ低減処理された結果得られる画素値または平均化した値により、元の画素の画素値を更新することで、ノイズ低減された対象パッチ群を合成する。このような合成処理は、アグリゲーションとも呼ばれる。 The noise reduction unit 205 performs noise reduction on each target patch based on the target patch group to generate a noise-reduced target patch group. The image synthesizing unit 206 generates a noise-reduced output image by synthesizing the noise-reduced target patch groups. The image synthesizing unit 206 places the noise-reduced similar patch at its original position in the input image, and if it overlaps with another corrected similar patch, averages the values returned to the same pixel position. Calculate A noise-reduced target patch group is synthesized by updating the pixel values of the original pixels with the pixel values obtained as a result of the noise reduction processing or the averaged values. Such synthesis processing is also called aggregation.

続いて、上述した画像処理装置が実行するノイズ低減処理の具体的な処理の流れを説明する。図3は、本実施形態に係るノイズ低減処理の流れを示すフローチャートである。CPU101は、図3に示すフローチャートを実現するためのプログラムを読み出し、実行させる。なお、フローチャートにおける各工程(ステップ)は、「S」を用いて表すこととする。 Next, a specific processing flow of noise reduction processing executed by the image processing apparatus described above will be described. FIG. 3 is a flowchart showing the flow of noise reduction processing according to this embodiment. The CPU 101 reads and executes a program for implementing the flowchart shown in FIG. Each process (step) in the flow chart is represented using "S".

S301において画像入力部201は、画像を取得する。前述の通り、RGBそれぞれに対応する画像が順に入力される。以降の処理は、各色の画像に対して実行される。S302において着目パッチ設定部202は、取得した画像において第1の画素数の画素からなる着目パッチを設定する。前述の通り、本実施形態では、8画素×8画素の領域を着目パッチとする。図4(a)は、本実施形態における着目画素と着目パッチの位置関係を示す。1つの矩形は、画素を表している。図4(a)において、黒塗りされた画素が着目画素である。着目画素の画素位置を(x、y)としたとき、(x-3、y-3)、(x+4、y-4)(x-3、y+4)、(x+4、y+4)を四隅とした矩形に含まれる64画素の領域を着目パッチとして設定する。 In S301, the image input unit 201 acquires an image. As described above, images corresponding to RGB are input in order. Subsequent processing is executed for each color image. In S302, the target patch setting unit 202 sets a target patch made up of the first number of pixels in the acquired image. As described above, in the present embodiment, an area of 8 pixels×8 pixels is set as the patch of interest. FIG. 4A shows the positional relationship between the pixel of interest and the patch of interest in this embodiment. One rectangle represents a pixel. In FIG. 4A, the blackened pixel is the pixel of interest. A rectangle with four corners of (x-3, y-3), (x+4, y-4), (x-3, y+4), and (x+4, y+4) where the pixel position of the pixel of interest is (x, y) A region of 64 pixels included in is set as a patch of interest.

S303において類似パッチ検出部203は、着目パッチに基づいて着目パッチと類似したパッチ検出する。具体的にはまず、類似パッチ検出部203は、着目画素近傍の探索範囲に含まれる画素を順に参照画素とし、参照画素に対して参照パッチを設定する。各参照パッチの形状は、着目パッチの形状と一致する。本実施形態では、着目画素を中心とする15画素×15画素を類似パッチの探索範囲とする。例えば、着目画素の画素位置を(x、y)としたとき、(x-3、y-3)の画素を参照画素とすると、図4(b)に示すように参照画素を含む8画素×8画素の領域を参照パッチとして設定する。着目パッチと参照パッチとの類似度により、参照パッチが着目パッチに類似しているか否かを判定する。類似度は、着目パッチにおける各画素と、参照パッチにおける各画素について、パッチにおける位置が対応する画素間の画素値の差分を算出し、各差分の2乗を合成した差分2乗和により算出される。具体的には類似度パッチ検出部203は、i番目の参照パッチの差分二乗和SSDiを、以下の式(1)により算出する。 In S303, the similar patch detection unit 203 detects patches similar to the target patch based on the target patch. Specifically, first, the similar patch detection unit 203 sequentially sets pixels included in a search range in the vicinity of the pixel of interest as reference pixels, and sets reference patches for the reference pixels. The shape of each reference patch matches the shape of the patch of interest. In the present embodiment, the similar patch search range is set to 15 pixels×15 pixels centered on the pixel of interest. For example, when the pixel position of the pixel of interest is (x, y), and the pixel at (x−3, y−3) is the reference pixel, as shown in FIG. A region of 8 pixels is set as a reference patch. Based on the degree of similarity between the patch of interest and the reference patch, it is determined whether the reference patch is similar to the patch of interest. The degree of similarity is calculated by calculating the difference in pixel value between each pixel in the patch of interest and each pixel in the reference patch, and summing the squares of the differences. be. Specifically, the similarity patch detection unit 203 calculates the sum of squared differences SSDi of the i-th reference patch using the following equation (1).

Figure 0007114431000001
Figure 0007114431000001

Ri(j)はi番目の参照パッチにおけるj番目の画素値である。T(j)は着目パッチTにおけるj番目の画素値である。パッチにおける画素位置が同じ2つの画素の画素値の差分を2乗した値を累積することで、差分二乗和が算出される。このように差分二乗和SSDiを用いて類似度を算出する場合、類似度の値が小さいほど、参照パッチRiは着目パッチTに類似していることを意味する。つまり、類似度の値が小さいほど、類似度が高い。一方類似度の値が大きいほど、参照パッチRiは着目パッチTに類似していない。 Ri(j) is the j-th pixel value in the i-th reference patch. T(j) is the j-th pixel value in the patch T of interest. The sum of squared differences is calculated by accumulating the values obtained by squaring the difference between the pixel values of two pixels having the same pixel position in the patch. When the similarity is calculated using the sum of squared differences SSDi in this way, it means that the reference patch Ri is more similar to the target patch T as the similarity value is smaller. That is, the smaller the similarity value, the higher the similarity. On the other hand, the greater the similarity value, the less similar the reference patch Ri to the target patch T.

類似パッチ検出部203は、参照パッチの類似度の値が所定の閾値未満の場合、着目パッチと類似していると判定し、参照パッチを類似パッチとする。一方類似度が所定の閾値以上の場合、参照パッチは着目パッチと類似していないと判定する。これにより類似パッチ検出部203は、着目画素近傍において、着目パッチの特徴と類似した類似パッチを検出する。なおここでは探索範囲は15画素×15画素であるため、1つの着目パッチに対して225回類似度判定することになる。類似パッチ検出部203は、N個の類似パッチを検出したとする。類似パッチの数は、各参照パッチが着目パッチに類似しているかどうかに依存する。そのため多くの場合は、着目パッチが異なると類似パッチの数も異なる。 If the similarity value of the reference patch is less than a predetermined threshold, the similar patch detection unit 203 determines that the patch is similar to the patch of interest, and sets the reference patch as the similar patch. On the other hand, when the degree of similarity is equal to or greater than the predetermined threshold, it is determined that the reference patch is not similar to the patch of interest. Accordingly, the similar patch detection unit 203 detects a similar patch similar to the feature of the patch of interest in the vicinity of the pixel of interest. Note that since the search range is 15 pixels×15 pixels here, similarity determination is performed 225 times for one patch of interest. Assume that the similar patch detection unit 203 has detected N similar patches. The number of similar patches depends on whether each reference patch is similar to the patch of interest. Therefore, in many cases, the number of similar patches differs for different patches of interest.

次のS304において対象パッチ設定部204は、ノイズ低減処理を行うための対象パッチを、類似パッチ群に基づいて設定する。対象パッチは、類似パッチを検出するための第1の画素数とは異なる第2の画素数の画素によって構成される。図4(a)は、本実施形態における検出される類似パッチと対象パッチの位置と画素数の関係を示す。対象パッチは、類似パッチに対応して設定されるパッチであり、着目パッチの画素数とは異なる画素数である。本実施形態において対象パッチ設定部204は、前述の通り、黒画素を着目画素とすると、着目画素と斜線を描かれた画素とを含む4画素×4画素の領域を対象パッチとする。つまり本実施形態において対象パッチは、着目パッチに類似しているパッチの一部領域である。このように対象パッチ設定部204は、類似パッチ検出部203が検出した全ての類似パッチに対して対象パッチを設定する。対象パッチの数は、類似パッチの数と同様N個である。 In next step S304, the target patch setting unit 204 sets target patches for noise reduction processing based on the similar patch group. The target patch is composed of a second number of pixels different from the first number of pixels for detecting similar patches. FIG. 4A shows the relationship between the positions and the number of pixels of similar patches and target patches detected in this embodiment. The target patch is a patch that is set corresponding to the similar patch, and has the number of pixels different from the number of pixels of the patch of interest. In this embodiment, assuming that the black pixel is the target pixel, the target patch setting unit 204 determines the target patch to be a 4×4 pixel region including the target pixel and the shaded pixels, as described above. That is, in this embodiment, the target patch is a partial area of the patch similar to the target patch. In this manner, the target patch setting unit 204 sets target patches for all similar patches detected by the similar patch detection unit 203 . The number of target patches is N, the same as the number of similar patches.

S305においてノイズ低減処理部205は、対象パッチ群に基づいて各対象パッチのノイズ低減処理を行い、ノイズ低減されたパッチ群を生成する。まずノイズ低減処理部205は、対象パッチ群に基づいて、平均パッチと共分散行列Cを算出する。対象パッチ群において、同じ位置の画素の画素値の平均を算出し、各画素位置に平均値を格納して平均パッチを算出する。従って平均パッチは、対象パッチの形状と同じ形状である。本実施形態においては、4画素×4画素のパッチである。平均パッチにおける画素の数をM個とし、M個の画素の画素値を並べた列ベクトルをQとすると、ノイズ低減処理部205は、式(2)により平均パッチを算出する。 In S305, the noise reduction processing unit 205 performs noise reduction processing on each target patch based on the target patch group, and generates a noise-reduced patch group. First, the noise reduction processing unit 205 calculates the average patch and the covariance matrix C based on the target patch group. In the target patch group, an average of pixel values of pixels at the same position is calculated, and the average value is stored at each pixel position to calculate an average patch. Therefore, the average patch has the same shape as the target patch. In this embodiment, it is a patch of 4 pixels×4 pixels. Let M be the number of pixels in the average patch, and let Q be a column vector in which the pixel values of the M pixels are arranged.

Figure 0007114431000002
Figure 0007114431000002

Piは、i番目の対象パッチを表す。また、対象パッチ群から算出される共分散行列Cは、正方行列であり、一辺のサイズが対象パッチを構成する画素数Mである。ノイズ低減処理部205は、平均パッチQを用いて式(3)により共分散行列Cを算出する。 Pi represents the i-th target patch. Also, the covariance matrix C calculated from the target patch group is a square matrix, and the size of one side is the number of pixels M constituting the target patch. The noise reduction processing unit 205 uses the average patch Q to calculate the covariance matrix C by Equation (3).

Figure 0007114431000003
Figure 0007114431000003

共分散行列Cは、対象パッチにおいての各画素の間にどのような相関があるかを示す。パッチにおいて隣接する2つの画素に着目したとき、多くの対象パッチにおいて画素値が近い値だったり、同様の差分があったりする場合は、2画素間には相関があるとみなすことができる。 The covariance matrix C indicates what kind of correlation there is between each pixel in the target patch. Focusing on two pixels adjacent to each other in a patch, if many target patches have similar pixel values or similar differences, it can be assumed that there is a correlation between the two pixels.

さらにノイズ低減処理部205は、共分散行列Cの複数の固有値と固有値それぞれに対応する固有ベクトルを算出する。画素間の相関を示す共分散行列に対して固有値・固有ベクトルを算出することで、対象パッチ群からテクスチャ成分を抽出する。一般に、固有値と固有ベクトルはそれぞれ複数存在し、固有値と固有ベクトルそれぞれの数は共分散行列の一辺のサイズである。すなわち、固有値と固有ベクトルはそれぞれ対象パッチを構成する画素数M個分、存在する。また、固有ベクトルの要素の数は、対象パッチを構成する画素数Mと同じである。j番目の固有値をλj、j番目の固有ベクトルをEjと表す。共分散行列Cの固有値λjと固有ベクトルEjは、共分散行列Cに対して式(4)の関係を満たす。つまり固有値λjと固有ベクトルEjは、お互いに対応している。 Further, the noise reduction processing unit 205 calculates a plurality of eigenvalues of the covariance matrix C and eigenvectors corresponding to each eigenvalue. Texture components are extracted from the target patch group by calculating eigenvalues and eigenvectors for the covariance matrix that indicates the correlation between pixels. In general, there are a plurality of eigenvalues and eigenvectors, and the number of eigenvalues and eigenvectors is the size of one side of the covariance matrix. In other words, there are eigenvalues and eigenvectors for M pixels constituting the target patch. Also, the number of elements of the eigenvector is the same as the number M of pixels forming the target patch. Let λj be the j-th eigenvalue and Ej be the j-th eigenvector. The eigenvalues λj and eigenvectors Ej of the covariance matrix C satisfy the relationship of Equation (4) with respect to the covariance matrix C. That is, the eigenvalue λj and the eigenvector Ej correspond to each other.

CE=λ (4)
ノイズ低減処理部205は、式(4)を満たす固有値λjと固有ベクトルEjを算出する。ここで固有ベクトルEjは、互いに類似するパッチ集合において抽出されるテクスチャ成分に相当する。また固有値λjは、対応する固有ベクトルが表すテクスチャ成分が、ノイズによって生じたテクスチャである場合、画像におけるノイズの分散程度になる。固有値の値が、ノイズの分散より大きい値であるほど、その固有値に対応する固有ベクトルは、本来画像に残すべき被写体のテクスチャ成分であることを意味する。ノイズ低減処理部205は、被写体のテクスチャ成分を残し、ノイズによるテクスチャ成分を除去するように、各対象パッチをノイズ低減処理する。
CE jj E j (4)
The noise reduction processing unit 205 calculates eigenvalues λj and eigenvectors Ej that satisfy equation (4). Here, the eigenvectors Ej correspond to texture components extracted from mutually similar patch sets. Also, if the texture component represented by the corresponding eigenvector is a texture generated by noise, the eigenvalue λj is about the variance of the noise in the image. The larger the eigenvalue is than the variance of the noise, the more the eigenvector corresponding to the eigenvalue is the texture component of the object that should be left in the image. The noise reduction processing unit 205 performs noise reduction processing on each target patch so as to leave the texture component of the object and remove the texture component due to noise.

ノイズ低減処理部205は、この固有値・固有ベクトルに基づいて、式(5)により各対象パッチに対応した基底行列Bを生成する。 Based on the eigenvalues and eigenvectors, the noise reduction processing unit 205 generates a base matrix B corresponding to each target patch using Equation (5).

B≡(E・・E) (5)
基底行列BはK行M列の行列である。さらにノイズ低減処理205は、基底行列Bに基づいて各対象パッチに対して射影処理をする。係数Kは事前に設定しておく。係数Kは、0<K<Mを見たし、テクスチャとして残す主成分の数に対応する。ノイズ低減処理部205は、基底行列Bから式(6)により射影行列Hを導出する。
B ≡ (E 1 E 2 . . . E M ) (5)
The basis matrix B is a matrix of K rows and M columns. Furthermore, the noise reduction processing 205 performs projection processing on each target patch based on the base matrix B. FIG. Coefficient K is set in advance. The coefficient K satisfies 0<K<M and corresponds to the number of principal components left as texture. The noise reduction processing unit 205 derives the projection matrix H from the base matrix B by Equation (6).

H≡(E・・E(E・・E) (6)
ノイズ低減処理部205は、射影行列Hを用いて、式(7)の通りに各対象パッチPiから平均パッチWを引いた差分パッチを、射影行列Hを用いて射影し、射影した結果に平均パッチに加算することで、対象パッチのノイズを低減する。このような補正により、主成分だけを残してノイズ低減したパッチOiが算出される。ノイズ低減処理205による処理は、以下の式(7)の通りに表される。
H≡(E 1 E 2 .E K ) t (E 1 E 2 .E K ) (6)
The noise reduction processing unit 205 uses the projection matrix H to project the difference patch obtained by subtracting the average patch W from each target patch Pi according to Equation (7) using the projection matrix H, and calculates the average Add to the patch to reduce noise in the target patch. By such correction, a patch Oi is calculated in which noise is reduced while leaving only the main component. The processing by the noise reduction processing 205 is expressed as the following equation (7).

≡Q+H(P-Q) (7)
ノイズ低減処理部205は、ノイズ低減された各対象パッチに含まれる画素の画素値を蓄積する。
O i ≡Q+H(P i −Q) (7)
The noise reduction processing unit 205 accumulates pixel values of pixels included in each noise-reduced target patch.

S306において着目パッチ設定部202は、入力された画像における各画素に対して着目パッチを設定したかどうかを判定する。全ての画素を着目画素として着目パッチを設定した場合はS307に進む。着目画素として設定していない画素があれば、S302に戻り、処理を繰り返す。 In S306, the target patch setting unit 202 determines whether or not a target patch has been set for each pixel in the input image. If the patch of interest is set with all the pixels as the pixels of interest, the process advances to step S307. If there is a pixel that is not set as the pixel of interest, the process returns to S302 and repeats the process.

S307において画像合成部206は、ノイズ低減されたパッチ群を合成する(アグリゲーション)ことで、入力画像におけるノイズを低減した出力画像を生成する。具体的には、入力画像と同じサイズで構成された画像へ、ノイズ低減処理した後の対象パッチに含まれる各画素の画素値をノイズ低減前のパッチがあった画素位置に蓄積する。ただし、ノイズ低減処理後の画素値が複数算出されているは、複数の画素値の平均値を用いて画素値を更新する。 In step S<b>307 , the image synthesizing unit 206 generates an output image in which the noise in the input image is reduced by synthesizing (aggregating) the noise-reduced patch groups. Specifically, the pixel value of each pixel included in the target patch after noise reduction processing is accumulated in the pixel position where the patch before noise reduction was located in an image having the same size as the input image. However, if a plurality of pixel values after noise reduction processing have been calculated, the average value of the plurality of pixel values is used to update the pixel value.

以上により、本実施形態に係るノイズ低減処理を完了する。本実施形態では、着目パッチと類似する類似パッチを検出する処理においては、8画素×8画素の領域をパッチのサイズとした。その後、パッチに対するノイズ低減処理を行う処理においては、8画素×8画素からなる類似パッチの一部領域を対象パッチとした。類似パッチを検出する処理では、パッチのサイズが小さいと、類似パッチの検出精度が低くなりやすい。着目パッチに類似していない参照パッチであっても、類似度の値が小さく算出されてしまう。そのため、類似パッチを検出する際には、パッチの画素数が多い場合の方が、パッチの画素数が少ない場合よりも、より高精度に類似パッチを検出することができる。 With the above, the noise reduction processing according to the present embodiment is completed. In this embodiment, in the process of detecting a similar patch similar to the patch of interest, the size of the patch is set to an area of 8 pixels×8 pixels. After that, in the process of performing noise reduction processing on the patch, a partial region of the similar patch consisting of 8 pixels×8 pixels was used as the target patch. In the process of detecting similar patches, if the patch size is small, the similar patch detection accuracy tends to be low. Even for a reference patch that is not similar to the patch of interest, the similarity value is calculated to be small. Therefore, when detecting a similar patch, a patch with a large number of pixels can be detected with higher accuracy than a patch with a small number of pixels.

一方、パッチ群から算出される固有値および固有ベクトルは、前述の通り、パッチから抽出されるテクスチャ成分に相当する。固有値および固有ベクトルは、パッチを構成する画素数分、算出される。従って、パッチのサイズが大きいほど、多数のテクスチャ成分が抽出されることになる。しかしながら、パッチ数が少ない場合は、パッチ特有のテクスチャ成分を多数抽出するのが難しい。言い換えると、パッチ数が決まっている場合には、抽出するテクスチャ成分(固有ベクトル)は少ない方が、精度が良い。そこで本実施形態では、パッチのノイズを低減するための固有値および固有ベクトルを算出する処理においては、類似パッチよりも少ない画素数のパッチを対象パッチとすることで、算出する固有値および固有ベクトルの数を減らす。これにより、ノイズ低減処理に用いる固有値および固有ベクトルを、高精度に算出することができる。その結果、パッチ群に対して適切なノイズ低減処理を実行でき、結果として入力画像のノイズをより低減することができる。 On the other hand, the eigenvalues and eigenvectors calculated from the patch group correspond to the texture components extracted from the patches, as described above. Eigenvalues and eigenvectors are calculated for the number of pixels constituting the patch. Therefore, the larger the patch size, the more texture components are extracted. However, when the number of patches is small, it is difficult to extract many patch-specific texture components. In other words, when the number of patches is fixed, the fewer the texture components (eigenvectors) to extract, the better the accuracy. Therefore, in the present embodiment, in the process of calculating eigenvalues and eigenvectors for reducing patch noise, patches with fewer pixels than similar patches are used as target patches, thereby reducing the number of eigenvalues and eigenvectors to be calculated. . As a result, the eigenvalues and eigenvectors used for noise reduction processing can be calculated with high accuracy. As a result, appropriate noise reduction processing can be performed on the patch group, and as a result, noise in the input image can be further reduced.

なお本実施形態では、全画素を着目画素として設定した後、一括してアグリゲーションを行っている。しかしながら、所定のタイミングで、それまでにノイズ低減処理したパッチを合成する処理を、入力画像に対して繰り返してもよい。例えば、入力画像における所定のバンド領域に含まれる画素を着目画素として設定し、バンド領域の全画素に対する処理が完了したら、アグリケーションを実行してもよい。他にも、ノイズ低減処理後の画素値が所定数得られた時点で、平均化し、平均値を算出された画素から順次出力するようにしてもよい。 Note that in the present embodiment, aggregation is performed collectively after all pixels are set as pixels of interest. However, at a predetermined timing, the process of synthesizing previously noise-reduced patches may be repeated with respect to the input image. For example, pixels included in a predetermined band area in the input image may be set as pixels of interest, and aggregation may be executed when processing for all pixels in the band area is completed. Alternatively, when a predetermined number of pixel values after noise reduction processing are obtained, they may be averaged, and sequentially output from the pixel for which the average value is calculated.

また、本実施形態では、類似パッチおよび対象パッチのいずれも矩形領域とした。他にも、円形領域や棒状領域をパッチとしてもよい。また、隣接画素ではない画素が含まれる画素群をパッチとしてもよい。また、本実施形態では、対象パッチは類似パッチにおける一部領域となるように設定した。そのため対象パッチは、着目パッチと類似しているとみなすことができる領域である。しかしながら例えば、図4(c)に示すように対象パッチの一部が類似パッチに含まれない場合でも、効果を得ることはできる。類似パッチが着目パッチに類似している場合は、類似パッチの周辺と着目パッチの周辺も類似している可能性が高い。そのため、図4(c)に示すように対象パッチを設定しても、対象パッチ群は十分互いに類似しているとみなすことができるためである。また、対象パッチは、図4(d)に示す様に類似パッチより大きなパッチを対象パッチとして設定することが望ましい場合もある。例えば、類似パッチが多数検出されている場合は、対象パッチの画素数を増やしても、精度よく多数のテクスチャ成分(固有ベクトル)を算出することができる。一方、類似パッチが多数検出された場合に、着目パッチの画素数を多くして再度類似パッチを検出すると、似ていると判定されるパッチ数が減ってしまう。この場合は、対象パッチの画素数を類似パッチの画素数よりも増やすことで、よりノイズ低減効果を高めることができる。 Also, in this embodiment, both the similar patch and the target patch are rectangular areas. Alternatively, a circular area or a bar-shaped area may be used as a patch. Alternatively, a pixel group including pixels that are not adjacent pixels may be used as a patch. Also, in this embodiment, the target patch is set to be a partial area of the similar patch. Therefore, the target patch is an area that can be regarded as similar to the patch of interest. However, even if, for example, a part of the target patch is not included in the similar patches as shown in FIG. 4(c), the effect can be obtained. If the similar patch is similar to the patch of interest, there is a high possibility that the surroundings of the similar patch and the surroundings of the patch of interest are also similar. Therefore, even if the target patches are set as shown in FIG. 4C, the target patch groups can be considered to be sufficiently similar to each other. Also, as shown in FIG. 4D, it may be desirable to set a patch larger than the similar patch as the target patch. For example, when many similar patches are detected, even if the number of pixels of the target patch is increased, many texture components (eigenvectors) can be calculated with high accuracy. On the other hand, when a large number of similar patches are detected, if the number of pixels of the patch of interest is increased and similar patches are detected again, the number of patches determined to be similar decreases. In this case, the noise reduction effect can be further enhanced by increasing the number of pixels of the target patch more than the number of pixels of the similar patch.

<実施形態2>
実施形態1では、類似パッチのサイズを調整することで、類似パッチの画素数とは異なる画素数を有する対象パッチを設定する方法について説明した。実施形態2では、パッチに対するノイズ低減処理において、類似パッチのサイズを調整しない場合と、類似パッチのサイズを調整する場合とを切り替える方法について説明する。なお、画像処理装置のハードウェア構成は実施形態1と同様である。実施形態1と同様の構成については、同一の符号を付し、詳細な説明を省略する。
<Embodiment 2>
In the first embodiment, a method of setting a target patch having a different number of pixels from the number of pixels of the similar patch by adjusting the size of the similar patch has been described. In the second embodiment, a method for switching between a case where the size of the similar patch is not adjusted and a case where the size of the similar patch is adjusted in noise reduction processing for patches will be described. Note that the hardware configuration of the image processing apparatus is the same as that of the first embodiment. The same reference numerals are assigned to the same configurations as in the first embodiment, and detailed description thereof is omitted.

図5は、実施形態2における画像処理装置の詳細な論理構成を示すブロック図である。画像処理装置は、画像入力部201、着目パッチ設定部202、類似パッチ検出部203、判定部501、対象パッチ設定部204、ノイズ低減処理部205、画像合成部206を有する。 FIG. 5 is a block diagram showing the detailed logical configuration of the image processing apparatus according to the second embodiment. The image processing apparatus has an image input unit 201 , a target patch setting unit 202 , a similar patch detection unit 203 , a determination unit 501 , a target patch setting unit 204 , a noise reduction processing unit 205 and an image synthesizing unit 206 .

判定部501は、パッチ群に対してノイズ低減処理する際に、類似パッチとは異なる画素数の対象パッチを設定するか否かを判定する。対象パッチを設定しない場合は、検出した複数の類似パッチを用いてノイズ低減処理を行う。これはつまり、類似パッチをそのまま対象パッチとして用いる、と言い換えることもできる。本実施形態において判定部501は、類似パッチを検出する際に参照画素を設定する範囲における画素値の分散と、入力画像におけるノイズ分散とに基づいて、対象パッチを設定するか否かを判定する。入力画像におけるノイズ分散は、予め入力画像に基づいて算出しておく。 The determination unit 501 determines whether or not to set a target patch having a pixel count different from that of similar patches when performing noise reduction processing on a group of patches. When the target patch is not set, noise reduction processing is performed using a plurality of detected similar patches. In other words, it can be said that the similar patch is used as it is as the target patch. In this embodiment, the determination unit 501 determines whether to set a target patch based on the variance of pixel values in the range in which reference pixels are set when detecting a similar patch and the noise variance in the input image. . The noise variance in the input image is calculated in advance based on the input image.

ノイズ低減処理部502は、対象パッチが設定された場合は対象パッチ群に基づいて、各対象パッチに対してノイズ低減処理を実行する。またノイズ低減処理部502は、判定部により対象パッチを設定しないと判定された場合は、類似パッチ群に基づいて、各類似パッチに対してノイズ低減処理を実行する。 When target patches are set, the noise reduction processing unit 502 performs noise reduction processing on each target patch based on the target patch group. If the determination unit determines not to set the target patch, the noise reduction processing unit 502 performs noise reduction processing on each similar patch based on the similar patch group.

図6は、実施形態2におけるノイズ低減処理の流れを示すフローチャートである。S301、S302、S303、S304、S306は実施形態1と同じである。 FIG. 6 is a flowchart showing the flow of noise reduction processing according to the second embodiment. S301, S302, S303, S304, and S306 are the same as in the first embodiment.

S601において判定部501が、対象パッチを設定するか否かを判定する。判定部501は、参照画素を設定する範囲内における画素値の分散に基づいて、対象パッチを設定するか否かを判定する。判定部501はまず、着目画素に対して参照画素を設定する探索範囲(ここでは15画素×15画素)の各画素の画素値に基づいて、画素値の分散を算出する。判定部501は、探索範囲における各画素の画素値の分散が入力画像のノイズ分散より大きい場合、類似パッチと画素数の異なる対象パッチを設定すると判定する。探索範囲における画素値の分散が入力画像のノイズ分散より以下の場合は、類似パッチと画素数の異なる対象パッチを設定しない。 In S601, the determination unit 501 determines whether to set the target patch. The determination unit 501 determines whether or not to set a target patch based on the distribution of pixel values within a range in which reference pixels are set. The determination unit 501 first calculates the variance of the pixel values based on the pixel values of the pixels in the search range (here, 15 pixels×15 pixels) in which the reference pixel is set for the pixel of interest. The determining unit 501 determines to set a target patch having a different number of pixels from the similar patch when the variance of the pixel value of each pixel in the search range is greater than the noise variance of the input image. If the variance of pixel values in the search range is less than the noise variance of the input image, no target patch with a different number of pixels from the similar patch is set.

なお、判定部501により対象パッチを設定すると判定された場合、対象パッチとして類似パッチの一部領域が設定される。テクスチャがある場合には画素値の分散が大きく、検出できる類似パッチ数が少ない可能性がある。類似パッチ数が少ない場合は、画素数の多い類似パッチのまま類似パッチ群に基づいて、実施形態1と同様の固有値および固有ベクトルを算出すると、テクスチャ成分に相当する固有ベクトルを適切に算出できない。そのため検出した類似パッチ数が少なかったとしても精度よくノイズ低減処理を実現するために本実施形態では、類似パッチの画素数よりも少ない画素数の対象パッチを設定する。一方、画素値の分散がノイズ分散より小さい場合は、探索領域が平坦な領域であり、多数の類似パッチを検出できる可能性が高い。多数の類似パッチを検出できる場合は、画素数が少ないパッチを用いてノイズ低減処理するよりも、画素数が多いパッチを用いてノイズ低減処理した方が、ノイズ低減効果が高い。そのため、画素値の分散が十分小さい場合は、類似パッチの画素数よりも少ない画素数の対象パッチを設定せず、類似パッチを用いてノイズ低減処理を実行する。 If the determination unit 501 determines to set the target patch, a partial area of the similar patch is set as the target patch. If there is texture, the variance of pixel values is large, and the number of similar patches that can be detected may be small. When the number of similar patches is small, if eigenvalues and eigenvectors similar to those in the first embodiment are calculated based on the similar patch group with similar patches having a large number of pixels, eigenvectors corresponding to texture components cannot be calculated appropriately. For this reason, in order to achieve accurate noise reduction processing even if the number of detected similar patches is small, in the present embodiment, target patches having a smaller number of pixels than the number of pixels of the similar patches are set. On the other hand, if the pixel value variance is smaller than the noise variance, the search area is a flat area, and there is a high possibility that many similar patches can be detected. When a large number of similar patches can be detected, the noise reduction effect is higher when performing noise reduction processing using a patch with a large number of pixels than when performing noise reduction processing using a patch with a small number of pixels. Therefore, when the variance of pixel values is sufficiently small, the similar patch is used to perform noise reduction processing without setting a target patch having a smaller number of pixels than the number of pixels of the similar patch.

S602においてノイズ低減処理部502は、対象パッチが設定されている場合は対象パッチに基づいて、対象パッチが設定されていない場合は類似パッチに基づいてノイズ低減処理を行う。S602におけるノイズ低減処、実施形態1におけるS305と同様である。以上、実施形態2におけるノイズ低減処理が完了する。このように、類似パッチを検出するためのパッチの画素数と、パッチに対するノイズ低減処理のためのパッチの画素数を異ならせるか否かを切り替えることで、画像の特徴に応じてノイズ低減処理することができる。類似パッチ数が多い場合は、画素数の多いパッチを用いてノイズ低減処理することで、ノイズ低減効果をより高め、類似パッチ数が少ない場合は、画素数少ないパッチを用いてノイズ低減処理することで、精度よくノイズ低減できる。 In S602, the noise reduction processing unit 502 performs noise reduction processing based on the target patch if the target patch is set, or based on the similar patch if the target patch is not set. The noise reduction processing in S602 is the same as S305 in the first embodiment. As described above, the noise reduction processing in the second embodiment is completed. In this way, by switching whether or not the number of pixels in patches for detecting similar patches is different from the number of pixels in patches for noise reduction processing on patches, noise reduction processing is performed according to the characteristics of the image. be able to. If the number of similar patches is large, noise reduction processing is performed using patches with a large number of pixels to further enhance the noise reduction effect, and if the number of similar patches is small, noise reduction processing is performed using patches with a small number of pixels. , can reduce noise with high accuracy.

<実施形態2の変形例>
実施形態2では、画素値の分散が大きい場合は、類似パッチの画素数よりも少ない画素数の対象パッチを設定し、画素値の分散が小さい場合は対象パッチを設定しない形態とした。一方、類似パッチを用いるノイズ低減処理と、類似パッチよりも画素数の多い対象パッチを用いるノイズ低減処理を切り替える形態としてもよい。この場合判定部501は、画素値の分散がノイズ分散より小さい場合には、類似パッチよりも画素数の多い対象パッチを設定すると判定する。画素値の分散がノイズ分散以上である場合、判定部501は、対象パッチを設定しない。類似パッチをできる領域においては、よりサイズの大きなパッチを用いてノイズ低減処理を実行することで、ノイズ低減処理の結果低周波ノイズが残留すること防げる。判定部501が、類似パッチを検出するために用いるパッチサイズ(画素数)と、ノイズ低減処理を実行する際のパッチサイズ(画素数)を異ならせるべきか否かを判定することで、それぞれの工程において適切なサイズのパッチを設定できる。
<Modification of Embodiment 2>
In the second embodiment, when the variance of pixel values is large, a target patch with a smaller number of pixels than the similar patch is set, and when the variance of pixel values is small, no target patch is set. On the other hand, the noise reduction processing using the similar patch and the noise reduction processing using the target patch having more pixels than the similar patch may be switched. In this case, the determination unit 501 determines to set a target patch having a larger number of pixels than similar patches when the variance of pixel values is smaller than the noise variance. If the pixel value variance is greater than or equal to the noise variance, the determination unit 501 does not set the target patch. In areas where similar patches can be applied, noise reduction processing is performed using patches of a larger size, thereby preventing low-frequency noise from remaining as a result of noise reduction processing. The determination unit 501 determines whether or not the patch size (number of pixels) used for detecting similar patches should be different from the patch size (number of pixels) used when performing noise reduction processing. Appropriately sized patches can be set in the process.

また、実施形態2では、判定部501は、探索範囲に含まれる画素の画素値の分散に基づいて、処理に用いるパッチのサイズを変更するか否かを判定した。しかしながら、画素値の分散を算出する範囲として、着目パッチ、類似パッチ群に含まれる画素群を用いてもよい。 In the second embodiment, the determination unit 501 determines whether to change the size of the patch used for processing based on the variance of the pixel values of the pixels included in the search range. However, a group of pixels included in the patch of interest and the group of similar patches may be used as the range for calculating the variance of pixel values.

類似パッチの数が多い場合は、ノイズ低減処理に用いるパッチの画素数を大きく、類似パッチの数が少ない場合は、ノイズ低減処理に用いるパッチの画素数を少なくする。そのたえ実施形態2では、画素値の分散を算出し、着目画素近傍が類似パッチを検出しやすい平坦な領域であるか否かを判定した。他の例として、判定部501は、類似パッチ数や、類似パッチ群の総画素数を用いて、対象パッチを設定するか否かを判定してもよい。この場合、類似パッチ数あるいは類似パッチ群の総画素数が少ない場合は、類似パッチよりも画素数の少ないパッチを対象パッチとして設定する形態とすれば、実施形態2と同様の効果を得ることができる。また、平坦な領域であれば類似パッチを多数検出できる可能性が高く、平坦ではない領域である場合は多数の類似パッチを検出できない可能性が高い。そこで、着目パッチや探索範囲におけるエッジを検出し、判定部501はエッジに応じて対象パッチを設定するか否かを判定するようにしてもよい。 When the number of similar patches is large, the number of pixels of the patch used for noise reduction processing is increased, and when the number of similar patches is small, the number of pixels of the patch used for noise reduction processing is decreased. Therefore, in the second embodiment, the variance of pixel values is calculated, and it is determined whether or not the neighborhood of the pixel of interest is a flat area in which similar patches can be easily detected. As another example, the determination unit 501 may determine whether or not to set the target patch using the number of similar patches or the total number of pixels in the group of similar patches. In this case, if the number of similar patches or the total number of pixels in the group of similar patches is small, a patch with a smaller number of pixels than the similar patch may be set as the target patch to obtain the same effect as in the second embodiment. can. Also, if the area is flat, there is a high possibility that many similar patches can be detected, and if the area is not flat, there is a high possibility that many similar patches cannot be detected. Therefore, an edge in the patch of interest or the search range may be detected, and the determination unit 501 may determine whether or not to set the target patch according to the edge.

さらに判定部501は、対象パッチを設定する否かだけではなく、対象パッチの画素数や形状を指定する形態としても良い。例えば、判定部501は、着目画素近傍における画素値の分散に応じた画素数を導出し、導出された画素数の対象パッチを設定しても良い。 Furthermore, the determining unit 501 may specify not only whether or not to set the target patch, but also the number of pixels and the shape of the target patch. For example, the determination unit 501 may derive the number of pixels according to the distribution of pixel values in the vicinity of the pixel of interest, and set the target patch for the derived number of pixels.

<実施形態3>
実施形態1および実施形態2では、パッチ群に対するノイズ低減処理として、パッチ群から算出される共分散行列の固有値および固有ベクトルから射影行列を導出し、射影行列を用いる方法を例に説明した。しかしながら、パッチベースのノイズ低減処理として、射影行列ではなく、共分散行列を用いてパッチに対してノイズ低減処理する方法がある。実施形態3では、共分散行列を用いてパッチベースのノイズ低減処理を行う場合に、対象パッチを設定する形態について説明する。
<Embodiment 3>
In Embodiments 1 and 2, a method of deriving a projection matrix from eigenvalues and eigenvectors of a covariance matrix calculated from a patch group and using the projection matrix has been described as an example of noise reduction processing for a patch group. However, as patch-based noise reduction processing, there is a method of performing noise reduction processing on patches using covariance matrices instead of projection matrices. In the third embodiment, a form of setting a target patch when performing patch-based noise reduction processing using a covariance matrix will be described.

実施形態3において、画像処理装置の構成や処理の流れは、実施形態1と同様である。ただし、対象パッチ設定部202が実行するS304における処理とノイズ低減処理部205が実行するS305における具体的な処理が異なる。 In the third embodiment, the configuration and processing flow of the image processing apparatus are the same as in the first embodiment. However, the processing in S304 executed by the target patch setting unit 202 and the specific processing in S305 executed by the noise reduction processing unit 205 are different.

まず、実施形態3のS305における処理の詳細を説明する。S305においてノイズ低減処理205は、共分散行列を算出する処理までは実施形態1と同様である。ここではノイズ低減処理205は、共分散行列Cに基づいて補正用行列Hを算出する。 First, details of the processing in S305 of the third embodiment will be described. The noise reduction processing 205 in S305 is the same as in the first embodiment up to the processing of calculating the covariance matrix. Here, the noise reduction processing 205 calculates the correction matrix H based on the covariance matrix C. FIG.

H≡σ(E・・Ediag(λ -1,λ -1,・・,λ -1)(E・・E) (8)
ここで算出される補正用行列Hは、共分散行列Cと同様に、一辺のサイズが対象パッチの画素数Mである正方行列である。ノイズ低減処理部205は、補正値行列Hに基づいて、対象パッチそれぞれを補正する。具体的には、平均パッチをQ、i番目の対象パッチをPiとしたとき、ノイズ低減処理部205は、以下の式(6)により補正した類似パッチOiを算出する。
H≡σ 2 ( E 1 E 2 ..E M ) t diag(λ 1 −1 , λ 2 −1 , .
The correction matrix H calculated here, like the covariance matrix C, is a square matrix whose side size is the number of pixels M of the target patch. The noise reduction processing unit 205 corrects each target patch based on the correction value matrix H. FIG. Specifically, when the average patch is Q and the i-th target patch is Pi, the noise reduction processing unit 205 calculates a corrected similar patch Oi using the following equation (6).

≡P-H(P-Q) (9)
すなわち、式(9)における第2項目のH(Pi-Q)が対象パッチPiに対する補正値である。この補正値を対象パッチPiから減算することで、各類似パッチのノイズが低減される。
O i ≡P i -H(P i -Q) (9)
That is, the second term H(Pi-Q) in equation (9) is the correction value for the target patch Pi. By subtracting this correction value from the target patch Pi, the noise of each similar patch is reduced.

このようなノイズ低減処理では、補正用行列として、式(8)に示す通り共分散行列の逆行列を用いる。共分散行列は、前述の通り、対象パッチの画素数M×Mの正方行列である。M×Mである補正用行列として、正則な行列(逆行列を算出できる行列)を算出するためには、画素数+1枚分のパッチ数を必要とする。従って、検出した類似パッチが少ない場合、画素数の多い類似パッチを用いて共分散行列を算出すると、逆行列を導出できず、結果としてパッチに対するノイズ低減処理を実行できない場合がある。 In such noise reduction processing, the inverse matrix of the covariance matrix is used as the correction matrix as shown in Equation (8). The covariance matrix is a square matrix of M×M pixels of the target patch, as described above. In order to calculate a regular matrix (a matrix whose inverse matrix can be calculated) as the M×M correction matrix, the number of pixels plus one patch is required. Therefore, if the number of similar patches detected is small and the covariance matrix is calculated using similar patches with a large number of pixels, the inverse matrix cannot be derived, and as a result, noise reduction processing on the patches may not be performed.

そこで実施形態3では、対象パッチ設定部202は、S304において、検出した類似パッチの数に応じて、対象パッチの画素数を設定する。具体的には、対象パッチ設定部202は、類似パッチに含まれる画素のうち、検出した類似パッチの数-1分の画素を選択し、対象パッチとして設定する。なお、類似パッチのうち選択する画素順は、予め保持しておく。ここでは参照画素から近い順とする。また、(類似パッチの数-1)が類似パッチの画素数よりも多い場合は、類似パッチの画素すべての選択するものとする。つまり類似パッチを(類似パッチの画素数+1)以上検出できた場合は、類似パッチをそのまま対象パッチとすることになる。 Therefore, in the third embodiment, the target patch setting unit 202 sets the number of pixels of the target patch in accordance with the number of detected similar patches in S304. Specifically, the target patch setting unit 202 selects the number of detected similar patches minus 1 pixels from among the pixels included in the similar patches, and sets the pixels as target patches. Note that the order of pixels to be selected from the similar patches is held in advance. Here, the pixels are arranged in order of proximity from the reference pixel. If (the number of similar patches - 1) is greater than the number of pixels in the similar patch, all the pixels in the similar patch are selected. In other words, when similar patches are detected at (the number of pixels of the similar patch+1) or more, the similar patch is directly used as the target patch.

検出した類似パッチの数が少ない場合、類似パッチの画素数を少なくして類似パッチを検出しなおすと、類似パッチの判定精度が低下してしまう。そこで、類似パッチの数が少ない場合は、対象パッチの画素数を類似パッチの数に応じて設定する。これにより、検出した類似パッチの数が少なくても、パッチ群に対して必ずノイズ低減処理を実行できる。 When the number of detected similar patches is small, if the number of pixels of the similar patches is reduced and the similar patches are detected again, the determination accuracy of the similar patches will decrease. Therefore, when the number of similar patches is small, the number of pixels of the target patch is set according to the number of similar patches. As a result, even if the number of similar patches detected is small, noise reduction processing can always be performed on the patch group.

なお、実施形態2のように、実施形態3と類似パッチをそのままノイズ低減処理に用いる場合とを切り替えてもよい。 Note that, as in the second embodiment, the third embodiment and the case where the similar patches are used as they are for noise reduction processing may be switched.

また、実施形態3においては、対象パッチの画素数を類似パッチの検出数に応じて設定する方法を例に説明した。しかしながら実施形態1と同様、類似パッチの検出に関わらず、予め類似パッチの一部領域など、類似パッチの画素数とは異なる画素数のパッチを対象パッチとして設定してもよい。 Further, in the third embodiment, the method of setting the number of pixels of the target patch according to the number of detected similar patches has been described as an example. However, as in the first embodiment, a patch having a number of pixels different from the number of pixels of the similar patch, such as a partial area of the similar patch, may be set as the target patch in advance regardless of the detection of the similar patch.

<実施形態4>
上述の実施形態では、パッチ群に対するノイズ低減処理のため類似パッチとは異なる画素数の対象パッチを設定し、複数の対象パッチからなるパッチ群から共分散行列の固有値および固有ベクトルや、補正用行列を導出する方法を説明した。実施形態4では、類似パッチ群から共分散行列の固有値や固有ベクトルなどを算出した上で、類似パッチとは異なる画素数の対象パッチに対してノイズ低減処理を実行する方法について説明する。なお実施形態4において、画像処理装置の構成や処理の流れは、実施形態3と同様である。ただし、対象パッチ設定部204が実行するS304とノイズ低減処理部205が実行するS305における具体的な処理が異なる。
<Embodiment 4>
In the above-described embodiment, for noise reduction processing on a patch group, a target patch with a number of pixels different from that of similar patches is set, and the eigenvalues and eigenvectors of the covariance matrix and the correction matrix are obtained from the patch group consisting of a plurality of target patches. I explained how to derive it. In the fourth embodiment, a method of calculating eigenvalues and eigenvectors of a covariance matrix from a group of similar patches and then executing noise reduction processing on a target patch having a pixel count different from that of the similar patches will be described. In the fourth embodiment, the configuration of the image processing apparatus and the flow of processing are the same as in the third embodiment. However, the specific processing in S304 executed by the target patch setting unit 204 and S305 executed by the noise reduction processing unit 205 are different.

まず、本実施形態のS304における処理の詳細を説明する。S304において対象パッチ設定部204は類似パッチに基づいて対象パッチを設定する。本実施形態において対象パッチ設定部202は、画像における黒潰れや白飛びなど欠陥のある画素(以下、飽和画素とする)を示す欠陥情報を取得する。例えば欠陥情報は、画素毎に黒潰れまたは白飛びであるか否かを示す情報が格納された情報である。なお潰れや白飛びのある画素を示す情報は、公知の方法により検出することができる。対象パッチ設定部202は、欠陥情報を参照して、検出された類似パッチ群に黒潰れもしくは白とびのある飽和画素がある場合は、対象パッチを構成する画素として飽和画素以外の画素のみを選択する。ただし、類似パッチ群のうちいずれの類似パッチに対しても、パッチにおいて同じ位置の画素を対象パッチとして選択する。例えば、類似パッチ群のうち、1つの類似パッチの左上の画素のみが飽和画素であったとする。この場合、類似パッチ群に含まれる各類似パッチに対して、左上の画素を除く画素群を対象パッチとして設定することになる。 First, the details of the processing in S304 of this embodiment will be described. In S304, the target patch setting unit 204 sets the target patch based on the similar patches. In this embodiment, the target patch setting unit 202 acquires defect information indicating pixels with defects such as crushed blacks and blown out highlights (hereinafter referred to as saturated pixels) in an image. For example, the defect information is information that stores information indicating whether or not each pixel is underexposed black or overexposed. Information indicating pixels with crushed or blown-out highlights can be detected by a known method. The target patch setting unit 202 refers to the defect information and selects only pixels other than saturated pixels as the pixels constituting the target patch when the detected similar patch group includes saturated pixels with crushed blacks or blown-out highlights. do. However, for any similar patch in the similar patch group, the pixel at the same position in the patch is selected as the target patch. For example, assume that only the upper left pixel of one similar patch in the group of similar patches is a saturated pixel. In this case, for each similar patch included in the similar patch group, the pixel group excluding the upper left pixel is set as the target patch.

共分散行列を算出する対象のパッチ群に飽和画素が存在すると、分散が異常に小さくもしくは大きくなってしまう場合があり、これによりアーティファクトを発生させやすくなってしまう。そこで本実施形態において対象パッチ設定部202は、飽和画素を除くパッチ群を設定する。また、本実施形態では対象パッチが類似パッチの範囲外に出ないように設定する。 If there are saturated pixels in the patch group for which the covariance matrix is to be calculated, the variance may become abnormally small or large, which tends to cause artifacts. Therefore, in this embodiment, the target patch setting unit 202 sets a patch group excluding saturated pixels. Also, in this embodiment, the target patch is set so as not to go out of the range of similar patches.

次に、本実施形態4のS305における処理の詳細を説明する。S305においてノイズ低減処理205は、検出した類似パッチ群に基づいて、類似パッチの平均パッチと共分散行列Crを算出する。類似パッチ群において、同じ位置の画素の画素値の平均を算出し、各画素位置に平均値を格納して類似パッチの平均パッチを算出する。従って類似パッチの平均パッチは、類似パッチの形状と同じ形状であり、本実施形態においては、8画素×8画素のパッチである。類似パッチの平均パッチにおける画素の数をR個とし、R個の画素の画素値を並べた列ベクトルをQrとすると、ノイズ低減処理部205は、式(9)により類似パッチの平均パッチを算出する。 Next, details of the processing in S305 of the fourth embodiment will be described. In S305, the noise reduction processing 205 calculates the average patch and covariance matrix Cr of similar patches based on the detected similar patch group. In the similar patch group, the average of the pixel values of the pixels at the same position is calculated, and the average value is stored at each pixel position to calculate the average patch of the similar patches. Therefore, the average patch of similar patches has the same shape as the similar patches, and in this embodiment is a patch of 8 pixels×8 pixels. Let R be the number of pixels in the average patch of similar patches, and let Qr be a column vector in which the pixel values of the R pixels are arranged. do.

Figure 0007114431000004
Figure 0007114431000004

Siは、i番目の類似パッチを表す。また、類似パッチ群から算出される共分散行列Cは、正方行列であり、一辺のサイズが類似パッチを構成する画素数Rである。ノイズ低減処理部205は、類似パッチの平均パッチQrを用いて式(10)により共分散行列Cを算出する。 Si represents the i-th similar patch. Also, the covariance matrix C calculated from the group of similar patches is a square matrix, and the size of one side is the number of pixels R forming the similar patch. The noise reduction processing unit 205 calculates the covariance matrix C by Equation (10) using the average patch Qr of the similar patches.

Figure 0007114431000005
Figure 0007114431000005

ここではノイズ低減処理205は、共分散行列Crに基づいて式(11)を用いて補正用行列候補Fを算出する。 Here, the noise reduction processing 205 calculates a correction matrix candidate F using Equation (11) based on the covariance matrix Cr.

F≡σ(E・・Ediag(λ -1,λ -1,・・,λ -1)(E・・E) (11)
ここで算出される補正用行列候補Fは、共分散行列Cと同様に、一辺のサイズが類似パッチの画素数Rである正方行列である。さらにノイズ低減処理部205は、補正用行列候補Fに基づいて、補正用行列Hを算出する。補正用行列候補Fの一部分を抜き出したものが補正用行列Hである。対象パッチの画素数がM画素の場合には、補正用行列HもM×Mの正方行列である。
F≡σ 2 (E 1 E 2 .E R ) t diag(λ 1 −1 , λ 2 −1 , . . . , λ R −1 )(E 1 E 2 .E R ) (11)
The correction matrix candidate F calculated here is, like the covariance matrix C, a square matrix whose side size is equal to the number of pixels R of the similar patch. Furthermore, the noise reduction processing unit 205 calculates a correction matrix H based on the correction matrix candidate F. FIG. A correction matrix H is obtained by extracting a part of the correction matrix candidate F. FIG. When the target patch has M pixels, the correction matrix H is also an M×M square matrix.

補正用行列候補Fからの抜き出し方については、類似パッチと対象パッチの位置関係に依存する。以下に、補正用行列候補Fに基づいて、補正用行列Hを算出する方法を詳細に説明する。例えば類似パッチと対象パッチが図4(a)の位置関係である場合を例にとする。図7は、類似パッチの列ベクトルを示している。類似パッチの列ベクトルとは、類似パッチの画素をラスタ順に並べ替え、各画素の画素値を要素として1列に配置することで生成されるベクトルである。ここで、類似パッチと対象パッチが図4(a)の位置関係である場合、図7において斜線部である要素は、対象パッチの列ベクトルを生成する場合にも含まれる。つまり対象パッチの列ベクトルは、類似パッチの列ベクトルの一部に含まれることになる。対象パッチ設定部204は、対象パッチを設定する際に、類似パッチの列ベクトル内の要素のうち、どの番号の要素を対象パッチの列ベクトルとして設定したかを示す情報を画素位置情報として生成し、保持しておく。ここでは対象パッチにも含まれる要素が、類似パッチの列ベクトルの上(先頭)から何番目の要素であるかという複数の番号を、対象パッチ番号Bとして保持する。対象パッチ番号BはM個の要素を持つ。類似パッチと対象パッチが図7のような関係を持つ場合、対象パッチ番号Bを算出すると、「10,11,12,13,18,19,20,21,26,27,28,29,34,35,36,37」となる。 How to extract from the correction matrix candidate F depends on the positional relationship between the similar patch and the target patch. A method for calculating the correction matrix H based on the correction matrix candidates F will be described in detail below. For example, the case where the similar patch and the target patch have the positional relationship shown in FIG. 4A is taken as an example. FIG. 7 shows a column vector of similar patches. A column vector of a similar patch is a vector generated by rearranging the pixels of the similar patch in raster order and arranging the pixel values of each pixel in one column as an element. Here, when the similar patch and the target patch have the positional relationship shown in FIG. 4A, the hatched elements in FIG. 7 are also included when the column vector of the target patch is generated. That is, the column vector of the target patch is included in part of the column vectors of similar patches. When setting the target patch, the target patch setting unit 204 generates, as pixel position information, information indicating which number of the elements in the column vector of the similar patch is set as the column vector of the target patch. , hold. Here, a plurality of numbers representing the number of the element included in the target patch from the top (head) of the column vector of the similar patch is held as the target patch number B. FIG. The target patch number B has M elements. If the similar patch and the target patch have a relationship as shown in FIG. 7, the target patch number B is calculated as follows: , 35, 36, 37".

ノイズ低減処理205は、対象パッチ設定部205から得られる対象パッチ番号を示す情報を参照し、補正用行列候補Fのうち行・列ともに対象パッチ番号Bに含まれる要素のみを抜き出すことにより、補正用行列Hを算出する。例えば、対象パッチ番号Bが「10,11,12,13,18,19,20,21,26,27,28,29,34,35,36,37」である場合、まず補正用行列候補Fから10列目10行目の要素を抜き出して、補正用行列Hにおける1列目1行目とする。続いて、補正用行列候補Fの11行列目11行列を、補正用行列Hにおける2列目2行目とする。このような工程を対象パッチ番号B分繰り返すことで、補正用行列候補Fから補正用行列Hを生成する。また、ノイズ低減処理部205は類似パッチの平均パッチQrから、対象パッチ番号Bに含まれる要素のみを抜き出し、対象パッチに対応する平均パッチQを算出する。ノイズ低減処理部205は、補正用行列Hに基づいて対象パッチそれぞれを補正する。具体的には、平均パッチをQ、i番目の対象パッチをPiとしたとき、ノイズ低減処理部205は、以下の式(12)により補正した類似パッチOiを算出する。 The noise reduction processing 205 refers to the information indicating the target patch number obtained from the target patch setting unit 205, and extracts only the elements included in the target patch number B in both row and column from the correction matrix candidate F, thereby performing correction. Calculate the matrix H for For example, when the target patch number B is "10, 11, 12, 13, 18, 19, 20, 21, 26, 27, 28, 29, 34, 35, 36, 37", the correction matrix candidate F The element of the 10th column and the 10th row is extracted from the matrix H for correction, and the element of the 1st column and the 1st row of the correction matrix H is extracted. Subsequently, the 11th matrix of the correction matrix candidate F is set to the 2nd column and 2nd row of the correction matrix H. FIG. A correction matrix H is generated from a correction matrix candidate F by repeating such a process for the target patch number B. FIG. Further, the noise reduction processing unit 205 extracts only the elements included in the target patch number B from the average patch Qr of the similar patches, and calculates the average patch Q corresponding to the target patch. The noise reduction processing unit 205 corrects each target patch based on the correction matrix H. FIG. Specifically, when the average patch is Q and the i-th target patch is Pi, the noise reduction processing unit 205 calculates a corrected similar patch Oi using the following equation (12).

≡P-H(P-Q) (12)
この後の処理は実施形態3と同様である。類似パッチ群に飽和画素が含まれる場合には、類似パッチ群におけるノイズ分散が著しく低下し、通常よりもパッチの画素数に対して多くのパッチ枚数を検出しないと、白とびや黒潰れによるアーティファクトが発生する場合がある。そこで本実施形態では、類似パッチから白とびや黒潰れをしている画素がある場合には、それらの飽和画素を除く対象パッチを設定する。これにより、アーティファクトの発生を抑制し、より高精度に各パッチのノイズ低減処理を実行することができる。
O i ≡P i -H(P i -Q) (12)
Subsequent processing is the same as in the third embodiment. If the similar patch group contains saturated pixels, the noise variance in the similar patch group is significantly reduced. may occur. Therefore, in the present embodiment, if there are pixels with blown-out highlights or blocked-up blacks among the similar patches, a target patch excluding those saturated pixels is set. As a result, it is possible to suppress the occurrence of artifacts and perform noise reduction processing for each patch with higher accuracy.

<その他の実施形態>
なお、上述の3つの実施形態では、コンピュータプログラムを動作させることで実現するソフトウェアを例に説明した。しかしながら、図2、図5に示したブロック図の各構成の一部、またはそのすべてを専用の画像処理回路によって実現してもよい。
<Other embodiments>
Note that, in the above-described three embodiments, an example of software realized by operating a computer program has been described. However, some or all of the components in the block diagrams shown in FIGS. 2 and 5 may be implemented by a dedicated image processing circuit.

また本発明は上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。 Further, the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to

201 画像入力部
202 着目パッチ設定部
204 対象パッチ設定部
205 ノイズ低減処理部
206 画像合成部
201 image input unit 202 target patch setting unit 204 target patch setting unit 205 noise reduction processing unit 206 image synthesizing unit

Claims (17)

入力画像に対してノイズを低減することで出力画像を生成する画像処理装置であって、
前記入力画像において、第1の画素数を有する着目パッチを設定する着目パッチ設定手段と、
前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出する検出手段と、
前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも1つの画素を含み、前記第1の画素数とは異なる第2の画素数を有する複数の対象パッチを設定する対象パッチ設定手段と、
ノイズ低減処理の対象とするパッチとして、前記類似パッチを用いるか、前記対象パッチを用いるかを判定する判定手段と、
前記判定手段により、前記類似パッチを用いると判定された場合は、前記複数の類似パッチに基づいて前記複数の類似パッチに前記ノイズ低減処理を実行し、前記判定手段により、前記対象パッチを用いると判定された場合は、前記複数の対象パッチに基づいて、前記対象パッチに前記ノイズ低減処理を実行するノイズ低減処理手段と、
前記ノイズ低減処理手段によりノイズを低減された結果を合成することで、前記出力画像を生成する合成手段と、
を有することを特徴とする画像処理装置。
An image processing device that generates an output image by reducing noise in an input image,
patch-of-interest setting means for setting a patch of interest having a first number of pixels in the input image;
detection means for detecting a plurality of similar patches similar to the patch of interest in the input image;
target patch setting means for setting, based on the plurality of similar patches, a plurality of target patches including at least one pixel included in the similar patches and having a second number of pixels different from the first number of pixels; ,
determination means for determining whether to use the similar patch or the target patch as a patch to be subjected to noise reduction processing;
When the determination means determines to use the similar patch, the noise reduction processing is performed on the plurality of similar patches based on the plurality of similar patches, and the determination means uses the target patch. noise reduction processing means for performing the noise reduction processing on the target patch based on the plurality of target patches when determined ;
Synthesizing means for generating the output image by synthesizing results of noise reduction by the noise reduction processing means;
An image processing device comprising:
前記対象パッチ設定手段は、前記対象パッチとして、前記第1の画素数よりも少ない画素数のパッチを設定することを特徴とする請求項1に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein said target patch setting means sets a patch having a number of pixels smaller than said first number of pixels as said target patch. 前記対象パッチ設定手段は、前記類似パッチの一部領域を前記対象パッチとして設定することを特徴とする請求項1または2に記載の画像処理装置。 3. The image processing apparatus according to claim 1, wherein said target patch setting means sets a partial area of said similar patch as said target patch. 前記判定手段は、前記入力画像における領域に含まれる画素の画素値の分散に基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項に記載の画像処理装置。 2. The image processing according to claim 1 , wherein said determination means determines whether to use a similar patch or a target patch based on a variance of pixel values of pixels included in a region of said input image. Device. 前記判定手段は、前記検出手段が検出した類似パッチの数に基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項に記載の画像処理装置。 2. The image processing apparatus according to claim 1 , wherein said determination means determines whether to use a similar patch or a target patch based on the number of similar patches detected by said detection means. 前記判定手段は、前記入力画像における領域に対してエッジを検出し、前記領域におけるエッジに基づいて、類似パッチを用いるか、対象パッチを用いるかを判定することを特徴とする請求項に記載の画像処理装置。 2. The method according to claim 1 , wherein said determining means detects edges in a region in said input image, and determines whether to use a similar patch or a target patch based on the edges in said region. image processing device. 前記ノイズ低減処理手段は、前記複数の対象パッチの平均パッチと共分散行列を算出し、前記共分散行列の固有値および固有ベクトルに基づいて基底行列を算出し、前記基底行列を用いて、前記複数の対象パッチを射影処理することで、前記複数の対象パッチに対してノイズ低減処理を実行することを特徴とする請求項1乃至の何れか一項に記載の画像処理装置。 The noise reduction processing means calculates an average patch and a covariance matrix of the plurality of target patches, calculates a base matrix based on the eigenvalues and eigenvectors of the covariance matrix, and uses the base matrix to calculate the plurality of 7. The image processing apparatus according to any one of claims 1 to 6 , wherein noise reduction processing is performed on the plurality of target patches by performing projection processing on the target patch. 前記ノイズ低減処理手段は、前記複数の対象パッチの平均パッチと共分散行列を算出し、前記共分散行列の逆行列を用いて前記複数の対象パッチに対してノイズ低減処理を実行することを特徴とする請求項1乃至の何れか一項に記載の画像処理装置。 The noise reduction processing means calculates an average patch and a covariance matrix of the plurality of target patches, and performs noise reduction processing on the plurality of target patches using the inverse matrix of the covariance matrix. 7. The image processing apparatus according to any one of claims 1 to 6 . 前記対象パッチ設定手段は、画素毎に黒潰れまたは白飛びであるか否かを示す欠陥情報を取得し、前記欠陥情報に基づいて前記対象パッチを設定することを特徴とする請求項1乃至の何れか一項に記載の画像処理装置。 10. The target patch setting means acquires defect information indicating whether or not each pixel is black crushed or white blown out, and sets the target patch based on the defect information. The image processing device according to any one of . 前記対象パッチ設定手段は、前記複数の対象パッチに、前記欠陥情報が黒潰れまたは白飛びであることを示す画素が存在しないように、前記複数の対象パッチを設定することを特徴とする請求項に記載の画像処理装置。 3. The target patch setting unit sets the plurality of target patches so that the plurality of target patches do not include pixels indicating that the defect information indicates crushed blacks or blown highlights. 9. The image processing apparatus according to 9. 前記対象パッチ設定手段は、前記類似パッチを構成する画素群のうち、前記対象パッチとして設定された画素位置を示す画素位置情報を生成し、
前記ノイズ低減処理手段は、前記画素位置情報に基づいて、前記複数の対象パッチにノイズ低減処理を実行することを特徴とする請求項1乃至10の何れか一項に記載の画像処理装置。
The target patch setting means generates pixel position information indicating a pixel position set as the target patch among pixels constituting the similar patch,
11. The image processing apparatus according to claim 1 , wherein said noise reduction processing means executes noise reduction processing on said plurality of target patches based on said pixel position information.
前記ノイズ低減処理手段は、前記複数の類似パッチに基づいて第1の平均パッチおよび補正用行列の候補を算出し、さらに前記画素位置情報に基づいて前記第1の平均パッチおよび前記補正用行列の候補から第2の平均パッチおよび補正用行列を算出し、前記第2の平均パッチおよび前記補正用行列を用いて前記複数の対象パッチのノイズ低減処理を実行することを特徴とする請求項11に記載の画像処理装置。 The noise reduction processing means calculates candidates for a first average patch and a correction matrix based on the plurality of similar patches, and further calculates candidates for the first average patch and the correction matrix based on the pixel position information. 12. The method according to claim 11 , wherein a second average patch and a correction matrix are calculated from the candidates, and noise reduction processing is performed on the plurality of target patches using the second average patch and the correction matrix. The described image processing device. 前記ノイズ低減処理手段は、前記複数の類似パッチに基づいて第1の共分散行列を算出し、前記第1の共分散行列を用いて前記補正用行列の候補を算出することを特徴とする請求項12に記載の画像処理装置。 The noise reduction processing means calculates a first covariance matrix based on the plurality of similar patches, and calculates candidates for the correction matrix using the first covariance matrix. Item 13. The image processing device according to item 12 . 前記補正用行列の候補は、前記類似パッチを構成する画素数に応じたサイズの行列であり、前記補正用行列は、前記対象パッチを構成する画素数に応じたサイズの行列であることを特徴とする請求項12または13に記載の画像処理装置。 The correction matrix candidate is a matrix having a size corresponding to the number of pixels forming the similar patch, and the correction matrix is a matrix having a size corresponding to the number of pixels forming the target patch. 14. The image processing device according to claim 12 or 13 . 前記類似パッチおよび前記対象パッチは、複数の画素群かならう矩形の領域であることを特徴とする請求項1乃至14に記載の画像処理装置。 15. The image processing apparatus according to claim 1 , wherein said similar patch and said target patch are rectangular areas each comprising a plurality of pixel groups. コンピュータを請求項1乃至14の何れか一項に記載の画像処理装置として機能させるためのプログラム。 A program for causing a computer to function as the image processing apparatus according to any one of claims 1 to 14 . 入力画像に対してノイズを低減することで出力画像を生成する画像処理方法であって、
着目パッチ設定手段が、前記入力画像において、第1の画素数を有する着目パッチを設定し
検出手段が、前記入力画像において、前記着目パッチと類似する複数の類似パッチを検出し
対象パッチ設定手段が、前記複数の類似パッチに基づいて、前記類似パッチに含まれる少なくとも1つの画素を含み、前記第1の画素数とは異なる第2の画素数を有する複数の対象パッチを設定し
判定手段が、ノイズ低減処理の対象とするパッチとして、前記類似パッチを用いるか、前記対象パッチを用いるかを判定し、
ノイズ低減処理手段が、前記判定手段により前記類似パッチを用いると判定された場合は、前記複数の類似パッチに基づいて前記複数の類似パッチに前記ノイズ低減処理を実行し、前記判定手段により前記対象パッチを用いると判定された場合は、前記複数の対象パッチに基づいて、前記対象パッチに前記ノイズ低減処理を実行し
合成手段が、前記ノイズを低減された対象パッチを合成することで、前記出力画像を生成することを特徴とする画像処理方法。
An image processing method for generating an output image by reducing noise in an input image,
A patch of interest setting means sets a patch of interest having a first number of pixels in the input image ,
detecting means for detecting a plurality of similar patches similar to the patch of interest in the input image ;
A target patch setting means , based on the plurality of similar patches, sets a plurality of target patches including at least one pixel included in the similar patches and having a second number of pixels different from the first number of pixels. and
determining means determines whether to use the similar patch or the target patch as a patch to be subjected to noise reduction processing;
When the determination means determines that the similar patches are to be used, the noise reduction processing means performs the noise reduction processing on the plurality of similar patches based on the plurality of similar patches, and the determination means determines the target if it is determined to use a patch, performing the noise reduction processing on the target patch based on the plurality of target patches ;
An image processing method , wherein a synthesizing unit generates the output image by synthesizing the noise-reduced target patches.
JP2018188180A 2017-12-13 2018-10-03 Image processing method, image processing device and program Active JP7114431B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/044657 WO2019116975A1 (en) 2017-12-13 2018-12-05 Image processing method, image processing device, and program
US16/893,455 US11301962B2 (en) 2017-12-13 2020-06-05 Image processing method, image processing apparatus, and medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017238229 2017-12-13
JP2017238229 2017-12-13

Publications (2)

Publication Number Publication Date
JP2019106173A JP2019106173A (en) 2019-06-27
JP7114431B2 true JP7114431B2 (en) 2022-08-08

Family

ID=67061556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018188180A Active JP7114431B2 (en) 2017-12-13 2018-10-03 Image processing method, image processing device and program

Country Status (1)

Country Link
JP (1) JP7114431B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7328096B2 (en) * 2019-09-13 2023-08-16 キヤノン株式会社 Image processing device, image processing method, and program
CN112435182B (en) * 2020-11-17 2024-05-10 浙江大华技术股份有限公司 Image noise reduction method and device
CN113256527A (en) * 2021-05-31 2021-08-13 广东联通通信建设有限公司 Image restoration method and device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026998A (en) 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd Obstacle location calculation system and method
JP2013026669A (en) 2011-07-15 2013-02-04 Tokyo Institute Of Technology Noise reduction device, noise reduction method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026998A (en) 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd Obstacle location calculation system and method
JP2013026669A (en) 2011-07-15 2013-02-04 Tokyo Institute Of Technology Noise reduction device, noise reduction method, and program

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
大槻 盛一、中川 匡弘,"ブロック領域分割を用いたフラクタル画像符号化",電子情報通信学会論文誌,日本,社団法人電子情報通信学会,2004年07月01日,Vol.J87-A, No.7,pp.1027-1033
河嶋 和美、外5名,"クロス形状フラクタルを用いた画像の高解像度化",電子情報通信学会論文誌,日本,社団法人電子情報通信学会,2011年04月01日,Vol.J94-D, No.4,pp.742-745,特に「3.提案手法」、図2-4
角光 健太、藤尾 光彦,"相似領域の重複度を考慮したIFS領域分割",電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2001年01月12日,Vol.100, No.566,pp.117-122

Also Published As

Publication number Publication date
JP2019106173A (en) 2019-06-27

Similar Documents

Publication Publication Date Title
EP2927873B1 (en) Image processing apparatus and image processing method
US11055564B2 (en) Image processing apparatus, image processing method, and storage medium
JP7114431B2 (en) Image processing method, image processing device and program
US8712182B2 (en) Image processing device, image processing method, and program
US9767387B2 (en) Predicting accuracy of object recognition in a stitched image
JP6663285B2 (en) Image generation method and image generation system
JP7328096B2 (en) Image processing device, image processing method, and program
JP6520919B2 (en) Image correction apparatus, image correction method and program
US9940700B2 (en) Information processing apparatus, information processing method, information processing system, and non-transitory computer readable medium
JP6957665B2 (en) Image processing equipment, image processing methods and programs
WO2019116975A1 (en) Image processing method, image processing device, and program
US8977058B2 (en) Image processing apparatus and method
JP2018049559A (en) Image processor, image processing method, and program
WO2011086594A1 (en) Image processing apparatus and method therefor
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
US20140368701A1 (en) Cloning image data patch in hole of pixel array (patch and clone)
US10999541B2 (en) Image processing apparatus, image processing method and storage medium
JP7022696B2 (en) Image processing equipment, image processing methods and programs
KR101491334B1 (en) Apparatus and method for detecting color chart in image
Rahman et al. Real-time face-based auto-focus for digital still and cell-phone cameras
KR101809384B1 (en) Method and Apparatus for Region-based green channel extraction using the correlation of white channel and luminance for RWB color filter array
JP5836878B2 (en) Image processing apparatus, method, and program
JP5069599B2 (en) Video conversion apparatus, video conversion method, and video conversion program
JP2021077037A (en) Image processing apparatus, image processing method, and program
JP2021077038A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220727

R151 Written notification of patent or utility model registration

Ref document number: 7114431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151