JP2018152132A - Image processing system, digital camera, and image processing program - Google Patents
Image processing system, digital camera, and image processing program Download PDFInfo
- Publication number
- JP2018152132A JP2018152132A JP2018117232A JP2018117232A JP2018152132A JP 2018152132 A JP2018152132 A JP 2018152132A JP 2018117232 A JP2018117232 A JP 2018117232A JP 2018117232 A JP2018117232 A JP 2018117232A JP 2018152132 A JP2018152132 A JP 2018152132A
- Authority
- JP
- Japan
- Prior art keywords
- noise removal
- image data
- data
- frequency noise
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置、デジタルカメラおよび画像処理プログラムに関する。 The present invention relates to an image processing apparatus, a digital camera, and an image processing program.
入力画像から低周波ノイズを除去した低周波ノイズ除去画像と、入力画像から高周波ノイズを除去した高周波ノイズ除去画像とを生成し、低周波ノイズ除去画像と高周波ノイズ除去画像を合成してノイズを除去した画像を生成する撮像装置が知られている(特許文献1参照)。この撮像装置では、エッジ強度が大きい箇所では主に高周波ノイズ除去画像を採用し、エッジ強度が小さい箇所では主に低周波ノイズ除去画像を採用するように、低周波ノイズ除去画像と高周波ノイズ除去画像を合成する。 Generates a low-frequency noise-removed image obtained by removing low-frequency noise from the input image and a high-frequency noise-removed image obtained by removing high-frequency noise from the input image, and the noise is removed by synthesizing the low-frequency noise-removed image and the high-frequency noise-removed image. There is known an imaging apparatus that generates a captured image (see Patent Document 1). In this imaging apparatus, a low-frequency noise-removed image and a high-frequency noise-removed image are adopted so that a high-frequency noise-removed image is mainly used at a portion where the edge strength is high, and a low-frequency noise-removed image is mainly used at a portion where the edge strength is low. Is synthesized.
上記特許文献1に記載の方法において、高周波ノイズ除去画像では低周波ノイズが残り、低周波ノイズ除去画像では高周波成分が消失している。従って、上記特許文献1に記載の方法によると、エッジ強度が大きい箇所では主に高周波ノイズ除去画像が採用されるので低周波ノイズが残ってしまい、エッジ強度が小さい箇所では主に低周波ノイズ除去画像が採用されるので高周波成分が消失してしまう。このように、上記特許文献1に記載の方法では、低周波ノイズ除去と高周波成分の保持を両立することができなかった。 In the method described in Patent Document 1, low-frequency noise remains in the high-frequency noise-removed image, and high-frequency components disappear in the low-frequency noise-removed image. Therefore, according to the method described in Patent Document 1, low-frequency noise remains because a high-frequency noise-removed image is mainly used in a portion where the edge strength is large, and low-frequency noise removal is mainly performed in a portion where the edge strength is small. Since the image is used, the high frequency component disappears. Thus, the method described in Patent Document 1 cannot achieve both low-frequency noise removal and high-frequency component retention.
(1)請求項1に記載の画像処理装置は、入力画像データに基づいて第1画像データを生成する第1画像データ生成部と、前記第1画像データに対しノイズ除去を行って第1周波数帯域のノイズが除去された第1ノイズ除去データを生成する第1ノイズ除去部と、前記入力画像データに対してノイズ除去を行って、少なくとも一部の周波数が前記第1周波数帯域のうちの最も高い周波数よりも高い周波数を含む第2周波数帯域のノイズが除去された第2ノイズ除去データを生成する第2ノイズ除去部と、前記第1画像データと前記第1ノイズ除去データとに基づいて生成された第2画像データと、前記第2ノイズ除去データと、に基づいて出力画像データを生成する第2画像データ生成部と、を備える。
(2)請求項5に記載の画像処理装置は、入力画像データに基づいて第1画像データを生成する第1画像データ生成部と、前記第1画像データにノイズ除去を行って生成された第1ノイズ除去データと、前記入力画像データに前記ノイズ除去を行って生成された第2ノイズ除去データと、に基づいて、出力画像を生成する第2画像データ生成部と、を備える。
(3)請求項6に記載のデジタルカメラは、請求項1〜5のいずれか一項に記載の画像処理装置を備える。
(4)請求項7に記載の画像処理プログラムは、入力画像データに基づいて第1画像データを生成する第1画像データ生成処理と、前記第1画像データに対しノイズ除去を行って第1周波数帯域のノイズが除去された第1ノイズ除去データを生成する第1ノイズ除去処理と、前記入力画像データに対してノイズ除去を行って、少なくとも一部の周波数が前記第1周波数帯域のうちの最も高い周波数よりも高い周波数を含む第2周波数帯域のノイズが除去された第2ノイズ除去データを生成する第2ノイズ除去処理と、前記第1画像データと前記第1ノイズ除去データとに基づいて生成された第2画像データと、前記第2ノイズ除去データと、に基づいて出力画像データを生成する第2画像データ生成処理と、をコンピュータに実行させる。
(1) An image processing apparatus according to claim 1, wherein a first image data generation unit that generates first image data based on input image data, and a first frequency by performing noise removal on the first image data. A first noise removal unit that generates first noise removal data from which noise in the band has been removed; and performing noise removal on the input image data, wherein at least some of the frequencies are the highest in the first frequency band A second noise removing unit that generates second noise removal data from which noise in a second frequency band including a frequency higher than a high frequency is removed, and generated based on the first image data and the first noise removal data. A second image data generation unit configured to generate output image data based on the second image data thus obtained and the second noise removal data.
(2) An image processing apparatus according to claim 5 is a first image data generation unit that generates first image data based on input image data; and a first image data generated by performing noise removal on the first image data. A second image data generation unit that generates an output image based on 1 noise removal data and second noise removal data generated by performing the noise removal on the input image data.
(3) A digital camera according to a sixth aspect includes the image processing apparatus according to any one of the first to fifth aspects.
(4) The image processing program according to
本発明によれば、低周波ノイズ除去と高周波成分の保持を両立することができる。 According to the present invention, both low frequency noise removal and high frequency component retention can be achieved.
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本実施の形態におけるデジタルカメラ100の構成を示すブロック図である。デジタルカメラ100は、操作部材101と、レンズ102と、撮像素子103と、制御装置104と、メモリカードスロット105と、モニタ106とを備えている。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a
操作部材101は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタン、ヘルプボタンなどを含んでいる。
The
レンズ102は、複数の光学レンズから構成されるが、図1では代表して1枚のレンズで表している。撮像素子103は、例えばCCDやCMOSであり、レンズ102により結像した被写体像を撮像して画像を取得する。そして、取得した画像データを制御装置104へ出力する。
The
制御装置104は、CPU、メモリ、およびその他の周辺回路により構成され、ノイズ除去部104aを機能的に備えている。なお、制御装置104を構成するメモリには、プログラム等を記憶するROM(例えばフラッシュメモリ)や、バッファメモリとして使用されるRAM(例えばSDRAM)等を含む。
The
制御装置104は、撮像素子103で取得された画像に対して公知のBayer補間処理などを行った後、その画像をノイズ除去部104aに入力してノイズ除去処理を行う。このノイズ除去処理は、画像の色差成分のみに対して行っても良いし、輝度成分のみに対して行っても良いし、その両方に対して行っても良い。また、その他の色成分に対して行っても良い。また、本実施形態に記載するノイズ除去処理とは別に、より低周波帯域のノイズを除去する公知の処理を追加しても良い。
The
そして、制御装置104は、ノイズ除去部104aによるノイズ除去処理後の画像に対して公知の階調変換や彩度強調や輪郭強調などを行い、必要に応じて公知の圧縮処理を行って画像ファイルを生成し、メモリカードスロット105へ出力する。ただし、ノイズ除去処理と、その他の処理の順序は上記に限定されない。
Then, the
メモリカードスロット105は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置104から出力された画像ファイルをメモリカードに書き込んで記録する。また、制御装置104からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込んで再生したり、記録されている画像ファイルを削除したりする。
The
モニタ106は、デジタルカメラ100の背面に搭載された液晶モニタ(背面モニタ)であり、当該モニタ106には、メモリカードに記憶されている画像(再生画像)やデジタルカメラ100を設定するための設定メニューなどの種々の情報が表示される。また、制御装置104は、撮像素子103から時系列で入力されるフレームを順次モニタ106に出力することによって、モニタ106にスルー画を表示する。
The
図2は、ノイズ除去部104aの構成を示すブロック図である。ノイズ除去部104aは、縮小部201、低周波ノイズ除去部202、減算部203、高周波ノイズ除去部204、加算部205、および範囲制限部206を機能的に備える。以下、この図2を用いて、ノイズ除去部104aによって実行されるノイズ除去処理について説明する。ノイズ除去部104aは、入力画像データにおいて注目画素を選択し、選択した注目画素において、以下に説明するノイズ除去処理を行って、ノイズ除去後の画素値を出力する。ノイズ除去部104aは、このノイズ除去処理を入力画像データの全画素について行って、入力画像データ全体のノイズ除去を行う。
FIG. 2 is a block diagram illustrating a configuration of the
1.縮小画像データの生成
以下、注目画素の座標を(x,y)とする。縮小部201は、入力画像データから、注目画素(x,y)に対応する縮小画像データを生成する。縮小部201では、例えば、図3に示すように、注目画素(x,y)を中心とした15×15画素の範囲(x−7,y−7)〜(x+7,y+7)を参照して7×7画素の縮小画像データを生成する。この7×7画素の縮小画像データは、図3で○印が記載された位置の画素、すなわち注目画素(x,y)を中心として1画素おきに配置された7×7画素のそれぞれにおいて平滑化処理を行い、その出力値を並べることによって生成される。すなわち、○印が記載された位置の画素における平滑化処理の出力値が縮小画像データの1画素の画素値となる。また、平滑化処理は、例えば、○印が記載された位置の画素を中心とする3×3の画素の画素値について、以下のように行う。図4に示すように、中心の画素(○印が記載された位置の画素)の画素値に対しては4/16、中心の画素に上下左右に隣接する4画素の画素値に対しては2/16、4隅の画素(中心の画素に対して斜め方向に隣接する4画素)の画素値に対しては1/16の加重をかけて積算することで、○印が記載された位置における平滑化処理後の画素値を算出する。
1. Generation of Reduced Image Data Hereinafter, the coordinates of the pixel of interest are assumed to be (x, y). The
2.低周波ノイズ除去値の算出
低周波ノイズ除去部202は、縮小部201で生成された7×7画素の縮小画像データの中心画素に対して公知のノイズ除去フィルター処理を行うことにより、低周波ノイズが除去された画素値(以下、低周波ノイズ除去値と記載する)を算出する。ノイズ除去フィルター処理としては、例えば、以下に記載するεフィルター処理などを用いればよい。
2. Calculation of Low-frequency Noise Removal Value The low-frequency
εフィルター処理を用いる場合、7×7画素の縮小画像データを用いて、以下の通り、演算処理を行う。なお、以下の説明において、7×7画素の縮小画像データにおける中心画素の画素値を中心画素値と記載する。また、中心画素の周辺画素(すなわち7×7画素のうち中心画素以外の48個の画素)の画素値を周辺画素値と記載する。 When ε filter processing is used, arithmetic processing is performed as follows using reduced image data of 7 × 7 pixels. In the following description, the pixel value of the center pixel in the reduced image data of 7 × 7 pixels is referred to as the center pixel value. In addition, pixel values of peripheral pixels around the center pixel (that is, 48 pixels other than the central pixel among 7 × 7 pixels) are referred to as peripheral pixel values.
[εフィルター処理]
(1)積算値を0に初期化する。
(2)48個の周辺画素のそれぞれについて、|周辺画素値−中心画素値|<所定の閾値ならば積算値に(周辺画素値−中心画素値)を加算し、この条件を満たさなければ積算値を変更しないという演算処理を行う。なお、所定の閾値は、例えば、ノイズの標準偏差の3倍程度の値に設定しておく。
(3)低周波ノイズ除去値=中心画素値+積算値/49を計算することにより、低周波ノイズ除去値を算出する。
[Ε filter processing]
(1) The integrated value is initialized to 0.
(2) For each of the 48 peripheral pixels, | peripheral pixel value-center pixel value | <adds (peripheral pixel value-center pixel value) to the integrated value if it is a predetermined threshold value. Performs an arithmetic operation that does not change the value. The predetermined threshold value is set to a value that is about three times the standard deviation of noise, for example.
(3) The low-frequency noise removal value is calculated by calculating the low-frequency noise removal value = center pixel value + integrated value / 49.
なお、ノイズ除去フィルター処理は、上記のεフィルター処理に限定されない。例えば周辺画素位置に応じた重みをかけて積算しても良いし、|周辺画素値−中心画素値|に応じた重みをかけて積算しても良い。また、方向平滑化や突出除去などの公知のノイズ除去処理と組み合わせても良い。また、所定のノイズ除去率をかけてノイズ除去前の値と加重平均しても良い。その他の公知の技術を適用しても良い。また、参照範囲も上述した7×7画素に限定されず、例えば3×3画素〜11×11画素程度の範囲を参照すればよい。 Note that the noise removal filter processing is not limited to the ε filter processing described above. For example, integration may be performed with a weight according to the peripheral pixel position, or may be integrated with a weight according to | peripheral pixel value−center pixel value |. Moreover, you may combine with well-known noise removal processes, such as direction smoothing and protrusion removal. Alternatively, a weighted average with a value before noise removal may be applied by applying a predetermined noise removal rate. Other known techniques may be applied. Further, the reference range is not limited to the 7 × 7 pixels described above, and a range of about 3 × 3 pixels to 11 × 11 pixels may be referred to, for example.
3.差分値の算出
減算部203は、低周波ノイズ除去部202で算出された低周波ノイズ除去値から縮小画像の中心画素値(低周波ノイズ除去前の画素値)を減算する(すなわち、低周波ノイズ除去値−縮小画像の中心画素値)ことにより、低周波ノイズ除去値と縮小画像の中心画素値との差分値を算出する。この差分値は、低周波ノイズを除去するために低周波ノイズ除去部202が元々の画素値に加えた値である。
3. Calculation of Difference Value The
4.高周波ノイズ除去
高周波ノイズ除去部204は、入力画像データの注目画素(x,y)に対して公知のノイズ除去フィルター処理を行うことにより、高周波ノイズが除去された画素値(以下、高周波ノイズ除去値と記載する)を算出する。高周波ノイズ除去値は、図5において破線の枠で示すように、注目画素(x,y)を中心とした7×7画素の範囲(x−3,y−3)〜(x+3,y+3)を参照して算出される。ノイズ除去フィルター処理については、上述した低周波ノイズ除去部202の場合と同様である。
4). High-frequency noise removal The high-frequency
5.暫定ノイズ除去値の算出
加算部205は、高周波ノイズ除去部204で算出された高周波ノイズ除去値に、減算部203で算出された差分値を加算することにより、低周波ノイズと高周波ノイズとが除去された画素値(以下、暫定ノイズ除去値と記載する)を算出する。
5. Calculation of provisional noise removal value The
6.出力画素値の範囲制限
範囲制限部206は、加算部205で算出された暫定ノイズ除去値を、低周波ノイズ除去値から高周波ノイズ除去値までの範囲内にクリップして出力することにより、注目画素(x,y)における出力画素値を出力する。具体的には、以下の通り、処理を行う。
6). Range Restriction of Output Pixel Value The
まず、低周波ノイズ除去値>高周波ノイズ除去値である場合について説明する。この場合、高周波ノイズ除去値≦暫定ノイズ除去値≦低周波ノイズ除去値である場合には、暫定ノイズ除去値を出力画素値とする。また、暫定ノイズ除去値<高周波ノイズ除去値である場合には、高周波ノイズ除去値を出力画素値とする。また、暫定ノイズ除去値>低周波ノイズ除去値である場合には、低周波ノイズ除去値を出力画素値とする。 First, the case where low frequency noise removal value> high frequency noise removal value will be described. In this case, when the high frequency noise removal value ≦ the provisional noise removal value ≦ the low frequency noise removal value, the provisional noise removal value is set as the output pixel value. When the provisional noise removal value <the high frequency noise removal value, the high frequency noise removal value is set as the output pixel value. When the provisional noise removal value> the low frequency noise removal value, the low frequency noise removal value is set as the output pixel value.
次に、低周波ノイズ除去値≦高周波ノイズ除去値である場合について説明する。この場合、低周波ノイズ除去値≦暫定ノイズ除去値≦高周波ノイズ除去値である場合には、暫定ノイズ除去値を出力画素値とする。また、暫定ノイズ除去値<低周波ノイズ除去値である場合には、低周波ノイズ除去値を出力画素値とする。また、暫定ノイズ除去値>高周波ノイズ除去値である場合には、高周波ノイズ除去値を出力画素値とする。 Next, a case where the low frequency noise elimination value ≦ the high frequency noise elimination value will be described. In this case, when the low frequency noise removal value ≦ the provisional noise removal value ≦ the high frequency noise removal value, the provisional noise removal value is set as the output pixel value. When the provisional noise removal value <the low frequency noise removal value, the low frequency noise removal value is set as the output pixel value. When the provisional noise removal value> the high frequency noise removal value, the high frequency noise removal value is set as the output pixel value.
ノイズ除去部104aは、以上のノイズ除去処理を、入力画像データの全ての画素が注目画素として選択されるまで繰り返して、全ての画素における出力画素値を求め、入力画像データからノイズが除去された出力画像データを生成する。
The
上述したノイズ除去処理によると、入力画像データにおいて高周波のテクスチュア構造がある個所についても、高周波成分を残しながら低周波ノイズを除去できる。以下、図6〜図8に例示するグラフを用いて、上述したノイズ除去処理の効果を説明する。なお、図6〜図8に例示するグラフでは、縦軸が画素値を示し、横軸が画素の座標を示す。 According to the above-described noise removal processing, low-frequency noise can be removed while leaving a high-frequency component even in a portion where the input image data has a high-frequency texture structure. Hereinafter, the effects of the above-described noise removal processing will be described using the graphs illustrated in FIGS. In the graphs illustrated in FIGS. 6 to 8, the vertical axis represents the pixel value, and the horizontal axis represents the pixel coordinate.
図6(a)は、高周波のテクスチュア成分を含む画像データを例示するグラフである。図6(a)のグラフは、ノイズの無い本来のテクスチュアパターンを示している。図6(b)は、図6(a)に示す画像を高感度で撮影した場合の画像データ(入力画像データ)を例示するグラフである。この場合、図6(b)に示すように、ノイズが混入した画像データが撮影される。図6(c)は、図6(b)に示す入力画像データに対して高周波ノイズ除去部204により高周波ノイズ除去を行った後の高周波ノイズ除去データ(高周波ノイズ除去値)を例示するグラフである。一般に高周波のテクスチュア構造がある個所では高周波ノイズを除去することは困難であるため、図6(c)ではあまりノイズが軽減されていない。
FIG. 6A is a graph illustrating image data including high-frequency texture components. The graph of FIG. 6A shows an original texture pattern without noise. FIG. 6B is a graph illustrating image data (input image data) when the image shown in FIG. 6A is taken with high sensitivity. In this case, as shown in FIG. 6B, image data mixed with noise is captured. FIG. 6C is a graph illustrating high-frequency noise removal data (high-frequency noise removal value) after high-frequency noise removal is performed on the input image data shown in FIG. 6B by the high-frequency
図7(a)は、図6(b)に示す画像を縮小部201により縮小して生成した縮小画像データ(低周波画像)を例示するグラフである。図7(a)に示すように、縮小画像データでは、高周波成分が除かれて低周波ノイズが抽出される。図7(b)は、図7(a)に示す縮小画像データに対して低周波ノイズ除去部202により低周波ノイズ除去を行った後の低周波ノイズ除去データ(低周波ノイズ除去値)を例示するグラフである。図7(b)では、低周波ノイズが除去されている。図7(c)は、減算部203により図7(b)に示す低周波ノイズ除去データから図7(a)に示す縮小画像データを減算して求めた差分データ(差分値)を例示するグラフである。
FIG. 7A is a graph illustrating reduced image data (low frequency image) generated by reducing the image shown in FIG. 6B by the
図8(a)は、加算部205により図6(b)の高周波ノイズ除去データに図7(c)の差分データを加算して得られた暫定ノイズ除去データ(暫定ノイズ除去値)を示すグラフである。図8(a)に示す暫定ノイズ除去データでは、低周波ノイズが除去されたことによりノイズが軽減している。図8(b)は、範囲制限部206により図8(a)の暫定ノイズ除去データを、低周波ノイズ除去データから高周波ノイズ除去データまでの範囲内にクリップした出力画像データ(出力画素値)を例示するグラフである。図8(a)の暫定ノイズ除去データでは、破線で囲む画素データが図6(c)の高周波ノイズ除去データよりも低く、低周波ノイズ除去データから高周波ノイズ除去データまでの範囲外である。このため、図8(b)の出力画像データでは、破線で囲む画素データにおいて、図8(a)の暫定ノイズ除去データではなく、高周波ノイズ除去データが採用されている。
FIG. 8A is a graph showing provisional noise removal data (provisional noise removal value) obtained by adding the difference data of FIG. 7C to the high-frequency noise removal data of FIG. It is. In the provisional noise removal data shown in FIG. 8A, noise is reduced by removing low frequency noise. FIG. 8B shows output image data (output pixel value) obtained by clipping the provisional noise removal data in FIG. 8A by the
なお、図6(b)で示したような画像構造に対して上記特許文献1に開示されたノイズ除去処理を行っても、高周波のテクスチュア構造がある個所では低周波ノイズ除去が適用されないので、図6(c)に相当するノイズが残存した結果が出力される。あるいは、特許文献1に開示されたノイズ除去処理の設定を調整して、図6(b)で示したような高周波のテクスチュア構造がある個所についても低周波ノイズ除去が適用されるように調整すると、図7(b)に相当する高周波成分を消失した画像データが出力される。このように、特許文献1に開示されたノイズ除去処理では、低周波ノイズ除去と高周波成分の保持を両立することは困難である。 Even if the noise removal processing disclosed in Patent Document 1 is performed on the image structure as shown in FIG. 6B, low-frequency noise removal is not applied at a place where there is a high-frequency texture structure. A result of remaining noise corresponding to FIG. 6C is output. Alternatively, by adjusting the setting of the noise removal process disclosed in Patent Document 1 and adjusting so that the low-frequency noise removal is applied even to a place where there is a high-frequency texture structure as shown in FIG. The image data from which the high-frequency component corresponding to FIG. Thus, in the noise removal process disclosed in Patent Document 1, it is difficult to achieve both low-frequency noise removal and high-frequency component retention.
また、本実施形態のノイズ除去処理では、高周波ノイズ除去の強さと低周波ノイズ除去の強さとを独立して制御することができる。なぜなら、縮小画像データからは高周波成分が除外されているので、それに基づいて算出された差分データは高周波成分を含まず、差分データを高周波ノイズ除去データに加算しても、高周波成分には影響しないからである。つまり、低周波ノイズを強く除去しても高周波成分が保持される。一般に、繊細な質感を残しつつ、目につきやすい低周波ノイズを充分に除去するには、高周波ノイズ除去をやや弱く、低周波ノイズ除去を強く適用することが望ましい。本実施形態のノイズ除去処理によると、高周波ノイズ除去の閾値やノイズ除去率を小さめに設定し、低周波ノイズ除去の閾値やノイズ除去率を大きめに設定することにより、上記の効果(繊細な質感を残しつつ、目につきやすい低周波ノイズを充分に除去する)を実現できる。 Further, in the noise removal processing of the present embodiment, the strength of high frequency noise removal and the strength of low frequency noise removal can be controlled independently. This is because the high-frequency component is excluded from the reduced image data, and the difference data calculated based on this does not include the high-frequency component. Even if the difference data is added to the high-frequency noise removal data, the high-frequency component is not affected. Because. That is, the high frequency component is retained even if the low frequency noise is strongly removed. In general, in order to sufficiently remove low-frequency noise that is easily noticeable while leaving a delicate texture, it is desirable that the high-frequency noise removal is somewhat weak and the low-frequency noise removal is applied strongly. According to the noise removal processing of the present embodiment, the above-described effect (delivery texture) can be obtained by setting the threshold for high frequency noise removal and the noise removal rate to a small value and setting the threshold for low frequency noise removal and the noise removal rate to a large value. It is possible to sufficiently remove low-frequency noise that is easily noticeable).
一方、上記特許文献1では、低周波ノイズ除去を強く適用しようとすると、低周波ノイズ除去値と高周波ノイズ除去値との合成において、低周波ノイズ除去値が強く適用されるように設定せざるを得ない。このようにすると、低周波ノイズ除去値には高周波成分が含まれないので、出力画像では高周波成分が失われやすくなるという問題があった。本実施形態では、その問題を解決している。 On the other hand, in Patent Document 1, if low frequency noise removal is to be applied strongly, the low frequency noise removal value must be set to be applied strongly in the synthesis of the low frequency noise removal value and the high frequency noise removal value. I don't get it. In this case, since the high frequency component is not included in the low frequency noise removal value, the high frequency component is easily lost in the output image. In this embodiment, the problem is solved.
ただし、本実施形態において、高周波ノイズ除去値に差分値を加算した値(暫定ノイズ除去値)では、ノイズを過剰に減算したことによる逆符号のノイズが発生することがある。本実施形態ではその問題を解決するため、範囲制限部206により、暫定ノイズ除去値を、高周波ノイズ除去値と低周波ノイズ除去値との間にクリップして、出力画素値を得る。
However, in the present embodiment, the value obtained by adding the difference value to the high-frequency noise removal value (provisional noise removal value) may generate noise with an opposite sign due to excessive subtraction of noise. In this embodiment, in order to solve the problem, the
上述した実施の形態によれば、次の作用効果が得られる。
(1)デジタルカメラ100において、縮小部201は、入力画像データを縮小して縮小画像データを生成する。低周波ノイズ除去部202は、縮小画像データに対してノイズ除去を行って低周波ノイズ除去データ(低周波ノイズ除去値)を生成する。減算部203は、縮小画像データと低周波ノイズ除去データとの差分データ(差分値)を算出する。高周波ノイズ除去部204は、入力画像データに対してノイズ除去を行って高周波ノイズ除去データ(高周波ノイズ除去値)を生成する。加算部205は、高周波ノイズ除去データと差分データとに基づいて暫定ノイズ除去データ(暫定ノイズ除去値)を生成する。これにより、低周波ノイズ除去と高周波成分の保持を両立することができる。
According to the embodiment described above, the following operational effects can be obtained.
(1) In the
(2)デジタルカメラ100において、範囲制限部206は、暫定ノイズ除去データを、所定のレベル範囲(低周波ノイズ除去データと高周波ノイズ除去データとの間の範囲)に制限して、出力画像データとして出力する。これにより、加算部205までの処理でノイズを過剰に減算したことによる逆符号のノイズが発生した場合にそのノイズを軽減することができる。
(2) In the
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。 The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
(変形例1)
上述した実施の形態では、各々の注目画素に対して(すなわち全画素数分)低周波ノイズ除去値を算出する例について説明したが、変形例1として、離散的な画素位置に対して低周波ノイズ除去値を算出するようにしてもよい。変形例1の場合は、離散的な画素位置に対して差分値を算出し、これをアップサンプリングして全画素数分の差分値を求める。
(Modification 1)
In the above-described embodiment, the example of calculating the low-frequency noise removal value for each pixel of interest (that is, the total number of pixels) has been described. A noise removal value may be calculated. In the case of the first modification, a difference value is calculated for discrete pixel positions, and this is up-sampled to obtain difference values for the total number of pixels.
図9は、変形例1におけるノイズ除去部104aの構成を示すブロック図である。変形例1におけるノイズ除去部104aは、上述した実施の形態と同様の構成(図2)に加えて、アップサンプリング部207を機能的に備える。
FIG. 9 is a block diagram illustrating a configuration of the
上述した実施の形態では、縮小部201は、各々の注目画素に対して縮小画像データを生成する例について説明したが、変形例1では、入力画像データに対して1つの縮小画像データを生成する。たとえば、図3に示したように、入力画像データにおいて1画素おきに配置された画素のそれぞれにおいて平滑化処理を行い、その出力値を並べることによって、入力画像の半分の画素数でなる縮小画像データを生成する。
In the above-described embodiment, the example in which the
低周波ノイズ除去部202は、縮小部201で生成された縮小画像データにおけるそれぞれの画素に対して低周波ノイズ除去値を算出する。すなわち、入力画像データにおける離散的な画素位置に対して低周波ノイズ除去値を算出する。減算部203は、縮小画像データの各画素において、低周波ノイズ除去部202で算出された低周波ノイズ除去値から、縮小画像データの元の画素値(低周波ノイズ除去前の画素値)を減算することにより、差分値を算出する。すなわち、入力画像における離散的な画素位置に対して差分値を算出する。
The low frequency
アップサンプリング部207は、減算部203で算出された離散的な画素位置に対する差分値をアップサンプリングして(すなわち拡大処理を行って)全画素数分の差分値を求めて、加算部205に出力する。その後は、上述した実施の形態と同様の処理を行う。
The up-
変形例1によれば、離散的な画素位置で低周波ノイズ除去値を算出することで、上述した実施の形態と比べて低周波ノイズ除去処理の回数を減らすことができるので、回路構成によってはコスト削減効果を得ることもできる。 According to the modified example 1, by calculating the low-frequency noise removal value at discrete pixel positions, the number of low-frequency noise removal processes can be reduced as compared with the above-described embodiment. Cost reduction effect can also be obtained.
(変形例2)
上述した実施の形態では、範囲制限部206は、暫定ノイズ除去値を低周波ノイズ除去値から高周波ノイズ除去値までの範囲内にクリップして出力する例について説明したが、クリップする範囲はこれに限らなくてもよい。例えば、範囲制限部206は、暫定ノイズ除去値を低周波ノイズ除去値から入力画像の画素値(すなわち元の画素値)までの範囲内にクリップするようにしてもよい。また、入力画像に対して別途ノイズ除去処理を実施し、範囲制限部206は、そのノイズ除去処理の結果に基づく範囲で暫定ノイズ除去値をクリップするようにしてもよい。
(Modification 2)
In the embodiment described above, the example in which the
(変形例3)
高周波ノイズ除去部204による高周波ノイズ除去の強さと、低周波ノイズ除去部202による低周波ノイズ除去の強さを、画面の部分ごとに独立して制御してもよい。高周波ノイズ除去を強くすると鮮鋭感が失われることが多いので、例えば高周波エッジの大きい部分については高周波ノイズ除去を弱めるとよい。
(Modification 3)
The strength of high-frequency noise removal by the high-frequency
(変形例4)
上述した実施の形態では、減算部203が低周波ノイズ除去値から縮小画像の中心画素値を減算することにより差分値を求める例について説明したが、縮小画像の中心画素値から低周波ノイズ除去値を減算して差分値を求めるようにしてもよい。この場合、高周波ノイズ除去値から差分値を減算することで暫定ノイズ除去値を求めればよい。
(Modification 4)
In the above-described embodiment, the example in which the
(変形例5)
上述した実施の形態では、デジタルカメラ100が上記ノイズ除去処理を行う例を説明したが、上記ノイズ除去処理を行う画像処理装置をパーソナルコンピュータによって構成するようにしてもよい。パーソナルコンピュータに上記ノイズ除去処理を行う画像処理プログラムを実行させるようにしてもよい。
(Modification 5)
In the embodiment described above, an example in which the
パーソナルコンピュータ300に対する画像処理プログラムのローディングは、図10に例示するように、プログラムを格納したCD−ROMなどの記憶媒体301をパーソナルコンピュータ300にセットして行ってもよいし、ネットワークなどの通信回線302を経由する方法でパーソナルコンピュータ300へローディングしてもよい。通信回線302を経由する場合は、通信回線302に接続されたサーバー(コンピュータ)303のハードディスク装置304などに画像処理プログラムを格納しておく。画像処理プログラムは、記憶媒体301や通信回線302を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
As shown in FIG. 10, the loading of the image processing program to the
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
100…デジタルカメラ、101…操作部材、102…レンズ、103…撮像素子、104…制御装置、104a…ノイズ除去部、105…メモリカードスロット、106…モニタ、201…縮小部、202…低周波ノイズ除去部、203…減算部、204…高周波ノイズ除去部、205…加算部、206…範囲制限部、207…アップサンプリング部
DESCRIPTION OF
Claims (7)
前記第1画像データに対しノイズ除去を行って第1周波数帯域のノイズが除去された第1ノイズ除去データを生成する第1ノイズ除去部と、
前記入力画像データに対してノイズ除去を行って、少なくとも一部の周波数が前記第1周波数帯域のうちの最も高い周波数よりも高い周波数を含む第2周波数帯域のノイズが除去された第2ノイズ除去データを生成する第2ノイズ除去部と、
前記第1画像データと前記第1ノイズ除去データとに基づいて生成された第2画像データと、前記第2ノイズ除去データと、に基づいて出力画像データを生成する第2画像データ生成部と、
を備える画像処理装置。 A first image data generation unit that generates first image data based on input image data;
A first noise removing unit that performs noise removal on the first image data to generate first noise removal data from which noise in a first frequency band is removed;
Noise removal is performed on the input image data, and second noise removal in which noise in a second frequency band including at least a part of frequencies higher than the highest frequency in the first frequency band is removed. A second noise removing unit for generating data;
A second image data generation unit that generates output image data based on the second image data generated based on the first image data and the first noise removal data, and the second noise removal data;
An image processing apparatus comprising:
前記出力画像データを所定のレベル範囲に制限する範囲制限部をさらに備える画像処理装置。 The image processing apparatus according to claim 1.
An image processing apparatus further comprising a range limiting unit that limits the output image data to a predetermined level range.
前記所定のレベル範囲は、前記第1ノイズ除去データと前記第2ノイズ除去データとの間の範囲である画像処理装置。 The image processing apparatus according to claim 2,
The image processing apparatus, wherein the predetermined level range is a range between the first noise removal data and the second noise removal data.
前記所定のレベル範囲は、前記第1ノイズ除去データと前記入力画像データとの間の範囲である画像処理装置。 The image processing apparatus according to claim 2,
The image processing apparatus, wherein the predetermined level range is a range between the first noise removal data and the input image data.
前記第1画像データにノイズ除去を行って生成された第1ノイズ除去データと、前記入力画像データに前記ノイズ除去を行って生成された第2ノイズ除去データと、に基づいて、出力画像を生成する第2画像データ生成部と、
を備える画像処理装置。 A first image data generation unit that generates first image data based on input image data;
An output image is generated based on first noise removal data generated by removing noise from the first image data and second noise removal data generated by removing noise from the input image data A second image data generation unit for
An image processing apparatus comprising:
前記第1画像データに対しノイズ除去を行って第1周波数帯域のノイズが除去された第1ノイズ除去データを生成する第1ノイズ除去処理と、
前記入力画像データに対してノイズ除去を行って、少なくとも一部の周波数が前記第1周波数帯域のうちの最も高い周波数よりも高い周波数を含む第2周波数帯域のノイズが除去された第2ノイズ除去データを生成する第2ノイズ除去処理と、
前記第1画像データと前記第1ノイズ除去データとに基づいて生成された第2画像データと、前記第2ノイズ除去データと、に基づいて出力画像データを生成する第2画像データ生成処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
First image data generation processing for generating first image data based on input image data;
First noise removal processing for generating first noise removal data from which noise in the first frequency band is removed by performing noise removal on the first image data;
Noise removal is performed on the input image data, and second noise removal in which noise in a second frequency band including at least a part of frequencies higher than the highest frequency in the first frequency band is removed. A second noise removal process for generating data;
A second image data generation process for generating output image data based on the second image data generated based on the first image data and the first noise removal data, and the second noise removal data;
An image processing program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018117232A JP2018152132A (en) | 2018-06-20 | 2018-06-20 | Image processing system, digital camera, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018117232A JP2018152132A (en) | 2018-06-20 | 2018-06-20 | Image processing system, digital camera, and image processing program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014175635A Division JP6357980B2 (en) | 2014-08-29 | 2014-08-29 | Image processing apparatus, digital camera, and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018152132A true JP2018152132A (en) | 2018-09-27 |
Family
ID=63679612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018117232A Pending JP2018152132A (en) | 2018-06-20 | 2018-06-20 | Image processing system, digital camera, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018152132A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010278929A (en) * | 2009-05-29 | 2010-12-09 | Toshiba Corp | Image processing apparatus |
JP2012199774A (en) * | 2011-03-22 | 2012-10-18 | Nikon Corp | Image processing apparatus, imaging apparatus, image processing program, and image processing method |
JP2013225779A (en) * | 2012-04-23 | 2013-10-31 | Nikon Corp | Image processing device, imaging device, and image processing program |
JP2014002635A (en) * | 2012-06-20 | 2014-01-09 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
-
2018
- 2018-06-20 JP JP2018117232A patent/JP2018152132A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010278929A (en) * | 2009-05-29 | 2010-12-09 | Toshiba Corp | Image processing apparatus |
JP2012199774A (en) * | 2011-03-22 | 2012-10-18 | Nikon Corp | Image processing apparatus, imaging apparatus, image processing program, and image processing method |
JP2013225779A (en) * | 2012-04-23 | 2013-10-31 | Nikon Corp | Image processing device, imaging device, and image processing program |
JP2014002635A (en) * | 2012-06-20 | 2014-01-09 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4640508B2 (en) | Image processing apparatus, image processing method, program, and imaging apparatus | |
US10262401B2 (en) | Noise reduction using sequential use of multiple noise models | |
JP6116291B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6545670B2 (en) | System and method for single frame based super resolution interpolation for digital cameras | |
JP2010130291A (en) | Image processor, image processing method, and program | |
JP6087612B2 (en) | Image processing apparatus and image processing method | |
JP4285628B2 (en) | Image processing method, apparatus, and program | |
JPWO2010116400A1 (en) | Subject motion detection apparatus and method | |
US10657623B2 (en) | Two stage multi-scale processing of image data | |
JP2007180851A (en) | Gray scale transformation device, program and method for raw image, and electronic camera | |
JP2008028626A (en) | Image processor, image processing method, and program | |
JP5146159B2 (en) | Image restoration method, image restoration program, and image restoration apparatus | |
KR20100013856A (en) | Image processing apparatus, method for processing image, and recording medium storing program to implement the method | |
JP2009224901A (en) | Dynamic range compression method of image, image processing circuit, imaging apparatus, and program | |
JP6520920B2 (en) | Image processing device | |
JP2006050042A (en) | Image processing apparatus | |
JP6357980B2 (en) | Image processing apparatus, digital camera, and image processing program | |
JP2018152132A (en) | Image processing system, digital camera, and image processing program | |
JP6631076B2 (en) | Image processing apparatus, program, and image processing method | |
JP2008071014A (en) | Image processing program, image processor and electronic camera | |
JP7183015B2 (en) | Image processing device, image processing method, and program | |
JP2020149589A (en) | Image processing device, imaging apparatus, image processing method, and program | |
KR101595257B1 (en) | Apparatus and method of digital image processing and program recording medium for the same | |
JP6273582B2 (en) | Image interpolation device, image processing device, and image interpolation method | |
JP2018191243A (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190710 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191224 |