JP2014236226A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2014236226A JP2014236226A JP2013114410A JP2013114410A JP2014236226A JP 2014236226 A JP2014236226 A JP 2014236226A JP 2013114410 A JP2013114410 A JP 2013114410A JP 2013114410 A JP2013114410 A JP 2013114410A JP 2014236226 A JP2014236226 A JP 2014236226A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- noise reduction
- pixel
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000002131 composite material Substances 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 35
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 18
- 230000006866 deterioration Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 56
- 239000000203 mixture Substances 0.000 description 40
- 238000013500 data storage Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 8
- 238000011946 reduction process Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000004260 weight control Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
図4におけるS404の複数枚合成処理について説明する。複数枚合成処理は着目画像データと1つ以上の参照画像データとを用いて画像データを合成することによってノイズ低減させる処理である。すなわち、複数枚合成処理は、第1のノイズ低減処理ということもできる。以下では、説明の簡素化のため、合成対象のデータを単に着目画像と参照画像と称する。一般的に、着目画像と参照画像とを単純に平均化すればノイズを低減させることができる。しかしながら、連続撮像した場合、撮像装置の位置ずれや動被写体の移動などによって各画像の絵柄が一致しない場合、単純な平均化を行うと多重像や暈けといった画質劣化が生じてしまう。そこで、着目画像の注目画素を含む画像領域(以下、ブロック領域)と参照画像のブロック領域ごとの比較(以下、ブロックマッチング)を行うことで合成を行う。
図5のステップS505の探索範囲内で最大類似度となる出力画素値及び類似度を決定する処理について説明する。図6は、ステップS505の内部処理フローを示している。図6の処理は、1つの処理対象の画素に対して行われる。
図6のステップS601にて設定する重み制御パラメータhについて説明する。図8は、式2で重み制御パラメータhを変化させて、最小誤差値Cminとしての誤差Cと、類似度sとをプロットした例を示すものである。図8に示すように、hの値が大きくなるほど誤差に対して類似度sが大きくなる。一方、一般的にまったく同じ被写体を撮像したとしてもISO感度が大きくなれば、ノイズ量が増加する。その結果、式1によって決定される誤差は、ノイズ量が増加するに従って大きくなる。そのため、本実施例では、同一被写体に対してノイズ量に寄らず同様の類似度を決定するために撮像時のノイズ量すなわちISO感度に応じてhの値を変化させる。
ステップS506の出力画素値及び合成重みデータの更新について説明する。ステップS505にて決定した出力画素値をv、類似度をsとすると、更新後の出力画素値O(x,y)は式3に示すように出力画素値と類似度との加重加算で得られる。また、更新後の合成重みデータα(x,y)は、式4で求められる。ステップS506の更新は参照画像データ毎にそれぞれ行われる。
O(x,y)+=v・s (式3)
α(x,y)+=s (式4)
図4のステップS405のRAWノイズ低減処理について説明する。RAWノイズ低減処理は、従来の1枚の画像内でのノイズ低減処理方法に加え、ステップS404において決定した合成重みデータαを用いることで、より効果的なノイズ低減処理を行う。具体的には、ステップS404において決定した合成重みデータαは出力RAW画像データの各画素におけるノイズの低減効果になる。そこで、複数枚合成処理によってノイズ低減効果が小さかった画素については、1枚の画像内でのノイズ低減処理の効果を大きく設定し、大きかった画素については、1枚の画像内でのノイズ低減処理の効果を小さく設定する。このように処理することによって、領域によってノイズ低減効果が異なることを避けることができる。本実施例では、連続して撮像した複数のRAW画像データを用いて合成処理を行っている。この複数のRAW画像データは互いに類似しているので、複数のRAW画像データ同士を合成することによってノイズ低減できた画素については、そのノイズ低減された画素を使用する。一方、複数のRAW画像データ同士を合成することによってノイズ低減できなかった画素については、1枚の画像データ内でのノイズ低減処理を行う。このように、本実施例によれば各画素について同等のノイズ低減効果を得ることが可能となる。なお、ステップS405の1枚の画像データ内のノイズ低減処理を第2のノイズ低減処理という。
本処理では、ステップS904のノイズ低減処理として、Non−Local−Means(以下、NLM)法と呼ばれる手法を用いる。この手法は、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する。参照画素の画素数をNS、参照画素の画素値をIj(j=1〜NS)、参照画素の重みをwj(j=1〜NS)とすると、ノイズ低減処理後の着目画素の画素値Inewは式5になる。
上記の実施例においては、デモザイク処理(画素補間処理)前のベイヤ画像を合成する例を説明した。デモザイク処理前のベイヤ画像を合成することによってデモザイク時に生じ得る画像劣化を防止することができる。しかしながら、本発明は、1枚の画像内でのノイズ低減処理を行う前の画像データ同士を合成し、合成して得られた画像データに対して1枚の画像内でのノイズ低減処理を行う場合に適用可能である。例えば、デモザイク処理後のRGB画像データ同士を合成する処理であってもよい。
Claims (14)
- 連続して撮像された複数の画像データを取得する取得手段と、
前記取得手段で取得した複数の画像データを合成して合成画像データを生成することによってノイズを低減する第1のノイズ低減手段と、
前記第1のノイズ低減手段において前記合成画像データを生成する際に用いた画素ごとの補正量を用いて前記合成画像データに対するノイズ低減を行う第2のノイズ低減手段と
を有することを特徴とする画像処理装置。 - 前記第1のノイズ低減手段は、複数の画像データのうちいずれか一つを着目画像データ、それ以外を参照画像データとし、前記着目画像データの処理画素に対応するブロック領域と、前記参照画像データの探索領域に含まれる探索位置に対応するブロック領域との差に応じて、各画素についての補正量を決定することを特徴とする請求項1に記載の画像処理装置。
- 前記第1のノイズ低減手段は、前記決定した補正量を用いて参照画像データの画素値を加重加算することで前記合成画像データを生成することを特徴とする請求項2に記載の画像処理装置。
- 前記第1のノイズ低減手段は、前記探索領域に含まれる探索位置の中で誤差が最小となる画素の画素値を用いて前記加重加算することを特徴とする請求項3に記載の画像処理装置。
- 前記第1のノイズ低減手段は、合成に用いる参照画像データ毎の補正量を加算することで、前記合成画像データを生成する際に用いた画素ごとの補正量を決定することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
- 前記第2のノイズ低減手段は、前記合成画像データの着目画素を含む着目領域と前記合成画像データの参照画素を含む参照領域との差を決定し、前記差と前記画素ごとの補正量とに応じて各参照画素の重みを決定し、前記重みに応じて加重加算を行うことで着目画素の画素値を更新することを特徴とする請求項1から5のいずれか一項に記載の画像処理装置。
- 前記取得手段で取得される画像データは、ベイヤ画像を示す画像データであることを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
- 前記取得手段で取得される画像データは、デモザイク処理前の画像データであることを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
- 前記取得手段で取得される画像データは、積層型撮像センサで得られた画像データであることを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
- 前記取得手段で取得される画像データは、3CCDセンサで得られた画像データであることを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
- 前記第2のノイズ低減手段でノイズ低減された合成画像データに対して画素補間をするデモザイク手段をさらに有することを特徴とする請求項1から7のいずれか一項に記載の画像処理装置。
- 連続して複数の画像データを撮像する撮像手段と、
前記撮像手段で撮像した複数の画像データを合成して合成画像データを生成することによってノイズを低減する第1のノイズ低減手段と、
前記第1のノイズ低減手段において前記合成画像データを生成する際に用いた画素ごとの補正量を用いて前記合成画像データに対するノイズ低減を行う第2のノイズ低減手段と
を有することを特徴とする撮像装置。 - 連続して撮像された複数の画像データを取得する取得工程と、
前記取得工程で取得した複数の画像データを合成して合成画像データを生成することによってノイズを低減する第1のノイズ低減工程と、
前記第1のノイズ低減工程において前記合成画像データを生成する際に用いた画素ごとの補正量を用いて前記合成画像データに対するノイズ低減を行う第2のノイズ低減工程と
を有することを特徴とする画像処理方法。 - コンピュータを請求項1から11のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013114410A JP6245847B2 (ja) | 2013-05-30 | 2013-05-30 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013114410A JP6245847B2 (ja) | 2013-05-30 | 2013-05-30 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014236226A true JP2014236226A (ja) | 2014-12-15 |
JP6245847B2 JP6245847B2 (ja) | 2017-12-13 |
Family
ID=52138668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013114410A Active JP6245847B2 (ja) | 2013-05-30 | 2013-05-30 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6245847B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017033182A (ja) * | 2015-07-30 | 2017-02-09 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
WO2022209265A1 (ja) * | 2021-03-30 | 2022-10-06 | 株式会社モルフォ | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006165037A (ja) * | 2004-12-02 | 2006-06-22 | Fuji Photo Film Co Ltd | 撮像装置及び固体撮像素子の信号処理方法、並びにデジタルカメラ及びその制御方法 |
JP2009105533A (ja) * | 2007-10-22 | 2009-05-14 | Sony Corp | 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法 |
JP2009164857A (ja) * | 2007-12-29 | 2009-07-23 | Morpho Inc | 画像データ処理方法および画像処理装置 |
JP2010124321A (ja) * | 2008-11-20 | 2010-06-03 | Olympus Corp | 動画像ノイズ低減処理装置、動画像ノイズ低減処理プログラム及び動画像ノイズ低減処理方法 |
JP2010178301A (ja) * | 2009-02-02 | 2010-08-12 | Olympus Corp | 画像処理装置及び画像処理方法 |
JP2010183386A (ja) * | 2009-02-06 | 2010-08-19 | Sony Corp | 画像処理装置、画像処理方法および撮像装置 |
JP2010200179A (ja) * | 2009-02-26 | 2010-09-09 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体 |
JP2012068733A (ja) * | 2010-09-21 | 2012-04-05 | Olympus Corp | 画像処理装置および画像処理プログラム |
JP2013005405A (ja) * | 2011-06-21 | 2013-01-07 | Sanyo Electric Co Ltd | 電子カメラ |
-
2013
- 2013-05-30 JP JP2013114410A patent/JP6245847B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006165037A (ja) * | 2004-12-02 | 2006-06-22 | Fuji Photo Film Co Ltd | 撮像装置及び固体撮像素子の信号処理方法、並びにデジタルカメラ及びその制御方法 |
JP2009105533A (ja) * | 2007-10-22 | 2009-05-14 | Sony Corp | 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法 |
JP2009164857A (ja) * | 2007-12-29 | 2009-07-23 | Morpho Inc | 画像データ処理方法および画像処理装置 |
JP2010124321A (ja) * | 2008-11-20 | 2010-06-03 | Olympus Corp | 動画像ノイズ低減処理装置、動画像ノイズ低減処理プログラム及び動画像ノイズ低減処理方法 |
JP2010178301A (ja) * | 2009-02-02 | 2010-08-12 | Olympus Corp | 画像処理装置及び画像処理方法 |
JP2010183386A (ja) * | 2009-02-06 | 2010-08-19 | Sony Corp | 画像処理装置、画像処理方法および撮像装置 |
JP2010200179A (ja) * | 2009-02-26 | 2010-09-09 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体 |
JP2012068733A (ja) * | 2010-09-21 | 2012-04-05 | Olympus Corp | 画像処理装置および画像処理プログラム |
JP2013005405A (ja) * | 2011-06-21 | 2013-01-07 | Sanyo Electric Co Ltd | 電子カメラ |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017033182A (ja) * | 2015-07-30 | 2017-02-09 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
WO2022209265A1 (ja) * | 2021-03-30 | 2022-10-06 | 株式会社モルフォ | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
JP2022154601A (ja) * | 2021-03-30 | 2022-10-13 | 株式会社モルフォ | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
JP7287692B2 (ja) | 2021-03-30 | 2023-06-06 | 株式会社モルフォ | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6245847B2 (ja) | 2017-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5408053B2 (ja) | 画像処理装置、画像処理方法 | |
JP6906947B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2009212853A (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
JP2009194700A (ja) | 画像処理装置及び画像処理プログラム | |
JP2014123809A (ja) | 撮像装置、撮像システム、および、撮像装置の制御方法 | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
JP2008160300A (ja) | 画像処理装置及び撮像装置 | |
JP2018037857A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2015019354A (ja) | 撮像装置、画像処理装置、および、これらの制御方法 | |
JP2011171842A (ja) | 画像処理装置及び画像処理プログラム | |
WO2015186510A1 (ja) | 撮像装置および方法、並びにプログラム | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
US10861194B2 (en) | Image processing apparatus, image processing method, and storage medium | |
EP3605450B1 (en) | Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program | |
JP2019016893A (ja) | 画像処理装置およびその制御方法及びプログラム | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
JP6218520B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2017183983A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2017229025A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011082614A (ja) | 画像処理装置及び撮像装置 | |
JP2014236244A (ja) | 画像処理装置、画像処理プログラム、およびデジタルカメラ | |
CN113079313B (zh) | 图像处理装置、图像拾取装置、图像处理方法及存储介质 | |
JP7458769B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP2011244028A (ja) | 撮像装置、手ブレ補正方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6245847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |