JP7301589B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7301589B2 JP7301589B2 JP2019084438A JP2019084438A JP7301589B2 JP 7301589 B2 JP7301589 B2 JP 7301589B2 JP 2019084438 A JP2019084438 A JP 2019084438A JP 2019084438 A JP2019084438 A JP 2019084438A JP 7301589 B2 JP7301589 B2 JP 7301589B2
- Authority
- JP
- Japan
- Prior art keywords
- patch
- patches
- interest
- image processing
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims 3
- 238000000034 method Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000010365 information processing Effects 0.000 description 33
- 238000003860 storage Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Description
図1は、本発明の画像処理装置が適用される一例としての情報処理装置の概略構成を示す図である。本実施形態の情報処理装置100は、CPU101、RAM102、ROM103、二次記憶装置104、入力IF105、及び出力IF106等を構成要素として含む。情報処理装置100の各構成要素は、システムバス107によって相互に接続されている。また、情報処理装置100は、入力IF105を介して外部記憶装置108および操作部110に接続されている。また、情報処理装置100は、出力IF106を介して外部記憶装置108および表示装置109に接続されている。
以下、第1の実施形態の情報処理装置100が行う画像処理について説明する。なお本実施形態の情報処理装置100に入力される画像は、デジタルカメラ等の撮像装置によって取得されたものであるとする。本実施形態の情報処理装置100は、画像を小領域(パッチ)に分解し、同一の画像内に含まれる複数の類似したパッチを用いたパッチベース手法に基づくノイズ低減処理を行う例を挙げて説明する。以降の説明では、類似したパッチを類似パッチと呼ぶ。
まずステップS501において、設定部201は、処理対象である入力画像から着目パッチを抽出する。設定部201は、ノイズ低減処理を行うべき全ての画素が包含されるように、入力画像の中から着目パッチを順に設定する。例えば、設定部201は、入力画像に含まれる全画素の各画素を、いわゆるラスタ走査の順に着目画素として順次設定し、それら順次設定される着目画素の位置ごとに、既定の画素数分のサイズで且つ既定の形状となるパッチを、順に着目パッチとして設定する。着目パッチは、例えば、着目画素の位置を中心とした既定の画素数分のサイズ及び既定の形状のパッチでもよいし、着目画素の位置を左上端とした既定の画素数分のサイズ及び既定の形状のパッチでもよい。なお、入力画像の全画素を順に着目画素にして着目パッチを設定すると処理時間及び処理量が膨大になるため、設定部201は、着目画素の設定を例えば一定画素間隔ごとにスキップさせて着目パッチを適切に間引くことで処理時間及び処理量を低減してもよい。
図3に示した探索部202の参照設定部301は、まず入力画像に対して複数の参照パッチを設定する。参照パッチは、着目パッチを基準として定められた一定の座標範囲内に含まれるパッチであり、着目パッチと同サイズ及び同形状となされる。また参照パッチは隣接する参照パッチ同士の一部が互いに重複していてもよい。本実施形態において、着目パッチを基準とした一定の座標範囲は、例えば、着目パッチを水平方向にW画素分に相当する距離だけずらした位置で且つ着目パッチを垂直方向にW画素分に相当する距離だけずらした位置までで表される矩形の範囲とする。参照設定部301は、着目パッチを基準とした一定の座標範囲内に含まれる各画素のうち、着目画素を除いた各画素をそれぞれ参照画素とし、それら各参照画素のごとに、着目パッチと同サイズで且つ同形状のパッチを参照パッチとして設定する。
このステップS504の処理として、図4に示す生成部204のベース選択部401は、まず着目パッチ及びN1個の類似パッチの中からN2個のパッチをベースパッチとして選択する。ベースパッチは、一様な確率でランダムに選択してもよいし、類似パッチの特性に基づいて決定される確率重みに従ってランダムに選択してもよい。もしくは、ベースパッチは、前述した類似度である距離指標を用いた既定の規則に従い選択してもよい。既定の規則は、例えばルックアップテーブルとして用意されていてもよい。この場合のルックアップテーブルは、例えば、着目パッチと全ての類似パッチがまんべんなく選択されるように、着目パッチ及び類似パッチの組み合わせと距離指標とを対応付けて定義したものとなされる。なお、ベースパッチの個数のN2は予め設定されている値でもよいし、類似パッチの特性に基づいて適応的に決定されてもよい。
生成部204は、図4に示す構成によって以上の処理をN-N1回反復することで、N-N1個の合成パッチを生成する。
前述した第1の実施形態は、合成パッチ生成処理において、ベースパッチの重み付き平均を中間パッチとして生成した例である。以下の第2の実施形態では、基底分解によって中間パッチを生成する例について説明する。なお、第2の実施形態の情報処理装置100の基本的な装置構成や処理フローは第1の実施形態と同様であるため、その図示と説明は省略する。第2の実施形態では、主に生成部204における処理について説明する。
図8は、第2の実施形態における生成部204の機能構成を示した機能ブロック図である。第2の実施形態に係る生成部204は、基底生成部801、中間生成部802、付加部803を有する。
第2の実施形態の情報処理装置100は、以上の方法により生成した合成パッチを加えたパッチ群を用いてノイズ低減処理を行うことで、合成パッチを用いない場合に比べノイズ低減性能を向上させることが可能になる
前述した実施形態では、デジタルカメラ等の撮像装置で撮像された入力画像のノイズ低減例を挙げたが、入力画像はデジタルカメラによって撮像されたものに限定されない。入力画像は、例えばデジタルカメラ機能を備えたパーソナルコンピュータやタブレット端末、スマートフォン、携帯ゲーム機などの各種情報端末、カムコーダ、車載カメラ、監視カメラ、医療用カメラ、あるいは工業用カメラ等で取得された画像であってもよい。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (19)
- 画像を小領域に分けたパッチを用いてノイズ低減処理を行う画像処理装置であって、
前記画像に対して着目パッチを設定する設定手段と、
前記画像から前記着目パッチの位置に基づいて前記着目パッチを含む一定の座標範囲内から複数の参照パッチを選択し、前記着目パッチと前記参照パッチとの類似度が閾値を超える類似パッチを探索する探索手段と、
前記着目パッチと前記類似パッチとの少なくとも一つ以上にランダムノイズを加え、該ランダムノイズが加えられたパッチを用いて、前記画像に含まれるパッチとは異なった一つ以上の合成パッチを生成する生成手段と、
前記着目パッチと前記類似パッチと一つ以上の前記合成パッチと、を含むパッチ群を用いて、前記着目パッチのノイズを低減するノイズ低減手段と、
を有することを特徴とする画像処理装置。 - 前記探索手段は、前記類似度が閾値を超える参照パッチを全て前記類似パッチとして選択し、前記類似度は前記着目パッチと前記参照パッチとにおける同位置の画素から算出される距離指標であることを特徴とする請求項1に記載の画像処理装置。
- 前記探索手段は、前記選択した類似パッチの数が所定のパッチ数を超える場合、前記選択した類似パッチを前記類似度の順にソートして最上位から順に前記所定のパッチ数のパッチだけを類似パッチとして選択し直すことを特徴とする請求項2に記載の画像処理装置。
- 前記閾値は、前記ノイズ低減処理の性能が前記着目パッチごとに変動しないように定められることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記合成パッチを生成するかどうかを判定する判定手段を有することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記判定手段は、前記探索された類似パッチの数が所定のパッチ数未満である場合に前記合成パッチを生成すると判定することを特徴とする請求項5に記載の画像処理装置。
- 前記生成手段は、前記探索された類似パッチの数である第1の数が、前記所定のパッチ数である第2の数未満である場合に、前記第2の数から前記第1の数を引いた個数の合成パッチを生成することを特徴とする請求項6に記載の画像処理装置。
- 前記生成手段は、前記探索された複数の類似パッチから選択した一部の類似パッチを基に中間パッチを生成し、前記中間パッチを基に前記合成パッチを生成することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記着目パッチおよび前記類似パッチからなるパッチ群からランダムに複数のパッチを選択して前記中間パッチを生成することを特徴とする請求項8に記載の画像処理装置。
- 前記生成手段は、前記選択された複数のパッチの加重平均により前記中間パッチを生成することを特徴とする請求項9に記載の画像処理装置。
- 前記生成手段は、前記着目パッチおよび前記類似パッチを基に複数の基底パッチを生成して、前記生成した複数の基底パッチの一部もしくはすべてを基に中間パッチを生成し、前記中間パッチを基に前記合成パッチを生成することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記着目パッチを、予め用意された基底パッチ群を用いて近似し、前記近似に用いた複数の基底パッチを基に中間パッチを生成し、前記中間パッチを基に前記合成パッチを生成することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記複数の基底パッチの加重平均により前記中間パッチを生成することを特徴とする請求項11または12に記載の画像処理装置。
- 前記ランダムノイズの分散値は、前記着目パッチの各画素に含まれるノイズの分散値よりも大きいことを特徴とする請求項1から13のいずれか1項に記載の画像処理装置。
- 前記ランダムノイズの分散値は、前記画像が撮影により取得された際のISO感度に基づき決定されることを特徴とする請求項14に記載の画像処理装置。
- 前記ノイズ低減手段は、前記着目パッチおよび前記類似パッチから確率モデルを取得し、前記確率モデルに基づいて前記着目パッチの全画素に対しノイズ低減処理を行うことを特徴とする請求項1から15のいずれか1項に記載の画像処理装置。
- 前記確率モデルは、着目パッチ内の各画素の相関を表す共分散行列で表現されることを特徴とする請求項16に記載の画像処理装置。
- 画像を小領域に分けたパッチを用いてノイズ低減処理を行う画像処理方法であって、
前記画像に対して着目パッチを設定する設定工程と、
前記画像から前記着目パッチの位置に基づいて前記着目パッチを含む一定の座標範囲内から複数の参照パッチを選択し、前記着目パッチと前記参照パッチとの類似度が閾値を超える類似パッチを探索する探索工程と、
前記着目パッチと前記類似パッチとの少なくとも一つ以上にランダムノイズを加え、該ランダムノイズが加えられたパッチを用いて、前記画像に含まれるパッチとは異なった一つ以上の合成パッチを生成する生成工程と、
前記着目パッチと前記類似パッチと一つ以上の前記合成パッチと、を含むパッチ群を用
いて、前記着目パッチのノイズを低減するノイズ低減工程と、
を有することを特徴とする画像処理方法。 - コンピュータを請求項1から17のいずれか1項に記載の画像処理装置の各手段として
機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084438A JP7301589B2 (ja) | 2019-04-25 | 2019-04-25 | 画像処理装置、画像処理方法、およびプログラム |
US16/836,103 US11393074B2 (en) | 2019-04-25 | 2020-03-31 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084438A JP7301589B2 (ja) | 2019-04-25 | 2019-04-25 | 画像処理装置、画像処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020181402A JP2020181402A (ja) | 2020-11-05 |
JP2020181402A5 JP2020181402A5 (ja) | 2022-04-22 |
JP7301589B2 true JP7301589B2 (ja) | 2023-07-03 |
Family
ID=72921553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019084438A Active JP7301589B2 (ja) | 2019-04-25 | 2019-04-25 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11393074B2 (ja) |
JP (1) | JP7301589B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019116975A1 (ja) | 2017-12-13 | 2019-06-20 | キヤノン株式会社 | 画像処理方法、画像処理装置およびプログラム |
JP7409606B2 (ja) * | 2020-02-13 | 2024-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018191123A (ja) | 2017-05-02 | 2018-11-29 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5822157B2 (ja) | 2011-07-15 | 2015-11-24 | 国立大学法人東京工業大学 | ノイズ低減装置、ノイズ低減方法及びプログラム |
KR101811718B1 (ko) * | 2013-05-31 | 2018-01-25 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP6128987B2 (ja) * | 2013-06-25 | 2017-05-17 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
KR102144994B1 (ko) * | 2013-09-30 | 2020-08-14 | 삼성전자주식회사 | 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치 |
US9123103B2 (en) * | 2013-12-26 | 2015-09-01 | Mediatek Inc. | Method and apparatus for image denoising with three-dimensional block-matching |
US10282831B2 (en) * | 2015-12-28 | 2019-05-07 | Novatek Microelectronics Corp. | Method and apparatus for motion compensated noise reduction |
US10223772B2 (en) * | 2016-03-22 | 2019-03-05 | Algolux Inc. | Method and system for denoising and demosaicing artifact suppression in digital images |
US9639935B1 (en) * | 2016-05-25 | 2017-05-02 | Gopro, Inc. | Apparatus and methods for camera alignment model calibration |
US20190188829A1 (en) * | 2017-12-14 | 2019-06-20 | Multitek Inc. | Method, Apparatus, and Circuitry of Noise Reduction |
-
2019
- 2019-04-25 JP JP2019084438A patent/JP7301589B2/ja active Active
-
2020
- 2020-03-31 US US16/836,103 patent/US11393074B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018191123A (ja) | 2017-05-02 | 2018-11-29 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11393074B2 (en) | 2022-07-19 |
US20200342573A1 (en) | 2020-10-29 |
JP2020181402A (ja) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7030493B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN106603941B (zh) | 计算复杂度自适应的hdr图像转换方法及其*** | |
US20150235350A1 (en) | Method for Image Denoising | |
US9542725B2 (en) | Image processing device, image processing method and medium | |
JP7328096B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6840957B2 (ja) | 画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体 | |
US11055816B2 (en) | Image processing device, image processing method, and image processing program | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
JP7301589B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20140118581A1 (en) | Image processing apparatus and image processing method | |
KR20150032822A (ko) | 이미지를 필터링하기 위한 방법 및 장치 | |
CN110809126A (zh) | 一种基于自适应可变形卷积的视频帧插值方法及*** | |
JP7032913B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
Wang et al. | No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning | |
US10217193B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program | |
JP6221333B2 (ja) | 画像処理装置、画像処理回路及び画像処理方法 | |
JP5431501B2 (ja) | 画像処理装置、及びその方法 | |
JP2017010094A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
CN110930314A (zh) | 图像条带噪声抑制方法及其装置、电子设备、存储介质 | |
KR101544171B1 (ko) | 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법 | |
JP6938282B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9679363B1 (en) | System and method for reducing image noise | |
Miyata | Inter-channel relation based vectorial total variation for color image recovery | |
JP2021026311A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JPWO2017217395A1 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220414 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230621 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7301589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |