JP2020086891A - 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents
画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体 Download PDFInfo
- Publication number
- JP2020086891A JP2020086891A JP2018219876A JP2018219876A JP2020086891A JP 2020086891 A JP2020086891 A JP 2020086891A JP 2018219876 A JP2018219876 A JP 2018219876A JP 2018219876 A JP2018219876 A JP 2018219876A JP 2020086891 A JP2020086891 A JP 2020086891A
- Authority
- JP
- Japan
- Prior art keywords
- image
- disturbance
- images
- image processing
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 74
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000003860 storage Methods 0.000 title claims description 10
- 238000003384 imaging method Methods 0.000 title description 18
- 238000005259 measurement Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 79
- 238000013527 convolutional neural network Methods 0.000 claims description 56
- 238000012937 correction Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 36
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000006866 deterioration Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 5
- 238000011425 standardization method Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
測定部103は、入力画像または入力訓練画像に対して規格化を行う。これは、入力画像の画素値の絶対値により、測定結果が左右されないようにすることが目的である。規格化は、例えば、複数の入力画像の平均画像を生成し、複数の入力画像の各々から平均画像を減算することにより行われる。この規格化方法は、以下の式(5)のように定式化することができる。
測定部103へ入力する画像の縦・横の画素数は、ネットワークの出力部分に追加された全結合ニューラルネットワークで決定される。このため、入力画像と入力訓練画像はトリミングや補間や間引きにより、各画像の縦・横の画素数を調整する必要がある。
測定部103は、入力画像の複数箇所の擾乱の強度を測定し、最終的な擾乱強度を決定してもよい。ここで、入力画像の複数箇所とは、入力画像の空間と時間(縦、横、フレーム)のうち、複数の箇所という意味である。より具体的には、入力画像の空間・時間方向のある箇所から前述した方法で縦・横画素数、フレーム数の画像を抽出し、それを入力画像として測定部103へ入力し、その箇所における擾乱の強度を測定する。
補正部104は、測定された擾乱の強度に基づいて、パラメータ取得部102が提供する学習済みのネットワークパラメータを選択して、補正処理を行う。これは、入力画像と同じ擾乱強度の訓練画像で学習したネットワークパラメータを用いることで、高精度な擾乱補正を行うためである。例えば、測定された擾乱の強度と最も近い擾乱の強度による劣化を加えた訓練画像で学習したネットワークパラメータを選択し、補正処理に用いてもよい。このように、測定された擾乱の強度に基づいて、学習済みのネットワークパラメータを選択して補正処理を行うことで、高精度な擾乱補正を行うことができる。
補正部104は、測定された擾乱の強度に基づいて、入力画像の枚数(フレーム数)を決定する。これは、擾乱が大きければ補正に入力画像の枚数を多く必要とし、逆に擾乱が小さければ補正に入力画像の枚数を多く必要としないからである。なお、補正部104のCNNのネットワークパラメータ学習の際には、訓練画像に加える擾乱強度に応じて、入力訓練画像の枚数を調整する。具体的には、擾乱が大きければ入力訓練画像の枚数を多くし、擾乱が小さければ入力訓練画像の枚数を少なく調整して、学習すればよい。このように、測定された擾乱強度に基づき、入力画像の枚数(フレーム数)を決定することで、補正に必要なデータを決定することができる。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 画像取得部
102 パラメータ取得部
103 測定部
Claims (21)
- 擾乱により劣化した時間的に異なる複数の画像を取得する画像取得部と、
学習済みのネットワークパラメータを取得するパラメータ取得部と、
前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定部と、を有することを特徴とする画像処理装置。 - 前記擾乱の強度は、時間的または空間的な画素値の散布度であることを特徴とする請求項1に記載の画像処理装置。
- 前記画像取得部は、前記複数の画像の撮影条件を取得することを特徴とする請求項1または2に記載の画像処理装置。
- 前記撮影条件は、撮影に用いられた光学系の光学条件、撮影に用いられた撮像素子の画素ピッチ、または、フレームレートであることを特徴とする請求項3に記載の画像処理装置。
- 前記ネットワークパラメータは、時間的に異なる複数の第1の画像群と前記複数の第1の画像群に対して既知の擾乱の強度により劣化させた複数の第2の画像群との組からなる訓練画像群を用いた学習により生成されていることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記パラメータ取得部は、前記複数の画像の撮影条件に基づいて、取得する前記ネットワークパラメータを決定することを特徴とすることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記ニューラルネットワークは、
第1のネットワークパラメータと少なくとも2層以上の第1の畳み込みニューラルネットワーク(CNN)とを用いて、前記複数の画像を第1の特徴量に変換するメイン部と、
第2のネットワークパラメータと第2のCNNとを用いて、前記複数の画像を第2の特徴量に変換する入力部と、
前記第1の特徴量と前記第2の特徴量とを加算して第3の特徴量を生成し、第3のネットワークパラメータと第3のCNNとを用いて前記第3の特徴量を第4の特徴量に変換する変換部と、
第4のネットワークパラメータと全結合ニューラルネットワークとを用いて、前記第4の特徴量から前記擾乱の強度を出力する出力部と、を有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 - 前記測定部は、前記複数の画像の撮影条件に基づいて、測定に用いるための前記複数の画像のサイズを決定することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記測定部は、前記複数の画像を時間的または空間的に補間または間引きすることにより、前記複数の画像のサイズを調整することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記測定部は、前記複数の画像の各々から前記複数の画像の平均画像を減算することにより、複数の入力画像を生成することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記測定部は、前記複数の画像から、時間的に隣り合う2枚の画像の差分画像を生成することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記測定部は、前記複数の画像の複数箇所において前記擾乱の強度を測定し、最終的な擾乱の強度を決定することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
- 前記擾乱の強度は、B−Splineに基づく擾乱モデルにおいて、画像における制御点に乱数で与える変形量の正規乱数の分散であることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
- 前記擾乱の強度に基づいて前記複数の画像を補正する補正部を更に有することを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
- 前記補正部は、
学習済みの第5のネットワークパラメータと少なくとも2層以上の第5の畳み込みニューラルネットワーク(CNN)とを用いて、前記複数の画像を第5の特徴量に変換するメイン部と、
学習済みの第6のネットワークパラメータと第6のCNNとを用いて、前記複数の画像を第6の特徴量に変換する入力部と、
前記第5の特徴量と前記第6の特徴量とを加算して第7の特徴量を生成し、学習済みの第7のネットワークパラメータと第7のCNNとを用いて前記第7の特徴量を出力画像へ変換する出力部と、を有することを特徴とする請求項14に記載の画像処理装置。 - 前記補正部は、測定部により測定された前記擾乱の強度に基づいて、補正に用いる前記複数の画像の数を決定することを特徴とする請求項14または15に記載の画像処理装置。
- クライアント装置と、
前記クライアント装置にネットワークを介して接続されているサーバ装置と、を有する画像処理システムであって、
前記クライアント装置は、擾乱により劣化した時間的に異なる複数の画像を前記サーバ装置へ出力する画像出力部を有し、
前記サーバ装置は、
学習済みのネットワークパラメータを取得するパラメータ取得部と、
前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定部と、
前記擾乱の強度を前記クライアント装置へ出力する擾乱強度出力部と、を有することを特徴とする画像処理システム。 - 撮像素子と、
請求項1乃至16のいずれか1項に記載の画像処理装置と、を有することを特徴とする撮像装置。 - 擾乱により劣化した時間的に異なる複数の画像を取得する画像取得ステップと、
学習済みのネットワークパラメータを取得するパラメータ取得ステップと、
前記ネットワークパラメータとニューラルネットワークとを用いて、前記複数の画像から前記擾乱の強度を測定する測定ステップと、を有することを特徴とする画像処理方法。 - 請求項19に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
- 請求項20に記載のプログラムを記憶していることを特徴とする記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018219876A JP7246900B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
US16/688,150 US11488279B2 (en) | 2018-11-26 | 2019-11-19 | Image processing apparatus, image processing system, imaging apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018219876A JP7246900B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086891A true JP2020086891A (ja) | 2020-06-04 |
JP7246900B2 JP7246900B2 (ja) | 2023-03-28 |
Family
ID=70770838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018219876A Active JP7246900B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11488279B2 (ja) |
JP (1) | JP7246900B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022014148A1 (ja) * | 2020-07-17 | 2022-01-20 | キヤノン株式会社 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021051588A (ja) * | 2019-09-25 | 2021-04-01 | キヤノン株式会社 | 画像処理システム、及び画像処理装置とその制御方法、並びにプログラム |
CN112285147A (zh) * | 2020-10-10 | 2021-01-29 | 中国科学技术大学 | 基于数字图像相关方法测量超高温物体全场应变的方法 |
CN114708622B (zh) * | 2022-06-07 | 2022-08-16 | 成都点泽智能科技有限公司 | 滑雪场设备的调度方法、装置及*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047494A1 (ja) * | 2015-09-18 | 2017-03-23 | 株式会社日立国際電気 | 画像処理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447129B2 (en) * | 2009-03-18 | 2013-05-21 | Florida Institute Of Technology | High-speed diversity-based imaging method for parallel atmospheric turbulence compensation |
WO2012098452A1 (en) * | 2011-01-18 | 2012-07-26 | Rtc Vision Ltd. | System and method for improved character recognition in distorted images |
EP3116213A4 (en) * | 2014-03-05 | 2017-06-07 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, monitor camera, and image processing method |
US10726244B2 (en) * | 2016-12-07 | 2020-07-28 | Samsung Electronics Co., Ltd. | Method and apparatus detecting a target |
US10187171B2 (en) * | 2017-03-07 | 2019-01-22 | The United States Of America, As Represented By The Secretary Of The Navy | Method for free space optical communication utilizing patterned light and convolutional neural networks |
-
2018
- 2018-11-26 JP JP2018219876A patent/JP7246900B2/ja active Active
-
2019
- 2019-11-19 US US16/688,150 patent/US11488279B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047494A1 (ja) * | 2015-09-18 | 2017-03-23 | 株式会社日立国際電気 | 画像処理装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022014148A1 (ja) * | 2020-07-17 | 2022-01-20 | キヤノン株式会社 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
JP7246900B2 (ja) | 2023-03-28 |
US20200167885A1 (en) | 2020-05-28 |
US11488279B2 (en) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7246900B2 (ja) | 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6957197B2 (ja) | 画像処理装置および画像処理方法 | |
US10354369B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and storage medium | |
JP2019121252A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体 | |
JP6910780B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
WO2008038748A1 (fr) | Dispositif et procédé d'opération de coefficient de prévision, dispositif et procédé d'opération de données d'image, programme et support d'enregistrement | |
JP5615393B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2017010092A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
WO2004068862A1 (ja) | 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム | |
Liu et al. | Exploit camera raw data for video super-resolution via hidden markov model inference | |
JP2011223477A (ja) | ブラー補正装置およびブラー補正方法 | |
JP7032913B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP2021165944A (ja) | 学習方法、プログラム及び画像処理装置 | |
US8712175B2 (en) | Image processing system, image processing method and program for image processing | |
Jara et al. | Joint de-blurring and nonuniformity correction method for infrared microscopy imaging | |
JP6997969B2 (ja) | 画像合成システム、画像合成方法、および画像合成プログラム記録媒体 | |
JP2021087201A (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム | |
JP6541454B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US9064190B2 (en) | Estimating pixel values in digital image processing | |
JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5587322B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2020030569A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
CN112241670B (zh) | 图像处理方法及装置 | |
JP2017130167A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2013069012A (ja) | 多眼撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230315 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7246900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |