JP6786225B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP6786225B2 JP6786225B2 JP2016031968A JP2016031968A JP6786225B2 JP 6786225 B2 JP6786225 B2 JP 6786225B2 JP 2016031968 A JP2016031968 A JP 2016031968A JP 2016031968 A JP2016031968 A JP 2016031968A JP 6786225 B2 JP6786225 B2 JP 6786225B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- light source
- subject
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 152
- 238000003384 imaging method Methods 0.000 title claims description 54
- 230000009467 reduction Effects 0.000 claims description 88
- 230000003287 optical effect Effects 0.000 claims description 29
- 210000001747 pupil Anatomy 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 10
- 230000004907 flux Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 53
- 239000013598 vector Substances 0.000 description 31
- 239000000243 solution Substances 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 8
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
また、反射特性モデルfが視線方向ベクトルvに依存する場合は、視線方向を変化させることによっても方程式の数を増やすことができる。
撮影画像に含まれる入力画像ノイズ量σiは、MADと標準偏差が(11)式の関係であることから推定することができる。
σi=MAD/0.6745 ・・・(11)
図7には、ノイズ量のデータを記憶するデータテーブルの例を示している。この例では、複数のノイズ条件および複数の光源照射角度のそれぞれに対して入力画像ノイズ量σiおよび法線情報ノイズ量σnが保持されている。状態検知部107で取得される撮像条件(ノイズ条件)とステップS102で取得される光源照射角度とに基づいてノイズ低減処理情報を決定することができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
200 光源
104 画像処理部
104a 法線情報推定部
104b ノイズ低減処理情報決定部
104c ノイズ低減処理部
104d 光源情報取得部
Claims (11)
- 被写体を照明する光源の位置が互いに異なる複数の光源条件での撮像により生成された複数の入力画像を取得し、前記光源条件に応じた前記入力画像における輝度情報の変化に関する情報を用いて、前記被写体の表面の法線情報を生成する生成手段と、
前記撮像時における前記光源に関する情報である光源情報を用いて、前記法線情報または処理対象画像に対するノイズ低減処理の強度を設定するために用いる情報であるノイズ低減処理情報を取得する取得手段とを有し、
前記光源情報は、前記光源からの前記被写体への光照射方向に関する情報または前記光源条件の数に関する情報であることを特徴とする画像処理装置。 - 前記光照射方向に関する情報は、前記撮像を行う撮像装置から前記被写体に向かう撮像方向と前記光照射方向とがなす角度または複数の前記光源からの前記光照射方向同士がなす角度の情報であることを特徴とする請求項1に記載の画像処理装置。
- 前記光源情報として前記光源条件の数に関する情報を用いる場合、前記入力画像の数の情報を前記光源条件の数に関する情報として用いることを特徴とする請求項1に記載の画像処理装置。
- 前記取得手段は、前記ノイズ低減処理情報を前記被写体における部分領域ごとに取得することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
- 前記ノイズ低減処理情報を用いて前記法線情報または前記処理対象画像に対する前記ノイズ低減処理を行う処理手段を有することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
- 前記処理対象画像は、前記入力画像であることを特徴とする請求項1から5のいずれか一項に記載の画像処理装置。
- 前記処理対象画像は、仮想光源条件下での前記被写体の画像として前記法線情報を用いて生成されたリライティング画像であることを特徴とする請求項1から5のいずれか一項に記載の画像処理装置。
- 被写体の光学像を光電変換する撮像素子と、
該撮像素子からの出力を用いて生成された撮影画像を前記入力画像として取得する請求項1から7のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。 - 前記画像処理装置は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を前記撮像素子における互いに異なる画素にて光電変換して得られた信号を用いて前記被写体までの距離に関する情報を算出し、該距離に関する情報に基づいて前記光源情報を取得することを特徴とする請求項8に記載の撮像装置。
- コンピュータに画像処理を実行させるコンピュータプログラムとしての画像処理プログラムであって、
前記コンピュータに、
被写体を照明する光源の位置が互いに異なる複数の光源条件での撮像により生成された複数の入力画像を取得させ、
前記光源条件に応じた前記入力画像における輝度情報の変化に関する第2の情報とを用いて、前記被写体の表面の法線情報を生成させ、
前記撮像時における前記光源に関する情報である光源情報を用いて、前記法線情報または処理対象画像に対するノイズ低減処理の強度を設定するために用いる情報であるノイズ低減処理情報を取得させ、
前記光源情報は、前記光源からの前記被写体への光照射方向に関する情報または前記光源条件の数に関する情報であることを特徴とする画像処理プログラム。 - 前記コンピュータに、前記ノイズ低減処理情報を用いて前記法線情報または前記処理対象画像に対する前記ノイズ低減処理を行わせることを特徴とする請求項10に記載の画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031968A JP6786225B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置、撮像装置および画像処理プログラム |
US15/434,422 US20170244876A1 (en) | 2016-02-23 | 2017-02-16 | Image processing apparatus, image capturing apparatus, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016031968A JP6786225B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置、撮像装置および画像処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017150878A JP2017150878A (ja) | 2017-08-31 |
JP2017150878A5 JP2017150878A5 (ja) | 2019-03-28 |
JP6786225B2 true JP6786225B2 (ja) | 2020-11-18 |
Family
ID=59630338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016031968A Active JP6786225B2 (ja) | 2016-02-23 | 2016-02-23 | 画像処理装置、撮像装置および画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170244876A1 (ja) |
JP (1) | JP6786225B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10134064B2 (en) * | 2014-06-27 | 2018-11-20 | Ledvance Llc | Lighting audit and LED lamp retrofit |
US10393514B2 (en) * | 2015-10-08 | 2019-08-27 | Asml Netherlands B.V. | Topography measurement system |
JP6869652B2 (ja) * | 2016-07-01 | 2021-05-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
CN107948549B (zh) * | 2017-11-07 | 2020-04-17 | 维沃移动通信有限公司 | 一种图像噪点调整方法和装置 |
JP7286268B2 (ja) * | 2018-02-15 | 2023-06-05 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
DE102019105358B4 (de) * | 2018-03-04 | 2020-03-26 | Vision Tools Hard- Und Software Entwicklungs Gmbh | Erstellung eines Abstandsbildes |
JP7059076B2 (ja) * | 2018-03-30 | 2022-04-25 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム、記録媒体 |
JP7118776B2 (ja) * | 2018-06-29 | 2022-08-16 | キヤノン株式会社 | 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
JP2022076368A (ja) | 2020-11-09 | 2022-05-19 | キヤノン株式会社 | 画像処理装置、撮像装置、情報処理装置、画像処理方法、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6639594B2 (en) * | 2001-06-03 | 2003-10-28 | Microsoft Corporation | View-dependent image synthesis |
JP4156893B2 (ja) * | 2002-09-27 | 2008-09-24 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
CN101383908B (zh) * | 2005-08-19 | 2012-02-08 | 松下电器产业株式会社 | 图像处理方法和图像处理*** |
GB0520829D0 (en) * | 2005-10-13 | 2005-11-23 | Univ Cambridge Tech | Image processing methods and apparatus |
US8463072B2 (en) * | 2008-08-29 | 2013-06-11 | Adobe Systems Incorporated | Determining characteristics of multiple light sources in a digital image |
JP5592776B2 (ja) * | 2010-12-21 | 2014-09-17 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP2013179564A (ja) * | 2012-02-01 | 2013-09-09 | Canon Inc | 画像処理方法、画像処理装置および撮像装置 |
JP2013190249A (ja) * | 2012-03-13 | 2013-09-26 | Topcon Corp | 三次元計測システム及び三次元計測方法及び三次元計測プログラム |
KR101918032B1 (ko) * | 2012-06-29 | 2018-11-13 | 삼성전자주식회사 | 광원의 변화를 사용한 깊이 영상 생성 장치 및 방법 |
JP6308880B2 (ja) * | 2014-06-09 | 2018-04-11 | 株式会社キーエンス | 画像検査装置 |
GB201414144D0 (en) * | 2014-08-08 | 2014-09-24 | Imagination Tech Ltd | Relightable texture for use in rendering an image |
-
2016
- 2016-02-23 JP JP2016031968A patent/JP6786225B2/ja active Active
-
2017
- 2017-02-16 US US15/434,422 patent/US20170244876A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170244876A1 (en) | 2017-08-24 |
JP2017150878A (ja) | 2017-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6456156B2 (ja) | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム | |
JP7043085B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
US9832432B2 (en) | Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
US9818199B2 (en) | Method and apparatus for estimating depth of focused plenoptic data | |
US10356384B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium for storing image processing program | |
US8929685B2 (en) | Device having image reconstructing function, method, and recording medium | |
US10902570B2 (en) | Processing apparatus, processing system, imaging apparatus, processing method, and storage medium | |
US20190355101A1 (en) | Image refocusing | |
JP6877936B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2015046019A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2017102637A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2017134561A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
CN110662013B (zh) | 摄像装置、图像处理方法和存储介质 | |
JP6362070B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
KR101857977B1 (ko) | 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법 | |
JP7213686B2 (ja) | 形状計測装置、制御方法及びプログラム | |
JP2014011639A (ja) | 撮像装置 | |
JP7309425B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、および、プログラム | |
US20240169492A1 (en) | Selective extended depth-of-field correction for image reconstruction | |
JP2021196656A (ja) | 処理装置、処理システム、撮像装置、処理方法、およびプログラム | |
JP7210170B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201028 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6786225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |