JP2021117884A - 画像処理装置、画像処理システム、撮像装置および画像処理方法 - Google Patents
画像処理装置、画像処理システム、撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP2021117884A JP2021117884A JP2020012469A JP2020012469A JP2021117884A JP 2021117884 A JP2021117884 A JP 2021117884A JP 2020012469 A JP2020012469 A JP 2020012469A JP 2020012469 A JP2020012469 A JP 2020012469A JP 2021117884 A JP2021117884 A JP 2021117884A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- image processing
- reflectance
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 58
- 238000003384 imaging method Methods 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 53
- 238000005286 illumination Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 abstract description 37
- 239000013598 vector Substances 0.000 description 40
- 230000008569 process Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 239000002184 metal Substances 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
まず具体的な実施例の説明に先立って、照度差ステレオ法による被写体の法線情報を取得する方法について説明する。照度差ステレオ法は、被写体の面法線と被写体からの光源の方向とに基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから被写体の面法線の情報である法線情報を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合に、ランバートの余弦則に従うランバート反射モデルを用いて近似する。図9は、Torrance−Sparrowモデルを示している。
なお、入射光行列Sが正則行列でない場合は逆行列が存在しないため、入射光行列Sが正則行列となるように入射光行列Sの各成分s1〜s3を選択する必要がある。すなわち、成分s3を成分s1、s2に対して線形独立に選択することが好ましい。
ただし、上述したように少なくとも3つの輝度情報が必要である。被写体の反射特性をランバート反射モデルとは異なるモデルで仮定すると、条件式が単位面法線ベクトルnの各成分に対する線形方程式と異なる場合がある。この場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。
なお、入力画像として、元の入力画像120を縮小した画像を用いて第1の法線情報と反射率情報を取得するようにしてもよい。入力画像を縮小した画像を用いる場合には、以降の処理においても入力画像を縮小した画像を用いる。
そこで、第1の法線情報に加えて形状情報を用いて、影を再現したレンダリング画像を生成することが好ましい。形状情報がない場合は、入力画像120における影領域120cを検出し、差分123bに示されるように検出した影領域においては差分をとらないようにすることが好ましい。入力画像120における影領域120cは、輝度値が所定の閾値以下である領域として検出することができる。
続いてステップS106およびステップS107において、補正部104fは、第1の法線情報と反射率補正係数におけるエラー領域に対して補正処理を行う。まずステップS106において、補正部104fは、ステップS104にて検出されたエラー領域に基づいて参照画素を選択する。参照画素は、後述するステップS107にてエラー領域内のエラー画素(対象画素)の法線情報と反射率補正係数を補正するために用いられる画素であり、エラー画素の周囲から選択される。
画像処理システム3は、被写体303を撮像する撮像装置301と、複数の光源ユニット302とを備える。撮像装置301は、実施例1と同様の撮像装置であるが、光源部を内蔵しなくてもよい。
本実施例におけるレンダリング処理は、実施例1で説明したレンダリング処理と同様であるため、詳細な説明は省略する。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104b 被写体情報取得部
104c 第1レンダリング部
104d 領域検出部
104e 補正係数取得部
104f 補正部
104g 第2レンダリング部
Claims (18)
- 被写体を撮像して得られる入力画像を用いて算出される前記被写体の第1の法線情報と反射率情報を取得する第1の取得手段と、
前記反射率情報を用いて、前記入力画像を用いて得られる第1の画像から反射率を取得するために用いられる第1の補正情報を取得する第2の取得手段と、
前記入力画像と前記第1の法線情報とを用いて、前記第1の法線情報が誤差を含む対象領域を検出する検出手段と、
前記対象領域における前記第1の補正情報を補正することで第2の補正情報を取得する補正手段と、
前記第1の画像と前記第1の法線情報と前記第2の補正情報を用いて第2の画像を生成する生成手段とを有することを特徴とする画像処理装置。 - 前記補正手段は、前記対象領域における前記第1の法線情報と前記第1の補正情報をそれぞれ補正することで第2の法線情報と前記第2の補正情報を取得し、
前記生成手段は、前記第1の画像と前記第2の法線情報と前記第2の補正情報を用いて前記第2の画像を生成することを特徴とする請求項1に記載の画像処理装置。 - 前記生成手段は、前記第2の法線情報を用いてゲインマップを取得し、前記第1の画像と前記ゲインマップと前記第2の補正情報とを用いて前記第2の画像を生成することを特徴とする請求項2に記載の画像処理装置。
- 前記第1の画像は、互いに異なる複数の光源位置で前記被写体を撮像して得られた複数の前記入力画像のうち少なくとも1つの画像または前記複数の画像から生成された画像であることを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。
- 前記第1の画像は、前記複数の入力画像のうち同一座標の輝度値が最大の画像であることを特徴とする請求項4に記載の画像処理装置。
- 前記検出手段は、
前記入力画像の撮像が行われた光源条件と前記第1の法線情報と前記反射率情報とを用いて仮画像を生成し、
前記仮画像と前記入力画像と用いて前記対象領域を検出することを特徴とする請求項1から5のいずれか一項に記載の画像処理装置。 - 前記補正手段は、
前記入力画像を用いてガイド画像を取得し、
前記対象領域における前記第1の法線情報と前記第1の補正情報を、前記ガイド画像のうち前記対象領域に対応する対象画素とは異なる参照画素の前記第1の法線情報と前記反射率情報を用いて補正することで、前記第2の法線情報と前記第2の補正情報を取得することを特徴とする請求項2に記載の画像処理装置。 - 前記補正手段は、前記ガイド画像における前記対象画素とそれ以外の画素との色差または輝度差を用いて前記参照画素を選択することを特徴とする請求項7に記載の画像処理装置。
- 前記補正手段は、前記ガイド画像における輝度値を用いて前記参照画素を選択することを特徴とする請求項7または8に記載の画像処理装置。
- 前記ガイド画像は、互いに異なる複数の光源位置で前記被写体を撮像して得られた複数の前記入力画像のうち少なくとも1つの画像または前記複数の入力画像から生成された画像であることを特徴とする請求項7から9のいずれか一項に記載の画像処理装置。
- 前記ガイド画像は、前記複数の入力画像のうち同一座標の輝度値が最大の画像であることを特徴とする請求項10に記載の画像処理装置。
- 前記ガイド画像は、前記複数の入力画像のうち前記対象画素の輝度が最大の画像であることを特徴とする請求項10に記載の画像処理装置。
- 前記補正手段は、
前記対象領域における前記第1の法線情報と前記第1の補正情報を前記対象領域に対応する対象画素とは異なる参照画素の前記第1の法線情報と前記反射率情報を用いて補正することで、前記第2の法線情報と前記第2の補正情報を取得し、
前記第1の法線情報を取得する方法とは異なる方法で取得された前記被写体の形状に関する情報または前記被写体の意味的領域分割マップを用いて前記参照画素を選択することを特徴とする請求項2から12のいずれか一項に記載の画像処理装置。 - 被写体を撮像する撮像手段と、
請求項1から13のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。 - 被写体に互いに異なる複数の位置から照明光を順次照射する照明手段と、
請求項1から13のいずれか一項に記載の画像処理装置とを有することを特徴とする画像処理システム。 - 被写体を撮像する撮像手段をさらに有することを特徴とする請求項15に記載の画像処理システム。
- 被写体を撮像して得られる入力画像を用いて算出される前記被写体の第1の法線情報と反射率情報を取得するステップと、
前記反射率情報を用いて、前記入力画像を用いて得られる第1の画像から反射率を取得するために用いられる第1の補正情報を取得するステップと、
前記入力画像と前記第1の法線情報とを用いて、前記第1の法線情報が誤差を含む対象領域を検出するステップと、
前記対象領域における前記第1の補正情報を補正することで第2の補正情報を取得するステップと、
前記第1の画像と前記第1の法線情報と前記第2の補正情報を用いて第2の画像を生成するステップとを有することを特徴とする画像処理方法。 - コンピュータに、請求項17に記載の画像処理方法に従う処理を実行させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020012469A JP2021117884A (ja) | 2020-01-29 | 2020-01-29 | 画像処理装置、画像処理システム、撮像装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020012469A JP2021117884A (ja) | 2020-01-29 | 2020-01-29 | 画像処理装置、画像処理システム、撮像装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021117884A true JP2021117884A (ja) | 2021-08-10 |
JP2021117884A5 JP2021117884A5 (ja) | 2023-01-23 |
Family
ID=77175017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020012469A Pending JP2021117884A (ja) | 2020-01-29 | 2020-01-29 | 画像処理装置、画像処理システム、撮像装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021117884A (ja) |
-
2020
- 2020-01-29 JP JP2020012469A patent/JP2021117884A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109644224B (zh) | 用于捕获数字图像的***和方法 | |
JP4757927B2 (ja) | ホワイトバランス調整装置及びホワイトバランス調整方法 | |
TWI471004B (zh) | 成像裝置、成像方法及程式 | |
JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP7179472B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
JP2002027491A (ja) | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 | |
JP2012533957A (ja) | 画像取込システムにおける欠陥を推定するための方法および関連したシステム | |
JP6877936B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2019200140A (ja) | 撮像装置、アクセサリ、処理装置、処理方法、および、プログラム | |
JP6679289B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体 | |
JP7118776B2 (ja) | 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP2017161374A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2021117884A (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
JP2017138927A (ja) | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム | |
JP2019070886A (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP7311995B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP7213686B2 (ja) | 形状計測装置、制御方法及びプログラム | |
JP2018054413A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP6862114B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2020095454A (ja) | 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 | |
JP6910763B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP7309425B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、および、プログラム | |
JP2020129313A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP7490457B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |