JP2020095454A - 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 - Google Patents
処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 Download PDFInfo
- Publication number
- JP2020095454A JP2020095454A JP2018232601A JP2018232601A JP2020095454A JP 2020095454 A JP2020095454 A JP 2020095454A JP 2018232601 A JP2018232601 A JP 2018232601A JP 2018232601 A JP2018232601 A JP 2018232601A JP 2020095454 A JP2020095454 A JP 2020095454A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- gain
- processing device
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
【課題】高品位なレンダリング画像を生成可能な処理装置を提供する。【解決手段】処理装置(104)は、被写体の形状に関する形状情報に基づいて生成された第1のゲインマップを取得するゲイン取得部(104e)と、被写体において形状情報の誤差が大きい部分に対応する対象領域に関する情報と第1のゲインマップとを用いて第1のゲインマップを補正することで、第2のゲインマップを生成するゲイン補正部(104f)と、被写体に関する第1の画像に対して第2のゲインマップを適用することで、被写体のレンダリング画像としての第2の画像を生成するレンダリング部(104g)とを有する。【選択図】図3
Description
本発明は、レンダリング画像を生成する処理装置に関する。
被写体に関するより多くの物理情報を取得することにより、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像をレンダリング処理により生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、および、光源情報等で決定される。
特許文献1には、被写体の形状情報としての面法線を取得(計測)する方法として照度差ステレオ法が開示されている。
被写体から直接取得(測定)された形状情報を用いてレンダリング画像を生成する場合、形状情報に取得(測定)精度の低い領域が存在していると生成されるレンダリング画像に破綻が生じてしまうおそれがある。すなわち、高品位なレンダリング画像を生成することができないおそれがある。この課題は、特許文献1に記載された照度差ステレオ法により法線情報を取得する場合に限らず、被写体の形状情報として被写体から直接取得(計測)された距離情報を用いてレンダリング画像を生成する場合などにも同様に生じ得る。
そこで本発明は、高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体を提供することを目的とする。
本発明の一側面としての処理装置は、被写体の形状に関する形状情報に基づいて生成された第1のゲインマップを取得するゲイン取得部と、前記被写体において前記形状情報の誤差が大きい部分に対応する対象領域に関する情報と、前記第1のゲインマップと、を用いて前記第1のゲインマップを補正することで、第2のゲインマップを生成するゲイン補正部と、前記被写体に関する第1の画像に対して前記第2のゲインマップを適用することで、前記被写体のレンダリング画像としての第2の画像を生成するレンダリング部とを有する。
本発明の他の側面としての撮像装置は、被写体を撮像する撮像部と、前記処理装置とを有する。
本発明の他の側面としての処理システムは、互いに異なる複数の位置からの光を被写体に光を照射可能に構成された光源部と、前記処理装置とを有する。
本発明の他の側面としての処理方法は、被写体の形状に関する形状情報に基づいて生成された第1のゲインマップを取得する工程と、前記被写体において前記形状情報の誤差が大きい部分に対応する対象領域に関する情報と、前記第1のゲインマップとを用いて前記第1のゲインマップを補正することで、第2のゲインマップを生成する工程と、前記被写体に関する第1の画像に対して前記第2のゲインマップを適用することで、前記被写体のレンダリング画像としての第2の画像を生成する工程とを有する。
本発明の他の側面としてのプログラムは、前記処理方法を、コンピュータに実行させる。
本発明の他の側面としてのコンピュータが読み取り可能な記憶媒体は、前記プログラムを記憶している。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体を提供することができる。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
以下に述べる実施例では、被写体から取得(計測)された形状情報における計測誤差の大きい領域を適切に処理することにより、高品位なレンダリング画像が生成される。なお、以下に述べる実施例では、被写体の形状情報として照度差ステレオ法により取得(計測)された法線情報を用いる例について述べる。光源から射出されて被写体により反射された光の物理的な振る舞いは局所的な面法線に依存するため、形状情報として被写体の面法線を用いることが特に有効であるためである。ただし、本発明はこれに限定されない。形状情報として、例えば、被写体の距離情報を用いても良いし、被写体の凹凸(高さ)に関する情報を用いても良い。被写体の距離情報や被写体の凹凸(高さ)に関する情報は、レーザ光を用いた三角測量や2眼ステレオ等の種々の距離計測手法を用いて取得することができる。
高品位なレンダリング画像の生成処理に関する説明に先立ち、照度差ステレオ法による被写体の面法線取得方法について説明する。照度差ステレオ法は、被写体の面法線と被写体から光源への方向に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。図10は、Torrance−Sparrowモデルの説明図である。図10に示されるように、鏡面反射成分は、光源ベクトルsと視線方向ベクトルvの2等分線と、面法線nのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。
以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をi、物体のランバート拡散反射率をρd、入射光の強さをE、物体から光源への方向(光源方向)を示す単位ベクトル(光源方向ベクトル)をs、物体の単位面法線ベクトルをnとする。このとき、輝度値iは、ランバートの余弦則より、以下の式(1)のように表される。
ここで、異なるM個(M≧3)の光源ベクトルの各成分をs1、s2、…、sM、光源ベクトルの各成分の輝度値をi1、i2、・・・iMとすると、式(1)は以下の式(2)のように表される。
式(2)において、左辺はM行1列の輝度ベクトル、右辺の[s1 T、…sM T]はM行3列の光源方向を示す入射光行列S、nは3行1列の単位面法線ベクトルである。M=3の場合は、入射光行列Sの逆行列S−1を用いることにより、Eρdnは以下の式(3)のように表される。
式(3)の左辺のベクトルのノルムが入射光の強さEとランバート拡散反射率ρdとの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さEとランバート拡散反射率ρdは積の形でのみ条件式に現れるため、Eρdを1つの変数とすると、式(3)は単位面法線ベクトルnの2自由度と合わせて未知の3変数を決定する連立方程式とみなせる。したがって、少なくとも3つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Sが正則行列でない場合は逆行列が存在しないため、入射光行列Sが正則行列となるように入射光行列Sの各成分s1〜s3を選択する必要がある。すなわち、成分s3を成分s1、s2に対して線形独立に選択することが好ましい。
M>3の場合、求める未知変数より多い条件式が得られる。このため、任意に選択した3つの条件式から、M=3の場合と同様の方法で単位面法線ベクトルnを算出すればよい。4つ以上の条件式を用いる場合、入射光行列Sが正則行列ではなくなるため、例えば、Moore−Penrose疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルnを算出してもよい。
光源ベクトルの各成分の輝度値のうち、陰影や輝度飽和により正確な値を取得できない輝度値を使用して単位面法線ベクトルnを算出した場合、正確な法線ベクトルを算出することが困難となる。したがって、陰影や輝度飽和により正確な値が取得できなかった輝度値は使用せずに単位面法線ベクトルnを算出してもよい。すなわち、M=mの光源ベクトルsmで得られた輝度値imが陰影や輝度飽和である場合、光源ベクトルsmおよび輝度値imを式(3)から除外して単位面法線ベクトルnを算出する。除外する輝度値は所定の閾値に基づく判定により決定すればよい。ただし、上記したように少なくとも3つの輝度情報が必要である。被写体の反射特性をランバート反射モデルとは異なるモデルで仮定すると、条件式が単位面法線ベクトルnの各成分に対する線形方程式と異なる場合がある。この場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。
またM>3の場合、3以上M−1以下の複数の条件式が得られるため、単位面法線ベクトルnの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルnの連続性を条件として用いることができる。単位面法線nを撮像装置の1画素ごとに算出する場合、画素(x、y)での面法線をn(x、y)として、n(x−1、y)が既知であれば、以下の式(4)で表される評価関数が最小となる解を選択すればよい。
また、n(x+1、y)やn(x、y±1)も既知であれば、以下の式(5)が最小となる解を選択すればよい。
既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式(6)で示されるように、式(5)の全画素での総和が最小となるように解を選択してもよい。
なお、最近傍以外の画素での面法線を用いることや、注目する画素位置からの距離に応じて重み付けした評価関数を用いてもよい。また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。
また、鏡面反射モデルでは、光源ベクトルをs、物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をvとすると、以下の式(7)が成り立つ。
式(7)で表されるように、光源方向ベクトルsとカメラの視線ベクトルvが既知であれば、単位面法線ベクトルnを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。
以上の照度差ステレオ法によって面法線nおよび反射率ρ(=Eρd)を取得すると、式(1)に対して任意の光源ベクトルsを与えることにより、任意の光源下での輝度値iを算出することができる。すなわち、任意の光源下での見えを再現したレンダリング画像を生成することが可能となる。式(1)ではランバート拡散反射でのレンダリング画像を生成するが、その他の拡散反射特性やそれに加えて鏡面反射特性でのレンダリング画像を生成することもできる。
次に、図1および図2Aを参照して、本発明の実施例1における撮像装置について説明する。図1は、本実施例における撮像装置1の外観図である。図2Aは、撮像装置1のブロック図である。
撮像装置1は、レンダリング処理を行ってレンダリング画像(リライティング画像)を生成する。図1に示されるように、撮像装置1は、被写体を撮像する撮像部100および光源部200を有する。図2に示されるように、撮像部100は、撮像光学系101および撮像素子102を有する。光源部200は、互いに異なる複数の位置からの光を被写体に光を照射可能に構成されている。本実施例において、光源部200は8つの光源200a〜200hを有するが、これに限定されるものではない。照度差ステレオ法を実施する際に必要な光源は少なくとも3個であるため、入力画像を取得するために少なくとも3つ以上の光源を備えていればよい。また本実施例において、撮像部100を構成する撮像光学系の光軸OAから等距離の位置に同心円状に8つの光源を等間隔で配置しているが、これに限定されるものではない。また本実施例において、光源部200は、撮像装置1に内蔵されているが、これに限定されるものではない。光源部200は、撮像装置1に着脱可能に取り付けられるように構成されていてもよい。
撮像光学系101は、絞り101aを備え、被写体からの光を撮像素子102上に結像させる。撮像素子102は、CCDセンサやCMOSセンサ等の光電変換素子により構成され、被写体を撮像する。すなわち撮像素子102は、撮像光学系101により形成された被写体の像(光学像)を光電変換し、アナログ電気信号(入力画像に対応する画像データ)を生成する。A/Dコンバータ103は、撮像素子102の光電変換により生成されたアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部104に出力する。
画像処理部(処理装置)104は、A/Dコンバータ103から入力されたデジタル信号に対して、各種の画像処理を行う。また本実施例において、画像処理部104は、被写体の法線情報を算出し、任意の光源下でのレンダリング画像を生成する。画像処理部104は、入力画像取得部104a、法線情報取得部104b、第一レンダリング部104c、領域検出部104d、ゲイン取得部104e、ゲイン補正部104f、第二レンダリング部(レンダリング部)104gを有する。
画像処理部104により処理された出力画像は、半導体メモリや光ディスク等の画像記録部109に保存される。また、出力画像を表示部(ディスプレイ)105に表示してもよい。本実施例において、入力画像取得部104a、法線情報取得部104b、第一レンダリング部104c、領域検出部104d、ゲイン取得部104e、ゲイン補正部104f、および、第二レンダリング部104gは、撮像装置1に内蔵されている。ただし本発明は、これに限定されるものではなく、前述の各部の少なくとも一部を撮像装置1とは別に設けてもよい。
情報入力部108は、ユーザにより選択された撮影条件(絞り値、露出時間、および、焦点距離等)をシステムコントローラ110に供給する。撮像制御部107は、システムコントローラ110からの情報に基づいて、ユーザが選択した所望の撮影条件で画像を取得する。照射光源制御部106は、システムコントローラ110の制御指示に応じて光源部200の発光状態を制御する。また情報入力部108は、ユーザにより選択された光源条件(光源位置、光源強度、および、光源色等)をシステムコントローラ110に供給する。画像処理部104は、システムコントローラ110からの情報に基づいて、ユーザが選択した所望の光源条件でレンダリング画像(リライティング画像)を生成する。なお本実施例において、撮像光学系101は、撮像装置1と一体的に構成されているが、これに限定されるものではない。本発明は、撮像素子を有する撮像装置本体と、撮像装置本体に着脱可能な撮像光学系(交換レンズ)とを備えて構成される一眼レフカメラやミラーレスカメラ等のカメラシステムにも適用可能である。
次に、図3乃至図8を参照して、本実施例におけるレンダリング処理(処理方法)について説明する。図3は、レンダリング処理を示すフローチャートである。本実施例のレンダリング処理は、システムコントローラ110および画像処理部104により、コンピュータプログラムとしての処理プログラムに従って実行される。なお処理プログラムは、例えば、コンピュータに読み取り可能な記憶媒体(システムコントローラ110の内部メモリ等)に記憶されている。図4は、レンダリング処理のうち図3のステップS101〜S104の説明図である。図5は、レンダリング処理のうち図3のステップS105〜S108の説明図である。ステップS101〜S104は、法線情報の誤差が大きい対象領域(エラー領域)を検出するステップである。ステップS105〜S108は、レンダリング処理のゲインマップを取得して補正し、補正したゲインマップをベースとなるベース画像(第1の画像)に適用することで高品位なレンダリング画像(第2の画像)を生成するステップである。
まず、図3のステップS101において、入力画像取得部104aは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで撮像部100により取得された複数の入力画像120を取得する。複数の入力画像120は、単一の光源の位置を(駆動部などを用いて)変更しながら単一の光源からの光を順次照射することで取得することができる。または、複数の入力画像120を、それぞれ位置の異なる複数の光源(例えば、図1に示される8つの光源200a〜200h)からの光を順次照射して取得してもよい。図4に示されるように、本実施例の入力画像120は、被写体として拡散特性である拡散板120aと金属板120bとを含む。
また、後述するステップS102にてランバート反射等の拡散反射モデルを仮定した照度差ステレオ法で法線情報を取得する場合、入力画像として撮影画像から鏡面反射成分を除去した複数の拡散反射画像を用いてもよい。画像から鏡面反射成分を除去した拡散反射画像を取得するため、例えば、2色性反射モデルによる手法を用いることができる。ただし、画像から鏡面反射成分を除去する手法はこれに限定されるものではなく、種々の手法を用いることが可能である。
続いてステップS102において、法線情報取得部104bは、法線情報を取得する。本実施例において、具体的には、法線情報取得部104bは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで取得された複数の入力画像120を用いて、被写体の法線情報nおよび反射率ρを含む被写体情報121を取得する。法線情報nおよび反射率ρは、照度差ステレオ法を用いて、光源位置による輝度情報の変化に基づいて算出される。なお本実施例において、法線情報取得部104bは、法線情報nおよび反射率ρを算出するが、他のユニットが算出した法線情報や反射率を取得してもよい。また法線情報取得部104bは、ステップS101にて取得した複数の入力画像120とは異なる光源条件で撮像された画像を用いて法線情報を算出してもよい。ここで、入力画像120における拡散板120aに関しては、被写体の反射特性を拡散反射と仮定した照度差ステレオ法で法線情報を取得することが可能である。一方、金属板120bに関しては法線情報に大きな誤差(エラー)が生じる。
続いてステップS103において、第一レンダリング部104cは、第1の仮レンダリング画像122を生成する。第1の仮レンダリング画像122は、ステップS102にて取得した法線情報nおよび反射率ρとステップS101にて取得した入力画像120が撮像された際の光源条件のうちの少なくとも1つの光源条件(第1の光源条件)に基づいて生成される。すなわち第一レンダリング部104cは、取得した法線情報nおよび反射率ρを用いて、入力画像120を再現した第1の仮レンダリング画像122を生成する。第1の仮レンダリング画像122は、入力画像120が撮像された光源条件と同一の光源条件でレンダリングされた画像である。また第1の仮レンダリング画像122は、ステップS102にて法線情報を算出する際に仮定した反射特性を用いてレンダリング処理により生成される。ランバート拡散を仮定して法線情報を算出した場合、第一レンダリング部104cは、式(1)に従って複数のレンダリング画像を生成することができる。なお、第1の仮レンダリング画像122は、複数の入力画像120のうち一部の入力画像に対応する仮レンダリング画像、または、複数の入力画像120の全ての入力画像に対応する複数の仮レンダリング画像のいずれであってもよい。なお、本願明細書において、「仮レンダリング画像」とは、本実施例の処理において最終的に生成されるレンダリング画像としての第2の画像とは異なるレンダリング画像を言う。すなわち、仮レンダリング画像は後述のように、被写体の材質に依っては破綻した部分を含み得る。
続いてステップS104において、領域検出部104dは、ステップS101で取得された入力画像120とステップS103で生成された第1の仮レンダリング画像122とに基づいて、対象領域(エラー領域)の分布(エラー領域マップ124)を検出する。対象領域は、例えば、法線情報の誤差が周囲と比べて大きい領域である。前述のように、照度差ステレオ法で面法線を算出した場合、仮定した反射特性とは異なる反射特性の被写体については法線誤差(法線エラー)が生じる。このため、誤差が生じた面法線を用いてレンダリング画像を生成すると、レンダリング画像にも誤差(エラー)が生じる。すなわち、拡散反射モデルを仮定した照度差ステレオ法で金属板120bの面法線を算出すると、大きな誤差が生じる。このため、取得した面法線を用いてレンダリング画像を生成すると、第1の仮レンダリング画像122における金属板120bに対応する斜線領域122bが破綻する(すなわち、斜線領域122bにおいて高品位なレンダリング画像を生成することができない)。
そこで領域検出部104dは、ステップS101にて取得された入力画像120とステップS103にて生成された第1の仮レンダリング画像122との差分(差分画像)123に基づいて、エラー領域(対象領域)を検出する。例えば入力画像120のうちの1つと、該画像の光源条件を再現した第1の仮レンダリング画像122との差分123が大きい領域は、照度差ステレオ法で仮定した反射特性とは異なる反射特性の被写体である可能性が高い。
本実施例において、領域検出部104dは、例えば、入力画像120と第1の仮レンダリング画像122との差分123が所定の閾値以上である領域を検出し、その領域をエラー領域とする。好ましくは、領域検出部104dは、差分123を反射率ρで除した正規化差分に基づいてエラー領域を決定する。または、領域検出部104dは、差分123を入力画像120または複数の入力画像120の平均値もしくは中央値等の入力画像120に基づく画像で除した正規化差分に基づいてエラー領域を決定してもよい。差分123を反射率ρや入力画像120に基づく画像で除することにより、算出した差分123から明るさの影響を低減(好ましくは除外)することができる。
また領域検出部104dは、複数の入力画像120と複数の第1の仮レンダリング画像122との複数の差分123における最大値である最大差分、または、複数の差分123の平均値である平均差分に基づいて、エラー領域(対象領域)を決定してもよい。好ましくは、領域検出部104dは、最大差分や平均差分を反射率ρで除した正規化最大差分または正規化平均差分に基づいてエラー領域を決定する。または、領域検出部104dは、最大差分や平均差分を、入力画像120または複数の入力画像120の平均値もしくは中央値等の入力画像に基づく画像で除した正規化最大差分や正規化平均差分に基づいてエラー領域を決定してもよい。
また、法線情報を用いたレンダリング処理では、光が遮られて発生する影を再現することができない。したがって、差分(差分画像)123aに示されるように、入力画像120と第1の仮レンダリング画像122との差分123をとった際に入力画像120における影領域120cにおいて差分123cが大きくなる。このため、領域検出部104dは、差分123cに関して、法線情報nが正確であってもエラー領域と検出する可能性がある。そこで、法線情報nに加えて形状情報を用いて、影を再現したレンダリング画像を生成することが好ましい。形状情報がない場合、入力画像120における影領域120cを検出し、差分123bに示されるように検出した影領域においては差分をとらないようにすることが好ましい。入力画像120における影領域120cは、輝度値が所定の閾値以下である領域とすることができる。または、入力画像120と第1の仮レンダリング画像122との差分と差分の符号とに基づいてエラー領域を検出してもよい。例えば、入力画像120における影領域120cでは、入力画像120から第1の仮レンダリング画像122を引いた値が負となるため、負の差分領域はエラー領域として検出しないようにする。
領域検出部104dは、差分123bに対して閾値処理を行うことにより、検出されたエラー領域のうち黒く表示される領域を最終的なエラー領域として取得することができる。本実施例において、領域検出部104dは、入力画像120と第1の仮レンダリング画像122との差分123に基づいてエラー領域を検出するが、これに限定されるものではない。領域検出部104dは、例えば、複数の入力画像120における輝度値をフィッティングすることで法線情報nを取得し、得られたフィッティング誤差を、エラー領域を検出する際の差分として用いてもよい。
続いてステップS105において、ゲイン取得部104eは、任意の光源条件下での見えを再現した高品位なレンダリング画像(第2の画像129)を生成するための第1のゲインマップ127を取得する。例えば、第一レンダリング部104cが法線情報nおよび反射率ρに基づいて、ユーザにより選択された光源条件(光源位置、光源強度、光源色等)におけるレンダリング画像である第2の仮レンダリング画像125を生成する。そしてゲイン取得部104eは、第2の仮レンダリング画像125とベース画像(第1の画像)126との比を第1のゲインマップ127とする。第2の仮レンダリング画像125は、ステップ102にて取得された法線情報に基づいて仮定した反射特性を有するものでなくてもよく、その他の拡散反射特性やそれに加えて鏡面反射特性を有していてもよい。
なお、ベース画像(第1の画像)126は、例えば、複数の入力画像120のうちの一つの画像、または、複数の入力画像120の平均値等を有する一つの画像である。好ましくは、ベース画像126は、複数の入力画像120における同一座標の輝度値が最大の画素を選択して得られた最大値画像である。最大値画像には影が含まれにくいため、ゲインマップ127を取得するのに適している。
またゲイン取得部104eは、入力画像120を反射率ρとみなして第2の仮レンダリング画像125を生成してもよい。好ましくは、ゲイン取得部104eは、法線情報nと光源条件とに基づいて第1のゲインマップ127を取得する。すなわちゲイン取得部104eは、反射率を1(または定数)とした際の第2の仮レンダリング画像を第1のゲインマップ127として取得してもよい。ここでも同様に、金属板120bにおける面法線には大きな誤差が生じるため、図5に示される第1のゲインマップ127における金属板120bの領域(斜線領域127b)に破綻が生じる。このため、高品位なレンダリング画像としての第2の画像129を生成することができない。
続いてステップS106、S107において、図5に示されるように、ゲイン補正部104fは、第1のゲインマップ127におけるエラー領域(対象領域)に対して、補正処理を行う。まずステップS106において、ゲイン補正部104fは、ステップS104にて検出されたエラー領域(対象領域)に基づいて参照画素を選択する。参照画素は、後述のステップS107にてエラー領域内(対象領域内)のエラー画素(対象画素)におけるゲインを補正するために用いられる画素であり、対象画素の周囲から選択される。
図6および図7は、ステップS106における参照画素の選択方法を示す図である。一例として、第1のゲインマップ127における対象画素を中心とした7画素×7画素の範囲に着目して説明する。図6において、124は、当該範囲におけるエラー領域(対象領域)124aの分布を示すエラー領域マップである。エラー領域マップ124において、エラー領域(対象領域)124aは黒く示されている。ゲイン補正部104fは、エラー領域(対象領域)124aではない画素を参照画素として選択する。図6において130は、上述の着目範囲における参照画素として選択される領域を示す参照領域マップである。参照領域マップ130において、参照画素は斜線で示されている。このように、ゲイン補正部104fは、エラー領域(対象領域)の分布に基づき、エラー領域外(対象領域外)の領域の画素を参照画素として選択する。自然なレンダリング画像が得られるようにゲインマップの補正を行うには、エラー領域(対象領域)124a外の参照画素を用いてエラー領域124aのゲインを補正する必要があるためである。
図7に示されるように、ゲイン補正部104fは、エラー領域(対象領域)124とガイド画像131とに基づいて参照画素を選択してもよい。ガイド画像とは、参照画素を選択する際に用いられる被写体に関する画像である。ガイド画像は入力画像120のうちの1枚でも良いし、入力画像120の最大値画像でも良い。また、ガイド画像131としてベース画像(第1の画像)126を用いても良い。
この場合、エラー領域(対象領域)マップ124に基づいて選択された参照画素130a(斜線で示される)と、ガイド画像131に基づいて選択された参照画素130b(斜線で示される)との共通画素から成る領域を参照領域マップ130とする。
参照画素130bは、例えばガイド画像131における対象画素と、対象画素を中心とする7×7の着目範囲内の他の画素との色差に基づいて選択される。具体的には、ガイド画像131における対象画素とその周辺の画素との色差が所定の閾値(所定の色差)以下である画素を参照画素130bとして選択することができる。色差の閾値としては、LAB色空間におけるユークリッド距離を色差としたときの丁度可知差異(2.3など)を用いればよい。ただし、色差の閾値はこれに限定されるものではない。なお、ガイド画像131におけるRGB間の相互の信号値の比(輝度比)を色差として用いても良い。
また、参照画素130bは、ガイド画像131における対象画素とその周辺の画素との輝度差に基づいて選択されてもよい。具体的には、ガイド画像131における対象画素とその周辺の画素との輝度差が所定の閾値(所定の輝度差)以下である画素を参照画素130bとして選択することができる。
また、ガイド画像131に影や輝度飽和等が存在して後述するゲインの補正が困難になる場合があるため、ガイド画像131の輝度値に基づいて参照画素を選択してもよい。具体的には、ガイド画像131において輝度値と所定の閾値とに基づいて参照画素を選択することができる。影の影響を除外するには、ガイド画像131において輝度値が所定の閾値以上である画素を参照画素として選択する。または、第1のゲインマップ127におけるゲインに基づいて参照画素を選択してもよい。ベース画像126が影等で輝度値が著しく低い場合、ゲインは無限大方向に大きくなる。したがって、第1のゲインマップ127においてゲインが所定の閾値以下である画素を参照画素として選択することができる。また、輝度飽和の影響を除外するにはガイド画像131において輝度値が所定の閾値よりも小さい画素を参照画素として選択すればよい。
また、参照画素の選択に際しては、第1のゲインマップの生成に用いられた法線情報とは異なる方法で取得された被写体の形状に関する情報を用いても良い。被写体の形状に関する情報としては、例えば撮影位置から被写体までの距離情報や、被写体の凹凸(高さ)に関する情報である。距離情報や被写体の凹凸(高さ)に関する情報は、レーザ光を用いた三角測量や2眼ステレオ等の種々の距離計測手法を用いて取得すればよい。また、参照画素の選択に用いる情報は、第1のゲインマップの生成に用いられた法線情報とは異なる方法で取得された法線情報であっても良い。これらの被写体の形状に関する情報における対象画素に対応する位置と、その周辺の位置との形状差を比較することによっても参照画素を選択することができる。具体的には、対象画素に対応する位置とその周辺の位置形状差が所定の閾値以下である位置に対応する第1のゲインマップの画素を参照画素として選択する。
さらに、参照画素の選択に際して、被写体の意味的領域分割マップ(セグメンテーションマップ)を用いてもよい。例えば、意味的領域分割マップにおける対象画素に対応する位置の周辺に、対象画素に対応する位置と同じ意味を持つ領域がある場合には、該領域に対応する画素を参照画素として選択することができる。なお、意味的領域分割は、種々の手法を用いることができる。このとき、被写体ごとまたは素材ごとに領域分割されていることが好ましい。
上述のように参照画素を選択することで、より自然なレンダリング画像が得られるように第1のゲインマップ127を補正することができる。なお、上述した種々の参照画素の選択の方法を2つ以上組み合わせて用いても良い。また、本実施例では、対象画素を中心とする7×7の着目範囲において参照画素を選択したが、本発明は、これに限定されるものではない。
続いて、図3のステップS107において、ゲイン補正部104fは、図8に示されるように、第1のゲインマップ127におけるステップS106にて得られた参照領域マップ130に基づいて、対象画素のゲインを補正する。これによりゲイン補正部104fは、対象画素のゲイン値が補正されたゲインマップ132を取得することができる。対象画素のゲインの補正は、第1のゲインマップ127における参照画素127exのゲインを用いて行われる。複数の参照画素が存在する場合、第1のゲインマップ127における参照画素127exのゲインの平均値を対象画素のゲインとすればよい。ここで、ベース画像126において影等で輝度値が著しく低い場合、ゲインが無限大方向に大きくなる場合がある。したがって、前述のように、ベース画像126において影等で輝度値が著しく低い画素を参照画素として用いないことが好ましい。また、ゲインが著しく大きい画素は参照しないようにしてもよい。また、ベース画像126において輝度飽和している画素が存在する場合、不確かな輝度飽和した輝度値を用いることになり、正確なゲインを算出できない可能性がある。したがって、前述のように、ベース画像126において輝度飽和している画素を参照画素として用いないことが好ましい。
続いてステップS108において、ゲイン補正部104fは、ステップS106、S107の処理を第1のゲインマップ127におけるエラー領域(対象領域)の全てに対して行ったか否かを判定する。一部のエラー領域に対する処理を行っていない場合、ステップS106に戻る。この際、前回のステップS106、S107の処理により補正された対象画素を参照画素として用いても良い。
一方、エラー領域の全てに対する処理が完了した場合、ステップS109に進む。これによりゲイン補正部104fは、法線情報の誤差が低減された高品位なレンダリング画像(第2の画像129)を生成するために必要な、補正されたゲインマップ(第2のゲインマップ)128を取得することができる。
続いてステップS109において、第二レンダリング部104gは、図5に示されるように、ベース画像(第1の画像)126に対して、第2のゲインマップ128を適用する。これにより第二レンダリング部104gは、法線情報の誤差が低減された高品位なレンダリング画像(第2の画像129)を生成することができる。例えば、第2の画像129は、(ベース画像(第1の画像)126)×(第2のゲインマップ128)により生成される。ベース画像126は、ステップS105にて用いられたベース画像を用いればよい。ステップS105にてベース画像を用いていない場合、反射率や入力画像に基づく画像を用いてもよい。
なお本実施例では、撮像装置1を用いて被写体の面法線を算出して第2の画像129を生成しているが、これに限定されるものではない。例えば図2Bに示されるように、撮像装置1とは異なる処理システム2を用いて第2の画像129を生成してもよい。図2Bは、処理システム2のブロック図である。処理システム2は、処理装置500、撮像部501、および光源部502を有する。処理装置500は、入力画像取得部500a、法線情報取得部500b、第一レンダリング部500c、領域検出部500d、ゲイン取得部500e、ゲイン補正部500f、および、第二レンダリング部500gを有する。
処理システム2を用いて第2の画像129を生成する場合、まず入力画像取得部500aは、互いに位置の異なる複数の光源位置で被写体の撮像を行うことで取得された複数の入力画像120を取得する。続いて、法線情報取得部500bは、複数の入力画像120に基づいて被写体の法線情報nおよび反射率ρを算出する。そして第一レンダリング部500cは、取得した法線情報nおよび反射率ρと入力画像が撮像された際の光源条件に基づいて第1の仮レンダリング画像122を生成する。また領域検出部500dは、取得した入力画像120と第1の仮レンダリング画像122とに基づいてエラー領域(対象領域)124を検出する。
ゲイン取得部500eは、任意の光源条件における第2の画像129を生成するための第1のゲインマップ127を取得する。そしてゲイン補正部500fは、第1のゲインマップ127におけるエラー領域(対象領域)に対して補正処理を行い、第2のゲインマップ128を取得する。そして第二レンダリング部500gは、第2のゲインマップ128を用いて第2の画像129を生成する。なお、撮像部501および光源部502はそれぞれ、個別の装置であってもよく、また、光源部502は撮像部501に内蔵されていてもよい。
本実施例によれば、高品位なレンダリング画像を生成することができる。
次に、図9を参照して、本発明の実施例2について説明する。実施例1では、光源を内蔵した撮像装置について説明したが、本実施例では撮像装置と光源ユニットとから構成される処理システムについて説明する。図9は、処理システム3の外観図である。処理システム3は、被写体303を撮像する撮像装置301、および、複数の光源ユニット302を備えて構成される。本実施例の撮像装置301は、実施例1と同様の撮像装置であるが、複数の光源を内蔵する構成である必要はない。
光源ユニット302は、撮像装置301と有線または無線で接続され、撮像装置301からの情報に基づいて制御できることが好ましい。また、照度差ステレオ法では少なくとも3つの光源を順次照射して撮像された画像が必要であるが、光源が移動可能に構成された光源ユニットを使用する場合、少なくとも1つの光源ユニットを備えていればよい。ただし、光源を移動させて、少なくとも互いに異なる3つの光源位置で撮像を行う必要がある。なお、光源ユニット302が自動で光源位置を変更できない場合や光源ユニット302が撮像装置301により制御できない場合、撮像装置301の表示部に表示される光源位置に位置するようにユーザに光源ユニット302を調整させてもよい。なお、本実施例のレンダリング処理は、実施例1の処理と同様であるため、詳細な説明は省略する。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施例によれば、高品位なレンダリング画像を生成可能な処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
104 画像処理部(処理装置)
104e ゲイン取得部
104f ゲイン補正部
104g 第二レンダリング部(レンダリング部)
104e ゲイン取得部
104f ゲイン補正部
104g 第二レンダリング部(レンダリング部)
Claims (22)
- 被写体の形状に関する形状情報に基づいて生成された第1のゲインマップを取得するゲイン取得部と、
前記被写体において前記形状情報の誤差が大きい部分に対応する対象領域に関する情報と、前記第1のゲインマップと、を用いて前記第1のゲインマップを補正することで、第2のゲインマップを生成するゲイン補正部と、
前記被写体に関する第1の画像に対して前記第2のゲインマップを適用することで、前記被写体のレンダリング画像としての第2の画像を生成するレンダリング部と、
を有することを特徴とする処理装置。 - 前記形状情報は前記被写体の法線情報であることを特徴とする請求項1に記載の処理装置。
- 互いに異なる複数の位置からの光を被写体に順次照射して撮影された複数の画像に基づいて算出された前記法線情報を取得する法線情報取得部を更に有することを特徴とする請求項2に記載の処理装置。
- 第1の光源条件で前記被写体を撮影した画像と、前記形状情報に基づいて生成された前記第1の光源条件での前記被写体の第1の仮レンダリング画像に基づいて、前記対象領域を検出する領域検出部を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の処理装置。
- 前記ゲイン取得部は、前記形状情報を用いて生成された前記被写体の第2の仮レンダリング画像と、前記第1の画像と、に基づいて前記第1のゲインマップを生成することを特徴とする請求項1乃至4のいずれか一項に記載の処理装置。
- 前記第1のゲインマップは、前記第2の仮レンダリング画像と前記第1の画像の比の値のマップであることを特徴とする請求項5に記載の処理装置。
- 前記形状情報は、互いに異なる複数の位置からの光を被写体に順次照射して撮影された複数の画像に基づいて算出された前記被写体の法線情報であり、
前記第1の画像は、前記複数の画像のうちの1枚、または、前記複数の画像に基づいて生成された画像であることを特徴とする請求項5または6に記載の処理装置。 - 前記第1の画像は、前記複数の画像における同一座標の輝度値が最大の画素を選択して得られた画像であることを特徴とする請求項7に記載の処理装置。
- 前記ゲイン補正部は、前記第1のゲインマップにおける前記対象領域に対応する領域内の対象画素を、該対象画素の周囲に位置する画素である参照画素のゲイン値を用いて補正することで、前記第2のゲインマップを生成することを特徴とする請求項1乃至8のいずれか1項に記載の処理装置。
- 前記参照画素は、前記対象領域に対応する領域外の画素であることを特徴とする請求項9に記載の処理装置。
- 前記参照画素は、前記被写体に関するガイド画像において前記対象画素に対応する画素と、前記ガイド画像における他の画素との色差を用いて選択されることを特徴とする請求項9または10に記載の処理装置。
- 前記参照画素は、前記被写体に関するガイド画像における輝度値を用いて選択されることを特徴とする請求項9乃至11のいずれか一項に記載の処理装置。
- 前記形状情報は、互いに異なる複数の位置からの光を被写体に順次照射して撮影された複数の画像に基づいて算出された前記被写体の法線情報であり、
前記ガイド画像は、前記複数の画像のうちの1枚、または、前記複数の画像に基づいて生成された画像であることを特徴とする請求項11または12に記載の処理装置。 - 前記ガイド画像は、前記複数の画像における同一座標の輝度値が最大の画素を選択して得られた画像であることを特徴とする請求項13に記載の処理装置。
- 前記参照画素は、前記第1のゲインマップのゲイン値を用いて選択されることを特徴とする請求項9乃至14のいずれか一項に記載の処理装置。
- 前記参照画素は、前記第1のゲインマップの生成に用いられた前記形状情報とは異なる方法で取得された前記被写体の形状に関する情報、または、前記被写体の意味的領域分割マップを用いて選択されることを特徴とする請求項9乃至15のいずれか一項に記載の処理装置。
- 被写体を撮像する撮像部と、
請求項1乃至16のいずれか一項に記載の処理装置と、
を有することを特徴とする撮像装置。 - 互いに異なる複数の位置からの光を被写体に光を照射可能に構成された光源部と、
請求項3乃至16のいずれか1項に記載の処理装置と、を有することを特徴とする処理システム。 - 被写体を撮像する撮像部を更に有することを特徴とする請求項18に記載の処理システム。
- 被写体の形状に関する形状情報に基づいて生成された第1のゲインマップを取得する工程と、
前記被写体において前記形状情報の誤差が大きい部分に対応する対象領域に関する情報と、前記第1のゲインマップと、を用いて前記第1のゲインマップを補正することで、第2のゲインマップを生成する工程と、
前記被写体に関する第1の画像に対して前記第2のゲインマップを適用することで、前記被写体のレンダリング画像としての第2の画像を生成する工程と、
を有することを特徴とする処理方法。 - 請求項20に記載の処理方法を、コンピュータに実行させることを特徴とするプログラム。
- 請求項21に記載のプログラムを記憶した、コンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018232601A JP2020095454A (ja) | 2018-12-12 | 2018-12-12 | 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018232601A JP2020095454A (ja) | 2018-12-12 | 2018-12-12 | 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020095454A true JP2020095454A (ja) | 2020-06-18 |
Family
ID=71085587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018232601A Withdrawn JP2020095454A (ja) | 2018-12-12 | 2018-12-12 | 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020095454A (ja) |
-
2018
- 2018-12-12 JP JP2018232601A patent/JP2020095454A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7179472B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US10939090B2 (en) | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium | |
US11025829B2 (en) | Imaging apparatus, accessory, processing apparatus, processing method, and storage medium | |
JP6877936B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2017102637A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2017076033A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP2017134561A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6716295B2 (ja) | 処理装置、撮像装置、処理方法、プログラム、および記録媒体 | |
JP7118776B2 (ja) | 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
US10721395B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6679289B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、処理プログラムおよび記録媒体 | |
JP2020095454A (ja) | 処理装置、撮像装置、処理システム、処理方法、プログラム、および、記憶媒体 | |
JP2018054413A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP7213686B2 (ja) | 形状計測装置、制御方法及びプログラム | |
JP7508230B2 (ja) | 画像処理装置、画像処理システム、撮像装置および画像処理方法 | |
JP6862114B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP6910763B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP7309425B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、および、プログラム | |
JP7490457B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、およびプログラム | |
JP2020129313A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP7210170B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
JP2022076368A (ja) | 画像処理装置、撮像装置、情報処理装置、画像処理方法、及びプログラム | |
JP2020173591A (ja) | 処理装置、処理システム、撮像装置、処理方法、および、プログラム | |
JP2020076590A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211201 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20220208 |