JP2017135528A - Image processing device, imaging apparatus and image processing program - Google Patents
Image processing device, imaging apparatus and image processing program Download PDFInfo
- Publication number
- JP2017135528A JP2017135528A JP2016013010A JP2016013010A JP2017135528A JP 2017135528 A JP2017135528 A JP 2017135528A JP 2016013010 A JP2016013010 A JP 2016013010A JP 2016013010 A JP2016013010 A JP 2016013010A JP 2017135528 A JP2017135528 A JP 2017135528A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- information
- images
- normal
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像により得られた画像を用いて被写体の法線情報を取得する技術に関する。 The present invention relates to a technique for acquiring normal line information of a subject using an image obtained by imaging.
デジタルカメラ等の撮像装置で被写体を撮像して得られた画像から、被写体の形状情報として面法線の情報（以下、法線情報という）を取得する方法が知られている。面法線情報を取得する方法としては、レーザ光を用いた三角測量や２眼ステレオ法等の方法で取得した距離情報から求めた三次元形状を面法線情報に変換する方法や、非特許文献１にて開示された照度差ステレオ法や、偏光情報から法線情報を推定する方法がある。 There is known a method of acquiring surface normal information (hereinafter referred to as normal information) as shape information of a subject from an image obtained by imaging the subject with an imaging device such as a digital camera. As a method of acquiring surface normal information, a method of converting a three-dimensional shape obtained from distance information acquired by a method such as triangulation using a laser beam or a binocular stereo method into surface normal information, or non-patent There are a photometric stereo method disclosed in Document 1 and a method for estimating normal information from polarization information.
照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を決定する方法である。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。 The illuminance difference stereo method is a method for determining a surface normal from the luminance information of the subject at a plurality of light source positions and the assumed reflection characteristic, assuming a reflection characteristic based on the surface normal of the subject and the light source direction. A Lambertian reflection model that follows Lambert's cosine law is often used as the reflection characteristic of the subject.
一般に、物体での反射には、鏡面反射と拡散反射とがある。鏡面反射は、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射である。拡散反射は、被写体の表面を透過した後に物体内部で散乱されて光が返ってくる反射である。鏡面反射した光は上述のランバートの余弦則では表せず、撮像装置で観測される被写体からの反射光に鏡面反射光が含まれていると、照度差ステレオ法では面法線が正確に求まらない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。例えば、特許文献１には、４つ以上の光源を使用して得られた複数の面法線候補から真の面法線を求める方法が開示されている。 In general, reflection by an object includes specular reflection and diffuse reflection. The specular reflection is regular reflection on the object surface and is Fresnel reflection according to the Fresnel equation on the object surface (interface). The diffuse reflection is a reflection in which light returns after being scattered inside the object after passing through the surface of the subject. The specularly reflected light is not expressed by the Lambert's cosine law described above. If the reflected light from the subject observed by the imaging device contains specularly reflected light, the surface normal can be accurately obtained by the illuminance difference stereo method. Not. Even in a shaded portion where light from the light source does not strike, a deviation from the assumed reflection model occurs, and the surface normal information of the subject cannot be acquired accurately. For example, Patent Document 1 discloses a method for obtaining a true surface normal from a plurality of surface normal candidates obtained by using four or more light sources.
法線情報を偏光情報から推定する方法では、偏光情報として偏光度と偏光方位を用いる方法が知られている。特許文献２には、視点位置が異なる複数の偏光画像から被写体の法線情報を取得する方法が開示されている。特許文献２では、それぞれの視点位置ごとに偏光方位から面法線の１自由度を推定することで法線情報を推定する。 As a method for estimating normal line information from polarization information, a method using polarization degree and polarization direction as polarization information is known. Patent Document 2 discloses a method for acquiring normal line information of a subject from a plurality of polarized images having different viewpoint positions. In Patent Document 2, normal information is estimated by estimating one degree of freedom of a surface normal from the polarization direction for each viewpoint position.
照度差ステレオ法や偏光情報から推定する方法により被写体の法線情報を取得するためには、輝度情報（つまりは撮像時の照明条件）が異なる複数の撮影画像が必要となる。つまり複数の撮影画像から得られる輝度情報の変化から被写体の法線情報を算出するため、法線情報取得の最小単位は撮影画像の画素サイズとなる。このため、撮影画像における１つの画素内に複数の面法線を持つ、いわゆる画素内テクスチャーがある場合には、取得された法線情報が真の法線情報とは異なるものとなる。 In order to acquire the normal information of the subject by the illuminance difference stereo method or the method of estimating from the polarization information, a plurality of captured images having different luminance information (that is, illumination conditions at the time of imaging) are required. That is, since the normal information of the subject is calculated from changes in luminance information obtained from a plurality of captured images, the minimum unit for obtaining normal information is the pixel size of the captured image. For this reason, when there is a so-called in-pixel texture having a plurality of surface normals in one pixel in the captured image, the acquired normal information is different from the true normal information.
しかしながら、表面形状が複雑な被写体に対して取得された法線情報の精度について、ユーザが判断することは困難である。また、非特許文献１、特許文献１および特許文献２には、画素内テクスチャーに対する対応方法については開示されていない。 However, it is difficult for the user to determine the accuracy of normal information acquired for a subject having a complicated surface shape. Further, Non-Patent Document 1, Patent Document 1 and Patent Document 2 do not disclose a method for dealing with the texture in the pixel.
本発明は、取得された法線情報の精度についてユーザが容易に判断することができるようにした画像処理装置および撮像装置等を提供する。 The present invention provides an image processing apparatus, an imaging apparatus, and the like that allow a user to easily determine the accuracy of acquired normal information.
本発明の一側面としての画像処理装置は、被写体を撮像することで生成された撮影画像を用いて被写体の表面の法線情報を取得する。該画像処理装置は、撮影画像として、第１の撮像画角において被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第１の画像および第１の撮像画角よりも狭い第２の撮像画角において照明条件を互いに異ならせた撮像により生成された複数の第２の画像を取得する画像取得手段と、法線情報として、複数の第１の画像における輝度情報の変化に基づいて第１の法線情報を取得するとともに、複数の第２の画像における輝度情報の変化に基づいて第２の法線情報を取得する法線取得手段と、第１の法線情報と第２の法線情報とを比較することにより第１の法線情報の信頼度を判定する信頼度判定手段とを有することを特徴とする。 An image processing apparatus according to one aspect of the present invention acquires normal information on a surface of a subject using a captured image generated by imaging the subject. The image processing apparatus has a plurality of first images generated by imaging with different illumination conditions for a subject at a first imaging field angle as a captured image and a second narrower than the first imaging field angle. Image acquisition means for acquiring a plurality of second images generated by imaging with different illumination conditions at the imaging angle of view, and normal information based on changes in luminance information in the plurality of first images. Normal acquisition means for acquiring first normal information and acquiring second normal information based on changes in luminance information in a plurality of second images; first normal information and second method; And a reliability determination unit that determines the reliability of the first normal information by comparing the line information.
なお、上記画像処理装置と、第１および第２の画像を得るための撮像を行う撮像手段とを有する撮像装置も、本発明の他の一側面を構成する。 Note that an imaging apparatus that includes the image processing apparatus and an imaging unit that performs imaging for obtaining the first and second images also constitutes another aspect of the present invention.
また、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。 An image processing program as a computer program that causes a computer to perform the operation as the image processing apparatus constitutes another aspect of the present invention.
本発明によれば、取得された法線情報の信頼度（精度）をユーザに提示することが可能となり、該信頼度をユーザが容易に判断することができる。 According to the present invention, the reliability (accuracy) of the acquired normal information can be presented to the user, and the user can easily determine the reliability.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
まず具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例は、被写体の表面の面法線に関する情報である法線情報を取得するために用いられる撮像装置であり、取得された法線情報の精度（信頼度）についてユーザが容易に判断できるようにすることを目的とする。 Prior to description of specific embodiments, items common to each embodiment will be described. Each embodiment is an imaging apparatus that is used to acquire normal information that is information about the surface normal of the surface of the subject, and the user can easily determine the accuracy (reliability) of the acquired normal information. The purpose is to do so.
法線情報（面法線情報）とは、面法線の１自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報および求めた面法線の妥当性に関する情報である。 Normal information (surface normal information) is information for determining at least one candidate for one degree of freedom of surface normal, information for obtaining a true solution from a plurality of solution candidates for surface normal, and a request This is information on the validity of the surface normal.
まず、「偏光情報」について説明する。一般に光の偏光状態は４つのパラメタで表現でき、例えばストークスパラメタがある。このストークスパラメタのように光の偏光状態を示す情報を各実施例では偏光情報という。また、後に説明する偏光度や偏光方位、または偏光状態の測定誤差等、偏光情報から２次的に決まる量も偏光情報に含まれる。 First, “polarization information” will be described. In general, the polarization state of light can be expressed by four parameters, for example, Stokes parameters. Information indicating the polarization state of light like this Stokes parameter is called polarization information in each embodiment. Further, the polarization information also includes an amount that is secondarily determined from the polarization information, such as a polarization degree, a polarization orientation, or a measurement error of the polarization state, which will be described later.
一般に偏光情報を取得するには、独立な４つの偏光成分を測定すればよい。しかし、自然界においては、円偏光成分が現れることは少なく、被写体の偏光情報としては直線偏光成分のみで十分な場合も多い。つまり、無偏光と円偏光を区別しないで取得することとなる。この場合、少なくとも３つの異なる直線偏光成分の強度や輝度を取得すればよい。偏光子を透過した光は偏光主軸方向に偏光した直線偏光光となるため、偏光主軸角の異なる３以上の条件下で偏光子を透過した光の強度や輝度を測定すればよい。 In general, in order to obtain polarization information, four independent polarization components may be measured. However, in the natural world, a circularly polarized component rarely appears, and in many cases, only a linearly polarized component is sufficient as polarization information of a subject. That is, non-polarized light and circularly polarized light are acquired without being distinguished. In this case, the intensity and brightness of at least three different linearly polarized light components may be acquired. Since the light transmitted through the polarizer becomes linearly polarized light polarized in the polarization main axis direction, the intensity and luminance of the light transmitted through the polarizer may be measured under three or more conditions with different polarization main axis angles.
図１３には、偏光情報の取得方法を示している。図１３中の１２１〜１２４は偏光主軸角が０度、４５度、９０度、１３５度の４つの偏光子をそれぞれ透過した光の輝度であり、正弦関数カーブに従って変化する。この関係は、反射光の輝度をＩとし、偏光子の主軸角をνとして、次のように表される。 FIG. 13 shows a method for acquiring polarization information. In FIG. 13, reference numerals 121 to 124 denote the luminances of light transmitted through four polarizers having polarization main axis angles of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, respectively, and vary according to a sine function curve. This relationship is expressed as follows, where I is the brightness of the reflected light and ν is the principal axis angle of the polarizer.
このときの定数Ａ、Ｂ、Ｃを定めることで偏光情報を知ることができる。Ａ，Ｂ，Ｃは正の定数であり、Ｂは余弦関数の周期性から０°から１８０°までの値で表すことができる。 Polarization information can be known by determining constants A, B, and C at this time. A, B, and C are positive constants, and B can be represented by a value from 0 ° to 180 ° from the periodicity of the cosine function.
偏光子の主軸角３つに対して輝度を測定した場合、未知の定数もＡ，Ｂ，Ｃの３つであり、Ａ，Ｂ，Ｃを一意に求めることができる。一方４以上の偏光条件で輝度を測定した場合はフィッティングでＡ，Ｂ，Ｃを求める。フィッティングの方法としては、ｉ番目の条件から得られる観測値（νｉ，Ｉｉ）と（１）式で表される理論値との差分を評価関数として用いればよく、最小二乗法等の既知の方法でフィッティングすることができる。なお、撮像装置を用いて取得する場合は、実際の光の輝度値と撮像系を介して生成された出力信号がリニアになるように、出力信号を補正することが望ましい。 When the luminance is measured with respect to three principal axis angles of the polarizer, there are three unknown constants A, B, and C, and A, B, and C can be uniquely obtained. On the other hand, when the luminance is measured under four or more polarization conditions, A, B, and C are obtained by fitting. As a fitting method, a difference between the observed value (νi, Ii) obtained from the i-th condition and the theoretical value represented by the equation (1) may be used as an evaluation function, and a known method such as a least square method may be used. Can be fitted with. In addition, when acquiring using an imaging device, it is desirable to correct | amend an output signal so that the luminance value of an actual light and the output signal produced | generated via the imaging system may become linear.
以上の方法により求めたＡ，Ｂ，Ｃのパラメタから以下の様々な偏光情報が得られる。
・偏光主軸角に対する輝度の振幅Ａ
・偏光主軸角に対する平均輝度値Ｉａｖｅ
Ｉａｖｅ＝Ｃ （２）
・偏光の最大輝度Ｉｍａｘ
Ｉｍａｘ＝Ａ＋Ｃ （３）
・偏光の最小輝度Ｉｍｉｎ（輝度値の非偏光成分）
Ｉｍｉｎ＝Ｃ−Ａ （４）
・偏光方位ψ（偏光輝度が最大となる偏光子の位相角）
ψ＝Ｂ （５）
・偏光度ρ
ρ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）＝Ａ／Ｃ （６）
・偏光推定誤差Ｅｐ
The following various polarization information can be obtained from the parameters A, B, and C obtained by the above method.
・ Amplitude A of luminance with respect to the polarization axis
-Average luminance value Iave with respect to the polarization principal axis angle
Iave = C (2)
・ Maximum brightness Imax of polarized light
Imax = A + C (3)
・ Minimum luminance of polarized light Imin (non-polarized component of luminance value)
Imin = C−A (4)
・ Polarization direction ψ
ψ = B (5)
・ Polarity ρ
ρ = (Imax−Imin) / (Imax + Imin) = A / C (6)
-Polarization estimation error Ep
ここでＩｍ，ｉはi番目の偏光状態における輝度である。 Here, Im and i are luminances in the i-th polarization state.
次に、偏光情報に基づいて被写体の法線情報を取得する方法について説明する。被写体の単位面法線ベクトルは２自由度を有する。上述の偏光情報からはその２自由度が満たす条件式を得ることができる。 Next, a method for acquiring the normal information of the subject based on the polarization information will be described. The unit normal vector of the subject has two degrees of freedom. From the polarization information described above, a conditional expression satisfying the two degrees of freedom can be obtained.
図１４に示すように、偏光方位からは入射面または出射面の角度情報が得られる。被写体からの反射光が偏光する主な理由は、ｓ偏光とｐ偏光に対するフレネル反射率が異なるためである。鏡面反射した光（以下、鏡面反射成分という）ではｓ偏光で反射率が大きくなるため、偏光方位は入射面と直交する。なお、鏡面反射では入射面と出射面が等しい。一方、拡散反射した光（以下、鏡面反射成分という）では、物体内部で散乱した光が外へ出てくる時の透過率がｐ偏光で大きくなり、偏光方位が出射面と一致する。すなわち、撮像装置の視線方向ベクトルに直交する面内で、面法線の方位角φが満たす下記の条件式が得られる。
φ＝ψ＋π／２ （鏡面反射成分）
φ＝ψ （拡散反射成分） （８）
ただし、φは１８０度の不定性を持つ。
As shown in FIG. 14, angle information of the incident surface or the exit surface is obtained from the polarization direction. The main reason why the reflected light from the subject is polarized is because the Fresnel reflectivity for s-polarized light and p-polarized light is different. In the case of specularly reflected light (hereinafter referred to as a “specular reflection component”), since the reflectance is increased with s-polarized light, the polarization direction is orthogonal to the incident surface. In the mirror reflection, the incident surface and the exit surface are the same. On the other hand, with diffusely reflected light (hereinafter referred to as a specular reflection component), the transmittance when the light scattered inside the object exits increases with p-polarized light, and the polarization direction coincides with the exit surface. That is, the following conditional expression satisfying the azimuth angle φ of the surface normal in the plane orthogonal to the line-of-sight direction vector of the imaging device is obtained.
φ = ψ + π / 2 (Specular reflection component)
φ = ψ (diffuse reflection component) (8)
However, φ has an indefiniteness of 180 degrees.
図１５に示すように、偏光度からは面法線と撮像装置の視線方向ベクトルがなす角θが求まる。図１６（Ａ）に鏡面反射成分の偏光度の入射角依存性を、図１６（Ｂ）に拡散反射成分の偏光度の出射角依存性を示す。鏡面反射成分では、入射角は被写体の面法線と撮像装置の視線方向ベクトルがなす角に等しいが、１つの偏光度に対して２つの入射角をとりうる。つまり、解の候補が２つに絞られる。拡散反射成分では、偏光度と出射角が１対１の関係にある。被写体の面法線と撮像装置の視線方向ベクトルがなす角は出射角そのものであるため、偏光度から求まる。 As shown in FIG. 15, the angle θ formed by the surface normal and the line-of-sight direction vector of the imaging device is obtained from the degree of polarization. FIG. 16A shows the incident angle dependence of the degree of polarization of the specular reflection component, and FIG. 16B shows the emission angle dependence of the degree of polarization of the diffuse reflection component. In the specular reflection component, the incident angle is equal to the angle formed by the surface normal of the subject and the line-of-sight direction vector of the imaging device, but can have two incident angles for one degree of polarization. That is, the solution candidates are narrowed down to two. In the diffuse reflection component, the degree of polarization and the exit angle have a one-to-one relationship. Since the angle formed by the surface normal of the subject and the line-of-sight direction vector of the imaging device is the emission angle itself, it can be obtained from the degree of polarization.
以上のように、偏光情報から被写体の面法線が満たす条件を得ることができる。この条件を複数組み合わせることで、面法線を推定することができる。例えば、特許文献２にあるように、異なる複数視点から見た偏光方位から被写体の面法線を推定できる。２以上の視点の各々に対して入射面が求まると、その入射面の交線が面法線となる。実際には測定誤差があるため、面法線推定に用いる視点条件の組み合わせを変えながら、それぞれの方法で求まった面法線の平均方向として面法線を決定するとよい。また、異なる視点からみた入射面が一致する場合は面法線が一意に定まらない。このようなときは、さらに異なる視点に対応した偏光方位が必要となる。 As described above, the condition that the surface normal of the subject satisfies can be obtained from the polarization information. By combining a plurality of these conditions, the surface normal can be estimated. For example, as disclosed in Patent Document 2, the surface normal of the subject can be estimated from the polarization directions viewed from a plurality of different viewpoints. When an incident surface is obtained for each of two or more viewpoints, an intersection line of the incident surfaces becomes a surface normal. Since there is actually a measurement error, it is preferable to determine the surface normal as the average direction of the surface normal obtained by each method while changing the combination of the viewpoint conditions used for the surface normal estimation. In addition, when the incident surfaces seen from different viewpoints coincide, the surface normal is not uniquely determined. In such a case, polarization directions corresponding to different viewpoints are required.
他にも、単視点からの偏光方位と偏光度を組み合わせても面法線を推定できる。例えば、図１５の右図に示すように拡散反射成分が観測されている場合、偏光方位から面法線の方位角が決まり、偏光度から面法線の天頂角θが１つ求まる。このとき方位角がφとφ＋１８０°の不定性を持つため、面法線の解が２つ得られる。観測された反射光が鏡面反射成分の場合は、偏光度から面法線の天頂角が２つ求まる。この場合は方位角の不定性と合わせて面法線の解の候補が４つ求まる。観測された反射光が拡散反射成分と鏡面反射成分かその混合かを特定しない場合は、偏光方位と入射面の関係に９０°の不定性が生じ、さらに解の候補が増える。このように解の候補が複数求まる場合は、後述の方法で解を選択するとよい。 In addition, the surface normal can be estimated by combining the polarization direction and the polarization degree from a single viewpoint. For example, when a diffuse reflection component is observed as shown in the right diagram of FIG. 15, the azimuth angle of the surface normal is determined from the polarization azimuth, and one zenith angle θ of the surface normal is obtained from the polarization degree. At this time, since the azimuth angle has indefiniteness of φ and φ + 180 °, two surface normal solutions are obtained. When the observed reflected light is a specular reflection component, two zenith angles of the surface normal are obtained from the degree of polarization. In this case, four surface normal solution candidates are obtained together with the azimuth ambiguity. If the observed reflected light does not specify whether it is a diffuse reflection component and a specular reflection component or a mixture thereof, 90 ° indefiniteness occurs in the relationship between the polarization direction and the incident surface, and the number of solution candidates increases. When a plurality of solution candidates are obtained in this way, the solution may be selected by the method described later.
光源位置による輝度情報の変化に基づいて被写体の面法線情報を取得する方法としては照度差ステレオ法を用いるとよい。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する方法である。仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は図１７に示した光源ベクトルｓと視線方向ベクトルｖの２等分線と面法線ｎのなす角に反射率が依存する。したがって、前述した反射特性は視線方向にも基づく特性としてもよい。照度差ステレオ法に用いる輝度情報は、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの差分をとることで環境光等、既知の光源以外の光源による影響を除いてもよい。以下では、ランバート反射モデルを仮定した場合を説明する。 The illuminance difference stereo method may be used as a method for acquiring the surface normal information of the subject based on the change in the luminance information depending on the light source position. The illuminance-difference stereo method is a method for determining a surface normal from a reflection characteristic based on luminance information of a subject at a plurality of light source positions and a reflection characteristic based on the surface normal of the subject and a light source direction. Assuming that the reflectance is uniquely determined when a certain surface normal and light source position are given, if the subject's reflectance is unknown, it can be approximated by a Lambert reflection model that follows Lambert's cosine law. Good. Further, the reflectance of the specular reflection component depends on the angle formed by the bisector of the light source vector s and the line-of-sight direction vector v and the surface normal n shown in FIG. Therefore, the above-described reflection characteristics may be based on the line-of-sight direction. Luminance information used in the illuminance difference stereo method captures images when the known light source is turned on and off, and by taking the difference between them, light sources other than known light sources, such as ambient light You may exclude the influence by. Hereinafter, a case where a Lambertian reflection model is assumed will be described.
反射光の輝度をｉとは、物体のランバート拡散反射率をρｄとし、入射光の強さをＥとし、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓとし、物体の単位面法線ベクトルをｎとする。このとき、ランバートの余弦則から、 The luminance of the reflected light is i, the Lambertian diffuse reflectance of the object is ρd, the intensity of the incident light is E, the unit vector (light source direction vector) indicating the direction from the object to the light source is s, and the unit of the object Let the surface normal vector be n. At this time, from Lambert's cosine law,
と表せる。ここで異なるＭ個（Ｍ≧３）の光源方向ｓ１，ｓ２，・・・，ｓＭで得られた輝度値ｉ１，ｉ２，・・・ｉＭとすると（９）式から以下のように表せる。 It can be expressed. If the luminance values i1, i2,... IM obtained in different M (M ≧ 3) light source directions s1, s2,.
ここで左辺はＭ行１列の輝度ベクトルであり、右辺の［ｓ１Ｔ,・・・,ｓＭＴ］はＭ行３列の光源方向を示す入射光行列Ｓである。また、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は入射光行列Ｓの逆行列を左から乗じることで、Ｅρｄｎが下記のように求まる。 Here, the left side is a luminance vector of M rows and 1 column, and [s1T,..., SMT] on the right side is an incident light matrix S indicating the light source direction of M rows and 3 columns. N is a unit surface normal vector of 3 rows and 1 column. In the case of M = 3, Eρdn is obtained as follows by multiplying the inverse matrix of the incident light matrix S from the left.
左辺のベクトルのノルムがＥとρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。ここから分かるように、Ｅとρｄは積の形でのみ条件式に現れるので、Ｅρｄで１つの変数として見ると、単位面法線ベクトルの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。よって、３つの光源条件（照明条件）で輝度情報を取得することで方程式が３つ得られ、解を決定することができる。なお、入射光行列Ｓが正則でない場合は逆行列が存在しないため、光源方向ｓ１〜ｓ３をＳが正則となるように選択する必要がある。つまり、ｓ３をｓ１とｓ２に対して線形独立に選ぶことが望ましい。 The norm of the vector on the left side is the product of E and ρd, and the normalized vector is obtained as the surface normal vector of the object. As can be seen from this, since E and ρd appear in the conditional expression only in the form of a product, when viewed as one variable in Eρd, the simultaneous three-variable that determines the unknown three variables together with the two degrees of freedom of the unit surface normal vector. It can be regarded as an equation. Therefore, three equations are obtained by acquiring luminance information under three light source conditions (illumination conditions), and a solution can be determined. When the incident light matrix S is not regular, there is no inverse matrix, so it is necessary to select the light source directions s1 to s3 so that S is regular. That is, it is desirable to select s3 linearly independent of s1 and s2.
一方、Ｍ＞３の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した３つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。４つ以上の条件式を用いる場合は入射光行列Ｓが正方行列ではなくなるため、例えば、Moore-Penrose疑似逆行列を使って近似解を求めればよい。 On the other hand, when M> 3, more conditional expressions are obtained than the unknown variable to be obtained. In this case, the surface normal vector can be obtained from three arbitrarily selected conditional expressions by the same method as described above. When four or more conditional expressions are used, since the incident light matrix S is not a square matrix, for example, an approximate solution may be obtained using a Moore-Penrose pseudo inverse matrix.
また、行列計算を用いなくとも、既知のフィッティング手法や最適化手法によって解を求めてもよい。被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式でなくなることがある。この場合でも、未知変数に対して未知変数以上の方程式が得られれば、既知のフィッティング手法や最適化手法を用いることができる。さらに、Ｍ＞３の場合には、３以上Ｍ−１以下の条件式の組み合わせが複数得られるため、複数の面法線候補を求めることもできる。この場合は、特許文献１の方法や後述の方法によって解を選択するとよい。 Further, the solution may be obtained by a known fitting method or optimization method without using matrix calculation. If the reflection characteristics of the object are assumed by a model other than the Lambertian reflection model, the conditional expression may not be a linear equation for each component of the unit surface normal vector n. Even in this case, a known fitting method or optimization method can be used if an equation equal to or greater than the unknown variable is obtained for the unknown variable. Furthermore, in the case of M> 3, a plurality of combinations of conditional expressions of 3 or more and M-1 or less are obtained, so that a plurality of surface normal candidates can be obtained. In this case, the solution may be selected by the method of Patent Document 1 or the method described later.
面法線ベクトルの解の候補が複数求まる場合、さらに別の条件から解を選択するとよい。例えば、面法線ベクトルの連続性を条件として用いることができる。面法線を撮像装置の１画素ごとに算出する場合、画素（ｘ，ｙ）での面法線ｎ（ｘ，ｙ）として、ｎ（ｘ−１，ｙ）が既知であれば評価関数である、 When a plurality of surface normal vector solution candidates are obtained, the solution may be selected from yet another condition. For example, continuity of surface normal vectors can be used as a condition. When calculating the surface normal for each pixel of the imaging device, if n (x-1, y) is known as the surface normal n (x, y) at the pixel (x, y), an evaluation function is used. is there,
が最小となる解を選択するとよい。ｎ（ｘ＋１，ｙ）やｎ（ｘ，ｙ±１）も既知であれば、 Choose a solution that minimizes. If n (x + 1, y) and n (x, y ± 1) are also known,
が最小となるような解を選択するとよい。既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、全画素での総和である、 Choose a solution that minimizes. If there is no known surface normal and the surface normal is indefinite at all pixel positions, it is the sum of all pixels.
が最小となるように解を選択してもよい。 The solution may be selected so that is minimized.
上記は一例であり、注目画素の最近傍以外の画素での面法線情報を用いたり、注目画素の位置からの距離に応じて重みをつけた評価関数としたりしてもよい。 The above is an example, and surface normal information at a pixel other than the nearest pixel of the target pixel may be used, or an evaluation function weighted according to the distance from the position of the target pixel may be used.
複数候補から解を選択する場合には、奥行き情報を利用してもよい。奥行き情報は前述のレーザ光を用いた三角測量や２眼ステレオなどの方法で取得できる。奥行き情報から求めた三次元形状を面法線情報へ変換することで面法線ベクトルが算出できる。前述したように、この方法で求めた面法線ベクトルは精度が十分ではない。しかし、複数の面法線ベクトルの解候補が既に求まっている場合は、１つの解に決定するための参考情報とすることができる。すなわち、複数の面法線ベクトルの解候補のうち、奥行き情報により求めた面法線ベクトルに最も近い候補を選択するとよい。 When selecting a solution from a plurality of candidates, depth information may be used. Depth information can be acquired by a method such as triangulation using the laser beam described above or binocular stereo. A surface normal vector can be calculated by converting the three-dimensional shape obtained from the depth information into surface normal information. As described above, the surface normal vector obtained by this method is not accurate enough. However, when solution candidates for a plurality of surface normal vectors have already been obtained, it can be used as reference information for determining one solution. That is, it is preferable to select a candidate closest to the surface normal vector obtained from the depth information from among a plurality of surface normal vector solution candidates.
また、偏光度を利用してもよい。図１６（ａ），（ｂ）から分かるように、偏光度が小さいとき、鏡面反射成分では入射角が０°または９０°付近、拡散反射成分では出射角が０°付近である。このため、例えば偏光度が０．１より小さい場合は、面法線ベクトルの複数の候補のうち、視線方向に近い候補を選択することができる。鏡面反射の場合は視線方向または視線方向の垂直方向に最も近い候補を選択してもよい。 Further, the degree of polarization may be used. As can be seen from FIGS. 16A and 16B, when the degree of polarization is small, the incident angle is about 0 ° or 90 ° for the specular reflection component, and the output angle is about 0 ° for the diffuse reflection component. For this reason, for example, when the degree of polarization is smaller than 0.1, a candidate close to the line-of-sight direction can be selected from a plurality of candidates for the surface normal vector. In the case of specular reflection, a candidate closest to the viewing direction or the direction perpendicular to the viewing direction may be selected.
また、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、面法線ベクトルと光源方向が近いほど反射光の輝度が大きくなる。このため、複数の光源方向での輝度値から、輝度が大きい方向により近くなるような面法線ベクトルを選択することができる。また、鏡面反射モデルでは物体からカメラへの方向の単位ベクトル（カメラの視線方向ベクトル）をｖとして In addition, luminance information at an arbitrary light source position may be used. In the diffuse reflection model typified by the Lambert reflection model, the brightness of the reflected light increases as the surface normal vector and the light source direction are closer. For this reason, it is possible to select a surface normal vector that is closer to a direction in which the luminance is larger from luminance values in a plurality of light source directions. In the specular reflection model, the unit vector of the direction from the object to the camera (camera line-of-sight direction vector) is v.
が滑らかな表面では成り立つ。このため、光源方向ベクトルｓとカメラの視線方向ベクトルｖとが既知であれば、面法線ｎを算出することができる。表面に粗さがある一般の場合は鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解候補から最も平滑面に対する解に近い候補を選択することができる。また、複数の解候補の平均によって真の解を決めてもよい。 Holds on a smooth surface. Therefore, if the light source direction vector s and the camera line-of-sight direction vector v are known, the surface normal n can be calculated. In general, when the surface is rough, specular reflection also has a broadening of the emission angle, but since it spreads around the solution obtained as a smooth surface, select the candidate closest to the solution for the smooth surface from multiple solution candidates Can do. Further, the true solution may be determined by the average of a plurality of solution candidates.
図１には、本発明の実施例１である撮像装置１の外観を示す。図２は、本実施例の撮像装置１の構成を示す。 FIG. 1 shows an appearance of an imaging apparatus 1 that is Embodiment 1 of the present invention. FIG. 2 shows a configuration of the imaging apparatus 1 of the present embodiment.
撮像装置１は、不図示の被写体を撮像する撮像部１００と、その周囲を囲むように配置された８つの光源部２００とを備えている。８つの光源部２００はそれぞれ、被写体を照明する照明光を互いに独立に発することができる。光源２００の数は、照度差ステレオ法を実施する際は最低３つの光源が必要であるため３つ以上であれば８つでなくてもよい。図２では、光源部２００としてまとめて示している。撮像装置１は、さらにＡＦ（オートフォーカス）や撮像を開始させるためのレリーズボタン３００を備える。 The imaging apparatus 1 includes an imaging unit 100 that captures an unillustrated subject and eight light source units 200 arranged so as to surround the periphery thereof. Each of the eight light source units 200 can emit illumination light for illuminating the subject independently of each other. The number of the light sources 200 is not limited to eight as long as the number of light sources 200 is three or more because at least three light sources are necessary when the illuminance difference stereo method is performed. In FIG. 2, the light source unit 200 is collectively shown. The imaging apparatus 1 further includes a release button 300 for starting AF (autofocus) and imaging.
撮像光学系１０１は、不図示の被写体からの光（被写体像）を撮像素子１０２上に結像させる。撮像光学系１０１と撮像素子１０２とにより撮像部（撮像手段）が構成される。撮像光学系１０１は絞り１０１ａを含む。また、撮像光学系１０１は、複数のレンズ群を光軸方向に移動させることにより撮像倍率を変えることができる変倍光学系である。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換する。 The imaging optical system 101 forms light (subject image) from a subject (not shown) on the imaging element 102. The imaging optical system 101 and the imaging element 102 constitute an imaging unit (imaging means). The imaging optical system 101 includes a stop 101a. The imaging optical system 101 is a variable magnification optical system that can change the imaging magnification by moving a plurality of lens groups in the optical axis direction. The image sensor 102 is composed of a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and photoelectrically converts a subject image.
撮像素子１０２での光電変換により生成されたアナログ電気信号はＡ／Ｄコンバータ１０３でデジタル信号に変換され、該デジタル信号は画像処理装置としての画像処理部１０４に入力される。 An analog electric signal generated by photoelectric conversion in the image sensor 102 is converted into a digital signal by an A / D converter 103, and the digital signal is input to an image processing unit 104 as an image processing apparatus.
画像処理部１０４は、デジタル信号に対して一般に行われる画像処理と併せて、被写体の法線情報を推定する処理を行う。画像処理部１０４は、上記デジタル信号としての撮影画像を取得する画像取得手段として機能するとともに、法線情報を算出する法線算出部１０４ａと、取得された面法線情報の信頼度を評価（判定）する信頼度評価部（信頼度判定手段）１０４ｃを有する。画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１１０に保存される。また、出力画像を、表示部１０５に表示してもよい。画像処理部１０４は、信頼度評価部１０４ｃの結果に基づいて表示部１０５に表示する表示用情報としての追加情報を付加する情報追加処理部（表示情報生成手段）１０４ｂを有する。 The image processing unit 104 performs processing for estimating the normal information of the subject together with image processing generally performed on the digital signal. The image processing unit 104 functions as an image acquisition unit that acquires a captured image as the digital signal, and also evaluates the reliability of the acquired surface normal information and the normal calculation unit 104a that calculates normal information ( A reliability evaluation unit (reliability determination means) 104c. The output image processed by the image processing unit 104 is stored in the image recording unit 110 such as a semiconductor memory or an optical disk. Further, the output image may be displayed on the display unit 105. The image processing unit 104 includes an information addition processing unit (display information generation unit) 104b that adds additional information as display information to be displayed on the display unit 105 based on the result of the reliability evaluation unit 104c.
情報入力部１０８は、ユーザが所望の撮像条件、例えば焦点距離、絞り値および露出時間（撮像時間）を選択して入力した情報を検知してシステムコントローラ１１１にそのデータを供給する。撮像制御部１０７は、システムコントローラ１１１からの情報に基づいて、撮像光学系１０１内の不図示のフォーカスレンズや変倍レンズを移動させ、また絞り値、露出時間、波長選択性撮像フィルタおよび撮像素子１０２を制御する。これにより、必要な撮影画像を取得する。 The information input unit 108 detects information input by the user selecting desired imaging conditions, for example, focal length, aperture value, and exposure time (imaging time), and supplies the data to the system controller 111. The imaging control unit 107 moves a focus lens and a variable power lens (not shown) in the imaging optical system 101 based on information from the system controller 111, and further, aperture value, exposure time, wavelength selective imaging filter, and imaging element. 102 is controlled. Thereby, a necessary captured image is acquired.
照射光源制御部１０６は、システムコントローラ１１１の制御指示に応じて光源部２００の発光状態を制御する。具体的には、８つの光源部２００のうち点灯させる光源部を選択したりその発光量（照明光量）を制御したりする。なお、撮像光学系１０１は、撮像装置１と一体に設けられていてもよいし、一眼レフカメラのように撮像装置１に対して交換可能であってもよい。 The irradiation light source control unit 106 controls the light emission state of the light source unit 200 in accordance with a control instruction from the system controller 111. Specifically, the light source unit to be lit is selected from the eight light source units 200, and the light emission amount (illumination light amount) is controlled. Note that the imaging optical system 101 may be provided integrally with the imaging device 1 or may be replaceable with respect to the imaging device 1 like a single-lens reflex camera.
図３のフローチャートには、上述した法線情報を推定し、その信頼度を評価する画像処理の流れを示す。この画像処理は、それぞれコンピュータであるシステムコントローラ１１１および画像処理部１０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。このことは、後述する他の実施例でも同じである。 The flowchart in FIG. 3 shows the flow of image processing for estimating the normal information described above and evaluating its reliability. This image processing is executed by the system controller 111 and the image processing unit 104, which are respectively computers, according to an image processing program as a computer program. This is the same in other embodiments described later.
ステップＳ１０１では、システムコントローラ１１１は、ユーザによる情報入力部１０８からの入力に応じて第１撮像条件（絞り値露出時間および焦点距離等）を設定する。 In step S101, the system controller 111 sets the first imaging condition (aperture value exposure time, focal length, etc.) according to the input from the information input unit 108 by the user.
次にステップＳ１０２では、システムコントローラ１１１は、ユーザによりレリーズボタン３００が半押し操作されたか否かを判定する。半押し操作された場合は撮影準備動作（ＡＦ、測光等）を行う。 In step S102, the system controller 111 determines whether the release button 300 has been pressed halfway by the user. When the button is pressed halfway, a shooting preparation operation (AF, photometry, etc.) is performed.
次にステップＳ１０３では、システムコントローラ１１１は、ステップＳ１０１で設定された第１撮像条件に基づいて第２撮像条件を決定する。本実施例では、第２撮像条件として、第１撮像条件よりも撮像倍率が高くなる（撮像画角が狭くなる）ように設定する。 Next, in step S103, the system controller 111 determines the second imaging condition based on the first imaging condition set in step S101. In the present embodiment, the second imaging condition is set such that the imaging magnification is higher (the imaging angle of view is narrower) than the first imaging condition.
ここで、上記のように第２撮像条件を設定する理由について簡単に説明する。上述したように、照度差ステレオ法や偏光情報から推定する方法によって被写体の法線情報を取得するためには、輝度情報（つまりは撮像時の照明条件）が異なる複数の撮影画像が必要となる。つまり、複数の撮影画像の輝度変化から被写体の面法線を算出するため、面法線取得の最小単位は画素サイズとなる。このため、図４に示すように撮影画像の１画素内に複数の面法線を持つ画素内テクスチャーがある場合には真の面法線を取得することができない。図４は複雑な面形状を有する被写体の断面を第１撮像条件で撮像する場合を模式的に示している。図４中の１３１，１４１はそれぞれ、第１撮像条件での撮像装置の１画素（撮影画像の１画素）に対応する撮像領域である。 Here, the reason for setting the second imaging condition as described above will be briefly described. As described above, in order to acquire the normal information of the subject by the illuminance difference stereo method or the method of estimating from the polarization information, a plurality of captured images having different luminance information (that is, illumination conditions at the time of imaging) are required. . That is, since the surface normal of the subject is calculated from the luminance change of a plurality of captured images, the minimum unit for acquiring the surface normal is the pixel size. For this reason, as shown in FIG. 4, when there is an in-pixel texture having a plurality of surface normals in one pixel of a captured image, a true surface normal cannot be acquired. FIG. 4 schematically shows a case where a cross section of a subject having a complicated surface shape is imaged under the first imaging condition. Reference numerals 131 and 141 in FIG. 4 denote imaging regions corresponding to one pixel (one pixel of a captured image) of the imaging device under the first imaging condition.
撮像領域１４１では面形状が均一であるため、図４における面１４２の真の面法線は矢印１４４が示す０度方向であり、面１４３の真の面法線も矢印１４５が示す０度方向である。撮像領域１４１では２つの面１４２，１４３のそれぞれの面法線１４４，１４５が混合して得られることとなるが、これら２つの面１４２，１４３が同一方向を向いているため、面法線の算出結果としては、矢印１４６が示す０度方向という真の面法線と同じになる。 Since the surface shape is uniform in the imaging region 141, the true surface normal of the surface 142 in FIG. 4 is the 0 degree direction indicated by the arrow 144, and the true surface normal of the surface 143 is also the 0 degree direction indicated by the arrow 145. It is. In the imaging region 141, the surface normals 144 and 145 of the two surfaces 142 and 143 are obtained in a mixed manner. However, since these two surfaces 142 and 143 face the same direction, The calculation result is the same as the true surface normal in the 0 degree direction indicated by the arrow 146.
しかし、図４中の撮像領域１３１では２つの面１３２，１３３が異なる方向を向いており、面１３２の真の面法線は矢印１３４が示す−４５度方向であり、面１３３の真の面法線は矢印１３５が示す＋４５度方向である。撮像領域１３１ではこれら２つの面１３２，１３３の面法線１３４，１３５が混合して得られることとなり、面法線の算出結果としては、例えば矢印１３６が示す０度方向という真の面法線とは異なるものとなる。つまり、画素内テクスチャーがある被写体に対しては、第１撮像条件による撮像だけでは、信頼度が低い法線情報が得られる可能性がある。しかし、ユーザにとっては、このような信頼度が低い法線情報が得られていることを認識することは困難である。 However, in the imaging region 131 in FIG. 4, the two surfaces 132 and 133 are oriented in different directions, and the true surface normal of the surface 132 is the −45 degree direction indicated by the arrow 134, and the true surface of the surface 133. The normal is in the +45 degree direction indicated by the arrow 135. In the imaging region 131, the surface normals 134 and 135 of the two surfaces 132 and 133 are obtained by mixing, and the calculation result of the surface normal is, for example, a true surface normal of 0 degree direction indicated by the arrow 136. It will be different. That is, for an object having an in-pixel texture, normal information with low reliability may be obtained only by imaging under the first imaging condition. However, it is difficult for the user to recognize that such normal information with low reliability is obtained.
そこで、本実施例では、第２撮像条件において、第１撮像条件よりも撮像倍率が高くなる（撮像画角が狭くなる）ように設定する。 Therefore, in this embodiment, the second imaging condition is set such that the imaging magnification is higher (the imaging angle of view is narrower) than the first imaging condition.
図５には、図４と同じ被写体の断面を第２撮像条件（ここでは２倍の撮像倍率）で撮像する場合を模式的に示している。図５中の１３１ａ，１３１ｂ，１４１ａ，１４１ｂはそれぞれ、第２撮像条件での撮像装置の１画素（撮影画像の１画素）に対応する撮像領域である。撮像倍率を２倍にして撮像することにより、それぞれの撮像領域１３１ａ，１３１ｂ，１４１ａ，１４１ｂは、図４中の撮像領域１３１，１４１の半分となる。 FIG. 5 schematically shows a case where the same cross section of the subject as in FIG. 4 is imaged under the second imaging condition (here, imaging magnification of 2 times). Each of 131a, 131b, 141a, and 141b in FIG. 5 is an imaging region corresponding to one pixel (one pixel of a captured image) of the imaging device under the second imaging condition. By imaging with an imaging magnification of 2 times, each imaging area 131a, 131b, 141a, 141b becomes half of the imaging area 131, 141 in FIG.
このため、図５に示す第２撮像条件では、面１３２の面法線として矢印１３４が示す−４５度方向が算出され、面１３３の面法線は矢印１３５が示す＋４５度方向が算出される。このとき、図４に示す第１撮像条件にて算出された撮像領域１３１での面法線の向きは矢印１３６が示す方向である。これに対し、図５に示す第２撮像条件にて算出された撮像領域１３１と同一の撮像領域１３１ａ，１３１ｂでの面法線の向きは、矢印１３６が示す方向とは異なる矢印１３４，１３５が示す方向となる。したがって、第１および第２撮像条件でのこれら撮像領域１３１および１３１ａ，１３１ｂでの面法線の算出結果を比較することで、これら算出結果に画素内テクスチャーに起因した差異が発生していることを容易に判定することができる。 Therefore, in the second imaging condition illustrated in FIG. 5, the −45 degree direction indicated by the arrow 134 is calculated as the surface normal of the surface 132, and the +45 degree direction indicated by the arrow 135 is calculated as the surface normal of the surface 133. . At this time, the direction of the surface normal in the imaging region 131 calculated under the first imaging condition shown in FIG. 4 is the direction indicated by the arrow 136. On the other hand, the direction of the surface normal in the same imaging area 131a and 131b as the imaging area 131 calculated under the second imaging condition shown in FIG. It becomes the direction shown. Accordingly, by comparing the calculation results of the surface normals in the imaging regions 131 and 131a and 131b under the first and second imaging conditions, a difference due to the texture in the pixel is generated in the calculation results. Can be easily determined.
一方、図４に示す第１撮像条件にて算出された撮像領域１４１での面法線の向きは矢印１４６が示す方向であり、図５に示す第２撮像条件にて算出された撮像領域１４１と同一の撮像領域１４１ａ，１４１ｂでの面法線の向きは矢印１４４，１４５が示す方向である。矢印１４４，１４５が示す方向は、矢印１４６が示す方向と同じである。したがって、第１および第２撮像条件でのこれら撮像領域１４１および１４１ａ，１４１ｂでの面法線の算出結果を比較することで、これら算出結果に画素内テクスチャーに起因した差異が発生していないことを容易に判定することができる。 On the other hand, the direction of the surface normal in the imaging area 141 calculated under the first imaging condition shown in FIG. 4 is the direction indicated by the arrow 146, and the imaging area 141 calculated under the second imaging condition shown in FIG. The direction of the surface normal in the same imaging area 141a, 141b is the direction indicated by arrows 144, 145. The direction indicated by arrows 144 and 145 is the same as the direction indicated by arrow 146. Therefore, by comparing the calculation results of the surface normals in the imaging regions 141 and 141a and 141b under the first and second imaging conditions, there is no difference caused by the texture in the pixel in these calculation results. Can be easily determined.
このように、互いに異なる撮像倍率（撮像画角）である第１および第２撮像条件でそれぞれ算出された法線情報を比較することで、第１撮像条件において画素内テクスチャーが存在しているか否かを判定することができる。言い換えれば、第１および第２撮像条件で被写体の同一領域の面法線情報を比較し、その差異が大きいほど第１撮像条件での面法線算出結果の信頼度はより低く、差異が小さいほど信頼度がより高いと判定することができる。 In this way, by comparing the normal line information calculated under the first and second imaging conditions, which are different imaging magnifications (imaging angle of view), whether or not the in-pixel texture exists in the first imaging condition. Can be determined. In other words, the surface normal information of the same region of the subject is compared under the first and second imaging conditions, and the greater the difference, the lower the reliability of the surface normal calculation result under the first imaging condition and the smaller the difference. It can be determined that the reliability is higher.
本実施例では、第２撮像条件として、撮像領域の対応が取り易い整数倍（例えば２倍）の拡大倍率とした。しかし、第１および第２撮像条件の面法線の算出結果の差異が判定されれば十分に信頼度を判定することが可能であるため、２倍以外の任意の撮像倍率の差でよい。また、撮像倍率を異ならせると、撮像光学系の焦点距離が変動して被写界深度が変動するため、第１および第２撮像条件の被写界深度がほぼ等しくなるように、絞り値（開口絞り径）を制御してもよい。さらに、撮像時の絞り値の制御により、第１および第２撮像条件間での撮像光量が変化するため、露出時間や光源の発光量を増加させることで同一撮像光量となるように制御してもよい。同一撮像光量となることで、第１および第２撮像条件間でのノイズ量がほぼ等しくなるため、面法線の算出結果の比較がより容易となる。 In the present embodiment, as the second imaging condition, an enlargement magnification of an integer multiple (for example, 2 times) that is easy to handle the imaging region is used. However, if the difference between the calculation results of the surface normals of the first and second imaging conditions is determined, the reliability can be determined sufficiently, and therefore, any difference in imaging magnification other than 2 may be used. Also, if the imaging magnification is varied, the focal length of the imaging optical system changes and the depth of field changes, so that the aperture value ( The aperture diameter may be controlled. Furthermore, since the amount of imaging light between the first and second imaging conditions changes by controlling the aperture value at the time of imaging, control is performed so that the same amount of imaging light is obtained by increasing the exposure time and the light emission amount of the light source. Also good. By using the same amount of imaging light, the amount of noise between the first and second imaging conditions becomes substantially equal, so that comparison of the surface normal calculation results becomes easier.
ステップＳ１０４では、システムコントローラ１１１は、ユーザによりレリーズボタン３００が全押し操作されたかどうかを判定する。全押し操作された場合は、撮像装置は撮像動作を開始する。 In step S104, the system controller 111 determines whether or not the release button 300 has been fully pressed by the user. When the full-press operation is performed, the imaging device starts an imaging operation.
次にステップＳ１０５では、システムコントローラ１１１は、第１撮像条件に従って撮像制御部１０７および照射光源制御部１０６を通じて撮像部および光源部２００を制御して、照明条件として点灯する光源部２００の位置（光源位置）が互いに異なる撮像を行う。これにより、画像処理部１０４は、撮像素子１０２から出力されてＡ／Ｄコンバータ１０３にてＡ／Ｄ変換されたデジタル信号を用いて、互いに異なる照明条件での撮影画像としての複数の第１の画像を取得する。 In step S105, the system controller 111 controls the imaging unit and the light source unit 200 through the imaging control unit 107 and the irradiation light source control unit 106 according to the first imaging condition, and the position of the light source unit 200 that is turned on as the illumination condition (light source). Imaging with different positions) is performed. As a result, the image processing unit 104 uses the digital signal output from the image sensor 102 and A / D-converted by the A / D converter 103 to use a plurality of first images as captured images under different illumination conditions. Get an image.
次にステップＳ１０６では、システムコントローラ１１１は、第２撮像条件に従って撮像制御部１０７および照射光源制御部１０６を通じて撮像部および光源部２００を制御して、同様に照明条件として光源位置が互いに異なる撮像を行う。これにより、画像処理部１０４は、撮像素子１０２から出力されてＡ／Ｄコンバータ１０３にてＡ／Ｄ変換されたデジタル信号を用いて、互いに異なる照明条件での撮影画像としての複数の第２の画像を取得する。 In step S106, the system controller 111 controls the imaging unit and the light source unit 200 through the imaging control unit 107 and the irradiation light source control unit 106 according to the second imaging condition, and similarly performs imaging with different light source positions as illumination conditions. Do. As a result, the image processing unit 104 uses the digital signal output from the image sensor 102 and A / D-converted by the A / D converter 103 to use a plurality of second images as captured images under different illumination conditions. Get an image.
次にステップＳ１０７では、画像処理部１０４は、複数の第１の画像から得られる輝度情報の変化に基づいて被写体の面法線を示す第１の法線情報を推定する。また、複数の第２の画像から得られる輝度情報の変化に基づいて同被写体の面法線を示す第２の法線情報を推定する。ここで、画像処理部１０４は、第１および第２の画像のうち少なくとも１つの画像に対して出力画像を生成するための通常の現像処理や各種画像補正処理を行ってもよい。法線情報の推定は、法線算出部１０４ａが上述した照度差ステレオ法を用いて、第１撮像条件と第２撮像条件のそれぞれの光源位置に応じた輝度情報の変化に基づいて行う。 In step S107, the image processing unit 104 estimates first normal information indicating the surface normal of the subject based on changes in luminance information obtained from the plurality of first images. Also, second normal information indicating the surface normal of the subject is estimated based on changes in luminance information obtained from the plurality of second images. Here, the image processing unit 104 may perform normal development processing and various image correction processing for generating an output image on at least one of the first and second images. The normal line information is estimated by the normal line calculation unit 104a using the illuminance difference stereo method described above based on changes in luminance information according to the light source positions of the first imaging condition and the second imaging condition.
次にステップＳ１０８では、画像処理部１０４の信頼度評価部１０４ｃは、ステップＳ１０７で推定された第１の法線情報と第２の法線情報とを比較して第１の法線情報の信頼度を評価（判定）する。具体的には、前述したように第１撮像条件と第２撮像条件とで被写体の同一撮像領域で得られた第１の法線情報と第２の法線情報とを比較する。そして、これら第１および第２の法線情報の差異が大きければ第１の法線情報の信頼度は低いと判定する。一方、差異が小さければ第１の法線情報の信頼度は高いと判定する。 Next, in step S108, the reliability evaluation unit 104c of the image processing unit 104 compares the first normal information estimated in step S107 with the second normal information, and the reliability of the first normal information. Evaluate (determine) degree. Specifically, as described above, the first normal information and the second normal information obtained in the same image pickup area of the subject are compared under the first image pickup condition and the second image pickup condition. If the difference between the first normal information and the second normal information is large, it is determined that the reliability of the first normal information is low. On the other hand, if the difference is small, it is determined that the reliability of the first normal information is high.
また、第１撮像条件と第２撮像条件とでは撮像倍率が異なるため、画像上の被写***置が異なる場合がある。このような場合は、撮像倍率の変化量に基づいた２次元空間上の幾何補正や、既存のブロックマッチング法等の対応点抽出方法により同一撮像領域を特定することができる。 Further, since the imaging magnification is different between the first imaging condition and the second imaging condition, the subject position on the image may be different. In such a case, the same imaging region can be specified by geometric correction in a two-dimensional space based on the amount of change in imaging magnification or a corresponding point extraction method such as an existing block matching method.
次にステップＳ１０４ｃでは、画像処理部１０４の情報追加処理部１０４ｂは、ステップＳ１０８で評価された信頼度の結果に基づいて、出力画像または法線情報に信頼度に関する表示情報を追加する。本実施例では、表示部１０５に表示する出力画像に対して、図６に示す警告表示１００１を表示情報として付加する。警告表示１００１が表示された部分は画素内テクスチャーが存在し、法線情報の信頼度が低いことを表している。なお、警告表示に代えて、信頼度そのものを表示してもよい。 In step S104c, the information addition processing unit 104b of the image processing unit 104 adds display information related to the reliability to the output image or the normal line information based on the reliability result evaluated in step S108. In this embodiment, a warning display 1001 shown in FIG. 6 is added as display information to the output image displayed on the display unit 105. The portion where the warning display 1001 is displayed indicates that there is an in-pixel texture and the reliability of the normal information is low. Note that the reliability itself may be displayed instead of the warning display.
このように、表示画像上に法線情報の信頼度の情報を追加表示することで、ユーザは第１撮像条件における面法線の算出結果の信頼度を容易に判断することが可能となる。 As described above, by additionally displaying the reliability information of the normal information on the display image, the user can easily determine the reliability of the calculation result of the surface normal under the first imaging condition.
信頼度が低いと判定された場合には、ユーザは第１撮像条件を変更して第１の画像を再取得することで、より信頼度の高い法線情報を得ることが可能となる。 When it is determined that the reliability is low, the user can obtain normal information with higher reliability by changing the first imaging condition and re-acquiring the first image.
図７には、本発明の実施例２である撮像装置２の外観を示している。撮像装置２は、不図示の被写体を撮像する２つの撮像部４００，５００と、その周囲を囲むように配置された８つの光源部２００と備えている。８つの光源部２００はそれぞれ、被写体を照明する照明光を互いに独立に発することができる。本実施例でも、光源２００の数は、照度差ステレオ法を実施するための３つ以上であればよい。なお、本実施例では２つの撮像部を備えた撮像装置を示しているが、焦点距離（撮像倍率）が互いに異なる３つ以上の複数の撮像部を備えてもよい。さらに、複数の撮像部の撮像光学系を変倍光学系として構成することもできる。撮像装置２は、さらにＡＦや撮像を開始させるためのレリーズボタン３００を備える。 FIG. 7 shows the appearance of the image pickup apparatus 2 that is Embodiment 2 of the present invention. The imaging device 2 includes two imaging units 400 and 500 that image a subject (not shown), and eight light source units 200 arranged so as to surround the periphery. Each of the eight light source units 200 can emit illumination light for illuminating the subject independently of each other. Also in the present embodiment, the number of the light sources 200 may be three or more for performing the illuminance difference stereo method. In this embodiment, an image pickup apparatus including two image pickup units is shown, but three or more image pickup units having different focal lengths (image pickup magnifications) may be provided. Further, the imaging optical system of the plurality of imaging units can be configured as a variable magnification optical system. The imaging device 2 further includes a release button 300 for starting AF and imaging.
図８には、２つの撮像部４００,５００の構成を示す。撮像部４００において、撮像光学系４０１は、不図示の被写体からの光（被写体像）を撮像素子４０２上に結像させる。撮像部５００において、撮像光学系５０１は、不図示の被写体からの光を撮像素子５０２上に結像させる。各撮像素子は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換する。撮像光学系４０１，５０１は互いに焦点距離（つまりは撮像画角）が異なる。具体的には、撮像光学系４０１よりも撮像光学系５０１の方が高い撮像倍率（つまりは狭い撮像画角）を有する。 FIG. 8 shows the configuration of the two imaging units 400 and 500. In the imaging unit 400, the imaging optical system 401 forms light (subject image) from a subject (not shown) on the imaging element 402. In the imaging unit 500, the imaging optical system 501 forms an image of light from a subject (not shown) on the imaging element 502. Each image sensor is composed of a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and photoelectrically converts a subject image. The imaging optical systems 401 and 501 have different focal lengths (that is, imaging angle of view). Specifically, the imaging optical system 501 has a higher imaging magnification (that is, a narrow imaging angle of view) than the imaging optical system 401.
撮像部４００，５００および光源部２００以外の構成は実施例１（図２）に示した構成と同じであり、実施例１と共通する構成要素には実施例１と同符号を付す。 The configuration other than the imaging units 400 and 500 and the light source unit 200 is the same as the configuration shown in the first embodiment (FIG. 2), and the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment.
また、法線情報を推定および評価する画像処理についても、実施例１（図３）にて説明したものとほぼ同じである。ここでは、実施例１との相違点について図３を再び用いて説明する。 Also, the image processing for estimating and evaluating the normal information is almost the same as that described in the first embodiment (FIG. 3). Here, differences from the first embodiment will be described with reference to FIG. 3 again.
ステップＳ１０１，Ｓ１０２での処理の後、システムコントローラ１１１は、ステップＳ１０３において、ステップＳ１０１で設定された第１撮像条件に基づいて第２撮像条件を決定する。本実施例では、第１撮像条件を撮像光学系４０１の焦点距離とし、第２撮像条件を撮像光学系５０１の焦点距離とする。第２の撮像光学系５０１の焦点距離は、第１の撮像光学系４０１の焦点距離に対して、第２の撮像光学系５０１の撮像倍率の方が第１の撮像光学系４０１よりも高く（撮像画角が狭く）なるように設定されている。また実施例１と同様に、絞り値、露出時間および光源部２００の発光量を第１撮像条件と第２撮像条件で異なるように制御することもできる。 After the processing in steps S101 and S102, the system controller 111 determines the second imaging condition based on the first imaging condition set in step S101 in step S103. In this embodiment, the first imaging condition is the focal length of the imaging optical system 401, and the second imaging condition is the focal length of the imaging optical system 501. The focal length of the second imaging optical system 501 is higher than that of the first imaging optical system 401 in terms of the imaging magnification of the second imaging optical system 501 with respect to the focal length of the first imaging optical system 401 ( The imaging angle of view is set to be narrow). Similarly to the first embodiment, the aperture value, the exposure time, and the light emission amount of the light source unit 200 can be controlled to be different depending on the first imaging condition and the second imaging condition.
ステップＳ１０４からステップＳ１０７の処理は、実施例１と同じである。ステップＳ１０８では、信頼度評価部１０４ｃはステップＳ１０７で推定された第１撮像条件にて推定された第１の法線情報と第２撮像条件にて推定された第２の法線情報を比較し、第１の法線情報の信頼度を評価する。評価方法は実施例１と同じである。 The processing from step S104 to step S107 is the same as that in the first embodiment. In step S108, the reliability evaluation unit 104c compares the first normal information estimated under the first imaging condition estimated in step S107 with the second normal information estimated under the second imaging condition. The reliability of the first normal information is evaluated. The evaluation method is the same as in Example 1.
次にステップＳ１０４ｃでは、情報追加処理部１０４ｂは、ステップＳ１０８で評価された信頼度の結果に基づいて、出力画像または法線情報に信頼度に関する表示情報を追加する。本実施例では、表示部１０５に表示する出力画像に対して、図９に示すガイダンス表示１００２を付加する。ガイダンス表示１００２は、現在の撮像条件では法線情報の信頼度が低いために撮像距離が短くなる（撮像倍率を上げる）ように変更することを促す、つまりは信頼度を増加させるための撮像条件を示す表示情報である。 Next, in step S104c, the information addition processing unit 104b adds display information related to the reliability to the output image or the normal line information based on the result of the reliability evaluated in step S108. In this embodiment, a guidance display 1002 shown in FIG. 9 is added to the output image displayed on the display unit 105. The guidance display 1002 prompts the user to change the imaging distance to be short (increase the imaging magnification) because the reliability of the normal information is low under the current imaging conditions, that is, the imaging conditions for increasing the reliability. Is display information.
このように表示画像上に法線情報の信頼度を増加させるためのガイダンス表示を追加することで、ユーザは法線情報の信頼度を容易に判断することができるとともに、該信頼度をより向上させるように再設定した第１撮像条件で再度撮像を行うことができる。 In this way, by adding a guidance display for increasing the reliability of normal information on the display image, the user can easily determine the reliability of normal information and further improve the reliability. The imaging can be performed again under the first imaging condition that has been reset to be performed.
図１０には、本発明の実施例３である撮像装置３の外観を示している。図１１には、本実施例の撮像装置３の構成を示している。 FIG. 10 shows the appearance of an image pickup apparatus 3 that is Embodiment 3 of the present invention. FIG. 11 shows the configuration of the imaging apparatus 3 of the present embodiment.
撮像装置３は、不図示の被写体を撮像する撮像部６００を備えている。さらに、さらにＡＦや撮像を開始させるためのレリーズボタン３００を備える。 The imaging device 3 includes an imaging unit 600 that images a subject (not shown). Furthermore, a release button 300 for starting AF and imaging is further provided.
撮像部６００の撮像光学系６０１は、不図示の被写体からの光（被写体像）を撮像素子１０２上に結像させる。撮像光学系６０１は絞り６０１ａを含む。また、撮像光学系６０１は複数のレンズ群を光軸方向に移動させることにより撮像倍率を変えることができる変倍光学系である。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換する。 The imaging optical system 601 of the imaging unit 600 forms light (subject image) from a subject (not shown) on the imaging element 102. The imaging optical system 601 includes a diaphragm 601a. The imaging optical system 601 is a variable magnification optical system that can change the imaging magnification by moving a plurality of lens groups in the optical axis direction. The image sensor 102 is composed of a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and photoelectrically converts a subject image.
また、撮像部は、輝度情報としての偏光情報を取得するために、偏光子（偏光状態制御素子）２０１を備えている。偏光情報を含む撮影画像は、偏光制御部２０２からの制御によって偏光子２０１の主軸角方向を変えながら（つまりは照明条件を変更しながら）撮像することにより取得する。本実施例では、撮像光学系６０１よりも被写体側に偏光子２０１を配置しているが、撮像光学系６０１よりも像側または撮像光学系６０１の内部に偏光子を挿入してもよい。撮像部６００の構成が異なることおよび光源部を有さないこと以外の構成は実施例１（図２）に示した構成と同じであり、実施例１と共通する構成要素には実施例１と同符号を付す。 The imaging unit also includes a polarizer (polarization state control element) 201 in order to acquire polarization information as luminance information. A captured image including polarization information is acquired by imaging while changing the principal axis angle direction of the polarizer 201 (that is, changing illumination conditions) under the control of the polarization controller 202. In this embodiment, the polarizer 201 is disposed on the subject side with respect to the imaging optical system 601, but the polarizer may be inserted on the image side of the imaging optical system 601 or inside the imaging optical system 601. The configuration except for the configuration of the imaging unit 600 and the absence of the light source unit is the same as the configuration shown in the first embodiment (FIG. 2), and the components common to the first embodiment are the same as those in the first embodiment. The same symbol is attached.
また、法線情報を推定および評価する画像処理についても、実施例１（図３）にて説明したものとほぼ同じである。ここでは、実施例１との相違点について図１２のフローチャートを用いて説明する。 Also, the image processing for estimating and evaluating the normal information is almost the same as that described in the first embodiment (FIG. 3). Here, differences from the first embodiment will be described with reference to the flowchart of FIG.
ステップＳ３０１からＳ３０４までは、実施例１のステップＳ１０１とＳ１０４と同じてあるため、説明を省略する。 Steps S301 to S304 are the same as steps S101 and S104 of the first embodiment, and thus description thereof is omitted.
ステップＳ３０５では、システムコントローラ１１１は、第１撮像条件に従って撮像制御部１０７と偏光制御部２０２により撮像部６００と偏光子２０１を制御して複数の偏光状態（照明条件）での被写体の撮像を行う。これにより、画像処理部１０４は、互いに異なる照明条件での撮影画像としての複数の第１の画像を取得する。 In step S305, the system controller 111 controls the imaging unit 600 and the polarizer 201 by the imaging control unit 107 and the polarization control unit 202 according to the first imaging condition, and performs imaging of the subject in a plurality of polarization states (illumination conditions). . Thereby, the image processing unit 104 acquires a plurality of first images as captured images under different illumination conditions.
ステップＳ３０６では、システムコントローラ１１１は、第２撮像条件に従って撮像制御部１０７と偏光制御部２０２により撮像部６００と偏光子２０１を制御して複数の偏光状態（照明条件）での被写体の撮像を行う。これにより、画像処理部１０４は、互いに異なる照明条件での撮影画像としての複数の第２の画像を取得する。 In step S306, the system controller 111 controls the imaging unit 600 and the polarizer 201 by the imaging control unit 107 and the polarization control unit 202 according to the second imaging condition, and performs imaging of the subject in a plurality of polarization states (illumination conditions). . Accordingly, the image processing unit 104 acquires a plurality of second images as captured images under different illumination conditions.
ステップＳ３０７では、画像処理部１０４は、複数の第１の画像から得られる輝度情報の変化に基づいて被写体の面法線を示す第１の法線情報を推定する。また、複数の第２の画像から得られる輝度情報の変化に基づいて同被写体の面法線を示す第２の法線情報を推定する。ここで、画像処理部１０４は、第１および第２の画像のうち少なくとも１つの画像に対して出力画像を生成するための通常の現像処理や各種画像補正処理を行ってもよい。法線情報の推定は、法線算出部１０４ａが上述した偏光情報から推定する方法を用いて、第１撮像条件と第２撮像条件のそれぞれの偏光状態に応じた輝度情報の変化に基づいて行う。 In step S307, the image processing unit 104 estimates first normal information indicating the surface normal of the subject based on changes in luminance information obtained from the plurality of first images. Also, second normal information indicating the surface normal of the subject is estimated based on changes in luminance information obtained from the plurality of second images. Here, the image processing unit 104 may perform normal development processing and various image correction processing for generating an output image on at least one of the first and second images. The normal information is estimated based on changes in luminance information according to the respective polarization states of the first imaging condition and the second imaging condition, using the method in which the normal calculation unit 104a estimates from the polarization information described above. .
ステップＳ３０８とＳ３０９は、実施例１のステップＳ１０８とＳ１０４ｃと同じであるため、説明を省略する。 Steps S308 and S309 are the same as steps S108 and S104c of the first embodiment, and thus description thereof is omitted.
本実施例によれば、偏光情報から推定する方法を用いる場合でも、ユーザが容易に法線算出結果の信頼度を判断することが可能となる。ユーザは第１撮像条件を変更して再度撮像を行うことで、より信頼度の高い法線情報を得ることができる。 According to this embodiment, even when a method of estimating from polarization information is used, the user can easily determine the reliability of the normal calculation result. The user can obtain normal information with higher reliability by changing the first imaging condition and performing imaging again.
上記各実施例では、画像処理装置としての画像処理部１０４が撮像装置に内蔵されている場合について説明したが、パーソナルコンピュータ等の撮像装置とは別装置としての画像処理装置でも各実施例で説明した画像処理を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
In each of the above-described embodiments, the case where the image processing unit 104 as an image processing device is built in the imaging device has been described. However, an image processing device as a device other than the imaging device such as a personal computer is also described in each embodiment. Image processing can be performed.
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
１，２，３ 撮像装置
１００，４００，５００，６００ 撮像部
２００ 光源部
１０４ 画像処理部
２０１ 偏光子
1, 2, 3 Imaging device 100, 400, 500, 600 Imaging unit 200 Light source unit 104 Image processing unit 201 Polarizer
Claims (12)
前記撮影画像として、第１の撮像画角において前記被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第１の画像および前記第１の撮像画角よりも狭い第２の撮像画角において前記照明条件を互いに異ならせた撮像により生成された複数の第２の画像を取得する画像取得手段と、
前記法線情報として、前記複数の第１の画像における輝度情報の変化に基づいて第１の法線情報を取得するとともに、前記複数の第２の画像における輝度情報の変化に基づいて第２の法線情報を取得する法線取得手段と、
前記第１の法線情報と前記第２の法線情報とを比較することにより前記第１の法線情報の信頼度を判定する信頼度判定手段とを有することを特徴とする画像処理装置。 An image processing apparatus that acquires normal information of the surface of the subject using a captured image generated by imaging the subject,
As the captured image, a plurality of first images generated by imaging with different illumination conditions for the subject at a first imaging angle of view and a second imaging angle of view narrower than the first imaging angle of view. An image acquisition means for acquiring a plurality of second images generated by imaging with the illumination conditions different from each other;
As the normal line information, first normal line information is acquired based on a change in luminance information in the plurality of first images, and a second one is acquired based on a change in luminance information in the plurality of second images. Normal acquisition means for acquiring normal information;
An image processing apparatus comprising: a reliability determination unit that determines the reliability of the first normal information by comparing the first normal information and the second normal information.
前記第１および第２の画像を生成するための撮像を行う撮像手段とを有することを特徴とする撮像装置。 The image processing apparatus according to any one of claims 1 to 8,
An image pickup apparatus comprising: an image pickup unit configured to pick up an image for generating the first and second images.
前記第１および第２の画像を生成するための撮像を行う撮像手段と、
前記３つ以上の光源とを有することを特徴とする撮像装置。 An image processing apparatus according to claim 3;
Imaging means for performing imaging for generating the first and second images;
An image pickup apparatus comprising the three or more light sources.
前記第１および第２の画像を生成するための撮像を行う撮像手段と、
前記偏光の状態を変化させる偏光状態制御素子とを有することを特徴とする撮像装置。 An image processing apparatus according to claim 4,
Imaging means for performing imaging for generating the first and second images;
An imaging apparatus comprising: a polarization state control element that changes the polarization state.
前記コンピュータに、
前記撮影画像として、第１の撮像画角において前記被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第１の画像および前記第１の撮像画角よりも狭い第２の撮像画角において前記照明条件を互いに異ならせた撮像により生成された複数の第２の画像を取得させ、
前記法線情報として、前記複数の第１の画像における輝度情報の変化に基づいて第１の法線情報を取得するとともに、前記複数の第２の画像における輝度情報の変化に基づいて第２の法線情報を取得させ、
前記第１の法線情報と前記第２の法線情報とを比較することにより前記第１の法線情報の信頼度を判定させることを特徴とする画像処理プログラム。 An image processing program for obtaining normal information on the surface of the subject using a captured image generated by imaging the subject on a computer,
In the computer,
As the captured image, a plurality of first images generated by imaging with different illumination conditions for the subject at a first imaging angle of view and a second imaging angle of view narrower than the first imaging angle of view. A plurality of second images generated by imaging with the illumination conditions being different from each other,
As the normal line information, first normal line information is acquired based on a change in luminance information in the plurality of first images, and a second one is acquired based on a change in luminance information in the plurality of second images. Get normal information,
An image processing program for causing a reliability of the first normal information to be determined by comparing the first normal information and the second normal information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016013010A JP2017135528A (en) | 2016-01-27 | 2016-01-27 | Image processing device, imaging apparatus and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016013010A JP2017135528A (en) | 2016-01-27 | 2016-01-27 | Image processing device, imaging apparatus and image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017135528A true JP2017135528A (en) | 2017-08-03 |
Family
ID=59503042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016013010A Pending JP2017135528A (en) | 2016-01-27 | 2016-01-27 | Image processing device, imaging apparatus and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017135528A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019069536A1 (en) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
| JP2019139694A (en) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | Image processing method, image processor, imaging apparatus, image processing program, and storage medium |
| WO2022163002A1 (en) * | 2021-01-27 | 2022-08-04 | オムロン株式会社 | Imaging condition setting system, imaging condition setting method, and program |
-
2016
- 2016-01-27 JP JP2016013010A patent/JP2017135528A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019069536A1 (en) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
| US11244145B2 (en) | 2017-10-05 | 2022-02-08 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
| JP2019139694A (en) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | Image processing method, image processor, imaging apparatus, image processing program, and storage medium |
| JP7286268B2 (en) | 2018-02-15 | 2023-06-05 | キヤノン株式会社 | Image processing method, image processing device, imaging device, image processing program, and storage medium |
| WO2022163002A1 (en) * | 2021-01-27 | 2022-08-04 | オムロン株式会社 | Imaging condition setting system, imaging condition setting method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6456156B2 (en) | Normal line information generating apparatus, imaging apparatus, normal line information generating method, and normal line information generating program | |
| CN102047651B (en) | Image processing device and method, and viewpoint-converted image generation device | |
| JP4435865B2 (en) | Image processing apparatus, image division program, and image composition method | |
| JP6786225B2 (en) | Image processing equipment, imaging equipment and image processing programs | |
| US20160212411A1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
| JP6556013B2 (en) | PROCESSING DEVICE, PROCESSING SYSTEM, IMAGING DEVICE, PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM | |
| JP2017135528A (en) | Image processing device, imaging apparatus and image processing program | |
| US10939090B2 (en) | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium | |
| US10107747B2 (en) | Method, system and computer program for determining a reflectance distribution function of an object | |
| JP2017134561A (en) | Image processing device, imaging apparatus and image processing program | |
| US20170111572A1 (en) | Processing apparatus, processing system, image pickup apparatus, processing method, and non-transitory computer-readable storage medium | |
| US11277569B2 (en) | Measurement apparatus, image capturing apparatus, control method, and recording medium | |
| JP6550102B2 (en) | Light source direction estimation device | |
| JP7213686B2 (en) | Shape measuring device, control method and program | |
| JP2021004762A (en) | Measurement device, imaging device, measurement system, control method, program and recording medium | |
| JP7309425B2 (en) | Processing device, processing system, imaging device, processing method, and program | |
| US11972590B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
| JP7210170B2 (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| WO2023084790A1 (en) | Three-dimensional measurement system, control method for same, and control program | |
| JP4997306B2 (en) | How to determine the orientation of a person's face | |
| JP5604980B2 (en) | Red-eye determination device and red-eye determination method | |
| JP2018022937A (en) | Imaging system, method for controlling the same, and computer program | |
| JPS6155619A (en) | Automatic focusing device | |
| JP2021196656A (en) | Processing device, processing system, photographing device, processing method, and program | |
| JP2020173591A (en) | Processing device, processing system, imaging apparatus, processing method, and program |