JP2017135528A - Image processing device, imaging apparatus and image processing program - Google Patents
Image processing device, imaging apparatus and image processing program Download PDFInfo
- Publication number
- JP2017135528A JP2017135528A JP2016013010A JP2016013010A JP2017135528A JP 2017135528 A JP2017135528 A JP 2017135528A JP 2016013010 A JP2016013010 A JP 2016013010A JP 2016013010 A JP2016013010 A JP 2016013010A JP 2017135528 A JP2017135528 A JP 2017135528A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- information
- images
- normal
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像により得られた画像を用いて被写体の法線情報を取得する技術に関する。 The present invention relates to a technique for acquiring normal line information of a subject using an image obtained by imaging.
デジタルカメラ等の撮像装置で被写体を撮像して得られた画像から、被写体の形状情報として面法線の情報(以下、法線情報という)を取得する方法が知られている。面法線情報を取得する方法としては、レーザ光を用いた三角測量や2眼ステレオ法等の方法で取得した距離情報から求めた三次元形状を面法線情報に変換する方法や、非特許文献1にて開示された照度差ステレオ法や、偏光情報から法線情報を推定する方法がある。 There is known a method of acquiring surface normal information (hereinafter referred to as normal information) as shape information of a subject from an image obtained by imaging the subject with an imaging device such as a digital camera. As a method of acquiring surface normal information, a method of converting a three-dimensional shape obtained from distance information acquired by a method such as triangulation using a laser beam or a binocular stereo method into surface normal information, or non-patent There are a photometric stereo method disclosed in Document 1 and a method for estimating normal information from polarization information.
照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を決定する方法である。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。 The illuminance difference stereo method is a method for determining a surface normal from the luminance information of the subject at a plurality of light source positions and the assumed reflection characteristic, assuming a reflection characteristic based on the surface normal of the subject and the light source direction. A Lambertian reflection model that follows Lambert's cosine law is often used as the reflection characteristic of the subject.
一般に、物体での反射には、鏡面反射と拡散反射とがある。鏡面反射は、物体表面での正反射であり、物体表面(界面)においてフレネルの式に従うフレネル反射である。拡散反射は、被写体の表面を透過した後に物体内部で散乱されて光が返ってくる反射である。鏡面反射した光は上述のランバートの余弦則では表せず、撮像装置で観測される被写体からの反射光に鏡面反射光が含まれていると、照度差ステレオ法では面法線が正確に求まらない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。例えば、特許文献1には、4つ以上の光源を使用して得られた複数の面法線候補から真の面法線を求める方法が開示されている。 In general, reflection by an object includes specular reflection and diffuse reflection. The specular reflection is regular reflection on the object surface and is Fresnel reflection according to the Fresnel equation on the object surface (interface). The diffuse reflection is a reflection in which light returns after being scattered inside the object after passing through the surface of the subject. The specularly reflected light is not expressed by the Lambert's cosine law described above. If the reflected light from the subject observed by the imaging device contains specularly reflected light, the surface normal can be accurately obtained by the illuminance difference stereo method. Not. Even in a shaded portion where light from the light source does not strike, a deviation from the assumed reflection model occurs, and the surface normal information of the subject cannot be acquired accurately. For example, Patent Document 1 discloses a method for obtaining a true surface normal from a plurality of surface normal candidates obtained by using four or more light sources.
法線情報を偏光情報から推定する方法では、偏光情報として偏光度と偏光方位を用いる方法が知られている。特許文献2には、視点位置が異なる複数の偏光画像から被写体の法線情報を取得する方法が開示されている。特許文献2では、それぞれの視点位置ごとに偏光方位から面法線の1自由度を推定することで法線情報を推定する。 As a method for estimating normal line information from polarization information, a method using polarization degree and polarization direction as polarization information is known. Patent Document 2 discloses a method for acquiring normal line information of a subject from a plurality of polarized images having different viewpoint positions. In Patent Document 2, normal information is estimated by estimating one degree of freedom of a surface normal from the polarization direction for each viewpoint position.
照度差ステレオ法や偏光情報から推定する方法により被写体の法線情報を取得するためには、輝度情報(つまりは撮像時の照明条件)が異なる複数の撮影画像が必要となる。つまり複数の撮影画像から得られる輝度情報の変化から被写体の法線情報を算出するため、法線情報取得の最小単位は撮影画像の画素サイズとなる。このため、撮影画像における1つの画素内に複数の面法線を持つ、いわゆる画素内テクスチャーがある場合には、取得された法線情報が真の法線情報とは異なるものとなる。 In order to acquire the normal information of the subject by the illuminance difference stereo method or the method of estimating from the polarization information, a plurality of captured images having different luminance information (that is, illumination conditions at the time of imaging) are required. That is, since the normal information of the subject is calculated from changes in luminance information obtained from a plurality of captured images, the minimum unit for obtaining normal information is the pixel size of the captured image. For this reason, when there is a so-called in-pixel texture having a plurality of surface normals in one pixel in the captured image, the acquired normal information is different from the true normal information.
しかしながら、表面形状が複雑な被写体に対して取得された法線情報の精度について、ユーザが判断することは困難である。また、非特許文献1、特許文献1および特許文献2には、画素内テクスチャーに対する対応方法については開示されていない。 However, it is difficult for the user to determine the accuracy of normal information acquired for a subject having a complicated surface shape. Further, Non-Patent Document 1, Patent Document 1 and Patent Document 2 do not disclose a method for dealing with the texture in the pixel.
本発明は、取得された法線情報の精度についてユーザが容易に判断することができるようにした画像処理装置および撮像装置等を提供する。 The present invention provides an image processing apparatus, an imaging apparatus, and the like that allow a user to easily determine the accuracy of acquired normal information.
本発明の一側面としての画像処理装置は、被写体を撮像することで生成された撮影画像を用いて被写体の表面の法線情報を取得する。該画像処理装置は、撮影画像として、第1の撮像画角において被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第1の画像および第1の撮像画角よりも狭い第2の撮像画角において照明条件を互いに異ならせた撮像により生成された複数の第2の画像を取得する画像取得手段と、法線情報として、複数の第1の画像における輝度情報の変化に基づいて第1の法線情報を取得するとともに、複数の第2の画像における輝度情報の変化に基づいて第2の法線情報を取得する法線取得手段と、第1の法線情報と第2の法線情報とを比較することにより第1の法線情報の信頼度を判定する信頼度判定手段とを有することを特徴とする。 An image processing apparatus according to one aspect of the present invention acquires normal information on a surface of a subject using a captured image generated by imaging the subject. The image processing apparatus has a plurality of first images generated by imaging with different illumination conditions for a subject at a first imaging field angle as a captured image and a second narrower than the first imaging field angle. Image acquisition means for acquiring a plurality of second images generated by imaging with different illumination conditions at the imaging angle of view, and normal information based on changes in luminance information in the plurality of first images. Normal acquisition means for acquiring first normal information and acquiring second normal information based on changes in luminance information in a plurality of second images; first normal information and second method; And a reliability determination unit that determines the reliability of the first normal information by comparing the line information.
なお、上記画像処理装置と、第1および第2の画像を得るための撮像を行う撮像手段とを有する撮像装置も、本発明の他の一側面を構成する。 Note that an imaging apparatus that includes the image processing apparatus and an imaging unit that performs imaging for obtaining the first and second images also constitutes another aspect of the present invention.
また、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。 An image processing program as a computer program that causes a computer to perform the operation as the image processing apparatus constitutes another aspect of the present invention.
本発明によれば、取得された法線情報の信頼度(精度)をユーザに提示することが可能となり、該信頼度をユーザが容易に判断することができる。 According to the present invention, the reliability (accuracy) of the acquired normal information can be presented to the user, and the user can easily determine the reliability.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
まず具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例は、被写体の表面の面法線に関する情報である法線情報を取得するために用いられる撮像装置であり、取得された法線情報の精度(信頼度)についてユーザが容易に判断できるようにすることを目的とする。 Prior to description of specific embodiments, items common to each embodiment will be described. Each embodiment is an imaging apparatus that is used to acquire normal information that is information about the surface normal of the surface of the subject, and the user can easily determine the accuracy (reliability) of the acquired normal information. The purpose is to do so.
法線情報(面法線情報)とは、面法線の1自由度の候補を少なくとも1つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報および求めた面法線の妥当性に関する情報である。 Normal information (surface normal information) is information for determining at least one candidate for one degree of freedom of surface normal, information for obtaining a true solution from a plurality of solution candidates for surface normal, and a request This is information on the validity of the surface normal.
まず、「偏光情報」について説明する。一般に光の偏光状態は4つのパラメタで表現でき、例えばストークスパラメタがある。このストークスパラメタのように光の偏光状態を示す情報を各実施例では偏光情報という。また、後に説明する偏光度や偏光方位、または偏光状態の測定誤差等、偏光情報から2次的に決まる量も偏光情報に含まれる。 First, “polarization information” will be described. In general, the polarization state of light can be expressed by four parameters, for example, Stokes parameters. Information indicating the polarization state of light like this Stokes parameter is called polarization information in each embodiment. Further, the polarization information also includes an amount that is secondarily determined from the polarization information, such as a polarization degree, a polarization orientation, or a measurement error of the polarization state, which will be described later.
一般に偏光情報を取得するには、独立な4つの偏光成分を測定すればよい。しかし、自然界においては、円偏光成分が現れることは少なく、被写体の偏光情報としては直線偏光成分のみで十分な場合も多い。つまり、無偏光と円偏光を区別しないで取得することとなる。この場合、少なくとも3つの異なる直線偏光成分の強度や輝度を取得すればよい。偏光子を透過した光は偏光主軸方向に偏光した直線偏光光となるため、偏光主軸角の異なる3以上の条件下で偏光子を透過した光の強度や輝度を測定すればよい。 In general, in order to obtain polarization information, four independent polarization components may be measured. However, in the natural world, a circularly polarized component rarely appears, and in many cases, only a linearly polarized component is sufficient as polarization information of a subject. That is, non-polarized light and circularly polarized light are acquired without being distinguished. In this case, the intensity and brightness of at least three different linearly polarized light components may be acquired. Since the light transmitted through the polarizer becomes linearly polarized light polarized in the polarization main axis direction, the intensity and luminance of the light transmitted through the polarizer may be measured under three or more conditions with different polarization main axis angles.
図13には、偏光情報の取得方法を示している。図13中の121〜124は偏光主軸角が0度、45度、90度、135度の4つの偏光子をそれぞれ透過した光の輝度であり、正弦関数カーブに従って変化する。この関係は、反射光の輝度をIとし、偏光子の主軸角をνとして、次のように表される。 FIG. 13 shows a method for acquiring polarization information. In FIG. 13, reference numerals 121 to 124 denote the luminances of light transmitted through four polarizers having polarization main axis angles of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, respectively, and vary according to a sine function curve. This relationship is expressed as follows, where I is the brightness of the reflected light and ν is the principal axis angle of the polarizer.
このときの定数A、B、Cを定めることで偏光情報を知ることができる。A,B,Cは正の定数であり、Bは余弦関数の周期性から0°から180°までの値で表すことができる。 Polarization information can be known by determining constants A, B, and C at this time. A, B, and C are positive constants, and B can be represented by a value from 0 ° to 180 ° from the periodicity of the cosine function.
偏光子の主軸角3つに対して輝度を測定した場合、未知の定数もA,B,Cの3つであり、A,B,Cを一意に求めることができる。一方4以上の偏光条件で輝度を測定した場合はフィッティングでA,B,Cを求める。フィッティングの方法としては、i番目の条件から得られる観測値(νi,Ii)と(1)式で表される理論値との差分を評価関数として用いればよく、最小二乗法等の既知の方法でフィッティングすることができる。なお、撮像装置を用いて取得する場合は、実際の光の輝度値と撮像系を介して生成された出力信号がリニアになるように、出力信号を補正することが望ましい。 When the luminance is measured with respect to three principal axis angles of the polarizer, there are three unknown constants A, B, and C, and A, B, and C can be uniquely obtained. On the other hand, when the luminance is measured under four or more polarization conditions, A, B, and C are obtained by fitting. As a fitting method, a difference between the observed value (νi, Ii) obtained from the i-th condition and the theoretical value represented by the equation (1) may be used as an evaluation function, and a known method such as a least square method may be used. Can be fitted with. In addition, when acquiring using an imaging device, it is desirable to correct | amend an output signal so that the luminance value of an actual light and the output signal produced | generated via the imaging system may become linear.
以上の方法により求めたA,B,Cのパラメタから以下の様々な偏光情報が得られる。
・偏光主軸角に対する輝度の振幅A
・偏光主軸角に対する平均輝度値Iave
Iave=C (2)
・偏光の最大輝度Imax
Imax=A+C (3)
・偏光の最小輝度Imin(輝度値の非偏光成分)
Imin=C−A (4)
・偏光方位ψ(偏光輝度が最大となる偏光子の位相角)
ψ=B (5)
・偏光度ρ
ρ=(Imax−Imin)/(Imax+Imin)=A/C (6)
・偏光推定誤差Ep
The following various polarization information can be obtained from the parameters A, B, and C obtained by the above method.
・ Amplitude A of luminance with respect to the polarization axis
-Average luminance value Iave with respect to the polarization principal axis angle
Iave = C (2)
・ Maximum brightness Imax of polarized light
Imax = A + C (3)
・ Minimum luminance of polarized light Imin (non-polarized component of luminance value)
Imin = C−A (4)
・ Polarization direction ψ
ψ = B (5)
・ Polarity ρ
ρ = (Imax−Imin) / (Imax + Imin) = A / C (6)
-Polarization estimation error Ep
ここでIm,iはi番目の偏光状態における輝度である。 Here, Im and i are luminances in the i-th polarization state.
次に、偏光情報に基づいて被写体の法線情報を取得する方法について説明する。被写体の単位面法線ベクトルは2自由度を有する。上述の偏光情報からはその2自由度が満たす条件式を得ることができる。 Next, a method for acquiring the normal information of the subject based on the polarization information will be described. The unit normal vector of the subject has two degrees of freedom. From the polarization information described above, a conditional expression satisfying the two degrees of freedom can be obtained.
図14に示すように、偏光方位からは入射面または出射面の角度情報が得られる。被写体からの反射光が偏光する主な理由は、s偏光とp偏光に対するフレネル反射率が異なるためである。鏡面反射した光(以下、鏡面反射成分という)ではs偏光で反射率が大きくなるため、偏光方位は入射面と直交する。なお、鏡面反射では入射面と出射面が等しい。一方、拡散反射した光(以下、鏡面反射成分という)では、物体内部で散乱した光が外へ出てくる時の透過率がp偏光で大きくなり、偏光方位が出射面と一致する。すなわち、撮像装置の視線方向ベクトルに直交する面内で、面法線の方位角φが満たす下記の条件式が得られる。
φ=ψ+π/2 (鏡面反射成分)
φ=ψ (拡散反射成分) (8)
ただし、φは180度の不定性を持つ。
As shown in FIG. 14, angle information of the incident surface or the exit surface is obtained from the polarization direction. The main reason why the reflected light from the subject is polarized is because the Fresnel reflectivity for s-polarized light and p-polarized light is different. In the case of specularly reflected light (hereinafter referred to as a “specular reflection component”), since the reflectance is increased with s-polarized light, the polarization direction is orthogonal to the incident surface. In the mirror reflection, the incident surface and the exit surface are the same. On the other hand, with diffusely reflected light (hereinafter referred to as a specular reflection component), the transmittance when the light scattered inside the object exits increases with p-polarized light, and the polarization direction coincides with the exit surface. That is, the following conditional expression satisfying the azimuth angle φ of the surface normal in the plane orthogonal to the line-of-sight direction vector of the imaging device is obtained.
φ = ψ + π / 2 (Specular reflection component)
φ = ψ (diffuse reflection component) (8)
However, φ has an indefiniteness of 180 degrees.
図15に示すように、偏光度からは面法線と撮像装置の視線方向ベクトルがなす角θが求まる。図16(A)に鏡面反射成分の偏光度の入射角依存性を、図16(B)に拡散反射成分の偏光度の出射角依存性を示す。鏡面反射成分では、入射角は被写体の面法線と撮像装置の視線方向ベクトルがなす角に等しいが、1つの偏光度に対して2つの入射角をとりうる。つまり、解の候補が2つに絞られる。拡散反射成分では、偏光度と出射角が1対1の関係にある。被写体の面法線と撮像装置の視線方向ベクトルがなす角は出射角そのものであるため、偏光度から求まる。 As shown in FIG. 15, the angle θ formed by the surface normal and the line-of-sight direction vector of the imaging device is obtained from the degree of polarization. FIG. 16A shows the incident angle dependence of the degree of polarization of the specular reflection component, and FIG. 16B shows the emission angle dependence of the degree of polarization of the diffuse reflection component. In the specular reflection component, the incident angle is equal to the angle formed by the surface normal of the subject and the line-of-sight direction vector of the imaging device, but can have two incident angles for one degree of polarization. That is, the solution candidates are narrowed down to two. In the diffuse reflection component, the degree of polarization and the exit angle have a one-to-one relationship. Since the angle formed by the surface normal of the subject and the line-of-sight direction vector of the imaging device is the emission angle itself, it can be obtained from the degree of polarization.
以上のように、偏光情報から被写体の面法線が満たす条件を得ることができる。この条件を複数組み合わせることで、面法線を推定することができる。例えば、特許文献2にあるように、異なる複数視点から見た偏光方位から被写体の面法線を推定できる。2以上の視点の各々に対して入射面が求まると、その入射面の交線が面法線となる。実際には測定誤差があるため、面法線推定に用いる視点条件の組み合わせを変えながら、それぞれの方法で求まった面法線の平均方向として面法線を決定するとよい。また、異なる視点からみた入射面が一致する場合は面法線が一意に定まらない。このようなときは、さらに異なる視点に対応した偏光方位が必要となる。 As described above, the condition that the surface normal of the subject satisfies can be obtained from the polarization information. By combining a plurality of these conditions, the surface normal can be estimated. For example, as disclosed in Patent Document 2, the surface normal of the subject can be estimated from the polarization directions viewed from a plurality of different viewpoints. When an incident surface is obtained for each of two or more viewpoints, an intersection line of the incident surfaces becomes a surface normal. Since there is actually a measurement error, it is preferable to determine the surface normal as the average direction of the surface normal obtained by each method while changing the combination of the viewpoint conditions used for the surface normal estimation. In addition, when the incident surfaces seen from different viewpoints coincide, the surface normal is not uniquely determined. In such a case, polarization directions corresponding to different viewpoints are required.
他にも、単視点からの偏光方位と偏光度を組み合わせても面法線を推定できる。例えば、図15の右図に示すように拡散反射成分が観測されている場合、偏光方位から面法線の方位角が決まり、偏光度から面法線の天頂角θが1つ求まる。このとき方位角がφとφ+180°の不定性を持つため、面法線の解が2つ得られる。観測された反射光が鏡面反射成分の場合は、偏光度から面法線の天頂角が2つ求まる。この場合は方位角の不定性と合わせて面法線の解の候補が4つ求まる。観測された反射光が拡散反射成分と鏡面反射成分かその混合かを特定しない場合は、偏光方位と入射面の関係に90°の不定性が生じ、さらに解の候補が増える。このように解の候補が複数求まる場合は、後述の方法で解を選択するとよい。 In addition, the surface normal can be estimated by combining the polarization direction and the polarization degree from a single viewpoint. For example, when a diffuse reflection component is observed as shown in the right diagram of FIG. 15, the azimuth angle of the surface normal is determined from the polarization azimuth, and one zenith angle θ of the surface normal is obtained from the polarization degree. At this time, since the azimuth angle has indefiniteness of φ and φ + 180 °, two surface normal solutions are obtained. When the observed reflected light is a specular reflection component, two zenith angles of the surface normal are obtained from the degree of polarization. In this case, four surface normal solution candidates are obtained together with the azimuth ambiguity. If the observed reflected light does not specify whether it is a diffuse reflection component and a specular reflection component or a mixture thereof, 90 ° indefiniteness occurs in the relationship between the polarization direction and the incident surface, and the number of solution candidates increases. When a plurality of solution candidates are obtained in this way, the solution may be selected by the method described later.
光源位置による輝度情報の変化に基づいて被写体の面法線情報を取得する方法としては照度差ステレオ法を用いるとよい。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する方法である。仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は図17に示した光源ベクトルsと視線方向ベクトルvの2等分線と面法線nのなす角に反射率が依存する。したがって、前述した反射特性は視線方向にも基づく特性としてもよい。照度差ステレオ法に用いる輝度情報は、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの差分をとることで環境光等、既知の光源以外の光源による影響を除いてもよい。以下では、ランバート反射モデルを仮定した場合を説明する。 The illuminance difference stereo method may be used as a method for acquiring the surface normal information of the subject based on the change in the luminance information depending on the light source position. The illuminance-difference stereo method is a method for determining a surface normal from a reflection characteristic based on luminance information of a subject at a plurality of light source positions and a reflection characteristic based on the surface normal of the subject and a light source direction. Assuming that the reflectance is uniquely determined when a certain surface normal and light source position are given, if the subject's reflectance is unknown, it can be approximated by a Lambert reflection model that follows Lambert's cosine law. Good. Further, the reflectance of the specular reflection component depends on the angle formed by the bisector of the light source vector s and the line-of-sight direction vector v and the surface normal n shown in FIG. Therefore, the above-described reflection characteristics may be based on the line-of-sight direction. Luminance information used in the illuminance difference stereo method captures images when the known light source is turned on and off, and by taking the difference between them, light sources other than known light sources, such as ambient light You may exclude the influence by. Hereinafter, a case where a Lambertian reflection model is assumed will be described.
反射光の輝度をiとは、物体のランバート拡散反射率をρdとし、入射光の強さをEとし、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をsとし、物体の単位面法線ベクトルをnとする。このとき、ランバートの余弦則から、 The luminance of the reflected light is i, the Lambertian diffuse reflectance of the object is ρd, the intensity of the incident light is E, the unit vector (light source direction vector) indicating the direction from the object to the light source is s, and the unit of the object Let the surface normal vector be n. At this time, from Lambert's cosine law,
と表せる。ここで異なるM個(M≧3)の光源方向s1,s2,・・・,sMで得られた輝度値i1,i2,・・・iMとすると(9)式から以下のように表せる。 It can be expressed. If the luminance values i1, i2,... IM obtained in different M (M ≧ 3) light source directions s1, s2,.
ここで左辺はM行1列の輝度ベクトルであり、右辺の[s1T,・・・,sMT]はM行3列の光源方向を示す入射光行列Sである。また、nは3行1列の単位面法線ベクトルである。M=3の場合は入射光行列Sの逆行列を左から乗じることで、Eρdnが下記のように求まる。 Here, the left side is a luminance vector of M rows and 1 column, and [s1T,..., SMT] on the right side is an incident light matrix S indicating the light source direction of M rows and 3 columns. N is a unit surface normal vector of 3 rows and 1 column. In the case of M = 3, Eρdn is obtained as follows by multiplying the inverse matrix of the incident light matrix S from the left.
左辺のベクトルのノルムがEとρdの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。ここから分かるように、Eとρdは積の形でのみ条件式に現れるので、Eρdで1つの変数として見ると、単位面法線ベクトルの2自由度と合わせて未知の3変数を決定する連立方程式とみなせる。よって、3つの光源条件(照明条件)で輝度情報を取得することで方程式が3つ得られ、解を決定することができる。なお、入射光行列Sが正則でない場合は逆行列が存在しないため、光源方向s1〜s3をSが正則となるように選択する必要がある。つまり、s3をs1とs2に対して線形独立に選ぶことが望ましい。 The norm of the vector on the left side is the product of E and ρd, and the normalized vector is obtained as the surface normal vector of the object. As can be seen from this, since E and ρd appear in the conditional expression only in the form of a product, when viewed as one variable in Eρd, the simultaneous three-variable that determines the unknown three variables together with the two degrees of freedom of the unit surface normal vector. It can be regarded as an equation. Therefore, three equations are obtained by acquiring luminance information under three light source conditions (illumination conditions), and a solution can be determined. When the incident light matrix S is not regular, there is no inverse matrix, so it is necessary to select the light source directions s1 to s3 so that S is regular. That is, it is desirable to select s3 linearly independent of s1 and s2.
一方、M>3の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した3つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。4つ以上の条件式を用いる場合は入射光行列Sが正方行列ではなくなるため、例えば、Moore-Penrose疑似逆行列を使って近似解を求めればよい。 On the other hand, when M> 3, more conditional expressions are obtained than the unknown variable to be obtained. In this case, the surface normal vector can be obtained from three arbitrarily selected conditional expressions by the same method as described above. When four or more conditional expressions are used, since the incident light matrix S is not a square matrix, for example, an approximate solution may be obtained using a Moore-Penrose pseudo inverse matrix.
また、行列計算を用いなくとも、既知のフィッティング手法や最適化手法によって解を求めてもよい。被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は、条件式が単位面法線ベクトルnの各成分に対する線形方程式でなくなることがある。この場合でも、未知変数に対して未知変数以上の方程式が得られれば、既知のフィッティング手法や最適化手法を用いることができる。さらに、M>3の場合には、3以上M−1以下の条件式の組み合わせが複数得られるため、複数の面法線候補を求めることもできる。この場合は、特許文献1の方法や後述の方法によって解を選択するとよい。 Further, the solution may be obtained by a known fitting method or optimization method without using matrix calculation. If the reflection characteristics of the object are assumed by a model other than the Lambertian reflection model, the conditional expression may not be a linear equation for each component of the unit surface normal vector n. Even in this case, a known fitting method or optimization method can be used if an equation equal to or greater than the unknown variable is obtained for the unknown variable. Furthermore, in the case of M> 3, a plurality of combinations of conditional expressions of 3 or more and M-1 or less are obtained, so that a plurality of surface normal candidates can be obtained. In this case, the solution may be selected by the method of Patent Document 1 or the method described later.
面法線ベクトルの解の候補が複数求まる場合、さらに別の条件から解を選択するとよい。例えば、面法線ベクトルの連続性を条件として用いることができる。面法線を撮像装置の1画素ごとに算出する場合、画素(x,y)での面法線n(x,y)として、n(x−1,y)が既知であれば評価関数である、 When a plurality of surface normal vector solution candidates are obtained, the solution may be selected from yet another condition. For example, continuity of surface normal vectors can be used as a condition. When calculating the surface normal for each pixel of the imaging device, if n (x-1, y) is known as the surface normal n (x, y) at the pixel (x, y), an evaluation function is used. is there,
が最小となる解を選択するとよい。n(x+1,y)やn(x,y±1)も既知であれば、 Choose a solution that minimizes. If n (x + 1, y) and n (x, y ± 1) are also known,
が最小となるような解を選択するとよい。既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、全画素での総和である、 Choose a solution that minimizes. If there is no known surface normal and the surface normal is indefinite at all pixel positions, it is the sum of all pixels.
が最小となるように解を選択してもよい。 The solution may be selected so that is minimized.
上記は一例であり、注目画素の最近傍以外の画素での面法線情報を用いたり、注目画素の位置からの距離に応じて重みをつけた評価関数としたりしてもよい。 The above is an example, and surface normal information at a pixel other than the nearest pixel of the target pixel may be used, or an evaluation function weighted according to the distance from the position of the target pixel may be used.
複数候補から解を選択する場合には、奥行き情報を利用してもよい。奥行き情報は前述のレーザ光を用いた三角測量や2眼ステレオなどの方法で取得できる。奥行き情報から求めた三次元形状を面法線情報へ変換することで面法線ベクトルが算出できる。前述したように、この方法で求めた面法線ベクトルは精度が十分ではない。しかし、複数の面法線ベクトルの解候補が既に求まっている場合は、1つの解に決定するための参考情報とすることができる。すなわち、複数の面法線ベクトルの解候補のうち、奥行き情報により求めた面法線ベクトルに最も近い候補を選択するとよい。 When selecting a solution from a plurality of candidates, depth information may be used. Depth information can be acquired by a method such as triangulation using the laser beam described above or binocular stereo. A surface normal vector can be calculated by converting the three-dimensional shape obtained from the depth information into surface normal information. As described above, the surface normal vector obtained by this method is not accurate enough. However, when solution candidates for a plurality of surface normal vectors have already been obtained, it can be used as reference information for determining one solution. That is, it is preferable to select a candidate closest to the surface normal vector obtained from the depth information from among a plurality of surface normal vector solution candidates.
また、偏光度を利用してもよい。図16(a),(b)から分かるように、偏光度が小さいとき、鏡面反射成分では入射角が0°または90°付近、拡散反射成分では出射角が0°付近である。このため、例えば偏光度が0.1より小さい場合は、面法線ベクトルの複数の候補のうち、視線方向に近い候補を選択することができる。鏡面反射の場合は視線方向または視線方向の垂直方向に最も近い候補を選択してもよい。 Further, the degree of polarization may be used. As can be seen from FIGS. 16A and 16B, when the degree of polarization is small, the incident angle is about 0 ° or 90 ° for the specular reflection component, and the output angle is about 0 ° for the diffuse reflection component. For this reason, for example, when the degree of polarization is smaller than 0.1, a candidate close to the line-of-sight direction can be selected from a plurality of candidates for the surface normal vector. In the case of specular reflection, a candidate closest to the viewing direction or the direction perpendicular to the viewing direction may be selected.
また、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、面法線ベクトルと光源方向が近いほど反射光の輝度が大きくなる。このため、複数の光源方向での輝度値から、輝度が大きい方向により近くなるような面法線ベクトルを選択することができる。また、鏡面反射モデルでは物体からカメラへの方向の単位ベクトル(カメラの視線方向ベクトル)をvとして In addition, luminance information at an arbitrary light source position may be used. In the diffuse reflection model typified by the Lambert reflection model, the brightness of the reflected light increases as the surface normal vector and the light source direction are closer. For this reason, it is possible to select a surface normal vector that is closer to a direction in which the luminance is larger from luminance values in a plurality of light source directions. In the specular reflection model, the unit vector of the direction from the object to the camera (camera line-of-sight direction vector) is v.
が滑らかな表面では成り立つ。このため、光源方向ベクトルsとカメラの視線方向ベクトルvとが既知であれば、面法線nを算出することができる。表面に粗さがある一般の場合は鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解候補から最も平滑面に対する解に近い候補を選択することができる。また、複数の解候補の平均によって真の解を決めてもよい。 Holds on a smooth surface. Therefore, if the light source direction vector s and the camera line-of-sight direction vector v are known, the surface normal n can be calculated. In general, when the surface is rough, specular reflection also has a broadening of the emission angle, but since it spreads around the solution obtained as a smooth surface, select the candidate closest to the solution for the smooth surface from multiple solution candidates Can do. Further, the true solution may be determined by the average of a plurality of solution candidates.
図1には、本発明の実施例1である撮像装置1の外観を示す。図2は、本実施例の撮像装置1の構成を示す。 FIG. 1 shows an appearance of an imaging apparatus 1 that is Embodiment 1 of the present invention. FIG. 2 shows a configuration of the imaging apparatus 1 of the present embodiment.
撮像装置1は、不図示の被写体を撮像する撮像部100と、その周囲を囲むように配置された8つの光源部200とを備えている。8つの光源部200はそれぞれ、被写体を照明する照明光を互いに独立に発することができる。光源200の数は、照度差ステレオ法を実施する際は最低3つの光源が必要であるため3つ以上であれば8つでなくてもよい。図2では、光源部200としてまとめて示している。撮像装置1は、さらにAF(オートフォーカス)や撮像を開始させるためのレリーズボタン300を備える。 The imaging apparatus 1 includes an imaging unit 100 that captures an unillustrated subject and eight light source units 200 arranged so as to surround the periphery thereof. Each of the eight light source units 200 can emit illumination light for illuminating the subject independently of each other. The number of the light sources 200 is not limited to eight as long as the number of light sources 200 is three or more because at least three light sources are necessary when the illuminance difference stereo method is performed. In FIG. 2, the light source unit 200 is collectively shown. The imaging apparatus 1 further includes a release button 300 for starting AF (autofocus) and imaging.
撮像光学系101は、不図示の被写体からの光(被写体像)を撮像素子102上に結像させる。撮像光学系101と撮像素子102とにより撮像部(撮像手段)が構成される。撮像光学系101は絞り101aを含む。また、撮像光学系101は、複数のレンズ群を光軸方向に移動させることにより撮像倍率を変えることができる変倍光学系である。撮像素子102は、CCDセンサやCMOSセンサ等の光電変換素子により構成され、被写体像を光電変換する。 The imaging optical system 101 forms light (subject image) from a subject (not shown) on the imaging element 102. The imaging optical system 101 and the imaging element 102 constitute an imaging unit (imaging means). The imaging optical system 101 includes a stop 101a. The imaging optical system 101 is a variable magnification optical system that can change the imaging magnification by moving a plurality of lens groups in the optical axis direction. The image sensor 102 is composed of a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and photoelectrically converts a subject image.
撮像素子102での光電変換により生成されたアナログ電気信号はA/Dコンバータ103でデジタル信号に変換され、該デジタル信号は画像処理装置としての画像処理部104に入力される。 An analog electric signal generated by photoelectric conversion in the image sensor 102 is converted into a digital signal by an A / D converter 103, and the digital signal is input to an image processing unit 104 as an image processing apparatus.
画像処理部104は、デジタル信号に対して一般に行われる画像処理と併せて、被写体の法線情報を推定する処理を行う。画像処理部104は、上記デジタル信号としての撮影画像を取得する画像取得手段として機能するとともに、法線情報を算出する法線算出部104aと、取得された面法線情報の信頼度を評価(判定)する信頼度評価部(信頼度判定手段)104cを有する。画像処理部104で処理された出力画像は、半導体メモリや光ディスク等の画像記録部110に保存される。また、出力画像を、表示部105に表示してもよい。画像処理部104は、信頼度評価部104cの結果に基づいて表示部105に表示する表示用情報としての追加情報を付加する情報追加処理部(表示情報生成手段)104bを有する。 The image processing unit 104 performs processing for estimating the normal information of the subject together with image processing generally performed on the digital signal. The image processing unit 104 functions as an image acquisition unit that acquires a captured image as the digital signal, and also evaluates the reliability of the acquired surface normal information and the normal calculation unit 104a that calculates normal information ( A reliability evaluation unit (reliability determination means) 104c. The output image processed by the image processing unit 104 is stored in the image recording unit 110 such as a semiconductor memory or an optical disk. Further, the output image may be displayed on the display unit 105. The image processing unit 104 includes an information addition processing unit (display information generation unit) 104b that adds additional information as display information to be displayed on the display unit 105 based on the result of the reliability evaluation unit 104c.
情報入力部108は、ユーザが所望の撮像条件、例えば焦点距離、絞り値および露出時間(撮像時間)を選択して入力した情報を検知してシステムコントローラ111にそのデータを供給する。撮像制御部107は、システムコントローラ111からの情報に基づいて、撮像光学系101内の不図示のフォーカスレンズや変倍レンズを移動させ、また絞り値、露出時間、波長選択性撮像フィルタおよび撮像素子102を制御する。これにより、必要な撮影画像を取得する。 The information input unit 108 detects information input by the user selecting desired imaging conditions, for example, focal length, aperture value, and exposure time (imaging time), and supplies the data to the system controller 111. The imaging control unit 107 moves a focus lens and a variable power lens (not shown) in the imaging optical system 101 based on information from the system controller 111, and further, aperture value, exposure time, wavelength selective imaging filter, and imaging element. 102 is controlled. Thereby, a necessary captured image is acquired.
照射光源制御部106は、システムコントローラ111の制御指示に応じて光源部200の発光状態を制御する。具体的には、8つの光源部200のうち点灯させる光源部を選択したりその発光量(照明光量)を制御したりする。なお、撮像光学系101は、撮像装置1と一体に設けられていてもよいし、一眼レフカメラのように撮像装置1に対して交換可能であってもよい。 The irradiation light source control unit 106 controls the light emission state of the light source unit 200 in accordance with a control instruction from the system controller 111. Specifically, the light source unit to be lit is selected from the eight light source units 200, and the light emission amount (illumination light amount) is controlled. Note that the imaging optical system 101 may be provided integrally with the imaging device 1 or may be replaceable with respect to the imaging device 1 like a single-lens reflex camera.
図3のフローチャートには、上述した法線情報を推定し、その信頼度を評価する画像処理の流れを示す。この画像処理は、それぞれコンピュータであるシステムコントローラ111および画像処理部104が、コンピュータプログラムとしての画像処理プログラムに従って実行する。このことは、後述する他の実施例でも同じである。 The flowchart in FIG. 3 shows the flow of image processing for estimating the normal information described above and evaluating its reliability. This image processing is executed by the system controller 111 and the image processing unit 104, which are respectively computers, according to an image processing program as a computer program. This is the same in other embodiments described later.
ステップS101では、システムコントローラ111は、ユーザによる情報入力部108からの入力に応じて第1撮像条件(絞り値露出時間および焦点距離等)を設定する。 In step S101, the system controller 111 sets the first imaging condition (aperture value exposure time, focal length, etc.) according to the input from the information input unit 108 by the user.
次にステップS102では、システムコントローラ111は、ユーザによりレリーズボタン300が半押し操作されたか否かを判定する。半押し操作された場合は撮影準備動作(AF、測光等)を行う。 In step S102, the system controller 111 determines whether the release button 300 has been pressed halfway by the user. When the button is pressed halfway, a shooting preparation operation (AF, photometry, etc.) is performed.
次にステップS103では、システムコントローラ111は、ステップS101で設定された第1撮像条件に基づいて第2撮像条件を決定する。本実施例では、第2撮像条件として、第1撮像条件よりも撮像倍率が高くなる(撮像画角が狭くなる)ように設定する。 Next, in step S103, the system controller 111 determines the second imaging condition based on the first imaging condition set in step S101. In the present embodiment, the second imaging condition is set such that the imaging magnification is higher (the imaging angle of view is narrower) than the first imaging condition.
ここで、上記のように第2撮像条件を設定する理由について簡単に説明する。上述したように、照度差ステレオ法や偏光情報から推定する方法によって被写体の法線情報を取得するためには、輝度情報(つまりは撮像時の照明条件)が異なる複数の撮影画像が必要となる。つまり、複数の撮影画像の輝度変化から被写体の面法線を算出するため、面法線取得の最小単位は画素サイズとなる。このため、図4に示すように撮影画像の1画素内に複数の面法線を持つ画素内テクスチャーがある場合には真の面法線を取得することができない。図4は複雑な面形状を有する被写体の断面を第1撮像条件で撮像する場合を模式的に示している。図4中の131,141はそれぞれ、第1撮像条件での撮像装置の1画素(撮影画像の1画素)に対応する撮像領域である。 Here, the reason for setting the second imaging condition as described above will be briefly described. As described above, in order to acquire the normal information of the subject by the illuminance difference stereo method or the method of estimating from the polarization information, a plurality of captured images having different luminance information (that is, illumination conditions at the time of imaging) are required. . That is, since the surface normal of the subject is calculated from the luminance change of a plurality of captured images, the minimum unit for acquiring the surface normal is the pixel size. For this reason, as shown in FIG. 4, when there is an in-pixel texture having a plurality of surface normals in one pixel of a captured image, a true surface normal cannot be acquired. FIG. 4 schematically shows a case where a cross section of a subject having a complicated surface shape is imaged under the first imaging condition. Reference numerals 131 and 141 in FIG. 4 denote imaging regions corresponding to one pixel (one pixel of a captured image) of the imaging device under the first imaging condition.
撮像領域141では面形状が均一であるため、図4における面142の真の面法線は矢印144が示す0度方向であり、面143の真の面法線も矢印145が示す0度方向である。撮像領域141では2つの面142,143のそれぞれの面法線144,145が混合して得られることとなるが、これら2つの面142,143が同一方向を向いているため、面法線の算出結果としては、矢印146が示す0度方向という真の面法線と同じになる。 Since the surface shape is uniform in the imaging region 141, the true surface normal of the surface 142 in FIG. 4 is the 0 degree direction indicated by the arrow 144, and the true surface normal of the surface 143 is also the 0 degree direction indicated by the arrow 145. It is. In the imaging region 141, the surface normals 144 and 145 of the two surfaces 142 and 143 are obtained in a mixed manner. However, since these two surfaces 142 and 143 face the same direction, The calculation result is the same as the true surface normal in the 0 degree direction indicated by the arrow 146.
しかし、図4中の撮像領域131では2つの面132,133が異なる方向を向いており、面132の真の面法線は矢印134が示す−45度方向であり、面133の真の面法線は矢印135が示す+45度方向である。撮像領域131ではこれら2つの面132,133の面法線134,135が混合して得られることとなり、面法線の算出結果としては、例えば矢印136が示す0度方向という真の面法線とは異なるものとなる。つまり、画素内テクスチャーがある被写体に対しては、第1撮像条件による撮像だけでは、信頼度が低い法線情報が得られる可能性がある。しかし、ユーザにとっては、このような信頼度が低い法線情報が得られていることを認識することは困難である。 However, in the imaging region 131 in FIG. 4, the two surfaces 132 and 133 are oriented in different directions, and the true surface normal of the surface 132 is the −45 degree direction indicated by the arrow 134, and the true surface of the surface 133. The normal is in the +45 degree direction indicated by the arrow 135. In the imaging region 131, the surface normals 134 and 135 of the two surfaces 132 and 133 are obtained by mixing, and the calculation result of the surface normal is, for example, a true surface normal of 0 degree direction indicated by the arrow 136. It will be different. That is, for an object having an in-pixel texture, normal information with low reliability may be obtained only by imaging under the first imaging condition. However, it is difficult for the user to recognize that such normal information with low reliability is obtained.
そこで、本実施例では、第2撮像条件において、第1撮像条件よりも撮像倍率が高くなる(撮像画角が狭くなる)ように設定する。 Therefore, in this embodiment, the second imaging condition is set such that the imaging magnification is higher (the imaging angle of view is narrower) than the first imaging condition.
図5には、図4と同じ被写体の断面を第2撮像条件(ここでは2倍の撮像倍率)で撮像する場合を模式的に示している。図5中の131a,131b,141a,141bはそれぞれ、第2撮像条件での撮像装置の1画素(撮影画像の1画素)に対応する撮像領域である。撮像倍率を2倍にして撮像することにより、それぞれの撮像領域131a,131b,141a,141bは、図4中の撮像領域131,141の半分となる。 FIG. 5 schematically shows a case where the same cross section of the subject as in FIG. 4 is imaged under the second imaging condition (here, imaging magnification of 2 times). Each of 131a, 131b, 141a, and 141b in FIG. 5 is an imaging region corresponding to one pixel (one pixel of a captured image) of the imaging device under the second imaging condition. By imaging with an imaging magnification of 2 times, each imaging area 131a, 131b, 141a, 141b becomes half of the imaging area 131, 141 in FIG.
このため、図5に示す第2撮像条件では、面132の面法線として矢印134が示す−45度方向が算出され、面133の面法線は矢印135が示す+45度方向が算出される。このとき、図4に示す第1撮像条件にて算出された撮像領域131での面法線の向きは矢印136が示す方向である。これに対し、図5に示す第2撮像条件にて算出された撮像領域131と同一の撮像領域131a,131bでの面法線の向きは、矢印136が示す方向とは異なる矢印134,135が示す方向となる。したがって、第1および第2撮像条件でのこれら撮像領域131および131a,131bでの面法線の算出結果を比較することで、これら算出結果に画素内テクスチャーに起因した差異が発生していることを容易に判定することができる。 Therefore, in the second imaging condition illustrated in FIG. 5, the −45 degree direction indicated by the arrow 134 is calculated as the surface normal of the surface 132, and the +45 degree direction indicated by the arrow 135 is calculated as the surface normal of the surface 133. . At this time, the direction of the surface normal in the imaging region 131 calculated under the first imaging condition shown in FIG. 4 is the direction indicated by the arrow 136. On the other hand, the direction of the surface normal in the same imaging area 131a and 131b as the imaging area 131 calculated under the second imaging condition shown in FIG. It becomes the direction shown. Accordingly, by comparing the calculation results of the surface normals in the imaging regions 131 and 131a and 131b under the first and second imaging conditions, a difference due to the texture in the pixel is generated in the calculation results. Can be easily determined.
一方、図4に示す第1撮像条件にて算出された撮像領域141での面法線の向きは矢印146が示す方向であり、図5に示す第2撮像条件にて算出された撮像領域141と同一の撮像領域141a,141bでの面法線の向きは矢印144,145が示す方向である。矢印144,145が示す方向は、矢印146が示す方向と同じである。したがって、第1および第2撮像条件でのこれら撮像領域141および141a,141bでの面法線の算出結果を比較することで、これら算出結果に画素内テクスチャーに起因した差異が発生していないことを容易に判定することができる。 On the other hand, the direction of the surface normal in the imaging area 141 calculated under the first imaging condition shown in FIG. 4 is the direction indicated by the arrow 146, and the imaging area 141 calculated under the second imaging condition shown in FIG. The direction of the surface normal in the same imaging area 141a, 141b is the direction indicated by arrows 144, 145. The direction indicated by arrows 144 and 145 is the same as the direction indicated by arrow 146. Therefore, by comparing the calculation results of the surface normals in the imaging regions 141 and 141a and 141b under the first and second imaging conditions, there is no difference caused by the texture in the pixel in these calculation results. Can be easily determined.
このように、互いに異なる撮像倍率(撮像画角)である第1および第2撮像条件でそれぞれ算出された法線情報を比較することで、第1撮像条件において画素内テクスチャーが存在しているか否かを判定することができる。言い換えれば、第1および第2撮像条件で被写体の同一領域の面法線情報を比較し、その差異が大きいほど第1撮像条件での面法線算出結果の信頼度はより低く、差異が小さいほど信頼度がより高いと判定することができる。 In this way, by comparing the normal line information calculated under the first and second imaging conditions, which are different imaging magnifications (imaging angle of view), whether or not the in-pixel texture exists in the first imaging condition. Can be determined. In other words, the surface normal information of the same region of the subject is compared under the first and second imaging conditions, and the greater the difference, the lower the reliability of the surface normal calculation result under the first imaging condition and the smaller the difference. It can be determined that the reliability is higher.
本実施例では、第2撮像条件として、撮像領域の対応が取り易い整数倍(例えば2倍)の拡大倍率とした。しかし、第1および第2撮像条件の面法線の算出結果の差異が判定されれば十分に信頼度を判定することが可能であるため、2倍以外の任意の撮像倍率の差でよい。また、撮像倍率を異ならせると、撮像光学系の焦点距離が変動して被写界深度が変動するため、第1および第2撮像条件の被写界深度がほぼ等しくなるように、絞り値(開口絞り径)を制御してもよい。さらに、撮像時の絞り値の制御により、第1および第2撮像条件間での撮像光量が変化するため、露出時間や光源の発光量を増加させることで同一撮像光量となるように制御してもよい。同一撮像光量となることで、第1および第2撮像条件間でのノイズ量がほぼ等しくなるため、面法線の算出結果の比較がより容易となる。 In the present embodiment, as the second imaging condition, an enlargement magnification of an integer multiple (for example, 2 times) that is easy to handle the imaging region is used. However, if the difference between the calculation results of the surface normals of the first and second imaging conditions is determined, the reliability can be determined sufficiently, and therefore, any difference in imaging magnification other than 2 may be used. Also, if the imaging magnification is varied, the focal length of the imaging optical system changes and the depth of field changes, so that the aperture value ( The aperture diameter may be controlled. Furthermore, since the amount of imaging light between the first and second imaging conditions changes by controlling the aperture value at the time of imaging, control is performed so that the same amount of imaging light is obtained by increasing the exposure time and the light emission amount of the light source. Also good. By using the same amount of imaging light, the amount of noise between the first and second imaging conditions becomes substantially equal, so that comparison of the surface normal calculation results becomes easier.
ステップS104では、システムコントローラ111は、ユーザによりレリーズボタン300が全押し操作されたかどうかを判定する。全押し操作された場合は、撮像装置は撮像動作を開始する。 In step S104, the system controller 111 determines whether or not the release button 300 has been fully pressed by the user. When the full-press operation is performed, the imaging device starts an imaging operation.
次にステップS105では、システムコントローラ111は、第1撮像条件に従って撮像制御部107および照射光源制御部106を通じて撮像部および光源部200を制御して、照明条件として点灯する光源部200の位置(光源位置)が互いに異なる撮像を行う。これにより、画像処理部104は、撮像素子102から出力されてA/Dコンバータ103にてA/D変換されたデジタル信号を用いて、互いに異なる照明条件での撮影画像としての複数の第1の画像を取得する。 In step S105, the system controller 111 controls the imaging unit and the light source unit 200 through the imaging control unit 107 and the irradiation light source control unit 106 according to the first imaging condition, and the position of the light source unit 200 that is turned on as the illumination condition (light source). Imaging with different positions) is performed. As a result, the image processing unit 104 uses the digital signal output from the image sensor 102 and A / D-converted by the A / D converter 103 to use a plurality of first images as captured images under different illumination conditions. Get an image.
次にステップS106では、システムコントローラ111は、第2撮像条件に従って撮像制御部107および照射光源制御部106を通じて撮像部および光源部200を制御して、同様に照明条件として光源位置が互いに異なる撮像を行う。これにより、画像処理部104は、撮像素子102から出力されてA/Dコンバータ103にてA/D変換されたデジタル信号を用いて、互いに異なる照明条件での撮影画像としての複数の第2の画像を取得する。 In step S106, the system controller 111 controls the imaging unit and the light source unit 200 through the imaging control unit 107 and the irradiation light source control unit 106 according to the second imaging condition, and similarly performs imaging with different light source positions as illumination conditions. Do. As a result, the image processing unit 104 uses the digital signal output from the image sensor 102 and A / D-converted by the A / D converter 103 to use a plurality of second images as captured images under different illumination conditions. Get an image.
次にステップS107では、画像処理部104は、複数の第1の画像から得られる輝度情報の変化に基づいて被写体の面法線を示す第1の法線情報を推定する。また、複数の第2の画像から得られる輝度情報の変化に基づいて同被写体の面法線を示す第2の法線情報を推定する。ここで、画像処理部104は、第1および第2の画像のうち少なくとも1つの画像に対して出力画像を生成するための通常の現像処理や各種画像補正処理を行ってもよい。法線情報の推定は、法線算出部104aが上述した照度差ステレオ法を用いて、第1撮像条件と第2撮像条件のそれぞれの光源位置に応じた輝度情報の変化に基づいて行う。 In step S107, the image processing unit 104 estimates first normal information indicating the surface normal of the subject based on changes in luminance information obtained from the plurality of first images. Also, second normal information indicating the surface normal of the subject is estimated based on changes in luminance information obtained from the plurality of second images. Here, the image processing unit 104 may perform normal development processing and various image correction processing for generating an output image on at least one of the first and second images. The normal line information is estimated by the normal line calculation unit 104a using the illuminance difference stereo method described above based on changes in luminance information according to the light source positions of the first imaging condition and the second imaging condition.
次にステップS108では、画像処理部104の信頼度評価部104cは、ステップS107で推定された第1の法線情報と第2の法線情報とを比較して第1の法線情報の信頼度を評価(判定)する。具体的には、前述したように第1撮像条件と第2撮像条件とで被写体の同一撮像領域で得られた第1の法線情報と第2の法線情報とを比較する。そして、これら第1および第2の法線情報の差異が大きければ第1の法線情報の信頼度は低いと判定する。一方、差異が小さければ第1の法線情報の信頼度は高いと判定する。 Next, in step S108, the reliability evaluation unit 104c of the image processing unit 104 compares the first normal information estimated in step S107 with the second normal information, and the reliability of the first normal information. Evaluate (determine) degree. Specifically, as described above, the first normal information and the second normal information obtained in the same image pickup area of the subject are compared under the first image pickup condition and the second image pickup condition. If the difference between the first normal information and the second normal information is large, it is determined that the reliability of the first normal information is low. On the other hand, if the difference is small, it is determined that the reliability of the first normal information is high.
また、第1撮像条件と第2撮像条件とでは撮像倍率が異なるため、画像上の被写***置が異なる場合がある。このような場合は、撮像倍率の変化量に基づいた2次元空間上の幾何補正や、既存のブロックマッチング法等の対応点抽出方法により同一撮像領域を特定することができる。 Further, since the imaging magnification is different between the first imaging condition and the second imaging condition, the subject position on the image may be different. In such a case, the same imaging region can be specified by geometric correction in a two-dimensional space based on the amount of change in imaging magnification or a corresponding point extraction method such as an existing block matching method.
次にステップS104cでは、画像処理部104の情報追加処理部104bは、ステップS108で評価された信頼度の結果に基づいて、出力画像または法線情報に信頼度に関する表示情報を追加する。本実施例では、表示部105に表示する出力画像に対して、図6に示す警告表示1001を表示情報として付加する。警告表示1001が表示された部分は画素内テクスチャーが存在し、法線情報の信頼度が低いことを表している。なお、警告表示に代えて、信頼度そのものを表示してもよい。 In step S104c, the information addition processing unit 104b of the image processing unit 104 adds display information related to the reliability to the output image or the normal line information based on the reliability result evaluated in step S108. In this embodiment, a warning display 1001 shown in FIG. 6 is added as display information to the output image displayed on the display unit 105. The portion where the warning display 1001 is displayed indicates that there is an in-pixel texture and the reliability of the normal information is low. Note that the reliability itself may be displayed instead of the warning display.
このように、表示画像上に法線情報の信頼度の情報を追加表示することで、ユーザは第1撮像条件における面法線の算出結果の信頼度を容易に判断することが可能となる。 As described above, by additionally displaying the reliability information of the normal information on the display image, the user can easily determine the reliability of the calculation result of the surface normal under the first imaging condition.
信頼度が低いと判定された場合には、ユーザは第1撮像条件を変更して第1の画像を再取得することで、より信頼度の高い法線情報を得ることが可能となる。 When it is determined that the reliability is low, the user can obtain normal information with higher reliability by changing the first imaging condition and re-acquiring the first image.
図7には、本発明の実施例2である撮像装置2の外観を示している。撮像装置2は、不図示の被写体を撮像する2つの撮像部400,500と、その周囲を囲むように配置された8つの光源部200と備えている。8つの光源部200はそれぞれ、被写体を照明する照明光を互いに独立に発することができる。本実施例でも、光源200の数は、照度差ステレオ法を実施するための3つ以上であればよい。なお、本実施例では2つの撮像部を備えた撮像装置を示しているが、焦点距離(撮像倍率)が互いに異なる3つ以上の複数の撮像部を備えてもよい。さらに、複数の撮像部の撮像光学系を変倍光学系として構成することもできる。撮像装置2は、さらにAFや撮像を開始させるためのレリーズボタン300を備える。 FIG. 7 shows the appearance of the image pickup apparatus 2 that is Embodiment 2 of the present invention. The imaging device 2 includes two imaging units 400 and 500 that image a subject (not shown), and eight light source units 200 arranged so as to surround the periphery. Each of the eight light source units 200 can emit illumination light for illuminating the subject independently of each other. Also in the present embodiment, the number of the light sources 200 may be three or more for performing the illuminance difference stereo method. In this embodiment, an image pickup apparatus including two image pickup units is shown, but three or more image pickup units having different focal lengths (image pickup magnifications) may be provided. Further, the imaging optical system of the plurality of imaging units can be configured as a variable magnification optical system. The imaging device 2 further includes a release button 300 for starting AF and imaging.
図8には、2つの撮像部400,500の構成を示す。撮像部400において、撮像光学系401は、不図示の被写体からの光(被写体像)を撮像素子402上に結像させる。撮像部500において、撮像光学系501は、不図示の被写体からの光を撮像素子502上に結像させる。各撮像素子は、CCDセンサやCMOSセンサ等の光電変換素子により構成され、被写体像を光電変換する。撮像光学系401,501は互いに焦点距離(つまりは撮像画角)が異なる。具体的には、撮像光学系401よりも撮像光学系501の方が高い撮像倍率(つまりは狭い撮像画角)を有する。 FIG. 8 shows the configuration of the two imaging units 400 and 500. In the imaging unit 400, the imaging optical system 401 forms light (subject image) from a subject (not shown) on the imaging element 402. In the imaging unit 500, the imaging optical system 501 forms an image of light from a subject (not shown) on the imaging element 502. Each image sensor is composed of a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and photoelectrically converts a subject image. The imaging optical systems 401 and 501 have different focal lengths (that is, imaging angle of view). Specifically, the imaging optical system 501 has a higher imaging magnification (that is, a narrow imaging angle of view) than the imaging optical system 401.
撮像部400,500および光源部200以外の構成は実施例1(図2)に示した構成と同じであり、実施例1と共通する構成要素には実施例1と同符号を付す。 The configuration other than the imaging units 400 and 500 and the light source unit 200 is the same as the configuration shown in the first embodiment (FIG. 2), and the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment.
また、法線情報を推定および評価する画像処理についても、実施例1(図3)にて説明したものとほぼ同じである。ここでは、実施例1との相違点について図3を再び用いて説明する。 Also, the image processing for estimating and evaluating the normal information is almost the same as that described in the first embodiment (FIG. 3). Here, differences from the first embodiment will be described with reference to FIG. 3 again.
ステップS101,S102での処理の後、システムコントローラ111は、ステップS103において、ステップS101で設定された第1撮像条件に基づいて第2撮像条件を決定する。本実施例では、第1撮像条件を撮像光学系401の焦点距離とし、第2撮像条件を撮像光学系501の焦点距離とする。第2の撮像光学系501の焦点距離は、第1の撮像光学系401の焦点距離に対して、第2の撮像光学系501の撮像倍率の方が第1の撮像光学系401よりも高く(撮像画角が狭く)なるように設定されている。また実施例1と同様に、絞り値、露出時間および光源部200の発光量を第1撮像条件と第2撮像条件で異なるように制御することもできる。 After the processing in steps S101 and S102, the system controller 111 determines the second imaging condition based on the first imaging condition set in step S101 in step S103. In this embodiment, the first imaging condition is the focal length of the imaging optical system 401, and the second imaging condition is the focal length of the imaging optical system 501. The focal length of the second imaging optical system 501 is higher than that of the first imaging optical system 401 in terms of the imaging magnification of the second imaging optical system 501 with respect to the focal length of the first imaging optical system 401 ( The imaging angle of view is set to be narrow). Similarly to the first embodiment, the aperture value, the exposure time, and the light emission amount of the light source unit 200 can be controlled to be different depending on the first imaging condition and the second imaging condition.
ステップS104からステップS107の処理は、実施例1と同じである。ステップS108では、信頼度評価部104cはステップS107で推定された第1撮像条件にて推定された第1の法線情報と第2撮像条件にて推定された第2の法線情報を比較し、第1の法線情報の信頼度を評価する。評価方法は実施例1と同じである。 The processing from step S104 to step S107 is the same as that in the first embodiment. In step S108, the reliability evaluation unit 104c compares the first normal information estimated under the first imaging condition estimated in step S107 with the second normal information estimated under the second imaging condition. The reliability of the first normal information is evaluated. The evaluation method is the same as in Example 1.
次にステップS104cでは、情報追加処理部104bは、ステップS108で評価された信頼度の結果に基づいて、出力画像または法線情報に信頼度に関する表示情報を追加する。本実施例では、表示部105に表示する出力画像に対して、図9に示すガイダンス表示1002を付加する。ガイダンス表示1002は、現在の撮像条件では法線情報の信頼度が低いために撮像距離が短くなる(撮像倍率を上げる)ように変更することを促す、つまりは信頼度を増加させるための撮像条件を示す表示情報である。 Next, in step S104c, the information addition processing unit 104b adds display information related to the reliability to the output image or the normal line information based on the result of the reliability evaluated in step S108. In this embodiment, a guidance display 1002 shown in FIG. 9 is added to the output image displayed on the display unit 105. The guidance display 1002 prompts the user to change the imaging distance to be short (increase the imaging magnification) because the reliability of the normal information is low under the current imaging conditions, that is, the imaging conditions for increasing the reliability. Is display information.
このように表示画像上に法線情報の信頼度を増加させるためのガイダンス表示を追加することで、ユーザは法線情報の信頼度を容易に判断することができるとともに、該信頼度をより向上させるように再設定した第1撮像条件で再度撮像を行うことができる。 In this way, by adding a guidance display for increasing the reliability of normal information on the display image, the user can easily determine the reliability of normal information and further improve the reliability. The imaging can be performed again under the first imaging condition that has been reset to be performed.
図10には、本発明の実施例3である撮像装置3の外観を示している。図11には、本実施例の撮像装置3の構成を示している。 FIG. 10 shows the appearance of an image pickup apparatus 3 that is Embodiment 3 of the present invention. FIG. 11 shows the configuration of the imaging apparatus 3 of the present embodiment.
撮像装置3は、不図示の被写体を撮像する撮像部600を備えている。さらに、さらにAFや撮像を開始させるためのレリーズボタン300を備える。 The imaging device 3 includes an imaging unit 600 that images a subject (not shown). Furthermore, a release button 300 for starting AF and imaging is further provided.
撮像部600の撮像光学系601は、不図示の被写体からの光(被写体像)を撮像素子102上に結像させる。撮像光学系601は絞り601aを含む。また、撮像光学系601は複数のレンズ群を光軸方向に移動させることにより撮像倍率を変えることができる変倍光学系である。撮像素子102は、CCDセンサやCMOSセンサ等の光電変換素子により構成され、被写体像を光電変換する。 The imaging optical system 601 of the imaging unit 600 forms light (subject image) from a subject (not shown) on the imaging element 102. The imaging optical system 601 includes a diaphragm 601a. The imaging optical system 601 is a variable magnification optical system that can change the imaging magnification by moving a plurality of lens groups in the optical axis direction. The image sensor 102 is composed of a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and photoelectrically converts a subject image.
また、撮像部は、輝度情報としての偏光情報を取得するために、偏光子(偏光状態制御素子)201を備えている。偏光情報を含む撮影画像は、偏光制御部202からの制御によって偏光子201の主軸角方向を変えながら(つまりは照明条件を変更しながら)撮像することにより取得する。本実施例では、撮像光学系601よりも被写体側に偏光子201を配置しているが、撮像光学系601よりも像側または撮像光学系601の内部に偏光子を挿入してもよい。撮像部600の構成が異なることおよび光源部を有さないこと以外の構成は実施例1(図2)に示した構成と同じであり、実施例1と共通する構成要素には実施例1と同符号を付す。 The imaging unit also includes a polarizer (polarization state control element) 201 in order to acquire polarization information as luminance information. A captured image including polarization information is acquired by imaging while changing the principal axis angle direction of the polarizer 201 (that is, changing illumination conditions) under the control of the polarization controller 202. In this embodiment, the polarizer 201 is disposed on the subject side with respect to the imaging optical system 601, but the polarizer may be inserted on the image side of the imaging optical system 601 or inside the imaging optical system 601. The configuration except for the configuration of the imaging unit 600 and the absence of the light source unit is the same as the configuration shown in the first embodiment (FIG. 2), and the components common to the first embodiment are the same as those in the first embodiment. The same symbol is attached.
また、法線情報を推定および評価する画像処理についても、実施例1(図3)にて説明したものとほぼ同じである。ここでは、実施例1との相違点について図12のフローチャートを用いて説明する。 Also, the image processing for estimating and evaluating the normal information is almost the same as that described in the first embodiment (FIG. 3). Here, differences from the first embodiment will be described with reference to the flowchart of FIG.
ステップS301からS304までは、実施例1のステップS101とS104と同じてあるため、説明を省略する。 Steps S301 to S304 are the same as steps S101 and S104 of the first embodiment, and thus description thereof is omitted.
ステップS305では、システムコントローラ111は、第1撮像条件に従って撮像制御部107と偏光制御部202により撮像部600と偏光子201を制御して複数の偏光状態(照明条件)での被写体の撮像を行う。これにより、画像処理部104は、互いに異なる照明条件での撮影画像としての複数の第1の画像を取得する。 In step S305, the system controller 111 controls the imaging unit 600 and the polarizer 201 by the imaging control unit 107 and the polarization control unit 202 according to the first imaging condition, and performs imaging of the subject in a plurality of polarization states (illumination conditions). . Thereby, the image processing unit 104 acquires a plurality of first images as captured images under different illumination conditions.
ステップS306では、システムコントローラ111は、第2撮像条件に従って撮像制御部107と偏光制御部202により撮像部600と偏光子201を制御して複数の偏光状態(照明条件)での被写体の撮像を行う。これにより、画像処理部104は、互いに異なる照明条件での撮影画像としての複数の第2の画像を取得する。 In step S306, the system controller 111 controls the imaging unit 600 and the polarizer 201 by the imaging control unit 107 and the polarization control unit 202 according to the second imaging condition, and performs imaging of the subject in a plurality of polarization states (illumination conditions). . Accordingly, the image processing unit 104 acquires a plurality of second images as captured images under different illumination conditions.
ステップS307では、画像処理部104は、複数の第1の画像から得られる輝度情報の変化に基づいて被写体の面法線を示す第1の法線情報を推定する。また、複数の第2の画像から得られる輝度情報の変化に基づいて同被写体の面法線を示す第2の法線情報を推定する。ここで、画像処理部104は、第1および第2の画像のうち少なくとも1つの画像に対して出力画像を生成するための通常の現像処理や各種画像補正処理を行ってもよい。法線情報の推定は、法線算出部104aが上述した偏光情報から推定する方法を用いて、第1撮像条件と第2撮像条件のそれぞれの偏光状態に応じた輝度情報の変化に基づいて行う。 In step S307, the image processing unit 104 estimates first normal information indicating the surface normal of the subject based on changes in luminance information obtained from the plurality of first images. Also, second normal information indicating the surface normal of the subject is estimated based on changes in luminance information obtained from the plurality of second images. Here, the image processing unit 104 may perform normal development processing and various image correction processing for generating an output image on at least one of the first and second images. The normal information is estimated based on changes in luminance information according to the respective polarization states of the first imaging condition and the second imaging condition, using the method in which the normal calculation unit 104a estimates from the polarization information described above. .
ステップS308とS309は、実施例1のステップS108とS104cと同じであるため、説明を省略する。 Steps S308 and S309 are the same as steps S108 and S104c of the first embodiment, and thus description thereof is omitted.
本実施例によれば、偏光情報から推定する方法を用いる場合でも、ユーザが容易に法線算出結果の信頼度を判断することが可能となる。ユーザは第1撮像条件を変更して再度撮像を行うことで、より信頼度の高い法線情報を得ることができる。 According to this embodiment, even when a method of estimating from polarization information is used, the user can easily determine the reliability of the normal calculation result. The user can obtain normal information with higher reliability by changing the first imaging condition and performing imaging again.
上記各実施例では、画像処理装置としての画像処理部104が撮像装置に内蔵されている場合について説明したが、パーソナルコンピュータ等の撮像装置とは別装置としての画像処理装置でも各実施例で説明した画像処理を行うことができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
In each of the above-described embodiments, the case where the image processing unit 104 as an image processing device is built in the imaging device has been described. However, an image processing device as a device other than the imaging device such as a personal computer is also described in each embodiment. Image processing can be performed.
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
1,2,3 撮像装置
100,400,500,600 撮像部
200 光源部
104 画像処理部
201 偏光子
1, 2, 3 Imaging device 100, 400, 500, 600 Imaging unit 200 Light source unit 104 Image processing unit 201 Polarizer
Claims (12)
前記撮影画像として、第1の撮像画角において前記被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第1の画像および前記第1の撮像画角よりも狭い第2の撮像画角において前記照明条件を互いに異ならせた撮像により生成された複数の第2の画像を取得する画像取得手段と、
前記法線情報として、前記複数の第1の画像における輝度情報の変化に基づいて第1の法線情報を取得するとともに、前記複数の第2の画像における輝度情報の変化に基づいて第2の法線情報を取得する法線取得手段と、
前記第1の法線情報と前記第2の法線情報とを比較することにより前記第1の法線情報の信頼度を判定する信頼度判定手段とを有することを特徴とする画像処理装置。 An image processing apparatus that acquires normal information of the surface of the subject using a captured image generated by imaging the subject,
As the captured image, a plurality of first images generated by imaging with different illumination conditions for the subject at a first imaging angle of view and a second imaging angle of view narrower than the first imaging angle of view. An image acquisition means for acquiring a plurality of second images generated by imaging with the illumination conditions different from each other;
As the normal line information, first normal line information is acquired based on a change in luminance information in the plurality of first images, and a second one is acquired based on a change in luminance information in the plurality of second images. Normal acquisition means for acquiring normal information;
An image processing apparatus comprising: a reliability determination unit that determines the reliability of the first normal information by comparing the first normal information and the second normal information.
前記第1および第2の画像を生成するための撮像を行う撮像手段とを有することを特徴とする撮像装置。 The image processing apparatus according to any one of claims 1 to 8,
An image pickup apparatus comprising: an image pickup unit configured to pick up an image for generating the first and second images.
前記第1および第2の画像を生成するための撮像を行う撮像手段と、
前記3つ以上の光源とを有することを特徴とする撮像装置。 An image processing apparatus according to claim 3;
Imaging means for performing imaging for generating the first and second images;
An image pickup apparatus comprising the three or more light sources.
前記第1および第2の画像を生成するための撮像を行う撮像手段と、
前記偏光の状態を変化させる偏光状態制御素子とを有することを特徴とする撮像装置。 An image processing apparatus according to claim 4,
Imaging means for performing imaging for generating the first and second images;
An imaging apparatus comprising: a polarization state control element that changes the polarization state.
前記コンピュータに、
前記撮影画像として、第1の撮像画角において前記被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第1の画像および前記第1の撮像画角よりも狭い第2の撮像画角において前記照明条件を互いに異ならせた撮像により生成された複数の第2の画像を取得させ、
前記法線情報として、前記複数の第1の画像における輝度情報の変化に基づいて第1の法線情報を取得するとともに、前記複数の第2の画像における輝度情報の変化に基づいて第2の法線情報を取得させ、
前記第1の法線情報と前記第2の法線情報とを比較することにより前記第1の法線情報の信頼度を判定させることを特徴とする画像処理プログラム。 An image processing program for obtaining normal information on the surface of the subject using a captured image generated by imaging the subject on a computer,
In the computer,
As the captured image, a plurality of first images generated by imaging with different illumination conditions for the subject at a first imaging angle of view and a second imaging angle of view narrower than the first imaging angle of view. A plurality of second images generated by imaging with the illumination conditions being different from each other,
As the normal line information, first normal line information is acquired based on a change in luminance information in the plurality of first images, and a second one is acquired based on a change in luminance information in the plurality of second images. Get normal information,
An image processing program for causing a reliability of the first normal information to be determined by comparing the first normal information and the second normal information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016013010A JP2017135528A (en) | 2016-01-27 | 2016-01-27 | Image processing device, imaging apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016013010A JP2017135528A (en) | 2016-01-27 | 2016-01-27 | Image processing device, imaging apparatus and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017135528A true JP2017135528A (en) | 2017-08-03 |
Family
ID=59503042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016013010A Pending JP2017135528A (en) | 2016-01-27 | 2016-01-27 | Image processing device, imaging apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017135528A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019069536A1 (en) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
JP2019139694A (en) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | Image processing method, image processor, imaging apparatus, image processing program, and storage medium |
WO2022163002A1 (en) * | 2021-01-27 | 2022-08-04 | オムロン株式会社 | Imaging condition setting system, imaging condition setting method, and program |
-
2016
- 2016-01-27 JP JP2016013010A patent/JP2017135528A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019069536A1 (en) * | 2017-10-05 | 2019-04-11 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
US11244145B2 (en) | 2017-10-05 | 2022-02-08 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
JP2019139694A (en) * | 2018-02-15 | 2019-08-22 | キヤノン株式会社 | Image processing method, image processor, imaging apparatus, image processing program, and storage medium |
JP7286268B2 (en) | 2018-02-15 | 2023-06-05 | キヤノン株式会社 | Image processing method, image processing device, imaging device, image processing program, and storage medium |
WO2022163002A1 (en) * | 2021-01-27 | 2022-08-04 | オムロン株式会社 | Imaging condition setting system, imaging condition setting method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6456156B2 (en) | Normal line information generating apparatus, imaging apparatus, normal line information generating method, and normal line information generating program | |
CN102047651B (en) | Image processing device and method, and viewpoint-converted image generation device | |
JP4435865B2 (en) | Image processing apparatus, image division program, and image composition method | |
JP6786225B2 (en) | Image processing equipment, imaging equipment and image processing programs | |
US20160212411A1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
JP6556013B2 (en) | PROCESSING DEVICE, PROCESSING SYSTEM, IMAGING DEVICE, PROCESSING METHOD, PROGRAM, AND RECORDING MEDIUM | |
JP2017135528A (en) | Image processing device, imaging apparatus and image processing program | |
US10939090B2 (en) | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium | |
US10107747B2 (en) | Method, system and computer program for determining a reflectance distribution function of an object | |
JP2017134561A (en) | Image processing device, imaging apparatus and image processing program | |
US20170111572A1 (en) | Processing apparatus, processing system, image pickup apparatus, processing method, and non-transitory computer-readable storage medium | |
US11277569B2 (en) | Measurement apparatus, image capturing apparatus, control method, and recording medium | |
JP6550102B2 (en) | Light source direction estimation device | |
JP7213686B2 (en) | Shape measuring device, control method and program | |
JP2021004762A (en) | Measurement device, imaging device, measurement system, control method, program and recording medium | |
JP7309425B2 (en) | Processing device, processing system, imaging device, processing method, and program | |
US11972590B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
JP7210170B2 (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
WO2023084790A1 (en) | Three-dimensional measurement system, control method for same, and control program | |
JP4997306B2 (en) | How to determine the orientation of a person's face | |
JP5604980B2 (en) | Red-eye determination device and red-eye determination method | |
JP2018022937A (en) | Imaging system, method for controlling the same, and computer program | |
JPS6155619A (en) | Automatic focusing device | |
JP2021196656A (en) | Processing device, processing system, photographing device, processing method, and program | |
JP2020173591A (en) | Processing device, processing system, imaging apparatus, processing method, and program |