JP2018010116A - Processor, processing system, imaging apparatus, processing method, program, and record medium - Google Patents
Processor, processing system, imaging apparatus, processing method, program, and record medium Download PDFInfo
- Publication number
- JP2018010116A JP2018010116A JP2016138303A JP2016138303A JP2018010116A JP 2018010116 A JP2018010116 A JP 2018010116A JP 2016138303 A JP2016138303 A JP 2016138303A JP 2016138303 A JP2016138303 A JP 2016138303A JP 2018010116 A JP2018010116 A JP 2018010116A
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- subject
- light emission
- emission amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体に関する。 The present invention relates to a processing device, a processing system, an imaging device, a processing method, a program, and a recording medium.
被写体に関するより多くの物理情報を取得しておくことで、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、または光源情報などの情報で決定される。光源から射出され被写体によって反射された反射光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく面法線情報を用いることが特に有効である。 By acquiring more physical information about the subject, image generation based on the physical model can be performed in the image processing after imaging. For example, it is possible to generate an image in which the appearance of the subject is changed. The appearance of the subject is determined by information such as subject shape information, subject reflectance information, or light source information. Since the physical behavior of the reflected light emitted from the light source and reflected by the subject depends on the local surface normal, it is particularly effective to use the surface normal information instead of the three-dimensional shape as the shape information.
従来、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する照度差ステレオ法が知られている（例えば、非特許文献１参照）。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。 Conventionally, an illuminance difference stereo method is known in which reflection characteristics based on a surface normal of a subject and a light source direction are assumed, and surface normal is determined from the luminance information of the subject at a plurality of light source positions and the assumed reflection characteristics. (For example, refer nonpatent literature 1). A Lambertian reflection model that follows Lambert's cosine law is often used as the reflection characteristic of the subject.
一般的に、物体の反射光は、鏡面反射光と拡散反射光の各成分を有する。鏡面反射光とは、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射を指す。拡散反射光とは、被写体の表面を透過した後に物体内部で散乱されて返ってくる光を指す。鏡面反射成分はランバートの余弦則では表せないため、撮像装置で観測される被写体からの反射光に鏡面反射成分が含まれていると、照度差ステレオ法を用いて面法線を正確に算出することができない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。例えば、特許文献１では、４つ以上の光源を使用して得られた複数の面法線候補から、真の面法線を求める方法が開示されている。 Generally, the reflected light of an object has each component of specular reflection light and diffuse reflection light. The specular reflection light is regular reflection on the object surface and refers to Fresnel reflection according to the Fresnel equation on the object surface (interface). Diffuse reflected light refers to light that is scattered inside the object and then returned after passing through the surface of the subject. Since the specular reflection component cannot be expressed by Lambert's cosine law, if the reflected light from the subject observed by the imaging device contains a specular reflection component, the surface normal is accurately calculated using the photometric stereo method. I can't. Even in a shaded portion where light from the light source does not strike, a deviation from the assumed reflection model occurs, and the surface normal information of the subject cannot be acquired accurately. For example, Patent Document 1 discloses a method for obtaining a true surface normal from a plurality of surface normal candidates obtained by using four or more light sources.
また、低照度の被写体を撮影する際の光量確保のために、閃光装置を光源として備える撮像装置が知られている。例えば、特許文献２では、反射光量の測光値と被写体までの距離情報に基づいて閃光装置の発光量を制御する撮像装置が開示されている。 In addition, an imaging apparatus including a flash device as a light source is known for securing a light amount when photographing a low-illuminance subject. For example, Patent Document 2 discloses an imaging device that controls the light emission amount of a flash device based on a photometric value of a reflected light amount and distance information to a subject.
デジタルカメラなどの撮像装置において照度差ステレオ法を用いて被写体の面法線を取得するためには、照射光源位置ごとの輝度情報の異なる複数の画像が必要となる。照度差ステレオ法では、複数の画像間での輝度の差異に基づいて面法線を算出する。光源の発光量が適切でない場合、画像内に含まれる面法線算出対象の被写体部分に白飛びや黒潰れといった現象が生じ、複数の画像間での輝度の差異が正確に算出できない。複数の画像間での輝度の差異が正確に算出できない部分では、算出された面法線は真の面法線から大きくずれてしまう。非特許文献１、特許文献１、および特許文献２では、照度差ステレオ法に使用する画像取得時の各光源の発光量の制御については開示されていない。また、複数の光源を個別に発光させて使用するが、複数の光源の適正発光量をそれぞれ算出することは煩雑である。 In order to acquire a surface normal of a subject using an illuminance difference stereo method in an imaging apparatus such as a digital camera, a plurality of images having different luminance information for each irradiation light source position are required. In the illuminance difference stereo method, a surface normal is calculated based on a difference in luminance between a plurality of images. When the amount of light emitted from the light source is not appropriate, a phenomenon such as overexposure or blackout occurs in the subject portion of the surface normal calculation target included in the image, and the difference in luminance between the plurality of images cannot be accurately calculated. In a portion where the difference in luminance between a plurality of images cannot be accurately calculated, the calculated surface normal greatly deviates from the true surface normal. Non-Patent Document 1, Patent Document 1, and Patent Document 2 do not disclose control of the light emission amount of each light source at the time of image acquisition used in the illuminance difference stereo method. In addition, although a plurality of light sources are individually emitted and used, it is complicated to calculate the appropriate light emission amounts of the plurality of light sources, respectively.
このような課題に鑑みて、本発明は、照度差ステレオ法に適するように光源の発光量を簡易に制御可能であり、高精度に面法線を算出可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することを目的とする。 In view of such problems, the present invention can easily control the light emission amount of the light source so as to be suitable for the illuminance difference stereo method, and can calculate the surface normal with high accuracy. An object is to provide a processing method, a program, and a recording medium.
本発明の一側面としての処理装置は、互いに位置の異なる３つ以上の光源からの光を被写体に順次照射して３つ以上の画像を取得させる処理装置であって、前記３つ以上の光源を同時に予備発光させて取得される前記被写体からの反射光の測光値に基づいて、前記３つ以上の画像を取得する際の各光源の発光量を制御する制御部を有することを特徴とする。 A processing apparatus according to one aspect of the present invention is a processing apparatus that sequentially irradiates a subject with light from three or more light sources having different positions, and acquires three or more images. The three or more light sources And a controller that controls the amount of light emitted from each light source when acquiring the three or more images based on the photometric value of the reflected light from the subject acquired simultaneously with the preliminary light emission. .
また、本発明の他の側面としての処理システムは、互いに位置の異なる３つ以上の光源からの光を被写体に順次照射して３つ以上の画像を取得させる処理システムであって、前記３つ以上の光源を同時に予備発光させた際の被写体からの反射光の測光値を取得する測光部と、前記測光値に基づいて、前記３つ以上の画像を撮像する際の各光源の発光量を制御する制御部を有することを特徴とする。 A processing system according to another aspect of the present invention is a processing system for acquiring three or more images by sequentially irradiating light from three or more light sources having different positions to a subject. A photometric unit that obtains a photometric value of reflected light from a subject when the above light sources are simultaneously pre-flashed, and a light emission amount of each light source when capturing the three or more images based on the photometric values It has the control part which controls.
また、本発明の他の側面としての撮像装置は、互いに位置の異なる３つ以上の光源からの光を被写体に順次照射して３つ以上の画像を取得する撮像部と、前記３つ以上の光源を同時に予備発光させた際の前記被写体からの反射光の測光値を取得する測光部と、前記測光値に基づいて、前記３つ以上の画像を撮像する際の各光源の発光量を制御する制御部と、前記３つ以上の画像の輝度情報に基づいて、前記面法線情報を算出する法線算出部と、を有することを特徴とする。 An imaging device according to another aspect of the present invention includes an imaging unit that sequentially irradiates a subject with light from three or more light sources having different positions to acquire three or more images, and the three or more imaging devices. A photometric unit that obtains a photometric value of the reflected light from the subject when the light source simultaneously performs preliminary light emission, and controls the light emission amount of each light source when capturing the three or more images based on the photometric value And a normal calculation unit that calculates the surface normal information based on luminance information of the three or more images.
また、本発明の他の側面としての処理方法は、互いに位置の異なる３つ以上の光源からの光を被写体に順次照射して３つ以上の画像を取得させる処理方法であって、前記３つ以上の光源を同時に予備発光させた際の前記被写体からの反射光の測光値を取得するステップと、前記測光値に基づいて、前記３つ以上の画像を取得する際の各光源の発光量を制御するステップと、を有することを特徴とする。 A processing method according to another aspect of the present invention is a processing method for acquiring three or more images by sequentially irradiating a subject with light from three or more light sources having different positions. A step of obtaining a photometric value of reflected light from the subject when the above light sources are simultaneously preliminarily emitted, and a light emission amount of each light source when obtaining the three or more images based on the photometric values; And a step of controlling.
本発明によれば、照度差ステレオ法に適するように光源の発光量を簡易に制御可能であり、高精度に面法線を算出可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することができる。 According to the present invention, a processing device, a processing system, an imaging device, a processing method, a program capable of easily controlling the light emission amount of a light source so as to be suitable for the illuminance difference stereo method and calculating a surface normal with high accuracy, And a recording medium can be provided.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted.
照度差ステレオ法は、被写体の面法線と被写体から光源への方向（光源方向）に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線情報を算出する方法である。所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、反射特性はランバートの余弦則に従うランバート反射モデルで近似すればよい。鏡面反射成分は、図１２に示されるように、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。 The illuminance-difference stereo method assumes the reflection characteristics of the subject based on the surface normal of the subject and the direction from the subject to the light source (light source direction), and the surface method from the reflection characteristics assumed as the luminance information of the subject at multiple light source positions. This is a method for calculating line information. If the reflectance is not uniquely determined when a predetermined surface normal and the position of the light source are given, the reflection characteristic may be approximated by a Lambert reflection model according to Lambert's cosine law. As shown in FIG. 12, the specular reflection component depends on the angle α formed by the bisector of the light source vector s and the line-of-sight direction vector v and the surface normal n. Therefore, the reflection characteristic may be a characteristic based on the line-of-sight direction. In addition, the luminance information may be obtained by imaging each subject when the light source is turned on and when the light source is turned off, and taking the difference between them to eliminate the influence of light sources other than the light source such as ambient light.
以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、輝度ｉはランバートの余弦則から以下の式（１）で表される。
Hereinafter, the case where the reflection characteristic is assumed in the Lambertian reflection model will be described. The luminance value of the reflected light is i, the Lambertian diffuse reflectance of the object is ρd, the intensity of the incident light is E, the unit vector (light source direction vector) indicating the direction from the object to the light source is s, and the unit surface normal vector of the object When n is n, the luminance i is expressed by the following formula (1) from Lambert's cosine law.
異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ１、ｓ２、・・・、ｓＭ、光源ベクトルの成分ごとの輝度値をｉ１、ｉ２、・・・ｉＭとすると、式（１）は以下の式（２）で表される。
M different (M ≧ 3) s 1 the components of the light source vector in, s 2, ···, s M , the luminance value of each component of the light source vector i 1, i 2, When · · · i M The equation (1) is expressed by the following equation (2).
式（２）の左辺はＭ行１列の輝度ベクトル、右辺の［ｓ１ Ｔ、・・・ｓＭ Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ−１を用いて、Ｅρｄｎは以下の式（３）で示される。
The left side of Equation (2) is the luminance vector of M rows and 1 column, the right side [s 1 T ,... S M T ] is the incident light matrix S indicating the light source direction of M rows and 3 columns, and n is 3 rows and 1 column. Is the unit surface normal vector. In the case of M = 3, Eρ dn is expressed by the following formula (3) using the inverse matrix S −1 of the incident light matrix S.
式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρｄは積の形でのみ条件式に現れるので、Ｅρｄを１つの変数とみなすと、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ１〜ｓ３を選択する必要がある。すなわち、成分ｓ３を成分ｓ１，ｓ２に対して線形独立に選択することが望ましい。 The norm of the vector on the left side of Equation (3) is the product of the incident light intensity E and the Lambertian diffuse reflectance ρ d , and the normalized vector is calculated as the surface normal vector of the object. That is, since the intensity E of incident light and the Lambertian diffuse reflectance ρ d appear in the conditional expression only in the form of a product, when Eρ d is regarded as one variable, the expression (3) is expressed as 2 of the unit surface normal vector n. Together with the degree of freedom, it can be regarded as a simultaneous equation that determines three unknown variables. Therefore, each variable can be determined by acquiring luminance information using at least three light sources. Note that when the incident light matrix S is not a regular matrix, there is no inverse matrix, so it is necessary to select the components s 1 to s 3 of the incident light matrix S so that the incident light matrix S becomes a regular matrix. That is, it is desirable to select the component s3 linearly independent of the components s1 and s2.
また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出してもよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。 Further, when M> 3, more conditional expressions are obtained than the unknown variable to be obtained. Therefore, the unit plane normal vector n may be calculated from the arbitrarily selected three conditional expressions in the same manner as in the case of M = 3. . When four or more conditional expressions are used, the incident light matrix S is not a regular matrix. For example, an approximate solution may be calculated using a Moore-Penrose pseudo inverse matrix. Further, the unit surface normal vector n may be calculated by a fitting method or an optimization method.
被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。 If the reflection characteristics of the object are assumed to be a model different from the Lambertian reflection model, the conditional expression may be different from the linear equation for each component of the unit surface normal vector n. In that case, if a conditional expression greater than the unknown variable is obtained, a fitting method or an optimization method can be used.
また、Ｍ＞３の場合には３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば以下の式（４）で示される評価関数が最小となる解を選択すればよい。
Further, when M> 3, a plurality of conditional expressions of 3 or more and M−1 or less are obtained, so that a plurality of solution candidates for the unit surface normal vector n can be obtained. In this case, a solution may be selected from a plurality of solution candidates using yet another condition. For example, the continuity of the unit surface normal vector n can be used as a condition. When the unit surface normal n is calculated for each pixel of the imaging device, if the surface normal at the pixel (x, y) is n (x, y) and n (x−1, y) is known What is necessary is just to select the solution with which the evaluation function shown by the following formula | equation (4) becomes the minimum.
また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。
If n (x + 1, y) and n (x, y ± 1) are also known, a solution that minimizes the following equation (5) may be selected.
既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示される式（５）の全画素での総和が最小となるように解を選択してもよい。
If there is no known surface normal and there is an indefiniteness of the surface normal at all pixel positions, the solution is such that the sum of all the pixels in equation (5) shown in equation (6) below is minimized. May be selected.
なお、最近傍以外の画素での面法線を用いてもよいし、注目する画素位置からの距離に応じて重みづけした評価関数を用いてもよい。 Note that a surface normal at a pixel other than the nearest pixel may be used, or an evaluation function weighted according to the distance from the pixel position of interest may be used.
また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。 Further, as another condition, luminance information at an arbitrary light source position may be used. In the diffuse reflection model typified by the Lambert reflection model, the brightness of the reflected light increases as the unit surface normal vector and the light source direction vector are closer. Therefore, the unit surface normal vector can be determined by selecting a solution close to the light source direction vector having the largest luminance value among the luminance values in the plurality of light source directions.
また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をｖとすると、以下の式（７）が成り立つ。
In the specular reflection model, when the light source vector is s and the unit vector in the direction from the object to the camera (camera line-of-sight vector) is v, the following equation (7) is established.
式（７）に示されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。 As shown in Expression (7), if the light source direction vector s and the camera line-of-sight vector v are known, the unit surface normal vector n can be calculated. When the surface is rough, the specular reflection also has a broad emission angle, but spreads in the vicinity of the solution obtained as a smooth surface, so it is only necessary to select a candidate closest to the solution for the smooth surface among a plurality of solution candidates. . Further, the true solution may be determined by the average of a plurality of solution candidates.
照度差ステレオ法では、入射光の強さＥは各光源方向の条件において一定であり、被写体からの反射光の輝度値が正確に検出されることを前提としている。また、閃光装置を備える撮像装置では、発光量が大き過ぎる場合、被写体部分の露光量が多くなりすぎる。そのため、被写体部分に白飛びと言われる階調性が失われる現象が生じ、正確な輝度値を取得できない。逆に、発光量が小さ過ぎる場合、被写体部分の露光量が少なくなりすぎる。そのため、被写体部分に黒潰れと言われる階調性が失われる現象が生じ、正確な輝度値が取得できない。すなわち、位置の異なる複数の光源の発光量（各光源方向の入射光の強さ）が適切でない場合、被写体部分に白飛びや黒潰れが発生し、正確な輝度値が取得できない。したがって、算出される面法線が真の面法線から大きくずれてしまう。そのため、各光源の発光量を適切に制御する必要があるが、複数の光源を使用するため、適正発光量の算出が煩雑になる。 In the illuminance difference stereo method, the intensity E of incident light is constant under the conditions of each light source direction, and it is assumed that the luminance value of reflected light from the subject is accurately detected. In addition, in an imaging apparatus including a flash device, when the amount of light emission is too large, the exposure amount of the subject portion is too large. For this reason, a phenomenon occurs in which the gradation property called whitening is lost in the subject portion, and an accurate luminance value cannot be acquired. On the contrary, when the light emission amount is too small, the exposure amount of the subject portion becomes too small. For this reason, a phenomenon that the gradation property called blackout is lost occurs in the subject portion, and an accurate luminance value cannot be acquired. That is, when the light emission amounts of the light sources having different positions (incident light intensity in the direction of each light source) are not appropriate, overexposure or blackout occurs in the subject portion, and an accurate luminance value cannot be acquired. Therefore, the calculated surface normal greatly deviates from the true surface normal. Therefore, it is necessary to appropriately control the light emission amount of each light source. However, since a plurality of light sources are used, calculation of the appropriate light emission amount becomes complicated.
図１は本実施例の撮像装置１０００Ａの外観図であり、図２は本実施例の撮像装置１０００Ａのブロック図である。撮像装置１０００Ａは、被写体を撮像する撮像部１００および光源部２００を備える。撮像部１００は、撮像光学系１０１および撮像素子１０２を備える。本実施例では、光源部２００は、撮像光学系１０１の光軸を中心とする同心円状に等間隔で配置される８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部２００は３個以上の光源を備えていればよい。また、本実施例では光源部２００は複数の光源を撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部２００の各光源としてＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いているが、キセノンランプ等の他の光源を用いてもよい。また、本実施例では、光源部２００は、撮像装置１０００Ａに内蔵されているが、着脱可能に取り付けられる構成としてもよい。レリーズボタン３００は、撮影やオートフォーカスを作動させるためのボタンである。 FIG. 1 is an external view of an imaging apparatus 1000A of the present embodiment, and FIG. 2 is a block diagram of the imaging apparatus 1000A of the present embodiment. The imaging apparatus 1000A includes an imaging unit 100 and a light source unit 200 that image a subject. The imaging unit 100 includes an imaging optical system 101 and an imaging element 102. In the present embodiment, the light source unit 200 includes eight light sources that are arranged at equal intervals in a concentric circle centered on the optical axis of the imaging optical system 101. In addition, since at least three light sources are required when the illuminance difference stereo method is performed, the light source unit 200 only needs to include three or more light sources. In the present embodiment, the light source unit 200 has a plurality of light sources arranged concentrically around the optical axis of the imaging optical system 101 at equal intervals, but the present invention is not limited to this. In this embodiment, an LED (Light Emitting Diode) is used as each light source of the light source unit 200, but other light sources such as a xenon lamp may be used. In the present embodiment, the light source unit 200 is built in the imaging apparatus 1000A, but may be configured to be detachably attached. The release button 300 is a button for operating shooting and autofocus.
撮像光学系１０１は、絞り１０１ａを備え、被写体から射出される光を撮像素子１０２上に結像させる。また、撮像光学系１０１は、各レンズ群を移動させるで、撮像倍率を変えることができる変倍光学系であってもよい。本実施例では、撮像光学系１０１は、撮像装置１０００Ａに内蔵されているが、一眼レフカメラのように撮像装置１０００Ａに着脱可能に取り付けられる構成であってもよい。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されるアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。 The imaging optical system 101 includes a stop 101 a and forms an image of light emitted from a subject on the imaging element 102. The imaging optical system 101 may be a variable magnification optical system that can change the imaging magnification by moving each lens group. In this embodiment, the imaging optical system 101 is built in the imaging apparatus 1000A, but may be configured to be detachably attached to the imaging apparatus 1000A like a single-lens reflex camera. The imaging element 102 is configured by a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and images a subject. An analog electrical signal generated by photoelectric conversion of the image sensor 102 is converted into a digital signal by the A / D converter 103 and input to the image processing unit 104.
画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、被写体の面法線情報を取得する。面法線情報とは、面法線の１自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報、および求めた面法線の妥当性に関する情報である。画像処理部１０４は、被写体からの反射光を測光する測光部１０４ａ、および測光部１０４ａの測光値に基づいて各光源の適正発光量を制御する発光量制御部１０４ｂを備える。また、画像処理部１０４は、面法線情報を算出する法線算出部１０４ｃ、および被写体までの距離情報を算出する被写体距離算出部１０４ｄを備える。画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部１０５に表示してもよい。本実施例では、測光部１０４ａ、発光量制御部１０４ｂ、法線算出部１０４ｃ、および被写体距離算出部１０４ｄは、撮像装置１０００Ａに内蔵されているが、後述するように撮像装置１０００Ａとは別に構成されてもよい。 The image processing unit 104 acquires surface normal information of the subject together with image processing generally performed on the digital signal. The surface normal information is information for determining at least one candidate for one degree of freedom of surface normal, information for selecting a true solution from a plurality of surface normal candidates, and the obtained surface normal Information on the validity of The image processing unit 104 includes a photometry unit 104a that measures reflected light from a subject, and a light emission amount control unit 104b that controls an appropriate light emission amount of each light source based on a photometric value of the photometry unit 104a. The image processing unit 104 also includes a normal calculation unit 104c that calculates surface normal information and a subject distance calculation unit 104d that calculates distance information to the subject. The output image processed by the image processing unit 104 is stored in an image recording unit 109 such as a semiconductor memory or an optical disk. Further, the output image may be displayed on the display unit 105. In this embodiment, the photometry unit 104a, the light emission amount control unit 104b, the normal calculation unit 104c, and the subject distance calculation unit 104d are built in the imaging apparatus 1000A, but are configured separately from the imaging apparatus 1000A as described later. May be.
情報入力部１０８は、ユーザーによって選択された撮像条件（絞り値、露出時間、ＩＳＯ感度または撮影枚数など）をシステムコントローラ１１０に供給する。照射光源制御部１０６は、システムコントローラ１１０から出力される指示に応じて光源部２００の発光状態を制御する。撮像制御部１０７は、システムコントローラ１１０から出力される情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。ＲＯＭ１１１は、システムコントローラ１１０によって実行される各種のプログラムやそれに必要となるデータを格納している。光源情報取得部１１２は、光源部２００の各光源位置や光源発光時の照射角度などの光源情報を取得する。本実施例では、光源部２００の各光源位置および照射角度は固定されているが、光源部２００を各光源位置や照射角度を任意に設定可能に構成してもよい。この場合、光源情報取得部１１２は、撮影時に設定された各光源位置や照射角度などの光源情報を取得すればよい。なお、本実施例のように各光源位置や照射角度が固定されている場合、光源情報をＲＯＭ１１１に保存しておいてもよい。この場合、ＲＯＭ１１１が光源情報取得部として機能するため、光源情報取得部１１２を備える必要はない。 The information input unit 108 supplies the imaging condition (aperture value, exposure time, ISO sensitivity, number of shots, etc.) selected by the user to the system controller 110. The irradiation light source control unit 106 controls the light emission state of the light source unit 200 in accordance with an instruction output from the system controller 110. The imaging control unit 107 acquires an image under desired imaging conditions selected by the user based on information output from the system controller 110. The ROM 111 stores various programs executed by the system controller 110 and data necessary for the programs. The light source information acquisition unit 112 acquires light source information such as each light source position of the light source unit 200 and an irradiation angle during light source emission. In the present embodiment, each light source position and irradiation angle of the light source unit 200 are fixed, but the light source unit 200 may be configured such that each light source position and irradiation angle can be arbitrarily set. In this case, the light source information acquisition unit 112 may acquire light source information such as each light source position and irradiation angle set at the time of shooting. In addition, when each light source position and irradiation angle are fixed like a present Example, you may preserve | save light source information in ROM111. In this case, since the ROM 111 functions as a light source information acquisition unit, it is not necessary to include the light source information acquisition unit 112.
本実施例の面法線情報の算出処理について、図３のフローチャートを参照して説明する。図３は、本実施例の面法線情報の算出処理を示すフローチャートである。本実施例の面法線情報の算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。 The surface normal information calculation process of the present embodiment will be described with reference to the flowchart of FIG. FIG. 3 is a flowchart showing the calculation processing of the surface normal information according to this embodiment. The surface normal information calculation processing of the present embodiment is executed by the system controller 110 and the image processing unit 104 in accordance with a processing program for causing a computer to function as a processing device. The processing program may be recorded on a computer-readable recording medium, for example.
ステップＳ１０１では、システムコントローラ１１０は、情報入力部１０８からユーザーによって設定される第１撮像条件（絞り値、露出時間、ＩＳＯ感度または撮影枚数など）を撮像条件として設定する。 In step S101, the system controller 110 sets a first imaging condition (aperture value, exposure time, ISO sensitivity, number of shots, etc.) set by the user from the information input unit 108 as an imaging condition.
ステップＳ１０２では、システムコントローラ１１０は、レリーズボタン３００の半押し動作に連動し、光源が予備発光（プリ発光）していない状態で被写体からの反射光を撮像素子１０２で受光する。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換によって生成されたアナログ電気信号をデジタル信号に変換し、画像処理部１０４に出力する。測光部１０４ａは、画像処理部１０４に入力されたデジタル信号に基づいて第２測光値を取得する。第２測光値は、光源が予備発光していない状態の測光値、すなわち環境光のみが照射された被写体の反射光の測光値である。また、本実施例では測光部１０４ａが撮像素子１０２によって得られた画像信号に基づいて測光値を取得しているが、別途設けられた測光用のセンサーが取得してもよい。 In step S <b> 102, the system controller 110 receives the reflected light from the subject by the image sensor 102 in a state where the light source is not pre-emission (pre-emission) in conjunction with the half-pressing operation of the release button 300. The A / D converter 103 converts an analog electric signal generated by photoelectric conversion of the image sensor 102 into a digital signal and outputs the digital signal to the image processing unit 104. The photometric unit 104 a acquires the second photometric value based on the digital signal input to the image processing unit 104. The second photometric value is a photometric value in a state where the light source is not preliminarily emitting light, that is, a photometric value of reflected light of a subject irradiated with only ambient light. In the present embodiment, the photometric unit 104a acquires the photometric value based on the image signal obtained by the image sensor 102, but a photometric sensor provided separately may be acquired.
ステップＳ１０３では、システムコントローラ１１０は、被写体距離算出部１０４ｄに被写体距離を算出させる。ここで、被写体距離を算出する方法について説明する。被写体距離算出部１０４ｄは、ステップＳ１０１でオートフォーカスまたはユーザーが手動でフォーカスを行う場合のフォーカスレンズの位置から被写体距離を推定してもよい。また、被写体距離算出部１０４ｄは、異なる視点から撮影した複数の視差画像を取得し、ステレオ法によって被写体距離を推定してもよい。ステレオ法では、取得した複数の視差画像中の被写体の対応点の視差量、各視点の位置情報および光学系の焦点距離から、三角測量によって奥行きを推定する。被写体距離は、被写体中の対応点で算出された奥行きの平均値としてもよいし、被写体の特定の点における奥行きとしてもよい。視差画像から被写体距離の推定を行う場合、複数の視差画像の撮像部は、図４に示されるように、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子の互いに異なる受光部（画素）に導いて光電変換を行う撮像系を有する。 In step S103, the system controller 110 causes the subject distance calculation unit 104d to calculate the subject distance. Here, a method for calculating the subject distance will be described. The subject distance calculation unit 104d may estimate the subject distance from the position of the focus lens when the autofocus or the user manually performs the focus in step S101. The subject distance calculation unit 104d may acquire a plurality of parallax images taken from different viewpoints and estimate the subject distance by a stereo method. In the stereo method, the depth is estimated by triangulation from the parallax amount of the corresponding point of the subject in the acquired parallax images, the position information of each viewpoint, and the focal length of the optical system. The subject distance may be an average value of depths calculated at corresponding points in the subject or may be a depth at a specific point of the subject. When the subject distance is estimated from the parallax image, the plurality of parallax image imaging units, as shown in FIG. 4, use a plurality of light beams that have passed through different areas of the pupil of the imaging optical system to be different from each other in the imaging device. It has an imaging system that conducts photoelectric conversion by guiding it to a light receiving section (pixel).
図４は、撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部であるＧ１画素とＧ２画素の対（画素対）が複数配列されている。複数のＧ１画素をまとめてＧ１画素群といい、複数のＧ２画素をまとめてＧ２画素群という。対のＧ１画素とＧ２画素は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。また、マイクロレンズＭＬと受光部との間には、カラーフィルタＣＦが設けられている。 FIG. 4 is a relationship diagram between the light receiving unit of the image sensor and the pupil of the imaging optical system. In the imaging element, a plurality of pairs (pixel pairs) of G1 pixels and G2 pixels which are light receiving units are arranged. A plurality of G1 pixels are collectively referred to as a G1 pixel group, and a plurality of G2 pixels are collectively referred to as a G2 pixel group. The pair of G1 pixels and G2 pixels have a conjugate relationship with the exit pupil EXP of the imaging optical system via a common microlens ML (that is, one for each pixel pair). A color filter CF is provided between the microlens ML and the light receiving unit.
図５は、図４のマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像系の模式図である。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。撮像している物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束は通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、マイクロレンズＭＬごとに設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。 FIG. 5 is a schematic diagram of an imaging system when it is assumed that there is a thin lens at the position of the exit pupil EXP instead of the microlens ML of FIG. The G1 pixel receives the light beam that has passed through the P1 region of the exit pupil EXP, and the G2 pixel receives the light beam that has passed through the P2 region of the exit pupil EXP. An object does not necessarily exist at the object point OSP being imaged, and the light beam that has passed through the object point OSP is incident on the G1 pixel or the G2 pixel depending on the region (position) in the pupil that passes through. The passage of light beams through different regions in the pupil corresponds to the separation of incident light from the object point OSP by the angle (parallax). That is, among the G1 pixel and G2 pixel provided for each microlens ML, the image generated using the output signal from the G1 pixel and the image generated using the output signal from the G2 pixel are mutually parallaxed. A plurality (here, a pair) of parallax images having In the following description, receiving light beams that have passed through different regions in the pupil by different light receiving portions (pixels) is called pupil division.
図４および図５において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくなったりＰ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像を視差画像として扱うことができる。 4 and 5, even if the position of the exit pupil EXP is shifted or the like, the above-described conjugate relationship is not perfect, or even if the P1 region and the P2 region partially overlap, Images can be treated as parallax images.
さらに別の例として、１つの撮像装置に複数の撮像光学系を設けることで視差画像を取得してもよい。また、複数のカメラを用いて同一被写体を撮像することで視差画像を取得してもよい。 As yet another example, a parallax image may be acquired by providing a plurality of imaging optical systems in one imaging apparatus. Alternatively, a parallax image may be acquired by capturing the same subject using a plurality of cameras.
ステップＳ１０４では、システムコントローラ１１０は、光源情報取得部１１２に、光源情報を取得させる。本実施例の光源情報とは、光源部２００の各光源位置や光源発光時の照射角度のうち少なくとも１つの情報である。 In step S104, the system controller 110 causes the light source information acquisition unit 112 to acquire light source information. The light source information of the present embodiment is at least one piece of information among each light source position of the light source unit 200 and an irradiation angle during light source emission.
なお、ステップＳ１０３とステップＳ１０４は、ステップＳ１０２からステップＳ１０６までの間に実行されればよい。 Note that step S103 and step S104 may be executed between step S102 and step S106.
ステップＳ１０５では、システムコントローラ１１０は、照射光源制御部１０６に、本撮影に使用する光源をあらかじめ設定された光量で同時に予備発光（プリ発光）させる。予備発光の光量は、白飛び発生による測光値の検出精度の劣化を低減させるため、本撮像時に対して低く設定することが好ましい。照度差ステレオ方式では位置の異なる複数の光源を個別に発光させて複数の画像を取得するが、本実施例では測光値検出のための予備発光を光源を同時に発光させて一度に行う。予備発光を一度だけ実行することで、光源ごとに予備発光を実行する場合に比べて制御負荷を低減することができる。 In step S <b> 105, the system controller 110 causes the irradiation light source control unit 106 to simultaneously perform preliminary light emission (pre-light emission) with a light amount set in advance for a light source used for actual photographing. The amount of preliminary light emission is preferably set to be lower than that at the time of actual imaging in order to reduce deterioration in photometric value detection accuracy due to occurrence of whiteout. In the illuminance difference stereo method, a plurality of light sources having different positions are individually emitted to obtain a plurality of images. In this embodiment, preliminary light emission for photometric value detection is performed at the same time by simultaneously emitting light sources. By performing the preliminary light emission only once, the control load can be reduced as compared with the case where the preliminary light emission is executed for each light source.
ステップＳ１０６では、システムコントローラ１１０は、ステップＳ１０５の予備発光に同期して、被写体からの反射光を撮像素子１０２で受光する。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換によって生成されたアナログ電気信号をデジタル信号に変換し、画像処理部１０４に出力する。測光部１０４ａは、画像処理部１０４に入力されたデジタル信号に基づいて第１測光値を取得する。第１測光値は、光源が予備発光している状態の測光値、すなわち環境光および光源の予備発光光が照射された被写体の反射光の測光値である。また、発光量制御部１０４ｂは、ステップＳ１０１で設定された第１撮像条件、第１および第２測光値、光源情報、ならびに被写体距離に基づいて光源ごとの適正発光量を算出する。 In step S106, the system controller 110 receives reflected light from the subject with the image sensor 102 in synchronization with the preliminary light emission in step S105. The A / D converter 103 converts an analog electric signal generated by photoelectric conversion of the image sensor 102 into a digital signal and outputs the digital signal to the image processing unit 104. The photometric unit 104 a acquires the first photometric value based on the digital signal input to the image processing unit 104. The first photometric value is a photometric value in a state where the light source is preliminarily emitting light, that is, a photometric value of reflected light of a subject irradiated with the ambient light and the preliminary light emitted from the light source. Further, the light emission amount control unit 104b calculates an appropriate light emission amount for each light source based on the first imaging condition, the first and second photometric values, the light source information, and the subject distance set in step S101.
ここで、図６を参照して、本実施例の適正発光量の算出時の動作について説明する。図６は、撮像装置１０００Ａが被写体２０００の面法線情報を取得する場合の撮像状態を示す図である。まず、測光部１０４ａは、光源を予備発光させずに環境光（太陽光）のみが照射された被写体の反射光を測光し、第２測光値を取得する。次に、撮像装置１０００Ａが本撮影で使用する光源全てを予備発光させる。なお、簡単のため、図中では一部の光源の予備発光光（光Ａおよび光Ｂ）だけを示しているが、実際は他の光源も予備発光している。被写体２０００に照射された各光源からの予備発光光は、被写体２０００で反射された後、撮像部１００に入射する。測光部１０４ａは、被写体２０００を撮像した画像信号の輝度値情報に基づいて第１測光値を取得する。発光量制御部１０４ｂは、第１撮像条件、第１および第２測光値、光源情報、ならびに被写体距離に基づいて、本撮影で使用する全光源の適正発光量を算出する。 Here, with reference to FIG. 6, the operation | movement at the time of calculation of the appropriate light emission amount of a present Example is demonstrated. FIG. 6 is a diagram illustrating an imaging state when the imaging apparatus 1000 </ b> A acquires surface normal information of the subject 2000. First, the photometric unit 104a measures the reflected light of the subject irradiated with only ambient light (sunlight) without preliminarily emitting the light source, and acquires the second photometric value. Next, the imaging apparatus 1000A preliminarily emits all light sources used in the actual photographing. For simplicity, only preliminary light emission (light A and light B) of some light sources is shown in the figure, but other light sources also actually perform preliminary light emission. The preliminary light emitted from each light source irradiated on the subject 2000 is reflected by the subject 2000 and then enters the imaging unit 100. The photometric unit 104a acquires the first photometric value based on the luminance value information of the image signal obtained by imaging the subject 2000. The light emission amount control unit 104b calculates the appropriate light emission amounts of all the light sources used in the actual photographing based on the first imaging condition, the first and second photometric values, the light source information, and the subject distance.
照度差ステレオ方式では、同一の被写体に位置の異なる光源からの光を照射し、その輝度変化によって面法線情報を算出するため、光源からの発光光のみに基づく輝度情報が重要であり、環境光（太陽光）に基づく輝度情報は面法線の算出時には不要である。そのため、環境光の強度が強い場合、光源からの発光光のみに基づく輝度情報の階調性を保つように発光量を調整することが重要となる。上述したように、第１測光値は環境光および光源の予備発光光が照射された被写体の反射光の測光値であり、第２測光値は環境光のみが照射された被写体の反射光の測光値である。本実施例では、発光量制御部１０４ｂは、第１および第２測光値との差分に基づいて、光源の発光光のみによる輝度情報の階調性を保つように最小発光量を算出する。このように、第１および第２測光値との差分に基づいて最小発光量を算出することで、特に光源からの発光光のみに基づく輝度情報の低輝度領域の階調性の低下（黒潰れ）を抑制することが可能となる。また、環境光および光源の発光光による被写体の反射光に基づく画像信号に白飛びが発生した場合も、光源からの発光光のみに基づく輝度情報の高輝度領域の階調性の低下が生じる。本実施例では、環境光および光源の予備発光光が照射された被写体の反射光の測光値である第１測光値に基づいて、光源の発光光のみに基づく輝度情報の階調性を保つように最大発光量を算出する。発光量制御部１０４ｂは、最小発光量と最大発光量の間で最も輝度情報の階調性を確保できる発光量を適正発光量として設定する。最大発光量が最小発光量より大きい場合、発光量制御部１０４ｂは最大発光量を適正発光量として設定することが好ましい。最大発光量を適正発光量として設定することで、白飛びを回避しつつ、輝度情報の階調性を高く保つことができる。また、本実施例では、環境光の強度が強い場合について説明したが、暗室撮影などの環境光の強度が弱い場合、ステップＳ１０２を省略してもよい。 In the illuminance difference stereo method, the same subject is irradiated with light from a light source with a different position, and surface normal information is calculated based on the change in luminance. Therefore, luminance information based only on the light emitted from the light source is important. Luminance information based on light (sunlight) is not necessary when calculating the surface normal. Therefore, when the intensity of the ambient light is strong, it is important to adjust the light emission amount so as to maintain the gradation property of the luminance information based only on the light emitted from the light source. As described above, the first photometric value is the photometric value of the reflected light of the subject irradiated with the ambient light and the preliminary light emission of the light source, and the second photometric value is the photometric value of the reflected light of the subject irradiated with only the environmental light. Value. In the present embodiment, the light emission amount control unit 104b calculates the minimum light emission amount based on the difference between the first and second photometric values so as to maintain the gradation of the luminance information only by the light emitted from the light source. In this way, by calculating the minimum light emission amount based on the difference between the first and second photometric values, the gradation of the low-luminance area of the luminance information based on only the light emitted from the light source, in particular, is reduced (black crushing). ) Can be suppressed. In addition, when whiteout occurs in the image signal based on the reflected light of the subject due to the ambient light and the light emitted from the light source, the gradation of the high-brightness region of the luminance information based only on the light emitted from the light source is reduced. In this embodiment, the gradation of luminance information based only on the light emitted from the light source is maintained based on the first photometric value that is the photometric value of the reflected light of the subject irradiated with the ambient light and the preliminary light emitted from the light source. The maximum light emission amount is calculated. The light emission amount control unit 104b sets, as the appropriate light emission amount, a light emission amount that can ensure the gradation of luminance information most between the minimum light emission amount and the maximum light emission amount. When the maximum light emission amount is larger than the minimum light emission amount, the light emission amount control unit 104b preferably sets the maximum light emission amount as the appropriate light emission amount. By setting the maximum light emission amount as an appropriate light emission amount, it is possible to keep the gradation property of the luminance information high while avoiding whiteout. In the present embodiment, the case where the intensity of ambient light is high has been described. However, when the intensity of ambient light such as dark room photography is weak, step S102 may be omitted.
図７を参照して、全光源を同時に予備発光させる場合の適正発光量の算出の考え方について説明する。図７は、適正発光量算出の説明図である。２つの光源２００Ａ、２００Ｂはそれぞれ、撮像部１００の中心から距離ｈの位置に中心が位置するように配置されている。また、球被写体２００１は、撮像部１００から距離Ｄだけ離れた位置に配置されている。なお、簡単のため、図中では２つの光源２００Ａ、２００Ｂだけを示している。 With reference to FIG. 7, the concept of calculating the appropriate light emission amount when all the light sources simultaneously perform preliminary light emission will be described. FIG. 7 is an explanatory diagram of calculating the appropriate light emission amount. The two light sources 200 </ b> A and 200 </ b> B are arranged such that the centers are located at a distance h from the center of the imaging unit 100. Further, the spherical subject 2001 is arranged at a position away from the imaging unit 100 by a distance D. For simplicity, only two light sources 200A and 200B are shown in the figure.
図８は、図７で示した構成において光源を発光させた場合の球被写体２００１の面法線θと規格化された反射輝度値ｉの関係図である。グラフ１１は光源２００Ａを発光量Ｅで発光させた場合の反射輝度値、グラフ１２は光源２００Ｂを発光量Ｅで発光させた場合の反射輝度値を示している。ここで、球被写体２００１は撮像装置１０００Ａよりも十分に小さく、反射特性はランバート反射モデルに従う。また、各光源が全方向へ一様な強度で放射する点光源であると仮定する。このとき、球被写体２００１の各面に対する光源方向ベクトルは距離ｈと距離Ｄによって算出され、グラフ１１、１２は式（１）で示される特性となる。グラフ１１は、−１０度の面法線に対する反射輝度値が最大の−１０度を始点としたコサイン関数である。また、グラフ１２は、１０度の面法線に対する反射輝度値が最大の１０度を始点としたコサイン関数である。つまり、光源２００Ａ、２００Ｂは、球被写体２００１と撮像部１００を結ぶ線を基準として球被写体２００１に対する角度がそれぞれ−１０度、１０度となる位置に配置されている。 FIG. 8 is a relationship diagram between the surface normal θ of the spherical subject 2001 and the normalized reflection luminance value i when the light source emits light in the configuration shown in FIG. Graph 11 shows the reflection luminance value when the light source 200A emits light with the light emission amount E, and graph 12 shows the reflection luminance value when the light source 200B emits light with the light emission amount E. Here, the spherical subject 2001 is sufficiently smaller than the imaging apparatus 1000A, and the reflection characteristics follow a Lambertian reflection model. It is also assumed that each light source is a point light source that radiates with uniform intensity in all directions. At this time, the light source direction vector with respect to each surface of the spherical subject 2001 is calculated by the distance h and the distance D, and the graphs 11 and 12 have the characteristics shown by the equation (1). A graph 11 is a cosine function starting from -10 degrees where the reflection luminance value with respect to the surface normal of -10 degrees is the maximum. The graph 12 is a cosine function starting from 10 degrees at which the reflection luminance value with respect to the surface normal of 10 degrees is the maximum. That is, the light sources 200 </ b> A and 200 </ b> B are arranged at positions where the angles with respect to the spherical subject 2001 are −10 degrees and 10 degrees, respectively, with reference to a line connecting the spherical subject 2001 and the imaging unit 100.
グラフ１４は、光源２００Ａ、２００Ｂを同時にそれぞれ発光量Ｅ、つまり合成発光量２Ｅで発光させた場合の合成反射輝度値を示している。球被写体２００１の面法線に対する反射輝度値は、グラフ１１とグラフ１２の和となる。ここで、所定の面法線のみを有する別の被写体を撮像する場合を考える。例えば、面法線３０度の被写体に光源２００Ａ、２００Ｂを同時にそれぞれ発光量Ｅで発光させた場合の合成反射輝度値を白飛びが発生しない限界値とする。このとき、２つの光源の合成発光量が２Ｅであることから、本撮影時に個別に発光させる各光源の発光量を２Ｅと算出してしまうと、光源２００Ｂを発光させた際に白飛びが発生してしまう。 The graph 14 shows the combined reflection luminance value when the light sources 200A and 200B are simultaneously made to emit light with the light emission amount E, that is, the combined light emission amount 2E. The reflection luminance value with respect to the surface normal of the spherical subject 2001 is the sum of the graph 11 and the graph 12. Here, consider a case where another subject having only a predetermined surface normal is imaged. For example, the combined reflection luminance value when the light sources 200A and 200B are simultaneously emitted with a light emission amount E on an object having a surface normal of 30 degrees is set as a limit value at which whiteout does not occur. At this time, since the combined light emission amount of the two light sources is 2E, if the light emission amount of each light source that emits light individually during the main photographing is calculated as 2E, whiteout occurs when the light source 200B emits light. Resulting in.
グラフ１５は、各光源を個別にそれぞれ発光量２Ｅで発光させた場合の反射輝度値の最大値を示している。グラフ１５では、２つの光源を同時に合成発光量２Ｅで発光させたグラフ１４に比べて、全ての面法線に対する反射輝度値が高くなっている。すなわち、全光源を同時に予備発光させた場合の第１測光値から白飛びを回避した最大発光量を算出するためには、被写体の反射特性を考慮する必要がある。 The graph 15 shows the maximum value of the reflected luminance value when each light source is individually emitted with the light emission amount 2E. In the graph 15, the reflection luminance values for all the surface normals are higher than those in the graph 14 in which two light sources are simultaneously emitted with the combined light emission amount 2E. That is, in order to calculate the maximum light emission amount that avoids whiteout from the first photometric value when all the light sources are simultaneously preliminarily emitted, it is necessary to consider the reflection characteristics of the subject.
グラフ１３は、被写体のランバート反射モデルを考慮することで、各光源の最大発光量を一律に１．５Ｅと設定した場合の反射輝度値の最大値を示している。グラフ１３では、２つの光源を同時に合成発光量２Ｅで発光させたグラフ１４に比べて、面法線−５０度〜５０度の全ての範囲で反射輝度値が低くなっている。そのため、広い面法線範囲で白飛びの発生を回避することができる。 The graph 13 shows the maximum value of the reflection luminance value when the maximum light emission amount of each light source is uniformly set to 1.5E by considering the Lambert reflection model of the subject. In the graph 13, compared to the graph 14 in which the two light sources are simultaneously emitted with the combined light emission amount 2E, the reflection luminance value is low in the entire range of the surface normal from −50 degrees to 50 degrees. Therefore, it is possible to avoid whiteout in a wide surface normal range.
図９は、撮像部１００から球被写体２００１までの距離が図８の半分（Ｄ／２）である場合の面法線θと規格化された反射輝度iの関係図である。撮像部１００から球被写体２００１までの距離が半分となることで、光源２００Ａ、２００Ｂは球被写体２００１と撮像部１００を結ぶ線を基準として球被写体２００１に対する角度がそれぞれ−２０度、２０度となる位置に配置されている。グラフ２１は光源２００Ａを発光量Ｅで発光させた場合の反射輝度値、グラフ２２は光源２００Ｂを発光量Ｅで発光させた場合の反射輝度値を示している。グラフ２４は、光源２００Ａ、２００Ｂを同時にそれぞれ発光量Ｅ、つまり合成発光量２Ｅで発光させた場合の合成反射輝度値を示している。グラフ２５は、各光源を個別にそれぞれ発光量２Ｅで発光させた場合の反射輝度値の最大値を示している。グラフ２３は、被写体のランバート反射モデルを考慮することで、各光源の最大発光量を一律に１．３Ｅと設定した場合の反射輝度値の最大値を示している。 FIG. 9 is a relationship diagram between the surface normal θ and the normalized reflected luminance i when the distance from the imaging unit 100 to the spherical subject 2001 is half (D / 2) of FIG. Since the distance from the imaging unit 100 to the spherical subject 2001 is halved, the light sources 200A and 200B have angles of −20 degrees and 20 degrees with respect to the spherical subject 2001 with respect to the line connecting the spherical subject 2001 and the imaging unit 100, respectively. Placed in position. The graph 21 shows the reflection luminance value when the light source 200A emits light with the light emission amount E, and the graph 22 shows the reflection luminance value when the light source 200B emits light with the light emission amount E. The graph 24 shows the combined reflection luminance value when the light sources 200A and 200B are simultaneously emitted with the light emission amount E, that is, the combined light emission amount 2E. The graph 25 shows the maximum value of the reflected luminance value when each light source is individually emitted with the light emission amount 2E. The graph 23 shows the maximum value of the reflection luminance value when the maximum light emission amount of each light source is uniformly set to 1.3E by considering the Lambertian reflection model of the subject.
最大発光量の設定値の変化は、光源位置や照射角度が固定されている場合でも、被写体までの距離によって被写体に対する光源方向ベクトルが変わることに起因している。すなわち、被写体の反射特性をランバート反射モデルと仮定すれば、発光量制御部１０４ｂは、光源情報、被写体距離、および第１測光値に基づいて各光源について一律な最大発光量を算出することが可能となる。全光源を同一発光量に設定することで、発光量の違いによる輝度情報の補正処理を省略することが可能となり、面法線算出時の処理負荷を低減することが可能となる。また、ＲＯＭ１１１に光源情報と被写体距離に基づく最大発光量の設定テーブルを保存しておいてもよい。この場合、発光量制御部１０４ｂは、ＲＯＭ１１１に保存されている最大発光量の設定テーブルを参照することで、光源の適正発光量を算出することができる。 The change in the set value of the maximum light emission amount is due to the fact that the light source direction vector with respect to the subject changes depending on the distance to the subject even when the light source position and the irradiation angle are fixed. That is, assuming that the reflection characteristics of the subject are Lambertian reflection models, the light emission amount control unit 104b can calculate a uniform maximum light emission amount for each light source based on the light source information, the subject distance, and the first photometric value. It becomes. By setting all the light sources to the same light emission amount, it is possible to omit the luminance information correction process due to the difference in the light emission amount, and to reduce the processing load when calculating the surface normal. The ROM 111 may store a setting table for the maximum light emission amount based on the light source information and the subject distance. In this case, the light emission amount control unit 104b can calculate the appropriate light emission amount of the light source by referring to the maximum light emission amount setting table stored in the ROM 111.
以上説明したように、適正発光量の制御負荷を低減させるために全光源を同時に予備発光させる場合において、広い範囲の面法線被写体に対して白飛びを回避することが可能となる。 As described above, when all the light sources are simultaneously preliminarily lighted in order to reduce the control load of the appropriate light emission amount, it is possible to avoid whiteout for a wide range of surface normal subjects.
ステップＳ１０７では、システムコントローラ１１０は、発光量制御部１０４ｂが照射光源制御部１０６を介して照度差ステレオ方式の撮像に使用する全光源をステップＳ１０６で算出された適正発光量で制御可能かどうかを判定する。制御できない光源が存在する場合はステップＳ１０８に進み、存在しない場合はステップＳ１０９に進む。 In step S107, the system controller 110 determines whether or not the light emission amount control unit 104b can control all light sources used for illuminance difference stereo imaging via the irradiation light source control unit 106 with the appropriate light emission amount calculated in step S106. judge. If there is a light source that cannot be controlled, the process proceeds to step S108; otherwise, the process proceeds to step S109.
ステップＳ１０８では、システムコントローラ１１０は、撮像制御部１０７に、撮像部１００の撮像条件を第１撮像条件から第２撮像条件に変更させる。具体的には、ステップＳ１０６で算出された適正発光量が制御可能な発光量より小さい場合、例えば、絞り１０１ａの絞り値を大きく（暗く）設定したり、露出時間を短く設定したり、またはＩＳＯ感度を低く設定したりすればよい。上記設定を組み合わせて、撮像条件を変更してもよい。また、ステップＳ１０６で算出された適正発光量が制御可能な発光量より大きい場合、例えば、絞り値を小さく（明るく）設定したり、露出時間を長く設定したり、またはＩＳＯ感度を高く設定したりすればよい。上記設定を組み合わせて、撮像条件を変更してもよい。さらに、ステップＳ１０６で算出された最小発光量が最大発光量より大きい場合、撮像素子１０２のダイナミックレンジが不足していることとなるため、本撮影時にＨＤＲ（ハイダイナミックレンジ）撮影を行う設定を行う。ＨＤＲ撮影としては、一般的に知られている露出条件を異ならせた複数枚の画像を取得して合成する手法を用いればよい。照度差ステレオ方式におけるＨＤＲ撮影では、１つの光源発光に対して露出条件を異ならせた複数枚の画像を取得すればよい。すなわち、１つの光源に対して何枚の画像を取得するかといった撮像枚数の設定を行う。また、発光量制御部１０４ｂは、変更された撮像条件に基づいて発光量を補正してもよい。また、撮像条件は、１つの光源発光に対応した撮像ごとに変更してもよいし、全ての撮像において同一条件としてもよい。 In step S108, the system controller 110 causes the imaging control unit 107 to change the imaging condition of the imaging unit 100 from the first imaging condition to the second imaging condition. Specifically, when the appropriate light emission amount calculated in step S106 is smaller than the controllable light emission amount, for example, the aperture value of the aperture 101a is set to be large (darker), the exposure time is set to be short, or ISO is set. The sensitivity may be set low. The imaging conditions may be changed by combining the above settings. In addition, when the appropriate light emission amount calculated in step S106 is larger than the controllable light emission amount, for example, the aperture value is set to be small (bright), the exposure time is set to be long, or the ISO sensitivity is set to be high. do it. The imaging conditions may be changed by combining the above settings. Furthermore, when the minimum light emission amount calculated in step S106 is larger than the maximum light emission amount, the dynamic range of the image sensor 102 is insufficient, so that settings for performing HDR (high dynamic range) shooting are performed during main shooting. . For HDR photography, a method of acquiring and combining a plurality of generally known exposure conditions may be used. In HDR photography in the illuminance difference stereo method, a plurality of images with different exposure conditions may be acquired for one light source emission. That is, the number of images to be captured such as how many images are acquired for one light source is set. Further, the light emission amount control unit 104b may correct the light emission amount based on the changed imaging condition. The imaging conditions may be changed for each imaging corresponding to one light source emission, or the same conditions may be used for all imaging.
ステップＳ１０９では、システムコントローラ１１０は、発光量制御部１０４ｂに、照射光源制御部１０６を介して各光源の発光量を設定させる。本実施例では、発光量制御部１０４ｂは、各光源の発光量が同等となるように設定する。 In step S109, the system controller 110 causes the light emission amount control unit 104b to set the light emission amount of each light source via the irradiation light source control unit 106. In the present embodiment, the light emission amount control unit 104b sets the light emission amounts of the respective light sources to be equal.
ステップＳ１１０では、システムコントローラ１１０は、レリーズボタン３００の全押し動作に連動し、複数光源位置での被写体の撮像を行う。具体的には、システムコントローラ１１０は、照射光源制御部１０６を介して光源部２００の互いに位置の異なる少なくとも３つ以上の光源からの光を被写体に順次照射させ、撮像制御部１０７を介して撮像部１００に被写体を撮像させる。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されたアナログ信号をＡ／Ｄ変換することで撮影画像（輝度情報）を形成し、画像処理部１０４に出力する。なお、画像処理部１０４は、画像生成のために、通常の現像処理や各種の画像補正処理を実行してもよい。 In step S110, the system controller 110 performs imaging of the subject at a plurality of light source positions in conjunction with the full-pressing operation of the release button 300. Specifically, the system controller 110 sequentially irradiates the subject with light from at least three light sources having different positions from the light source unit 200 via the irradiation light source control unit 106 and performs imaging via the imaging control unit 107. The unit 100 is caused to image the subject. The A / D converter 103 performs A / D conversion on the analog signal output from the image sensor 102 to form a captured image (luminance information) and outputs the captured image to the image processing unit 104. Note that the image processing unit 104 may execute normal development processing and various image correction processing for image generation.
ステップＳ１１１では、システムコントローラ１１０は、法線算出部１０４ｃに、ステップＳ１１０で補正された輝度情報に基づいて面法線情報を算出させる。法線算出部１０４ｃは、上述した照度差ステレオ法を用いて面法線情報を算出する。画像記録部１０９が面法線情報や画像情報を保存し、フローは完了する。なお、画像記録部１０９は、発光量の情報や撮像条件の情報を画像情報に付加した情報を保存してもよい。発光量の情報や撮像条件の情報を画像情報に付加して保存することで、輝度情報の補正処理や面法線の算出処理を後から実行することが可能となる。 In step S111, the system controller 110 causes the normal calculation unit 104c to calculate surface normal information based on the luminance information corrected in step S110. The normal calculation unit 104c calculates surface normal information using the illuminance difference stereo method described above. The image recording unit 109 stores the surface normal information and the image information, and the flow is completed. Note that the image recording unit 109 may store information obtained by adding light emission amount information or imaging condition information to image information. By adding the light emission amount information and the imaging condition information to the image information and storing it, the luminance information correction processing and the surface normal calculation processing can be executed later.
以上説明したように、本実施例では、各光源を同時に予備発光させ、その測光値に基づいて各光源の発光量を適正発光量に設定することで、輝度情報を高精度に取得できるため、面法線の算出精度を保つことが可能となる。 As described above, in this embodiment, each light source is simultaneously preliminarily emitted, and the luminance information can be obtained with high accuracy by setting the light emission amount of each light source to an appropriate light emission amount based on the photometric value. It becomes possible to maintain the calculation accuracy of the surface normal.
なお、本実施例では撮像装置１０００Ａ内で被写体の面法線情報を算出しているが、図２Ｂに示されるように、撮像装置１０００Ａとは異なる処理システム５００を用いて被写体の面法線情報を算出してもよい。図２Ｂに示される処理システム５００は、処理装置５０１、法線算出部５０２、撮像部５０３、光源部５０４、測光部５０５、および被写体距離算出部５０６を備える。処理装置５０１は、発光量制御部５０１ａを備える。処理システム５００を用いて面法線情報を算出する場合、まず、測光部５０５は処理装置５０１の指示により光源が予備発光していない状態で被写体からの反射光を測光する。次に、光源部５０４が処理装置５０１の指示により少なくとも３つ以上の光源を同時に予備発光させ、測光部５０５が被写体からの反射光を測光する。次に、被写体距離算出部５０６は被写体距離を算出し、発光量制御部５０１ａが撮像条件、測光値、光源情報および被写体距離に基づいて光源ごとの適正発光量を算出する。続いて、発光量制御部５０１ａは被写体に少なくとも３つ以上の光源位置から適正発光量の光を照射させるように光源部５０４を制御し、撮像部５０３が各光源位置の画像を取得する。なお、発光量制御部５０１ａは各光源の発光量を制御できればよく、光源部２００の点灯等の他の処理は処理装置５０１の他の部分が実行してもよい。最後に、法線算出部５０２が撮像部５０３により撮像された画像を用いて面法線情報を算出する。なお、処理システム５００は、少なくとも処理装置５０１を備えていればよい。また、処理装置５０１は、法線算出部５０２を備えてもよい。また、撮像部５０３および光源部５０４はそれぞれ、個別の装置であってもよいし、光源部５０４が撮像部５０３に内蔵されていてもよい。 In this embodiment, the surface normal information of the subject is calculated in the imaging apparatus 1000A. However, as shown in FIG. 2B, the surface normal information of the subject is obtained using a processing system 500 different from the imaging apparatus 1000A. May be calculated. A processing system 500 illustrated in FIG. 2B includes a processing device 501, a normal calculation unit 502, an imaging unit 503, a light source unit 504, a photometry unit 505, and a subject distance calculation unit 506. The processing device 501 includes a light emission amount control unit 501a. When calculating the surface normal information using the processing system 500, first, the photometry unit 505 measures the reflected light from the subject in a state where the light source is not pre-lighted according to an instruction from the processing device 501. Next, the light source unit 504 preliminarily emits at least three light sources simultaneously according to an instruction from the processing device 501, and the photometric unit 505 measures the reflected light from the subject. Next, the subject distance calculation unit 506 calculates the subject distance, and the light emission amount control unit 501a calculates the appropriate light emission amount for each light source based on the imaging conditions, the photometric value, the light source information, and the subject distance. Subsequently, the light emission amount control unit 501a controls the light source unit 504 so that the subject is irradiated with light of an appropriate light emission amount from at least three or more light source positions, and the imaging unit 503 acquires an image of each light source position. Note that the light emission amount control unit 501a only needs to be able to control the light emission amount of each light source, and other processing such as lighting of the light source unit 200 may be performed by another part of the processing device 501. Finally, the normal calculation unit 502 calculates surface normal information using the image captured by the imaging unit 503. Note that the processing system 500 only needs to include at least the processing device 501. In addition, the processing apparatus 501 may include a normal calculation unit 502. In addition, each of the imaging unit 503 and the light source unit 504 may be a separate device, or the light source unit 504 may be built in the imaging unit 503.
図１０は、本実施例の撮像装置１０００Ｂのブロック図である。撮像装置１０００Ｂの外観構成は、実施例１の撮像装置１０００Ａの外観の構成と同様であるため詳細な説明は省略する。また、撮像装置１０００Ｂの内部の構成は、被写体距離算出部１０４ｄおよび光源情報取得部１１２を備えていないことを除き、撮像装置１０００Ａの内部の構成と同様である。そのため、内部構成の詳細な説明は省略し、撮像装置１０００Ａと異なる部分についてのみ説明する。 FIG. 10 is a block diagram of the imaging apparatus 1000B of the present embodiment. Since the external configuration of the imaging apparatus 1000B is the same as the external configuration of the imaging apparatus 1000A of the first embodiment, detailed description thereof is omitted. The internal configuration of the imaging apparatus 1000B is the same as the internal configuration of the imaging apparatus 1000A, except that the subject distance calculation unit 104d and the light source information acquisition unit 112 are not provided. Therefore, a detailed description of the internal configuration is omitted, and only the parts different from the imaging apparatus 1000A are described.
本実施例の面法線情報算出処理について、図１１のフローチャートを参照して説明する。図１１は、本実施例の面法線情報の算出処理を示すフローチャートである。本実施例の面法線情報の算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。 The surface normal information calculation processing of the present embodiment will be described with reference to the flowchart of FIG. FIG. 11 is a flowchart showing the calculation process of the surface normal information according to this embodiment. The surface normal information calculation processing of the present embodiment is executed by the system controller 110 and the image processing unit 104 in accordance with a processing program for causing a computer to function as a processing device. The processing program may be recorded on a computer-readable recording medium, for example.
ステップＳ２０１およびステップＳ２０２までのステップはそれぞれ、実施例１のステップＳ１０１およびステップＳ１０２までのステップと同様であるため、説明は省略する。 The steps up to step S201 and step S202 are the same as the steps up to step S101 and step S102 of the first embodiment, respectively, and thus description thereof is omitted.
ステップＳ２０３では、システムコントローラ１１０は、照射光源制御部１０６に、本撮影に使用する光源をあらかじめ設定された光量で同時に予備発光（プリ発光）させる。予備発光の光量は、白飛び発生による測光値の検出精度の劣化を低減させるため、本撮像時に対して低く設定することが好ましい。照度差ステレオ方式では位置の異なる複数の光源を個別に発光させて複数の画像を取得するが、本実施例では測光値検出のための予備発光を光源を同時に発光させて一度に行う。予備発光を一度で実行することで、光源ごとに予備発光を実行する場合に比べて制御負荷を低減することができる。 In step S <b> 203, the system controller 110 causes the irradiation light source control unit 106 to simultaneously perform preliminary light emission (pre-light emission) with a light amount set in advance for a light source used for actual photographing. The amount of preliminary light emission is preferably set to be lower than that at the time of actual imaging in order to reduce deterioration in photometric value detection accuracy due to occurrence of whiteout. In the illuminance difference stereo method, a plurality of light sources having different positions are individually emitted to obtain a plurality of images. In this embodiment, preliminary light emission for photometric value detection is performed at the same time by simultaneously emitting light sources. By performing the preliminary light emission at a time, the control load can be reduced as compared with the case where the preliminary light emission is executed for each light source.
ステップＳ２０４では、システムコントローラ１１０は、ステップＳ２０３の予備発光に同期して、被写体からの反射光を撮像素子１０２で受光する。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換によって生成されたアナログ電気信号をデジタル信号に変換し、画像処理部１０４に出力する。測光部１０４ａは、画像処理部１０４に入力されたデジタル信号に基づいて第１測光値を取得する。第１測光値は、光源が予備発光している状態の測光値、すなわち環境光および光源の予備発光光が照射された被写体の反射光の測光値である。また、発光量制御部１０４ｂは、ステップＳ１０１で設定された第１撮像条件、および第１および第２測光値に基づいて光源ごとの適正発光量を算出する。本実施例では、実施例１と異なり、光源部２００の各光源は固定の位置に配置され、照射角度も固定されているため、光源情報および被写体距離を取得しない。このとき、被写体距離が近ければ近いほど光源方向ベクトルが大きくなり、最大発光量を低く設定する必要がある。例えば、図８、９を用いて説明したように、被写体距離がＤの場合は最大発光量は１．５Ｅとなり、被写体距離がＤ／２の場合は最大発光量は１．３Ｅとなる。言い換えると、撮影時の最小被写体距離条件を設定することで、設定した距離条件範囲内では被写体距離を用いることなく、白飛びを回避した最大発光量を算出することができる。本実施例では、撮影時の最小被写体距離条件を設定することで、最大発光量算出時の補正係数を用いて各光源の適正発光量を小さくする。上記構成により、被写体距離算出部と光源情報取得部を備えることなく、全光源を同時に予備発光させる方法で適正発光量を算出することが可能となり、装置の簡易化と処理負荷の低減を実現することができる。 In step S204, the system controller 110 receives reflected light from the subject with the image sensor 102 in synchronization with the preliminary light emission in step S203. The A / D converter 103 converts an analog electric signal generated by photoelectric conversion of the image sensor 102 into a digital signal and outputs the digital signal to the image processing unit 104. The photometric unit 104 a acquires the first photometric value based on the digital signal input to the image processing unit 104. The first photometric value is a photometric value in a state where the light source is preliminarily emitting light, that is, a photometric value of reflected light of a subject irradiated with the ambient light and the preliminary light emitted from the light source. Further, the light emission amount control unit 104b calculates an appropriate light emission amount for each light source based on the first imaging condition set in step S101 and the first and second photometric values. In the present embodiment, unlike the first embodiment, each light source of the light source unit 200 is arranged at a fixed position and the irradiation angle is also fixed, and thus the light source information and the subject distance are not acquired. At this time, the shorter the subject distance is, the larger the light source direction vector becomes, and it is necessary to set the maximum light emission amount low. For example, as described with reference to FIGS. 8 and 9, when the subject distance is D, the maximum light emission amount is 1.5E, and when the subject distance is D / 2, the maximum light emission amount is 1.3E. In other words, by setting the minimum subject distance condition at the time of shooting, it is possible to calculate the maximum light emission amount that avoids overexposure without using the subject distance within the set distance condition range. In this embodiment, by setting the minimum subject distance condition at the time of shooting, the appropriate light emission amount of each light source is reduced using the correction coefficient at the time of calculating the maximum light emission amount. With the above configuration, it is possible to calculate an appropriate amount of light emission by a method in which all light sources simultaneously perform preliminary light emission without providing a subject distance calculation unit and a light source information acquisition unit, thereby realizing simplification of the apparatus and reduction of processing load. be able to.
ステップＳ２０５からステップＳ２０９までのステップはそれぞれ、実施例１のステップＳ１０７からステップＳ１１１までのステップと同様であるため、説明は省略する。 The steps from step S205 to step S209 are the same as the steps from step S107 to step S111 of the first embodiment, and thus description thereof is omitted.
以上説明したように、本実施例では、被写体距離算出部と光源情報取得部を省略した場合でも輝度情報を高精度に取得できるため、面法線の算出精度を保つことが可能となる。 As described above, in the present embodiment, even when the subject distance calculation unit and the light source information acquisition unit are omitted, the luminance information can be acquired with high accuracy, so that the surface normal calculation accuracy can be maintained.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１０４ 画像処理部（処理装置）
１０４ｂ 適正発光量算出部（制御部）
104 Image processing unit (processing device)
104b Appropriate light emission amount calculation unit (control unit)
Claims (17)
前記３つ以上の光源を同時に予備発光させて取得される前記被写体からの反射光の測光値に基づいて、前記３つ以上の画像を取得する際の各光源の発光量を制御する制御部を有することを特徴とする処理装置。 A processing device that sequentially irradiates a subject with light from three or more light sources having different positions to obtain three or more images,
A control unit for controlling a light emission amount of each light source when acquiring the three or more images based on a photometric value of reflected light from the subject acquired by simultaneously performing preliminary light emission of the three or more light sources; A processing apparatus comprising:
前記制御部は、前記被写体距離に基づいて前記３つ以上の画像を撮像する際の各光源の発光量を制御することを特徴とする請求項１から３のいずれか１項に記載の処理装置。 A distance calculation unit for calculating a subject distance to the subject;
4. The processing apparatus according to claim 1, wherein the control unit controls a light emission amount of each light source when the three or more images are captured based on the subject distance. 5. .
前記制御部は、前記光源情報に基づいて前記３つ以上の画像を撮像する際の各光源の発光量を制御することを特徴とする請求項１から５のいずれか１項に記載の処理装置。 An acquisition unit for acquiring light source information of the light source;
The processing apparatus according to claim 1, wherein the control unit controls a light emission amount of each light source when the three or more images are captured based on the light source information. .
前記３つ以上の光源を同時に予備発光させた際の被写体からの反射光の測光値を取得する測光部と、
前記測光値に基づいて、前記３つ以上の画像を撮像する際の各光源の発光量を制御する制御部を有することを特徴とする処理システム。 A processing system for acquiring three or more images by sequentially irradiating a subject with light from three or more light sources having different positions,
A photometric unit for obtaining a photometric value of reflected light from a subject when the three or more light sources are simultaneously preliminarily emitted;
A processing system comprising: a control unit that controls a light emission amount of each light source when capturing the three or more images based on the photometric value.
前記３つ以上の光源を同時に予備発光させた際の前記被写体からの反射光の測光値を取得する測光部と、
前記測光値に基づいて、前記３つ以上の画像を撮像する際の各光源の発光量を制御する制御部と、
前記３つ以上の画像の輝度情報に基づいて、前記面法線情報を算出する法線算出部と、を有することを特徴とする撮像装置。 An imaging unit that sequentially irradiates light from three or more light sources having different positions to obtain three or more images;
A photometric unit that obtains a photometric value of reflected light from the subject when the three or more light sources are simultaneously preliminarily emitted;
A control unit for controlling the light emission amount of each light source when capturing the three or more images based on the photometric value;
An imaging device, comprising: a normal calculation unit that calculates the surface normal information based on luminance information of the three or more images.
前記３つ以上の光源を同時に予備発光させた際の前記被写体からの反射光の測光値を取得するステップと、
前記測光値に基づいて、前記３つ以上の画像を取得する際の各光源の発光量を制御するステップと、を有することを特徴とする処理方法。 A processing method for acquiring three or more images by sequentially irradiating a subject with light from three or more light sources having different positions,
Obtaining a photometric value of the reflected light from the subject when the three or more light sources are simultaneously preliminarily emitted;
And a step of controlling a light emission amount of each light source when acquiring the three or more images based on the photometric value.
A computer-readable recording medium on which the program according to claim 16 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016138303A JP6910763B2 (en) | 2016-07-13 | 2016-07-13 | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016138303A JP6910763B2 (en) | 2016-07-13 | 2016-07-13 | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018010116A true JP2018010116A (en) | 2018-01-18 |
| JP6910763B2 JP6910763B2 (en) | 2021-07-28 |
Family
ID=60995608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016138303A Active JP6910763B2 (en) | 2016-07-13 | 2016-07-13 | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6910763B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020008687A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Control device, accessory, imaging device, and imaging system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002169205A (en) * | 2000-09-19 | 2002-06-14 | Asahi Optical Co Ltd | Flash photography system, camera, and flash device |
| JP2007206797A (en) * | 2006-01-31 | 2007-08-16 | Omron Corp | Image processing method and image processor |
| JP2010122158A (en) * | 2008-11-21 | 2010-06-03 | Juki Corp | Method for preparing body surface normal vector map |
| JP2010145972A (en) * | 2008-12-22 | 2010-07-01 | Olympus Imaging Corp | Camera system |
| JP2015049133A (en) * | 2013-08-31 | 2015-03-16 | 新協技研株式会社 | Surface defect inspection device and surface defect inspection method |
| JP2015127720A (en) * | 2013-11-26 | 2015-07-09 | 株式会社ニコン | Light emission control device and imaging device |
-
2016
- 2016-07-13 JP JP2016138303A patent/JP6910763B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002169205A (en) * | 2000-09-19 | 2002-06-14 | Asahi Optical Co Ltd | Flash photography system, camera, and flash device |
| JP2007206797A (en) * | 2006-01-31 | 2007-08-16 | Omron Corp | Image processing method and image processor |
| JP2010122158A (en) * | 2008-11-21 | 2010-06-03 | Juki Corp | Method for preparing body surface normal vector map |
| JP2010145972A (en) * | 2008-12-22 | 2010-07-01 | Olympus Imaging Corp | Camera system |
| JP2015049133A (en) * | 2013-08-31 | 2015-03-16 | 新協技研株式会社 | Surface defect inspection device and surface defect inspection method |
| JP2015127720A (en) * | 2013-11-26 | 2015-07-09 | 株式会社ニコン | Light emission control device and imaging device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020008687A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Control device, accessory, imaging device, and imaging system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6910763B2 (en) | 2021-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180019606A (en) | Methods and apparatus for performing exposure estimation using a time-of-flight sensor | |
| JP2004212385A (en) | Photographic device, photographing method and control method for the photographic device | |
| JP6786225B2 (en) | Image processing equipment, imaging equipment and image processing programs | |
| JP2017102637A (en) | Processing apparatus, processing system, imaging device, processing method, program, and recording medium | |
| US10939090B2 (en) | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium | |
| US10965853B2 (en) | Control apparatus, accessory, imaging apparatus, and imaging system capable of switching light emission modes for imaging | |
| JP2014137482A (en) | Photographing device and photographing illumination device | |
| US11025829B2 (en) | Imaging apparatus, accessory, processing apparatus, processing method, and storage medium | |
| JP6877936B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| JP6671915B2 (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| US10346959B2 (en) | Processing apparatus, processing system, image pickup apparatus, processing method, and non-transitory computer-readable storage medium | |
| JP7118776B2 (en) | IMAGING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM AND RECORDING MEDIUM | |
| CN106817543B (en) | Processing apparatus, processing system, image pickup apparatus, and processing method | |
| JP6910763B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| JP6862114B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| JP2018054413A (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| JP7309425B2 (en) | Processing device, processing system, imaging device, processing method, and program | |
| JP7490457B2 (en) | Processing device, processing system, imaging device, processing method, and program | |
| JP7210170B2 (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| JP2020173591A (en) | Processing device, processing system, imaging apparatus, processing method, and program | |
| JP2020095454A (en) | Processing device, imaging device, processing system, processing method, program, and storage medium | |
| JP2022076368A (en) | Image processing device, imaging device, information processing device, image processing method, and program | |
| JP2020076590A (en) | Processing apparatus, processing system, imaging apparatus, processing method, program, and recording medium | |
| JP2020127190A (en) | Control apparatus, illumination apparatus, imaging apparatus, image processing apparatus, image processing method, program, and storage medium | |
| JP2018022937A (en) | Imaging system, method for controlling the same, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190708 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200604 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200721 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210330 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210330 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210414 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210707 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6910763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |