JP2017102637A - Processing apparatus, processing system, imaging device, processing method, program, and recording medium - Google Patents
Processing apparatus, processing system, imaging device, processing method, program, and recording medium Download PDFInfo
- Publication number
- JP2017102637A JP2017102637A JP2015234636A JP2015234636A JP2017102637A JP 2017102637 A JP2017102637 A JP 2017102637A JP 2015234636 A JP2015234636 A JP 2015234636A JP 2015234636 A JP2015234636 A JP 2015234636A JP 2017102637 A JP2017102637 A JP 2017102637A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- light
- unit
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
- Blocking Light For Cameras (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
本発明は、処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体に関する。 The present invention relates to a processing device, a processing system, an imaging device, a processing method, a program, and a recording medium.
被写体に関するより多くの物理情報を取得しておくことで、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から出た光が被写体によって反射された反射光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。 By acquiring more physical information about the subject, image generation based on the physical model can be performed in the image processing after imaging. For example, it is possible to generate an image in which the appearance of the subject is changed. The appearance of the subject is determined by subject shape information, subject reflectance information, light source information, and the like. Since the physical behavior of the reflected light reflected by the object from the light source depends on the local surface normal, it is particularly effective to use the surface normal of the object instead of the three-dimensional shape as shape information. It is.
従来、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する照度差ステレオ法が知られている（例えば、非特許文献１参照）。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。 Conventionally, an illuminance difference stereo method is known in which reflection characteristics based on a surface normal of a subject and a light source direction are assumed, and surface normal is determined from the luminance information of the subject at a plurality of light source positions and the assumed reflection characteristics. (For example, refer nonpatent literature 1). A Lambertian reflection model that follows Lambert's cosine law is often used as the reflection characteristic of the subject.
一般的に、物体の反射光は、鏡面反射光と拡散反射光の各成分を有する。鏡面反射光とは、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射を指す。拡散反射光とは、被写体の表面を透過した後に物体内部で散乱されて返ってくる光を指す。鏡面反射成分はランバートの余弦則では表せないため、撮像装置で観測される被写体からの反射光に鏡面反射成分が含まれていると、照度差ステレオ法を用いて面法線を正確に算出することができない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。例えば、特許文献１には、４つ以上の光源を使用して得られた複数の面法線候補から、真の面法線を求める方法が開示されている。 Generally, the reflected light of an object has each component of specular reflection light and diffuse reflection light. The specular reflection light is regular reflection on the object surface and refers to Fresnel reflection according to the Fresnel equation on the object surface (interface). Diffuse reflected light refers to light that is scattered inside the object and then returned after passing through the surface of the subject. Since the specular reflection component cannot be expressed by Lambert's cosine law, if the reflected light from the subject observed by the imaging device contains a specular reflection component, the surface normal is accurately calculated using the photometric stereo method. I can't. Even in a shaded portion where light from the light source does not strike, a deviation from the assumed reflection model occurs, and the surface normal information of the subject cannot be acquired accurately. For example, Patent Document 1 discloses a method for obtaining a true surface normal from a plurality of surface normal candidates obtained by using four or more light sources.
また、被写体の見えを変更した画像を生成する別の技術として、特許文献２で開示されているテクスチャマッピング手法などが知られている。テクスチャマッピング手法では、視点方向を変更した被写体の３次元形状に応じて、実際の撮影によって得られた被写体の表面テクスチャ画像を貼り付けることでレンダリング画像を生成する。 As another technique for generating an image in which the appearance of a subject is changed, a texture mapping method disclosed in Patent Document 2 is known. In the texture mapping method, a rendering image is generated by pasting a surface texture image of a subject obtained by actual photographing according to the three-dimensional shape of the subject whose viewpoint direction is changed.
照度差ステレオ法を用いて被写体の面法線を取得する場合、鏡面反射成分や陰影部以外にも鏡面被写体や透明被写体への対応が困難である。面法線が正確に求まっていない被写体について、その面法線情報を用いてレンダリング画像を生成した場合、画像としての見えに違和感が生じ画質という点で劣化が生じてしまう。ここで、面法線情報とは、面法線の1自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報、および求めた面法線の妥当性に関する情報の少なくともいずれか１つの情報である。テクスチャマッピング手法では、実際の撮影によって得られた被写体の通常撮影画像をベース画像として使用することでレンダリング画像の画質劣化を低減する。デジタルカメラなどの撮像装置において面法線情報とベース画像を取得する際、レンダリング画像作成時に必要な幾何変形などの処理負荷を低減するため、同一の視点および同一の撮影条件で撮影することが好ましい。しかしながら、照度差ステレオ法による面法線情報を算出するための画像は、光源から光を照射して撮影されるため、ベース画像撮影時の適正露出と同一の露出条件では白とびなどの課題が生じる。特許文献１や特許文献２には、ベース画像取得時と面法線取得時の撮影条件についての記述がなく、上記課題に対する認識も見られない。そのため、面法線情報を算出するための画像取得時に白とびなどが発生し、面法線の算出精度を低下させてしまう。 When the surface normal of the subject is acquired using the illuminance difference stereo method, it is difficult to deal with a specular subject or a transparent subject other than the specular reflection component and the shadow portion. When a rendering image is generated using the surface normal information for a subject whose surface normal has not been accurately determined, the appearance of the image is uncomfortable and the image quality is deteriorated. Here, the surface normal information is information for determining at least one candidate for one degree of freedom of surface normal, information for selecting a true solution from a plurality of surface normal candidates, and obtained This is at least one piece of information related to the validity of the surface normal. In the texture mapping method, deterioration of the image quality of a rendered image is reduced by using a normal captured image of a subject obtained by actual shooting as a base image. When acquiring surface normal information and a base image in an imaging apparatus such as a digital camera, it is preferable to shoot with the same viewpoint and the same shooting conditions in order to reduce the processing load such as geometric deformation required when creating a rendering image. . However, since the image for calculating the surface normal information by the illuminance difference stereo method is shot by irradiating light from the light source, there are problems such as overexposure under the same exposure conditions as the appropriate exposure at the time of base image shooting. Arise. In Patent Document 1 and Patent Document 2, there is no description of imaging conditions at the time of acquiring a base image and at the time of acquiring a surface normal, and no recognition of the above problem is seen. For this reason, overexposure occurs when acquiring an image for calculating surface normal information, and the calculation accuracy of the surface normal is reduced.
このような課題に鑑みて、本発明は、通常撮影画像と面法線情報の取得を連続して行う場合において、面法線の算出精度の低下を抑制可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することを目的とする。 In view of such a problem, the present invention provides a processing device, a processing system, and an imaging device capable of suppressing a decrease in accuracy of calculation of a surface normal when acquiring a normal captured image and surface normal information continuously. An object is to provide a processing method, a program, and a recording medium.
本発明の一側面としての処理装置は、第１撮像条件で撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、前記第１の画像と、３つ以上の前記第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成する画像生成部と、を有することを特徴とする。 A processing apparatus according to one aspect of the present invention causes a photographing unit to capture a first image under a first imaging condition, and sequentially irradiates light from a light source from a plurality of different positions from three or more. An imaging control unit that causes the imaging unit to capture a second image under a second imaging condition different from the first imaging condition, the first image, and three or more second images. And an image generation unit that generates a third image based on the acquired surface normal information.
また、本発明の他の側面としての処理システムは、第１撮像条件で撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、３つ以上の前記第２の画像を用いて面法線情報を取得する法線取得部と、前記第１の画像と前記面法線情報とに基づいて第３の画像を生成する画像生成部と、を有することを特徴とする。 The processing system according to another aspect of the present invention causes the imaging unit to capture the first image under the first imaging condition and sequentially irradiates the subject with light from the light source from three or more different positions. And an imaging control unit that causes the imaging unit to capture a second image under a second imaging condition different from the first imaging condition for each irradiation, and surface normal information using three or more second images And a normal generation unit that acquires the image, and an image generation unit that generates a third image based on the first image and the surface normal information.
また、本発明の他の側面としての撮像装置は、画像を撮像する撮像部と、第１撮像条件で前記撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、３つ以上の前記第２の画像を用いて面法線情報を取得する法線取得部と、前記第１の画像と前記面法線情報とに基づいて第３の画像を生成する画像生成部と、を有することを特徴とする。 An imaging apparatus according to another aspect of the present invention includes an imaging unit that captures an image, and causes the imaging unit to capture a first image under a first imaging condition, and from three or more different positions. An imaging control unit that sequentially irradiates a subject with light from a light source and causes the imaging unit to capture a second image under a second imaging condition different from the first imaging condition for each irradiation, and three or more of the second A normal acquisition unit that acquires surface normal information using the image of the image, and an image generation unit that generates a third image based on the first image and the surface normal information. And
また、本発明の他の側面としての処理方法は、第１撮像条件で撮像部に第１の画像を撮像させるステップと、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させるステップと、前記第１の画像と、３つ以上の前記第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成するステップと、を有することを特徴とする。 The processing method according to another aspect of the present invention includes a step of causing the imaging unit to capture a first image under a first imaging condition, and sequentially apply light from a light source from three or more different positions to a subject. Irradiating and causing the imaging unit to capture a second image under a second imaging condition different from the first imaging condition for each irradiation, the first image, and three or more second images. And generating a third image based on the surface normal information acquired by using the information.
本発明によれば、通常撮影画像と面法線の取得を連続して行う場合において、面法線の算出精度の低下を抑制可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することができる。 According to the present invention, a processing device, a processing system, an imaging device, a processing method, a program, and a processing device capable of suppressing a decrease in calculation accuracy of a surface normal in a case where acquisition of a normal captured image and a surface normal is performed continuously, and A recording medium can be provided.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted.
照度差ステレオ法は、被写体の面法線と被写体から光源への方向（光源方向）に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。鏡面反射成分は、図１１に示されるように、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。 The illuminance-difference stereo method assumes the reflection characteristics of the subject based on the surface normal of the subject and the direction from the subject to the light source (light source direction), and the surface method from the reflection characteristics assumed as the luminance information of the subject at multiple light source positions. This is a method of calculating a line. The reflection characteristic may be approximated by a Lambert reflection model that follows Lambert's cosine law when the reflectance is not uniquely determined when a predetermined surface normal and the position of the light source are given. As shown in FIG. 11, the specular reflection component depends on the angle α formed by the bisector of the light source vector s and the line-of-sight direction vector v and the surface normal n. Therefore, the reflection characteristic may be a characteristic based on the line-of-sight direction. In addition, the luminance information may be obtained by imaging each subject when the light source is turned on and when the light source is turned off, and taking the difference between them to eliminate the influence of light sources other than the light source such as ambient light.
以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、輝度ｉはランバートの余弦則から以下の式（１）で示される。 Hereinafter, the case where the reflection characteristic is assumed in the Lambertian reflection model will be described. The luminance value of the reflected light is i, the Lambertian diffuse reflectance of the object is ρd, the intensity of the incident light is E, the unit vector (light source direction vector) indicating the direction from the object to the light source is s, and the unit surface normal vector of the object When n is n, the luminance i is expressed by the following formula (1) from Lambert's cosine law.
異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ１、ｓ２、・・・、ｓＭ、光源ベクトルの成分ごとの輝度値をｉ１、ｉ２、・・・ｉＭとすると、式（１）は以下の式（２）で示される。 M different (M ≧ 3) s 1 the components of the light source vector in, s 2, ···, s M , the luminance value of each component of the light source vector i 1, i 2, When · · · i M The equation (1) is expressed by the following equation (2).
式（２）の左辺はＭ行１列の輝度ベクトル、右辺の［ｓ１ Ｔ、・・・ｓＭ Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ−１を用いて、Ｅρｄｎは以下の式（３）で示される。 The left side of Equation (2) is the luminance vector of M rows and 1 column, the right side [s 1 T ,... S M T ] is the incident light matrix S indicating the light source direction of M rows and 3 columns, and n is 3 rows and 1 column. Is the unit surface normal vector. In the case of M = 3, Eρ dn is expressed by the following formula (3) using the inverse matrix S −1 of the incident light matrix S.
式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρｄは積の形でのみ条件式に現れるので、Ｅρｄを１つの変数とみなすと、式（１０）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ１〜ｓ３を選択する必要がある。すなわち、成分ｓ３を成分ｓ１，ｓ２に対して線形独立に選択することが望ましい。 The norm of the vector on the left side of Equation (3) is the product of the incident light intensity E and the Lambertian diffuse reflectance ρ d , and the normalized vector is calculated as the surface normal vector of the object. That is, since the intensity E and Lambertian diffuse reflectance [rho d of the incident light appears only condition in the form of the product, when the Iro d regarded as a single variable, the equation (10) is the unit surface normal vector n 2 Together with the degree of freedom, it can be regarded as a simultaneous equation that determines three unknown variables. Therefore, each variable can be determined by acquiring luminance information using at least three light sources. Note that when the incident light matrix S is not a regular matrix, there is no inverse matrix, so it is necessary to select the components s 1 to s 3 of the incident light matrix S so that the incident light matrix S becomes a regular matrix. That is, it is desirable to select the component s3 linearly independent of the components s1 and s2.
また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。 Further, when M> 3, more conditional expressions are obtained than the unknown variable to be obtained. Therefore, the unit plane normal vector n may be calculated from the arbitrarily selected three conditional expressions in the same manner as in the case of M = 3. . When four or more conditional expressions are used, the incident light matrix S is not a regular matrix. For example, an approximate solution may be calculated using a Moore-Penrose pseudo inverse matrix. Further, the unit surface normal vector n may be calculated by a fitting method or an optimization method.
被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。 If the reflection characteristics of the object are assumed to be a model different from the Lambertian reflection model, the conditional expression may be different from the linear equation for each component of the unit surface normal vector n. In that case, if a conditional expression greater than the unknown variable is obtained, a fitting method or an optimization method can be used.
また、Ｍ＞３の場合には３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば以下の式（４）で示される評価関数が最小となる解を選択すればよい。 Further, when M> 3, a plurality of conditional expressions of 3 or more and M−1 or less are obtained, so that a plurality of solution candidates for the unit surface normal vector n can be obtained. In this case, a solution may be selected from a plurality of solution candidates using yet another condition. For example, the continuity of the unit surface normal vector n can be used as a condition. When the unit surface normal n is calculated for each pixel of the imaging device, if the surface normal at the pixel (x, y) is n (x, y) and n (x−1, y) is known What is necessary is just to select the solution with which the evaluation function shown by the following formula | equation (4) becomes the minimum.
また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。 If n (x + 1, y) and n (x, y ± 1) are also known, a solution that minimizes the following equation (5) may be selected.
既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示される式（５）の全画素での総和が最小となるように解を選択してもよい。 If there is no known surface normal and there is an indefiniteness of the surface normal at all pixel positions, the solution is such that the sum of all the pixels in equation (5) shown in equation (6) below is minimized. May be selected.
なお、最近傍以外の画素での面法線を用いてもよいし、注目する画素位置からの距離に応じて重みづけした評価関数を用いてもよい。 Note that a surface normal at a pixel other than the nearest pixel may be used, or an evaluation function weighted according to the distance from the pixel position of interest may be used.
また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。 Further, as another condition, luminance information at an arbitrary light source position may be used. In the diffuse reflection model typified by the Lambert reflection model, the brightness of the reflected light increases as the unit surface normal vector and the light source direction vector are closer. Therefore, the unit surface normal vector can be determined by selecting a solution close to the light source direction vector having the largest luminance value among the luminance values in the plurality of light source directions.
また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をｖとすると、以下の式（７）が成り立つ。 In the specular reflection model, when the light source vector is s and the unit vector in the direction from the object to the camera (camera line-of-sight vector) is v, the following equation (7) is established.
式（７）に示されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。 As shown in Expression (7), if the light source direction vector s and the camera line-of-sight vector v are known, the unit surface normal vector n can be calculated. When the surface is rough, the specular reflection also has a broad emission angle, but spreads in the vicinity of the solution obtained as a smooth surface, so it is only necessary to select a candidate closest to the solution for the smooth surface among a plurality of solution candidates. . Further, the true solution may be determined by the average of a plurality of solution candidates.
図１は本実施例の撮像装置１の外観図であり、図２Ａは撮像装置１のブロック図である。撮像装置１は、被写体を撮像する撮像部１００および光源部２００を備える。撮像部１００は、撮像光学系１０１を備える。光源部２００は、撮像光学系１０１の光軸を中心とする同心円状に等間隔で配置される８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部２００は３個以上の光源を備えていればよい。また、本実施例では光源部２００は複数の光源を撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部２００は、撮像装置１に内蔵されているが、着脱可能に取り付けられる構成としてもよい。レリーズボタン３００は、撮影やオートフォーカスを作動させるためのボタンである。 FIG. 1 is an external view of the image pickup apparatus 1 of the present embodiment, and FIG. 2A is a block diagram of the image pickup apparatus 1. The imaging apparatus 1 includes an imaging unit 100 and a light source unit 200 that image a subject. The imaging unit 100 includes an imaging optical system 101. The light source unit 200 includes eight light sources arranged at equal intervals in a concentric circle centered on the optical axis of the imaging optical system 101. In addition, since at least three light sources are required when the illuminance difference stereo method is performed, the light source unit 200 only needs to include three or more light sources. In the present embodiment, the light source unit 200 has a plurality of light sources arranged concentrically around the optical axis of the imaging optical system 101 at equal intervals, but the present invention is not limited to this. In the present embodiment, the light source unit 200 is built in the imaging apparatus 1, but may be configured to be detachably attached. The release button 300 is a button for operating shooting and autofocus.
撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。本実施例では、撮像光学系１０１は、撮像装置１に内蔵されているが、一眼レフカメラのように撮像装置１に着脱可能に取り付けられる構成であってもよい。撮像素子１０２はＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されるアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。 The imaging optical system 101 includes a stop 101 a and forms an image of light from a subject on the imaging element 102. In the present embodiment, the imaging optical system 101 is built in the imaging apparatus 1, but may be configured to be detachably attached to the imaging apparatus 1 like a single-lens reflex camera. The imaging element 102 is configured by a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and images a subject. An analog electrical signal generated by photoelectric conversion of the image sensor 102 is converted into a digital signal by the A / D converter 103 and input to the image processing unit 104.
画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、被写体の面法線情報を取得する。画像処理部１０４は、面法線情報を取得する法線取得部１０４ａ、通常撮影画像と面法線情報に基づいて画像を生成する画像生成部１０４ｂ、および被写体距離を算出する被写体距離算出部１０４ｃを備える。画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を、表示部１０５に表示してもよい。本実施例では、法線取得部１０４ａ、画像生成部１０４ｂ、および被写体距離算出部１０４ｃは、撮像装置１に内蔵されているが、後述するように撮像装置１とは別に構成されてもよい。 The image processing unit 104 acquires surface normal information of the subject together with image processing generally performed on the digital signal. The image processing unit 104 includes a normal acquisition unit 104a that acquires surface normal information, an image generation unit 104b that generates an image based on a normal captured image and surface normal information, and a subject distance calculation unit 104c that calculates a subject distance. Is provided. The output image processed by the image processing unit 104 is stored in an image recording unit 109 such as a semiconductor memory or an optical disk. Further, the output image may be displayed on the display unit 105. In this embodiment, the normal acquisition unit 104a, the image generation unit 104b, and the subject distance calculation unit 104c are built in the imaging device 1, but may be configured separately from the imaging device 1 as described later.
情報入力部１０８は、ユーザーによって選択された撮像条件（絞り値、露出時間、および焦点距離など）をシステムコントローラ１１０に供給する。照射光源制御部１０６は、システムコントローラ１１０からの指示に応じて光源部２００の発光状態を制御する。画像取得部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。ＲＯＭ１１１は、システムコントローラ１１０によって実行される各種のプログラムやそれに必要となるデータを格納している。さらに、光源情報や被写体距離に基づく撮影条件の補正値が記録されたテーブルを格納している。測光部１１２は、結像した光学像の露出状態を測定することで、ＡＥ（自動露出）処理を行うための被写体光量（明るさ）を検出する。すなわち、測光部１１２は、撮像装置１で撮影される被写界を測光する。なお、本実施例では、測光部１１２は、撮像装置１に内蔵されているが、撮像装置１とは別に設けられてもよい。 The information input unit 108 supplies the imaging condition (aperture value, exposure time, focal length, etc.) selected by the user to the system controller 110. The irradiation light source control unit 106 controls the light emission state of the light source unit 200 in accordance with an instruction from the system controller 110. The image acquisition unit 107 acquires an image under desired shooting conditions selected by the user based on information from the system controller 110. The ROM 111 stores various programs executed by the system controller 110 and data necessary for the programs. Furthermore, a table in which correction values of shooting conditions based on light source information and subject distance are recorded is stored. The photometric unit 112 detects the amount of light (brightness) of a subject for performing AE (automatic exposure) processing by measuring the exposure state of the formed optical image. That is, the photometry unit 112 measures the object scene photographed by the imaging device 1. In the present embodiment, the photometry unit 112 is built in the imaging apparatus 1, but may be provided separately from the imaging apparatus 1.
本実施例の画像処理について、図３のフローチャートを参照して説明する。図３は、本実施例の画像処理を示すフローチャートである。本実施例の画像処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。 The image processing of this embodiment will be described with reference to the flowchart of FIG. FIG. 3 is a flowchart showing the image processing of this embodiment. The image processing of this embodiment is executed by the system controller 110 and the image processing unit 104 according to a processing program for causing a computer to function as a processing device. The processing program may be recorded on a computer-readable recording medium, for example.
ステップＳ１００１では、システムコントローラ１１０は、情報入力部１０８からユーザーによって設定される撮像条件（絞り値や焦点距離など）を設定する。また、システムコントローラ１１０は、レリーズボタン３００の半押し動作に連動し、測光部１１２を制御して測光を行うことで測光値を取得する。さらに、システムコントローラ１１０は、画像取得部１０７を制御し、フォーカス制御および取得した測光値に基づく露出制御（露出時間設定やＩＳＯ感度設定）を行う。そして、上述した以外の撮影に必要な諸条件を設定し、全ての条件を第１撮像条件として設定を完了する。 In step S <b> 1001, the system controller 110 sets imaging conditions (aperture value, focal length, etc.) set by the user from the information input unit 108. The system controller 110 acquires a photometric value by controlling the photometry unit 112 and performing photometry in conjunction with the half-pressing operation of the release button 300. Further, the system controller 110 controls the image acquisition unit 107 to perform focus control and exposure control (exposure time setting and ISO sensitivity setting) based on the acquired photometric value. Then, various conditions necessary for photographing other than those described above are set, and the setting is completed using all conditions as the first imaging conditions.
ステップＳ１００２では、システムコントローラ１１０は、レリーズボタン３００の全押し動作に連動し、第１撮像条件にて通常撮影画像（第１の画像）を撮影する。通常撮影画像は、従来のカメラで設定されるように、所望の測光領域内が適正露出となるように露出制御された画像である。図４（ａ）は、第１撮像条件で撮影された第１の画像の一例である。図４（ａ）では、主要被写体として画像の中心の人物が設定され、人物の顔領域が適正露出となるように制御されている。また、図４（ｂ）は、第１撮像条件で撮影された面法線情報の算出に用いる画像の一例である。照度差ステレオ方式では、面法線情報を取得する主要被写体に対して光源を照射する必要があるため、光源を照射しない状態での適正露出条件で撮影すると図４（ｂ）に示されるように、人物の顔領域で白とびが発生してしまう。白とびが発生した領域については、真の輝度値が得られないため、照度差ステレオ法の原理により算出される面法線情報は、真の面法線情報からずれた値となる。 In step S <b> 1002, the system controller 110 captures a normal captured image (first image) under the first imaging condition in conjunction with the full pressing operation of the release button 300. The normal photographed image is an image whose exposure is controlled so that the desired photometry area is properly exposed as set by a conventional camera. FIG. 4A is an example of a first image captured under the first imaging condition. In FIG. 4A, the person at the center of the image is set as the main subject, and control is performed so that the face area of the person is properly exposed. FIG. 4B is an example of an image used for calculation of surface normal information captured under the first imaging condition. In the illuminance difference stereo method, since it is necessary to irradiate the main subject for obtaining the surface normal information with the light source, as shown in FIG. Overexposure occurs in the face area of a person. Since the true luminance value cannot be obtained for the area where the whiteout occurs, the surface normal information calculated based on the principle of the illuminance difference stereo method is a value deviated from the true surface normal information.
ステップＳ１００３では、システムコントローラ１１０は、面法線情報の算出に用いる複数の画像（第２の画像）を取得する際の第２撮像条件を設定する。第２撮像条件のうち露出条件（露出時間設定、ＩＳＯ感度設定、絞り値）以外の撮像条件は、第１の撮像条件と同一である。このように設定することで、第１の画像と第２の画像間で画角やピント面が同じとなり、後述するレンダリング画像生成時の幾何変形などの処理負荷を低減できる。 In step S1003, the system controller 110 sets a second imaging condition for acquiring a plurality of images (second images) used for calculating the surface normal information. Imaging conditions other than the exposure conditions (exposure time setting, ISO sensitivity setting, aperture value) among the second imaging conditions are the same as the first imaging conditions. By setting in this way, the angle of view and the focus plane are the same between the first image and the second image, and the processing load such as geometrical deformation at the time of rendering image generation described later can be reduced.
ここで、露出条件を設定する方法について、図５を参照して説明する。図５は、撮像条件補正データを示す図である。露出条件は、図５（ａ）に示されるテーブル１を使用し、ＲＯＭ１１１が記録する光源情報に基づいて設定される。光源部２００は、発光強度を３段階で設定され、１段階上がるごとに発光量を２倍ずつ増加させる。テーブル１には、任意の標準距離と標準被写体で、各発光強度において白とび現象の回避に必要な露出条件の下げ幅があらかじめ反映されている。テーブル１では、白とびを回避するために、光源部２００の発光強度が１の場合に露出条件を１段下げ、発光強度が３の場合に露出条件を３段下げる。このようＲＯＭ１１がテーブル１を保持することで、光源部２００の発光強度に基づいて自動的に第２撮像条件を設定することができる。照度差ステレオ方式では、面法線を取得する主要被写体に対して光源を照射する必要があるため、基本的には第２撮像条件は第１撮像条件に対して露出を下げる設定となる。 Here, a method for setting the exposure condition will be described with reference to FIG. FIG. 5 is a diagram showing the imaging condition correction data. The exposure condition is set based on the light source information recorded by the ROM 111 using the table 1 shown in FIG. The light source unit 200 sets the light emission intensity in three steps, and increases the light emission amount by a factor of 2 each time the light intensity increases by one step. Table 1 reflects in advance the amount of reduction in exposure conditions necessary to avoid overexposure at each emission intensity at an arbitrary standard distance and standard subject. In Table 1, in order to avoid overexposure, when the light emission intensity of the light source unit 200 is 1, the exposure condition is lowered by one step, and when the light emission intensity is 3, the exposure condition is lowered by three steps. Since the ROM 11 holds the table 1 as described above, the second imaging condition can be automatically set based on the light emission intensity of the light source unit 200. In the illuminance-difference stereo method, it is necessary to irradiate a light source to a main subject for which a surface normal is acquired. Therefore, basically, the second imaging condition is set to lower the exposure with respect to the first imaging condition.
また、露出条件は、図５（ｂ）に示されるテーブル２を使用し、ＲＯＭ１１１が記録する光源情報と被写体距離に基づいて設定されてもよい。被写体距離は、ステップＳ１００１で第１撮像条件を設定する際にオートフォーカスまたはユーザーが手動でフォーカスを行った際のフォーカスレンズの位置に基づいて、被写体距離算出部１０４ｃにより推定される。また、異なる視点から撮影された複数の視差画像を取得し、ステレオ法によって被写体距離を推定してもよい。ステレオ法では、撮影された複数の視差画像中の被写体の対応点の視差量、撮影した各視点の位置情報および光学系の焦点距離から、三角測量によって奥行きを推定する。なお、ステレオ法で推定される被写体距離は、被写体中の対応点で算出された奥行きの平均値としてもよいし、被写体中の特定の点における奥行きとしてもよい。 The exposure condition may be set based on the light source information recorded by the ROM 111 and the subject distance using the table 2 shown in FIG. The subject distance is estimated by the subject distance calculation unit 104c based on the position of the focus lens when the first imaging condition is set in step S1001 or when the user manually focuses. Alternatively, a plurality of parallax images taken from different viewpoints may be acquired, and the subject distance may be estimated by a stereo method. In the stereo method, the depth is estimated by triangulation from the amount of parallax of the corresponding point of the subject in the plurality of captured parallax images, the positional information of each captured viewpoint and the focal length of the optical system. Note that the subject distance estimated by the stereo method may be an average value of depths calculated at corresponding points in the subject or may be a depth at a specific point in the subject.
視差画像から被写体距離を推定する場合、撮像部（撮像系）は、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる。図６は、撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部であるＧ１画素とＧ２画素を備える画素群が複数配列されている。カラーフィルタＣＦは、撮像素子の前方に配置されている。Ｇ１画素とＧ２画素は、共通の（すなわち、画素群ごとに１つずつ設けられた）マイクロレンズ（光学素子）ＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。具体的には、Ｇ１画素は射出瞳ＥＸＰ上のＰ１領域と共役な関係を有し、Ｇ２画素はＰ２領域と共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群といい、撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群という。 When estimating the subject distance from the parallax image, the imaging unit (imaging system) conducts photoelectric conversion by guiding a plurality of light beams that have passed through different areas of the pupil of the imaging optical system to different light receiving units (pixels) in the imaging device. To do. FIG. 6 is a diagram illustrating the relationship between the light receiving unit of the image sensor and the pupil of the imaging optical system. In the imaging device, a plurality of pixel groups each including G1 pixels and G2 pixels which are light receiving portions are arranged. The color filter CF is disposed in front of the image sensor. The G1 pixel and the G2 pixel have a conjugate relationship with the exit pupil EXP of the imaging optical system via a common microlens (optical element) ML (that is, one for each pixel group). Specifically, the G1 pixel has a conjugate relationship with the P1 region on the exit pupil EXP, and the G2 pixel has a conjugate relationship with the P2 region. A plurality of G1 pixels arranged in the image sensor are collectively referred to as a G1 pixel group, and a plurality of G2 pixels arranged in the image sensor are collectively referred to as a G2 pixel group.
図７は、図６のマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に厚さが無い仮想的な薄肉レンズが配置されていると仮定した場合の撮像系の模式図である。撮像している物点ＯＳＰからの光束は、透過する射出瞳ＥＸＰ内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。物点ＯＳＰには必ずしも物体が存在している必要はなく、この点を通った光束はそれが通過する射出瞳ＥＸＰ内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。Ｇ１画素は、射出瞳ＥＸＰのうちＰ１領域を透過した光束を受光し、受光した光束を光電変換する。Ｇ２画素は、射出瞳ＥＸＰのうちＰ２領域を透過した光束を受光し、受光した光束を光電変換する。射出瞳ＥＸＰ上の互いに異なる領域を光束が透過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１画素およびＧ２画素のうち、Ｇ１画素群からの出力信号を用いて生成される画像とＧ２画素群からの出力信号を用いて生成される画像とが、互いに視差を有する複数（図７では１対）の視差画像となる。以下の説明において、射出瞳ＥＸＰ内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。なお、図６および図７において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではない場合やＰ１領域とＰ２領域とが部分的にオーバーラップする場合でも得られた複数の画像を視差画像として扱うことができる。なお、撮像系は、１つの撮像装置に複数の撮像光学系を設けることで視差画像を取得してもよいし、複数のカメラを用いて同一被写体を撮像して視差画像を取得してもよい。 FIG. 7 is a schematic diagram of the imaging system when it is assumed that a virtual thin lens having no thickness is disposed at the position of the exit pupil EXP instead of the microlens ML of FIG. The light beam from the object point OSP being imaged is incident on the G1 pixel or the G2 pixel according to the region (position) in the transmitting exit pupil EXP. An object does not necessarily exist at the object point OSP, and the light beam passing through this point enters the G1 pixel or the G2 pixel depending on the region (position) in the exit pupil EXP through which the object passes. The G1 pixel receives a light beam that has passed through the P1 region of the exit pupil EXP, and photoelectrically converts the received light beam. The G2 pixel receives a light beam that has passed through the P2 region of the exit pupil EXP, and photoelectrically converts the received light beam. The transmission of light beams through different areas on the exit pupil EXP corresponds to the separation of incident light from the object point OSP by the angle (parallax). That is, among the G1 pixel and G2 pixel provided for each microlens ML, an image generated using an output signal from the G1 pixel group and an image generated using an output signal from the G2 pixel group However, a plurality of (one pair in FIG. 7) parallax images having parallax with each other. In the following description, receiving a light beam that has passed through different areas in the exit pupil EXP by different light receiving parts (pixels) is called pupil division. 6 and 7, the plurality of obtained plural pupils obtained even when the conjugate relationship described above is not perfect or the P1 region and the P2 region partially overlap each other due to the position of the exit pupil EXP being shifted. Images can be treated as parallax images. Note that the imaging system may acquire a parallax image by providing a plurality of imaging optical systems in one imaging apparatus, or may acquire a parallax image by capturing the same subject using a plurality of cameras. .
テーブル２において、被写体への照射光量は、光源の発光量と被写体距離に依存し、特に被写体距離の２乗で減衰する。そのため、被写体距離を用いることで、より精度よく白とびを回避するための露出条件を設定することが可能となる。テーブル２では、白とびを回避するために、光源部２００の発光強度が１で被写体距離が５００ｍｍの場合に露出条件を５段下げ、発光強度が３で被写体距離が２０００ｍｍの場合にでは露出条件を３段下げる。このようにテーブル２を保持することで、光源部２００の発光強度と被写体距離に基づいて自動的に第２撮像条件を設定することができる。 In Table 2, the amount of light applied to the subject depends on the light emission amount of the light source and the subject distance, and is attenuated particularly by the square of the subject distance. Therefore, by using the subject distance, it is possible to set an exposure condition for avoiding overexposure with higher accuracy. In Table 2, in order to avoid overexposure, when the light emission intensity of the light source unit 200 is 1 and the subject distance is 500 mm, the exposure condition is lowered by five steps, and when the light emission intensity is 3 and the subject distance is 2000 mm, the exposure condition Down three steps. By holding the table 2 in this way, the second imaging condition can be automatically set based on the light emission intensity of the light source unit 200 and the subject distance.
面法線情報の算出に用いる複数の画像には、白とびの回避とともに、面法線の算出精度を向上させるために輝度の諧調も重要となる。そのため、単純に露出条件を落とすだけではなく、光源情報や被写体距離に基づいた露出条件の補正が重要となる。なお、ステップＳ１００３の処理は、ステップＳ１００２の処理の前に実行してもよい。 For a plurality of images used for calculation of surface normal information, luminance gradation is also important in order to avoid overexposure and improve surface normal calculation accuracy. Therefore, it is important to correct the exposure condition based on the light source information and the subject distance as well as simply reducing the exposure condition. Note that the process of step S1003 may be executed before the process of step S1002.
ステップＳ１００４では、システムコントローラ１１０は、第２の撮像条件にて面法線情報の算出に用いる複数の画像（第２の画像）を取得する。具体的には、システムコントローラ１１０は、照射光源制御部１０６を介して光源部２００の互いに位置の異なる少なくとも３つ以上の光源からの光を被写体に順次照射させ、画像取得部１０７を介して撮像部１００に被写体を撮像させる。そして、撮像素子１０２から出力されるアナログ信号は、Ａ／Ｄコンバータ１０３によりＡ／Ｄ変換され、デジタル信号として撮影画像（輝度情報）を形成する。画像処理部１０４は、通常の現像処理や各種の画像補正処理を実行してもよい。 In step S1004, the system controller 110 acquires a plurality of images (second images) used for calculation of surface normal information under the second imaging condition. Specifically, the system controller 110 sequentially irradiates the subject with light from at least three light sources having different positions from the light source unit 200 via the irradiation light source control unit 106, and performs imaging via the image acquisition unit 107. The unit 100 is caused to image the subject. The analog signal output from the image sensor 102 is A / D converted by the A / D converter 103 to form a captured image (luminance information) as a digital signal. The image processing unit 104 may execute normal development processing and various image correction processing.
ステップＳ１００５では、システムコントローラ１１０は、法線取得部１０４ａに、ステップＳ１００４で取得される輝度情報の変化に基づいて、面法線情報を取得させる。法線取得部１０４ａは、照度差ステレオ法を用いて複数の画像間の輝度情報の変化に基づいて面法線情報を取得する。 In step S1005, the system controller 110 causes the normal acquisition unit 104a to acquire surface normal information based on the change in the luminance information acquired in step S1004. The normal line acquisition unit 104a acquires surface normal line information based on a change in luminance information between a plurality of images using an illuminance difference stereo method.
ステップＳ１００６では、システムコントローラ１１０は、画像生成部１０４ｂに、通常撮影画像と算出された面法線情報に基づいてレンダリング画像（第３の画像）を生成させる。画像生成部１０４ｂにより生成される画像やステップＳ１００５で算出される面法線情報は、画像記録部１０９に保存される。ここで、レンダリング画像とは、被写体の見えを変更した画像の一例であり、光源の位置や強度、角度特性、波長、個数など各種光源条件を変更した際の被写体の見えを画像処理によって再現した画像等を含む。具体的には、画像生成部１０４ｂは、対象被写体に対して算出した面法線情報、仮想的または別途測定した反射特性、およびユーザーが所望する光源条件を用いることで、物理モデルに基づく画像生成を行う。所望の測光領域内が適正露出である通常撮影画像をベース画像として用いることにより、鏡面被写体や透明被写体といった照度差ステレオ法が対応困難な領域の画質劣化を低減することができる。また、ステップＳ１００３で実行される露出制御により、面法線情報の算出に用いる複数の画像の白とびの発生を防ぐことができ、その他の領域については精度よく面法線を算出することができる。 In step S1006, the system controller 110 causes the image generation unit 104b to generate a rendering image (third image) based on the normal captured image and the calculated surface normal information. The image generated by the image generation unit 104b and the surface normal information calculated in step S1005 are stored in the image recording unit 109. Here, the rendered image is an example of an image in which the appearance of the subject is changed, and the appearance of the subject is reproduced by image processing when various light source conditions such as the position, intensity, angle characteristics, wavelength, and number of light sources are changed. Includes images. Specifically, the image generation unit 104b generates the image based on the physical model by using the surface normal information calculated for the target subject, the reflection characteristics that are virtually or separately measured, and the light source condition desired by the user. I do. By using a normal photographed image in which a desired photometric area has a proper exposure as a base image, it is possible to reduce image quality degradation in areas where it is difficult to deal with the illuminance difference stereo method, such as a specular subject or a transparent subject. Further, the exposure control executed in step S1003 can prevent the occurrence of overexposure in a plurality of images used for calculating the surface normal information, and the surface normal can be accurately calculated for other regions. .
なお、本実施例では撮像装置１内でレンダリング画像を生成しているが、図２Ｂに示されるように、撮像装置１とは異なる処理システム２を用いてレンダリング画像を生成してもよい。図２Ｂに示される処理システム２は、処理装置６００、被写体距離算出部６０１、光源部６０２、撮像部６０３、および法線取得部６０４を備える。処理装置６００は、撮像条件を設定する撮像制御部６００ａおよびレンダリング画像を生成する画像生成部６００ｂを備える。処理システム２を用いてレンダリング画像を生成する場合、まず、撮像制御部６００ａは、第１撮像条件で撮像部６０３に第１撮像条件で第１の画像を撮像させる。次に、撮像制御部６００ａは、被写体を照明する光源部６０２の配置を互いに異ならせて第２撮像条件で撮像部６０３に複数の第２の画像を撮像させる。次に、画像生成部６００ｂは、第１の画像と複数の第２の画像から取得される輝度情報の変化を用いて法線取得部６０４により取得される面法線情報に基づいてレンダリング画像を生成する。なお、処理システム２は少なくとも処理装置６００と法線取得部６０４を備えていればよく、処理装置６００が法線取得部６０４を備えていてもよい。また、被写体距離算出部６０１および光源部６０２はそれぞれ、個別の装置であってもよいし、撮像部６０３に搭載されていてもよい。 In the present embodiment, the rendering image is generated in the imaging device 1, but the rendering image may be generated using a processing system 2 different from the imaging device 1, as shown in FIG. 2B. The processing system 2 illustrated in FIG. 2B includes a processing device 600, a subject distance calculation unit 601, a light source unit 602, an imaging unit 603, and a normal line acquisition unit 604. The processing device 600 includes an imaging control unit 600a that sets imaging conditions and an image generation unit 600b that generates a rendering image. When a rendering image is generated using the processing system 2, first, the imaging control unit 600 a causes the imaging unit 603 to capture a first image under the first imaging condition under the first imaging condition. Next, the imaging control unit 600a causes the imaging unit 603 to capture a plurality of second images under the second imaging condition by changing the arrangement of the light source units 602 that illuminate the subject. Next, the image generation unit 600b generates a rendering image based on the surface normal information acquired by the normal acquisition unit 604 using a change in luminance information acquired from the first image and the plurality of second images. Generate. The processing system 2 only needs to include at least the processing apparatus 600 and the normal line acquisition unit 604, and the processing apparatus 600 may include the normal line acquisition unit 604. Further, each of the subject distance calculation unit 601 and the light source unit 602 may be an individual device or may be mounted on the imaging unit 603.
以上説明したように、ベース画像となる通常撮影画像と面法線情報の算出に用いる複数の画像を撮影する際の撮影条件を適切に制御することで、面法線の算出精度の低下を抑制することができ、レンダリング画像の画質をより向上させることが可能となる。 As explained above, by controlling the shooting conditions when shooting the base image and the multiple images used to calculate the surface normal information, the deterioration of the surface normal calculation accuracy is suppressed. It is possible to improve the quality of the rendered image.
本実施例の撮像装置は実施例１の撮像装置と同様の構成であるため、詳細な説明は省略する。本実施例の画像処理について、図８のフローチャートを参照して説明する。図８は、本実施例の画像処理を示すフローチャートである。本実施例の画像処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。 Since the imaging apparatus of the present embodiment has the same configuration as that of the imaging apparatus of Embodiment 1, detailed description thereof is omitted. The image processing of this embodiment will be described with reference to the flowchart of FIG. FIG. 8 is a flowchart showing the image processing of this embodiment. The image processing of this embodiment is executed by the system controller 110 and the image processing unit 104 according to a processing program for causing a computer to function as a processing device. The processing program may be recorded on a computer-readable recording medium, for example.
ステップＳ２００１およびステップＳ２００２は実施例１の図３のステップＳ１００１およびステップＳ１００２と同様の処理であるため、詳細な説明は省略する。 Steps S2001 and S2002 are the same processes as steps S1001 and S1002 of FIG. 3 of the first embodiment, and thus detailed description thereof is omitted.
ステップＳ２００３では、面法線情報の算出に用いる複数の画像（第２の画像）を取得する際の光源を用いて予備発光制御（プリ発光制御）を行う。さらに、予備発光時に測光部１１２が測光を行うことで第２測光値が取得される。なお、ステップＳ２００３は、ステップＳ２００２の処理の前に実行されてもよい。 In step S2003, preliminary light emission control (pre-light emission control) is performed using a light source for acquiring a plurality of images (second images) used for calculating surface normal information. Further, the second photometry value is acquired by the photometry unit 112 performing photometry during preliminary light emission. Note that step S2003 may be executed before the process of step S2002.
ステップＳ２００４では、システムコントローラ１１０は、ステップＳ２００３で取得される第２測光値に基づいて面法線情報の算出に用いる複数の画像を取得する際の第２撮像条件を設定する。第２撮像条件のうち露出条件（露出時間設定やＩＳＯ感度設定）以外の撮像条件は、第１撮像条件と同一である。予備発光時の測光による第２測光値を用いることで、光源情報、被写体距離、および被写体の反射率に基づく露出条件を設定することが可能となる。被写体の反射率まで加味することで、さらに精度よく第２撮像条件を設定することが可能となる。 In step S2004, the system controller 110 sets a second imaging condition for acquiring a plurality of images used for calculation of surface normal information based on the second photometric value acquired in step S2003. Imaging conditions other than the exposure conditions (exposure time setting and ISO sensitivity setting) in the second imaging conditions are the same as the first imaging conditions. By using the second photometric value obtained by photometry during preliminary light emission, it is possible to set an exposure condition based on the light source information, the subject distance, and the reflectance of the subject. By taking into account the reflectance of the subject, the second imaging condition can be set with higher accuracy.
ステップＳ２００５〜ステップＳ２００７は実施例１の図３のステップＳ１００４〜ステップＳ１００６と同様の処理であるため、詳細な説明は省略する。 Steps S2005 to S2007 are the same as steps S1004 to S1006 in FIG. 3 of the first embodiment, and thus detailed description thereof is omitted.
以上説明したように、ベース画像となる通常撮影画像と面法線情報の算出に用いる複数の画像を撮影する際の撮影条件を適切に制御することで、面法線の算出精度の低下を抑制することができ、レンダリング画像の画質をより向上させることが可能となる。 As explained above, by controlling the shooting conditions when shooting the base image and the multiple images used to calculate the surface normal information, the deterioration of the surface normal calculation accuracy is suppressed. It is possible to improve the quality of the rendered image.
図１０は本実施例の撮像装置３の外観図であり、図１１は撮像装置３のブロック図である。撮像装置３の撮像部４００および光源部５００以外の構成は実施例１の撮像装置１と同様であるため、詳細な説明は省略する。 FIG. 10 is an external view of the image pickup apparatus 3 of the present embodiment, and FIG. 11 is a block diagram of the image pickup apparatus 3. Since configurations other than the imaging unit 400 and the light source unit 500 of the imaging device 3 are the same as those of the imaging device 1 of the first embodiment, detailed description thereof is omitted.
撮像装置３は、被写体を撮像する撮像部４００および不可視光（可視光とは異なる波長領域の光）である近赤外光を照射可能な光源部５００を備える。本実施例では、波長４００ｎｍ以上７００ｎｍ以下の波長領域の光を可視光としている。また、本実施例では不可視光として近赤外光を用いているが、可視光とは異なる波長領域の光であれば、赤外光であってもよいし、紫外光であってもよい。撮像部４００は、撮像光学系４０１を備える。光源部５００は、撮像光学系４０１の光軸を中心とする同心円状に等間隔で配置される８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部５００は３個以上の光源を備えていればよい。また、本実施例では光源部５００は複数の光源を撮像光学系４０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部５００は、撮像装置３に内蔵されているが、着脱可能に取り付けられる構成としてもよい。 The imaging device 3 includes an imaging unit 400 that captures an image of a subject and a light source unit 500 that can emit near-infrared light that is invisible light (light in a wavelength region different from visible light). In this embodiment, light in the wavelength region of wavelength 400 nm or more and 700 nm or less is visible light. In this embodiment, near-infrared light is used as invisible light. However, infrared light or ultraviolet light may be used as long as the light has a wavelength region different from that of visible light. The imaging unit 400 includes an imaging optical system 401. The light source unit 500 includes eight light sources arranged at equal intervals in a concentric circle centered on the optical axis of the imaging optical system 401. In addition, since at least three light sources are required when the illuminance difference stereo method is performed, the light source unit 500 only needs to include three or more light sources. In the present embodiment, the light source unit 500 has a plurality of light sources arranged concentrically around the optical axis of the imaging optical system 401 at equal intervals, but the present invention is not limited to this. Further, in the present embodiment, the light source unit 500 is built in the imaging device 3, but may be configured to be detachably attached.
撮像光学系４０１は、絞り４０１ａおよび近赤外光の透過または反射を制御する波長選択性撮像フィルタ（以下、ＦＬという）４０１ｂを備え、被写体からの光を撮像素子１０２上に結像させる。不可視光を発光する光源部５００が点灯される場合、画像取得部１０７はＦＬ４０１ｂを退避させることで撮像素子１０２に不可視光を透過させる。本実施例ではＦＬ４０１ｂを退避させて撮像素子１０２に不可視光を透過させているが、電気的な制御によってＦＬ４０１ｂの組成を変化させることで、透過率や反射率を低下させ撮像素子１０２へ不可視光を透過させてもよい。また、撮像素子１０２がＲ，Ｇ，Ｂ光に対応する画素と近赤外光に対応する画素を備えることで、解像度は低下するがＦＬ４０１ｂを用いずに波長分離して撮像可能となる。 The imaging optical system 401 includes a diaphragm 401 a and a wavelength selective imaging filter (hereinafter referred to as “FL”) 401 b that controls transmission or reflection of near-infrared light, and forms an image of light from the subject on the imaging element 102. When the light source unit 500 that emits invisible light is turned on, the image acquisition unit 107 causes the image sensor 102 to transmit invisible light by retracting the FL 401b. In this embodiment, the FL 401b is retracted and invisible light is transmitted through the image sensor 102. However, by changing the composition of the FL 401b by electrical control, the transmittance and reflectance are reduced, and invisible light is transmitted to the image sensor 102. May be transmitted. In addition, since the image sensor 102 includes pixels corresponding to R, G, and B light and pixels corresponding to near-infrared light, the resolution is reduced, but wavelength separation can be performed without using the FL 401b.
本実施例の構成を用いて面法線を算出する場合、実施例１の図３で示されるフローおよび実施例２の図８で示されるフローを援用することができる。実施例１のフローを援用した場合は、図３のステップＳ１００３において、ＲＯＭ１１１が記録する露出条件の補正値にＦＬ４０１ｂの特性を反映させておく必要がある。また、ステップＳ１００４を実行する際にＦＬ４０１ｂを退避させる、または電気的な制御によってＦＬ４０１ｂの組成を変化させることで、透過率や反射率を低下させて撮像素子１０２へ不可視光を透過させる制御を加える必要がある。実施例２のフローを援用する場合は、図８のステップＳ２００３〜ステップＳ２００５を実行する際に、ＦＬ４０１ｂを退避または電気的な制御によってＦＬ４０１ｂの組成を変化させる制御を加える必要がある。 When the surface normal is calculated using the configuration of this embodiment, the flow shown in FIG. 3 of the first embodiment and the flow shown in FIG. 8 of the second embodiment can be used. When the flow of the first embodiment is used, it is necessary to reflect the characteristics of the FL 401b in the exposure condition correction value recorded by the ROM 111 in step S1003 of FIG. In addition, when executing step S1004, the FL 401b is retracted, or the composition of the FL 401b is changed by electrical control, so that the transmittance and the reflectance are reduced and control for transmitting invisible light to the image sensor 102 is added. There is a need. When the flow of the second embodiment is used, when executing Steps S2003 to S2005 of FIG. 8, it is necessary to add control for changing the composition of FL401b by retracting FL401b or by electrical control.
本実施例では、不可視光光源のみを用いて面法線情報の算出に用いる複数の画像を取得することで、人物の法線情報を推定する際にも眩しさによる不快感を低減させることができる。さらに、実施例１，２と同様に、ベース画像となる通常撮影画像と面法線情報の算出に用いる複数の画像を撮影する際の撮影条件を適切に制御することで、面法線の算出精度の低下を抑制することができ、レンダリング画像の画質をより向上させることが可能となる。 In this embodiment, by obtaining a plurality of images used for calculating surface normal information using only an invisible light source, it is possible to reduce discomfort due to glare even when estimating the normal information of a person. it can. Further, as in the first and second embodiments, the normal normal image is calculated by appropriately controlling the photographing conditions when photographing a plurality of images used for calculating the normal photographing image and the surface normal information as a base image. A decrease in accuracy can be suppressed, and the quality of the rendered image can be further improved.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
６００ 処理装置
６００ａ 撮像制御部
６００ｂ 画像生成部
600 Processing Device 600a Imaging Control Unit 600b Image Generation Unit
Claims (21)
前記第１の画像と、３つ以上の前記第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成する画像生成部と、を有することを特徴とする処理装置。 The imaging unit is made to capture the first image under the first imaging condition, and the subject is sequentially irradiated with light from the light source from three or more different positions, and the first imaging condition is different for each irradiation. An imaging control unit that causes the imaging unit to capture a second image under two imaging conditions;
An image generation unit that generates a third image based on the first image and surface normal information acquired using three or more second images. Processing equipment.
３つ以上の前記第２の画像を用いて面法線情報を取得する法線取得部と、
前記第１の画像と前記面法線情報とに基づいて第３の画像を生成する画像生成部と、を有することを特徴とする処理システム。 The imaging unit is made to capture the first image under the first imaging condition, and the subject is sequentially irradiated with light from the light source from three or more different positions, and the first imaging condition is different for each irradiation. An imaging control unit that causes the imaging unit to capture a second image under two imaging conditions;
A normal acquisition unit that acquires surface normal information using three or more second images;
A processing system comprising: an image generation unit configured to generate a third image based on the first image and the surface normal information.
第１撮像条件で前記撮像部に第１の画像を撮像させるとともに、３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させる撮像制御部と、
３つ以上の前記第２の画像を用いて面法線情報を取得する法線取得部と、
前記第１の画像と前記面法線情報とに基づいて第３の画像を生成する画像生成部と、を有することを特徴とする撮像装置。 An imaging unit that captures an image;
The imaging unit captures the first image under the first imaging condition, and the subject is sequentially irradiated with light from a light source from a plurality of three or more different positions, and differs from the first imaging condition for each irradiation. An imaging control unit that causes the imaging unit to capture a second image under a second imaging condition;
A normal acquisition unit that acquires surface normal information using three or more second images;
An imaging apparatus comprising: an image generation unit configured to generate a third image based on the first image and the surface normal information.
前記第２撮像条件は、前記光源の発光強度、前記第１撮像条件、および前記被写体距離に基づいて設定されることを特徴とする請求項９または１０に記載の撮像装置。 A subject distance calculation unit for calculating the subject distance;
11. The imaging apparatus according to claim 9, wherein the second imaging condition is set based on emission intensity of the light source, the first imaging condition, and the subject distance.
前記被写体距離算出部は、前記撮像光学系のフォーカスレンズの位置に基づいて前記被写体距離を算出することを特徴とする請求項１２に記載の撮像装置。 The imaging unit includes an imaging optical system,
The imaging apparatus according to claim 12, wherein the subject distance calculation unit calculates the subject distance based on a position of a focus lens of the imaging optical system.
前記第２撮像条件は、前記測光値および前記第１撮像条件に基づいて設定されることを特徴とする請求項９または１０に記載の撮像装置。 A photometric unit for detecting a photometric value of a subject at the time of preliminary light emission of the light source;
The imaging device according to claim 9 or 10, wherein the second imaging condition is set based on the photometric value and the first imaging condition.
前記撮像部は、前記不可視光の透過を低下させるフィルタを備え、
前記第１撮像条件と前記第２撮像条件では、前記フィルタの位置または組成が異なることを特徴とする請求項９から１６のいずれか１項に記載の撮像装置。 The light source emits invisible light in a wavelength region different from visible light,
The imaging unit includes a filter that reduces transmission of the invisible light,
The imaging apparatus according to any one of claims 9 to 16, wherein a position or a composition of the filter is different between the first imaging condition and the second imaging condition.
前記不可視光は、紫外光、近赤外光、および赤外光のうち少なくともいずれか１つであることを特徴とする請求項１７に記載の撮像装置。 The visible light is light having a wavelength of 400 nm to 700 nm,
The imaging device according to claim 17, wherein the invisible light is at least one of ultraviolet light, near infrared light, and infrared light.
３つ以上の互いに異なる複数の位置から光源からの光を被写体に順次照射させ、照射ごとに前記第１撮像条件とは異なる第２撮像条件で前記撮像部に第２の画像を撮像させるステップと、
前記第１の画像と、３つ以上の前記第２の画像を用いて取得される面法線情報と、に基づいて第３の画像を生成するステップと、を有することを特徴とする処理方法。 Causing the imaging unit to capture a first image under a first imaging condition;
Sequentially irradiating a subject with light from a light source from three or more different positions, and causing the imaging unit to capture a second image under a second imaging condition different from the first imaging condition for each irradiation; ,
Generating a third image based on the first image and surface normal information acquired using three or more of the second images, and a processing method comprising: .
A computer-readable recording medium on which the program according to claim 20 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015234636A JP2017102637A (en) | 2015-12-01 | 2015-12-01 | Processing apparatus, processing system, imaging device, processing method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015234636A JP2017102637A (en) | 2015-12-01 | 2015-12-01 | Processing apparatus, processing system, imaging device, processing method, program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017102637A true JP2017102637A (en) | 2017-06-08 |
| JP2017102637A5 JP2017102637A5 (en) | 2019-01-17 |
Family
ID=59016899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015234636A Pending JP2017102637A (en) | 2015-12-01 | 2015-12-01 | Processing apparatus, processing system, imaging device, processing method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017102637A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019036154A (en) * | 2017-08-17 | 2019-03-07 | 株式会社Ihi | Texture mapping device and texture mapping method |
| JP2019200140A (en) * | 2018-05-16 | 2019-11-21 | キヤノン株式会社 | Imaging apparatus, accessory, processing device, processing method, and program |
| JP2020008687A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Control device, accessory, imaging device, and imaging system |
| JP2020008955A (en) * | 2018-07-03 | 2020-01-16 | キヤノン株式会社 | Processing device, processing system, imaging device, processing method, program, and recording medium |
| JP2020119333A (en) * | 2019-01-24 | 2020-08-06 | キヤノン株式会社 | Image processing method, image processing device, image processing system, imaging device, program, and storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005341569A (en) * | 2004-05-17 | 2005-12-08 | Mitsubishi Electric Research Laboratories Inc | Method for generating stylized image of scene including object |
| JP2007206797A (en) * | 2006-01-31 | 2007-08-16 | Omron Corp | Image processing method and image processor |
| JP2010122158A (en) * | 2008-11-21 | 2010-06-03 | Juki Corp | Method for preparing body surface normal vector map |
| JP2010134045A (en) * | 2008-12-02 | 2010-06-17 | Nikon Corp | Device for controlling light emission of speed light, camera, photographing system and program for controlling light emission of speed light |
| JP2010187350A (en) * | 2009-02-13 | 2010-08-26 | Olympus Corp | Image capturing system, video signal processing program, and image capturing method |
| JP2013257340A (en) * | 2005-12-14 | 2013-12-26 | Koh Young Technology Inc | Three-dimensional shape measuring apparatus and method |
| WO2015015717A1 (en) * | 2013-07-30 | 2015-02-05 | パナソニックＩｐマネジメント株式会社 | Imaging device and imaging system, electronic mirroring system, and distance measurement device using same |
| JP2015034850A (en) * | 2013-08-07 | 2015-02-19 | オリンパス株式会社 | Photographing device and photographing method |
-
2015
- 2015-12-01 JP JP2015234636A patent/JP2017102637A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005341569A (en) * | 2004-05-17 | 2005-12-08 | Mitsubishi Electric Research Laboratories Inc | Method for generating stylized image of scene including object |
| JP2013257340A (en) * | 2005-12-14 | 2013-12-26 | Koh Young Technology Inc | Three-dimensional shape measuring apparatus and method |
| JP2007206797A (en) * | 2006-01-31 | 2007-08-16 | Omron Corp | Image processing method and image processor |
| JP2010122158A (en) * | 2008-11-21 | 2010-06-03 | Juki Corp | Method for preparing body surface normal vector map |
| JP2010134045A (en) * | 2008-12-02 | 2010-06-17 | Nikon Corp | Device for controlling light emission of speed light, camera, photographing system and program for controlling light emission of speed light |
| JP2010187350A (en) * | 2009-02-13 | 2010-08-26 | Olympus Corp | Image capturing system, video signal processing program, and image capturing method |
| WO2015015717A1 (en) * | 2013-07-30 | 2015-02-05 | パナソニックＩｐマネジメント株式会社 | Imaging device and imaging system, electronic mirroring system, and distance measurement device using same |
| JP2015034850A (en) * | 2013-08-07 | 2015-02-19 | オリンパス株式会社 | Photographing device and photographing method |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019036154A (en) * | 2017-08-17 | 2019-03-07 | 株式会社Ihi | Texture mapping device and texture mapping method |
| JP7047281B2 (en) | 2017-08-17 | 2022-04-05 | 株式会社Ihi | Texture mapping device and texture mapping method |
| JP2019200140A (en) * | 2018-05-16 | 2019-11-21 | キヤノン株式会社 | Imaging apparatus, accessory, processing device, processing method, and program |
| JP2020008955A (en) * | 2018-07-03 | 2020-01-16 | キヤノン株式会社 | Processing device, processing system, imaging device, processing method, program, and recording medium |
| JP7210170B2 (en) | 2018-07-03 | 2023-01-23 | キヤノン株式会社 | Processing device, processing system, imaging device, processing method, program, and recording medium |
| JP2020008687A (en) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | Control device, accessory, imaging device, and imaging system |
| JP7187192B2 (en) | 2018-07-06 | 2022-12-12 | キヤノン株式会社 | Controllers, accessories, imaging devices and imaging systems |
| JP2020119333A (en) * | 2019-01-24 | 2020-08-06 | キヤノン株式会社 | Image processing method, image processing device, image processing system, imaging device, program, and storage medium |
| JP7246943B2 (en) | 2019-01-24 | 2023-03-28 | キヤノン株式会社 | Image processing method, image processing device, image processing system, imaging device, program, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6786225B2 (en) | Image processing equipment, imaging equipment and image processing programs | |
| JP2017102637A (en) | Processing apparatus, processing system, imaging device, processing method, program, and recording medium | |
| US20100283870A1 (en) | Flash light compensation system for digital camera system | |
| JP2004212385A (en) | Photographic device, photographing method and control method for the photographic device | |
| JP6412386B2 (en) | Image processing apparatus, control method therefor, program, and recording medium | |
| JP6671915B2 (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| JP6425571B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP6877936B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| JP2015046019A (en) | Image processing device, imaging device, imaging system, image processing method, program, and storage medium | |
| JP2023115356A (en) | Measurement device, imaging device, control method, and program | |
| US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
| JP6353233B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP7118776B2 (en) | IMAGING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM AND RECORDING MEDIUM | |
| JP2004328657A (en) | Image input device, image input method and program | |
| JP2017161374A (en) | Processing apparatus, processing system, imaging device, processing method, program, and recording medium | |
| JP2018054413A (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| JP6910763B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| JP7213686B2 (en) | Shape measuring device, control method and program | |
| JP6862114B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| JP7309425B2 (en) | Processing device, processing system, imaging device, processing method, and program | |
| JP2004215236A (en) | Image processing apparatus | |
| JP7490457B2 (en) | Processing device, processing system, imaging device, processing method, and program | |
| JP7210170B2 (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| JP2020173591A (en) | Processing device, processing system, imaging apparatus, processing method, and program | |
| JP5515541B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181127 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200623 |