JP2017129561A - Measuring system, information processing device, information processing method, and program - Google Patents
Measuring system, information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP2017129561A JP2017129561A JP2016218206A JP2016218206A JP2017129561A JP 2017129561 A JP2017129561 A JP 2017129561A JP 2016218206 A JP2016218206 A JP 2016218206A JP 2016218206 A JP2016218206 A JP 2016218206A JP 2017129561 A JP2017129561 A JP 2017129561A
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- image
- pixel
- measurement
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
本発明は、物体の光学特性を測定する技術に関する。 The present invention relates to a technique for measuring optical characteristics of an object.
光源の照明方向や観察方向に応じて、表面の見え方が変化する物体がある。これは、物体の表面に照射した光の反射光が、照明方向や観察方向に応じて異なる特性をもつためである。そこで、このような物体の反射特性を測定する技術が広く知られている。特許文献１は、複数の角度の反射光を測定する方法について開示している。まず光源の位置に対応する所定領域内で受光部をスキャンし、受光量が最大となる正反射光の位置を特定する。そして、特定した正反射光の位置を基準として複数の測定位置を決定し、受光部を移動させて測光することで、測定対象物の反射特性を検出している。 There are objects whose surface appearance changes depending on the illumination direction and observation direction of the light source. This is because the reflected light of the light irradiated on the surface of the object has different characteristics depending on the illumination direction and the observation direction. Therefore, a technique for measuring the reflection characteristics of such an object is widely known. Patent Document 1 discloses a method for measuring reflected light at a plurality of angles. First, the light receiving unit is scanned within a predetermined area corresponding to the position of the light source, and the position of specularly reflected light that maximizes the amount of received light is specified. And the several measurement position is determined on the basis of the position of the specular reflection light specified, the reflection characteristic of the measurement object is detected by moving the light-receiving part and measuring the light.
しかしながら、特許文献１に記載の方法によれば、受光部を複数の位置に設定するために、モータやアームなどの機構を必要とするため、複雑な構成となる。
そこで本発明は、光源や受光部の位置を移動させるための機構を必要とせず、より簡易的な構成により物体の反射特性を測定することを目的とする。
However, according to the method described in Patent Document 1, since a mechanism such as a motor or an arm is required to set the light receiving unit at a plurality of positions, the configuration is complicated.
Therefore, an object of the present invention is to measure the reflection characteristic of an object with a simpler configuration without requiring a mechanism for moving the position of the light source or the light receiving unit.
上記課題を解決するため本発明は、互いに位相の異なる周期関数で変調した照明用画像に基づいて発光する複数の点光源により、測定物を照明する照明手段と、前記照明用画像に基づいて照明された測定物を撮影する撮影手段と、前記撮影手段で撮影した複数の画像に基づいて、各画素の輝度値の変化における位相情報を算出する第一の算出手段と、前記位相情報から前記測定物において反射方向が最大となる最大反射方向を取得する第一の取得手段と、を有する。 In order to solve the above problems, the present invention provides illumination means for illuminating a measurement object by a plurality of point light sources that emit light based on illumination images modulated by periodic functions having different phases, and illumination based on the illumination images. An imaging unit that images the measured object, a first calculation unit that calculates phase information in a change in luminance value of each pixel based on a plurality of images captured by the imaging unit, and the measurement from the phase information First acquisition means for acquiring a maximum reflection direction that maximizes the reflection direction of the object.
本発明によれば、簡易的な構成により物体の反射特性を測定することができる。 According to the present invention, the reflection characteristics of an object can be measured with a simple configuration.
本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。 DESCRIPTION OF EMBODIMENTS Embodiments for carrying out the present invention will be described with reference to the drawings. However, the constituent elements described in this embodiment are merely examples, and are not intended to limit the scope of the present invention.
［実施形態１］
まず、物体の反射特性について説明する。図１４は、物体の反射特性を説明する模式図である。曲線１５０２は、矢印の方向から点１５０１に向かって光を照射したときの反射特性を示し、点１５０１と曲線１５０２上の点とを結ぶ線分の長さが、点１５０１からその点の方向に反射する反射光の強度を示す。物体の表面で反射した光は、拡散反射成分と鏡面反射成分とに分離できる。拡散反射成分とは、入射光が測定面の内部で乱反射することで生じる成分であり、あらゆる方向において均一の強度で観察される。一方鏡面反射成分とは、入射光が測定面の表面で鏡面反射することで生じる光沢感に係る成分であり、特定の方向に偏った強度で観察される。以下では鏡面反射成分の強度が最大となる反射方向を最大反射方向と呼ぶ。鏡面反射成分の強度は、反射方向に関して最大反射方向を対称中心とする分布を示す。
[Embodiment 1]
First, the reflection characteristics of an object will be described. FIG. 14 is a schematic diagram for explaining the reflection characteristics of an object. A curve 1502 indicates the reflection characteristics when light is irradiated from the direction of the arrow toward the point 1501, and the length of the line segment connecting the point 1501 and the point on the curve 1502 extends from the point 1501 to the direction of the point. Indicates the intensity of reflected light to be reflected. The light reflected by the surface of the object can be separated into a diffuse reflection component and a specular reflection component. The diffuse reflection component is a component generated when the incident light is irregularly reflected inside the measurement surface, and is observed with uniform intensity in all directions. On the other hand, the specular reflection component is a component related to glossiness generated by the specular reflection of incident light on the surface of the measurement surface, and is observed with an intensity biased in a specific direction. Hereinafter, the reflection direction in which the intensity of the specular reflection component is maximum is referred to as the maximum reflection direction. The intensity of the specular reflection component shows a distribution with the maximum reflection direction as the center of symmetry with respect to the reflection direction.
図１（ｂ）は、実施形態１の測定システムが測定対象とするメタリック塗板の表面構造の模式図である。この塗板の表面は、透明なコーティング層１０１、着色層１０２、基材層１０３から成り、着色層１０２は、金属片などの光輝材１０４を含む。このような塗板の表面に対しては、同じ方向から照明したとしても、光輝材１０４の作用により最大反射方向は塗板上の位置によって変化する。最大反射方向の２次元分布は、メタリック塗板の光輝感に作用し、塗板の見え方を決定する。実施形態１では、測定対象の物体において、最大反射方向に係る指標の２次元分布を導出する。 FIG.1 (b) is a schematic diagram of the surface structure of the metallic coating board made into the measuring object by the measuring system of Embodiment 1. FIG. The surface of the coated plate is composed of a transparent coating layer 101, a colored layer 102, and a base material layer 103, and the colored layer 102 includes a bright material 104 such as a metal piece. Even if the surface of such a coated plate is illuminated from the same direction, the maximum reflection direction varies depending on the position on the coated plate due to the action of the glitter material 104. The two-dimensional distribution in the maximum reflection direction affects the glittering feeling of the metallic coated plate and determines the appearance of the coated plate. In the first embodiment, a two-dimensional distribution of an index related to the maximum reflection direction is derived for an object to be measured.
ここで、最大反射方向に係る指標として、以下で定義される光学的法線方向を用いる。図８は、光学的法線方向を説明する模式図である。ベクトル１１２は、測定物１５上の点１５１に対する光源の方向を示す。またベクトル１１１は、この光源からの光の最大反射方向を示す。仮想面１１３は、このベクトル１１１およびベクトル１１２が鏡面反射の関係になる面を示す。光学的法線方向１１４は、この仮想面１１３の法線方向であり、ベクトル１１１とベクトル１１２の２等分方向であるハーフベクトルの方向である。この定義は、次のように説明することもできる。すなわち、受光方向を示すベクトル１１１と、照明方向を変化させたとき前記受光方向への反射光の強度が最大となる照明方向を示すベクトル１１２のハーフベクトルの方向が光学的法線方向１１４の方向である。以下では、受光方向への反射光の強度が最大となる照明方向を主照明方向と呼ぶ。なお照明方向を変化させたときの受光方向への反射光の強度は、照明方向に関して主照明方向を対称の中心とする分布を示す。 Here, the optical normal direction defined below is used as an index related to the maximum reflection direction. FIG. 8 is a schematic diagram for explaining the optical normal direction. The vector 112 indicates the direction of the light source with respect to the point 151 on the measurement object 15. A vector 111 indicates the maximum reflection direction of light from this light source. A virtual plane 113 indicates a plane in which the vector 111 and the vector 112 have a specular reflection relationship. The optical normal direction 114 is a normal direction of the virtual plane 113 and a half vector direction that is a bisection direction of the vector 111 and the vector 112. This definition can also be explained as follows. That is, the direction of the half vector of the vector 111 indicating the light receiving direction and the vector 112 indicating the illumination direction in which the intensity of the reflected light in the light receiving direction is maximized when the illumination direction is changed is the direction of the optical normal direction 114. It is. Hereinafter, the illumination direction in which the intensity of reflected light in the light receiving direction is maximum is referred to as a main illumination direction. The intensity of the reflected light in the light receiving direction when the illumination direction is changed shows a distribution with the main illumination direction as the center of symmetry with respect to the illumination direction.
（測定装置の概要）
図１（ａ）に本実施形態の測定システムの外観を示す。測定システム１００は、平面状の照明装置１１と撮影装置１２と操作パネル１３と情報処理装置１４を有する。本測定システムは、操作パネル１３を用いたユーザ操作に基づき、照明装置１１により照明された測定物１５を撮影装置１２が撮影する。情報処理装置１４は、撮影装置１２が撮影して得られる撮影画像に基づいて、測定物１５における光学的法線方向の２次元分布を導出する。なお、以下の説明において、Ｘ、Ｙ、Ｚ座標の方向と、照明方向、受光方向、法線方向などに係る天頂角θと方位角φの方向は、図１（ａ）に示すように定義する。Ｘ、Ｙ、Ｚ座標の原点は、撮影装置１２の光軸と、測定面１５との交点とし、測定物１５の表面をＸＹ平面とする。
(Outline of measuring device)
FIG. 1A shows the appearance of the measurement system of this embodiment. The measurement system 100 includes a planar illumination device 11, a photographing device 12, an operation panel 13, and an information processing device 14. In this measurement system, the imaging device 12 images the measurement object 15 illuminated by the illumination device 11 based on a user operation using the operation panel 13. The information processing apparatus 14 derives a two-dimensional distribution in the optical normal direction of the measurement object 15 based on a captured image obtained by capturing with the imaging apparatus 12. In the following description, the directions of the X, Y, and Z coordinates and the directions of the zenith angle θ and the azimuth angle φ related to the illumination direction, the light receiving direction, the normal direction, and the like are defined as shown in FIG. To do. The origin of the X, Y, and Z coordinates is the intersection of the optical axis of the imaging device 12 and the measurement surface 15, and the surface of the measurement object 15 is the XY plane.
照明装置１１は、面上に配置した複数の点光源を用いて、測定物１５を照明する。各点光源は、独立して輝度（光強度）を制御可能であり、点灯と消灯だけでなく、後述する照明用画像に対応した多階調の輝度で発光する。本実施形態では、照明装置１１は、測定物１５に対向して設置されたフラットパネルのディスプレイを有し、このディスプレイの各画素が点光源として機能する。照明装置１１のディスプレイ面は、測定物１５の側を向いて測定物１５と平行に設置される。なおディスプレイは、モノクロディスプレイでもよい。 The illumination device 11 illuminates the measurement object 15 using a plurality of point light sources arranged on the surface. Each point light source can control brightness (light intensity) independently, and emits light with multi-gradation brightness corresponding to an illumination image described later, as well as lighting and extinguishing. In this embodiment, the illuminating device 11 has a flat panel display installed facing the measurement object 15, and each pixel of this display functions as a point light source. The display surface of the illumination device 11 is installed in parallel with the measurement object 15 so as to face the measurement object 15. The display may be a monochrome display.
撮影装置１２は、光を集光するレンズと、受光するセンサを有するデジタルカメラである。レンズは、両側テレセントリックレンズであり、受光方向に係るレンズの光軸方向は、方位角φｏが０度、天頂角θｏが４５度とする。レンズは、測定物１５の像をセンサ面に結像する。従ってセンサが生成する画像の各画素は、測定物１５の表面における１点に対応づくことになる。測定物１５の表面に対してレンズの光軸が傾斜しているため、センサ面およびレンズは、公知のシャインプルーフの原理を満足する位置に設置される。図９は、シャインプルーフの原理を満足する位置に設置された、レンズおよびセンサを含む撮影装置１２の光学系を示す模式図である。測定物１５の表面を反射した光は、第一レンズの主面１２２、絞り１２４、第二レンズの主面１２３の順に通過して、センサ面１２１に結像する。センサは、受光素子からなるＣＣＤやＣＭＯＳなどの２次元センサである。センサにおける各受光素子は、受光した光の強度を電気信号に変換する。その結果、受光した光の強度に比例する画素値の画素からなる画像が生成される。 The imaging device 12 is a digital camera having a lens that collects light and a sensor that receives light. The lens is a double-sided telecentric lens, and the azimuth angle φo is 0 degrees and the zenith angle θo is 45 degrees in the optical axis direction of the lens related to the light receiving direction. The lens forms an image of the measurement object 15 on the sensor surface. Accordingly, each pixel of the image generated by the sensor corresponds to one point on the surface of the measurement object 15. Since the optical axis of the lens is inclined with respect to the surface of the measurement object 15, the sensor surface and the lens are installed at a position satisfying a known Scheinproof principle. FIG. 9 is a schematic diagram showing an optical system of the photographing apparatus 12 including a lens and a sensor installed at a position satisfying the Scheinproof principle. The light reflected from the surface of the measurement object 15 passes through the main surface 122 of the first lens, the diaphragm 124, and the main surface 123 of the second lens in this order, and forms an image on the sensor surface 121. The sensor is a two-dimensional sensor such as a CCD or a CMOS comprising a light receiving element. Each light receiving element in the sensor converts the intensity of the received light into an electrical signal. As a result, an image composed of pixels having pixel values proportional to the intensity of received light is generated.
第一レンズおよび第二レンズはテレセントリックレンズを構成するため、主光線は光軸に平行になる。よって、測定物１５における全ての測定点において、受光方向は一定（θｏ）となる。なおセンサが生成する画像における画素値の階調数は１０ｂｉｔ、センササイズは２／３インチ、撮影解像度は８００ｄｐｉとする。撮影装置１２は、測定物１５を斜め方向から撮影するため、一般に撮影解像度はＸ方向とＹ方向で異なる。Ｘ方向とＹ方向の解像度を一致させる解像度変換処理は、撮影直後に行ってもよいし、後述する画像処理の後、測定結果を出力する前に実施してもよい。また、行わなくてもよい。 Since the first lens and the second lens constitute a telecentric lens, the chief ray is parallel to the optical axis. Therefore, the light receiving direction is constant (θo) at all measurement points on the measurement object 15. In the image generated by the sensor, the number of gradations of the pixel value is 10 bits, the sensor size is 2/3 inch, and the imaging resolution is 800 dpi. Since the imaging device 12 images the measurement object 15 from an oblique direction, generally the imaging resolution differs between the X direction and the Y direction. The resolution conversion process for matching the resolutions in the X direction and the Y direction may be performed immediately after shooting, or may be performed after image processing described later and before outputting the measurement result. Moreover, it does not need to be performed.
操作パネル１３は、ここではタッチパネルを用いる。測定システムのユーザは、操作パネル１３上のユーザインタフェースを介して各種測定条件の設定や測定開始の指示を行う。また、操作パネル１３は、表示用ディスプレイとしても機能し、設定されている測定条件や測定結果を表示する。 The operation panel 13 uses a touch panel here. The user of the measurement system sets various measurement conditions and gives an instruction to start measurement via the user interface on the operation panel 13. The operation panel 13 also functions as a display for display, and displays set measurement conditions and measurement results.
情報処理装置１４は、操作パネル１３を介して入力されたユーザの指示に基づき、照明装置１１と撮影装置１２を制御して測定物１５の撮影画像を取得する。また、情報処理装置１４は、撮影画像に後述する演算処理を施し、光学的法線方向の２次元分布を算出する。すなわち実施形態１において情報処理装置１４は、照明制御手段と、撮影制御手段、画像処理手段として機能する。また情報処理装置１４は、演算処理の処理経過や処理結果を操作パネル１３や図示しない外部装置に出力する。 The information processing apparatus 14 acquires a captured image of the measurement object 15 by controlling the illumination apparatus 11 and the imaging apparatus 12 based on a user instruction input via the operation panel 13. In addition, the information processing device 14 performs arithmetic processing described later on the captured image, and calculates a two-dimensional distribution in the optical normal direction. That is, in the first embodiment, the information processing apparatus 14 functions as an illumination control unit, a photographing control unit, and an image processing unit. Further, the information processing device 14 outputs the processing progress and processing result of the arithmetic processing to the operation panel 13 or an external device (not shown).
（測定方法の概要）
ここで、実施形態１における測定システム１００が測定物１５の反射特性を測定する方法について概要を説明する。図５は、光源と撮影装置１２で受光する反射光との関係を示す図である。撮影装置１２のセンサ上の画素Ｐは、測定物１５上の測定点１５１の位置において反射した光を受光している。また、測定点１５１において、点光源Ｌｎから照射した光の最大反射方向が画素Ｐの方向であり、測定物１５は鏡のように鏡面性の高い物体であったとする。この場合、点光源Ｌｎの輝度を図５（ｂ）に示すような正弦波状に変調させると、画素Ｐの輝度値は、図５（ｂ）と同様に図５（ｃ）に示すように変化する。
(Overview of measurement method)
Here, an outline of a method by which the measurement system 100 in Embodiment 1 measures the reflection characteristics of the measurement object 15 will be described. FIG. 5 is a diagram illustrating the relationship between the light source and the reflected light received by the imaging device 12. The pixel P on the sensor of the imaging device 12 receives the light reflected at the position of the measurement point 151 on the measurement object 15. Further, at the measurement point 151, it is assumed that the maximum reflection direction of the light emitted from the point light source Ln is the direction of the pixel P, and the measurement object 15 is an object having high specularity like a mirror. In this case, when the luminance of the point light source Ln is modulated in a sine wave shape as shown in FIG. 5B, the luminance value of the pixel P changes as shown in FIG. 5C as in FIG. 5B. To do.
実施形態１における照明装置１１は、図６に示すように複数の位置に点光源を配置したディスプレイを有する。図６は、点光源として利用される照明装置１１のディスプレイにおける各画素と撮影装置１２の位置関係を説明する模式図であり、測定システム１００のＸＺ断面を示す。なおここでは説明のため、ディスプレイには１列８個の画素からなる例を示している。点光源Ｌｊ｛ｊ：１，２，．．８｝それぞれは、照明装置１１のディスプレイにおける画素に対応する。各点光源Ｌｊは、測定物１５における測定点１５１を異なる方向θｊから照明する。測定点１５１において反射した反射光は、撮影装置１２における画素Ｐにより受光される。測定物１５の鏡面性が高い場合、画素Ｐが主に受光するのは、各点光源からの光のうち、主照明方向の位置に配置された点光源から照射される光である。そこで実施形態１では、各点光源の輝度を、互いに位相の異なる正弦波状に変調させることで、撮像装置１２の各画素がどの点光源から照射された光を主に受光しているかを識別し、各画素に対応する主照明方向を導出する。なお以下では、主照明方向の位置に配置された点光源を主光源と呼ぶ。 The illuminating device 11 in Embodiment 1 has a display in which point light sources are arranged at a plurality of positions as shown in FIG. FIG. 6 is a schematic diagram for explaining the positional relationship between each pixel and the imaging device 12 in the display of the illumination device 11 used as a point light source, and shows an XZ cross section of the measurement system 100. Here, for the sake of explanation, an example of eight pixels per row is shown on the display. Point light sources Lj {j: 1, 2,. . 8} each correspond to a pixel in the display of the illumination device 11. Each point light source Lj illuminates the measurement point 151 on the measurement object 15 from different directions θj. The reflected light reflected at the measurement point 151 is received by the pixel P in the photographing device 12. When the specularity of the measurement object 15 is high, the pixel P mainly receives light emitted from a point light source arranged at a position in the main illumination direction among light from each point light source. Therefore, in the first embodiment, the luminance of each point light source is modulated into a sinusoidal wave having different phases, thereby identifying which point light source each pixel of the imaging device 12 receives mainly. The main illumination direction corresponding to each pixel is derived. In the following, a point light source arranged at a position in the main illumination direction is referred to as a main light source.
図６（ｂ）は、点光源Ｌ１、Ｌ２、Ｌ６それぞれの輝度変調の例を示す模式図である。点光源Ｌ１、Ｌ２、Ｌ６はいずれも正弦波状に変調するが、点光源Ｌ１の位相を基準として互いに位相が異なっている。図６（ｃ）に各点光源の照明方向（天頂角）と位相の関係を示す。図６（ｂ）に示すように、点光源Ｌ１の輝度は、時間ｔに関して、（ωｔ）＋Ｋ２で変調されるとする。すなわち、点光源Ｌ１は、時間ｔ＝０において輝度が最大になる。この正弦波の位相δを０度とする。なおＫ１およびＫ２は、照明装置１１が制御可能な輝度範囲に応じて設定される定数である。またωは変調の角周波数である。ここで時間ｔは、θ＝ωｔで計算される位相θに対応付けられる。同様に、点光源Ｌ２の位相δは４５度であり、輝度はＫ１ｃｏｓ（θ―４５）＋Ｋ２で変調される。すなわちθ＝４５度に対応する時間において輝度が最大となる。点光源Ｌ６の位相δは２２５度であり、輝度はＫ１ｃｏｓ（θ―２２５）＋Ｋ２で変調される。すなわちθ＝２２５度に対応する時間において輝度が最大となる。つまり各点光源は、設定した位相δに基づいて、θ＝δとなる位相θに対応した時間において、輝度が最大となるように変調される。このように各点光源の輝度を互いに位相の異なる正弦波状に変調させながら、撮影装置１２が測定物１５を動画撮影したとする。この場合、撮影装置１２のセンサにおける画素Ｐの輝度値は、例えば、図７に示すように変化する。なお図７において縦軸は画素Ｐの輝度値を示し、横軸は撮影時刻を照明装置１１の位相に対応づけて示している。上述したように画素Ｐが主に受光するのは、主光源からの光である。よって位相Ｂ（照明開始時点から輝度値が最大となるまでの時間に対応したθの値）は、測定点１５１における主光源の位相δに一致する。すなわち、各画素の位相Ｂから、主照明方向を導出できる。図７の例では、位相Ｂは２２５度であることから、測定点１５１における主光源は点光源Ｌ６であり、主照明方向はθ６である。 FIG. 6B is a schematic diagram illustrating an example of luminance modulation of each of the point light sources L1, L2, and L6. The point light sources L1, L2, and L6 are all modulated in a sine wave shape, but have different phases from each other with respect to the phase of the point light source L1. FIG. 6C shows the relationship between the illumination direction (zenith angle) of each point light source and the phase. As shown in FIG. 6B, it is assumed that the luminance of the point light source L1 is modulated by (ωt) + K2 with respect to time t. That is, the point light source L1 has the maximum luminance at time t = 0. The phase δ of this sine wave is set to 0 degree. K1 and K2 are constants set in accordance with the luminance range that can be controlled by the illumination device 11. Ω is an angular frequency of modulation. Here, the time t is associated with the phase θ calculated by θ = ωt. Similarly, the phase δ of the point light source L2 is 45 degrees, and the luminance is modulated by K1cos (θ−45) + K2. That is, the luminance is maximized at a time corresponding to θ = 45 degrees. The phase δ of the point light source L6 is 225 degrees, and the luminance is modulated by K1cos (θ−225) + K2. That is, the luminance is maximized at a time corresponding to θ = 225 degrees. That is, each point light source is modulated based on the set phase δ so that the luminance becomes maximum at a time corresponding to the phase θ where θ = δ. Assume that the imaging device 12 takes a moving image of the measurement object 15 while modulating the luminance of each point light source into sinusoidal waves having different phases. In this case, the luminance value of the pixel P in the sensor of the imaging device 12 changes, for example, as shown in FIG. In FIG. 7, the vertical axis indicates the luminance value of the pixel P, and the horizontal axis indicates the photographing time in association with the phase of the illumination device 11. As described above, the pixel P mainly receives light from the main light source. Therefore, the phase B (the value of θ corresponding to the time from when the illumination starts until the luminance value becomes maximum) coincides with the phase δ of the main light source at the measurement point 151. That is, the main illumination direction can be derived from the phase B of each pixel. In the example of FIG. 7, since the phase B is 225 degrees, the main light source at the measurement point 151 is the point light source L6, and the main illumination direction is θ6.
測定物１５の鏡面性が低い場合、画素Ｐは、主光源以外の各点光源からの反射光も受光する。ただし前述したように、受光方向への反射光の強度は、照明方向に関して主照明方向を対称の中心とする分布を示す。よって、主光源Ｌｍの位相をδｍとするとき、主光源の隣に配置されている位相δｍ＋δ１の点光源Ｌｍ＋１と、位相δｍ−δ１の点光源Ｌｍ−１からの反射光の強度は、ほぼ等しい。同様に、主光源から数えてｉ番目先の点光源Ｌｍ＋ｉ（位相δｍ＋δｉ）からの反射光の強度と、ｉ番目手前の点光源Ｌｍ−ｉ（位相δｍ−δｉ）からの反射光の強度は、ほぼ等しい。この場合、画素Ｐの輝度値Ｉは、次の式（１）で示される。Ｉ＝Ａ０ｃｏｓ（θ−δｍ）＋Ｃ０＋Σ｛Ａｉ ｃｏｓ（θ−δｍ＋δｉ）＋Ｃｉ｝
＋ΣＡｉ ｃｏｓ（θ−δｍ−δｉ）＋Ｃｉ
＝Ａ０ｃｏｓ（θ−δｍ）＋Ｃ０
＋｛ΣＡｉ｛ｃｏｓ（θ−δｍ）ｃｏｓ（δｉ）
−ｓｉｎ（θ−δｍ）ｓｉｎ（δｉ）｝＋Ｃｉ｝
＋｛ΣＡｉ｛ｃｏｓ（θ−δｍ）ｃｏｓ（δｉ）
＋ｓｉｎ（θ−δｍ）ｓｉｎ（δｉ）｝＋Ｃｉ｝
＝Ａ０ｃｏｓ（θ−δｍ）
＋２ｃｏｓ（θ−δｍ）ΣＡｉｃｏｓ（δｉ）＋Ｃ０＋２ΣＣｉ
＝｛Ａ０＋２ΣＡｉ ｃｏｓ（δｉ）｝ｃｏｓ（θ−δｍ）＋Ｃ０＋２ΣＣｉ・・・（１）
ここでΣは添え字ｉに関する総和を求める。Ａ０およびＣ０は、主光源（主照明方向）からの光に係る反射率に関する定数である。ＡｉおよびＣｉは、主光源から数えてｉ番目の点光源からの光に係る反射率に関する定数である。式（１）に示すように、画素Ｐの輝度値が最大となるθの値（位相Ｂ）は、位相δｍである。よって、測定物１５の鏡面性が低い場合であっても、位相Ｂは主光源の位相に一致する。
When the specularity of the measurement object 15 is low, the pixel P also receives reflected light from each point light source other than the main light source. However, as described above, the intensity of the reflected light in the light receiving direction shows a distribution having the main illumination direction as a symmetrical center with respect to the illumination direction. Therefore, when the phase of the main light source Lm is δm, the intensity of the reflected light from the point light source Lm + 1 having the phase δm + δ1 and the point light source Lm-1 having the phase δm−δ1 arranged substantially next to the main light source is substantially equal. . Similarly, the intensity of the reflected light from the i-th point light source Lm + i (phase δm + δi) counted from the main light source and the intensity of the reflected light from the i-th previous point light source Lm-i (phase δm-δi) are: Almost equal. In this case, the luminance value I of the pixel P is expressed by the following equation (1). I = A0cos (θ−δm) + C0 + Σ {Ai cos (θ−δm + δi) + Ci}
+ ΣAi cos (θ−δm−δi) + Ci
= A0cos (θ-δm) + C0
+ {ΣAi {cos (θ−δm) cos (δi)
−sin (θ−δm) sin (δi)} + Ci}
+ {ΣAi {cos (θ−δm) cos (δi)
+ Sin (θ−δm) sin (δi)} + Ci}
= A0 cos (θ-δm)
+2 cos (θ−δm) ΣAicos (δi) + C0 + 2ΣCi
= {A0 + 2ΣAi cos (δi)} cos (θ−δm) + C0 + 2ΣCi (1)
Here, Σ finds the sum of the subscript i. A0 and C0 are constants relating to the reflectance of light from the main light source (main illumination direction). Ai and Ci are constants relating to the reflectance of light from the i-th point light source counted from the main light source. As shown in Expression (1), the value of θ (phase B) that maximizes the luminance value of the pixel P is the phase δm. Therefore, even when the specularity of the measurement object 15 is low, the phase B matches the phase of the main light source.
また実施形態１では、測定物１５の各測定点における光沢強度も測定する。光沢強度とは、最大反射方向の反射強度であり、例えば、ＪＩＳ Ｚ８７４１で規定される鏡面光沢度である。光沢強度Ｄは、次のように導出する。まず、図７に示す画素Ｐの輝度値変化において、最大輝度値Ｄを最大輝度情報として算出する。最大輝度情報と光沢強度との対応関係は、光沢強度が既知の物体を測定して予め保持しておく。測定物１５の各測定点の光沢強度は、この対応関係を参照して、前記の最大輝度情報から求められる。 In the first embodiment, the gloss intensity at each measurement point of the measurement object 15 is also measured. The gloss intensity is the reflection intensity in the maximum reflection direction, and is, for example, the specular gloss specified by JIS Z8741. The gloss intensity D is derived as follows. First, in the luminance value change of the pixel P shown in FIG. 7, the maximum luminance value D is calculated as maximum luminance information. The correspondence between the maximum luminance information and the gloss intensity is measured and stored in advance for an object with a known gloss intensity. The gloss intensity at each measurement point of the measurement object 15 is obtained from the maximum luminance information with reference to this correspondence.
（情報処理装置の構成）
ここで、照明装置１１および撮影装置１２の制御、画像処理を実行する情報処理装置１４の構成について説明する。図２（ａ）は、情報処理装置１４のハード構成を示す。マイクロプロセッサ（ＣＰＵ）２０１は、ランダムアクセスメモリ（ＲＡＭ）などのメインメモリ２０２をワークメモリとする。また、ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）などの記憶部２０３やリードオンリメモリ（ＲＯＭ）２０４に格納されたプログラムを実行し、システムバス２０５を介して照明装置１１や撮影装置１２を制御する。なお、記憶部２０３やＲＯＭ２０４には、測定を実現するプログラムや各種データが格納されている。ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの汎用インターフェース（Ｉ／Ｆ）２０６には、操作パネル１３や、ＵＳＢメモリやメモリカードなどの記録メディア（コンピュータが読み取り可能な記録媒体）２０７などが接続される。また、操作パネル１３は、ビデオカード（ＶＣ）２０８にも接続され、ＣＰＵ２０１によって、ユーザインタフェース（ＵＩ）や、後述する画像処理の処理経過や処理結果を示す情報が表示される。照明装置１１は、ビデオカードなどの照明インターフェース（Ｉ／Ｆ）２０９を介してシステムバス２０５に接続される。撮影装置１２は、ＵＳＢやカメラリンクなどのカメラインターフェース（Ｉ／Ｆ）２１０を介してシステムバス２０５に接続される。ＣＰＵ２０１は、例えば、操作パネル１３を介して入力されるユーザ指示に従いＲＯＭ２０４、記憶部２０３または記録メディア２０７に格納されたアプリケーションプログラム（ＡＰ）や各種データをメインメモリ２０２の所定領域にロードする。そして、ＡＰを実行し、ＡＰに従い操作パネル１３にＵＩを表示する。ＣＰＵ２０１は、ＵＩを用いて入力したユーザ指示に従って照明装置１１と撮影装置１２を制御して測定面１５を撮影し、撮影画像データをメインメモリ２０２や記憶部２０３に格納する。さらに、ＣＰＵ２０１は、ＡＰに従いメインメモリ２０２に格納した撮影画像データに所定の演算処理を施す。そして、ＣＰＵ２０１は、ユーザ指示に従い演算処理結果を操作パネル１３に表示したり、記憶部２０３や記録メディア２０７に格納したりする。また、ＣＰＵ２０１は、システムバス２０５に接続された図示しないネットワークＩ／Ｆを介して、有線または無線ネットワーク上のコンピュータ装置やサーバ装置との間でプログラム、データ、演算処理結果および中間処理データの送受信を行うこともできる。
(Configuration of information processing device)
Here, the configuration of the information processing apparatus 14 that performs control and image processing of the illumination apparatus 11 and the imaging apparatus 12 will be described. FIG. 2A shows a hardware configuration of the information processing apparatus 14. The microprocessor (CPU) 201 uses a main memory 202 such as a random access memory (RAM) as a work memory. In addition, a program stored in a storage unit 203 such as a hard disk drive (HDD) or a solid state drive (SSD) or a read only memory (ROM) 204 is executed, and the illumination device 11 and the photographing device 12 are connected via the system bus 205. Control. Note that the storage unit 203 and the ROM 204 store programs for realizing measurement and various data. A general-purpose interface (I / F) 206 such as USB (Universal Serial Bus) 206 is connected to an operation panel 13 and a recording medium (computer-readable recording medium) 207 such as a USB memory or a memory card. The operation panel 13 is also connected to a video card (VC) 208, and the CPU 201 displays information indicating the user interface (UI) and the progress and results of image processing (to be described later). The lighting device 11 is connected to the system bus 205 via a lighting interface (I / F) 209 such as a video card. The imaging device 12 is connected to the system bus 205 via a camera interface (I / F) 210 such as a USB or camera link. For example, the CPU 201 loads an application program (AP) and various data stored in the ROM 204, the storage unit 203, or the recording medium 207 into a predetermined area of the main memory 202 in accordance with a user instruction input via the operation panel 13. And AP is performed and UI is displayed on the operation panel 13 according to AP. The CPU 201 controls the illumination device 11 and the photographing device 12 according to a user instruction input using the UI to photograph the measurement surface 15 and stores the photographed image data in the main memory 202 or the storage unit 203. Further, the CPU 201 performs predetermined arithmetic processing on the captured image data stored in the main memory 202 in accordance with the AP. Then, the CPU 201 displays the calculation processing result on the operation panel 13 according to a user instruction, or stores it in the storage unit 203 or the recording medium 207. In addition, the CPU 201 transmits and receives programs, data, arithmetic processing results, and intermediate processing data to and from computer devices and server devices on a wired or wireless network via a network I / F (not shown) connected to the system bus 205. Can also be done.
（情報処理装置１４の機能構成）
図２（ｂ）は、本実施形態における情報処理装置１４の機能構成を示すブロック図である。図２（ｂ）を用いて、情報処理装置１４の詳細な機能構成について説明する。情報処理装置１４は、デバイス制御部９０１とデータ格納部９０２、撮影画像補正部９０３を備える。デバイス制御部９０１は、照明装置１１に照明用画像を転送し、照明装置１１のディスプレイに照明用画像を表示させる。また、照明用画像に基づいて照明された測定物１５を撮影装置１２に撮影させ、撮影装置１２から得られる撮影画像をデータ格納部９０２に格納する。撮影画像補正部９０３は、データ格納部９０２に格納された撮影画像に対して所定の階調補正を実行する。
(Functional configuration of information processing apparatus 14)
FIG. 2B is a block diagram illustrating a functional configuration of the information processing apparatus 14 in the present embodiment. A detailed functional configuration of the information processing apparatus 14 will be described with reference to FIG. The information processing apparatus 14 includes a device control unit 901, a data storage unit 902, and a captured image correction unit 903. The device control unit 901 transfers the illumination image to the illumination device 11 and displays the illumination image on the display of the illumination device 11. In addition, the measurement object 15 illuminated based on the illumination image is photographed by the photographing device 12, and the photographed image obtained from the photographing device 12 is stored in the data storage unit 902. The captured image correction unit 903 performs predetermined gradation correction on the captured image stored in the data storage unit 902.
位相情報算出部９０４は、撮影画像補正部９０３によって補正された補正画像に基づいて、位相情報分布を取得する。位相情報分布とは、各画素にける輝度値の変化の位相Ｂを格納した画像である。位相Ｂは、どの点光源（ディスプレイにおける画素）が主光源であるかを識別するための情報である。光学的法線方向算出部９０５は、位相情報算出部９０４が取得した位相情報分布に基づいて、測定物１５における光学的法線方向の２次元分布を取得する。 The phase information calculation unit 904 acquires a phase information distribution based on the corrected image corrected by the captured image correction unit 903. The phase information distribution is an image in which the phase B of luminance value change in each pixel is stored. The phase B is information for identifying which point light source (pixel in the display) is the main light source. The optical normal direction calculation unit 905 acquires a two-dimensional distribution in the optical normal direction of the measurement object 15 based on the phase information distribution acquired by the phase information calculation unit 904.
実施形態１では、反射光の強度が最大となる方向の反射強度を光沢強度として算出する。そこで最大輝度情報算出部９０６は、撮影画像補正部９０３によって補正された補正画像に基づいて、最大輝度情報分布を取得する。最大輝度情報分布とは、各画素における輝度値変化の最大輝度値Ｄを格納した画像である。光沢強度算出部９０７は、最大輝度情報算出部９０６が取得した最大輝度情報分布に基づいて、光沢強度の２次元分布を取得する。 In the first embodiment, the reflection intensity in the direction in which the intensity of the reflected light is maximized is calculated as the gloss intensity. Therefore, the maximum luminance information calculation unit 906 acquires the maximum luminance information distribution based on the corrected image corrected by the captured image correction unit 903. The maximum luminance information distribution is an image storing the maximum luminance value D of the luminance value change in each pixel. The gloss intensity calculation unit 907 acquires a two-dimensional distribution of gloss intensity based on the maximum luminance information distribution acquired by the maximum luminance information calculation unit 906.
さらに情報処理装置１４は、光学的法線方向画像生成部９０８と法線方向密度分布算出部９０９、光輝情報算出部９１０を有する。光学的法線方向画像生成部９０８は、光学的法線方向算出部９０５で取得した光学的法線方向の２次元分布と、光沢強度算出部９０７で取得した光沢強度の２次元分布に基づいて、光学的法線方向画像を生成する。法線方向密度分布算出部９０９は、光学的法線方向算出部９０５で取得した光学的法線方向の２次元分布と、光沢強度算出部９０７で取得した光沢強度の２次元分布に基づいて、法線方向密度分布を取得する。 The information processing apparatus 14 further includes an optical normal direction image generation unit 908, a normal direction density distribution calculation unit 909, and a glitter information calculation unit 910. The optical normal direction image generation unit 908 is based on the two-dimensional distribution of the optical normal direction acquired by the optical normal direction calculation unit 905 and the two-dimensional distribution of the gloss intensity acquired by the gloss intensity calculation unit 907. Generate an optical normal direction image. The normal direction density distribution calculation unit 909 is based on the two-dimensional distribution of the optical normal direction acquired by the optical normal direction calculation unit 905 and the two-dimensional distribution of the gloss intensity acquired by the gloss intensity calculation unit 907. Get normal direction density distribution.
光輝情報算出部９１０は、光学的法線方向算出部９０５で取得した光学的法線方向の２次元分布と、光沢強度算出部９０７で取得した光沢強度の２次元分布に基づいて、測定物１５の光輝情報を取得する。光輝情報とは、測定物の光輝感（メタリック感）に相関のある情報である。光輝感とは、観察角度に応じて輝点の位置や大きさが変化することにより生じる質感である。ここでは光輝情報として、輝点の大きさと分散に係る情報を生成する。 The glitter information calculation unit 910 is based on the two-dimensional distribution of the optical normal direction acquired by the optical normal direction calculation unit 905 and the two-dimensional distribution of the gloss intensity acquired by the gloss intensity calculation unit 907. Get brilliant information. The glitter information is information correlated with the glitter feeling (metallic feeling) of the measurement object. The glitter feeling is a texture produced by the change in the position and size of the bright spot according to the observation angle. Here, information relating to the size and dispersion of the bright spot is generated as the bright information.
出力部９１１は、光学的法線方向算出部９０５で取得した光学的法線方向の２次元分布、光沢強度算出部９０７で取得した光沢強度の２次元分布を出力する。また、出力部９１１は、光学的法線方向画像生成部９０８で生成した光学的法線方向画像、法線方向密度分布算出部９０９で取得した法線方向密度分布、光輝情報算出部９１０で取得した光輝情報を出力する。また、出力部９１１は、撮影画像補正部９０３で補正した撮影画像を出力する。 The output unit 911 outputs the two-dimensional distribution in the optical normal direction acquired by the optical normal direction calculation unit 905 and the two-dimensional distribution of the gloss intensity acquired by the gloss intensity calculation unit 907. Further, the output unit 911 acquires the optical normal direction image generated by the optical normal direction image generation unit 908, the normal direction density distribution acquired by the normal direction density distribution calculation unit 909, and the brightness information calculation unit 910. Output the brightness information. The output unit 911 outputs the captured image corrected by the captured image correction unit 903.
（照明装置１１の制御について）
次に、照明装置１１に表示させる照明用画像について説明する。ディスプレイにおける各点光源（画素）は、上述の通り互いに位相の異なる正弦波状に変調された光を照射する。情報処理装置１４は、各点光源に対応する位相を、各点光源の識別情報として用いる。各点光源を正弦波状に変調させながら撮影装置１２が測定物１５を測定すると、撮影装置１２が生成する画像における各画素は、点光源と同様、正弦波状に輝度値が変化する。各画素の輝度値変化における正弦波の位相により、測定物１５の各測定点において主光源および主照明方向を特定する。正弦波の位相は、少なくとも３つの輝度値があれば特定できる。実施形態１では、まず各点光源の輝度を点光源のＸ方向の位置に応じて互いに位相の異なる正弦波状に変調させながら、撮影装置１２が４回撮影することで、主光源のＸ方向の位置を特定する。同様に各点光源の輝度を点光源のＹ方向の位置に応じて互いに位相の異なる正弦波状に変調させながら撮影装置１２が４回撮影することで、主光源のＹ方向の位置を特定する。図４は、照明用画像を説明する図である。図４（ａ）は、ディスプレイを示し、矩形は画素である。図４（ｂ）〜（ｅ）は、点光源のＸ方向の位置を識別するための照明用画像であり、図４（ｆ）〜（ｉ）は、点光源のＹ方向の位置を識別するための照明用画像である。情報処理装置１４は、照明装置１１に図４（ｂ）〜（ｉ）に示す照明用画像を順に送信する。照明装置１１は、受信した照明用画像に基づいてディスプレイの各画素の輝度値を制御する。情報処理装置１４は、照明用画像を切り替えることにより照明装置１１のディスプレイにおける各画素（点光源）を変調させる。ディスプレイにおける各画素の輝度値Ｌは、次の式（２）によって示される。
(Control of lighting device 11)
Next, the illumination image displayed on the illumination device 11 will be described. Each point light source (pixel) in the display irradiates light modulated in a sinusoidal shape with different phases as described above. The information processing apparatus 14 uses the phase corresponding to each point light source as identification information of each point light source. When the imaging device 12 measures the measurement object 15 while modulating each point light source in a sine wave shape, the luminance value of each pixel in the image generated by the imaging device 12 changes in a sine wave shape as in the point light source. The main light source and the main illumination direction are specified at each measurement point of the measurement object 15 based on the phase of the sine wave in the luminance value change of each pixel. The phase of the sine wave can be specified if there are at least three luminance values. In the first embodiment, first, the imaging device 12 captures four times while the luminance of each point light source is modulated into sinusoidal waves having different phases according to the position of the point light source in the X direction. Identify the location. Similarly, the position of the main light source in the Y direction is specified by the photographing device 12 photographing four times while modulating the luminance of each point light source into a sinusoidal wave having different phases according to the position of the point light source in the Y direction. FIG. 4 is a diagram illustrating an illumination image. FIG. 4A shows a display, and the rectangle is a pixel. 4B to 4E are illumination images for identifying the position of the point light source in the X direction, and FIGS. 4F to 4I identify the position of the point light source in the Y direction. It is the image for illumination for. The information processing device 14 sequentially transmits the illumination images illustrated in FIGS. 4B to 4I to the illumination device 11. The illumination device 11 controls the luminance value of each pixel of the display based on the received illumination image. The information processing device 14 modulates each pixel (point light source) on the display of the illumination device 11 by switching the illumination image. The luminance value L of each pixel in the display is expressed by the following equation (2).
Ｌ（Ｘｄ，Ｙｄ，Δｉ）＝Ｋ１×ｃｏｓ（Δｉ−δ（Ｘｄ，Ｙｄ））＋Ｋ２・・・（２）
ここで、ＸｄとＹｄは、それぞれ、照明装置１１のディスプレイにおけるＸ軸方向およびＹ軸方向の位置に係る画素番号である。またΔｉは変調情報、Ｋ１およびＫ２は定数、δは各画素の位相を示す位相分布関数である。定数Ｋ１および定数Ｋ２は、それぞれ、照明パターンのコントラストと平均輝度のパラメータである。照明用画像の各画素の画素値が８ｂｉｔ（２５６階調）である場合には、例えば、定数Ｋ１および定数Ｋ２は１２７である。位相分布関数δは、次の式（３）と式（４）で与えられる。
L (Xd, Yd, Δi) = K1 × cos (Δi−δ (Xd, Yd)) + K2 (2)
Here, Xd and Yd are pixel numbers related to positions in the X-axis direction and the Y-axis direction, respectively, on the display of the illumination device 11. Δi is modulation information, K1 and K2 are constants, and δ is a phase distribution function indicating the phase of each pixel. The constant K1 and the constant K2 are parameters of the contrast and average luminance of the illumination pattern, respectively. When the pixel value of each pixel of the illumination image is 8 bits (256 gradations), for example, the constant K1 and the constant K2 are 127. The phase distribution function δ is given by the following equations (3) and (4).
δ（Ｘｄ，Ｙｄ）＝Ｋ３×Ｘｄ・・・（３）
δ（Ｘｄ，Ｙｄ）＝Ｋ４×Ｙｄ・・・（４）
ここでＫ３とＫ４は、隣り合う点光源の位相差に係る定数である。式（３）の位相分布関数は、図４（ｂ）〜（ｅ）の照明画像に対応し、画素（点光源）のＸ方向の位置に応じて位相が決定されることを意味する。同様に、式（４）の位相分布関数は、図４（ｆ）〜（ｉ）の照明画像に対応し、画素（点光源）のＹ方向の位置に応じて位相が決定されることを意味する。式（２）における変調情報Δｉは、輝度変調のサンプリング時間に対応する位相を示し、添え字ｉの値は、輝度変調のサンプリング番号を示す。輝度のサンプリング数（照明用画像の数）がｎ個の場合、ｉは１からｎの値をとる。本実施形態ではｎ＝４であり、（Δ１，Δ２，Δ３，Δ４）＝（０度，９０度，１８０度，２７０度）とする。図４（ｂ）〜（ｅ）および図４（ｆ）〜（ｉ）の照明画像のサンプリング番号は、それぞれ、１〜４である。
δ (Xd, Yd) = K3 × Xd (3)
δ (Xd, Yd) = K4 × Yd (4)
Here, K3 and K4 are constants related to the phase difference between adjacent point light sources. The phase distribution function of Expression (3) corresponds to the illumination images of FIGS. 4B to 4E, and means that the phase is determined according to the position of the pixel (point light source) in the X direction. Similarly, the phase distribution function of Equation (4) corresponds to the illumination images of FIGS. 4 (f) to 4 (i), and means that the phase is determined according to the position of the pixel (point light source) in the Y direction. To do. The modulation information Δi in the expression (2) indicates a phase corresponding to the luminance modulation sampling time, and the value of the subscript i indicates the luminance modulation sampling number. When the number of luminance samplings (the number of illumination images) is n, i takes a value from 1 to n. In this embodiment, n = 4, and (Δ1, Δ2, Δ3, Δ4) = (0 degrees, 90 degrees, 180 degrees, 270 degrees). The sampling numbers of the illumination images in FIGS. 4B to 4E and FIGS. 4F to 4I are 1 to 4, respectively.
（測定手順）
図３は、本実施形態の情報処理装置１４が実行する測定手順を示すフローチャートである。各ステップは、情報処理装置１４が有するＣＰＵが以降に説明するフローチャートを実行するプログラムを読み出し、実行することにより実現する。
(Measurement procedure)
FIG. 3 is a flowchart showing a measurement procedure executed by the information processing apparatus 14 of this embodiment. Each step is realized by the CPU included in the information processing apparatus 14 reading and executing a program for executing a flowchart described below.
まず、ステップＳ３０１においてデバイス制御部９０１は、図４（ｂ）〜（ｉ）に示す各照明用画像を順に照明装置１１に転送して表示させる。照明装置１１が測定物１５を照明すると、撮影装置１２に測定物１５を撮影させる。その結果、８つの撮影画像が得られる。なお以降、図４（ｂ）〜（ｅ）の照明用画像を第一グループとし、図４（ｆ）〜（ｉ）の照明用画像を第二グループと呼ぶ。データ格納部９０２は、取得した撮影画像を記憶する。撮影画像補正部９０３は、各撮影画像に対して所定の階調補正を実行する。 First, in step S301, the device control unit 901 sequentially transfers and displays the illumination images shown in FIGS. 4B to 4I to the illumination device 11. When the illumination device 11 illuminates the measurement object 15, the imaging device 12 causes the measurement object 15 to be imaged. As a result, eight captured images are obtained. Hereinafter, the illumination images in FIGS. 4B to 4E are referred to as a first group, and the illumination images in FIGS. 4F to 4I are referred to as a second group. The data storage unit 902 stores the acquired captured image. The captured image correction unit 903 performs predetermined gradation correction on each captured image.
ステップＳ３０２において位相情報算出部９０４は、ステップＳ３０１で取得した補正後の撮影画像に基づいて、第一グループおよび第二グループそれぞれの位相情報分布を取得する。まず、第一グループの照明画像で照明し、撮影された４つの撮影画像に基づいて、撮影画像の画素毎に位相Ｂを算出し、第一グループの位相情報分布を取得する。図７は、撮影画像における処理対象画素の輝度値変化の一例を示す図である。横軸は、サンプリング時間に対応する変調情報、縦軸は変調情報に対応する照明用画像で照明したときの撮影画像の輝度値を示す。位相情報算出部９０４は、４つの撮影画像における処理対象画素の輝度値をプロットする。この測定結果は正弦波状に変化するので、４つのプロット点を式（２）の正弦波にフィッティングし、曲線２７０１を得る。そして位相情報算出部９０４は、フィッティングした正弦波の位相Ｂを位相情報として算出する。ここで位相Ｂは、輝度値が最大となる時間に対応した位相の推定値である。位相Ｂを算出する方法として、実施形態１では次の式（５）から式（８）を用いる。 In step S302, the phase information calculation unit 904 acquires the phase information distribution of each of the first group and the second group based on the corrected captured image acquired in step S301. First, the phase B is calculated for each pixel of the captured image based on the four captured images that are illuminated with the first group of illumination images, and the phase information distribution of the first group is acquired. FIG. 7 is a diagram illustrating an example of a change in luminance value of a processing target pixel in a captured image. The horizontal axis indicates the modulation information corresponding to the sampling time, and the vertical axis indicates the luminance value of the captured image when illuminated with the illumination image corresponding to the modulation information. The phase information calculation unit 904 plots the luminance values of the processing target pixels in the four captured images. Since this measurement result changes in a sine wave shape, the curve 2701 is obtained by fitting the four plot points to the sine wave of Equation (2). Then, the phase information calculation unit 904 calculates the phase B of the fitted sine wave as phase information. Here, the phase B is an estimated value of the phase corresponding to the time when the luminance value is maximum. As a method for calculating the phase B, the following formulas (5) to (8) are used in the first embodiment.
０≦ｓｓかつ０≦ｓｃのとき、
Ｂ＝ａｒｃｔａｎ（ｓｓ／ｓｃ） ・・・（５）
０≦ｓｓかつｓｃ＜０のとき、
Ｂ＝ａｒｃｔａｎ（ｓｓ／ｓｃ）＋１８０度・・・（６）
ｓｓ＜０かつｓｃ＜０のとき、
Ｂ＝ａｒｃｔａｎ（ｓｓ／ｓｃ）＋１８０度・・・（７）
ｓｓ＜０かつ０≦ｓｃのとき、
Ｂ＝ａｒｃｔａｎ（ｓｓ／ｓｃ）＋３６０度・・・（８）
ただし、ｓｓおよびｓｃの値は次の式（９）、式（１０）による。
When 0 ≦ ss and 0 ≦ sc,
B = arctan (ss / sc) (5)
When 0 ≦ ss and sc <0,
B = arctan (ss / sc) +180 degrees (6)
When ss <0 and sc <0,
B = arctan (ss / sc) +180 degrees (7)
When ss <0 and 0 ≦ sc,
B = arctan (ss / sc) +360 degrees (8)
However, the values of ss and sc are based on the following formulas (9) and (10).
ｓｓ＝Σ（Ｉｉ×ｓｉｎ（Δｉ）） ・・・（９）
ｓｃ＝Σ（Ｉｉ×ｃｏｓ（Δｉ）） ・・・（１０）
ここでΣは添え字ｉに関する総和を求める。なお、位相Ｂを算出する方法としては、この方法に限らない。各グループの撮影画像において各画素の輝度値変化は、式（２）によって表わされる照明用画像のいずれかの画素（点光源）の輝度値変化と同期する。そこで式（２）によって表される位相の異なる複数の正弦波の中から、図２６に示すフィッティングした正弦波（曲線２７０１）に同期する正弦波を求め、この正弦波の位相を位相Ｂとしてもよい。
ss = Σ (Ii × sin (Δi)) (9)
sc = Σ (Ii × cos (Δi)) (10)
Here, Σ finds the sum of the subscript i. Note that the method for calculating the phase B is not limited to this method. In the captured images of each group, the luminance value change of each pixel is synchronized with the luminance value change of any pixel (point light source) of the illumination image represented by Expression (2). Therefore, a sine wave synchronized with the fitted sine wave (curve 2701) shown in FIG. 26 is obtained from a plurality of sine waves having different phases represented by the equation (2), and the phase of this sine wave is defined as phase B. Good.
位相情報算出部９０４が算出する位相Ｂは、主光源の位相に一致する。また第一グループの照明画像は、画素（点光源）のＸ方向の位置に応じて位相が決定されている。よって、第一グループの照明画像で照明し、撮影された撮影画像に基づいて算出した位相Ｂの値Ｂ＿ａ１から、主光源のＸ方向の画素番号Ｘｄ＿ａが求められる。詳細は後述する。同様にして、位相情報算出部９０４は、第二グループの照明画像で照明し、撮影された４つの撮影画像に基づいて、撮影画像の画素毎に位相Ｂの値Ｂ＿ａ２を算出し、第二グループの位相情報分布を取得する。この位相Ｂ＿ａ２から、主光源のＹ方向の画素番号Ｙｄ＿ａが求められる。 The phase B calculated by the phase information calculation unit 904 matches the phase of the main light source. Moreover, the phase of the illumination image of the first group is determined according to the position of the pixel (point light source) in the X direction. Therefore, the pixel number Xd_a in the X direction of the main light source is obtained from the value B_a1 of the phase B calculated based on the photographed image that is illuminated with the illumination image of the first group. Details will be described later. Similarly, the phase information calculation unit 904 illuminates with the illumination image of the second group, calculates the value B_a2 of the phase B for each pixel of the captured image based on the captured four captured images, and Get the phase information distribution of. From this phase B_a2, the pixel number Yd_a in the Y direction of the main light source is obtained.
ステップＳ３０３において光学的法線方向算出部９０５は、撮影画像における画素毎に光学的法線方向Ｎｖの２次元分布を取得する。詳細は後述する。 In step S303, the optical normal direction calculation unit 905 acquires a two-dimensional distribution of the optical normal direction Nv for each pixel in the captured image. Details will be described later.
ステップＳ３０４において最大輝度情報算出部９０６は、ステップＳ３０１で取得した補正後の撮影画像に基づいて画素毎に最大輝度情報を算出し、最大輝度情報分布を取得する。最大輝度情報は、図７のＤであり、照明画像のグループ毎に算出した後、平均する。最大輝度情報算出部９０６は、４つの撮影画像における処理対象画素の輝度値をプロットし、この４つのプロット点を式（２）の正弦波にフィッティングして曲線２７０１を得る。そして最大輝度情報算出部９０６は、フィッティングした正弦波の最大輝度Ｄを最大輝度情報として算出する。最大輝度Ｄは、フィッティングした曲線２７０１の振幅情報Ａとバイアス情報Ｃの和である。振幅情報Ａを算出する方法として、実施形態１では、次の式（１１）を用いる。 In step S304, the maximum luminance information calculation unit 906 calculates maximum luminance information for each pixel based on the corrected captured image acquired in step S301, and acquires the maximum luminance information distribution. The maximum luminance information is D in FIG. 7 and is averaged after calculation for each group of illumination images. The maximum luminance information calculation unit 906 plots the luminance values of the processing target pixels in the four photographed images, and obtains a curve 2701 by fitting the four plotted points to the sine wave of Expression (2). The maximum luminance information calculation unit 906 calculates the maximum luminance D of the fitted sine wave as maximum luminance information. The maximum luminance D is the sum of the amplitude information A and the bias information C of the fitted curve 2701. As a method for calculating the amplitude information A, the following formula (11) is used in the first embodiment.
Ａ＝（ｓｓ＾２＋ｓｃ＾２）＾０．５・・・（１１）
なおｓｓとｓｃは、上記の式（９）および式（１０）で求められる。
A = (ss ^ 2 + sc ^ 2) ^ 0.5 (11)
In addition, ss and sc are calculated | required by said Formula (9) and Formula (10).
またバイアス情報Ｃを算出する方法として、実施形態１では、次の式（１２）を用いる。 As a method for calculating the bias information C, the following formula (12) is used in the first embodiment.
Ｃ＝Σ（Ｉｉ） ・・・（１２）
ここで、Σは添え字ｉに関する総和を求める。最大輝度情報算出部９０６は、振幅情報Ａとバイアス情報Ｃから、式（１３）によって最大輝度情報Ｄを算出する。
C = Σ (Ii) (12)
Here, Σ finds the sum for the subscript i. The maximum luminance information calculation unit 906 calculates the maximum luminance information D from the amplitude information A and the bias information C according to Expression (13).
Ｄ＝Ａ＋Ｃ ・・・（１３）
次に、ステップＳ３０５において光沢強度算出部９０７は、撮影画像の各画素について光沢強度Ｇを算出し、光沢強度Ｇの２次元分布を取得する。光沢強度Ｇの２次元分布とは、撮影画像の各画素に対応する光沢強度Ｇの値を格納した画像である。光沢強度算出部９０７は、最大輝度情報Ｄと光沢強度とを対応づけた光沢強度変換テーブルを参照する。図１０は、光沢強度変換テーブルの一例を示す模式図である。図１０に示すように、光沢強度変換テーブルは、離散的な最大輝度情報Ｄと鏡面光沢度との対応関係を記述したルックアップテーブルである。任意の最大輝度情報Ｄに対応する光沢強度Ｇは、公知の補間方法によって算出する。また、光沢強度変換テーブルは、鏡面光沢度が既知の面を測定してあらかじめ作成しておく。光沢強度算出部９０７は、各画素の最大輝度情報を参照して、各画素の光沢強度を導出する。
D = A + C (13)
Next, in step S305, the gloss intensity calculation unit 907 calculates the gloss intensity G for each pixel of the captured image, and acquires a two-dimensional distribution of the gloss intensity G. The two-dimensional distribution of the gloss intensity G is an image in which the value of the gloss intensity G corresponding to each pixel of the captured image is stored. The gloss intensity calculation unit 907 refers to a gloss intensity conversion table in which the maximum luminance information D and the gloss intensity are associated with each other. FIG. 10 is a schematic diagram illustrating an example of the gloss intensity conversion table. As shown in FIG. 10, the gloss intensity conversion table is a lookup table describing the correspondence between discrete maximum luminance information D and specular gloss. The gloss intensity G corresponding to the arbitrary maximum luminance information D is calculated by a known interpolation method. The gloss intensity conversion table is prepared in advance by measuring a surface with a known specular gloss. The gloss intensity calculation unit 907 derives the gloss intensity of each pixel with reference to the maximum luminance information of each pixel.
ステップＳ３０６において光学的法線方向画像生成部９０８は、光学的法線方向画像を生成する。光学的法線方向画像は、ステップＳ３０３で取得した光学的法線方向の２次元分布に基づいて、光学的法線方向の天頂角θｎと方位角φｎとに応じて色付けしたカラー画像である。光学的法線画像の各画素の色の色相角ｈと彩度Ｃ＊は、例えば、θｎとφｎから次の式（１４）と式（１５）で与えられる値とする。 In step S306, the optical normal direction image generation unit 908 generates an optical normal direction image. The optical normal direction image is a color image colored according to the zenith angle θn and the azimuth angle φn in the optical normal direction based on the two-dimensional distribution in the optical normal direction acquired in step S303. The hue angle h and the saturation C * of the color of each pixel of the optical normal line image are values given by, for example, the following expressions (14) and (15) from θn and φn.
ｈ＝φｎ ・・・（１４）
Ｃ＊＝Ｋｃ ｘ θｎ ・・・（１５）
ここで、Ｋｃは定数である。このように、光学的法線方向の方位角を色相角、天頂角を彩度に対応付けした光学的法線方向画像によれば、光沢的法線方向の分布の把握が容易となる。なお、明度Ｌ＊は５０とするか、または、ｓＲＧＢの色域において各色相で彩度Ｃ＊が最大となる明度の値とする。このＬ＊，Ｃ＊，ｈの値は、公知の方法によってｓＲＧＢに変換され、各画素にＲＧＢの値を格納する一般的なカラー画像に変換される。さらに、Ｘ方向とＹ方向の解像度が一致するように解像度変換される。光学的法線方向画像は、ステップＳ３０５で取得した光沢強度Ｇの２次元分布に基づいて、光沢強度が所定の値以下となる画素は特別な色を割り当ててもよい。例えば、黒色にする。または、光沢強度に応じて明度Ｌ＊を割り当ててもよい。例えば、光沢強度が弱い程、明度Ｌ＊が小さくなるように設定する。このように光沢強度に応じた明度にすることで、測定物１５の見え方への寄与の小さい領域を識別できる。
h = φn (14)
C * = Kc x θn (15)
Here, Kc is a constant. As described above, according to the optical normal direction image in which the azimuth angle in the optical normal direction is associated with the hue angle and the zenith angle is associated with the saturation, it is easy to grasp the distribution in the glossy normal direction. The lightness L * is 50, or the lightness value that maximizes the saturation C * in each hue in the sRGB color gamut. The values of L *, C *, and h are converted into sRGB by a known method, and converted into a general color image that stores RGB values in each pixel. Further, resolution conversion is performed so that the resolutions in the X direction and the Y direction match. The optical normal direction image may be assigned a special color to pixels whose gloss intensity is a predetermined value or less based on the two-dimensional distribution of the gloss intensity G acquired in step S305. For example, black. Alternatively, the lightness L * may be assigned according to the gloss intensity. For example, the lightness L * is set to be smaller as the gloss intensity is weaker. In this way, by setting the brightness according to the gloss intensity, it is possible to identify a region having a small contribution to the appearance of the measurement object 15.
ステップＳ３０７において法線方向密度分布算出部９０９は、ステップＳ３０４において求めた光沢的法線方向の２次元分布から法線方向密度分布を取得す。法線方向密度分布は、光学的法線方向のヒストグラムである。光沢的法線方向の天頂角θｎと方位角φｎを複数の区間に分割して各区間に対応する画素数をカウントし、測定物１５を測定した撮影画像の全画素数に対する割合を計算したものである。法線方向密度分布によれば、測定物１５の光学的法線方向の統計的分布が把握できる。図２１は、法線方向密度分布の結果表示の一例を示す模式図である。同心円の大きさが天頂角θｎ、水平軸右向き方向となす角度が方位角φｎに対応し、各点の濃淡は、その点に対応する法線方向が測定面に含まれる割合を示す。なお、各区間に対応する画素数をカウントするときは、ステップＳ３０５で取得した光沢強度Ｇの２次元分布に基づいて、光沢強度が所定以下の画素はカウントから除外するように処理してもよい。この様にすれば、測定物１５の見え方への寄与の小さい領域を除外することできる。 In step S307, the normal direction density distribution calculation unit 909 acquires the normal direction density distribution from the two-dimensional distribution in the glossy normal direction obtained in step S304. The normal direction density distribution is a histogram of the optical normal direction. The zenith angle θn and azimuth angle φn in the glossy normal direction are divided into a plurality of sections, the number of pixels corresponding to each section is counted, and the ratio to the total number of pixels of the photographed image obtained by measuring the measurement object 15 is calculated. It is. According to the normal direction density distribution, the statistical distribution of the measured object 15 in the optical normal direction can be grasped. FIG. 21 is a schematic diagram illustrating an example of a result display of the normal direction density distribution. The size of the concentric circles corresponds to the zenith angle θn, and the angle formed with the horizontal axis rightward direction corresponds to the azimuth angle φn, and the shading of each point indicates the ratio that the normal direction corresponding to that point is included in the measurement surface. Note that when counting the number of pixels corresponding to each section, processing may be performed so that pixels having a gloss intensity of a predetermined value or less are excluded from the count based on the two-dimensional distribution of the gloss intensity G acquired in step S305. . In this way, it is possible to exclude a region having a small contribution to the appearance of the measurement object 15.
ステップＳ３０８において光輝情報算出部９１０は、ステップＳ３０４で求めた光学的法線方向の２次元分布に基づいて光輝情報を取得する。本実施形態において光輝情報は、光学的法線方向が略一致する領域でクラスタリングしたときのクラスタサイズの平均値、および標準偏差を算出する。ここで算出するクラスタサイズの平均値は、測定物１５のメタリック感を表す輝点の大きさとみなすことができる。また、クラスタサイズの標準偏差が大きいほど、輝点が分散しているため、観察角度によってよりメタリック感が強いと言える。 In step S308, the glitter information calculation unit 910 acquires the glitter information based on the two-dimensional distribution in the optical normal direction obtained in step S304. In the present embodiment, for the glitter information, an average value of cluster sizes and a standard deviation when clustering is performed in a region where optical normal directions substantially coincide with each other are calculated. The average value of the cluster sizes calculated here can be regarded as the size of the bright spot representing the metallic feeling of the measurement object 15. In addition, it can be said that the larger the standard deviation of the cluster size, the more dispersed the bright spots, so that the metallic feeling is stronger depending on the observation angle.
なお、サイズが所定の大きさを超えるクラスタの個数を光輝情報としてもよい。また、ステップＳ３０５で取得した光沢強度Ｇの２次元分布に基づいて、光沢強度が所定の値を超える領域についてクラスタリングを行うように処理してもよい。このような光輝情報を参照することで、メタリック塗装などの特性を数値管理することが可能となる。例えば、１つまたは複数の光輝情報が、基準の塗装サンプルに対して所定の範囲内にあるか否かを測定することで、塗装の品質を管理することができる。 The number of clusters whose size exceeds a predetermined size may be used as the glitter information. Further, based on the two-dimensional distribution of the gloss intensity G acquired in step S305, processing may be performed so that clustering is performed for an area where the gloss intensity exceeds a predetermined value. By referring to such glitter information, it is possible to numerically manage characteristics such as metallic coating. For example, the quality of coating can be managed by measuring whether one or more pieces of glitter information are within a predetermined range with respect to a reference coating sample.
ステップＳ３０９において出力部９１１は、各種測定結果を出力して、情報処理装置１４は測定物１５の反射特性の測定を終了する。出力するデータは、光学的法線方向および光沢強度の２次元分布、法線方向分布画像、法線方向密度分布、光輝情報の他、撮影画像や上記処理の中間データを含んでもよい。 In step S309, the output unit 911 outputs various measurement results, and the information processing apparatus 14 ends the measurement of the reflection characteristic of the measurement object 15. The data to be output may include a photographed image and intermediate data of the above processing in addition to the two-dimensional distribution of the optical normal direction and the gloss intensity, the normal direction distribution image, the normal direction density distribution, and the brightness information.
次に、ステップＳ３０３において光学的法線方向算出部９０５が算出する光学的法線方向Ｎｖの２次元分布を算出する手順を説明する。図３（ｂ）は、ステップＳ３０３の詳細手順を説明するフローチャートである。情報処理装置１４が図３（ｂ）に示すフローチャートに対応するプログラムを読み出し、実行することで光学的法線方向算出部９０５における処理が実現する。 Next, a procedure for calculating the two-dimensional distribution of the optical normal direction Nv calculated by the optical normal direction calculation unit 905 in step S303 will be described. FIG. 3B is a flowchart for explaining the detailed procedure of step S303. The information processing apparatus 14 reads out and executes a program corresponding to the flowchart illustrated in FIG. 3B, thereby realizing processing in the optical normal direction calculation unit 905.
ステップＳ８０１において、位相情報算出部９０４が算出した位相分布を参照し、各画素の主光源となるディスプレイ上の画素番号を導出する。主光源の画素番号（Ｘｄ＿ａ，Ｙｄ＿ａ）は、位相情報Ｂ＿ａ１およびＢ＿ａ２とから、上記の式（３）および式（４）に基づき、次の式（１６）と式（１７）の通りに算出できる。 In step S801, the pixel number on the display that is the main light source of each pixel is derived with reference to the phase distribution calculated by the phase information calculation unit 904. The pixel numbers (Xd_a, Yd_a) of the main light source can be calculated from the phase information B_a1 and B_a2 based on the above formulas (3) and (4) as shown in the following formulas (16) and (17). .
Ｘｄ＿ａ＝Ｂ＿ａ１／Ｋ３・・・（１６）
Ｙｄ＿ａ＝Ｂ＿ａ２／Ｋ４・・・（１７）
式（１６）および式（１７）で算出される主光源の画素番号は、整数に限らない。すなわち、本測定システムによれば、照明装置１１の点光源の間隔よりも高い分解能で光学的法線方向を求めることができる。次に、ステップＳ８０２において、主光源のＸＹＺ座標の２次元分布として、撮影画像の各画素に対応する主光源のＸＹＺ座標を格納した画像を生成する。主光源の３次元空間におけるＸＹＺ座標（Ｘｉｌｌ，Ｙｉｌｌ，Ｚｉｌｌ）は、ディスプレイ上の画素位置を示す画素番号（Ｘｄ＿ａ，Ｙｄ＿ａ）から、次の式（１８）乃至式（２０）の通りに算出できる。
Xd_a = B_a1 / K3 (16)
Yd_a = B_a2 / K4 (17)
The pixel number of the main light source calculated by Expression (16) and Expression (17) is not limited to an integer. That is, according to this measurement system, the optical normal direction can be obtained with a resolution higher than the interval between the point light sources of the illumination device 11. Next, in step S802, an image storing the XYZ coordinates of the main light source corresponding to each pixel of the captured image is generated as a two-dimensional distribution of the XYZ coordinates of the main light source. The XYZ coordinates (Xill, Yill, Zill) in the three-dimensional space of the main light source can be calculated from the pixel numbers (Xd_a, Yd_a) indicating the pixel positions on the display as the following Expressions (18) to (20). .
Ｘｉｌｌ＝Ｋｉｌｌ＿１１×Ｘｄ＿ａ＋Ｋｉｌｌ＿１３・・・（１８）
Ｙｉｌｌ＝Ｋｉｌｌ＿２２×Ｙｄ＿ａ＋Ｋｉｌｌ＿２３・・・（１９）
Ｚｉｌｌ＝Ｋｉｌｌ＿３３ ・・・（２０）
ここで、Ｋｉｌｌ＿１１、Ｋｉｌｌ＿１３、Ｋｉｌｌ＿２２、Ｋｉｌｌ＿２３、Ｋｉｌｌ＿３３は、照明装置１１の設置位置と照明装置の画素のサイズで決まる定数であり、あらかじめ取得しておくことができる。
Xill = Kill_11 × Xd_a + Kill_13 (18)
Yill = Kill_22 × Yd_a + Kill_23 (19)
Zill = Kill_33 (20)
Here, Kill_11, Kill_13, Kill_22, Kill_23, and Kill_33 are constants determined by the installation position of the illumination device 11 and the pixel size of the illumination device, and can be acquired in advance.
ステップＳ８０３において、測定点のＸＹＺ座標の２次元分布として、撮影画像の各画素に対応する測定点のＸＹＺ座標を格納した画像を生成する。撮影装置１２は測定物１５の測定面に焦点を合わせているため、撮影画像の画素と測定面１５の面上の点は一対一に対応付けられる。測定物１５における測定点のＸＹＺ座標（Ｘｓｍｐ，Ｙｓｍｐ，Ｚｓｍｐ）は、撮影画像における画素の画素番号（Ｘｃ，Ｙｃ）から、次の式（２１）乃至式（２３）の通りに算出できる。 In step S803, an image storing the XYZ coordinates of the measurement point corresponding to each pixel of the captured image is generated as a two-dimensional distribution of the XYZ coordinates of the measurement point. Since the imaging device 12 is focused on the measurement surface of the measurement object 15, the pixels of the captured image and the points on the measurement surface 15 are associated one-to-one. The XYZ coordinates (Xsmp, Ysmp, Zsmp) of the measurement point in the measurement object 15 can be calculated from the pixel numbers (Xc, Yc) of the pixels in the captured image as in the following formulas (21) to (23).
Ｘｓｍｐ＝Ｋｃａｍ＿１１ ｘ Ｘｃ＋Ｋｃａｍ＿１３・・・（２１）
Ｙｓｍｐ＝Ｋｃａｍ＿２２ ｘ Ｙｃ＋Ｋｃａｍ＿２３・・・（２２）
Ｚｓｍｐ＝０ ・・・（２３）
ここで、Ｋｃａｍ＿１１、Ｋｃａｍ＿１３、Ｋｃａｍ＿２２、Ｋｃａｍ＿２３は、撮影装置１２の設置位置と撮影解像度で決まる定数であり、あらかじめ取得しておくことができる。
Xsmp = Kcam — 11 x Xc + Kcam — 13 (21)
Ysmp = Kcam — 22 x Yc + Kcam — 23 (22)
Zsmp = 0 (23)
Here, Kcam_11, Kcam_13, Kcam_22, and Kcam_23 are constants determined by the installation position of the photographing apparatus 12 and the photographing resolution, and can be acquired in advance.
ステップＳ８０４において、照明方向を表す方向ベクトルの２次元分布を取得する。これは、撮影画像の各画素に対応する照明方向を表す方向ベクトルのＸＹＺ成分を格納した画像である。主光源に対応する照明方向を表す方向ベクトル（Ｘｖｉ，Ｙｖｉ，Ｚｖｉ）は、主光源と測定点それぞれのＸＹＺ座標から、式（２４）乃至式（２６）の通りに算出できる。 In step S804, a two-dimensional distribution of direction vectors representing the illumination direction is acquired. This is an image in which the XYZ components of the direction vector representing the illumination direction corresponding to each pixel of the captured image are stored. The direction vector (Xvi, Yvi, Zvi) representing the illumination direction corresponding to the main light source can be calculated from the XYZ coordinates of the main light source and the measurement point as shown in equations (24) to (26).
Ｘｖｉ＝（Ｘｉｌｌ−Ｘｓｍｐ）／ｎｏｒｍ・・・（２４）
Ｙｖｉ＝（Ｙｉｌｌ−Ｙｓｍｐ）／ｎｏｒｍ・・・（２５）
Ｚｖｉ＝（Ｚｉｌｌ−Ｚｓｍｐ）／ｎｏｒｍ・・・（２６）
ただし、ｎｏｒｍは次の式（２７）によって定義される。
Xvi = (Xill-Xsmp) / norm (24)
Yvi = (Yill-Ysmp) / norm (25)
Zvi = (Zill-Zsmp) / norm (26)
However, norm is defined by the following equation (27).
ｎｏｒｍ＝（（Ｘｉｌｌ−Ｘｓｍｐ）＾２＋（Ｙｉｌｌ−Ｙｓｍｐ）＾２＋（Ｚｉｌｌ−Ｚｓｍｐ）＾２）＾０．５ ・・・（２７）
ステップＳ８０５において、光学的法線方向を表すベクトルの２次元分布を取得する。これは、撮影画像の各画素に対応する上記ベクトルのＸＹＺ成分を格納した画像である。本測定装システムの受光方向は、天頂角４５度、方位角０度である。よって、受光方向を表す方向ベクトル（Ｘｖｃ，Ｙｖｃ，Ｚｖｃ）は、次の式（２８）から式（３０）により算出できる。
norm = ((Xill-Xsmp) ^ 2 + (Yill-Ysmp) ^ 2 + (Zill-Zsmp) ^ 2) ^ 0.5 (27)
In step S805, a two-dimensional distribution of vectors representing the optical normal direction is acquired. This is an image storing the XYZ components of the vector corresponding to each pixel of the photographed image. The light receiving direction of this measurement device system is a zenith angle of 45 degrees and an azimuth angle of 0 degrees. Therefore, the direction vector (Xvc, Yvc, Zvc) representing the light receiving direction can be calculated from the following equations (28) to (30).
Ｘｖｃ＝１／（２）＾０．５・・・（２８）
Ｙｖｃ＝０ ・・・（２９）
Ｚｖｃ＝１／（２）＾０．５・・・（３０）
光学的法線方向を表す方向ベクトル（Ｘｖｎ，Ｙｖｎ，Ｚｖｎ）は、照明方向と受光方向それぞれの方向ベクトルから、次の式（３１）乃至式（３３）の通りに算出できる。
Xvc = 1 / (2) ^ 0.5 (28)
Yvc = 0 (29)
Zvc = 1 / (2) ^ 0.5 (30)
The direction vector (Xvn, Yvn, Zvn) representing the optical normal direction can be calculated from the direction vectors in the illumination direction and the light receiving direction as shown in the following equations (31) to (33).
Ｘｖｎ＝（（Ｘｖｉ＋Ｘｖｃ）／２）／ｎｏｒｍ・・・（３１）
Ｙｖｎ＝（（Ｙｖｉ＋Ｙｖｃ）／２）／ｎｏｒｍ・・・（３２）
Ｚｖｎ＝（（Ｚｖｉ＋Ｚｖｃ）／２）／ｎｏｒｍ・・・（３３）
ただし、ｎｏｒｍは次の式（３４）により定義される。
Xvn = ((Xvi + Xvc) / 2) / norm (31)
Yvn = ((Yvi + Yvc) / 2) / norm (32)
Zvn = ((Zvi + Zvc) / 2) / norm (33)
However, norm is defined by the following equation (34).
ｎｏｒｍ＝（（（Ｘｖｉ＋Ｘｖｃ）／２）＾２＋（（Ｙｖｉ＋Ｙｖｃ）／２）＾２＋（（Ｚｖｉ＋Ｚｖｃ）／２）＾２）＾０．５・・・（３４）
ステップＳ８０６において、光学的法線方向の２次元分布を取得する。これは、撮影画像の各画素に対応する、光学的法線方向の天頂角θｎと方位角φｎを格納した画像である。光学的法線方向の天頂角θｎと方位角φｎは、光学的法線方向を表す方向ベクトル（Ｘｖｎ，Ｙｖｎ，Ｚｖｎ）から、次の式（３５）および式（３６）の通りに算出できる。
norm = ((((Xvi + Xvc) / 2) ^ 2 + ((Yvi + Yvc) / 2) ^ 2 + ((Zvi + Zvc) / 2) ^ 2) ^ 0.5 (34)
In step S806, a two-dimensional distribution in the optical normal direction is acquired. This is an image storing the zenith angle θn and the azimuth angle φn in the optical normal direction corresponding to each pixel of the captured image. The zenith angle θn and the azimuth angle φn in the optical normal direction can be calculated from the direction vector (Xvn, Yvn, Zvn) representing the optical normal direction as in the following formulas (35) and (36).
θｎ＝ａｒｃｔａｎ（Ｙｖｎ／Ｘｖｎ）・・・ （３５）
φｎ＝ａｒｃｔａｎ（（Ｘｖｎ＾２＋Ｙｖｎ＾２）＾０．５／Ｚｖｎ）・・・（３６）
以上の通りに、全ての測定点に対して最大反射方向に対応する光学的法線方向の算出処理を完了する。
θn = arctan (Yvn / Xvn) (35)
φn = arctan ((Xvn ^ 2 + Yvn ^ 2) ^ 0.5 / Zvn) (36)
As described above, the calculation process of the optical normal direction corresponding to the maximum reflection direction is completed for all measurement points.
以上の通り、本実施形態では照明装置１１の複数の点光源に互いに位相の異なる正弦波上に変調させながら発光させ、測定物１５を照明する。撮影装置１２は、照明装置１１の各点光源の変調１周期分のうち複数回、測定物１５を撮影し撮影画像を得る。撮影画像における各画素は、主光源の位相差と同じ位相差で輝度値が変化することを利用して、各画素がどの点光源から主に反射光を受光しているかを特定することで、最大反射方向を特定する。特に前述の実施形態では、位相の異なる光量に変調させて各点光源を同時に発光させるので、１つ１つの点光源を順に発光させながらその都度測定物１５を測定する方法に比べて大幅に時間を短縮できる。また、３回異なる照明用画像のタイミングで撮影するだけで、各画素の輝度変化を検出できる。これにより撮影画像を保存するメモリ容量や、演算に係る時間を短縮することもできる。前述では、１周期分の位相を４回に分けて撮影した場合を例に説明したが、３回の場合は、変調情報ｉΔは、（Δ１，Δ２，Δ３）＝（０度，１２０度，２４０度）と設定するとよい。ただし、照明用画像の切り替え（撮影回数）は多いほど、撮影画像に含まれるノイズの影響を抑制できる。そのため照明用画像の切り替え（撮影回数）は、ユーザによる測定精度などを考慮して設定することが望ましい。 As described above, in the present embodiment, the measurement object 15 is illuminated by causing the plurality of point light sources of the illumination device 11 to emit light while being modulated on sine waves having different phases. The imaging device 12 captures the measurement object 15 a plurality of times during one modulation period of each point light source of the illumination device 11 to obtain a captured image. Each pixel in the captured image uses the fact that the luminance value changes with the same phase difference as the phase difference of the main light source, and by specifying which point light source each pixel mainly receives the reflected light, Specify the maximum reflection direction. In particular, in the above-described embodiment, each point light source emits light at the same time by modulating the amount of light with different phases, so that it takes much time compared to the method of measuring the measured object 15 each time while emitting each point light source one by one. Can be shortened. Further, it is possible to detect a change in luminance of each pixel only by photographing at the timing of three different illumination images. Thereby, the memory capacity for storing the photographed image and the time required for the calculation can be shortened. In the above description, the case where the phase for one cycle is divided into four times is described as an example, but in the case of three times, the modulation information iΔ is (Δ1, Δ2, Δ3) = (0 degrees, 120 degrees, 240 degrees). However, the effect of noise included in the captured image can be suppressed as the switching of the illumination image (number of times of capturing) increases. Therefore, it is desirable to set the switching of the illumination image (number of times of photographing) in consideration of the measurement accuracy by the user.
なお、複数の点光源として用いるディスプレイは、表示可能な最大輝度と最初輝度の比である輝度コントラストが高く、輝度の時間変動が小さく、ディスプレイ内における各画素の輝度のムラが少ない方が、各点光源を識別しやすく望ましい。また、複数の点光源は密に配置され、連続的に位相をずらして各点光源に発光させることが望ましい。そのため実施形態１ではディスプレイを測定物１５の照明に用いた。ディスプレイを用いる場合、ディスプレイの解像度は、点光源の配置密度でもあり、測定精度に関わる。また、ディスプレイのサイズは、撮影装置１２が測定する測定面１５における全ての測定点に対し、鏡面反射成分（最大反射方向からの反射光）を受光できることを考慮して設計されていることが望ましい。 In addition, a display used as a plurality of point light sources has a high luminance contrast, which is a ratio of the maximum luminance that can be displayed and the initial luminance, a smaller time variation of luminance, and less uneven luminance of each pixel in the display. It is desirable to easily identify a point light source. In addition, it is desirable that the plurality of point light sources are densely arranged, and each point light source emits light while continuously shifting the phase. Therefore, in the first embodiment, the display is used for illuminating the measurement object 15. When a display is used, the resolution of the display is also the arrangement density of point light sources, and is related to measurement accuracy. Further, the size of the display is preferably designed in consideration of the fact that the specular reflection component (reflected light from the maximum reflection direction) can be received at all measurement points on the measurement surface 15 measured by the photographing apparatus 12. .
［実施形態２］
前述の実施形態では、正弦波の１周期を８個の点光源に割り当てる構成を例に説明した。しかしながらディスプレイ状に配列された各点光源をちょうど１周期分になるように位相を異ならせる必要はない。例えば、図２３に示すように、１周期分の位相差を、ディスプレイの半分の点光源に割り当てるようにしてもよい。つまりこれは、１つの照明用画像に２周期の正弦波状に輝度が変化することになり、照明用画像は縞模様になる。この場合、ディスプレイにおいて同じ位相差の点光源が周期的に存在することになる。実施形態２では、このようにディスプレイにおいてＸ方向またはＹ方向に同じ位相差の点光源が周期的に存在する場合の測定方法について説明する。
[Embodiment 2]
In the above-described embodiment, a configuration in which one cycle of a sine wave is assigned to eight point light sources has been described as an example. However, it is not necessary to change the phase of each point light source arranged in a display form so as to be exactly one cycle. For example, as shown in FIG. 23, a phase difference for one period may be assigned to a point light source that is half of the display. In other words, this means that the luminance changes in a sinusoidal pattern with two cycles in one illumination image, and the illumination image has a striped pattern. In this case, point light sources having the same phase difference periodically exist in the display. In the second embodiment, a measurement method in the case where point light sources having the same phase difference periodically exist in the X direction or the Y direction on the display will be described.
位相情報Ｂの補正について説明する。式（５）乃至式（８）で算出される位相情報Ｂの値は０度から３６０度の範囲であり、真の位相情報を３６０で割った余りである。よって、式（３）および式（４）のδがこの範囲外の値を含む場合は、必要に応じて位相情報Ｂを補正する。図２３（ａ）において、上述した画素２６０６（不図示）の主光源である点光源２６０５の位置は、光学的法線方向２６０３の方向によって変化する。しかし、光学的法線方向は、測定物１５の法線方向（Ｚ方向）の周辺に分布する。よって、点光源２６０５は、光学的法線方向２６０３が測定面１５の法線方向に一致するときの点光源２６０５の周辺に存在すると推定される。このときの点光源２６０５の位相δの値をＰｓとする。このとき、位相情報Ｂは、元の値に３６０度の整数倍を加算または減算することで、Ｐｓ±１８０度の範囲に入るように補正される。 The correction of the phase information B will be described. The value of the phase information B calculated by the equations (5) to (8) is in the range of 0 degrees to 360 degrees, and is a remainder obtained by dividing the true phase information by 360. Therefore, when δ in Expression (3) and Expression (4) includes a value outside this range, the phase information B is corrected as necessary. In FIG. 23A, the position of a point light source 2605, which is the main light source of the pixel 2606 (not shown), changes depending on the direction of the optical normal direction 2603. However, the optical normal direction is distributed around the normal direction (Z direction) of the measurement object 15. Therefore, it is estimated that the point light source 2605 is present around the point light source 2605 when the optical normal direction 2603 matches the normal direction of the measurement surface 15. The value of the phase δ of the point light source 2605 at this time is Ps. At this time, the phase information B is corrected so as to fall within the range of Ps ± 180 degrees by adding or subtracting an integral multiple of 360 degrees to the original value.
図２５は、位相情報Ｂの補正手順を説明するフローチャートである。まず、ステップＳ２８０１において、撮影画像の各画素に関して、光学的法線方向が測定面１５の法線方向に一致するときの主光源の画素番号を算出する。撮影画像の画素（Ｘｃ，Ｙｃ）に対応する上記主光源の画素番号（Ｘｄ＿ｂ，Ｙｄ＿ｂ）は、次の式（３７）および式（３８）で与えられる。 FIG. 25 is a flowchart for explaining the correction procedure of the phase information B. First, in step S2801, the pixel number of the main light source when the optical normal direction coincides with the normal direction of the measurement surface 15 is calculated for each pixel of the captured image. The pixel numbers (Xd_b, Yd_b) of the main light source corresponding to the pixels (Xc, Yc) of the captured image are given by the following expressions (37) and (38).
Ｘｄ＿ｂ＝（Ｋｃａｍ＿１１ ｘ Ｘｃ＋Ｋｃａｍ＿１３−Ｋｉｌｌ＿３３−Ｋｉｌｌ＿１３）／Ｋｉｌｌ＿１１・・・（３７）
Ｙｄ＿ｂ＝（Ｋｃａｍ＿２２ ｘ Ｙｃ＋Ｋｃａｍ＿２３−Ｋｉｌｌ＿２３）／Ｋｉｌｌ＿２２ ・・・（３８）
次に、ステップＳ２８０２において、光学的法線方向が測定面１５の法線方向に一致するときの主光源の位相Ｐｓを算出する。Ｐｓは、照明パターンのグループ毎に算出する。第一グループの照明パターンで撮影した画像から求めた位相情報Ｂの補正に使うＰｓは、ステップＳ２８０１で算出したＸｄ＿ｂを上記の式（３）に代入して算出する。また、第二グループの照明パターンで撮影した画像から求めた位相情報Ｂの補正に使うＰｓは、ステップＳ２８０１で算出したＹｄ＿Ｂを上記式（４）に代入して算出する。
Xd_b = (Kcam_11 x Xc + Kcam_13-Kill_33-Kill_13) / Kill_11 (37)
Yd_b = (Kcam — 22 × Yc + Kcam — 23−Kill — 23) / Kill — 22 (38)
Next, in step S2802, the phase Ps of the main light source when the optical normal direction coincides with the normal direction of the measurement surface 15 is calculated. Ps is calculated for each group of illumination patterns. Ps used for correcting the phase information B obtained from the image captured with the illumination pattern of the first group is calculated by substituting Xd_b calculated in step S2801 into the above equation (3). Further, Ps used for correcting the phase information B obtained from the images photographed with the illumination pattern of the second group is calculated by substituting Yd_B calculated in step S2801 into the above equation (4).
次に、ステップＳ２８０３において、Ｂ＋１８０度の値と、ステップＳ２８０２で算出したＰｓの値を比較する。前者が後者より小さい場合はステップＳ３３０４に進み、他の場合は補正後の位相情報としてＢを出力して処理を終了する。 Next, in step S2803, the value of B + 180 degrees is compared with the value of Ps calculated in step S2802. If the former is smaller than the latter, the process proceeds to step S3304. In other cases, B is output as the corrected phase information, and the process ends.
ステップＳ２８０４では、Ｂに３６０度を加えてステップＳ２８０３に戻る。 In step S2804, 360 degrees is added to B, and the process returns to step S2803.
［実施形態３］
実施形態１では、センサの画素Ｐにおける輝度変化を、周期関数にフィッティングすることで、位相情報を算出した。実施形態３では、変換テーブルを参照して位相情報を推定する方法について説明する。実施形態３では、位相情報算出部９０４が実行するステップＳ３０２最大輝度情報算出部９０６が実行するステップＳ３０４の処理が実施形態１と異なる。尚、実施形態１と同じ構成については、詳細な説明を省略する。
[Embodiment 3]
In the first embodiment, the phase information is calculated by fitting the luminance change in the pixel P of the sensor to a periodic function. In the third embodiment, a method for estimating phase information with reference to a conversion table will be described. In the third embodiment, the processing in step S304 executed by the step S302 maximum luminance information calculation unit 906 executed by the phase information calculation unit 904 is different from that in the first embodiment. Detailed description of the same configuration as that of the first embodiment will be omitted.
まず、実施形態３におけるステップＳ３０２に処理を説明する。図１３は、実施形態２におけるステップＳ３０２のフローチャートである。まず、ステップＳ１６０１において位相情報算出部９０４は、グループ毎に撮影画像の画素位置（Ｘｃ，Ｘｙ）の画素値Ｉｉを取得し、平均輝度を算出する。平均輝度Ｉａｖｅは、次の式（３９）を用いて算出する。 First, the process will be described in step S302 in the third embodiment. FIG. 13 is a flowchart of step S302 in the second embodiment. First, in step S1601, the phase information calculation unit 904 acquires the pixel value Ii of the pixel position (Xc, Xy) of the captured image for each group, and calculates the average luminance. The average luminance Iave is calculated using the following formula (39).
Ｉａｖｅ（Ｘｃ，Ｙｃ）＝Σ（Ｉｉ（Ｘｃ，Ｙｃ））／ｎ・・・（３９）
ここで、ｎは、各照明グループにおける撮影数であり、ここでは４である。式（３９）のΣは、添え字ｉに関する総和を求める。
Iave (Xc, Yc) = Σ (Ii (Xc, Yc)) / n (39)
Here, n is the number of shots in each lighting group, and is 4 here. In the equation (39), Σ calculates the sum relating to the subscript i.
ステップＳ１６０２において位相情報算出部９０４は、各画素における輝度変化の振幅を算出する。振幅Ｉａｍｐは、例えば、次の式（４０）で与えられる。 In step S1602, the phase information calculation unit 904 calculates the amplitude of the luminance change in each pixel. The amplitude Iamp is given by the following equation (40), for example.
Ｉａｍｐ（Ｘｃ，Ｙｃ）＝Ｍａｘ（Ｍａｘ（Ｉｉ）−Ｉａｖｅ，Ｉａｖｅ−Ｍｉｎ（Ｉｉ））・・・（４０）
ここで、Ｍａｘは引数の最大値を計算する関数、Ｍｉｎは引数の最小値を計算する関数を示す。
Iamp (Xc, Yc) = Max (Max (Ii) −Iave, Iave−Min (Ii)) (40)
Here, Max indicates a function that calculates the maximum value of the argument, and Min indicates a function that calculates the minimum value of the argument.
ステップＳ１６０３において位相情報算出部９０４は、平均輝度Ｉａｖｅおよび振幅Ｉａｍｐを用いて、変調情報の位相Δが０度の照明用画像に対応した撮影画像Ｉ１における各画素を正規化する。正規化後の画像の画素値Ｉｃｏｒは、次の式（４１）で与えられる。 In step S1603, the phase information calculation unit 904 normalizes each pixel in the captured image I1 corresponding to the illumination image whose phase Δ of the modulation information is 0 degrees, using the average luminance Iave and the amplitude Iamp. The pixel value Icor of the image after normalization is given by the following equation (41).
Ｉｃｏｒ（Ｘｃ，Ｙｃ）＝（Ｉ１（Ｘｃ，Ｙｃ）−Ｉａｖｅ（Ｘｃ，Ｙｃ））／Ｉａｍｐ・・・（４１）
画素値Ｉｃｏｒは、平均０、振幅１に正規化された反射強度を示す。
Icor (Xc, Yc) = (I1 (Xc, Yc) −Iave (Xc, Yc)) / Iamp (41)
The pixel value Icor indicates the reflection intensity normalized to an average of 0 and an amplitude of 1.
ステップＳ１６０４において位相情報算出部９０４は、位相変換テーブルを参照して、式（４１）で求めた信号Ｉｃｏｒに対応する位相情報を算出する。位相変換テーブルは、正規化された反射強度に対応する位相情報を記述したテーブルであり、予めデータ格納部９０２に格納しておく。図１２は、位相変換テーブルの一例を示す模式図である。図１２に示すように、位相変換テーブルは、離散的な正規化反射強度に対応する位相情報を保持するテーブルである。また、任意の正規化反射強度に対応する位相は、公知の補間方法を利用して算出することができる。なお、位相変換テーブルは、余弦関数の数表であり、位相変換テーブルに記載される位相δと正規化反射強度Ｉｃｏｒの対応関係は、次の式（４２）を満足する。 In step S1604, the phase information calculation unit 904 refers to the phase conversion table and calculates phase information corresponding to the signal Icor obtained by Expression (41). The phase conversion table is a table describing phase information corresponding to the normalized reflection intensity, and is stored in the data storage unit 902 in advance. FIG. 12 is a schematic diagram illustrating an example of a phase conversion table. As shown in FIG. 12, the phase conversion table is a table that holds phase information corresponding to discrete normalized reflection intensity. The phase corresponding to any normalized reflection intensity can be calculated using a known interpolation method. The phase conversion table is a numerical table of cosine functions, and the correspondence relationship between the phase δ and the normalized reflection intensity Icor described in the phase conversion table satisfies the following equation (42).
Ｉｃｏｒ＝ｃｏｓ（δ）・・・（４２）
以上の処理により、撮影画像における各画素の輝度変化の位相算出処理を完了する。
Icor = cos (δ) (42)
With the above processing, the phase calculation processing of the luminance change of each pixel in the captured image is completed.
実施形態３におけるステップＳ３０４は、最大輝度情報Ｄを実施形態１の式（１３）に代わって、式（４３）を用いて算出する。 In step S304 in the third embodiment, maximum luminance information D is calculated using equation (43) instead of equation (13) in the first embodiment.
Ｄ（Ｘｃ，Ｙｃ）＝Ｍａｘ（Ｉｉ（Ｘｃ，Ｙｃ））・・・（４３）
以上説明したように実施形態３では、撮影画像における全ての画素の測定結果（輝度値）に基づいて三角関数にフィッティングする代わりに、位相変換テーブルを参照して各画素の位相を算出する。これにより、三角関数にフィッティングする演算が不要となり位相算出処理を高速化できる。
D (Xc, Yc) = Max (Ii (Xc, Yc)) (43)
As described above, in the third embodiment, the phase of each pixel is calculated with reference to the phase conversion table instead of fitting to the trigonometric function based on the measurement result (luminance value) of all the pixels in the captured image. This eliminates the need for an operation for fitting to a trigonometric function, thereby speeding up the phase calculation process.
［実施形態４］
実施形態１では、照明装置１１に面光源のディスプレイを利用する方法を例に説明した。実施形態４では、複数の点光源をライン状に拝礼したライン光源を用いる方法について説明する。なお、実施形態１と同じ構成については、詳細な説明を省略する。
[Embodiment 4]
In the first embodiment, the method of using a display of a surface light source as the lighting device 11 has been described as an example. In the fourth embodiment, a method using a line light source in which a plurality of point light sources are worshiped in a line shape will be described. Detailed description of the same configuration as that of the first embodiment is omitted.
図１５は、実施形態４の照明装置を説明する模式図である。図１５（ａ）に示すように、ライン光源１８０１は、Ｙｄ方向に移動可能なように構成されている。そこで一紙形態４では、ライン光源を実施形態１の照明装置１１が照明する範囲と同じ範囲を照明するように、ライン光源をＹｄ方向に操作しながら分割して照明する。もちろん、ライン光源は、Ｘｄ方向に移動可能なように構成されてもよい。ライン光源の各画素は、実施形態１と同様に、式（２）により表わされる輝度を表示する。図１５（ａ）に示すように、Ｘｄ方向のライン光源をＹｄ方向に走査する場合、第一のグループの照明用画像を利用する。必要な最少の照明用画像の数は３つである。照明用画像が４つ場合の例を、図１５（ｂ）乃至図１５（ｅ）に示す。 FIG. 15 is a schematic diagram for explaining the illumination device of the fourth embodiment. As shown in FIG. 15A, the line light source 1801 is configured to be movable in the Yd direction. Therefore, in the single paper form 4, the line light source is divided and illuminated while being operated in the Yd direction so that the line light source is illuminated in the same range as that illuminated by the illumination device 11 of the first embodiment. Of course, the line light source may be configured to be movable in the Xd direction. Each pixel of the line light source displays the luminance represented by Expression (2), as in the first embodiment. As shown in FIG. 15A, when the line light source in the Xd direction is scanned in the Yd direction, the first group of illumination images is used. The minimum number of illumination images required is three. Examples of the case where there are four illumination images are shown in FIGS.
実施形態４では、ステップＳ３０１乃至ステップＳ３０３、およびステップＳ３０４の処理が、実施形態１と異なる。図１６は、実施形態４におけるステップＳ３０１の詳細なフローチャートである。まず、ステップＳ１９０１において情報処理装置１４は、照明装置１１のライン光源の走査位置を示す定数Ｃに０を設定させる。ステップＳ１９０２において情報処理装置１４は、ライン光源をＹｄ＝Ｃの位置に移動させる。ステップＳ１９０３において情報処理装置１４は、照明用画像を順に照明装置１１に転送して表示させる。また情報処理装置１４は、各照明用画像を表示したときの測定物１５を撮影装置１２に撮影させる。これによって、照明用画像の数に対応した数の撮影画像が取得される。 In the fourth embodiment, the processes in steps S301 to S303 and S304 are different from those in the first embodiment. FIG. 16 is a detailed flowchart of step S301 in the fourth embodiment. First, in step S1901, the information processing device 14 sets 0 to a constant C indicating the scanning position of the line light source of the illumination device 11. In step S1902, the information processing apparatus 14 moves the line light source to the position of Yd = C. In step S1903, the information processing apparatus 14 sequentially transfers the illumination images to the illumination apparatus 11 for display. The information processing device 14 causes the photographing device 12 to photograph the measurement object 15 when each illumination image is displayed. As a result, the number of captured images corresponding to the number of illumination images is acquired.
ステップＳ１９０４において情報処理装置１４は、全てのＹｄ方向について撮影を完了したか判断する。ライン光源の全ての走査位置における撮影が完了した場合は、終了する。他の場合は、ステップＳ１９０５に進む。ステップＳ１９０５では、定数Ｃをインクリメントして、次のライン光源の走査位置Ｙｄを設定し、ステップＳ１９０２に戻る。 In step S1904, the information processing apparatus 14 determines whether shooting has been completed for all Yd directions. When imaging at all scanning positions of the line light source is completed, the process ends. In other cases, the process proceeds to step S1905. In step S1905, the constant C is incremented to set the scanning position Yd of the next line light source, and the process returns to step S1902.
図１７は、実施形態４におけるステップＳ３０２の詳細なフローチャートである。ステップＳ２００１において位相情報算出部９０４は、ライン光源の走査位置毎に、各画素の輝度変化における振幅情報Ａを求める。振幅情報Ａは、撮影画像の画素値Ｉｉと変調の情報Δｉから、上記の式（９）、式（１０）、式（１１）を用いて算出する。ステップＳ２００２において位相情報算出部９０４は、全ての走査位置のうち、振幅情報Ａが最大となる走査位置Ｙｄを取得する。この振幅が最大値となる走査位置Ｙｄは、撮影画像の画素毎に取得する。ステップＳ２００３において位相情報算出部９０４は、撮影画像の画素毎に位相情報を算出し、測定物１５の位相分布を取得する。位相情報は、ライン光源がステップＳ２００２において取得した走査位置Ｙｄにあるときの撮影画像の画素値Ｉｉと変調の情報Δｉから、上記式（５）から式（１０）を用いて算出される。この位相情報が実施形態１における位相情報Ｂに相当する。 FIG. 17 is a detailed flowchart of step S302 in the fourth embodiment. In step S2001, the phase information calculation unit 904 obtains amplitude information A regarding the luminance change of each pixel for each scanning position of the line light source. The amplitude information A is calculated from the pixel value Ii of the captured image and the modulation information Δi using the above formulas (9), (10), and (11). In step S2002, the phase information calculation unit 904 acquires a scanning position Yd at which the amplitude information A is maximum among all the scanning positions. The scanning position Yd having the maximum amplitude is acquired for each pixel of the captured image. In step S2003, the phase information calculation unit 904 calculates phase information for each pixel of the captured image, and acquires the phase distribution of the measurement object 15. The phase information is calculated using the above formulas (5) to (10) from the pixel value Ii of the captured image and the modulation information Δi when the line light source is at the scanning position Yd acquired in step S2002. This phase information corresponds to the phase information B in the first embodiment.
実施形態４におけるステップＳ３０３は、図３（ｂ）に示すフローチャートにおいて、ステップＳ８０１の処理が実施形態１と異なる。実施形態４におけるステップＳ８０１は、ステップＳ２００３で取得した位相情報Ｂを式（１６）のＢ＿ａ１に代入して画素番号Ｘｄを取得する。また、画素番号Ｙｄは、式（１７）で計算する代わりに、上記ステップＳ２００２で取得した走査位置Ｙｄを使用する。 Step S303 in the fourth embodiment is different from the process in step S801 in the flowchart shown in FIG. In step S801 in Embodiment 4, the pixel number Xd is acquired by substituting the phase information B acquired in step S2003 into B_a1 of equation (16). Also, the pixel number Yd uses the scanning position Yd acquired in step S2002 instead of being calculated by the equation (17).
ステップＳ３０４において、ライン光源がステップＳ２００２で取得した走査位置にあるときの撮影画像の画素値Ｉｉと変調の情報Δｉから、上記式（９）、式（１０）および式（１１）により、振幅情報Ａを計算する。同様に、ライン光源がステップＳ２００２で取得した走査位置にあるときの撮影画像の画素値Ｉｉから、上記式（１２）により、バイアス情報Ｂを算出する。 In step S304, amplitude information is obtained from the pixel value Ii of the captured image and the modulation information Δi when the line light source is at the scanning position acquired in step S2002, by the above equations (9), (10), and (11). Calculate A. Similarly, the bias information B is calculated from the pixel value Ii of the captured image when the line light source is at the scanning position acquired in step S2002 by the above equation (12).
以上説明したように実施形態４における測定システムは、面光源の代わりに、ライン光源を使用する。ライン光源は一般に、輝度のムラが少なく、安定性に優れていることが知られている。ライン光源を走査させながら最大反射強度を特定することにより、光学的法線方向の２次元分布などの反射特性をより高精度に取得できる。 As described above, the measurement system according to the fourth embodiment uses a line light source instead of the surface light source. It is known that a line light source generally has little luminance unevenness and excellent stability. By specifying the maximum reflection intensity while scanning the line light source, reflection characteristics such as a two-dimensional distribution in the optical normal direction can be obtained with higher accuracy.
［実施形態５］
実施形態５では、照明装置１１としてプロジェクタとスクリーンを利用する構成について説明する。なお、実施形態１と同じ構成については、詳細な説明を省略する。図１８は、実施形態５の照明装置１１を説明する模式図である。図１８に示すように、実施形態４の照明装置１１は、プロジェクタ２１０１と、裏面照射型の透過タイプのスクリーン２１０２とを有する。不図示の測定物１５は、スクリーン２１０２の下側に配置され、スクリーン２１０２を透過した光によって照明される。本実施形態では、このスクリーン２１０２の面上の点を点光源として利用する。スクリーン２１０２の面上の点は、プロジェクタ２１０１に入力する画像の画素に対応する。プロジェクタ２１０１は入力された画像の画素値に応じて、任意の中間レベルで発光する。また、スクリーン２１０２は、プロジェクタ２１０１に入力する画像の画素値が画像面内で連続的に変化するとき、面上の点の輝度レベルも当該画素値に応じて連続的に変化する。また、スクリーン２１０２は、測定物１５の表面と平行に設置する。そして、プロジェクタ２１０１に入力する画像の画素番号（Ｘｐ，Ｙｐ）に対応するスクリーン２１０２の面上の点を（Ｘｓ，Ｙｓ）とする。プロジェクタ２１０１とスクリーン２１０２は、プロジェクタにおけるＹ方向の画素番号Ｙｐの値が等しい画素に対応するスクリーン２１０２の面上の点が、スクリーン２１０２の面上で直線を構成する。この直線の方向が測定装置のＸ軸方向と平行になるようにプロジェクタ２１０１とスクリーン２１０２の設置位置を決定する。同様に、プロジェクタ２１０１とスクリーン２１０２は、プロジェクタにおけるＸ方向の画素番号Ｘｐの値が等しい画素に対応するスクリーン２１０２の面上の点が、スクリーン２１０２の面上で直線を構成する。この直線の方向が、測定装置のＹ軸方向と平行になるようにプロジェクタ２１０１とスクリーン２１０２の設置位置を決定する。この場合、プロジェクタ２１０１に入力する画像の画素番号（Ｘｐ，Ｙｐ）を、実施形態１の照明装置の画素番号（Ｘｄ Ｙｄ）として、実施形態１と同じ処理で光学的法線方向の２次元分布などの測定値を算出できる。すなわち、実施形態１の説明において、ＸｄをＸｐ、ＹｄをＹｐに置き換えればよい。
[Embodiment 5]
In the fifth embodiment, a configuration using a projector and a screen as the illumination device 11 will be described. Detailed description of the same configuration as that of the first embodiment is omitted. FIG. 18 is a schematic diagram illustrating the illumination device 11 according to the fifth embodiment. As illustrated in FIG. 18, the illumination device 11 according to the fourth embodiment includes a projector 2101 and a back-illuminated transmission type screen 2102. A measurement object 15 (not shown) is disposed below the screen 2102 and is illuminated by light transmitted through the screen 2102. In this embodiment, a point on the surface of the screen 2102 is used as a point light source. A point on the surface of the screen 2102 corresponds to a pixel of an image input to the projector 2101. The projector 2101 emits light at an arbitrary intermediate level according to the pixel value of the input image. In addition, when the pixel value of the image input to the projector 2101 continuously changes in the image plane, the screen 2102 also changes the luminance level of points on the plane continuously according to the pixel value. The screen 2102 is installed in parallel with the surface of the measurement object 15. A point on the surface of the screen 2102 corresponding to the pixel number (Xp, Yp) of the image input to the projector 2101 is defined as (Xs, Ys). In the projector 2101 and the screen 2102, points on the surface of the screen 2102 corresponding to pixels having the same pixel number Yp value in the Y direction in the projector form a straight line on the surface of the screen 2102. The installation positions of the projector 2101 and the screen 2102 are determined so that the direction of the straight line is parallel to the X-axis direction of the measuring apparatus. Similarly, in the projector 2101 and the screen 2102, points on the surface of the screen 2102 corresponding to pixels having the same pixel number Xp in the X direction in the projector form a straight line on the surface of the screen 2102. The installation positions of the projector 2101 and the screen 2102 are determined so that the direction of the straight line is parallel to the Y-axis direction of the measuring apparatus. In this case, the pixel number (Xp, Yp) of the image input to the projector 2101 is set as the pixel number (Xd Yd) of the illuminating device of the first embodiment, and the two-dimensional distribution in the optical normal direction is the same as that of the first embodiment. Measurement values such as can be calculated. That is, in the description of the first embodiment, Xd may be replaced with Xp and Yd with Yp.
以上説明したように、実施形態５の測定システムでは、ディスプレイの代わりに、大型化が容易なプロジェクタとスクリーンを使用する。これによって、１回で測定物１５の光学的法線方向の測定可能な範囲を拡大し、より広い角度範囲の法線方向分布を取得できる。 As described above, in the measurement system of the fifth embodiment, a projector and a screen that can be easily enlarged are used instead of the display. As a result, the measurable range in the optical normal direction of the measurement object 15 can be expanded at one time, and the normal direction distribution in a wider angular range can be acquired.
［実施形態６］
前述の実施形態では、測定物１５の反射特性を導出する測定システムについて説明した。実施形態６の測定システムでは、基準サンプルの測定結果と評価サンプルの測定結果を比較し、両者の差が所定の範囲内にあるか否かを判定する評価機能を備える測定システムについて説明する。実施形態６の測定システムの各構成は、実施形態１と同じであり、処理手順と機能構成が実施形態１の測定装置と異なる。
[Embodiment 6]
In the above-described embodiment, the measurement system for deriving the reflection characteristic of the measurement object 15 has been described. In the measurement system of the sixth embodiment, a measurement system including an evaluation function that compares the measurement result of the reference sample and the measurement result of the evaluation sample and determines whether or not the difference between the two is within a predetermined range will be described. Each configuration of the measurement system of the sixth embodiment is the same as that of the first embodiment, and the processing procedure and functional configuration are different from those of the measurement apparatus of the first embodiment.
図３２は、実施形態６における情報処理装置１４の機能構成を示すブロック図である。実施形態６の情報処理装置１４は、実施形態１の構成に加えて、基準データ格納部２２０１と、光学的法線方向画像補正部２２０２と、密度分布差分データ算出部２２０３と、光輝情報差分データ算出部２２０４を有する。実施形態６における光学的法線方向画像生成部９０８、法線方向密度分布算出部９０９および光輝情報算出部９１０は、それぞれ、基準サンプルの光学的法線方向画像、法線方向密度分布、光輝情報を生成および算出し、基準データ格納部２２０１に格納する。また、実施形態６における光学的法線方向画像生成部９０８は、評価サンプルの光学的法線方向画像を生成し、光学的法線方向画像補正部２２０２に出力する。 FIG. 32 is a block diagram illustrating a functional configuration of the information processing apparatus 14 according to the sixth embodiment. In addition to the configuration of the first embodiment, the information processing apparatus 14 of the sixth embodiment includes a reference data storage unit 2201, an optical normal direction image correction unit 2202, a density distribution difference data calculation unit 2203, and glitter information difference data. A calculation unit 2204 is included. The optical normal direction image generation unit 908, the normal direction density distribution calculation unit 909, and the brightness information calculation unit 910 according to the sixth embodiment respectively include an optical normal direction image, a normal direction density distribution, and brightness information of the reference sample. Is generated and calculated, and stored in the reference data storage unit 2201. In addition, the optical normal direction image generation unit 908 according to the sixth embodiment generates an optical normal direction image of the evaluation sample, and outputs the optical normal direction image to the optical normal direction image correction unit 2202.
同様に、実施形態６の法線方向密度分布算出部９０９は、評価サンプルの法線方向密度分布を算出して密度分布差分データ算出部２２０３と光学的法線方向画像補正部２２０２に出力する。また、実施形態６の光輝情報算出部９１０は、評価サンプルの光輝情報を算出して光輝情報差分データ算出部２２０４に出力する。光学的法線方向画像補正部２２０２は、基準データ格納部２２０１に格納された基準サンプルの法線方向密度分布と、法線方向密度分布算出部９０９が算出した評価サンプルの法線方向密度分布とに基づいて、光学的法線方向画像を補正する。そして、補正後の光学的法線方向画像を出力する。 Similarly, the normal direction density distribution calculation unit 909 of the sixth embodiment calculates the normal direction density distribution of the evaluation sample and outputs it to the density distribution difference data calculation unit 2203 and the optical normal direction image correction unit 2202. In addition, the glitter information calculation unit 910 of the sixth embodiment calculates the glitter information of the evaluation sample and outputs it to the glitter information difference data calculation unit 2204. The optical normal direction image correction unit 2202 includes the normal direction density distribution of the reference sample stored in the reference data storage unit 2201, and the normal direction density distribution of the evaluation sample calculated by the normal direction density distribution calculation unit 909. Based on the above, the optical normal direction image is corrected. Then, the corrected optical normal direction image is output.
図２６（ａ）は、実施形態６における情報処理装置１４が実行する処理のフローチャートである。まず、ステップＳ２３０１において情報処理装置１４は、基準サンプルの反射特性を測定する。測定手順は、図３（ａ）で説明した実施形態１の測定手順と同じである。つまりここでは、基準サンプルの光学的法線方向分布画像、法線方向密度分布および光輝情報を算出する。 FIG. 26A is a flowchart of processing executed by the information processing apparatus 14 according to the sixth embodiment. First, in step S2301, the information processing apparatus 14 measures the reflection characteristics of the reference sample. The measurement procedure is the same as the measurement procedure of the first embodiment described with reference to FIG. That is, here, the optical normal direction distribution image, the normal direction density distribution, and the brightness information of the reference sample are calculated.
ステップＳ２３０２において、評価サンプルの反射特性を測定する。ステップＳ２３０２における測定手順もステップＳ２３０１同様、実施形態１と同じである。従ってここでは、評価サンプルの基準サンプルの光学的法線方向分布画像、法線方向密度分布および光輝情報を算出する。 In step S2302, the reflection characteristics of the evaluation sample are measured. The measurement procedure in step S2302 is the same as that in the first embodiment as in step S2301. Therefore, here, the optical normal direction distribution image, the normal direction density distribution, and the brightness information of the reference sample of the evaluation sample are calculated.
ステップＳ２３０３において、評価サンプルの方位角を補正する。測定システムに対するサンプルの相対的な向きは、測定を行う毎に変わってしまう場合がある。そのため基準サンプルと評価サンプルでＸ軸方向、Ｙ軸方向にずれが発生する場合がある。このずれは、反射特性がサンプルの向きに依存しない等方性のサンプルでは問題にならない。しかしながら異方性のサンプルでは評価精度に影響する。そこで、ステップＳ３０７において算出した法線方向密度分布のデータに基づいて、方位角を補正する。ここでは、評価サンプルの方位角を１度ずつ回転させて法線方向密度分布データを取得し、基準サンプルの法線方向密度分布データとの差分を計算する。差分が最も小さくなる角度を補正角度として算出し、評価サンプルの方位角を補正角度により補正する。包囲各の補正は、評価サンプルをＸＹ方向において回転させ、基準サンプルと反射特性が最も近くなる方向で評価サンプルを測定したことと同等の効果が期待される。本実施形態の測定システムは、このように方位角を補正された測定値に基づいて基準サンプルの反射特性と評価サンプルの反射特性を比較する。 In step S2303, the azimuth angle of the evaluation sample is corrected. The relative orientation of the sample with respect to the measurement system may change with each measurement. Therefore, there may be a deviation in the X-axis direction and the Y-axis direction between the reference sample and the evaluation sample. This shift is not a problem for isotropic samples whose reflection characteristics do not depend on the sample orientation. However, anisotropic samples affect the evaluation accuracy. Therefore, the azimuth angle is corrected based on the normal direction density distribution data calculated in step S307. Here, the normal direction density distribution data is acquired by rotating the azimuth angle of the evaluation sample by 1 degree, and the difference from the normal direction density distribution data of the reference sample is calculated. The angle at which the difference is smallest is calculated as the correction angle, and the azimuth angle of the evaluation sample is corrected by the correction angle. Each of the surrounding corrections is expected to have the same effect as rotating the evaluation sample in the XY directions and measuring the evaluation sample in the direction in which the reflection characteristics are closest to the reference sample. The measurement system of the present embodiment compares the reflection characteristics of the reference sample and the evaluation sample based on the measurement value with the azimuth angle corrected in this way.
ステップＳ２３０４において、ステップＳ２３０４において算出した補正角度に基づいて、評価サンプルの法線方向分布画像を補正する。後述するステップＳ２３０８の結果出力では、基準サンプルの法線方向画像と評価サンプルの補正後の法線方向画像とを並べて表示する。これにより、ユーザは基準サンプルと評価サンプルの差異の傾向を視覚的に把握することができる。 In step S2304, the normal direction distribution image of the evaluation sample is corrected based on the correction angle calculated in step S2304. In the result output of step S2308 described later, the normal direction image of the reference sample and the corrected normal direction image of the evaluation sample are displayed side by side. Thereby, the user can visually grasp the tendency of the difference between the reference sample and the evaluation sample.
ステップＳ２３０５において、基準サンプルの法線方向密度分布と評価サンプルの法線方向密度分布の差分データを計算する。差分データは、方位角と天頂角の区分毎の差分でもよいし、全区分の差の二乗和のルートを計算したものでもよい。ステップＳ２３０６において、基準サンプルの光輝情報と評価サンプルの光輝情報の差分データを計算する。差分データは、例えば、光輝情報が示すクラスタサイズの平均値の差や標準偏差の差、さらに、サイズが所定の大きさを超えるクラスタの個数の差である。ステップＳ２３０７において、ステップＳ２３０５からステップＳ２３０６で計算した各差分データと、合否判定基準データとを比較し、合否判定を行う。なお合否判定基準データは、あらかじめ、汎用Ｉ／Ｆ２０６を介して外部から入力するなどし、設定しておく。合否判定は、例えば、差分データが合否判定基準データよりも小さい場合は合格、それ以外の場合は不合格と判定する。最後に、ステップＳ２３０８において、判定の結果を出力する。判定結果に加えて、各種差分データを出力する。 In step S2305, difference data between the normal direction density distribution of the reference sample and the normal direction density distribution of the evaluation sample is calculated. The difference data may be a difference for each section of the azimuth angle and the zenith angle, or may be calculated by calculating a root sum of squares of differences of all sections. In step S2306, difference data between the brightness information of the reference sample and the brightness information of the evaluation sample is calculated. The difference data is, for example, a difference in the average value of cluster sizes or a difference in standard deviation indicated by the glitter information, and a difference in the number of clusters whose size exceeds a predetermined size. In step S2307, each difference data calculated in steps S2305 to S2306 is compared with the pass / fail determination reference data, and pass / fail determination is performed. The pass / fail judgment reference data is set in advance by inputting from the outside via the general-purpose I / F 206. In the pass / fail judgment, for example, when the difference data is smaller than the pass / fail judgment reference data, the pass / fail judgment is made. Finally, in step S2308, the determination result is output. In addition to the determination result, various kinds of difference data are output.
以上説明したように実施形態６の測定システムは、反射特性の評価機能を備える。これによって、光学的法線方向の２次元分布や、光沢強度分布の違いに起因する反射特性について、基準サンプルとの差異を簡易に評価できる。 As described above, the measurement system of the sixth embodiment has a reflection characteristic evaluation function. Thereby, the difference from the reference sample can be easily evaluated with respect to the reflection characteristics resulting from the difference in the two-dimensional distribution in the optical normal direction and the gloss intensity distribution.
［実施形態７］
実施形態６は、ＢＲＤＦの２次元分布であるＳＶＢＲＤＦ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ ＢＲＤＦ）に係る反射モデルのパラメータを測定する構成について説明する。なお、上記実施形態と同じ構成については、詳細な説明を省略する。ＢＲＤＦは、照明方向ωｉ（θｉ，φｉ）および観察方向ωｏ（θｏ，φｏ）の４次元の関数であり、物体表面に任意の方向から光が入射したとき、各方向へどれだけの光が反射されるのかを表す。ＳＶＢＲＤＦは、上記のＢＲＤＦの４変数に位置変数Ｐｘｙ（Ｘ，Ｙ）を加えた６次元の関数である。次元数が大きいため、各変数を密に測定すると大量のデータになり、かつ測定には長い時間を要する。また、ＳＶＢＲＤＦは、ノイズの影響を受けやすい微小な光量を検出する必要があるため精度の高い測定が難しい。一方、ＢＲＤＦを少ないパラメータで表現する反射モデルが多数提案されている。このパラメータの２次元分布を測定すれば、反射モデルにより近似したＳＶＢＲＤＦが得られる。実施形態７の測定システムは、測定物のＢＲＤＦを表す反射モデルのパラメータを測定することで、ＳＶＢＲＤＦを導出する。ＳＶＢＲＤＦが得られると、任意の条件で照明し、任意の方向で観察したときの測定物の見え方を予測できる。
[Embodiment 7]
Embodiment 6 describes a configuration for measuring parameters of a reflection model related to SVBRDF (Spatially Varied BRDF), which is a two-dimensional distribution of BRDF. Detailed description of the same configuration as that of the above embodiment will be omitted. The BRDF is a four-dimensional function of the illumination direction ωi (θi, φi) and the observation direction ωo (θo, φo). When light is incident on the object surface from any direction, how much light is reflected in each direction. Indicates what will be done. SVBRDF is a six-dimensional function obtained by adding a position variable Pxy (X, Y) to the four variables of BRDF. Since the number of dimensions is large, if each variable is measured closely, a large amount of data is obtained, and the measurement takes a long time. In addition, since SVBRDF needs to detect a minute light amount that is easily affected by noise, it is difficult to measure with high accuracy. On the other hand, many reflection models that express BRDF with few parameters have been proposed. If the two-dimensional distribution of this parameter is measured, SVBRDF approximated by a reflection model can be obtained. The measurement system of the seventh embodiment derives SVBRDF by measuring a parameter of a reflection model representing BRDF of a measurement object. When SVBRDF is obtained, it is possible to predict the appearance of the measurement object when illuminated in an arbitrary condition and observed in an arbitrary direction.
ここで、本実施形態の測定システムが算出するＢＲＤＦの反射モデルについて説明する。反射モデルは、次の式（４４）で示すように、反射光Ｉを拡散反射成分Ｉｄと鏡面反射成分Ｉｓとの和で表現する。 Here, the BRDF reflection model calculated by the measurement system of the present embodiment will be described. The reflection model represents the reflected light I as the sum of the diffuse reflection component Id and the specular reflection component Is, as shown by the following equation (44).
Ｉ＝Ｉｄ＋Ｉｓ・・・（４４）
Ｌａｍｂｅｒｔのモデルを使用する反射モデルでは、反射光の拡散反射成分Ｉｄは、次の式（４５）によって与えられる。
I = Id + Is (44)
In the reflection model using the Lambert model, the diffuse reflection component Id of the reflected light is given by the following equation (45).
Ｉｄ（Ｘ，Ｙ，θｉ，φｉ）＝Ｒｄ（Ｘ，Ｙ）×Ｅｉｎ（θｉ，φｉ）×ｃｏｓ（θｉ）・・・（４５）
ここで、Ｅｉｎは照明光の強度である。Ｒｄは、拡散反射成分の反射率（以下、拡散反射率と呼ぶ）であり、例えば、測定面に対して０度から照明し、４５度で受光したときの輝度レベルＩｄ＿ｓｍｐと、同じ条件で取得した基準拡散反射面からの輝度レベルＩｄ＿ｓｔｄとの比率である。また、照明を消灯または遮光して撮影したときの輝度レベルＩｄ＿ｂｋを用いて黒レベルを補正し、基準拡散反射面の０度照明４５度受光における拡散反射率の値Ｃａｌ＿Ｒｄ０４５を用いてスケーリングする。この場合、拡散反射率Ｒｄは、次の式（４６）で与えられる。
Id (X, Y, θi, φi) = Rd (X, Y) × Ein (θi, φi) × cos (θi) (45)
Here, Ein is the intensity of illumination light. Rd is the reflectance of the diffuse reflection component (hereinafter referred to as diffuse reflectance), for example, obtained under the same conditions as the luminance level Id_smp when the measurement surface is illuminated from 0 degrees and received at 45 degrees. It is a ratio with the luminance level Id_std from the reference diffuse reflection surface. Further, the black level is corrected using the luminance level Id_bk when the image is taken with the illumination turned off or shielded, and scaling is performed using the diffuse reflectance value Cal_Rd045 when the reference diffuse reflection surface receives 0 degree illumination at 45 degrees. In this case, the diffuse reflectance Rd is given by the following equation (46).
Ｒｄ（Ｘ，Ｙ）＝（Ｉｄ＿ｓｍｐ（Ｘ，Ｙ）−Ｉｄ＿ｂｋ（Ｘ，Ｙ））／Ｉｄ＿ｓｔｄ（Ｘ，Ｙ）×Ｃａｌ＿Ｒｄ０４５・・・（４６）
基準拡散反射面としては、硫酸バリウム粉末やＰＴＦＥ粉末の圧着面が利用できる。また、好適には、Ｃａｌ＿Ｒｄ０４５の値は公的な計量機関で値付けされた値を使用する。鏡面反射成分は、入射光が測定面の表面で反射することで生じる成分である。鏡面反射成分は、特定の反射方向（前述の最大反射方向）およびその近傍方向において大きな強度が観察される。Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗのモデルを改変した反射モデルでは、反射光の鏡面反射成分は、次の式（４７）により表わされる。
Rd (X, Y) = (Id_smp (X, Y) −Id_bk (X, Y)) / Id_std (X, Y) × Cal_Rd045 (46)
As the reference diffuse reflection surface, a pressure bonding surface of barium sulfate powder or PTFE powder can be used. Preferably, the value of Cal_Rd045 is a value priced by a public measuring agency. The specular reflection component is a component generated when incident light is reflected by the surface of the measurement surface. As for the specular reflection component, a large intensity is observed in a specific reflection direction (the aforementioned maximum reflection direction) and its vicinity. In the reflection model obtained by modifying the Torrance-Sparrow model, the specular reflection component of the reflected light is expressed by the following equation (47).
Ｉｓ（Ｘ，Ｙ，θｉ，φｉ，θｏ，φｏ）
＝Ｆ（Ｘ，Ｙ，θｉ）×Ｄ（Ｘ，Ｙ，θｉ，φｉ，θｏ，φｏ）×Ｅｉｎ／ｃｏｓ（θｏ）・・・（４７）
ここで、Ｅｉｎは照明光の強度、Ｆはフレネル反射を表す関数、Ｄは光沢写像性を表す関数である。光沢写像性について詳細は後述する。フレネル反射は、入射光または反射光の方向によって反射率が変化し、天頂角が９０度に近づくほど反射率が大きくなる現象である。関数Ｆは、次の式（４８）により表わされる。
Is (X, Y, θi, φi, θo, φo)
= F (X, Y, θi) × D (X, Y, θi, φi, θo, φo) × Ein / cos (θo) (47)
Here, Ein is the intensity of illumination light, F is a function representing Fresnel reflection, and D is a function representing glossy image clarity. Details of the gloss image clarity will be described later. Fresnel reflection is a phenomenon in which the reflectivity changes depending on the direction of incident light or reflected light, and the reflectivity increases as the zenith angle approaches 90 degrees. The function F is represented by the following equation (48).
Ｆ（Ｘ，Ｙ，θｉ，φｉ）＝１−（１−Ｒｓ（Ｘ，Ｙ））×Ｗ（θｉ，φｉ）・・・（４８）
Ｒｓは本測定システムが測定する鏡面反射率である。鏡面反射率は、次の式（４９）で表される天頂角θｍにおける反射率である。
F (X, Y, θi, φi) = 1− (1-Rs (X, Y)) × W (θi, φi) (48)
Rs is the specular reflectance measured by this measurement system. The specular reflectance is a reflectance at the zenith angle θm expressed by the following equation (49).
θｍ＝ａｒｃｃｏｓ（Ｖ・Ｎｖ）・・・（４９）
ここで、Ｖは受光方向を示すベクトルであり、測定システムでは天頂角４５度、方位角０度である。また、Ｎｖは測定システムが測定する光学的法線方向を示すベクトルである。尚、記号・はベクトルの内積を示し、θｍはＶとＮｖの成す角度である。
θm = arccos (V · Nv) (49)
Here, V is a vector indicating the light receiving direction, and in the measurement system, the zenith angle is 45 degrees and the azimuth angle is 0 degrees. Nv is a vector indicating the optical normal direction measured by the measurement system. The symbol • indicates the inner product of the vectors, and θm is the angle formed by V and Nv.
また式（４８）におけるＷは、測定される天頂角θｍのフレネル反射の反射率と、照明方向ωｉ（θｉ，φｉ）と光学的法線方向Ｎｖとの成す角度θｖのフレネル反射の反射率との比である。Ｗは、式（５０）により算出される。 W in Equation (48) is the reflectance of the Fresnel reflection measured at the zenith angle θm and the reflectance of the Fresnel reflection at the angle θv formed by the illumination direction ωi (θi, φi) and the optical normal direction Nv. Ratio. W is calculated by the equation (50).
Ｗ＝（１−ｃｏｓ（θｖ））＾５／（１−ｃｏｓ（θｍ））＾５・・・（５０）
ここで、θｖは次の式（５１）による。
W = (1-cos (θv)) ^ 5 / (1-cos (θm)) ^ 5 (50)
Here, θv is according to the following equation (51).
θｖ＝ａｒｃｃｏｓ（ωｉ・Ｎｖ） ・・・（５１）
ただし、ωｉは照明方向を示すベクトルである。
θv = arccos (ωi · Nv) (51)
Here, ωi is a vector indicating the illumination direction.
上記の式（４７）のＤは、光沢写像性に係る微小面の法線分布を表す。Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗの反射モデルでは、物体表面が鏡面反射を生じる微小面の集合で構成されると仮定し、この微小面の法線方向の分布に基づいて各方向への散乱を表現する。本反射モデルは、この法線方向の分布を表現する関数に次の式（５２）により表わされるＴｒｏｗｂｒｉｄｇｅ−Ｒｅｉｔｚによって提案された分布モデルを使用する。 D in the above equation (47) represents a normal distribution of a minute surface related to gloss image clarity. In the Torrance-Sparrow reflection model, it is assumed that the object surface is composed of a collection of minute surfaces that cause specular reflection, and scattering in each direction is expressed based on the distribution in the normal direction of the minute surfaces. This reflection model uses a distribution model proposed by the Bridge-Reitz expressed by the following equation (52) as a function expressing the distribution in the normal direction.
Ｄ＝（α＾２／（ｃｏｓ（θｇ）＾２×（α＾２−１）＋１））＾２・・・（５２）
ここで、αは分布形状に関するパラメータであり、測定される光沢写像性に係る値を示す。前述の通り光沢写像性は、鏡面反射方向およびその近傍方向の反射光の強度変化における特徴量である。
D = (α ^ 2 / (cos (θg) ^ 2 × (α ^ 2-1) +1)) ^ 2 (52)
Here, α is a parameter relating to the distribution shape, and indicates a value relating to the measured gloss image clarity. As described above, the gloss image clarity is a feature amount in the intensity change of reflected light in the specular reflection direction and the vicinity thereof.
また、光沢写像性が方位角によって変化する特性を光沢異方性と呼ぶ。光沢異方性を表す面は、その法線を軸に回転させたとき、照明方向と受光方向を固定していても観察される光量が変化する。例えば、ヘアーライン加工された金属や、折り目が規則的な凹凸構造を持つサテン刺繍などは、光沢異方性を表す。典型的には、光沢写像性の最も大きい方位角と、光沢写像性が最も小さい方位角が直交し、その間の方位角において光沢写像性は滑らかに変化する。この様な光沢異方性の特性は、楕円を使用したモデルで近似表現される。この楕円モデルによれば、光沢写像性が最大となる方位角を楕円の長軸方向とし、この方位角の光沢写像性の値を楕円の長軸の長さに、この方位角に直交する方向の光沢写像性の値を楕円の短軸の長さに対応付けてモデル化する。任意の方位角φの方向の光沢写像性の値は、上記楕円と、この楕円の中心を通る方位角φの直線との２つの交点を結ぶ線分の長さによって算出される。図１１は、上記の楕円モデルを説明する模式図である。楕円１４０１は、光沢写像性が最大となる方位角がφｕ、φｕ方向の光沢写像性の値がαｕ、φｕに直交する方向の光沢写像性の値がαｖの光沢異方性を表す。任意の方位角φにおける光沢写像性は、図１１の線分ａｂの長さに対応した値で与えられる。 Further, the characteristic that the gloss image clarity changes depending on the azimuth angle is called gloss anisotropy. When the surface representing the gloss anisotropy is rotated about the normal line, the amount of light observed changes even if the illumination direction and the light receiving direction are fixed. For example, hairline-processed metal and satin embroidery having regular concavo-convex structures exhibit gloss anisotropy. Typically, the azimuth angle having the highest gloss image clarity and the azimuth angle having the smallest gloss image clarity are orthogonal to each other, and the gloss image clarity changes smoothly at the azimuth angle therebetween. Such gloss anisotropy characteristics are approximated by a model using an ellipse. According to this elliptic model, the azimuth angle at which gloss glossiness is maximum is the major axis direction of the ellipse, and the glossy image clarity value of this azimuth angle is the length of the major axis of the ellipse and the direction perpendicular to this azimuth angle The gloss image clarity value is modeled in association with the length of the minor axis of the ellipse. The gloss image clarity value in the direction of an arbitrary azimuth angle φ is calculated by the length of a line segment connecting two intersections of the ellipse and a straight line of the azimuth angle φ passing through the center of the ellipse. FIG. 11 is a schematic diagram for explaining the elliptic model. An ellipse 1401 represents gloss anisotropy in which the azimuth angle at which the gloss image clarity is maximum is φu, the gloss image property value in the φu direction is αu, and the gloss image property value in the direction orthogonal to φu is αv. The gloss image clarity at an arbitrary azimuth angle φ is given by a value corresponding to the length of the line segment ab in FIG.
式（５２）のパラメータαの値は、１以下の値をとり、光沢写像性と負の相関をもつ。よって、パラメータαが小さい程大きな光沢写像性を示す。実施形態７における測定システムは、式（５２）のパラメータαが最小となる方位角φｕと、φｕ方向のパラメータαの値αｕと、φｕに直交する方向のパラメータαの値αｖを測定する。照明方向ωｉ、観察方向ωｏにおける光沢写像性に関わるパラメータαは、上記のパラメータφｕ、αｕ、αｖを用いて算出することができる。 The value of the parameter α in the formula (52) takes a value of 1 or less and has a negative correlation with the gloss image clarity. Therefore, the smaller the parameter α, the larger the gloss image clarity. The measurement system according to the seventh embodiment measures the azimuth angle φu at which the parameter α in Expression (52) is minimum, the value αu of the parameter α in the φu direction, and the value αv of the parameter α in the direction orthogonal to φu. The parameter α related to the gloss image clarity in the illumination direction ωi and the observation direction ωo can be calculated using the parameters φu, αu, αv.
（測定装置の構成）
図２２は、実施形態７における測定システムの外観を示す図である。測定システム２５００は、実施形態１の構成に加えて、拡散反射率を測定するための照明装置２５０１を有する。照明装置２５０１は、測定物１５の表面を天頂角０度方向から平行光で照明する。照明光源は、ＬＥＤ、ハロゲン、キセノンなどを用いればよい。演色性が高く、明るく、輝度の時間変動が小さく、面内ムラの小さい光源が好適である。
(Configuration of measuring device)
FIG. 22 is a diagram illustrating an appearance of a measurement system according to the seventh embodiment. The measurement system 2500 includes an illumination device 2501 for measuring diffuse reflectance in addition to the configuration of the first embodiment. The illuminating device 2501 illuminates the surface of the measurement object 15 with parallel light from a direction with a zenith angle of 0 degrees. As the illumination light source, LED, halogen, xenon, or the like may be used. A light source that has high color rendering properties, is bright, has a small luminance variation with time, and has little in-plane unevenness is preferable.
撮影装置１２は、実施形態１と同じ構成である。照明装置１１が照明した測定物１５に加えて、照明装置２５０１が照明した測定物１５を撮影する。照明装置１１が照明した測定物１５を撮影するときは、照明装置２５０１は消灯するか遮光する。一方照明装置２５０１が照明した測定物１５を撮影するときは、照明装置１１は消灯するか遮光する。また、照明装置１１と照明装置２５０１の両方を消灯または遮光した状態でも撮影する。なお、以下では、照明装置１１が照明した測定物１５を撮影した撮影画像を拡散反射撮影画像、照明装置２５０１が照明した測定物１５を撮影した撮影画像を鏡面反射撮影画像と呼ぶ。また、両者とも消灯もしくは遮光して撮影した撮影画像を黒レベル撮影画像と呼ぶ。本実施形態の情報処理装置１４は、照明装置１１と撮影装置１２に加えて、上記照明装置２４０１を制御して測定物１５の撮影画像を取得する。また、情報処理装置１４は、撮影画像に後述する演算処理を施し、上述した反射モデルのパラメータを算出する。そして、演算処理の処理経過や処理結果を操作パネル１３や図示しない外部装置に出力する。 The imaging device 12 has the same configuration as that of the first embodiment. In addition to the measurement object 15 illuminated by the illumination device 11, the measurement object 15 illuminated by the illumination device 2501 is photographed. When the measurement object 15 illuminated by the illumination device 11 is photographed, the illumination device 2501 is turned off or shielded. On the other hand, when the measurement object 15 illuminated by the illumination device 2501 is photographed, the illumination device 11 is turned off or shielded. Also, shooting is performed even when both the lighting device 11 and the lighting device 2501 are turned off or shielded. Hereinafter, a photographed image obtained by photographing the measurement object 15 illuminated by the illumination device 11 is referred to as a diffuse reflection photograph image, and a photographed image obtained by photographing the measurement object 15 illuminated by the illumination device 2501 is referred to as a specular reflection photograph image. A photographed image taken with both extinguished or shielded is called a black level photographed image. In addition to the illumination device 11 and the imaging device 12, the information processing device 14 according to the present embodiment controls the illumination device 2401 to acquire a captured image of the measurement object 15. In addition, the information processing device 14 performs arithmetic processing described later on the captured image, and calculates the parameters of the reflection model described above. Then, the processing progress and processing result of the arithmetic processing are output to the operation panel 13 or an external device (not shown).
（測定方法の概要）
拡散反射率Ｒｄは、照明装置２５０１が照明した測定物１５の撮影画像に基づいて、上記の式（２６）により算出する。また、光学的法線方向Ｎｖは、実施形態１と同様にして算出する。
(Overview of measurement method)
The diffuse reflectance Rd is calculated by the above equation (26) based on the photographed image of the measurement object 15 illuminated by the illumination device 2501. The optical normal direction Nv is calculated in the same manner as in the first embodiment.
次に、光沢写像性の測定方法について説明する。光沢写像性とは、光沢のある物体において、写り込む像の鮮明さに関わる指標である。物体の光沢写像性の値が大きい場合、物体に写り込む照明の像は鮮明に観察され、逆に光沢写像性の値が小さい場合、物体に写り込む照明の像はぼけて観察される。図３０は、照明光と撮影装置１２で受光する反射光との関係を説明する模式図である。図３０（ａ）は、測定面が平滑で光沢写像性が大きい場合の照明光と受光する反射光の関係を示す。測定面の写像性が大きい場合、受光方向へ反射する反射光に係る照明光の照明方向は、受光方向に対して鏡面反射となる特定の方向が支配的となる。そのため図３０（ａ）において撮影装置１２の画素Ｐは、受光方向と鏡面反射の関係にある光源Ｌｎからの照明光の反射光のみを受光する。光源Ｌｎ−１からの照明光は、方向Ｒｎ−１に反射し、撮影装置１２で受光されない。一方、測定面が凸凹で写像性が小さい場合、反射光は散乱する。そのため、受光方向へ反射する反射光に係る照明光の照明方向は、受光方向に対して鏡面反射となる方向の近傍に幅を持つ。写像性が小さいほど、この幅は広くなる。図３０（ｂ）は、測定面１５の光沢写像性が小さい場合の照明光と受光される反射光の関係を示す。図３０（ｂ）において光源Ｌｎ−１からの照明光は、方向Ｒｎ−１だけでなく、その近傍方向に反射する。よって、撮影装置１２の画素Ｐは、光源Ｌｎからの照明光の反射光に加えて、光源Ｌｎ−１からの照明光の反射光も受光する。その結果、受光する反射光は、位相の違う異なる方向からの照明光による反射光を合成したものとなる。図２９は、位相の異なる変調信号の合成を説明する模式図である。図２９の信号３５０１と信号３５０２は、互いに位相の異なる正弦波の変調信号であり、信号３５０３は、信号３５０１と信号３５０２を合成した変調信号である。図２９から分かるように、位相の異なる変調信号を合成すると振幅は小さくなる。すなわち、測定物１５の光沢写像性が小さいほど、撮影画像における画素の輝度変化の振幅は小さくなる。振幅情報から光沢写像性への変換は、両者の対応関係を記述した光沢写像性変換テーブルを参照して、公知の補間方法を用いて行う。図２８（ｂ）は、光沢写像性変換テーブルの一例を示す。光沢写像性変換テーブルは、光沢写像性が既知のサンプルに基づいてあらかじめ作成しておく。本測定システムでは、複数の点光源を輝度変調させながら撮影し、撮影画像における画素の輝度変化の振幅成分である振幅情報を算出することにより、測定物１５の光沢写像性を算出する。 Next, a method for measuring gloss image clarity will be described. The gloss image clarity is an index related to the sharpness of an image reflected in a glossy object. When the glossy image property value of the object is large, the illumination image reflected on the object is clearly observed. Conversely, when the gloss image property value is small, the illumination image reflected on the object is observed blurred. FIG. 30 is a schematic diagram for explaining the relationship between illumination light and reflected light received by the imaging device 12. FIG. 30A shows the relationship between the illumination light and the reflected light received when the measurement surface is smooth and the gloss image clarity is large. When the measurement surface has a high image clarity, the illumination direction of the illumination light related to the reflected light reflected in the light receiving direction is dominant in a specific direction that is specularly reflected with respect to the light receiving direction. Therefore, in FIG. 30A, the pixel P of the photographing device 12 receives only the reflected light of the illumination light from the light source Ln that is in a specular reflection relationship with the light receiving direction. The illumination light from the light source Ln-1 is reflected in the direction Rn-1, and is not received by the photographing device 12. On the other hand, when the measurement surface is uneven and the image clarity is small, the reflected light is scattered. For this reason, the illumination direction of the illumination light related to the reflected light reflected in the light receiving direction has a width in the vicinity of the direction of specular reflection with respect to the light receiving direction. The smaller the image clarity, the wider this width. FIG. 30B shows the relationship between the illumination light and the reflected light received when the glossiness of the measurement surface 15 is small. In FIG. 30B, the illumination light from the light source Ln−1 is reflected not only in the direction Rn−1 but also in the vicinity thereof. Therefore, the pixel P of the imaging device 12 receives the reflected light of the illumination light from the light source Ln−1 in addition to the reflected light of the illumination light from the light source Ln. As a result, the reflected light received is a combination of reflected light from illumination light from different directions with different phases. FIG. 29 is a schematic diagram illustrating the synthesis of modulated signals having different phases. A signal 3501 and a signal 3502 in FIG. 29 are sine wave modulation signals having different phases, and a signal 3503 is a modulation signal obtained by synthesizing the signal 3501 and the signal 3502. As can be seen from FIG. 29, the amplitude decreases when the modulated signals having different phases are combined. That is, the smaller the glossy image property of the measurement object 15, the smaller the amplitude of the luminance change of the pixel in the captured image. Conversion from amplitude information to glossy image clarity is performed using a known interpolation method with reference to a glossiness image quality conversion table describing the correspondence between the two. FIG. 28B shows an example of the glossy image conversion table. The gloss image clarity conversion table is created in advance based on samples whose gloss image clarity is known. In this measurement system, a plurality of point light sources are photographed while performing luminance modulation, and the gloss image property of the measurement object 15 is calculated by calculating amplitude information that is an amplitude component of the luminance change of the pixel in the captured image.
次に、鏡面反射率Ｒｓの測定方法を説明する。上述したバイアス情報Ｃは、鏡面反射方向周辺の反射光強度の平均値を示す。バイアス情報Ｃに対応する反射光には、拡散反射成分も含まれる。拡散反射成分を減じたバイアス情報Ｃｓは、測定面のバイアス情報ＣをＣｓｍｐ、基準拡散反射面のバイアス情報ＣをＣｓｔｄ、測定面の拡散反射率ＲｄをＲｄ＿ｓｍｐとすると、次の式（５３）により算出される。 Next, a method for measuring the specular reflectance Rs will be described. The bias information C described above indicates an average value of the reflected light intensity around the specular reflection direction. The reflected light corresponding to the bias information C includes a diffuse reflection component. The bias information Cs obtained by subtracting the diffuse reflection component is expressed by the following equation (53), where Csmp is the bias information C of the measurement surface, Cstd is the bias information C of the reference diffuse reflection surface, and Rd_smp is the diffuse reflectance Rd of the measurement surface. Calculated.
Ｃｓ＝Ｃｓｍｐ−Ｃｓｔｄ×Ｒｄ＿ｓｍｐ／Ｃａｌ＿Ｒ０４５・・・（５３）
ただし、Ｃａｌ＿Ｒ０４５は、基準拡散反射面の０度照明４５度受光における反射率である。鏡面反射成分は、微小面の法線分布に基づいて鏡面反射方向周辺に分布する。算出する鏡面反射率Ｒｓは、微小面の法線分布の中心である鏡面反射方向の反射光に関係する。ここで、鏡面反射成分の分布形状は、上述した関数Ｄで与えられる。よって、関数Ｄを全ての反射方向について積分して平均値Ｄａｖｅを算出する。平均値Ｄａｖｅと、関数Ｄの鏡面反射方向の値Ｄｓとの比から、鏡面反射方向の反射光に対応するバイアス情報Ｃｓｄが次の式（５４）により算出できる。
Cs = Csmp−Cstd × Rd_smp / Cal_R045 (53)
However, Cal_R045 is a reflectance in 45 degree light reception of 0 degree illumination of a reference | standard diffuse reflection surface. The specular reflection component is distributed around the specular reflection direction based on the normal distribution of the minute surface. The calculated specular reflectance Rs is related to the reflected light in the specular direction, which is the center of the normal distribution of the minute surface. Here, the distribution shape of the specular reflection component is given by the function D described above. Therefore, the average value Dave is calculated by integrating the function D in all reflection directions. From the ratio between the average value Dave and the value Ds of the specular reflection direction of the function D, the bias information Csd corresponding to the reflected light in the specular reflection direction can be calculated by the following equation (54).
Ｃｓｄ＝Ｃｓ×Ｄｓ／Ｄａｖｅ ・・・（５４）
関数Ｄが上記の式（５２）で与えられるとき、Ｄｓの値は１である。一方、パラメータαｕとαｖに依存する平均値Ｄａｖｅは、離散的なパラメータαｕとαｖに対応する平均値Ｄａｖｅの値を記述した鏡面反射変換テーブルを用意しておき、この変換テーブルを参照して公知の補間法によって計算する。図２８（ｂ）は、鏡面反射変換テーブルの一例を示す。鏡面反射変換テーブルは、上記の式（５２）に基づいて、あらかじめ作成しておく。鏡面反射率Ｒｓの値は、測定面のＣｓｄの値と、基準鏡面反射面のバイアス情報Ｃの値Ｃｓｔｄ＿ｓと、基準鏡面反射面の４５度方向のフレネル反射率の値Ｃａｌ＿Ｒｓ４５から次の式（５５）で算出する。
Csd = Cs × Ds / Dave (54)
When the function D is given by the above equation (52), the value of Ds is 1. On the other hand, the average value Dave depending on the parameters αu and αv is prepared by preparing a specular reflection conversion table in which the values of the average value Dave corresponding to the discrete parameters αu and αv are prepared. It is calculated by the interpolation method. FIG. 28B shows an example of the specular reflection conversion table. The specular reflection conversion table is created in advance based on the above equation (52). The value of the specular reflectivity Rs is calculated using the following formula (55) from the Csd value of the measurement surface, the bias information C value Cstd_s of the reference specular reflection surface, and the Fresnel reflectivity value Cal_Rs45 of the reference specular reflection surface in the 45 degree direction. ).
Ｒｓ＝Ｃｓｄ／Ｃｓｔｄ＿ｓ ｘ Ｃａｌ＿Ｒｓ４５・・・（５５）
基準鏡面反射面としては、光学ガラスＢＫ７の黒色研磨ガラスが利用できる。好適には、Ｃａｌ＿Ｒｓ＿４５の値は公的な計量機関で値付けされた値を使用する。
Rs = Csd / Cstd_s x Cal_Rs45 (55)
As the reference specular reflection surface, black polished glass of optical glass BK7 can be used. Preferably, the value of Cal_Rs_45 uses a value priced by a public measuring agency.
（照明装置２５０１の制御）
拡散反射率を測定するための照明装置２５０１は、測定物１５に対して全面均一な照明光を照射する。前述の実施形態と同様、照明装置１１が表示する照明用画像は、周期関数で多階調に変調した輝度情報を画素毎に保持する画像である。照明装置１１が表示する照明用画像における各画素の輝度Ｌは、上記の式（２）で与えられる。ただし、実施形態７では、位相を異ならせる方向は３つのグループのパターンを使用する。具体的には、Ｘ方向に位相を異ならせた第一グループの照明用画像、Ｙ方向に位相を異ならせた第二グループの照明用画像、Ｘ軸と−４５度を成す方向に位相を異ならせた第三グループの照明用画像を用いる。これによって、方位角の異なる３つの光沢写像性を導出する。３つの光沢写像性から上記方位角φｕと上記楕円の長軸および短軸の長さに相当する光沢写像性の値を取得する第一グループ乃至第三グループの照明用画像を用いて測定物１５を照明する。このようにしてそれぞれ、方位角０度、方位角９０度、方位角４５度の光沢写像性を取得する。第一および第二グループの照明パターンの位相分関数δは、上記の式（２）、式（３）で与えられる。第三グループの照明パターンの位相分布関数δは、次の式（５６）で与えられる。
(Control of lighting device 2501)
An illumination device 2501 for measuring the diffuse reflectance irradiates the measurement object 15 with uniform illumination light over the entire surface. Similar to the above-described embodiment, the illumination image displayed by the illumination device 11 is an image that holds luminance information modulated in multiple gradations by a periodic function for each pixel. The luminance L of each pixel in the illumination image displayed by the illumination device 11 is given by the above equation (2). However, in the seventh embodiment, three groups of patterns are used as directions in which the phases are different. Specifically, the first group of illumination images having different phases in the X direction, the second group of illumination images having different phases in the Y direction, and different phases in the direction of −45 degrees with the X axis. A third group of lighting images is used. Thus, three glossy image properties with different azimuth angles are derived. The measurement object 15 is obtained by using the first to third illumination images for obtaining the gloss image values corresponding to the azimuth angle φu and the major and minor axis lengths of the ellipse from the three gloss image properties. Illuminate. In this way, gloss image clarity with an azimuth angle of 0 degrees, an azimuth angle of 90 degrees, and an azimuth angle of 45 degrees is acquired. The phase component function δ of the illumination patterns of the first and second groups is given by the above equations (2) and (3). The phase distribution function δ of the third group of illumination patterns is given by the following equation (56).
δ（Ｘｄ，Ｙｄ）＝Ｋ５×（Ｘｄ／（２＾０．５）−Ｙｄ／（２＾０．５））・・・（５６）
ここで、Ｋ５は定数であり、例えば１である。各グループとも輝度変調のための照明用画像の数は３であり、３グループ合わせて最少９回の測定により光沢異方性を算出する。図３０は、照明用画像の数ｎ＝４のときの照明用画像の例を示す模式図である。図３０（ａ）は、照明装置１１と照明パターンの位置関係を示す。また、図３０（ｂ）乃至図３０（ｅ）は第一グループの照明パターン、図３０（ｆ）乃至図３０（ｉ）は第二グループの照明パターン、図３０（ｊ）乃至図３０（ｍ）は第三グループの照明パターンを示す。
δ (Xd, Yd) = K5 × (Xd / (2 ^ 0.5) −Yd / (2 ^ 0.5)) (56)
Here, K5 is a constant, for example, 1. In each group, the number of illumination images for luminance modulation is 3, and the gloss anisotropy is calculated by measuring at least nine times for the three groups. FIG. 30 is a schematic diagram illustrating an example of an illumination image when the number of illumination images n = 4. FIG. 30A shows the positional relationship between the illumination device 11 and the illumination pattern. 30 (b) to 30 (e) are illumination patterns of the first group, FIGS. 30 (f) to 30 (i) are illumination patterns of the second group, and FIGS. 30 (j) to 30 (m). ) Indicates the third group illumination pattern.
（情報処理装置１４機能構成）
情報処理装置１４における詳細な構成について説明する。図３２は、本実施形態における情報処理装置１４の機能構成を示すブロック図である。デバイス制御部３９０１は、実施形態１のデバイス制御部９０１と同様に、照明装置１１および撮影装置１２を制御する。さらにデバイス制御部３９０１は、拡散反射測定用の照明装置２５０１を制御する。データ格納部３９０２は、データ格納部９０２と同様、取得した撮影画像を保持する。
(Functional configuration of information processing apparatus 14)
A detailed configuration of the information processing apparatus 14 will be described. FIG. 32 is a block diagram illustrating a functional configuration of the information processing apparatus 14 in the present embodiment. The device control unit 3901 controls the illumination device 11 and the imaging device 12 in the same manner as the device control unit 901 of the first embodiment. Further, the device control unit 3901 controls the illumination device 2501 for diffuse reflection measurement. Similar to the data storage unit 902, the data storage unit 3902 holds the acquired captured image.
位相情報取得部３９０３は、データ格納部３９０２に格納された第一グループ乃至第三グループの照明用画像を用いて照明した測定物１５を撮影した９つの撮影画像に基づいて、各画素の位相情報を算出し、グループごとに位相分布を取得する。振幅情報取得部３９０４は、データ格納部３９０２に格納された第一グループ乃至第三グループの照明用画像により照明された測定物１５の撮影画像に基づいて、各画素の輝度変化の振幅を算出し、グループ毎の振幅分布を導出する。 The phase information acquisition unit 3903 is based on nine captured images obtained by capturing the measurement object 15 illuminated using the first group to third group illumination images stored in the data storage unit 3902, and the phase information of each pixel. To obtain a phase distribution for each group. The amplitude information acquisition unit 3904 calculates the amplitude of the luminance change of each pixel based on the captured image of the measurement object 15 illuminated by the first group to third group illumination images stored in the data storage unit 3902. The amplitude distribution for each group is derived.
バイアス情報取得部３９０５は、データ格納部３９０２に格納された第一グループの照明用画像により照明された基準拡散反射面の撮影画像に基づいて、各画素のバイアス情報を算出し、バイアス分布を取得する。基準拡散反射面のバイアス分布は、校正データ格納部３９１３に格納される。また、データ格納部３９０２に格納された第一グループの照明用画像により照明された基準鏡面反射面の撮影画像に基づいて画素毎のバイアス情報を算出し、バイアス分布を取得する。基準鏡面反射面のバイアス分布は、校正データ格納部３９１３に格納される。また、第一グループの照明用画像により照明された測定物の撮影画像に基づいて、画素毎のバイアス情報を算出し、測定物１５のバイアス分布を取得する。拡散反射情報取得部３９０６は、照明装置２５０１が照明した測定物１５の撮影画像に基づいて、拡散反射率Ｒｄの２次元分布を取得する。 The bias information acquisition unit 3905 calculates bias information of each pixel based on the captured image of the reference diffuse reflection surface illuminated by the first group of illumination images stored in the data storage unit 3902 and acquires the bias distribution. To do. The bias distribution of the reference diffuse reflection surface is stored in the calibration data storage unit 3913. Also, bias information for each pixel is calculated based on the captured image of the reference specular reflection surface illuminated by the first group of illumination images stored in the data storage unit 3902, and a bias distribution is acquired. The bias distribution of the reference specular reflection surface is stored in the calibration data storage unit 3913. Further, bias information for each pixel is calculated based on a photographed image of the measurement object illuminated by the first group of illumination images, and a bias distribution of the measurement object 15 is acquired. The diffuse reflection information acquisition unit 3906 acquires a two-dimensional distribution of the diffuse reflectance Rd based on the captured image of the measurement object 15 illuminated by the illumination device 2501.
また情報処理装置１４は、光学的法線方向取得部３９０７、光沢異方性パラメータ取得部３９０８、光沢写像性変換テーブル格納部３９１１を有する。光学的法線方向取得部３９０７は、位相情報取得部３９０３が取得した位相分布に基づいて、光学的法線方向Ｎｖの２次元分布を取得する。光沢異方性パラメータ取得部３９０８は、振幅情報取得部３４０４が取得した振幅分布に基づいて、光沢異方性に関わるパラメータφｕ、αｕ、αｖの２次元分布を取得する。このとき、光沢写像性変換テーブル格納部３９１１が格納する光沢写像性変換テーブルを参照する。鏡面反射率分布取得部３９０９は、基準拡散反射面のバイアス分布、基準鏡面反射面のバイアス分布、拡散反射率Ｒｄの２次元分布、光沢異方性パラメータの２次元分布および測定物のバイアス分布に基づいて、鏡面反射率Ｒｓの２次元分布を取得する。鏡面反射率分布取得部３９０９は、鏡面反射率Ｒｓの２次元分布を取得する処理において、鏡面反射変換テーブル格納部３９１２に格納される鏡面反射変換テーブルを参照する。 The information processing apparatus 14 also includes an optical normal direction acquisition unit 3907, a gloss anisotropy parameter acquisition unit 3908, and a gloss image clarity conversion table storage unit 3911. The optical normal direction acquisition unit 3907 acquires a two-dimensional distribution in the optical normal direction Nv based on the phase distribution acquired by the phase information acquisition unit 3903. The gloss anisotropy parameter acquisition unit 3908 acquires a two-dimensional distribution of parameters φu, αu, αv related to gloss anisotropy based on the amplitude distribution acquired by the amplitude information acquisition unit 3404. At this time, the glossy image conversion table stored in the glossy image conversion table storage unit 3911 is referred to. The specular reflectance distribution acquisition unit 3909 converts the bias distribution of the reference diffuse reflection surface, the bias distribution of the reference specular reflection surface, the two-dimensional distribution of the diffuse reflectance Rd, the two-dimensional distribution of the gloss anisotropy parameter, and the bias distribution of the measurement object. Based on this, a two-dimensional distribution of the specular reflectance Rs is acquired. The specular reflectance distribution acquisition unit 3909 refers to the specular reflection conversion table stored in the specular reflection conversion table storage unit 3912 in the process of acquiring the two-dimensional distribution of the specular reflectance Rs.
出力部３９１０は、ユーザの指示に基づき、測定結果である反射モデルのパラメータＲｄ，Ｒｓ、Ｎｖ，φｕ，αｕ，αｖの２次元分布やその他の中間データを出力する。なお以上の説明では、各構成の説明において、全ての画素の処理が完了して分布画像を取得した後に、次の処理に移る構成を説明した。しかしながら、１画素毎に全ての処理するように構成してもよいし、複数画素毎に全ての処理を完了するように構成してもよい。 The output unit 3910 outputs a two-dimensional distribution of reflection model parameters Rd, Rs, Nv, φu, αu, αv and other intermediate data based on a user instruction. In the above description, in the description of each configuration, a configuration has been described in which processing for all pixels is completed and a distribution image is acquired, and then the next processing is performed. However, all the processes may be performed for each pixel, or all the processes may be completed for each of a plurality of pixels.
図２６は、本実施形態の情報処理装置１４が実行する処理のフローチャートである。情報処理装置１４が有するＣＰＵが以降に説明するフローチャートを実行するプログラムを読み出し、実行することにより図３２に示す各構成を実現する。ステップＳ２９０１において測定システムの校正を行う。ここで校正とは、上述した基準面のデータおよび黒レベルを取得する処理を指す。この工程では、上記の黒レベル撮影画像、基準拡散反射面の拡散反射撮影画像、および、基準拡散反射面と基準鏡面反射面のバイアス分布を取得する。詳細は後述する。 FIG. 26 is a flowchart of processing executed by the information processing apparatus 14 according to this embodiment. Each of the components shown in FIG. 32 is realized by the CPU included in the information processing apparatus 14 reading and executing a program that executes a flowchart described below. In step S2901, the measurement system is calibrated. Here, the calibration refers to the process of acquiring the reference plane data and the black level described above. In this step, the black level photographed image, the diffuse reflection photographed image of the reference diffuse reflection surface, and the bias distribution of the reference diffuse reflection surface and the reference specular reflection surface are acquired. Details will be described later.
ステップＳ２９０２においてデバイス制御部３９０１は、測定物１５を撮影し、測定する。上述したように、本測定システムでは、照明装置２５０１が照明した撮影と、照明装置１１が第一グループ、第二グループ、第三グループの各照明用画像を表示して照明した撮影を行う。 In step S2902, the device control unit 3901 captures and measures the measurement object 15. As described above, in the present measurement system, photographing performed by the illumination device 2501 and photographing performed by the illumination device 11 displaying and illuminating the first group, second group, and third group images for illumination are performed.
ステップＳ２９０３において振幅情報取得部３９０４は、測定物１５の振幅分布を取得する。振幅分布は、撮影画像の各画素に対応する振幅情報Ａの値を格納した画像である。照明装置１１が第一グループ乃至第三グループの照明用画像をディスプレイに表示して撮影した撮影画像について、グループ毎に各画素の輝度変化における振幅を算出する。その結果、３つの振幅分布を導出する。第一グループ乃至第三グループの照明用画像の撮影画像から算出した振幅分布は、それぞれ、方位角０度、方位角９０度、方位角４５度の振幅分布である。各画素の振幅情報Ａは、撮影画像の各画素の輝度レベルＩｉと変調の情報Δｉとから、上記の式（９）、式（１０）および式（１１）で算出する。 In step S2903, the amplitude information acquisition unit 3904 acquires the amplitude distribution of the measurement object 15. The amplitude distribution is an image in which the value of amplitude information A corresponding to each pixel of the captured image is stored. For the captured images captured by the illumination device 11 displaying the first group to third group illumination images on the display, the amplitude of the luminance change of each pixel is calculated for each group. As a result, three amplitude distributions are derived. The amplitude distributions calculated from the captured images of the illumination images of the first group to the third group are amplitude distributions having an azimuth angle of 0 degrees, an azimuth angle of 90 degrees, and an azimuth angle of 45 degrees, respectively. The amplitude information A of each pixel is calculated by the above equations (9), (10), and (11) from the luminance level Ii of each pixel of the captured image and the modulation information Δi.
ステップＳ２９０４において位相情報取得部３９０３は、測定物１５の位相分布を取得する。位相分布は、撮影画像の各画素に対応する位相情報Ｂの値を格納した画像である。実施形態１の測定手順ステップＳ３０２と同様の処理を行い、２つの位相分布を取得する。ステップＳ２９０５においてバイアス情報取得部３９０５は、測定物１５のバイアス分布を取得する。バイアス分布は、撮影画像の各画素に対応するバイアス情報Ｃの値を格納した画像である。照明装置１１が第一グループの照明用画像を表示して撮影した撮影画像を用いて、各画素の輝度レベルＩｉから、上記の式（１２）を用いて１つのバイアス分布を算出する。 In step S <b> 2904, the phase information acquisition unit 3903 acquires the phase distribution of the measurement object 15. The phase distribution is an image in which the value of the phase information B corresponding to each pixel of the captured image is stored. The same processing as the measurement procedure step S302 of the first embodiment is performed to acquire two phase distributions. In step S 2905, the bias information acquisition unit 3905 acquires the bias distribution of the measurement object 15. The bias distribution is an image in which the value of bias information C corresponding to each pixel of the captured image is stored. One bias distribution is calculated from the luminance level Ii of each pixel using the above-described equation (12) using the captured image captured by the illumination device 11 displaying the first group of illumination images.
ステップＳ２９０６において拡散反射情報取得３９０６は、拡散反射率Ｒｄの２次元分布を算出する。拡散反射率Ｒｄは、上記の式（４６）の通りに算出する。式（４６）において、Ｉｄ＿ｓｍｐはステップＳ２９０２で取得した拡散反射画像の輝度値である。また、Ｉｄ＿ｂｋおよびＩｄ＿ｓｔｄはそれぞれ、ステップＳ２９０１で取得した黒レベル撮影画像と基準拡散反射面の拡散反射撮影画像の輝度値である。 In step S2906, the diffuse reflection information acquisition 3906 calculates a two-dimensional distribution of the diffuse reflectance Rd. The diffuse reflectance Rd is calculated as in the above equation (46). In Expression (46), Id_smp is the luminance value of the diffuse reflection image acquired in step S2902. Also, Id_bk and Id_std are the brightness values of the black level photographed image and the diffuse reflection photographed image of the reference diffuse reflection surface acquired in step S2901, respectively.
ステップＳ２９０７において光学法線方向分布取得部３９０７は、光学的法線方向Ｎｖの２次元分布を導出する。光学的法線方向Ｎｖの２次元分布は、ステップＳ２９０４で求めた２つの位相分布に基づいて、実施形態１のステップＳ３０３と同様の処理を行って取得する。ステップＳ２９０８において光学違法性パラメータ取得部３９０８は、光沢異方性を表すパラメータの２次元分布を導出する。光沢異方性を表すパラメータの２次元分布は、ステップＳ２９０３において求めた振幅分布に基づいて算出する。詳細は後述する。ステップＳ２９０９において鏡面反射率分布取得部３９０９は、鏡面反射率Ｒｓの２次元分布を取得する。鏡面反射率Ｒｓの２次元分布は、ステップＳ２９０１で取得した基準拡散反射面と基準鏡面反射面のバイアス分布、Ｓ２９０５で取得したバイアス分布、ステップＳ２９０６で取得した拡散反射率Ｒｄの２次元分布に基づいて算出する。詳細は後述する。 In step S2907, the optical normal direction distribution acquisition unit 3907 derives a two-dimensional distribution in the optical normal direction Nv. The two-dimensional distribution in the optical normal direction Nv is obtained by performing the same process as in step S303 of the first embodiment based on the two phase distributions obtained in step S2904. In step S2908, the optical illegality parameter acquisition unit 3908 derives a two-dimensional distribution of parameters representing gloss anisotropy. A two-dimensional distribution of parameters representing gloss anisotropy is calculated based on the amplitude distribution obtained in step S2903. Details will be described later. In step S2909, the specular reflectance distribution acquisition unit 3909 acquires a two-dimensional distribution of the specular reflectance Rs. The two-dimensional distribution of the specular reflectivity Rs is based on the reference diffuse reflection surface acquired in step S2901 and the bias distribution of the reference specular reflection surface, the bias distribution acquired in S2905, and the two-dimensional distribution of the diffuse reflectivity Rd acquired in step S2906. To calculate. Details will be described later.
最後に、ステップＳ２９１０において出力部３９０１０は、ユーザの指示に基づいて、各種測定結果を出力して終了する。出力項目は、反射モデルのパラメータＲｄ，Ｒｓ，Ｎｖ，φｕ，αｕ，αｖの２次元分布の他、受光方向を示すベクトルＶや、振幅情報分布、位相情報分布、バイアス情報分布、撮影画像などの中間データを含んでもよい。 Finally, in step S2910, the output unit 39010 outputs various measurement results based on the user's instruction and ends. Output items include a two-dimensional distribution of reflection model parameters Rd, Rs, Nv, φu, αu, and αv, a vector V indicating a light receiving direction, an amplitude information distribution, a phase information distribution, a bias information distribution, and a captured image. Intermediate data may be included.
ここでステップＳ２９０１の校正の処理手順について詳細に説明する。図２６（ｂ）は、校正の処理のフローチャートである。まず、ステップＳ３００１においてデバイス制御部３９０１は、基準拡散反射面を照明装置２５０１で照明させて撮影装置１２が測定物１５を撮影し、拡散反射撮影画像を取得する。ステップＳ３００２においてデバイス制御部３９０１は、照明装置１１に第一グループの照明用画像を転送して表示させて、基準拡散反射面を撮影する。ステップＳ３００３においてデバイス制御部３９０１は、照明装置１１に第一グループの照明用画像を転送して表示させ、基準鏡面反射面を撮影する。 Here, the calibration processing procedure in step S2901 will be described in detail. FIG. 26B is a flowchart of the calibration process. First, in step S <b> 3001, the device control unit 3901 illuminates the reference diffuse reflection surface with the illumination device 2501, the imaging device 12 captures the measurement object 15, and acquires a diffuse reflection captured image. In step S3002, the device control unit 3901 captures the reference diffuse reflection surface by transferring and displaying the first group of illumination images on the illumination device 11. In step S3003, the device control unit 3901 transfers and displays the first group of illumination images on the illumination device 11, and images the reference specular reflection surface.
次に、ステップＳ３００４において、照明装置１１と照明装置２５０１を両方とも消灯または遮光した状態で撮影し、黒レベル撮影画像を取得する。ステップＳ３００５において、基準拡散反射面のバイアス分布を取得する。バイアス分布は、上述したステップＳ２９０５の処理を行って取得する。ステップＳ３００６において、基準鏡面反射面のバイアス分布を取得する。バイアス分布は、上述したステップＳ２９０５の処理を行って取得する。校正処理に必要な最少の撮影数は、基準拡散反射面の拡散反射撮影画像それぞれの撮影に１、第一グループの照明用画像の撮影に３、基準鏡面反射面の第一グループの照明用画像の撮影に３、黒レベル撮影画像の撮影に１の合計８つである。すなわち、本測定システムによれば、測定面の撮影と合わせて、最少１７回の撮影画像からＳＶＢＲＤＦが取得できる。 Next, in step S3004, shooting is performed with both the illumination device 11 and the illumination device 2501 turned off or shielded to obtain a black level photographed image. In step S3005, the bias distribution of the reference diffuse reflection surface is acquired. The bias distribution is acquired by performing the process of step S2905 described above. In step S3006, the bias distribution of the reference specular reflection surface is acquired. The bias distribution is acquired by performing the process of step S2905 described above. The minimum number of images required for the calibration process is 1 for each of the diffuse reflection images on the reference diffuse reflection surface, 3 for the first group of illumination images, and the first group of illumination images on the reference specular reflection surface. There are a total of eight, 3 for shooting and 1 for shooting black level shooting images. That is, according to this measurement system, SVBRDF can be acquired from a minimum of 17 captured images together with the measurement surface.
次に、ステップＳ２９０８の光沢異方性を表すパラメータの２次元分布の算出処理の詳細について説明する。図２６（ｄ）は、光沢異方性を表すパラメータの算出処理のフローチャートである。まず、ステップＳ３８０３において、光沢写像性の２次元分布を取得する。光沢写像性は、ステップＳ２９０３で取得した振幅分布の画素値である振幅情報Ａに基づいて、上述した光沢写像性変換テーブルを参照し、公知の補間方法によって算出する。光沢写像性の２次元分布は、方位角０度、方位角９０度、方位角４５度の振幅分布から、それぞれ、方位角０度、方位角９０度、方位角４５度の光沢写像性の２次元分布を取得する。 Next, details of the calculation processing of the two-dimensional distribution of the parameter representing the gloss anisotropy in step S2908 will be described. FIG. 26D is a flowchart of a process for calculating a parameter representing gloss anisotropy. First, in step S3803, a two-dimensional distribution of glossy image clarity is acquired. The gloss image clarity is calculated by a known interpolation method with reference to the above-described gloss image conversion table based on the amplitude information A which is the pixel value of the amplitude distribution acquired in step S2903. The two-dimensional distribution of gloss image clarity is an amplitude distribution with an azimuth angle of 0 degrees, an azimuth angle of 90 degrees, and an azimuth angle of 45 degrees. Get the dimensional distribution.
次に、ステップＳ３８０４において、光沢異方性を表すパラメータの２次元分布を取得する。ここでは光沢異方性を表すパラメータとして、式（５２）のパラメータαが最少となる方位角φｕと、方位角φｕ方向のαの値αｕと、φｕに直交する方向のαの値αｖの３つのパラメータを取得する。 Next, in step S3804, a two-dimensional distribution of parameters representing gloss anisotropy is acquired. Here, as parameters representing the gloss anisotropy, the azimuth angle φu in which the parameter α of the equation (52) is minimum, the α value αu in the azimuth angle φu direction, and the α value αv in the direction orthogonal to φu are 3 Get one parameter.
各パラメータφｕとαｕ、αｖの値は、次の式（５７）乃至式（５９）で与えられる。 The values of the parameters φu, αu, and αv are given by the following equations (57) to (59).
φｕ＝ａｒｃｔａｎ（Ｐ３／（Ｐ１−Ｐ２））／２・・・（５７）
αｕ＝１／（（（Ｐ１＋Ｐ２）−（（Ｐ１−Ｐ２）＾２＋Ｐ３＾２）＾０．５）／２）＾０．５・・・（５８）
αｖ＝１／（（（Ｐ１＋Ｐ２）＋（（Ｐ１−Ｐ２）＾２＋Ｐ３＾２）＾０．５）／２）＾０．５・・・（５９）
ただし、Ｐ１、Ｐ２、Ｐ３の値は、次の式（６０）乃至式（６２）による。
φu = arctan (P3 / (P1-P2)) / 2 (57)
αu = 1 / (((P1 + P2) − ((P1−P2) ^ 2 + P3 ^ 2) ^ 0.5) / 2) ^ 0.5 (58)
αv = 1 / (((P1 + P2) + ((P1−P2) ^ 2 + P3 ^ 2) ^ 0.5) / 2) ^ 0.5 (59)
However, the values of P1, P2, and P3 are based on the following equations (60) to (62).
Ｐ１＝−４×Ｓ９０＾２／Ｐ４ ・・・（６０）
Ｐ２＝−４×Ｓ０＾２／Ｐ４ ・・・（６１）
Ｐ３＝−４×（Ｓ０＾２＋Ｓ９０＾２−２×Ｓ４５＾２）／Ｐ４ ・・・（６２）
ただし、Ｐ４の値は、次の式（６３）による。
P1 = −4 × S90 ^ 2 / P4 (60)
P2 = −4 × S0 ^ 2 / P4 (61)
P3 = −4 × (S0 ^ 2 + S90 ^ 2-2 × S45 ^ 2) / P4 (62)
However, the value of P4 is according to the following equation (63).
Ｐ４＝（Ｓ０＾２＋２＊Ｓ０＊Ｓ９０＋Ｓ９０＾２−２×Ｓ４５＾２）×（Ｓ０＾２−２×Ｓ０×Ｓ９０＋Ｓ９０＾２−２×Ｓ４５＾２） ・・・（６３）
ここで、Ｓ０、Ｓ９０、Ｓ４５は、それぞれ、方位角０度、９０度、４５度の光沢写像性の値であり、それぞれ、ステップＳ３８０１で取得した、対応する方位角の光沢写像性の２次元分布の画素の値である。
P4 = (S0 ^ 2 + 2 * S0 * S90 + S90 ^ 2-2 * S45 ^ 2) * (S0 ^ 2-2 * S0 * S90 + S90 ^ 2-2 * S45 ^ 2) (63)
Here, S0, S90, and S45 are gloss image values of azimuth angles of 0 degrees, 90 degrees, and 45 degrees, respectively, and the two-dimensional gloss image characteristics of the corresponding azimuth angles acquired in step S3801 are obtained. This is the pixel value of the distribution.
次に、ステップＳ２９０９における鏡面反射率Ｒｓの２次元分布の算出手順について説明する。図３６（ｃ）は、鏡面反射率Ｒｓの２次元分布の取得手順を説明するフローチャートである。まず、ステップＳ３２０１において、拡散反射成分を減じたバイアス情報Ｃｓの２次元分布を求める。Ｃｓの値は、上記の式（４７）で算出する。式（４７）において、ＣｓｍｐはステップＳ２９０５で取得したバイアス分布の画素値、ＣｓｔｄはステップＳ２９０１で取得した基準拡散反射面のバイアス分布の画素値である。また、Ｒｄ＿ｓｍｐはステップＳ２９０６で取得した拡散反射率Ｒｄの２次元分布の画素値である。 Next, the procedure for calculating the two-dimensional distribution of the specular reflectance Rs in step S2909 will be described. FIG. 36C is a flowchart illustrating a procedure for obtaining a two-dimensional distribution of the specular reflectance Rs. First, in step S3201, a two-dimensional distribution of bias information Cs obtained by reducing the diffuse reflection component is obtained. The value of Cs is calculated by the above equation (47). In equation (47), Csmp is the pixel value of the bias distribution acquired in step S2905, and Cstd is the pixel value of the bias distribution of the reference diffuse reflection surface acquired in step S2901. Rd_smp is a pixel value of the two-dimensional distribution of the diffuse reflectance Rd acquired in step S2906.
次に、ステップＳ３２０２において、関数Ｄの全ての反射方向の平均値Ｄａｖｅの２次元分布を求める。平均値Ｄａｖｅは、上述した鏡面反射変換テーブルを参照して、ステップＳ２９０８で取得した異方性パラメータαｕ、αｖの２次元分布の画素値から、公知の補間方法によって算出する。 Next, in step S3202, a two-dimensional distribution of the average value Dave of all reflection directions of the function D is obtained. The average value Dave is calculated by a known interpolation method from the two-dimensional distribution pixel values of the anisotropic parameters αu and αv acquired in step S2908 with reference to the specular reflection conversion table described above.
次に、ステップＳ３２０３において、鏡面反射方向の反射光に対応するバイアス情報Ｃｓｄの２次元分布を求める。バイアス情報Ｃｓｄは、上記の式（４８）で算出する。式（４８）において、ＣｓはステップＳ３２０１で求めたＣｓの２次元分布の画素値であり、Ｄｓの値は１であり、平均値ＤａｖｅはステップＳ３２０２で求めた平均値Ｄａｖｅの２次元分布の画素値である。 Next, in step S3203, a two-dimensional distribution of bias information Csd corresponding to the reflected light in the specular reflection direction is obtained. The bias information Csd is calculated by the above equation (48). In Expression (48), Cs is the pixel value of the two-dimensional distribution of Cs obtained in step S3201, the value of Ds is 1, and the average value Dave is a pixel of the two-dimensional distribution of the average value Dave obtained in step S3202. Value.
次に、ステップＳ３２０４において、鏡面反射率Ｒｓの２次元分布を求める。Ｒｓの値は、上記の式（４９）で算出する。式（４９）において、ＣｓｄはステップＳ３２０３で求めたＣｓｄの２次元分布の画素値、Ｃｓｔｄ＿ｓはステップＳ２９０１で取得した基準鏡面反射面のバイアス分布の画素値である。 Next, in step S3204, a two-dimensional distribution of the specular reflectance Rs is obtained. The value of Rs is calculated by the above equation (49). In Equation (49), Csd is the pixel value of the two-dimensional distribution of Csd obtained in step S3203, and Cstd_s is the pixel value of the bias distribution of the reference specular reflection surface obtained in step S2901.
以上の処理により、反射モデルのパラメータＲｄ，Ｒｓ、Ｎｖ，φｕ，αｕ，αｖの２次元分布を算出できる。 Through the above processing, the two-dimensional distribution of the reflection model parameters Rd, Rs, Nv, φu, αu, αv can be calculated.
ここで、実施形態７の測定システムから得られるパラメータを用いて、反射モデルを算出する処理を説明する。以降の処理は、測定システムからパラメータを受信した外部の情報処理装置が実行することにより、測定物１５のＳＶＢＲＤＦを再現できる。図２７は、光沢写像性の反射モデルを算出する処理のフローチャートである。まず、ステップＳ３１０１において、照明方向を示すベクトルωｉと観察方向を示すベクトルωｏの２等分方向であるハーフベクトルＨｖを次の式（６４）で算出する。 Here, a process of calculating a reflection model using parameters obtained from the measurement system of the seventh embodiment will be described. Subsequent processing is executed by an external information processing apparatus that has received a parameter from the measurement system, whereby the SVBRDF of the measurement object 15 can be reproduced. FIG. 27 is a flowchart of processing for calculating a glossy image reflection model. First, in step S3101, a half vector Hv that is a bisection direction of a vector ωi indicating an illumination direction and a vector ωo indicating an observation direction is calculated by the following equation (64).
Ｈｖ＝（ωｉ＋ωｏ）／｜ωｉ＋ωｏ｜・・・（６４）
ここで、｜ωｉ＋ωｏ｜は、ベクトル（ωｉ＋ωｏ）の大きさを表す。
Hv = (ωi + ωo) / | ωi + ωo | (64)
Here, | ωi + ωo | represents the magnitude of the vector (ωi + ωo).
次に、ステップＳ３１０２において、ハーフベクトルＨｖの方位角成分φｈを次の式（６５）で算出する。 Next, in step S3102, the azimuth angle component φh of the half vector Hv is calculated by the following equation (65).
φｈ＝ａｒｃｔａｎ（Ｈｖ＿ｙ／Ｈｖ＿ｘ）・・・（６５）
ただし、Ｈｖ＿ｘおよびＨｖ＿ｙは、それぞれ、ベクトルＨｖのＸ成分およびＹ成分である。ステップＳ３１０３において、方位角φｈに対応する光沢写像性αを次の式（６６）で算出する。
φh = arctan (Hv_y / Hv_x) (65)
However, Hv_x and Hv_y are the X component and Y component of the vector Hv, respectively. In step S3103, the gloss image clarity α corresponding to the azimuth angle φh is calculated by the following equation (66).
α＝（αｗ ｘ αｖ）／（αｖ＾２ ｘ （ｃｏｓ（φｈ））＾２＋αｕ＾２ ｘ （ｓｉｎ（φｈ））＾２）＾０．５・・・（６６）
上記の式（５２）のθｇは、ハーフベクトルＨｖと光学的法線方向を示すベクトルＮｖの成す角度であり、次の式（６７）で与えられる。
α = (αw × αv) / (αv ^ 2 x (cos (φh)) ^ 2 + αu ^ 2 x (sin (φh)) ^ 2) ^ 0.5 (66)
Θg in the above equation (52) is an angle formed by the half vector Hv and the vector Nv indicating the optical normal direction, and is given by the following equation (67).
θｇ＝ａｒｃｃｏｓ（Ｈｖ・Ｎｖ） ・・・（６７）
以上説明したように、反射モデルによれば、任意の照明方向および観察方向において観察される反射光の強度が、本測定装置で測定されるパラメータＲｄ、Ｒｓ、φｕ、αｕ、αｖおよびＮｖから算出できる。また、複数方向から照明されたときの反射光は、各照明方向の光に関する反射光の足し合わせによって求めることができる。よって、任意の照明条件で観察される反射光が算出できる。
θg = arccos (Hv · Nv) (67)
As described above, according to the reflection model, the intensity of reflected light observed in an arbitrary illumination direction and observation direction is calculated from the parameters Rd, Rs, φu, αu, αv, and Nv measured by the measurement apparatus. it can. Moreover, the reflected light when illuminated from a plurality of directions can be obtained by adding the reflected light relating to the light in each illumination direction. Therefore, the reflected light observed under arbitrary illumination conditions can be calculated.
以上説明したように、本実施形態の測定装置によれば、最少１７回の撮影画像からＳＶＢＲＤが取得できる。 As described above, according to the measurement apparatus of this embodiment, SVBRD can be acquired from a minimum of 17 captured images.
［その他の実施形態］
上記の実施形態では、照明装置として、平面または直線上に点光源を配置した例について説明したが、点光源は曲面や曲線上に配置してもかまわない。また、平面や直線上に点光源を配置する場合であっても、当該平面や直線は、測定面に平行でなくてもかまわない。この場合、照明装置の形状の自由度が広くなり、測定装置を小型化することができる。また、照明装置の光源は、モノクロでもよいしＲＧＢカラーでもよい。さらに、マルチバンドカラーまたは分光光源でもよい。ＲＧＢカラーやマルチバンドカラー、分光光源の照明装置を使用した場合は、光沢強度を色毎に取得できる。例えば、ＲＧＢカラーの照明装置を使用した場合は、Ｒ、Ｇ、Ｂの３バンドの光沢強度が取得でき、分光光源の照明装置を使用した場合は、波長毎の光沢強度が取得できる。撮影装置は、モノクロカメラでもよいし、ＲＧＢカラーカメラでも良い。さらに、マルチバンドカメラでもよいし、分光カメラでもよい。照明装置の場合と同様に、ＲＧＢカラーカメラやマルチバンドカメラ、分光カメラを使用した場合は、光沢強度を色毎に取得できる。また、撮影装置は、ＣＣＤやＣＭＯＳなどの２次元センサに限らず、ラインセンサを備えたものでもかまわない。レンズもテレセントリックレンズに限らないし、シャインプルーフの原理を満たす位置に配置したレンズでなくてもかまわない。例えば、広角レンズを使用し、光軸が測定面の法線方向と平行になるように設置し、光軸中心から外れた測定面をセンサ面に結像する構成でも構わない。照明用画像は、正弦波パターンに限らない。周期関数であればよい。例えば、三角波でも構わない。また、光学的法線方向を出力する例を説明したが、所定の照明方向から照明したときに、反射光強度が最大となる反射方向を出力する構成でも構わない。また、所定の受光方向で受光するときに、受光する光強度が最大となる照明方向を出力する構成でも構わない。また、方向に関する出力値は、天頂角と方位角であってもよいし、３次元空間のベクトル値であってもよい。この場合、光学的法線方向の２次元分布は、各画素にＸｖｎ、Ｙｖｎ、Ｚｖｎの値を格納する画像である。このような画像データは、コンピュータグラフィックスのテクスチャデータである法線マップとして使用される。この場合、例えば、次の式（６７）乃至式（６９）によって、ベクトルのＸ成分とＹ成分の値（−１から１の範囲）をそれぞれ、Ｒ信号およびＧ信号の０から２５５に対応づけ、Ｚ成分の値（０から１の範囲）をＢ信号の０から２５５に対応づける。
[Other Embodiments]
In the above embodiment, an example has been described in which the point light source is arranged on a plane or a straight line as the lighting device, but the point light source may be arranged on a curved surface or a curved line. Even when the point light sources are arranged on a plane or a straight line, the plane or the straight line may not be parallel to the measurement surface. In this case, the degree of freedom of the shape of the lighting device is widened, and the measuring device can be downsized. The light source of the lighting device may be monochrome or RGB color. Furthermore, a multiband color or spectral light source may be used. When an RGB color, multiband color, or spectral light source illumination device is used, the gloss intensity can be acquired for each color. For example, when an RGB color illumination device is used, the gloss intensity of three bands of R, G, and B can be acquired, and when a spectral light source illumination device is used, the gloss intensity for each wavelength can be acquired. The photographing apparatus may be a monochrome camera or an RGB color camera. Furthermore, a multiband camera or a spectroscopic camera may be used. As in the case of the illumination device, when an RGB color camera, a multiband camera, or a spectroscopic camera is used, the gloss intensity can be acquired for each color. Further, the photographing apparatus is not limited to a two-dimensional sensor such as a CCD or a CMOS, but may include a line sensor. The lens is not limited to a telecentric lens, and may not be a lens arranged at a position satisfying the Scheinproof principle. For example, a configuration may be used in which a wide-angle lens is used, the optical axis is set parallel to the normal direction of the measurement surface, and the measurement surface deviated from the optical axis center is imaged on the sensor surface. The illumination image is not limited to a sine wave pattern. Any periodic function may be used. For example, a triangular wave may be used. Moreover, although the example which outputs an optical normal line direction was demonstrated, when illuminated from a predetermined illumination direction, the structure which outputs the reflection direction in which reflected light intensity becomes the maximum may be sufficient. Moreover, when receiving light in a predetermined light receiving direction, a configuration in which an illumination direction in which the received light intensity is maximum may be output. Further, the output value related to the direction may be a zenith angle and an azimuth angle, or may be a vector value in a three-dimensional space. In this case, the two-dimensional distribution in the optical normal direction is an image in which the values of Xvn, Yvn, and Zvn are stored in each pixel. Such image data is used as a normal map which is texture data of computer graphics. In this case, for example, the values of the X component and Y component (range of −1 to 1) of the vector are respectively associated with 0 to 255 of the R signal and the G signal by the following equations (67) to (69). , The value of the Z component (range 0 to 1) is associated with 0 to 255 of the B signal.
Ｒ＝（Ｘｖｎ＋１）／２ ｘ ２５５・・・（６８）
Ｇ＝（Ｙｖｎ＋１）／２ ｘ ２５５・・・（６９）
Ｇ＝Ｚｖｎ ｘ ２５５ ・・・（７０）
光学的法線方向の２次元分布と光沢強度分布から算出するアピアランスの特徴量は、法線方向分布画像と法線方向密度分布、光輝情報に限らない。例えば、光学的法線方向の天頂角の平均値や、標準偏差や歪度を算出して出力する構成でもよい。また、特徴量算出機能をＡｄｄ−Ｉｎで追加できるように構成してもよい。この場合、測定装置は、Ａｄｄ−Ｉｎモジュールを登録および削除する機能と、このモジュールに光学的法線方向の２次元分布および光沢強度分布のデータを出力する機能と、このモジュールが算出した特徴量を入力する機能を備える。また、Ａｄｄ−Ｉｎで追加される特徴量算出モジュールは、光学的法線方向の２次元分布および光沢強度分布のデータに基づいて、１つまたは複数の値からなる特徴量を算出する機能を備える。また、測定装置は、測定結果や処理の中間データをネットワークＩ／Ｆを介して、インターネット上のサーバに登録するように構成してもよい。
R = (Xvn + 1) / 2 x 255 (68)
G = (Yvn + 1) / 2 x 255 (69)
G = Zvn x 255 (70)
The appearance feature amount calculated from the two-dimensional distribution in the optical normal direction and the gloss intensity distribution is not limited to the normal direction distribution image, the normal direction density distribution, and the brightness information. For example, a configuration may be used in which an average value, standard deviation, and skewness of the zenith angle in the optical normal direction is calculated and output. Moreover, you may comprise so that the feature-value calculation function can be added by Add-In. In this case, the measuring apparatus has a function of registering and deleting the Add-In module, a function of outputting data of a two-dimensional distribution in the optical normal direction and a gloss intensity distribution to the module, and a feature amount calculated by the module. The function to input is provided. The feature amount calculation module added by Add-In has a function of calculating a feature amount composed of one or a plurality of values based on two-dimensional distribution and gloss intensity distribution data in the optical normal direction. . Further, the measurement apparatus may be configured to register measurement results and intermediate data of processing in a server on the Internet via the network I / F.
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路によっても実現可能である。 In addition, the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit that realizes one or more functions.
Claims (13)
前記照明用画像に基づいて照明された測定物を撮影する撮影手段と、
前記撮影手段で撮影した複数の画像に基づいて、各画素の輝度値の変化における位相情報を算出する第一の算出手段と、
前記位相情報から前記測定物において反射方向が最大となる最大反射方向を取得する第一の取得手段と、
を有する測定装置。 Illuminating means for illuminating a measurement object by a plurality of point light sources that emit light based on images for illumination modulated by periodic functions having different phases from each other;
Imaging means for imaging a measurement object illuminated based on the illumination image;
First calculation means for calculating phase information in a change in luminance value of each pixel based on a plurality of images photographed by the photographing means;
First acquisition means for acquiring a maximum reflection direction in which the reflection direction is maximum in the measurement object from the phase information;
Measuring device.
前記第一の算出手段は、前記方向ごとに前記位相情報を算出することを特徴とする請求項１乃至５のいずれか一項に記載の測定装置。 The illumination means irradiates the illumination image based on two groups of illumination images in which the phase changing directions are orthogonal,
The measurement apparatus according to claim 1, wherein the first calculation unit calculates the phase information for each direction.
前記照明用画像に基づいて照明された測定物を撮影し、
前記撮影した複数の画像に基づいて、各画素の輝度値の変化における位相情報を算出し、
前記位相情報から前記測定物において反射方向が最大となる最大反射方向に応じた光学的法線な方向の２次元分布を取得することを特徴とする測定豊富尾
を有する測定装置。 Illuminate the measurement object with a plurality of point light sources that emit light based on images for illumination modulated with periodic functions having different phases from each other,
Photographing the illuminated measurement object based on the illumination image,
Based on the plurality of captured images, calculate phase information in the change of the luminance value of each pixel,
A measurement apparatus having a measurement-rich tail, wherein a two-dimensional distribution in an optical normal direction corresponding to a maximum reflection direction at which a reflection direction is maximum in the measurement object is obtained from the phase information.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17150930.0A EP3196633B1 (en) | 2016-01-20 | 2017-01-11 | Apparatus and method for measuring a reflection characteristic of an object |
| US15/409,415 US10240982B2 (en) | 2016-01-20 | 2017-01-18 | Measurement system, information processing apparatus, information processing method, and medium |
| JP2020207097A JP6942876B2 (en) | 2016-01-20 | 2020-12-14 | Information processing equipment, information processing methods and programs |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016009305 | 2016-01-20 | ||
| JP2016009305 | 2016-01-20 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020207097A Division JP6942876B2 (en) | 2016-01-20 | 2020-12-14 | Information processing equipment, information processing methods and programs |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017129561A true JP2017129561A (en) | 2017-07-27 |
| JP2017129561A5 JP2017129561A5 (en) | 2019-12-05 |
| JP6812206B2 JP6812206B2 (en) | 2021-01-13 |
Family
ID=59394692
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016218206A Active JP6812206B2 (en) | 2016-01-20 | 2016-11-08 | Measurement system, information processing device, information processing method and program |
| JP2016218207A Pending JP2017129562A (en) | 2016-01-20 | 2016-11-08 | Measurement system, information processing apparatus, information processing method, and program |
| JP2020207097A Active JP6942876B2 (en) | 2016-01-20 | 2020-12-14 | Information processing equipment, information processing methods and programs |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016218207A Pending JP2017129562A (en) | 2016-01-20 | 2016-11-08 | Measurement system, information processing apparatus, information processing method, and program |
| JP2020207097A Active JP6942876B2 (en) | 2016-01-20 | 2020-12-14 | Information processing equipment, information processing methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP6812206B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109724945A (en) * | 2017-10-30 | 2019-05-07 | 富士施乐株式会社 | Display device, scanner, display system and computer-readable medium |
| WO2019117301A1 (en) * | 2017-12-15 | 2019-06-20 | 株式会社堀場製作所 | Surface characteristic inspection device and surface characteristic inspection program |
| CN110246096A (en) * | 2019-05-30 | 2019-09-17 | 深圳市安健科技股份有限公司 | A kind of X-ray scattered rays fitting correction method and device |
| WO2020054381A1 (en) * | 2018-09-14 | 2020-03-19 | コニカミノルタ株式会社 | Output device for surface features measurement data and surface features measurement device |
| WO2020054382A1 (en) * | 2018-09-14 | 2020-03-19 | コニカミノルタ株式会社 | Output device for surface features measurement data and surface features measurement device |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020176952A (en) * | 2019-04-19 | 2020-10-29 | キヤノン株式会社 | Electronic device and control method thereof |
| JP7452313B2 (en) | 2020-07-30 | 2024-03-19 | コニカミノルタ株式会社 | Bending characteristic acquisition method, image processing method, image display method, bending characteristic acquisition device, and bending characteristic acquisition condition determination program |
| KR102527883B1 (en) * | 2021-05-18 | 2023-05-02 | 연세대학교 산학협력단 | Method for measuring optical texture properties using photometric stereo |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11211673A (en) * | 1998-01-27 | 1999-08-06 | Honda Motor Co Ltd | Apparatus and method for evaluation of surface property |
| JP2001183304A (en) * | 1999-12-23 | 2001-07-06 | Byk Gardner Gmbh | Device for quantitative evaluation of surface quality |
| JP2007322162A (en) * | 2006-05-30 | 2007-12-13 | 3D Media Co Ltd | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method |
| JP2008249521A (en) * | 2007-03-30 | 2008-10-16 | Konica Minolta Sensing Inc | Apparatus and method for measuring optical characteristics |
| WO2009019886A1 (en) * | 2007-08-07 | 2009-02-12 | Panasonic Corporation | Normal information generating device and normal information generating method |
| JP2010279044A (en) * | 2008-12-25 | 2010-12-09 | Panasonic Corp | Image processor and pseudo-stereoscopic image creation device |
| JP2011501130A (en) * | 2007-10-11 | 2011-01-06 | ハネウェル・インターナショナル・インコーポレーテッド | Micro-gloss measurement of paper and board |
| JP2014163698A (en) * | 2013-02-21 | 2014-09-08 | Azbil Corp | Shape measurement instrument and shape measurement method |
| JP2014240830A (en) * | 2013-05-15 | 2014-12-25 | キヤノン株式会社 | Measuring device and method for controlling the same |
| JP2015132509A (en) * | 2014-01-10 | 2015-07-23 | 凸版印刷株式会社 | Image data acquiring system, and image data acquiring method |
-
2016
- 2016-11-08 JP JP2016218206A patent/JP6812206B2/en active Active
- 2016-11-08 JP JP2016218207A patent/JP2017129562A/en active Pending
-
2020
- 2020-12-14 JP JP2020207097A patent/JP6942876B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11211673A (en) * | 1998-01-27 | 1999-08-06 | Honda Motor Co Ltd | Apparatus and method for evaluation of surface property |
| JP2001183304A (en) * | 1999-12-23 | 2001-07-06 | Byk Gardner Gmbh | Device for quantitative evaluation of surface quality |
| JP2007322162A (en) * | 2006-05-30 | 2007-12-13 | 3D Media Co Ltd | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method |
| JP2008249521A (en) * | 2007-03-30 | 2008-10-16 | Konica Minolta Sensing Inc | Apparatus and method for measuring optical characteristics |
| WO2009019886A1 (en) * | 2007-08-07 | 2009-02-12 | Panasonic Corporation | Normal information generating device and normal information generating method |
| JP2011501130A (en) * | 2007-10-11 | 2011-01-06 | ハネウェル・インターナショナル・インコーポレーテッド | Micro-gloss measurement of paper and board |
| JP2010279044A (en) * | 2008-12-25 | 2010-12-09 | Panasonic Corp | Image processor and pseudo-stereoscopic image creation device |
| JP2014163698A (en) * | 2013-02-21 | 2014-09-08 | Azbil Corp | Shape measurement instrument and shape measurement method |
| JP2014240830A (en) * | 2013-05-15 | 2014-12-25 | キヤノン株式会社 | Measuring device and method for controlling the same |
| JP2015132509A (en) * | 2014-01-10 | 2015-07-23 | 凸版印刷株式会社 | Image data acquiring system, and image data acquiring method |
Non-Patent Citations (4)
| Title |
|---|
| "イメージベーストライティングを用いた高速レンダリングに関する調査", 画像電子学会誌, vol. 4, no. 3, JPN6020043862, 30 July 2015 (2015-07-30), JP, pages 408 - 415, ISSN: 0004388114 * |
| "動的照明による織物の異方性反射レンダリング", 情報処理学会研究報告, JPN6020043864, 15 February 2011 (2011-02-15), JP, ISSN: 0004388116 * |
| "表面下の微粒子構造を考慮した多重法線反射モデルの提案", 情報処理学会研究報告, vol. Vol. 2014-CVIM-192, No. 19, JPN6020043865, 8 May 2014 (2014-05-08), JP, pages 1 - 7, ISSN: 0004388117 * |
| "複数光源の同時照明によるＢＲＤＦの高速計測", 電子情報通信学会論文誌, vol. 92, no. 8, JPN6020043863, 1 August 2009 (2009-08-01), JP, pages 1393 - 1402, ISSN: 0004388115 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109724945A (en) * | 2017-10-30 | 2019-05-07 | 富士施乐株式会社 | Display device, scanner, display system and computer-readable medium |
| CN109724945B (en) * | 2017-10-30 | 2023-09-19 | 富士胶片商业创新有限公司 | Display device, scanner, display system, and computer-readable medium |
| WO2019117301A1 (en) * | 2017-12-15 | 2019-06-20 | 株式会社堀場製作所 | Surface characteristic inspection device and surface characteristic inspection program |
| CN111356913A (en) * | 2017-12-15 | 2020-06-30 | 株式会社堀场制作所 | Surface property inspection device and surface property inspection program |
| US11353322B2 (en) | 2017-12-15 | 2022-06-07 | Horiba, Ltd. | Surface characteristic inspection apparatus and surface characteristic inspection program |
| WO2020054381A1 (en) * | 2018-09-14 | 2020-03-19 | コニカミノルタ株式会社 | Output device for surface features measurement data and surface features measurement device |
| WO2020054382A1 (en) * | 2018-09-14 | 2020-03-19 | コニカミノルタ株式会社 | Output device for surface features measurement data and surface features measurement device |
| CN110246096A (en) * | 2019-05-30 | 2019-09-17 | 深圳市安健科技股份有限公司 | A kind of X-ray scattered rays fitting correction method and device |
| CN110246096B (en) * | 2019-05-30 | 2023-03-10 | 深圳市安健科技股份有限公司 | Fitting correction method and device for scattered X-ray |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021043225A (en) | 2021-03-18 |
| JP2017129562A (en) | 2017-07-27 |
| JP6942876B2 (en) | 2021-09-29 |
| JP6812206B2 (en) | 2021-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6942876B2 (en) | Information processing equipment, information processing methods and programs | |
| EP3196633B1 (en) | Apparatus and method for measuring a reflection characteristic of an object | |
| JP6626335B2 (en) | Structured light projector and three-dimensional scanner including such a projector | |
| JP6364777B2 (en) | Image data acquisition system and image data acquisition method | |
| CN104990516B (en) | Intensity and colored display for three-dimensional metrology system | |
| TWI490445B (en) | Methods, apparatus, and machine-readable non-transitory storage media for estimating a three dimensional surface shape of an object | |
| JP3809838B2 (en) | Image highlight correction method using image source specific HSV color coordinates, image highlight correction program, and image acquisition system | |
| JP2019082838A (en) | Display device, scanner, display system and program | |
| CN116057581A (en) | Displaying virtual objects in a real scene | |
| WO2021059858A1 (en) | Inspection method, program, and inspection system | |
| JP6776004B2 (en) | Image processing equipment, image processing methods and programs | |
| JP6758837B2 (en) | Equipment, methods and programs for acquiring a two-dimensional distribution of gloss mapping | |
| CN110264506B (en) | Imaging method and device based on spatial coding | |
| JP2009236696A (en) | Three-dimensional image measurement method, measurement system, and measurement program for subject | |
| KR102171773B1 (en) | Inspection area determination method and visual inspection apparatus using the same | |
| WO2020259625A1 (en) | Three-dimensional scanning method, scanner, three-dimensional scanning system, computer device, and computer-readable storage medium | |
| JP2004108950A (en) | Optical profile measuring system | |
| CN110264558B (en) | Model obtaining method and device based on laser projector | |
| JP2022028344A (en) | Control unit, control method, and program | |
| JP2017169970A (en) | Optical simulation apparatus and method, and program | |
| JP2008224540A (en) | Distortion inspection method and inspection device | |
| JP6871424B2 (en) | Texture reproduction device, texture reproduction method, program and recording medium | |
| JP2016008837A (en) | Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program | |
| WO2019130716A1 (en) | Texture reproduction device, texture reproduction method, program, and recording medium | |
| JP2021183918A (en) | Control device, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191023 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201216 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6812206 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |