WO2018066212A1 - 推定装置、および推定装置の制御方法 - Google Patents
推定装置、および推定装置の制御方法 Download PDFInfo
- Publication number
- WO2018066212A1 WO2018066212A1 PCT/JP2017/027146 JP2017027146W WO2018066212A1 WO 2018066212 A1 WO2018066212 A1 WO 2018066212A1 JP 2017027146 W JP2017027146 W JP 2017027146W WO 2018066212 A1 WO2018066212 A1 WO 2018066212A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- spectral
- estimation
- emissivity
- spectral emissivity
- statistical information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000003595 spectral effect Effects 0.000 claims abstract description 562
- 238000003384 imaging method Methods 0.000 claims abstract description 112
- 239000011159 matrix material Substances 0.000 claims description 110
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 12
- 230000000052 comparative effect Effects 0.000 description 25
- 238000005286 illumination Methods 0.000 description 14
- 229910052736 halogen Inorganic materials 0.000 description 8
- 150000002367 halogens Chemical class 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000002834 transmittance Methods 0.000 description 8
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 7
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- MZZINWWGSYUHGU-UHFFFAOYSA-J ToTo-1 Chemical compound [I-].[I-].[I-].[I-].C12=CC=CC=C2C(C=C2N(C3=CC=CC=C3S2)C)=CC=[N+]1CCC[N+](C)(C)CCC[N+](C)(C)CCC[N+](C1=CC=CC=C11)=CC=C1C=C1N(C)C2=CC=CC=C2S1 MZZINWWGSYUHGU-UHFFFAOYSA-J 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
Definitions
- the following disclosure relates to an estimation device that estimates the spectral reflectance of an object to be imaged by the imaging device.
- Patent Documents 1 to 3 Conventionally, in order to accurately reproduce the color of an imaging target in a captured image, a technique for estimating a spectral reflectance indicating a physical property unique to the object surface of the imaging target has been developed. Such techniques are disclosed in, for example, Patent Documents 1 to 3 and Non-Patent Document 1.
- QL value image data value
- the apparatus disclosed in Patent Document 2 captures an imaging target through six or more types of color filters having predetermined spectral transmittance characteristics, acquires a multiband image, and estimates the spectral reflectance of the imaging target. .
- each pixel constituting the captured target specimen image is classified into a plurality of categories corresponding to the main elements of cell nucleus, cytoplasm, red blood cell, and background. Then, the spectral transmittance of the target sample point corresponding to the predetermined pixel constituting the captured target sample image is estimated by Wiener estimation. Specifically, the spectral transmittance of the corresponding target sample point is estimated using the Wiener estimation matrix for the class to which the predetermined pixel belongs.
- Non-Patent Document 1 when spectral characteristics of an image system are unknown, spectral reflectance is estimated using Wiener estimation by photographing a color chart or paint using an image system used for photographing. Is disclosed. Specifically, the spectral reflectance (the spectral radiance of the object) is obtained from the measured value of the spectral reflectance and the output value of the camera.
- the spectral reflectance of the imaging target is estimated using a camera system in which the spectral transmittance of the color filter, the spectral emissivity of the illumination light (light source), and the spectral sensitivity of the imaging device (camera) are known. And when the spectral emissivity of illumination light is unknown, or when the spectral emissivity of illumination light deviates significantly from the value which was assumed, the estimation precision of the spectral reflectance of an imaging target will fall.
- the spectral reflectance of the imaging target is estimated using at least a known value (measured value) as the spectral emissivity of illumination light. Therefore, in this technique, when the spectral emissivity is unexpected, the estimation accuracy may be reduced.
- Non-Patent Document 1 Although there is disclosure about estimation of spectral reflectance of an imaging target when the spectral characteristics of the image system are unknown, the spectral emissivity of illumination light is unknown or assumed value There is no disclosure of the estimation when it deviates significantly from the above.
- the following disclosure has been made in view of the above-described problems, and an object thereof is to realize an estimation apparatus capable of accurately estimating the spectral reflectance of an imaging target.
- an estimation apparatus that estimates a spectral reflectance of an object that is an imaging target of an imaging apparatus, and is (1) a spectrum of the imaging apparatus.
- a known spectral characteristic value indicating a characteristic
- (2) a pixel value of a reference object image indicating a reference object having a known spectral reflectance captured by the imaging device
- (3) a spectrum of the reference object Spectral radiation of a light source used at the time of imaging of the object using reflectance and (4) spectral emissivity statistical information indicating statistical emissivity statistical information measured for a plurality of light sources prepared in advance.
- a spectral emissivity estimation unit that estimates a rate, and a spectral reflectivity estimation unit that estimates a spectral reflectivity of an object imaged by the imaging device using the spectral emissivity estimated by the spectral emissivity estimation unit. It is the composition provided.
- a control method for an estimation device is a control method for an estimation device that estimates a spectral reflectance of an object to be imaged by an imaging device, (1) a known spectral characteristic value indicating the spectral characteristic of the imaging device; (2) a pixel value of a reference object image indicating a reference object having a known spectral reflectance imaged by the imaging device; 3) Spectral reflectance of the reference object and (4) Spectral emissivity statistical information indicating statistical information of spectral emissivity measured for a plurality of light sources prepared in advance.
- Spectral emissivity estimation step for estimating the spectral emissivity of the light source used at the time of imaging and the spectral emissivity estimated in the spectral emissivity estimation step are used to estimate the spectral reflectance of the object imaged by the imaging device Spectral reflectance estimation step It is the law.
- FIG. 1 It is a block diagram which shows the structure of the estimation apparatus of Embodiment 1. It is a figure which shows each matrix of Formula (A1). It is a figure which shows each matrix of Formula (B1). 4 is a flowchart illustrating a flow of processing in the estimation apparatus according to the first embodiment.
- (A) is a graph which shows the spectral emissivity of the light with which the light of white LED and the light of the halogen lamp were mixed by predetermined intensity ratio
- (b) is the light of white LED and sunlight predetermined. It is a graph which shows the spectral emissivity of the light mixed by intensity ratio.
- 10 is a graph showing the estimation result of spectral reflectance by the estimation apparatus of Embodiment 1 in Example 1-1.
- FIG. 10 is a graph showing the estimation result of spectral reflectance by the estimation device of the comparative example in Example 1-1.
- 6 is a graph showing a result of spectral reflectance estimation performed by the estimation apparatus according to Embodiment 1 in Example 1-2. It is a graph which shows the estimation result of the spectral reflectance by the estimation apparatus of the comparative example in Example 1-2. It is a graph which shows the estimation result of the spectral reflectance in Example 2, Comprising: (a) is a graph which shows the estimation result by the estimation apparatus of Embodiment 1, (b) is the estimation result by the estimation apparatus of a comparative example. (C) is a graph which shows the estimation result by the estimation method of a nonpatent literature 1.
- FIG. 10 is a graph showing the estimation result of spectral reflectance by the estimation device of the comparative example in Example 1-1.
- 6 is a graph showing a result of spectral reflectance estimation performed by the estimation apparatus according to Embodiment 1 in Example 1-2. It
- FIG. 6 is a flowchart illustrating a flow of processing in the estimation apparatus according to the second embodiment.
- Embodiment 1 Hereinafter, embodiments of the present disclosure will be described with reference to FIGS.
- FIG. 1 is a block diagram showing the configuration of the estimation apparatus 1 according to this embodiment.
- the estimation device 1 includes an imaging unit 10 (imaging device), a control unit 20, and a storage unit 30.
- the estimation device 1 is an estimation device that estimates the spectral reflectance of the target object 100 that is an imaging target of the imaging unit 10.
- the imaging unit 10 captures a multiband image of the target object 100 and the reference target object 200 that are irradiated with predetermined illumination light.
- the image showing the object 100 and the image showing the reference object 200 are referred to as a target image (object image) and a reference image (reference object image), respectively.
- the imaging unit 10 may be a solid-state imaging device including, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) as an imaging element (image sensor).
- the imaging unit 10 of this embodiment includes any one of four types of optical filters having different transmission wavelengths for each pixel.
- the four types of optical filters each transmit one of R, G, GB, and B.
- the optical filter included in the imaging unit 10 is not limited to the four types described above, and may be, for example, three types of R, G, and B.
- the imaging unit 10 of the present embodiment includes a lens (not shown). Furthermore, the imaging unit 10 of the present embodiment includes a filter (not shown) that transmits light in the wavelength range of 400 nm to 700 nm and cuts light in the other wavelength range on the lens side of the imaging element.
- the reference object 200 is an object whose spectral reflectance is known.
- the reference object 200 is a white plate.
- the reference object 200 may have a disk shape in which a hole in which the object 100 can be arranged is formed in the center.
- the target image and the reference image can be obtained simultaneously by capturing an image of the target object 100 arranged in the center of the reference target object 200 (that is, surrounded by the reference target object 200).
- the reference object 200 is not limited to a white plate as long as it is an object having a known spectral reflectance.
- the control unit 20 estimates the spectral emissivity of the light source and the spectral reflectance of the object 100 based on the reference image and the target image captured by the imaging unit 10. A specific configuration of the control unit 20 will be described later.
- the storage unit 30 stores data used for estimation in the control unit 20.
- the storage unit 30 stores an expression used for estimation in the control unit 20.
- the storage unit 30 stores statistical information used for estimation in the control unit 20.
- estimation device may be configured to acquire an image from an imaging device provided outside without including the imaging unit 10.
- control unit 20 includes a reference pixel specifying unit 21, a spectral emissivity estimation unit 22, and a spectral reflectance estimation unit 23.
- the reference pixel specifying unit 21 specifies a reference pixel that is a pixel from which a pixel value used for spectral emissivity estimation is acquired among pixels included in the reference image. In the present embodiment, since the imaging unit 10 captures R, G, GB, and B four-band images, the reference pixel specifying unit 21 specifies a reference pixel for each of the four-band images.
- the reference pixel specifying unit 21 detects an image of an object close to the shape and color of the reference object 200 stored in advance in the storage unit 30 from the reference image, for example, by image recognition. Then, the pixel having the pixel value closest to the pixel value corresponding to white in the detected image area is specified as the reference pixel.
- the reference pixel specifying unit 21 may specify a pixel at an arbitrary position (for example, the center of the image) in the image of the reference object 200 included in the reference image as the reference pixel.
- the spectral emissivity estimation unit 22 estimates the spectral emissivity of the light source using the following (1) to (4).
- (1) A known spectral characteristic value indicating the spectral characteristic of the imaging unit 10;
- (2) A pixel value of a reference image showing a reference object 200 having a known spectral reflectance, which is imaged by the imaging unit 10;
- Spectral reflectance of the reference object 200 (4)
- Spectral emissivity statistical information indicating statistical emissivity statistical information measured for a plurality of light sources prepared in advance.
- the following formula (A1) is established between a matrix indicating the luminance value of the pixel and a matrix indicating the spectral emissivity of the light source.
- FIG. 2 is a diagram illustrating each matrix of the formula (A1).
- the matrix g 1 is the pixel value of the reference image. Specifically, the matrix g 1, the luminance value of each band of the reference pixels reference pixel specifying unit 21 has identified (pixel value) is shown for each row, a matrix of 4 rows ⁇ 1 column. In this embodiment, the matrix g 1 pixel values are arranged R, G, GB, in the order of B.
- the matrix f is a matrix indicating the spectral transmittance of the optical filter provided in the imaging unit 10.
- the rows correspond to R, G, GB, and B filters, and the columns are spectral transmittances corresponding to the wavelengths of 10 nm in the wavelength range of 400 nm to 700 nm. It is a 31-column matrix.
- the matrix L is a matrix indicating the spectral transmittance of the lens provided in the imaging unit 10.
- the matrix L of the present embodiment is a 31 ⁇ 31 diagonal matrix in which the diagonal elements are the spectral transmittances of the lens every 10 nm and the other elements are 0.
- the matrix S is a matrix indicating the spectral sensitivity of the image sensor provided in the imaging unit 10.
- the matrix S of the present embodiment is a 31 ⁇ 31 diagonal matrix in which the diagonal elements are the spectral sensitivities for each 10 nm of the image sensor and the other elements are zero.
- the matrix r 1 is a matrix indicating the spectral reflectance of the reference object 200.
- the matrix r 1 is a 31 ⁇ 31 diagonal matrix in which diagonal elements are spectral reflectances corresponding to the above-described wavelengths of 10 nm of the reference object 200 and other elements are 0.
- Matrix E is a matrix indicating the spectral emissivity of the light source.
- the matrix E of the present embodiment is a matrix of 31 rows ⁇ 1 column in which the spectral emissivity of the light source for every 10 nm in the wavelength range of 400 nm to 700 nm is shown for each row.
- the matrices f, L, and S are known spectral characteristic values that indicate the spectral characteristics of the imaging unit 10.
- the product of fr 1 LS is the system matrix H 1
- the spectral emissivity E of the light source is expressed by the following equation (A2).
- H 1 ⁇ 1 is an inverse matrix of H 1 .
- the spectral emissivity estimation unit 22 estimates the spectral emissivity E es indicating the estimated value of the spectral emissivity E by the following equation (A3) by Wiener estimation.
- the first estimation matrix W 1 includes the spectral characteristic value of the imaging unit 10 and the spectral reflectance of the reference object 200 so that the square error between the estimated spectral emissivity E es and the spectral emissivity statistical information is minimized. It is calculated using the system matrix H 1 containing information. Specifically, the spectral emissivity estimation unit 22 calculates W 1 by the following equation (A4).
- E 1 E 1 E 1 t H 1 t (H 1 t E 1 E 1 t H 1 t ) ⁇ 1 (A4)
- E 1 is a matrix showing the spectral emissivity of statistics.
- statistics E a for any one light source shown in the wavelength range of 400 nm ⁇ 700 nm, the spectral emissivity at a point for each wavelength 10 nm. Therefore, statistics E a for any one light source, a set of 31 numbers for the spectral emissivity of the light source.
- the statistics E a is, LED, may be a statistical information prepared for each type of light source such as a halogen lamp, type the same (eg: LED) statistics for is a characteristic different sources It may be information.
- E 1 is obtained by arranging the spectral emissivity for each wavelength included in the statistical information E a of each prepared light source in the column direction, as shown in the following formula, arranged in the row direction for each light source. It is. Therefore E 1, in the above example, 31 rows ⁇ (number of statistics E a) is a matrix of columns.
- the above formula shows a case where n pieces of statistical information E a of E a1 to E an (n is an integer of 1 or more) are prepared.
- E 1 t and H 1 t are transposed matrices of E 1 and H 1 , respectively.
- E 1 E 1 t is an autocorrelation matrix of E 1 .
- W 1 can be obtained using the following equation (A5) instead of equation (A4).
- n 1 is a matrix indicating noise included in the reference image.
- N 1 n 1 t is an autocorrelation matrix of n 1 .
- Spectral emissivity estimation unit 22 first obtains the first estimated matrix W 1 by the equation (A4). Then, the spectral emissivity estimation unit 22 estimates the spectral emissivity E es of the light source by the formula (A3).
- the spectral emissivity in the above-described example is the spectral emissivity at points every 10 nm wavelength within the wavelength range of 400 nm to 700 nm.
- the spectral emissivity of the present embodiment may be data in different wavelength ranges and wavelength intervals.
- the spectral emissivity of the present embodiment may be a spectral emissivity for each wavelength of 1 nm within a wavelength range of 380 nm to 780 nm.
- the spectral reflectance estimator 23 estimates the spectral reflectance of the object 100 imaged by the imaging unit 10 using the spectral emissivity estimated by the spectral emissivity estimator 22.
- the spectral reflectance estimator 23 of the present embodiment further estimates the spectral reflectance of the object 100 using the following (1) to (3).
- the following formula (B1) is established between the luminance value of an arbitrary pixel in the image of the target object 100 and the spectral reflectance of the target object 100.
- FIG. 3 is a diagram illustrating each matrix of the formula (B1).
- matrix g 2 is the pixel value of the target image. Specifically, the matrix g 2 is a 4 ⁇ 1 matrix in which pixel values in the image of the object 100 are indicated for each row.
- E es is a matrix indicating the spectral emissivity estimated by the spectral emissivity estimation unit 22.
- a spectral emissivity that diagonal element corresponding to the wavelength of 10nm increments ranging from 400 nm ⁇ 700 nm, except the diagonal elements are It is a diagonal matrix of 31 rows ⁇ 31 columns that is 0.
- R is a matrix of 31 rows ⁇ 1 column indicating the spectral reflectance of the object 100 every 10 nm.
- f, L, and S in Formula (B1) are the same as f, L, and S in Formula (A1).
- H 2 ⁇ 1 is an inverse matrix of H 2 .
- the spectral reflectance estimating unit 23 the Wiener estimation is estimated by the formula (B3) below the spectral reflectance r es indicating an estimate of r.
- W 2 is referred to as a second estimation matrix.
- the second estimation matrix W 2 uses the spectral characteristic value of the imaging unit 10 and the spectral emissivity estimation unit 22 estimated so that the square error between the estimated spectral reflectance res and the spectral reflectance statistical information is minimized. Calculated using emissivity. Specifically, the spectral reflectance estimation unit 23 calculates W 2 by the following formula (B4).
- W 2 r 2 r 2 t H 2 t (H 2 t r 2 r 2 t H 2 t) -1 (B4)
- r 2 is a matrix indicating the spectral reflectance statistical information.
- R 2 t and H 2 t are transposed matrices of r 2 and H 2 , respectively.
- statistics r a for any one object shows in the wavelength range of 400 nm ⁇ 700 nm, the spectral reflectance at the point of each wavelength 10 nm. Therefore, statistics r a for any one object, a set of 31 numbers for the spectral reflectance of the object.
- the statistics r a is Macbeth color chart may be a statistical information prepared for each type of object such as a hand, a plurality of objects types are the same (e.g. hand) statistics about It may be.
- r 2 as shown in the following formula, which the spectral reflectance of each wavelength included in the statistics r a of each were prepared objects those described in the column direction, are arranged in the row direction for each of the objects It is. Therefore, r 2 is a matrix of 31 rows ⁇ (number of statistical information r a (object type)) columns.
- W 2 can be obtained using the following equation (B5) instead of equation (B4).
- n 2 ⁇ n 2 t is an autocorrelation matrix of the matrix n 2 indicating noise included in the target image.
- Spectral reflectance estimation unit 23 first obtains the second estimation matrix W 2 by formula (B4). Then, spectral reflectance estimation unit 23 estimates the spectral reflectance r es of the object 100 by the formula (B3). Note that the pixel for estimating the spectral reflectance may be arbitrarily selected by a known method.
- FIG. 4 is a flowchart showing a process flow (control method) in the estimation apparatus 1.
- the control unit 20 captures an image of the reference object 200 by the imaging unit 10 (SA1).
- the reference pixel specifying unit 21 specifies the reference pixel from the pixels included in the image of the reference object 200 (SA2).
- the spectral emissivity estimation unit 22 estimates the spectral emissivity of the light source (spectral emissivity estimation step). Specifically, the spectral emissivity estimation unit 22 first calculates an autocorrelation matrix (E 1 E 1 t ) of spectral emissivity from the spectral emissivity statistical information (E 1 ) stored in the storage unit 30 (SA3 ). Next, the spectral emissivity estimation unit 22 calculates a system matrix (H 1 ) for spectral emissivity estimation (SA4).
- E 1 E 1 t autocorrelation matrix of spectral emissivity from the spectral emissivity statistical information (E 1 ) stored in the storage unit 30 (SA3 ).
- SA3 system matrix
- H 1 system matrix for spectral emissivity estimation
- the spectral emissivity estimation unit 22 calculates a first estimation matrix (W 1 ) using the calculated autocorrelation matrix of spectral emissivity and the system matrix for spectral emissivity estimation (SA5). Then, the spectral emissivity estimation unit 22 estimates the spectral emissivity (E es ) of the light source by using the pixel value (g 1 ) of the identified reference pixel and the calculated first estimation matrix (SA6).
- the control unit 20 captures an image of the object 100 by the imaging unit 10 (SB1).
- the spectral reflectance estimation part 23 estimates the spectral reflectance of the target object 100 (spectral reflectance estimation process). Specifically, the spectral reflectance estimation unit 23 first calculates an autocorrelation matrix (r 2 r 2 t ) of spectral reflectance from the spectral reflectance statistical information (r 2 ) stored in the storage unit 30 (SB2 ). Next, the spectral reflectance estimation unit 23 calculates a system matrix (H 2 ) for spectral reflectance estimation (SB3).
- the spectral reflectance estimator 23 calculates a second estimation matrix (W 2 ) for spectral reflectance estimation using the calculated autocorrelation matrix of spectral reflectance and the system matrix for spectral reflectance estimation (SB4). ). Then, the spectral reflectance estimation unit 23 estimates the spectral reflectance of the target object 100 using the pixel value (g 1 ) of an arbitrary pixel in the image of the target object 100 and the calculated second estimation matrix (SB5). ).
- the control unit 20 first images the reference object 200, estimates the spectral emissivity of the light source, and then images the object 100.
- the control unit 20 may estimate the spectral emissivity of the light source and the spectral reflectance of the object 100 after first imaging both the reference object 200 and the object 100.
- the control unit 20 may capture images including both the reference object 200 and the object 100 instead of separately capturing the images of the reference object 200 and the object 100.
- the spectral emissivity estimation unit 22 may calculate an autocorrelation matrix based on the spectral emissivity statistical information before the control unit 20 images the reference object 200, for example.
- the spectral reflectance estimation unit 23 may calculate an autocorrelation matrix based on the spectral reflectance statistical information before the control unit 20 images the target object 100 or before imaging the reference target object 200, for example. Good.
- the spectral emissivity estimation unit 22 is configured to calculate in advance a system matrix (H 1 ) for spectral emissivity estimation as a product of fr 1 LS based on the known matrices f, r 1 , L, and S. It is good.
- Example 1 An example of spectral reflectance estimation by the estimation apparatus 1 according to this embodiment will be described below.
- the spectral reflectance was estimated using each color patch included in the Macbeth color chart as the object 100, and compared with the actual measurement value.
- a spectrocolorimeter manufactured by Konica Minolta, CM-2600d was used for measurement of the actual measurement values.
- spectral emissivity statistical information used by the spectral emissivity estimation unit 22 the following spectral emissivities were used. ⁇ White LED (Light Emitting Diode) light only spectral emissivity, -Spectral emissivity of light in which white LED light and halogen lamp light are mixed at a predetermined intensity ratio (three types), -Spectral emissivity (5 types) of light in which light of white LED and sunlight is mixed at a predetermined intensity ratio.
- FIG. 5 is a graph showing the spectral emissivity of light in which the light of the white LED and the light of the halogen lamp are mixed at a predetermined intensity ratio (three types).
- FIG. 5B is a graph showing the spectral emissivity of light in which white LED light and sunlight are mixed at a predetermined intensity ratio (five types).
- the spectral emissivity values in FIGS. 5A and 5B are relative values when the maximum value of each light type is 1.
- the graph shown to (a) and (b) of FIG. 5 contains the spectral emissivity of the light of white LED each.
- the horizontal axis is the wavelength
- the vertical axis is the spectral emissivity.
- spectral reflectance statistical information used by the spectral reflectance estimation unit 23 measured values of the spectral reflectance of each of the 24 color patches included in the Macbeth color chart were used.
- the spectral reflectance of the object 100 was also estimated by the estimation apparatus of the comparative example.
- the estimation apparatus of the comparative example did not estimate the spectral emissivity, but estimated the spectral reflectance of the object 100 assuming that the illumination light was only white LED light.
- Example 1-1 each color patch of the Macbeth color chart is obtained using an image of the Macbeth color chart that is obtained by using the light obtained by mixing the light of the white LED and the light of the halogen lamp at an intensity ratio of 1: 1 as illumination light.
- Spectral reflectance was estimated.
- FIG. 6 is a graph showing the estimation result of the spectral reflectance by the estimation apparatus 1 of the present embodiment in Example 1-1.
- FIG. 7 is a graph showing the estimation result of the spectral reflectance by the estimation apparatus of the comparative example in Example 1-1.
- the horizontal axis represents wavelength
- the vertical axis represents spectral reflectance.
- the spectral reflectance estimated by the estimation device 1 or the estimation device of the comparative example is indicated by a solid line
- the actual measured value of the spectral reflectance is indicated by a broken line.
- the position of each graph corresponds to the position of each color patch in the Macbeth color chart.
- the spectral reflectance of the object was estimated assuming that the light source is only white LED light. Since the illumination light of this embodiment is a light mixture of the light of the white LED and the light of the halogen lamp, the spectral emissivity of the light source is as shown in FIG. 5A according to the intensity ratio of each light. Showed changes. For this reason, as shown in FIG. 7, the estimated spectral reflectance is significantly different from the actually measured value.
- the estimation apparatus 1 of the present embodiment an image of a white plate is taken as the reference object 200, and the spectral emissivity of the light source is estimated.
- the spectral emissivity of the light source changes as shown in FIG. 5A according to the light intensity ratio of the white LED and the halogen lamp, as shown in FIG.
- the spectral reflectance of the color patch could be estimated with high accuracy compared with the estimation device of the comparative example.
- Example 1-2 the spectral reflectance of each color patch of the Macbeth color chart using the image of the Macbeth color chart obtained by using the light obtained by mixing the light of white LED and sunlight at an intensity ratio of 1: 1 as illumination light.
- FIG. 8 is a graph showing the estimation result of the spectral reflectance by the estimation apparatus of the present embodiment in Example 1-2.
- FIG. 9 is a graph showing the estimation result of the spectral reflectance by the estimation apparatus of the comparative example in Example 1-2.
- the horizontal axis is the wavelength
- the vertical axis is the reflectance.
- the spectral reflectance estimated by the estimation device 1 or the estimation device of the comparative example is indicated by a solid line
- the actual measured value of the spectral reflectance is indicated by a broken line.
- the position of each graph corresponds to the position of the color patch in the Macbeth color chart.
- the spectral reflectance of the object was estimated on the assumption that the light source was only white LED light. Since the illumination light of the present embodiment was a mixture of white LED light and sunlight, the spectral emissivity of the light source changes as shown in FIG. 5B according to the intensity ratio of each light. Indicated. For this reason, as in the case of Example 1-1, the estimation result obtained by the estimation apparatus of the comparative example is significantly different from the actual measurement value as shown in FIG. On the other hand, as shown in FIG. 8, the estimation result obtained by the estimation apparatus 1 of the present embodiment has a higher accuracy than the estimation apparatus of the comparative example.
- the estimation device 1 uses the spectral emissivity statistical information used for estimating the spectral emissivity of the light source as an actual light source (light obtained by mixing white LED light and halogen lamp light or sunlight). The data of the near light source or the same light source is included. However, the estimation apparatus 1 can estimate the spectral emissivity of the light source even if the light source close to the actual light source or data of the same light source is not included in the statistical information.
- Example 2 An example of spectral reflectance estimation by the estimation apparatus of this embodiment will be described below.
- spectral reflectance was estimated using the back of a human hand imaged as illumination light of light in which white LED light and sunlight were mixed at an intensity ratio of 1: 1, and compared with actual measurement values.
- a spectrocolorimeter Konica Minolta, CM-2600d was used as in Example 1.
- SOCS Standard Object Color, Database, For Color, Production, Evaluation
- ISO International Organization for Standardization
- the spectral reflectance was estimated by the estimation device of the comparative example (comparative example 1) similar to the first example.
- estimation was performed by the spectral reflectance estimation method described in Non-Patent Document 1 when the spectral characteristics of the entire image system are unknown.
- G r 2 v t (vv t ) ⁇ 1 (C1)
- r es Gg 2 (C2)
- G is an estimation matrix for estimating the spectral reflectance of the object from the output value of the image.
- r is the statistical information of the actual spectral reflectance in each of the 24 color patches included in the Macbeth color chart.
- v is statistical information of pixel values corresponding to each of the color patches.
- Estimation method of Comparative Example 2 in formula (B2), a method for the entire system matrix H 2 estimates the spectral reflectivity when it is unknown. In the estimation method of Comparative Example 2, estimation is performed based on the spectral reflectance and the pixel value in each patch of the Macbeth color chart.
- FIG. 10 is a graph showing the estimation result of the spectral reflectance in this example.
- A of FIG. 10 is a graph which shows the estimation result by the estimation apparatus 1.
- FIG. 10B is a graph showing an estimation result by the estimation apparatus of Comparative Example 1.
- C of FIG. 10 is a graph which shows the estimation result by the estimation method of the nonpatent literature 1 (comparative example 2).
- the horizontal axis represents wavelength and the vertical axis represents reflectance.
- the estimated spectral reflectance is indicated by a solid line
- the measured value of the spectral reflectance is indicated by a broken line.
- the estimation result by the estimation apparatus of Comparative Example 1 was significantly different from the actual measurement value, similar to the estimation result by the estimation apparatus of the Comparative Example in Example 1.
- the estimation result by the estimation method of Non-Patent Document 1 is close to the actual measurement value as compared with the estimation result by the estimation device of Comparative Example 1.
- the estimation result by the estimation apparatus 1 of the present embodiment is a result closer to the actual measurement value as compared with the estimation result by the estimation method of Non-Patent Document 1.
- the estimation result by the estimation apparatus 1 according to the present embodiment is that the spectrum shape of the actually measured value is finer as compared with the estimation result by the estimation method of Non-Patent Document 1, particularly in the wavelength range of 400 nm to 430 nm and 530 nm to 580 nm. It is well reproduced.
- the unevenness of the graph showing the spectral reflectance in these wavelength ranges is considered to reflect the absorption of light by hemoglobin in the blood seen through the human skin.
- the spectral reflectance is estimated using the Macbeth color chart.
- the color patch of the Macbeth color chart is colored with pigments and does not contain hemoglobin, so the shape of the absorption spectrum of light in these wavelength bands by hemoglobin is not reflected, and it is thought that there was a difference from the measured value .
- Example 3 The effectiveness of the estimation method by the estimation apparatus 1 of this embodiment was verified by simulation.
- the pixel value of the reference image is obtained by calculation using the formula (A1), and the spectral emissivity estimation unit 22 estimates the spectral emissivity from this pixel value.
- the pixel value of the reference image is an image expected to be obtained from the imaging unit 10 when a white plate as the reference object 200 irradiated with light from various types of light sources is used as illumination light. It is a pixel value.
- FIG. 11 is a graph showing the result of estimation in this example. Each graph shows the estimation result of the spectral emissivity of light from the following light sources.
- A d55 (auxiliary standard illuminant d55 (average daylight with color temperature 5503K))
- B d65 (standard illuminant d65 (natural daylight))
- C ill A (Standard Illuminant A (incandescent light bulb))
- F Fluorescent lamp
- g Sunlight (16:00 on one day in July)
- H LED (indoor)
- I Fluorescent lamp (different from (f))
- the horizontal axis is the wavelength
- the vertical axis is the spectral reflectance.
- the estimated spectral emissivity is indicated by a solid line
- the actual measured value of the spectral emissivity is indicated by a broken line.
- the spectral emissivity estimation unit 22 estimates the spectral emissivity of the light source used when the object 100 is imaged. Then, the spectral reflectance estimator 23 estimates the spectral reflectance of the object 100 using the spectral emissivity estimated by the spectral emissivity estimator 22. Therefore, even when the spectral emissivity of the light source used for imaging the object 100 is significantly different from the assumed value, or even when the spectral emissivity is unknown, the spectral reflectance of the object 100 is accurately determined. It is possible to estimate well.
- the spectral reflectance estimation unit 23 captures the spectral characteristic value of the imaging unit 10 together with the spectral emissivity estimated by the spectral emissivity estimation unit 22 and the imaging unit 10 captures an image.
- the spectral reflectance of the target object 100 is estimated using the pixel value of the target image and the spectral reflectance statistical information. Therefore, the spectral reflectance estimator 23 can accurately estimate the spectral reflectance of the object 100.
- the spectral emissivity estimation unit 22 is used at the time of imaging using the first estimation matrix W 1 so that the square error with the spectral emissivity statistical information is minimized. Calculate the spectral emissivity of the light source.
- the first estimation matrix W 1 is calculated by the equation (A4).
- the first estimation matrix W 1 are for use in the Wiener estimation, the spectral emissivity estimating unit 22 estimates the spectral emissivity of the light source by Wiener estimation. Therefore, the spectral emissivity estimation unit 22 can accurately estimate the spectral emissivity of the light source.
- the spectral reflectance estimating section 23 as square errors between the spectral reflectance statistics is minimum, of the object 100 using the second estimation matrix W 2 Spectral reflectance is calculated.
- the second estimation matrix W 2 is calculated by the formula (B4).
- the second estimation matrix W 2 similarly to the first estimation matrix W 1, is intended to be used in the Wiener estimation, the spectral reflectance estimation unit 23 to estimate the spectral reflectance of the object 100 by Wiener estimation. Therefore, the spectral reflectance estimator 23 can accurately estimate the spectral reflectance of the object 100.
- a Macbeth color chart is imaged simultaneously with a multiband image, and the QL value of the gray patch image of the Macbeth color chart and the spectral reflectance of the gray patch are determined.
- a lookup table is created by associating the relationships. Then, the spectrum estimation system refers to the created one-dimensional lookup table, and obtains the spectral reflectance from the QL value of the image data of the original image of the subject (object).
- Patent Document 1 describes obtaining a spectral reflectance using a lookup table, but does not describe a method for creating a lookup table that can estimate the spectral emissivity of a light source.
- the estimation apparatus 1 of the present embodiment first estimates the spectral emissivity of the light source, and estimates the spectral reflectance of the object 100 using the estimated spectral emissivity. Different from the system.
- FIG. 12 is a block diagram showing a configuration of the estimation device 2 of the present embodiment. As shown in FIG. 12, the estimation device 2 is different from the estimation device 1 in that it includes a control unit 20 ⁇ / b> A instead of the control unit 20.
- the control unit 20A further includes a similarity calculation unit 24 and a statistical information specifying unit 25 in addition to the configuration of the control unit 20.
- the storage unit 30 includes, as the spectral emissivity statistical information, multi-light source statistical information in which spectral emissivity information for each of a plurality of light sources is mixed, and the spectral emissivity for a single type of light source.
- Single light source statistical information single spectral emissivity light source information
- the multi-light source statistical information may be a set of single light source statistical information.
- the multi-light source statistical information includes d55 (average daylight of color temperature 5503K), d65 (natural daylight), ill A (incandescent light bulb), ill C (daylight incident from the north window), and white LED, respectively. Including the spectral emissivity of.
- single light source statistical information exists for each type of light source, such as single light source statistical information about white LEDs and single light source statistical information about incandescent bulbs. Only statistical information on the spectral emissivity of the corresponding type of light source is included.
- the storage unit 30 in the present embodiment includes pre-prepared spectral emissivity statistical information for each light source that indicates statistical information of typical spectral emissivity of each light source, measured for each of a plurality of types of light sources.
- the typical spectral emissivity statistical information may be a representative spectral emissivity for each light source (for example, in the case of sunlight, the spectral emissivity of the standard light source D65) included in the various light source statistical information. It may be an average of a plurality of spectral emissivities.
- the single light source statistical information of the light source indicated by the statistical information is associated with the spectral emissivity statistical information for each light source.
- the accuracy of typical spectral emissivity statistical information may be lower than the accuracy of single light source statistical information for the purpose of specifying the type of light source.
- the spectral emissivity statistical information may have data points every 10 nm in the range of 400 nm to 700 nm
- the typical spectral emissivity statistical information may have data points every 20 nm in the range of 400 nm to 700 nm.
- the spectral emissivity estimation unit 22 first estimates the spectral emissivity of the light source using the various light source statistical information as the spectral emissivity statistical information. Moreover, the spectral emissivity estimation part 22 estimates again the spectral emissivity of the light source used at the time of the imaging
- the single light source statistical information used by the spectral emissivity estimation unit 22 corresponds to the spectral emissivity statistical information for each light source included in the typical spectral emissivity statistical information specified by the statistical information specifying unit 25 described later.
- the spectral reflectance estimator 23 estimates the spectral reflectance of the object 100 using the spectral emissivity estimated again by the spectral emissivity estimator 22.
- the similarity calculation unit 24 calculates the similarity between the spectral emissivity estimated by the spectral emissivity estimation unit 22 and the spectral emissivity statistical information for each light source included in the typical spectral emissivity statistical information. Specifically, the similarity calculation unit 24 calculates the spectral emissivity statistics for each light source included in the typical spectral emissivity statistical information by the following equation (D) and the spectral emissivity estimated by the spectral emissivity estimation unit 22. A correlation coefficient R is calculated.
- FIG. 13 is a graph showing an example of typical spectral emissivity statistical information including spectral emissivity statistical information for each light source.
- FIG. 13B is a graph showing the spectral emissivity estimated by the spectral emissivity estimation unit 22.
- the horizontal axis represents wavelength and the vertical axis represents spectral emissivity. Note that the spectral emissivity values in FIGS. 13A and 13B are relative values when the maximum value for each light type is 1.
- the typical spectral emissivity statistical information shown in (a) of FIG. 13 includes the following spectral emissivity statistical information for each light source. ⁇ D55 ⁇ D65 ⁇ Ill A ⁇ Ill C ⁇ White LED Note that the similarity calculation unit 24 does not need to calculate a correlation coefficient with the spectral emissivity estimated for all of the types of light sources shown in FIG. The similarity calculation unit 24 may calculate a correlation coefficient with the estimated spectral emissivity for light sources other than the type of light source shown in FIG.
- FIG. 13C shows a correlation coefficient between the spectral emissivity of each light source shown in FIG. 13A and the estimated spectral emissivity example shown in FIG. It is a table. As shown in FIG. 13C, in this example, the light source having the largest correlation coefficient with the estimated spectral emissivity, that is, the light source closest to the illumination light is d55.
- the statistical information specifying unit 25 specifies spectral emissivity statistical information for each light source indicating the highest similarity among the similarities calculated by the similarity calculating unit 24. As described above, since the correlation coefficient d55 is the highest in the example shown in FIG. 13C, the statistical information specifying unit 25 specifies the spectral emissivity statistical information for each light source d55.
- the statistical information specifying unit 25 is not necessarily required to specify only one single light source statistical information used for estimating the spectral emissivity in the spectral emissivity estimating unit 22.
- the statistical information specifying unit 25 may specify single light source statistical information corresponding to each of a predetermined number of light sources in descending order of the correlation coefficient with the estimated spectral emissivity.
- the statistical information specifying unit 25 may specify all the single light source statistical information corresponding to a light source whose correlation coefficient with the estimated spectral emissivity is a predetermined threshold or more.
- the statistical information specifying unit 25 may specify all the single light source statistical information corresponding to the light source whose difference from the estimated spectral emissivity and the maximum value of the correlation coefficient is within a predetermined threshold.
- FIG. 14 is a flowchart showing the flow of processing in the estimation apparatus 2. Of the processing shown in FIG. 14, description of steps common to the flowchart shown in FIG. 4 is omitted.
- the spectral emissivity estimation unit 22 first calculates the autocorrelation matrix of the various light source statistical information (SC1) and estimates the light source.
- SC1 system matrix
- SC3 estimation matrix
- SC4 spectral emissivity
- the similarity calculation unit 24 calculates the similarity between the spectral emissivity estimated by the spectral emissivity estimation unit 22 and the light emissivity statistical information for each light source included in the typical spectral emissivity statistical information stored in the storage unit 30. Is calculated (SC5). Then, the statistical information specifying unit 25 uses the spectral emissivity statistical information for each light source having the highest similarity as the spectral emissivity statistical information used in the spectral emissivity estimating unit 22 based on the similarity calculated by the similarity calculating unit 24. Specify (SC6).
- the spectral emissivity estimation unit 22 calculates the autocorrelation matrix using the single light source statistical information of the light source corresponding to the spectral emissivity statistical information for each light source specified by the statistical information specifying unit 25 as the spectral emissivity statistical information. Then, the first estimation matrix used for estimating the spectral emissivity is calculated again (SC8). Then, the spectral emissivity estimation unit 22 estimates the spectral emissivity of the light source again (SC9).
- the statistical information used for estimation includes information on a light source that is not similar to the actual light source, and the case where the statistical information used for estimation includes only information about a light source similar to the actual light source, the latter case
- the accuracy of spectral emissivity estimation is higher. For example, if the light source is a white LED, it is more accurate to use statistical information about only the spectral emissivity of various white LEDs for estimation than to use statistical information including the spectral emissivity of other types of light sources for estimation. Become.
- the light source is an incandescent bulb
- statistical information about only the spectral emissivity of various incandescent bulbs is used for estimation, rather than statistical information including the spectral emissivity of other types of light sources is used for estimation. Increases accuracy.
- the light source at the time of imaging the target object 100 varies depending on the environment in which the image is captured, and there is a possibility that light unintended by the user of the estimation device is mixed. For this reason, it is difficult to determine the type of light source in advance.
- the statistical information specifying unit 25 obtains the spectral emissivity statistical information for each light source having the highest similarity with the spectral emissivity estimated in a state where the type of the light source used at the time of imaging is unknown. Identify. And the spectral emissivity estimation part 22 re-estimates spectral emissivity using the single light source statistical information of the light source corresponding to the specified spectral emissivity statistics information classified by light source, and uses the estimated spectral emissivity, The spectral reflectance estimator 23 estimates the spectral emissivity of the object imaged by the imaging device.
- the spectral emissivity estimation unit 22 can estimate the spectral emissivity of the light source using statistical information of the spectral emissivity of the light source used at the time of imaging or a light source having characteristics close to those of the light source. In other words, the spectral emissivity estimation unit 22 can estimate the spectral emissivity of the light source after specifying the light source used during imaging. And since the spectral reflectance estimation part 23 estimates the spectral reflectance of the target object 100 using the spectral emissivity estimated in this way, it can estimate the said spectral reflectance more accurately.
- control blocks especially the reference pixel specifying unit 21, the spectral emissivity estimating unit 22, the spectral reflectance estimating unit 23, the similarity calculating unit 24, and the statistical information specifying unit 25
- the control blocks are integrated circuits (IC chips). ) Or the like, or may be realized by software using a CPU (Central Processing Unit).
- the estimation devices 1 and 2 include a CPU that executes instructions of a program that is software that realizes each function, and a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by the computer (or CPU). ) Or a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) that expands the program, and the like. And the objective of 1 aspect of this indication is achieved when a computer (or CPU) reads and runs the said program from the said recording medium.
- the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
- the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
- an arbitrary transmission medium such as a communication network or a broadcast wave
- one aspect of the present disclosure can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
- An estimation device (1, 2) is an estimation device that estimates a spectral reflectance of an object (100) that is an imaging target of an imaging device (imaging unit 10).
- a known spectral characteristic value indicating the spectral characteristic of the imaging device; and (2) a pixel value of a reference object image indicating a reference object (200) having a known spectral reflectance captured by the imaging device, and (3 ) Imaging of the object using spectral reflectance of the reference object and (4) spectral emissivity statistical information indicating statistical emissivity statistical information measured for a plurality of light sources prepared in advance.
- the spectral emissivity of a light source used for the imaging is used for the estimation. Therefore, when the spectral emissivity is significantly different from the assumed value, or when the spectral emissivity is unknown, there is a possibility that the estimated spectral reflectance cannot be estimated with high accuracy.
- the spectral emissivity of the light source used when imaging the object is estimated using the values shown in the above (1) to (4).
- the spectral reflectance of the target object imaged by the imaging device is estimated using the estimated spectral emissivity. Therefore, even when the spectral emissivity of the light source used for imaging is significantly different from the assumed value, or even when the spectral emissivity is unknown, the spectral reflectance of the object is accurately estimated. Is possible.
- the spectral reflectance estimation unit in addition to the estimated spectral emissivity, includes (1) the known spectral characteristic value, and (2) (3) A spectral reflectance statistic indicating statistical information of the spectral reflectance of the object measured in a predetermined environment prepared in advance, and the pixel value of the object image representing the object imaged by the imaging device It is preferable to estimate the spectral reflectance of the object using the information.
- the spectral reflectance of the object is estimated using the values shown in (1) to (3) above together with the estimated spectral emissivity. Therefore, it is possible to accurately estimate the spectral reflectance of the object.
- the spectral emissivity E es W 1 g 1
- the first estimation matrix is such that the square error between the estimated spectral emissivity and the spectral emissivity statistical information is minimized. It is preferably calculated using a known spectral characteristic value and the spectral reflectance of the reference object.
- the spectral emissivity of the light source used during imaging is calculated using the first estimation matrix so that the square error with the spectral emissivity statistical information is minimized. Therefore, the spectral emissivity can be estimated in consideration of the state of the light source during imaging.
- the first estimation matrix is used in winner estimation, which is one of methods for estimating a predetermined value using a square error. That is, the spectral emissivity is estimated using Wiener estimation. Therefore, it is possible to accurately estimate the spectral emissivity of the light source used during imaging.
- the spectral reflectance estimation unit sets the pixel value of the object image to g 2 and the second estimation matrix W 2 .
- the second estimation matrix has a minimum square error between the estimated spectral reflectance and the spectral reflectance statistical information. It is preferable to calculate using the known spectral characteristic value and the spectral emissivity estimated by the spectral emissivity estimation unit.
- the spectral reflectance of the object imaged by the imaging device is calculated using the second estimation matrix so that the square error with the spectral reflectance statistical information is minimized. Therefore, it is possible to accurately estimate the spectral reflectance of the object.
- the second estimation matrix is used in the Wiener estimation. That is, spectral reflectance is estimated using Wiener estimation. Therefore, it is possible to accurately estimate the spectral emissivity of the object.
- any one of Aspects 1 to 6 (1) the spectral emissivity estimated by the spectral reflectance estimation unit, and (2) a plurality of preliminarily prepared
- a similarity calculation unit (24) that calculates the similarity between each type of light source and the spectral emissivity statistical information for each light source indicating the statistical information of the spectral emissivity of each light source, and the similarity calculation unit
- a statistical information specifying unit (25) that specifies the spectral emissivity statistical information for each light source that indicates the highest similarity among the calculated similarities, and the statistical emissivity estimation unit includes the statistical information specifying unit.
- spectral emissivity light source information which is statistical information of the spectral emissivity of the light source corresponding to the identified spectral emissivity statistical information for each light source, as the spectral emissivity statistical information, it is used when imaging the object.
- Spectral emission of light source Was estimated again, the spectral reflectance estimation unit uses the spectral emissivity of the spectral emissivity estimation unit has estimated again, it is preferable to estimate the spectral reflectance of the object.
- the spectral emissivity statistical information for each light source having the highest similarity with the spectral emissivity estimated in a state where the type of the light source used at the time of imaging is unknown is specified. Then, the spectral emissivity is re-estimated using the single spectral emissivity light source information corresponding to the identified spectral emissivity statistical information for each light source, and the object captured by the imaging device using the estimated spectral emissivity Estimate the spectral emissivity of
- control method of the estimation device is a control method of the estimation device that estimates the spectral reflectance of an object to be imaged by the imaging device, and (1) Spectral characteristics of the imaging device. (2) a pixel value of a reference object image indicating a reference object having a known spectral reflectance captured by the imaging device, and (3) a spectral reflectance of the reference object.
- spectral emissivity statistical information indicating statistical emissivity statistical information measured for a plurality of light sources prepared in advance, and using the spectral emissivity of the light source used when imaging the object
- the estimation apparatus may be realized by a computer.
- the estimation apparatus is realized by a computer by causing the computer to operate as each unit (software element) included in the estimation apparatus.
- An estimation program of the estimation device and a computer-readable recording medium that records the estimation program also fall within the category of one aspect of the present disclosure.
- Imaging unit Imaging device 22
- Spectral Emissivity Estimator 23
- Spectral Reflectance Estimator 24
- Similarity Calculating Unit 25
- Statistical Information Specifying Unit 100 Object 200 Reference Object
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
撮像対象の分光反射率を精度良く推定する。推定装置(1)は、既知の分光特性値と、基準対象物画像の画素値と、基準対象物(200)の分光反射率と、分光放射率統計情報と、を用いて、対象物(100)の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部(22)と、推定した分光放射率を用いて、撮像部(10)が撮像した対象物の分光反射率を推定する分光反射率推定部(23)と、を備える。
Description
以下の開示は、撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置に関する。
従来から、撮像画像における撮像対象の色再現を精度良く行うために、撮像対象の物体表面に固有の物理的性質を示す分光反射率を推定する技術が開発されている。このような技術は、例えば特許文献1~3、および非特許文献1に開示されている。
特許文献1に開示の方法では、撮影波長領域を分割したチャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値(QL値)を分光反射率と対応させた変換テーブルを予め作成しておく。そして、マルチバンド画像の各チャンネルの原画像のQL値から上記変換テーブルを用いて分光反射率に変換することによって、撮像対象の分光反射率のスペクトルを推定している。
また、特許文献2に開示の装置では、所定の分光透過率特性を有する6種類以上のカラーフィルタを通して、撮像対象を撮影してマルチバンド画像を取得し、当該撮像対象の分光反射率を推定する。
また、特許文献3に開示の装置では、撮像した対象標本画像を構成する各画素を、細胞核、細胞質、赤血球、および背景の各主要要素に対応する複数のカテゴリーに分類する。そして、ウィナー推定によって、撮像した対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する。具体的には、上記所定の画素が属するクラス用のウィナー推定行列を用いて、対応する対象標本点の分光透過率を推定する。
また、非特許文献1には、画像システムの分光特性が未知の場合には、撮影に用いる画像システムを用いて色票または絵具を撮影することによりウィナー推定を用いて分光反射率を推定することができることが開示されている。具体的には、上記分光反射率(物体の分光放射輝度)を、分光反射率の測定値とカメラの出力値とから求めている。
三宅洋一編、"分光画像処理入門"、東京大学出版会、2006年2月24日、p25-30
一般に、カラーフィルタの分光透過率、照明光(光源)の分光放射率、および撮像装置(カメラ)の分光感度が既知であるカメラシステムを用いて撮像対象の分光反射率が推定される。そして、照明光の分光放射率が未知の場合、または照明光の分光放射率が想定していた値から大きく外れた場合には、撮像対象の分光反射率の推定精度が低下する。
特許文献1~3の技術では、少なくとも照明光の分光放射率として既知の値(測定した値)を用いて撮像対象の分光反射率を推定している。そのため、当該技術では、想定外の分光放射率となった場合には当該推定精度が低下してしまう可能性がある。
また、非特許文献1においては、画像システムの分光特性が未知の場合の、撮像対象の分光反射率の推定についての開示があるものの、照明光の分光放射率が未知、または想定していた値から大きく外れた場合の当該推定についての開示は無い。
以下の開示は、前記の問題点に鑑みてなされたものであり、その目的は、撮像対象の分光反射率を精度良く推定することが可能な推定装置を実現することにある。
上記の課題を解決するために、本開示の一態様に係る推定装置は、撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置であって、(1)上記撮像装置の分光特性を示す既知の分光特性値と、(2)上記撮像装置が撮像した、分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、(3)上記基準対象物の分光反射率と、(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部と、上記分光放射率推定部が推定した分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定部と、を備える構成である。
また、上記の課題を解決するために、本開示の一態様に係る推定装置の制御方法は、撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置の制御方法であって、(1)上記撮像装置の分光特性を示す、既知の分光特性値と、(2)上記撮像装置が撮像した分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、(3)上記基準対象物の分光反射率と、(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定工程と、上記分光放射率推定工程において推定された分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定工程と、を含む方法である。
本開示の一態様に係る推定装置およびその制御方法によれば、撮像対象の分光反射率を精度良く推定することができるという効果を奏する。
〔実施形態1〕
以下、本開示の実施の形態について、図1~図11を用いて説明する。
以下、本開示の実施の形態について、図1~図11を用いて説明する。
〔推定装置の構成〕
図1は、本実施形態に係る推定装置1の構成を示すブロック図である。図1に示すように、推定装置1は、撮像部10(撮像装置)、制御部20、および記憶部30を備える。推定装置1は、撮像部10の撮像対象となる対象物100の分光反射率を推定する推定装置である。
図1は、本実施形態に係る推定装置1の構成を示すブロック図である。図1に示すように、推定装置1は、撮像部10(撮像装置)、制御部20、および記憶部30を備える。推定装置1は、撮像部10の撮像対象となる対象物100の分光反射率を推定する推定装置である。
撮像部10は、所定の照明光が照射された状態の対象物100および基準対象物200のマルチバンド画像を撮像する。以下、対象物100を示す画像および基準対象物200を示す画像について、それぞれ対象画像(対象物画像)、基準画像(基準対象物画像)と称する。
撮像部10は、例えばCCD(Charge Coupled Device:電荷結合素子)またはCMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化膜半導体)を撮像素子(イメージセンサ)として備える固体撮像装置であってよい。本実施形態の撮像部10は、画素ごとに透過波長が互いに異なる4種類の光学フィルタのいずれかを備える。4種類の光学フィルタはそれぞれR、G、GB、およびBのうち、いずれかの光を透過させる。ただし、撮像部10が備える光学フィルタは上述した4種類に限定されず、例えばR、G、およびBの3種類などであってもよい。
また、本実施形態の撮像部10はレンズ(不図示)を備える。さらに本実施形態の撮像部10は、撮像素子のレンズ側に、波長400nm以上700nm以下の範囲の光を透過させ、それ以外の範囲の波長の光をカットするフィルタ(不図示)を備える。
基準対象物200は、分光反射率が既知である物体である。本実施形態において、基準対象物200は白色板である。基準対象物200は、例えば対象物100を配することが可能な穴が中央に形成された円盤形状であってよい。この場合、基準対象物200の中央に配された(すなわち基準対象物200に囲まれた)対象物100を撮像部10により撮像することで、対象画像および基準画像を同時に得ることができる。なお、基準対象物200は、分光反射率が既知の物体であれば白色板に限定されない。
制御部20は、撮像部10が撮像した基準画像および対象画像に基づいて、光源の分光放射率および対象物100の分光反射率の推定を行う。制御部20の具体的な構成については後述する。
記憶部30は、制御部20における推定に用いるデータを記憶する。例えば記憶部30は、制御部20における推定に用いる式を記憶する。また例えば記憶部30は、制御部20における推定に用いる統計情報を記憶する。
なお、本開示の一態様に係る推定装置は、撮像部10を備えず、外部に設けられた撮像装置から画像を取得するように構成されていてもよい。
(制御部20の構成)
次に、制御部20の構成について説明する。図1に示すように、制御部20は、基準画素特定部21、分光放射率推定部22、および分光反射率推定部23を備える。
次に、制御部20の構成について説明する。図1に示すように、制御部20は、基準画素特定部21、分光放射率推定部22、および分光反射率推定部23を備える。
(基準画素特定部21)
基準画素特定部21は、基準画像に含まれる画素のうち、分光放射率の推定に用いる画素値を取得する対象となる画素である基準画素を特定する。本実施形態では撮像部10はR、G、GB、およびBの4バンドの画像を撮像するため、基準画素特定部21は上記4バンドの画像それぞれについて、基準画素を特定する。
基準画素特定部21は、基準画像に含まれる画素のうち、分光放射率の推定に用いる画素値を取得する対象となる画素である基準画素を特定する。本実施形態では撮像部10はR、G、GB、およびBの4バンドの画像を撮像するため、基準画素特定部21は上記4バンドの画像それぞれについて、基準画素を特定する。
基準画素特定部21は、例えば画像認識により、予め記憶部30に記憶された基準対象物200の形状および色に近い物体の画像を基準画像から検出する。そして、検出した画像の領域内で白色に対応する画素値に最も近い画素値を有する画素を基準画素として特定する。なお、例えば、基準画素特定部21は、基準画像に含まれる基準対象物200の画像における任意の位置(例えば画像の中心)の画素を基準画素として特定してもよい。
(分光放射率推定部22)
分光放射率推定部22は、以下の(1)~(4)を用いて光源の分光放射率を推定する。
(1)撮像部10の分光特性を示す既知の分光特性値、
(2)撮像部10が撮像した、分光反射率が既知である基準対象物200を示す基準画像の画素値、
(3)基準対象物200の分光反射率、
(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報。
分光放射率推定部22は、以下の(1)~(4)を用いて光源の分光放射率を推定する。
(1)撮像部10の分光特性を示す既知の分光特性値、
(2)撮像部10が撮像した、分光反射率が既知である基準対象物200を示す基準画像の画素値、
(3)基準対象物200の分光反射率、
(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報。
基準対象物200の画像について、画素の輝度値を示す行列と光源の分光放射率を示す行列との間には、以下の式(A1)が成立する。
fr1LSE=g1 (A1)
図2は、式(A1)の各行列を示す図である。
図2は、式(A1)の各行列を示す図である。
式(A1)において、行列g1は、基準画像の画素値である。詳しくは、行列g1は、基準画素特定部21が特定した基準画素のバンドごとの輝度値(画素値)が行ごとに示される、4行×1列の行列である。本実施形態では、行列g1には画素値がR、G、GB、Bの順に配されている。
行列fは撮像部10が備える光学フィルタの分光透過率を示す行列である。本実施形態の行列fは、行がR、G、GB、およびBそれぞれのフィルタに対応し、列が波長400nm~700nmの範囲の10nmごとの波長に対応する分光透過率である、4行×31列の行列である。
行列Lは、撮像部10が備えるレンズの分光透過率を示す行列である。本実施形態の行列Lは、対角要素がレンズの上記10nmごとの分光透過率であり、それ以外の要素が0である、31行×31列の対角行列である。
行列Sは、撮像部10が備える撮像素子の分光感度を示す行列である。本実施形態の行列Sは、対角要素が撮像素子の上記10nmごとの分光感度であり、それ以外の要素が0である、31行×31列の対角行列である。
行列r1は、基準対象物200の分光反射率を示す行列である。行列r1は、対角要素が基準対象物200の上記10nmごとの波長に対応する分光反射率であり、それ以外の要素が0である、31行×31列の対角行列である。
行列Eは、光源の分光放射率を示す行列である。本実施形態の行列Eは、波長400nm~700nmの範囲の10nmごとの光源の分光放射率が行ごとに示される、31行×1列の行列である。
行列f、L、およびSは、撮像部10の分光特性を示す既知の分光特性値である。fr1LSの積をシステム行列H1とした場合、光源の分光放射率Eは以下の式(A2)により表される。
E=H1
-1g (A2)
ここで、H1 -1は、H1の逆行列である。
ここで、H1 -1は、H1の逆行列である。
しかし、実際にH1
-1を求めることは困難である。そこで、分光放射率推定部22は、ウィナー推定により、分光放射率Eの推定値を示す分光放射率Eesを以下の式(A3)により推定する。
Ees=W1g1 (A3)
ここで、W1は第1推定行列と称する。
ここで、W1は第1推定行列と称する。
第1推定行列W1は、推定する分光放射率Eesと分光放射率統計情報との二乗誤差が最小となるように、撮像部10の分光特性値、および基準対象物200の分光反射率の情報を含むシステム行列H1を用いて算出される。具体的には、分光放射率推定部22は、以下の式(A4)によりW1を算出する。
W1=E1E1
tH1
t(H1
tE1E1
tH1
t)-1 (A4)
ここで、E1は、分光放射率統計情報を示す行列である。
ここで、E1は、分光放射率統計情報を示す行列である。
本実施形態では、任意の1つの光源についての統計情報Eaは、波長400nm~700nmの範囲内における、波長10nmごとの点における分光放射率を示す。このため、任意の1つの光源についての統計情報Eaは、当該光源の分光放射率についての31個の数値の集合である。なお、上記統計情報Eaは、LED、ハロゲンランプ等の光源の種類ごとに準備された統計情報であってもよいし、種類は同じ(例:LED)であるが特性が異なる光源についての統計情報であってもよい。
また、E1は、下記式に示すように、準備した各光源の統計情報Eaに含まれる波長ごとの分光放射率を列方向に記載したものを、上記光源ごとに行方向に並べたものである。したがってE1は、上記例では、31行×(統計情報Eaの数)列の行列である。
上記式では、統計情報Eaが、Ea1~Ean(nは1以上の整数)のn個準備されている場合を示している。
また、E1
tおよびH1
tは、それぞれE1およびH1の転置行列である。また、E1E1
tは、E1の自己相関行列である。
なお、基準画像に含まれるノイズの存在を考慮する必要がある場合には、式(A4)に代えて以下の式(A5)を用いてW1を求めることができる。
W1=E1E1
tH1
t(H1
tE1E1
tH1
t+n1n1
t)-1 (A5)n1は基準画像に含まれるノイズを示す行列である。また、n1n1
tはn1の自己相関行列である。
分光放射率推定部22は、まず式(A4)により第1推定行列W1を求める。そして、分光放射率推定部22は、式(A3)によって光源の分光放射率Eesを推定する。
なお、上述した例における分光放射率は、波長400nm~700nmの範囲内における、波長10nmごとの点における分光放射率である。しかし、本実施形態の分光放射率は異なる波長範囲および波長間隔におけるデータであってもよい。例えば本実施形態の分光放射率は、波長380nm~780nmの範囲内における、波長1nmごとの分光放射率であってもよい。
(分光反射率推定部23)
分光反射率推定部23は、分光放射率推定部22が推定した分光放射率を用いて、撮像部10が撮像した対象物100の分光反射率を推定する。本実施形態の分光反射率推定部23は、さらに以下の(1)~(3)を用いて対象物100の分光反射率を推定する。
(1)撮像部10の既知の分光特性値、
(2)撮像部10が撮像した対象物100を示す対象画像の画素値、
(3)予め準備された、所定の環境下において測定された対象物100の分光反射率の統計情報を示す分光反射率統計情報。
分光反射率推定部23は、分光放射率推定部22が推定した分光放射率を用いて、撮像部10が撮像した対象物100の分光反射率を推定する。本実施形態の分光反射率推定部23は、さらに以下の(1)~(3)を用いて対象物100の分光反射率を推定する。
(1)撮像部10の既知の分光特性値、
(2)撮像部10が撮像した対象物100を示す対象画像の画素値、
(3)予め準備された、所定の環境下において測定された対象物100の分光反射率の統計情報を示す分光反射率統計情報。
対象物100の画像における、任意の画素の輝度値と対象物100の分光反射率との間には、以下の式(B1)が成立する。
fEesLSr=g2 (B1)
図3は、式(B1)の各行列を示す図である。
図3は、式(B1)の各行列を示す図である。
式(B1)において、行列g2は、対象画像の画素値である。詳しくは、行列g2は、対象物100の画像における画素値が行ごとに示される、4行×1列の行列である。Eesは、分光放射率推定部22により推定された分光放射率を示す行列である。ただし、式(A3)におけるEesとは異なり、式(B1)におけるEesは、対角要素が400nm~700nmの範囲の10nmごとの波長に対応する分光放射率であり、対角要素以外が0である31行×31列の対角行列である。また、rは対象物100の上記10nmごとの分光反射率を示す、31行×1列の行列である。また、式(B1)におけるf、L、およびSは、式(A1)におけるf、L、およびSと同じである。
fEesLSをシステム行列H2とおいた場合、rは以下の式(B2)により表される。
r=H2
-1×g2 (B2)
ここで、H2 -1は、H2の逆行列である。
ここで、H2 -1は、H2の逆行列である。
上述したH1
-1と同様、H2
-1もまた実際に求めることは困難である。そこで、分光反射率推定部23は、ウィナー推定により、rの推定値を示す分光反射率resを以下の式(B3)により推定する。
res=W2g2 (B3)
ここで、W2は第2推定行列と称する。
ここで、W2は第2推定行列と称する。
第2推定行列W2は、推定する分光反射率resと分光反射率統計情報との二乗誤差が最小となるように、撮像部10の分光特性値および分光放射率推定部22が推定した分光放射率を用いて算出される。具体的には、分光反射率推定部23は、以下の式(B4)によりW2を算出する。
W2=r2r2
tH2
t(H2
tr2r2
tH2
t)-1 (B4)
ここで、r2は、分光反射率統計情報を示す行列である。また、r2 tおよびH2 tは、それぞれr2およびH2の転置行列である。
ここで、r2は、分光反射率統計情報を示す行列である。また、r2 tおよびH2 tは、それぞれr2およびH2の転置行列である。
本実施形態では、任意の1つの物体についての統計情報raは、波長400nm~700nmの範囲内における、波長10nmごとの点における分光反射率を示す。このため、任意の1つの物体についての統計情報raは、当該物体の分光反射率についての31個の数値の集合である。なお、上記統計情報raは、マクベス色票、手等の物体の種類ごとに準備された統計情報であってもよいし、種類が同じである複数の物体(例:手)についての統計情報であってもよい。
また、r2は、下記式に示すように、準備した各物体の統計情報raに含まれる波長ごとの分光反射率を列方向に記載したものを、上記物体ごとに行方向に並べたものである。したがってr2は、31行×(統計情報ra(物体の種類)の数)列の行列である。
なお、対象画像に含まれるノイズの存在を考慮する必要がある場合には、式(B4)に代えて以下の式(B5)を用いてW2を求めることができる。
W2=r2r2
tH2
t(H2
tr2r2
tHt+n2n2
t)-1 (B5)
n2×n2 tは、対象画像に含まれるノイズを示す行列n2の自己相関行列である。
n2×n2 tは、対象画像に含まれるノイズを示す行列n2の自己相関行列である。
分光反射率推定部23は、まず式(B4)により第2推定行列W2を求める。そして、分光反射率推定部23は、式(B3)によって対象物100の分光反射率resを推定する。なお、分光反射率を推定するための画素は、公知の方法により任意に選択されてよい。
〔推定処理の流れ〕
図4は、推定装置1における処理の流れ(制御方法)を示すフローチャートである。推定装置1においては、まず、制御部20は、撮像部10により基準対象物200の画像を撮像する(SA1)。次に、基準画素特定部21は、基準対象物200の画像に含まれる画素から、基準画素を特定する(SA2)。
図4は、推定装置1における処理の流れ(制御方法)を示すフローチャートである。推定装置1においては、まず、制御部20は、撮像部10により基準対象物200の画像を撮像する(SA1)。次に、基準画素特定部21は、基準対象物200の画像に含まれる画素から、基準画素を特定する(SA2)。
次に、分光放射率推定部22は、光源の分光放射率を推定する(分光放射率推定工程)。具体的には分光放射率推定部22は、まず記憶部30に記憶されている分光放射率統計情報(E1)から分光放射率の自己相関行列(E1E1
t)を算出する(SA3)。次に分光放射率推定部22は、分光放射率推定用のシステム行列(H1)を算出する(SA4)。さらに分光放射率推定部22は、算出した分光放射率の自己相関行列および分光放射率推定用のシステム行列を用いて、第1推定行列(W1)を算出する(SA5)。そして分光放射率推定部22は、特定した基準画素の画素値(g1)と、算出した第1推定行列とを用いて、光源の分光放射率(Ees)を推定する(SA6)。
続いて制御部20は、撮像部10により対象物100の画像を撮像する(SB1)。そして、分光反射率推定部23は、対象物100の分光反射率を推定する(分光反射率推定工程)。具体的には分光反射率推定部23は、まず記憶部30に記憶されている分光反射率統計情報(r2)から分光反射率の自己相関行列(r2r2
t)を算出する(SB2)。次に分光反射率推定部23は、分光反射率推定用のシステム行列(H2)を算出する(SB3)。さらに分光反射率推定部23は、算出した分光反射率の自己相関行列および分光反射率推定用のシステム行列を用いて、分光反射率推定用の第2推定行列(W2)を算出する(SB4)。そして分光反射率推定部23は、対象物100の画像における任意の画素の画素値(g1)と、算出した第2推定行列とを用いて、対象物100の分光反射率を推定する(SB5)。
なお、上述したフローでは、制御部20は先に基準対象物200を撮像して、光源の分光放射率を推定した後に対象物100を撮像した。しかし制御部20は、基準対象物200および対象物100の両方を先に撮像してから光源の分光放射率および対象物100の分光反射率を推定してもよい。また制御部20は、基準対象物200および対象物100の画像を別々に撮像するのではなく、基準対象物200および対象物100の両方の画像を含む画像を撮像してもよい。
また、分光放射率推定部22は、例えば制御部20が基準対象物200を撮像する前に、分光放射率統計情報に基づく自己相関行列を算出してもよい。同様に、分光反射率推定部23は、例えば制御部20が対象物100を撮像する前、または基準対象物200を撮像する前に、分光反射率統計情報に基づく自己相関行列を算出してもよい。
また、分光放射率推定部22は、既知の行列f、r1、L、Sに基づいて、fr1LSの積として分光放射率推定用のシステム行列(H1)を予め算出しておく構成としてもよい。
〔実施例1〕
本実施形態の推定装置1による分光反射率の推定の実施例について以下に説明する。本実施例では、マクベス色票に含まれる各カラーパッチを対象物100として分光反射率の推定を行い、実測値との比較を行った。実測値の測定には、分光測色計(コニカミノルタ社製、CM-2600d)を用いた。
本実施形態の推定装置1による分光反射率の推定の実施例について以下に説明する。本実施例では、マクベス色票に含まれる各カラーパッチを対象物100として分光反射率の推定を行い、実測値との比較を行った。実測値の測定には、分光測色計(コニカミノルタ社製、CM-2600d)を用いた。
分光放射率推定部22が用いる分光放射率統計情報としては、以下の分光放射率を用いた。
・白色LED(Light Emitting Diode)の光のみの分光放射率、
・白色LEDの光とハロゲンランプの光とが所定の強度比で混合された光の分光放射率(3種類)、
・白色LEDの光と太陽光とが所定の強度比で混合された光の分光放射率(5種類)。
・白色LED(Light Emitting Diode)の光のみの分光放射率、
・白色LEDの光とハロゲンランプの光とが所定の強度比で混合された光の分光放射率(3種類)、
・白色LEDの光と太陽光とが所定の強度比で混合された光の分光放射率(5種類)。
図5の(a)は、白色LEDの光とハロゲンランプの光とが所定の強度比(3種類)で混合された光の分光放射率を示すグラフである。図5の(b)は、白色LEDの光と太陽光とが所定の強度比(5種類)で混合された光の分光放射率を示すグラフである。また、図5の(a)および(b)における分光放射率の値は、それぞれの光の種類における最大値を1とした場合における相対値である。また、図5の(a)および(b)に示すグラフにはいずれも、白色LED単独の光の分光放射率が含まれている。図5の(a)および(b)において、横軸は波長であり、縦軸は分光放射率である。
また、分光反射率推定部23が用いる分光反射率統計情報としては、マクベス色票に含まれる24のカラーパッチのそれぞれの、分光反射率の実測値を用いた。
また、本実施形態の推定装置1と比較するため、比較例の推定装置による対象物100の分光反射率の推定も行った。比較例の推定装置では分光放射率の推定を行わず、照明光が白色LEDの光のみであるとして対象物100の分光反射率の推定を行った。
(実施例1-1)
実施例1-1では、白色LEDの光とハロゲンランプの光とを強度比1:1で混合した光を照明光として撮影したマクベス色票の画像を用いて、マクベス色票の各カラーパッチの分光反射率を推定した。図6は、実施例1-1における、本実施形態の推定装置1による分光反射率の推定結果を示すグラフである。図7は、実施例1-1における、比較例の推定装置による分光反射率の推定結果を示すグラフである。
実施例1-1では、白色LEDの光とハロゲンランプの光とを強度比1:1で混合した光を照明光として撮影したマクベス色票の画像を用いて、マクベス色票の各カラーパッチの分光反射率を推定した。図6は、実施例1-1における、本実施形態の推定装置1による分光反射率の推定結果を示すグラフである。図7は、実施例1-1における、比較例の推定装置による分光反射率の推定結果を示すグラフである。
図6および図7のグラフにおいて、横軸は波長であり、縦軸は分光反射率である。また、各グラフにおいて、推定装置1または比較例の推定装置により推定された分光反射率は実線で示され、分光反射率の実測値は破線で示されている。また、各グラフの位置は、マクベス色票における各カラーパッチの位置と対応している。
上述した通り、比較例の推定装置においては、光源が白色LEDの光のみであるとして対象物の分光反射率の推定を行った。本実施例の照明光は白色LEDの光とハロゲンランプの光とが混合した光であったため、光源の分光放射率はそれぞれの光の強度比に応じて図5の(a)に示すような変化を示した。このため、図7に示すように、推定された分光反射率は実測値と大きく異なるものとなった。
一方、本実施形態の推定装置1においては、基準対象物200として白色板の画像を撮像し、光源の分光放射率の推定を行った。その結果、光源の分光放射率が白色LEDおよびハロゲンランプの光の強度比に応じて図5の(a)に示すような変化を示しても、図6に示すように、マクベス色票における各カラーパッチの分光反射率を比較例の推定装置と比較して高い精度で推定することができた。
(実施例1-2)
実施例1-2では、白色LEDの光と太陽光とを強度比1:1で混合した光を照明光として撮影したマクベス色票の画像を用いてマクベス色票の各カラーパッチの分光反射率を推定した。図8は、実施例1-2における、本実施形態の推定装置による分光反射率の推定結果を示すグラフである。図9は、実施例1-2における、比較例の推定装置による分光反射率の推定結果を示すグラフである。
実施例1-2では、白色LEDの光と太陽光とを強度比1:1で混合した光を照明光として撮影したマクベス色票の画像を用いてマクベス色票の各カラーパッチの分光反射率を推定した。図8は、実施例1-2における、本実施形態の推定装置による分光反射率の推定結果を示すグラフである。図9は、実施例1-2における、比較例の推定装置による分光反射率の推定結果を示すグラフである。
図8および図9のグラフにおいて、横軸は波長であり、縦軸は反射率である。また、各グラフにおいて、推定装置1または比較例の推定装置により推定された分光反射率は実線で示され、分光反射率の実測値は破線で示されている。また、各グラフの位置は、マクベス色票におけるカラーパッチの位置と対応している。
本実施例においても、比較例の推定装置においては、光源が白色LEDの光のみであるとして対象物の分光反射率の推定を行った。本実施例の照明光は白色LEDの光と太陽光とが混合した光であったため、光源の分光放射率はそれぞれの光の強度比に応じて図5の(b)に示すような変化を示した。このため、実施例1-1と同様、比較例の推定装置による推定結果は、図9に示すように、実測値と大きく異なるものとなった。一方、本実施形態の推定装置1による推定結果は、図8に示すように、比較例の推定装置と比較して高い精度となった。
なお、本実施例では、推定装置1において光源の分光放射率の推定に用いる分光放射率統計情報に、実際の光源(白色LEDの光とハロゲンランプの光または太陽光とが混合した光)に近い光源、または同じ光源のデータが含まれている。しかし、推定装置1は、実際の光源に近い光源、または同じ光源のデータが上記統計情報に含まれていなくても、光源の分光放射率を推定することができる。
〔実施例2〕
本実施形態の推定装置による分光反射率の推定の実施例について以下に説明する。本実施例では、白色LEDの光と太陽光とが強度比1:1で混合した光を照明光として撮像した人体の手の甲を対象物として、分光反射率の推定を行い、実測値と比較した。実測値の測定には、実施例1と同様、分光測色計(コニカミノルタ社製、CM-2600d)を用いた。
本実施形態の推定装置による分光反射率の推定の実施例について以下に説明する。本実施例では、白色LEDの光と太陽光とが強度比1:1で混合した光を照明光として撮像した人体の手の甲を対象物として、分光反射率の推定を行い、実測値と比較した。実測値の測定には、実施例1と同様、分光測色計(コニカミノルタ社製、CM-2600d)を用いた。
本実施例では、分光反射率を推定するための統計情報として、ISO(International Organization for Standardization)に登録されている分光放射率のデータベースであるSOCS(Standard Object Colour Spectra database for colour reproduction evaluation)のデータを用いた。SOCSには、女性の頬部分の素肌の、波長400nm~700nmの範囲における10nmごとの分光反射率のデータが123通り含まれている。
本実施例においても、本実施形態の推定装置1と比較するため、実施例1と同様の比較例(比較例1)の推定装置による分光反射率の推定を行った。また、本実施例においては、比較例2として、非特許文献1に記載されている、画像システム全体の分光特性が未知の場合における分光反射率の推定方法による推定を行った。
比較例2の推定方法では、以下の式(C1)および(C2)により対象物の分光反射率の推定を行う。
G=r2vt(vvt)-1 (C1)
res=Gg2 (C2)
ここで、Gは画像の出力値から対象物の分光反射率を推定するための推定行列である。rはマクベス色票に含まれる24のカラーパッチそれぞれにおける実際の分光反射率の統計情報である。vは、上記のカラーパッチそれぞれに対応する画素値の統計情報である。
res=Gg2 (C2)
ここで、Gは画像の出力値から対象物の分光反射率を推定するための推定行列である。rはマクベス色票に含まれる24のカラーパッチそれぞれにおける実際の分光反射率の統計情報である。vは、上記のカラーパッチそれぞれに対応する画素値の統計情報である。
比較例2の推定方法は、式(B2)において、システム行列H2全体が不明である場合に分光反射率を推定するための方法である。比較例2の推定方法では、マクベス色票の各パッチにおける分光反射率および画素値に基づいて推定を行う。
図10は、本実施例における分光反射率の推定結果を示すグラフである。図10の(a)は、推定装置1による推定結果を示すグラフである。図10の(b)は、比較例1の推定装置による推定結果を示すグラフである。図10の(c)は、非特許文献1の推定方法(比較例2)による推定結果を示すグラフである。
図10の(a)~(c)の各グラフにおいて、横軸は波長であり、縦軸は反射率である。また、各グラフにおいて、推定された分光反射率は実線で示され、分光反射率の実測値は破線で示されている。
比較例1の推定装置による推定結果は、図10の(b)に示すように、実施例1における比較例の推定装置による推定結果と同様、実測値と大きく異なったものとなった。一方、非特許文献1の推定方法による推定結果は、図10の(c)に示すように、比較例1の推定装置による推定結果と比較して実測値に近い結果となった。
しかし、本実施形態の推定装置1による推定結果は、図10の(a)に示すように、非特許文献1の推定方法による推定結果と比較して、さらに実測値に近い結果となった。本実施形態の推定装置1による推定結果は、特に波長400nm~430nm、530nm~580nmの範囲において、非特許文献1の推定方法による推定結果と比較して、実測値のスペクトル形状が微細な凹凸までよく再現されている。
これらの波長範囲における分光反射率を示すグラフの凹凸は、人体の素肌に透けて見える血液中のヘモグロビンによる光の吸収を反映していると考えられる。上述した通り、非特許文献1の推定方法ではマクベス色票を用いて分光反射率を推定する。しかし、マクベス色票のカラーパッチは顔料などで彩色されていてヘモグロビンを含まないため、ヘモグロビンによるこれらの波長帯域の光の吸収スペクトルの形状が反映されず、実測値との差が生じたと考えられる。
〔実施例3〕
本実施形態の推定装置1による推定方法の有効性について、シミュレーションによる検証を行った。シミュレーションでは、基準画像の画素値を、式(A1)を用いて計算により求め、この画素値から分光放射率推定部22による分光放射率の推定を行った。基準画像の画素値とは、様々な種類の光源からの光を照明光として照射された、基準対象物200としての白色板を撮像した場合に、撮像部10から得られると予想される画像の画素値である。
本実施形態の推定装置1による推定方法の有効性について、シミュレーションによる検証を行った。シミュレーションでは、基準画像の画素値を、式(A1)を用いて計算により求め、この画素値から分光放射率推定部22による分光放射率の推定を行った。基準画像の画素値とは、様々な種類の光源からの光を照明光として照射された、基準対象物200としての白色板を撮像した場合に、撮像部10から得られると予想される画像の画素値である。
図11は本実施例における推定の結果を示すグラフである。それぞれのグラフは以下の光源からの光の分光放射率の推定結果を示す。
(a):d55(補助標準イルミナントd55(色温度5503Kの平均的な昼光))
(b):d65(標準イルミナントd65(自然昼光))
(c):ill A(標準イルミナントA(白熱電球))
(d):ill C(補助標準イルミナントC(北窓から入射する昼光))
(e):LED(TOTO(株)製)
(f):蛍光灯
(g):日光(7月のある日の16時)
(h):LED(室内)
(i):蛍光灯((f)とは異なる)
図11の(a)~(i)の各グラフにおいて、横軸は波長であり、縦軸は分光反射率である。また、各グラフにおいて、推定された分光放射率は実線で示され、分光放射率の実測値は破線で示されている。
(a):d55(補助標準イルミナントd55(色温度5503Kの平均的な昼光))
(b):d65(標準イルミナントd65(自然昼光))
(c):ill A(標準イルミナントA(白熱電球))
(d):ill C(補助標準イルミナントC(北窓から入射する昼光))
(e):LED(TOTO(株)製)
(f):蛍光灯
(g):日光(7月のある日の16時)
(h):LED(室内)
(i):蛍光灯((f)とは異なる)
図11の(a)~(i)の各グラフにおいて、横軸は波長であり、縦軸は分光反射率である。また、各グラフにおいて、推定された分光放射率は実線で示され、分光放射率の実測値は破線で示されている。
シミュレーションでは、分光放射率推定部22が用いる統計情報として、上記9種類の光源からの光の、分光放射率のCIE(国際照明委員会)規格値(上記(a)~(d))および実測値(上記(e)~(i))を用いた。シミュレーションの結果、図11の(a)~(i)に示すように、多くの種類の光源からの光について、分光放射率を良好に推定することができた。ただし、(i)の蛍光灯の実測値はいくつかの波長に鋭いピークを持っており、推定された分光放射率ではこれらのピークはあまりよく再現されていない。
〔本実施形態における主な効果〕
本実施形態の推定装置1によれば、分光放射率推定部22は、対象物100の撮像時に用いられる光源の分光放射率を推定する。そして分光反射率推定部23は、分光放射率推定部22が推定した分光放射率を用いて、対象物100の分光反射率を推定する。それゆえ、対象物100の撮像に用いられる光源の分光放射率が想定される値と大幅に異なる場合、または当該分光放射率が未知の場合であっても、対象物100の分光反射率を精度良く推定することが可能となる。
本実施形態の推定装置1によれば、分光放射率推定部22は、対象物100の撮像時に用いられる光源の分光放射率を推定する。そして分光反射率推定部23は、分光放射率推定部22が推定した分光放射率を用いて、対象物100の分光反射率を推定する。それゆえ、対象物100の撮像に用いられる光源の分光放射率が想定される値と大幅に異なる場合、または当該分光放射率が未知の場合であっても、対象物100の分光反射率を精度良く推定することが可能となる。
また、本実施形態の推定装置1によれば、分光反射率推定部23は、分光放射率推定部22により推定された分光放射率とともに、撮像部10の分光特性値と、撮像部10が撮像した対象画像の画素値と、分光反射率統計情報と、を用いて対象物100の分光反射率を推定する。それゆえ、分光反射率推定部23は、対象物100の分光反射率を精度良く推定することができる。
また、本実施形態の推定装置1によれば、分光放射率推定部22は、分光放射率統計情報との二乗誤差が最小となるように、第1推定行列W1を用いて撮像時に用いられる光源の分光放射率を算出する。また、第1推定行列W1は式(A4)により算出される。この第1推定行列W1はウィナー推定において用いられるものであり、分光放射率推定部22はウィナー推定により光源の分光放射率を推定する。したがって、分光放射率推定部22は光源の分光放射率を精度良く推定することができる。
また、本実施形態の推定装置1によれば、分光反射率推定部23は、分光反射率統計情報との二乗誤差が最小となるように、第2推定行列W2を用いて対象物100の分光反射率を算出する。また、第2推定行列W2は式(B4)により算出される。第2推定行列W2は第1推定行列W1と同様、ウィナー推定において用いられるものであり、分光反射率推定部23はウィナー推定により対象物100の分光反射率を推定する。したがって、分光反射率推定部23は対象物100の分光反射率を精度良く推定することができる。
なお、特許文献1に記載されているスペクトル推定システムでは、マルチバンド画像の撮像と同時にマクベス色票を撮像し、当該マクベス色票のグレーパッチの画像のQL値と当該グレーパッチの分光反射率との関係を対応付けてルックアップテーブルを作成する。そして、上記スペクトル推定システムは、作成した1次元ルックアップテーブルを参照して、被写体(対象物)の原画像の画像データのQL値から分光反射率を得る。
しかし、特許文献1には、ルックアップテーブルを用いて分光反射率を得ることについては記載されているが、光源の分光放射率を推定可能なルックアップテーブルの作成方法については記載されていない。本実施形態の推定装置1は、まず光源の分光放射率を推定し、推定した分光放射率を用いて対象物100の分光反射率を推定する点で、特許文献1に記載されているスペクトル推定システムと相違する。
〔実施形態2〕
本開示の他の実施形態について、図12~図14に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本開示の他の実施形態について、図12~図14に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
図12は、本実施形態の推定装置2の構成を示すブロック図である。図12に示すように、推定装置2は、制御部20の代わりに制御部20Aを備える点で推定装置1と相違する。制御部20Aは、制御部20の構成に加えて、類似度算出部24および統計情報特定部25をさらに備える。
また、推定装置2において、記憶部30は、分光放射率統計情報として、複数の光源のそれぞれについての分光放射率の情報が混在する多種光源統計情報と、単一種類の光源についての分光放射率の情報のみからなる単一光源統計情報(単一分光放射率光源情報)とを記憶している。なお、多種光源統計情報は、単一光源統計情報の集合であってもよい。
例えば多種光源統計情報は、d55(色温度5503Kの平均的な昼光)、d65(自然昼光)、ill A(白熱電球)、ill C(北窓から入射する昼光)、および白色LEDのそれぞれについての分光放射率を含む。一方、単一光源統計情報は、例えば白色LEDについての単一光源統計情報、白熱電球についての単一光源統計情報といったように、光源の種類ごとに存在し、それぞれの単一光源統計情報には、対応する種類の光源の分光放射率の統計情報だけが含まれる。
また、本実施形態における記憶部30は、予め準備された、複数種類の光源のそれぞれについて測定された、各光源の典型的な分光放射率の統計情報を示す光源別分光放射率統計情報を含む典型分光放射率統計情報を記憶している。典型分光放射率統計情報は、例えば多種光源統計情報に含まれる、光源ごとの代表的な分光放射率(例えば太陽光の場合、標準光源D65の分光放射率)であってもよく、各光源の複数の分光放射率の平均であってもよい。また、光源別分光放射率統計情報には、当該統計情報が示す光源の単一光源統計情報が対応付けられている。
なお、一般的に分光放射率は光源の種類によって大きく異なるため、典型分光放射率統計情報の精度は、光源の種類を特定するという目的から、単一光源統計情報の精度より低くてもよい。例えば分光放射率統計情報が400nm~700nmの範囲に10nmごとのデータ点を有するのに対し、典型分光放射率統計情報は400nm~700nmの範囲に20nmごとのデータ点を有していてもよい。
(制御部20A)
制御部20Aにおいては、まず分光放射率推定部22は、多種光源統計情報を分光放射率統計情報として用いて光源の分光放射率を推定する。また、分光放射率推定部22は、単一光源統計情報を分光放射率統計情報として用いることにより、対象物100の撮像時に用いられる光源の分光放射率を再度推定する。ここで分光放射率推定部22が用いる単一光源統計情報は、後述する統計情報特定部25が特定した典型分光放射率統計情報に含まれる光源別分光放射率統計情報に対応するものである。分光反射率推定部23は、分光放射率推定部22が再度推定した分光放射率を用いて、対象物100の分光反射率を推定する。
制御部20Aにおいては、まず分光放射率推定部22は、多種光源統計情報を分光放射率統計情報として用いて光源の分光放射率を推定する。また、分光放射率推定部22は、単一光源統計情報を分光放射率統計情報として用いることにより、対象物100の撮像時に用いられる光源の分光放射率を再度推定する。ここで分光放射率推定部22が用いる単一光源統計情報は、後述する統計情報特定部25が特定した典型分光放射率統計情報に含まれる光源別分光放射率統計情報に対応するものである。分光反射率推定部23は、分光放射率推定部22が再度推定した分光放射率を用いて、対象物100の分光反射率を推定する。
類似度算出部24は、分光放射率推定部22が推定した分光放射率と、典型分光放射率統計情報に含まれる光源別分光放射率統計情報との類似度を算出する。具体的には類似度算出部24は、以下の式(D)により典型分光放射率統計情報に含まれる光源別分光放射率統計情報と、分光放射率推定部22が推定した分光放射率との相関係数Rを算出する。
図13の(a)は、複数の光源の光源別分光放射率統計情報を含む典型分光放射率統計情報の例を示すグラフである。図13の(b)は、分光放射率推定部22が推定した分光放射率を示すグラフである。図13の(a)および(b)において、横軸は波長、縦軸は分光放射率である。なお、図13の(a)および(b)における分光放射率の値は、それぞれの光の種類における最大値を1とした場合における相対値である。
図13の(a)に示す典型分光放射率統計情報には、以下の光源の光源別分光放射率統計情報が含まれている。
・d55
・d65
・ill A
・ill C
・白色LED
なお、類似度算出部24は、図13の(a)に示した種類の光源の全てについて推定した分光放射率との相関係数を算出する必要はない。また類似度算出部24は、図13の(a)に示した種類の光源以外の光源について、推定した分光放射率との相関係数を算出してもよい。
・d55
・d65
・ill A
・ill C
・白色LED
なお、類似度算出部24は、図13の(a)に示した種類の光源の全てについて推定した分光放射率との相関係数を算出する必要はない。また類似度算出部24は、図13の(a)に示した種類の光源以外の光源について、推定した分光放射率との相関係数を算出してもよい。
図13の(c)は、図13の(a)に示したそれぞれの光源の分光放射率と、図13の(b)に示した、推定した分光放射率の例との相関係数を示す表である。図13の(c)に示すように、この例では、推定した分光放射率との相関係数が最も大きい、すなわち照明光に最も近い光源はd55である。
統計情報特定部25は、類似度算出部24が算出した類似度のうち、最も高い類似度を示す光源別分光放射率統計情報を特定する。上述した通り、図13の(c)に示す例ではd55の相関係数が最も高いため、統計情報特定部25は、d55の光源別分光放射率統計情報を特定する。
なお、統計情報特定部25は、分光放射率推定部22における分光放射率の推定に用いる単一光源統計情報を、必ずしも1つだけ特定する必要はない。例えば統計情報特定部25は、推定した分光放射率との相関係数が大きい順に所定の数の光源のそれぞれに対応する単一光源統計情報を特定してもよい。また、例えば統計情報特定部25は、推定した分光放射率との相関係数が所定の閾値以上である光源に対応する単一光源統計情報を全て特定してもよい。また、例えば統計情報特定部25は、推定した分光放射率との相関係数の最大値との差が所定の閾値以内である光源に対応する単一光源統計情報をすべて特定してもよい。
〔推定処理の流れ〕
図14は、推定装置2における処理の流れを示すフローチャートである。図14に示す処理のうち、図4に示すフローチャートと共通するステップについては説明を省略する。
図14は、推定装置2における処理の流れを示すフローチャートである。図14に示す処理のうち、図4に示すフローチャートと共通するステップについては説明を省略する。
推定装置2においては、基準画素特定部21が基準画素を特定した(SA2)後、分光放射率推定部22は、まず多種光源統計情報の自己相関行列を算出し(SC1)、光源を推定するためのシステム行列を算出し(SC2)、推定行列を算出し(SC3)、分光放射率を推定する(SC4)。
その後、類似度算出部24は、分光放射率推定部22が推定した分光放射率と記憶部30に記憶されている典型分光放射率統計情報に含まれる光源別光放射率統計情報との類似度を算出する(SC5)。そして、統計情報特定部25は、類似度算出部24が算出した類似度に基づいて、最も類似度が高い光源別分光放射率統計情報を分光放射率推定部22において用いる分光放射率統計情報として特定する(SC6)。
その後、分光放射率推定部22は、統計情報特定部25により特定された光源別分光放射率統計情報に対応する光源の単一光源統計情報を分光放射率統計情報として用いて自己相関行列を算出し(SC7)、分光放射率の推定に用いる第1推定行列を再度算出する(SC8)。そして、分光放射率推定部22は、光源の分光放射率を再度推定する(SC9)。
〔本実施形態における主な効果〕
ウィナー推定の原理上、推定に用いる統計情報が実際の光源と類似しない光源についての情報を含む場合と、実際の光源と類似した光源についての情報だけを含む場合とを比較すると、後者の場合の方が分光放射率の推定の精度が高くなる。例えば光源が白色LEDであれば、いろいろな白色LEDの分光放射率だけについての統計情報を推定に用いた方が、他種の光源の分光放射率を含む統計情報を推定に用いるより精度が高くなる。同様に、例えば光源が白熱電球であれば、いろいろな白熱電球の分光放射率だけについての統計情報を推定に用いた方が、他種の光源の分光放射率を含む統計情報を推定に用いるより精度が高くなる。
ウィナー推定の原理上、推定に用いる統計情報が実際の光源と類似しない光源についての情報を含む場合と、実際の光源と類似した光源についての情報だけを含む場合とを比較すると、後者の場合の方が分光放射率の推定の精度が高くなる。例えば光源が白色LEDであれば、いろいろな白色LEDの分光放射率だけについての統計情報を推定に用いた方が、他種の光源の分光放射率を含む統計情報を推定に用いるより精度が高くなる。同様に、例えば光源が白熱電球であれば、いろいろな白熱電球の分光放射率だけについての統計情報を推定に用いた方が、他種の光源の分光放射率を含む統計情報を推定に用いるより精度が高くなる。
しかし、対象物100の撮像時における光源は画像が撮像される環境によって異なり、また推定装置の使用者が意図しない光が混在する可能性がある。このため、光源の種類を予め決定しておくことは困難である。
本実施形態の推定装置2によれば、統計情報特定部25は、撮像時に用いられる光源の種類が不明な状態において推定した分光放射率との類似度が最も高い光源別分光放射率統計情報を特定する。そして分光放射率推定部22は、特定された光源別分光放射率統計情報に対応する光源の単一光源統計情報を用いて分光放射率を再度推定し、推定された分光放射率を用いて、撮像装置が撮像した対象物の分光放射率を分光反射率推定部23が推定する。
すなわち、分光放射率推定部22は、撮像時に用いられる光源、または当該光源と特性が近い光源の分光放射率の統計情報を用いて光源の分光放射率を推定することができる。換言すれば分光放射率推定部22は、撮像時に用いられる光源を特定した上で、当該光源の分光放射率を推定することができる。そして分光反射率推定部23は、このように推定された分光放射率を用いて対象物100の分光反射率を推定するので、より精度良く上記分光反射率の推定を行うことができる。
〔実施形態3:ソフトウェアによる実現例〕
推定装置1、2の制御ブロック(特に基準画素特定部21、分光放射率推定部22、分光反射率推定部23、類似度算出部24、および統計情報特定部25)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
推定装置1、2の制御ブロック(特に基準画素特定部21、分光放射率推定部22、分光反射率推定部23、類似度算出部24、および統計情報特定部25)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、推定装置1、2は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本開示の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本開示の態様1に係る推定装置(1、2)は、撮像装置(撮像部10)の撮像対象となる対象物(100)の分光反射率を推定する推定装置であって、(1)上記撮像装置の分光特性を示す既知の分光特性値と、(2)上記撮像装置が撮像した、分光反射率が既知である基準対象物(200)を示す基準対象物画像の画素値と、(3)上記基準対象物の分光反射率と、(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部(22)と、上記分光放射率推定部が推定した分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定部(23)と、を備える。
本開示の態様1に係る推定装置(1、2)は、撮像装置(撮像部10)の撮像対象となる対象物(100)の分光反射率を推定する推定装置であって、(1)上記撮像装置の分光特性を示す既知の分光特性値と、(2)上記撮像装置が撮像した、分光反射率が既知である基準対象物(200)を示す基準対象物画像の画素値と、(3)上記基準対象物の分光反射率と、(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部(22)と、上記分光放射率推定部が推定した分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定部(23)と、を備える。
一般に、撮像装置が撮像した対象物の分光反射率を推定する場合、その推定には、当該撮像に用いられる光源の分光放射率が用いられる。そのため、当該分光放射率が想定される値と大幅に異なる場合、または当該分光放射率が未知の場合には、推定される分光反射率を精度良く推定できない可能性がある。
上記構成によれば、上記(1)~(4)に示す値を用いて、対象物の撮像時に用いられる光源の分光放射率を推定する。そして、推定された分光放射率を用いて、撮像装置が撮像した対象物の分光反射率を推定する。それゆえ、撮像に用いられる光源の分光放射率が想定される値と大幅に異なる場合、または当該分光放射率が未知の場合であっても、上記対象物の分光反射率を精度良く推定することが可能となる。
さらに、本開示の態様2に係る推定装置では、上記態様1において、上記分光反射率推定部は、推定された上記分光放射率に加え、(1)上記既知の分光特性値と、(2)上記撮像装置が撮像した対象物を示す対象物画像の画素値と、(3)予め準備された、所定の環境下において測定された上記対象物の分光反射率の統計情報を示す分光反射率統計情報と、を用いて、上記対象物の分光反射率を推定することが好ましい。
上記構成によれば、推定された分光放射率とともに、上記(1)~(3)に示す値を用いて、上記対象物の分光反射率が推定される。それゆえ、上記対象物の分光反射率を精度良く推定することができる。
さらに、本開示の態様3に係る推定装置では、上記態様1または2において、上記基準対象物画像の画素値をg1、第1推定行列W1、としたとき、上記分光放射率Eesを、次式、Ees=W1g1により推定するものであり、上記第1推定行列は、推定する上記分光放射率と上記分光放射率統計情報との二乗誤差が最小となるように、上記既知の分光特性値および上記基準対象物の分光反射率を用いて算出されることが好ましい。
上記構成によれば、撮像時に用いられる光源の分光放射率は、分光放射率統計情報との二乗誤差が最小となるように、上記第1推定行列を用いて算出される。それゆえ、撮像時の光源の状態を考慮して上記分光放射率を推定することができる。
さらに、本開示の態様4に係る推定装置では、上記態様3において、上記分光放射率推定部は、上記既知の分光特性値と上記基準対象物の分光反射率とを乗じた値をH1、上記分光放射率統計情報をE1、上記基準対象物画像の画素値をg1、上記H1の転置行列をH1
t、上記E1の転置行列をE1
t、としたとき、上記第1推定行列W1を、次式、W1=E1E1
tH1
t(H1
tE1E1
tH1
t)-1により算出することが好ましい。
上記構成によれば、上記第1推定行列は、二乗誤差を用いて所定の値を推定する手法のひとつであるウィナー推定において用いられるものである。すなわち、分光放射率の推定は、ウィナー推定を用いて行われる。それゆえ、撮像時に用いられる光源の分光放射率を精度良く推定することができる。
さらに、本開示の態様5に係る推定装置では、上記態様2において、上記分光反射率推定部は、上記対象物画像の画素値をg2、第2推定行列W2、としたとき、上記分光反射率resを、次式、res=W2g2により推定するものであり、上記第2推定行列は、推定する上記分光反射率と上記分光反射率統計情報との二乗誤差が最小となるように、上記既知の分光特性値および上記分光放射率推定部が推定した分光放射率を用いて算出されることが好ましい。
上記構成によれば、撮像装置が撮像した対象物の分光反射率は、分光反射率統計情報との二乗誤差が最小となるように、上記第2推定行列を用いて算出される。それゆえ、上記対象物の分光反射率を精度良く推定することができる。
さらに、本開示の態様6に係る推定装置では、上記態様5において、上記分光反射率推定部は、上記既知の分光特性値と上記分光放射率推定部によって推定された上記分光放射率とを乗じた値をH2、上記分光反射率統計情報をr2、上記H2の転置行列をH2
t、上記r2の転置行列をr2
t、としたとき、上記第2推定行列W2を、次式、W2=r2r2
tH2
t(H2
tr2r2
tH2
t)-1により算出することが好ましい。
上記構成によれば、上記第2推定行列は、上記ウィナー推定において用いられるものである。すなわち、分光反射率の推定は、ウィナー推定を用いて行われる。それゆえ、上記対象物の分光放射率を精度良く推定することができる。
さらに、本開示の態様7に係る推定装置では、上記態様1から6のいずれかにおいて、(1)上記分光反射率推定部が推定した上記分光放射率と、(2)予め準備された、複数種類の光源のそれぞれについて測定された、各光源の分光放射率の統計情報を示す光源別分光放射率統計情報と、の類似度を算出する類似度算出部(24)と、上記類似度算出部が算出した類似度のうち、最も高い類似度を示す光源別分光放射率統計情報を特定する統計情報特定部(25)と、を備え、上記分光放射率推定部は、上記統計情報特定部が特定した光源別分光放射率統計情報に対応する光源の分光放射率の統計情報である単一分光放射率光源情報を、上記分光放射率統計情報として用いることにより、上記対象物の撮像時に用いられる光源の分光放射率を再度推定し、上記分光反射率推定部は、上記分光放射率推定部が再度推定した分光放射率を用いて、上記対象物の分光反射率を推定することが好ましい。
上記構成によれば、撮像時に用いられる光源の種類が不明な状態において推定した分光放射率との類似度が最も高い光源別分光放射率統計情報を特定する。そして、特定された光源別分光放射率統計情報に対応する単一分光放射率光源情報を用いて分光放射率を再度推定し、推定された分光放射率を用いて、撮像装置が撮像した対象物の分光放射率を推定する。
それゆえ、上記分光放射率を再度推定する場合に、撮像時に用いられる光源、または当該光源と特性が近い光源の分光放射率の統計情報を用いることができる。換言すれば、撮像時に用いられる光源を特定した上で、当該光源の分光放射率を推定することができる。そして、このように推定された分光放射率を用いて、撮像装置が撮像した対象物の分光反射率が推定されるので、より精度良く上記分光反射率の推定を行うことができる。
さらに、本開示の態様8に係る推定装置の制御方法は、撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置の制御方法であって、(1)上記撮像装置の分光特性を示す既知の分光特性値と、(2)上記撮像装置が撮像した分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、(3)上記基準対象物の分光反射率と、(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定工程と、上記分光放射率推定工程において推定された分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定工程と、を含む。
上記方法によれば、上記態様1と同様の効果を奏する。
本開示の各態様に係る推定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記推定装置が備える各部(ソフトウェア要素)として動作させることにより上記推定装置をコンピュータにて実現させる推定装置の推定プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の一態様の範疇に入る。
〔付記事項〕
本開示の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
(関連出願の相互参照)
本出願は、2016年10月5日に出願された日本国特許出願:特願2016-197469に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
本開示の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
(関連出願の相互参照)
本出願は、2016年10月5日に出願された日本国特許出願:特願2016-197469に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
1、2 推定装置
10 撮像部(撮像装置)
22 分光放射率推定部
23 分光反射率推定部
24 類似度算出部
25 統計情報特定部
100 対象物
200 基準対象物
10 撮像部(撮像装置)
22 分光放射率推定部
23 分光反射率推定部
24 類似度算出部
25 統計情報特定部
100 対象物
200 基準対象物
Claims (8)
- 撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置であって、
(1)上記撮像装置の分光特性を示す既知の分光特性値と、(2)上記撮像装置が撮像した、分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、(3)上記基準対象物の分光反射率と、(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部と、
上記分光放射率推定部が推定した分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定部と、を備えることを特徴とする推定装置。 - 上記分光反射率推定部は、推定された上記分光放射率に加え、(1)上記既知の分光特性値と、(2)上記撮像装置が撮像した対象物を示す対象物画像の画素値と、(3)予め準備された、所定の環境下において測定された上記対象物の分光反射率の統計情報を示す分光反射率統計情報と、を用いて、上記対象物の分光反射率を推定することを特徴とする請求項1に記載の推定装置。
- 上記分光放射率推定部は、
上記基準対象物画像の画素値をg1、
第1推定行列をW1、としたとき、
上記分光放射率Eesを、次式、
Ees=W1g1
により推定するものであり、
上記第1推定行列は、推定する上記分光放射率と上記分光放射率統計情報との二乗誤差が最小となるように、上記既知の分光特性値および上記基準対象物の分光反射率を用いて算出されることを特徴とする請求項1または2に記載の推定装置。 - 上記分光放射率推定部は、
上記既知の分光特性値と上記基準対象物の分光反射率とを乗じた値をH1、
上記分光放射率統計情報をE1、
上記基準対象物画像の画素値をg1、
上記H1の転置行列をH1 t、
上記E1の転置行列をE1 t、としたとき、
上記第1推定行列W1を、次式、
W1=E1E1 tH1 t(H1 tE1E1 tH1 t)-1
により算出することを特徴とする請求項3に記載の推定装置。 - 上記分光反射率推定部は、
上記対象物画像の画素値をg2、
第2推定行列をW2、としたとき、
上記分光反射率resを、次式、
res=W2g2
により推定するものであり、
上記第2推定行列は、推定する上記分光反射率と上記分光反射率統計情報との二乗誤差が最小となるように、上記既知の分光特性値および上記分光放射率推定部が推定した分光放射率を用いて算出されることを特徴とする請求項2に記載の推定装置。 - 上記分光反射率推定部は、
上記既知の分光特性値と上記分光放射率推定部によって推定された上記分光放射率とを乗じた値をH2、
上記分光反射率統計情報をr2、
上記H2の転置行列をH2 t、
上記r2の転置行列をr2 t、としたとき、
上記第2推定行列W2を、次式、
W2=r2r2 tH2 t(H2 tr2r2 tH2 t)-1
により算出することを特徴とする請求項5に記載の推定装置。 - (1)上記分光放射率推定部が推定した上記分光放射率と、(2)予め準備された、複数種類の光源のそれぞれについて測定された、各光源の分光放射率の統計情報を示す光源別分光放射率統計情報と、の類似度を算出する類似度算出部と、
上記類似度算出部が算出した類似度のうち、最も高い類似度を示す光源別分光放射率統計情報を特定する統計情報特定部と、を備え、
上記分光放射率推定部は、上記統計情報特定部が特定した光源別分光放射率統計情報に対応する光源の分光放射率の統計情報である単一分光放射率光源情報を、上記分光放射率統計情報として用いることにより、上記対象物の撮像時に用いられる光源の分光放射率を再度推定し、
上記分光反射率推定部は、上記分光放射率推定部が再度推定した分光放射率を用いて、上記対象物の分光反射率を推定することを特徴とする請求項1から6のいずれか1項に記載の推定装置。 - 撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置の制御方法であって、
(1)上記撮像装置の分光特性を示す既知の分光特性値と、(2)上記撮像装置が撮像した分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、(3)上記基準対象物の分光反射率と、(4)予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定工程と、
上記分光放射率推定工程において推定された分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定工程と、を含むことを特徴とする推定装置の制御方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-197469 | 2016-10-05 | ||
JP2016197469 | 2016-10-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018066212A1 true WO2018066212A1 (ja) | 2018-04-12 |
Family
ID=61830836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/027146 WO2018066212A1 (ja) | 2016-10-05 | 2017-07-27 | 推定装置、および推定装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018066212A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119877A (ja) * | 2019-01-23 | 2020-08-06 | 東芝ライテック株式会社 | 照明装置および照明システム |
WO2021014869A1 (ja) * | 2019-07-25 | 2021-01-28 | パナソニックIpマネジメント株式会社 | 画像データ処理方法、画像データ処理装置、および画像データ処理システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009182845A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像処理装置および画像処理方法 |
JP2012078151A (ja) * | 2010-09-30 | 2012-04-19 | Olympus Corp | 検査装置 |
JP2013033006A (ja) * | 2011-08-03 | 2013-02-14 | Toppan Printing Co Ltd | 分光情報取得装置、分光情報取得方法及び分光情報取得用プログラム |
US20130293702A1 (en) * | 2010-11-01 | 2013-11-07 | The Hong Kong Research Institute Of Textiles And Apparel Limited | Multispectral imaging color measurement system and method for processing imaging signals thereof |
-
2017
- 2017-07-27 WO PCT/JP2017/027146 patent/WO2018066212A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009182845A (ja) * | 2008-01-31 | 2009-08-13 | Sharp Corp | 画像処理装置および画像処理方法 |
JP2012078151A (ja) * | 2010-09-30 | 2012-04-19 | Olympus Corp | 検査装置 |
US20130293702A1 (en) * | 2010-11-01 | 2013-11-07 | The Hong Kong Research Institute Of Textiles And Apparel Limited | Multispectral imaging color measurement system and method for processing imaging signals thereof |
JP2013033006A (ja) * | 2011-08-03 | 2013-02-14 | Toppan Printing Co Ltd | 分光情報取得装置、分光情報取得方法及び分光情報取得用プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119877A (ja) * | 2019-01-23 | 2020-08-06 | 東芝ライテック株式会社 | 照明装置および照明システム |
JP7326772B2 (ja) | 2019-01-23 | 2023-08-16 | 東芝ライテック株式会社 | 照明装置 |
WO2021014869A1 (ja) * | 2019-07-25 | 2021-01-28 | パナソニックIpマネジメント株式会社 | 画像データ処理方法、画像データ処理装置、および画像データ処理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10990793B2 (en) | Techniques for creating characterization matrices for reflectance, illuminance, or sensor response | |
CN104897374B (zh) | 一种相机模组的颜色校正方法 | |
JP5174307B2 (ja) | カラー信号処理 | |
US8462227B2 (en) | Digital camera module white balance calibration method and apparatus using only single illumination source data | |
US9270866B2 (en) | Apparatus and method for automated self-training of white balance by electronic cameras | |
JP2012168181A (ja) | 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置 | |
Jiang et al. | Recovering spectral reflectance under commonly available lighting conditions | |
US11640101B2 (en) | Determining spectral properties of an object through sequential illumination with different colors | |
JP2010127739A (ja) | 分光感度特性測定装置および分光感度特性測定方法 | |
WO2018066212A1 (ja) | 推定装置、および推定装置の制御方法 | |
Wannous et al. | Improving color correction across camera and illumination changes by contextual sample selection | |
Shrestha et al. | LED based multispectral film scanner for accurate color imaging | |
JP2020012668A (ja) | 評価装置、計測装置、評価方法および評価プログラム | |
JP2010514046A (ja) | デジタル画像の取得のためのカラーシーケンシャルフラッシュ | |
JP2007271567A (ja) | カラーフィルタの色差安定波長特定方法及びプログラム | |
JP4174707B2 (ja) | 分光測定システム、色再現システム | |
Li et al. | Multi-spectral imaging using LED illuminations | |
JP6754674B2 (ja) | 炭化タンタルの評価方法 | |
Alvarez‐Cortes et al. | Practical Low‐Cost Recovery of Spectral Power Distributions | |
Brydegaard et al. | Chemometric approach to chromatic spatial variance. Case study: patchiness of the Skyros wall lizard | |
Párraga et al. | Accurate mapping of natural scenes radiance to cone activation space: a new image dataset | |
Berns et al. | Modifications of a sinarback 54 digital camera for spectral and high-accuracy colorimetric imaging: simulations and experiments | |
WO2017026296A1 (ja) | 試料測定装置 | |
Seo et al. | Better understanding of digital photography for skin color measurement: With a special emphasis on light characteristics | |
CN109819150B (zh) | 一种多通道图像采集装置以及采集多通道图像的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17858052 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17858052 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |