WO2018066212A1 - 推定装置、および推定装置の制御方法 - Google Patents

推定装置、および推定装置の制御方法 Download PDF

Info

Publication number
WO2018066212A1
WO2018066212A1 PCT/JP2017/027146 JP2017027146W WO2018066212A1 WO 2018066212 A1 WO2018066212 A1 WO 2018066212A1 JP 2017027146 W JP2017027146 W JP 2017027146W WO 2018066212 A1 WO2018066212 A1 WO 2018066212A1
Authority
WO
WIPO (PCT)
Prior art keywords
spectral
estimation
emissivity
spectral emissivity
statistical information
Prior art date
Application number
PCT/JP2017/027146
Other languages
English (en)
French (fr)
Inventor
潤哉 大西
貴史 布川
奥村　哲也
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2018066212A1 publication Critical patent/WO2018066212A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration

Definitions

  • the following disclosure relates to an estimation device that estimates the spectral reflectance of an object to be imaged by the imaging device.
  • Patent Documents 1 to 3 Conventionally, in order to accurately reproduce the color of an imaging target in a captured image, a technique for estimating a spectral reflectance indicating a physical property unique to the object surface of the imaging target has been developed. Such techniques are disclosed in, for example, Patent Documents 1 to 3 and Non-Patent Document 1.
  • QL value image data value
  • the apparatus disclosed in Patent Document 2 captures an imaging target through six or more types of color filters having predetermined spectral transmittance characteristics, acquires a multiband image, and estimates the spectral reflectance of the imaging target. .
  • each pixel constituting the captured target specimen image is classified into a plurality of categories corresponding to the main elements of cell nucleus, cytoplasm, red blood cell, and background. Then, the spectral transmittance of the target sample point corresponding to the predetermined pixel constituting the captured target sample image is estimated by Wiener estimation. Specifically, the spectral transmittance of the corresponding target sample point is estimated using the Wiener estimation matrix for the class to which the predetermined pixel belongs.
  • Non-Patent Document 1 when spectral characteristics of an image system are unknown, spectral reflectance is estimated using Wiener estimation by photographing a color chart or paint using an image system used for photographing. Is disclosed. Specifically, the spectral reflectance (the spectral radiance of the object) is obtained from the measured value of the spectral reflectance and the output value of the camera.
  • the spectral reflectance of the imaging target is estimated using a camera system in which the spectral transmittance of the color filter, the spectral emissivity of the illumination light (light source), and the spectral sensitivity of the imaging device (camera) are known. And when the spectral emissivity of illumination light is unknown, or when the spectral emissivity of illumination light deviates significantly from the value which was assumed, the estimation precision of the spectral reflectance of an imaging target will fall.
  • the spectral reflectance of the imaging target is estimated using at least a known value (measured value) as the spectral emissivity of illumination light. Therefore, in this technique, when the spectral emissivity is unexpected, the estimation accuracy may be reduced.
  • Non-Patent Document 1 Although there is disclosure about estimation of spectral reflectance of an imaging target when the spectral characteristics of the image system are unknown, the spectral emissivity of illumination light is unknown or assumed value There is no disclosure of the estimation when it deviates significantly from the above.
  • the following disclosure has been made in view of the above-described problems, and an object thereof is to realize an estimation apparatus capable of accurately estimating the spectral reflectance of an imaging target.
  • an estimation apparatus that estimates a spectral reflectance of an object that is an imaging target of an imaging apparatus, and is (1) a spectrum of the imaging apparatus.
  • a known spectral characteristic value indicating a characteristic
  • (2) a pixel value of a reference object image indicating a reference object having a known spectral reflectance captured by the imaging device
  • (3) a spectrum of the reference object Spectral radiation of a light source used at the time of imaging of the object using reflectance and (4) spectral emissivity statistical information indicating statistical emissivity statistical information measured for a plurality of light sources prepared in advance.
  • a spectral emissivity estimation unit that estimates a rate, and a spectral reflectivity estimation unit that estimates a spectral reflectivity of an object imaged by the imaging device using the spectral emissivity estimated by the spectral emissivity estimation unit. It is the composition provided.
  • a control method for an estimation device is a control method for an estimation device that estimates a spectral reflectance of an object to be imaged by an imaging device, (1) a known spectral characteristic value indicating the spectral characteristic of the imaging device; (2) a pixel value of a reference object image indicating a reference object having a known spectral reflectance imaged by the imaging device; 3) Spectral reflectance of the reference object and (4) Spectral emissivity statistical information indicating statistical information of spectral emissivity measured for a plurality of light sources prepared in advance.
  • Spectral emissivity estimation step for estimating the spectral emissivity of the light source used at the time of imaging and the spectral emissivity estimated in the spectral emissivity estimation step are used to estimate the spectral reflectance of the object imaged by the imaging device Spectral reflectance estimation step It is the law.
  • FIG. 1 It is a block diagram which shows the structure of the estimation apparatus of Embodiment 1. It is a figure which shows each matrix of Formula (A1). It is a figure which shows each matrix of Formula (B1). 4 is a flowchart illustrating a flow of processing in the estimation apparatus according to the first embodiment.
  • (A) is a graph which shows the spectral emissivity of the light with which the light of white LED and the light of the halogen lamp were mixed by predetermined intensity ratio
  • (b) is the light of white LED and sunlight predetermined. It is a graph which shows the spectral emissivity of the light mixed by intensity ratio.
  • 10 is a graph showing the estimation result of spectral reflectance by the estimation apparatus of Embodiment 1 in Example 1-1.
  • FIG. 10 is a graph showing the estimation result of spectral reflectance by the estimation device of the comparative example in Example 1-1.
  • 6 is a graph showing a result of spectral reflectance estimation performed by the estimation apparatus according to Embodiment 1 in Example 1-2. It is a graph which shows the estimation result of the spectral reflectance by the estimation apparatus of the comparative example in Example 1-2. It is a graph which shows the estimation result of the spectral reflectance in Example 2, Comprising: (a) is a graph which shows the estimation result by the estimation apparatus of Embodiment 1, (b) is the estimation result by the estimation apparatus of a comparative example. (C) is a graph which shows the estimation result by the estimation method of a nonpatent literature 1.
  • FIG. 10 is a graph showing the estimation result of spectral reflectance by the estimation device of the comparative example in Example 1-1.
  • 6 is a graph showing a result of spectral reflectance estimation performed by the estimation apparatus according to Embodiment 1 in Example 1-2. It
  • FIG. 6 is a flowchart illustrating a flow of processing in the estimation apparatus according to the second embodiment.
  • Embodiment 1 Hereinafter, embodiments of the present disclosure will be described with reference to FIGS.
  • FIG. 1 is a block diagram showing the configuration of the estimation apparatus 1 according to this embodiment.
  • the estimation device 1 includes an imaging unit 10 (imaging device), a control unit 20, and a storage unit 30.
  • the estimation device 1 is an estimation device that estimates the spectral reflectance of the target object 100 that is an imaging target of the imaging unit 10.
  • the imaging unit 10 captures a multiband image of the target object 100 and the reference target object 200 that are irradiated with predetermined illumination light.
  • the image showing the object 100 and the image showing the reference object 200 are referred to as a target image (object image) and a reference image (reference object image), respectively.
  • the imaging unit 10 may be a solid-state imaging device including, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) as an imaging element (image sensor).
  • the imaging unit 10 of this embodiment includes any one of four types of optical filters having different transmission wavelengths for each pixel.
  • the four types of optical filters each transmit one of R, G, GB, and B.
  • the optical filter included in the imaging unit 10 is not limited to the four types described above, and may be, for example, three types of R, G, and B.
  • the imaging unit 10 of the present embodiment includes a lens (not shown). Furthermore, the imaging unit 10 of the present embodiment includes a filter (not shown) that transmits light in the wavelength range of 400 nm to 700 nm and cuts light in the other wavelength range on the lens side of the imaging element.
  • the reference object 200 is an object whose spectral reflectance is known.
  • the reference object 200 is a white plate.
  • the reference object 200 may have a disk shape in which a hole in which the object 100 can be arranged is formed in the center.
  • the target image and the reference image can be obtained simultaneously by capturing an image of the target object 100 arranged in the center of the reference target object 200 (that is, surrounded by the reference target object 200).
  • the reference object 200 is not limited to a white plate as long as it is an object having a known spectral reflectance.
  • the control unit 20 estimates the spectral emissivity of the light source and the spectral reflectance of the object 100 based on the reference image and the target image captured by the imaging unit 10. A specific configuration of the control unit 20 will be described later.
  • the storage unit 30 stores data used for estimation in the control unit 20.
  • the storage unit 30 stores an expression used for estimation in the control unit 20.
  • the storage unit 30 stores statistical information used for estimation in the control unit 20.
  • estimation device may be configured to acquire an image from an imaging device provided outside without including the imaging unit 10.
  • control unit 20 includes a reference pixel specifying unit 21, a spectral emissivity estimation unit 22, and a spectral reflectance estimation unit 23.
  • the reference pixel specifying unit 21 specifies a reference pixel that is a pixel from which a pixel value used for spectral emissivity estimation is acquired among pixels included in the reference image. In the present embodiment, since the imaging unit 10 captures R, G, GB, and B four-band images, the reference pixel specifying unit 21 specifies a reference pixel for each of the four-band images.
  • the reference pixel specifying unit 21 detects an image of an object close to the shape and color of the reference object 200 stored in advance in the storage unit 30 from the reference image, for example, by image recognition. Then, the pixel having the pixel value closest to the pixel value corresponding to white in the detected image area is specified as the reference pixel.
  • the reference pixel specifying unit 21 may specify a pixel at an arbitrary position (for example, the center of the image) in the image of the reference object 200 included in the reference image as the reference pixel.
  • the spectral emissivity estimation unit 22 estimates the spectral emissivity of the light source using the following (1) to (4).
  • (1) A known spectral characteristic value indicating the spectral characteristic of the imaging unit 10;
  • (2) A pixel value of a reference image showing a reference object 200 having a known spectral reflectance, which is imaged by the imaging unit 10;
  • Spectral reflectance of the reference object 200 (4)
  • Spectral emissivity statistical information indicating statistical emissivity statistical information measured for a plurality of light sources prepared in advance.
  • the following formula (A1) is established between a matrix indicating the luminance value of the pixel and a matrix indicating the spectral emissivity of the light source.
  • FIG. 2 is a diagram illustrating each matrix of the formula (A1).
  • the matrix g 1 is the pixel value of the reference image. Specifically, the matrix g 1, the luminance value of each band of the reference pixels reference pixel specifying unit 21 has identified (pixel value) is shown for each row, a matrix of 4 rows ⁇ 1 column. In this embodiment, the matrix g 1 pixel values are arranged R, G, GB, in the order of B.
  • the matrix f is a matrix indicating the spectral transmittance of the optical filter provided in the imaging unit 10.
  • the rows correspond to R, G, GB, and B filters, and the columns are spectral transmittances corresponding to the wavelengths of 10 nm in the wavelength range of 400 nm to 700 nm. It is a 31-column matrix.
  • the matrix L is a matrix indicating the spectral transmittance of the lens provided in the imaging unit 10.
  • the matrix L of the present embodiment is a 31 ⁇ 31 diagonal matrix in which the diagonal elements are the spectral transmittances of the lens every 10 nm and the other elements are 0.
  • the matrix S is a matrix indicating the spectral sensitivity of the image sensor provided in the imaging unit 10.
  • the matrix S of the present embodiment is a 31 ⁇ 31 diagonal matrix in which the diagonal elements are the spectral sensitivities for each 10 nm of the image sensor and the other elements are zero.
  • the matrix r 1 is a matrix indicating the spectral reflectance of the reference object 200.
  • the matrix r 1 is a 31 ⁇ 31 diagonal matrix in which diagonal elements are spectral reflectances corresponding to the above-described wavelengths of 10 nm of the reference object 200 and other elements are 0.
  • Matrix E is a matrix indicating the spectral emissivity of the light source.
  • the matrix E of the present embodiment is a matrix of 31 rows ⁇ 1 column in which the spectral emissivity of the light source for every 10 nm in the wavelength range of 400 nm to 700 nm is shown for each row.
  • the matrices f, L, and S are known spectral characteristic values that indicate the spectral characteristics of the imaging unit 10.
  • the product of fr 1 LS is the system matrix H 1
  • the spectral emissivity E of the light source is expressed by the following equation (A2).
  • H 1 ⁇ 1 is an inverse matrix of H 1 .
  • the spectral emissivity estimation unit 22 estimates the spectral emissivity E es indicating the estimated value of the spectral emissivity E by the following equation (A3) by Wiener estimation.
  • the first estimation matrix W 1 includes the spectral characteristic value of the imaging unit 10 and the spectral reflectance of the reference object 200 so that the square error between the estimated spectral emissivity E es and the spectral emissivity statistical information is minimized. It is calculated using the system matrix H 1 containing information. Specifically, the spectral emissivity estimation unit 22 calculates W 1 by the following equation (A4).
  • E 1 E 1 E 1 t H 1 t (H 1 t E 1 E 1 t H 1 t ) ⁇ 1 (A4)
  • E 1 is a matrix showing the spectral emissivity of statistics.
  • statistics E a for any one light source shown in the wavelength range of 400 nm ⁇ 700 nm, the spectral emissivity at a point for each wavelength 10 nm. Therefore, statistics E a for any one light source, a set of 31 numbers for the spectral emissivity of the light source.
  • the statistics E a is, LED, may be a statistical information prepared for each type of light source such as a halogen lamp, type the same (eg: LED) statistics for is a characteristic different sources It may be information.
  • E 1 is obtained by arranging the spectral emissivity for each wavelength included in the statistical information E a of each prepared light source in the column direction, as shown in the following formula, arranged in the row direction for each light source. It is. Therefore E 1, in the above example, 31 rows ⁇ (number of statistics E a) is a matrix of columns.
  • the above formula shows a case where n pieces of statistical information E a of E a1 to E an (n is an integer of 1 or more) are prepared.
  • E 1 t and H 1 t are transposed matrices of E 1 and H 1 , respectively.
  • E 1 E 1 t is an autocorrelation matrix of E 1 .
  • W 1 can be obtained using the following equation (A5) instead of equation (A4).
  • n 1 is a matrix indicating noise included in the reference image.
  • N 1 n 1 t is an autocorrelation matrix of n 1 .
  • Spectral emissivity estimation unit 22 first obtains the first estimated matrix W 1 by the equation (A4). Then, the spectral emissivity estimation unit 22 estimates the spectral emissivity E es of the light source by the formula (A3).
  • the spectral emissivity in the above-described example is the spectral emissivity at points every 10 nm wavelength within the wavelength range of 400 nm to 700 nm.
  • the spectral emissivity of the present embodiment may be data in different wavelength ranges and wavelength intervals.
  • the spectral emissivity of the present embodiment may be a spectral emissivity for each wavelength of 1 nm within a wavelength range of 380 nm to 780 nm.
  • the spectral reflectance estimator 23 estimates the spectral reflectance of the object 100 imaged by the imaging unit 10 using the spectral emissivity estimated by the spectral emissivity estimator 22.
  • the spectral reflectance estimator 23 of the present embodiment further estimates the spectral reflectance of the object 100 using the following (1) to (3).
  • the following formula (B1) is established between the luminance value of an arbitrary pixel in the image of the target object 100 and the spectral reflectance of the target object 100.
  • FIG. 3 is a diagram illustrating each matrix of the formula (B1).
  • matrix g 2 is the pixel value of the target image. Specifically, the matrix g 2 is a 4 ⁇ 1 matrix in which pixel values in the image of the object 100 are indicated for each row.
  • E es is a matrix indicating the spectral emissivity estimated by the spectral emissivity estimation unit 22.
  • a spectral emissivity that diagonal element corresponding to the wavelength of 10nm increments ranging from 400 nm ⁇ 700 nm, except the diagonal elements are It is a diagonal matrix of 31 rows ⁇ 31 columns that is 0.
  • R is a matrix of 31 rows ⁇ 1 column indicating the spectral reflectance of the object 100 every 10 nm.
  • f, L, and S in Formula (B1) are the same as f, L, and S in Formula (A1).
  • H 2 ⁇ 1 is an inverse matrix of H 2 .
  • the spectral reflectance estimating unit 23 the Wiener estimation is estimated by the formula (B3) below the spectral reflectance r es indicating an estimate of r.
  • W 2 is referred to as a second estimation matrix.
  • the second estimation matrix W 2 uses the spectral characteristic value of the imaging unit 10 and the spectral emissivity estimation unit 22 estimated so that the square error between the estimated spectral reflectance res and the spectral reflectance statistical information is minimized. Calculated using emissivity. Specifically, the spectral reflectance estimation unit 23 calculates W 2 by the following formula (B4).
  • W 2 r 2 r 2 t H 2 t (H 2 t r 2 r 2 t H 2 t) -1 (B4)
  • r 2 is a matrix indicating the spectral reflectance statistical information.
  • R 2 t and H 2 t are transposed matrices of r 2 and H 2 , respectively.
  • statistics r a for any one object shows in the wavelength range of 400 nm ⁇ 700 nm, the spectral reflectance at the point of each wavelength 10 nm. Therefore, statistics r a for any one object, a set of 31 numbers for the spectral reflectance of the object.
  • the statistics r a is Macbeth color chart may be a statistical information prepared for each type of object such as a hand, a plurality of objects types are the same (e.g. hand) statistics about It may be.
  • r 2 as shown in the following formula, which the spectral reflectance of each wavelength included in the statistics r a of each were prepared objects those described in the column direction, are arranged in the row direction for each of the objects It is. Therefore, r 2 is a matrix of 31 rows ⁇ (number of statistical information r a (object type)) columns.
  • W 2 can be obtained using the following equation (B5) instead of equation (B4).
  • n 2 ⁇ n 2 t is an autocorrelation matrix of the matrix n 2 indicating noise included in the target image.
  • Spectral reflectance estimation unit 23 first obtains the second estimation matrix W 2 by formula (B4). Then, spectral reflectance estimation unit 23 estimates the spectral reflectance r es of the object 100 by the formula (B3). Note that the pixel for estimating the spectral reflectance may be arbitrarily selected by a known method.
  • FIG. 4 is a flowchart showing a process flow (control method) in the estimation apparatus 1.
  • the control unit 20 captures an image of the reference object 200 by the imaging unit 10 (SA1).
  • the reference pixel specifying unit 21 specifies the reference pixel from the pixels included in the image of the reference object 200 (SA2).
  • the spectral emissivity estimation unit 22 estimates the spectral emissivity of the light source (spectral emissivity estimation step). Specifically, the spectral emissivity estimation unit 22 first calculates an autocorrelation matrix (E 1 E 1 t ) of spectral emissivity from the spectral emissivity statistical information (E 1 ) stored in the storage unit 30 (SA3 ). Next, the spectral emissivity estimation unit 22 calculates a system matrix (H 1 ) for spectral emissivity estimation (SA4).
  • E 1 E 1 t autocorrelation matrix of spectral emissivity from the spectral emissivity statistical information (E 1 ) stored in the storage unit 30 (SA3 ).
  • SA3 system matrix
  • H 1 system matrix for spectral emissivity estimation
  • the spectral emissivity estimation unit 22 calculates a first estimation matrix (W 1 ) using the calculated autocorrelation matrix of spectral emissivity and the system matrix for spectral emissivity estimation (SA5). Then, the spectral emissivity estimation unit 22 estimates the spectral emissivity (E es ) of the light source by using the pixel value (g 1 ) of the identified reference pixel and the calculated first estimation matrix (SA6).
  • the control unit 20 captures an image of the object 100 by the imaging unit 10 (SB1).
  • the spectral reflectance estimation part 23 estimates the spectral reflectance of the target object 100 (spectral reflectance estimation process). Specifically, the spectral reflectance estimation unit 23 first calculates an autocorrelation matrix (r 2 r 2 t ) of spectral reflectance from the spectral reflectance statistical information (r 2 ) stored in the storage unit 30 (SB2 ). Next, the spectral reflectance estimation unit 23 calculates a system matrix (H 2 ) for spectral reflectance estimation (SB3).
  • the spectral reflectance estimator 23 calculates a second estimation matrix (W 2 ) for spectral reflectance estimation using the calculated autocorrelation matrix of spectral reflectance and the system matrix for spectral reflectance estimation (SB4). ). Then, the spectral reflectance estimation unit 23 estimates the spectral reflectance of the target object 100 using the pixel value (g 1 ) of an arbitrary pixel in the image of the target object 100 and the calculated second estimation matrix (SB5). ).
  • the control unit 20 first images the reference object 200, estimates the spectral emissivity of the light source, and then images the object 100.
  • the control unit 20 may estimate the spectral emissivity of the light source and the spectral reflectance of the object 100 after first imaging both the reference object 200 and the object 100.
  • the control unit 20 may capture images including both the reference object 200 and the object 100 instead of separately capturing the images of the reference object 200 and the object 100.
  • the spectral emissivity estimation unit 22 may calculate an autocorrelation matrix based on the spectral emissivity statistical information before the control unit 20 images the reference object 200, for example.
  • the spectral reflectance estimation unit 23 may calculate an autocorrelation matrix based on the spectral reflectance statistical information before the control unit 20 images the target object 100 or before imaging the reference target object 200, for example. Good.
  • the spectral emissivity estimation unit 22 is configured to calculate in advance a system matrix (H 1 ) for spectral emissivity estimation as a product of fr 1 LS based on the known matrices f, r 1 , L, and S. It is good.
  • Example 1 An example of spectral reflectance estimation by the estimation apparatus 1 according to this embodiment will be described below.
  • the spectral reflectance was estimated using each color patch included in the Macbeth color chart as the object 100, and compared with the actual measurement value.
  • a spectrocolorimeter manufactured by Konica Minolta, CM-2600d was used for measurement of the actual measurement values.
  • spectral emissivity statistical information used by the spectral emissivity estimation unit 22 the following spectral emissivities were used. ⁇ White LED (Light Emitting Diode) light only spectral emissivity, -Spectral emissivity of light in which white LED light and halogen lamp light are mixed at a predetermined intensity ratio (three types), -Spectral emissivity (5 types) of light in which light of white LED and sunlight is mixed at a predetermined intensity ratio.
  • FIG. 5 is a graph showing the spectral emissivity of light in which the light of the white LED and the light of the halogen lamp are mixed at a predetermined intensity ratio (three types).
  • FIG. 5B is a graph showing the spectral emissivity of light in which white LED light and sunlight are mixed at a predetermined intensity ratio (five types).
  • the spectral emissivity values in FIGS. 5A and 5B are relative values when the maximum value of each light type is 1.
  • the graph shown to (a) and (b) of FIG. 5 contains the spectral emissivity of the light of white LED each.
  • the horizontal axis is the wavelength
  • the vertical axis is the spectral emissivity.
  • spectral reflectance statistical information used by the spectral reflectance estimation unit 23 measured values of the spectral reflectance of each of the 24 color patches included in the Macbeth color chart were used.
  • the spectral reflectance of the object 100 was also estimated by the estimation apparatus of the comparative example.
  • the estimation apparatus of the comparative example did not estimate the spectral emissivity, but estimated the spectral reflectance of the object 100 assuming that the illumination light was only white LED light.
  • Example 1-1 each color patch of the Macbeth color chart is obtained using an image of the Macbeth color chart that is obtained by using the light obtained by mixing the light of the white LED and the light of the halogen lamp at an intensity ratio of 1: 1 as illumination light.
  • Spectral reflectance was estimated.
  • FIG. 6 is a graph showing the estimation result of the spectral reflectance by the estimation apparatus 1 of the present embodiment in Example 1-1.
  • FIG. 7 is a graph showing the estimation result of the spectral reflectance by the estimation apparatus of the comparative example in Example 1-1.
  • the horizontal axis represents wavelength
  • the vertical axis represents spectral reflectance.
  • the spectral reflectance estimated by the estimation device 1 or the estimation device of the comparative example is indicated by a solid line
  • the actual measured value of the spectral reflectance is indicated by a broken line.
  • the position of each graph corresponds to the position of each color patch in the Macbeth color chart.
  • the spectral reflectance of the object was estimated assuming that the light source is only white LED light. Since the illumination light of this embodiment is a light mixture of the light of the white LED and the light of the halogen lamp, the spectral emissivity of the light source is as shown in FIG. 5A according to the intensity ratio of each light. Showed changes. For this reason, as shown in FIG. 7, the estimated spectral reflectance is significantly different from the actually measured value.
  • the estimation apparatus 1 of the present embodiment an image of a white plate is taken as the reference object 200, and the spectral emissivity of the light source is estimated.
  • the spectral emissivity of the light source changes as shown in FIG. 5A according to the light intensity ratio of the white LED and the halogen lamp, as shown in FIG.
  • the spectral reflectance of the color patch could be estimated with high accuracy compared with the estimation device of the comparative example.
  • Example 1-2 the spectral reflectance of each color patch of the Macbeth color chart using the image of the Macbeth color chart obtained by using the light obtained by mixing the light of white LED and sunlight at an intensity ratio of 1: 1 as illumination light.
  • FIG. 8 is a graph showing the estimation result of the spectral reflectance by the estimation apparatus of the present embodiment in Example 1-2.
  • FIG. 9 is a graph showing the estimation result of the spectral reflectance by the estimation apparatus of the comparative example in Example 1-2.
  • the horizontal axis is the wavelength
  • the vertical axis is the reflectance.
  • the spectral reflectance estimated by the estimation device 1 or the estimation device of the comparative example is indicated by a solid line
  • the actual measured value of the spectral reflectance is indicated by a broken line.
  • the position of each graph corresponds to the position of the color patch in the Macbeth color chart.
  • the spectral reflectance of the object was estimated on the assumption that the light source was only white LED light. Since the illumination light of the present embodiment was a mixture of white LED light and sunlight, the spectral emissivity of the light source changes as shown in FIG. 5B according to the intensity ratio of each light. Indicated. For this reason, as in the case of Example 1-1, the estimation result obtained by the estimation apparatus of the comparative example is significantly different from the actual measurement value as shown in FIG. On the other hand, as shown in FIG. 8, the estimation result obtained by the estimation apparatus 1 of the present embodiment has a higher accuracy than the estimation apparatus of the comparative example.
  • the estimation device 1 uses the spectral emissivity statistical information used for estimating the spectral emissivity of the light source as an actual light source (light obtained by mixing white LED light and halogen lamp light or sunlight). The data of the near light source or the same light source is included. However, the estimation apparatus 1 can estimate the spectral emissivity of the light source even if the light source close to the actual light source or data of the same light source is not included in the statistical information.
  • Example 2 An example of spectral reflectance estimation by the estimation apparatus of this embodiment will be described below.
  • spectral reflectance was estimated using the back of a human hand imaged as illumination light of light in which white LED light and sunlight were mixed at an intensity ratio of 1: 1, and compared with actual measurement values.
  • a spectrocolorimeter Konica Minolta, CM-2600d was used as in Example 1.
  • SOCS Standard Object Color, Database, For Color, Production, Evaluation
  • ISO International Organization for Standardization
  • the spectral reflectance was estimated by the estimation device of the comparative example (comparative example 1) similar to the first example.
  • estimation was performed by the spectral reflectance estimation method described in Non-Patent Document 1 when the spectral characteristics of the entire image system are unknown.
  • G r 2 v t (vv t ) ⁇ 1 (C1)
  • r es Gg 2 (C2)
  • G is an estimation matrix for estimating the spectral reflectance of the object from the output value of the image.
  • r is the statistical information of the actual spectral reflectance in each of the 24 color patches included in the Macbeth color chart.
  • v is statistical information of pixel values corresponding to each of the color patches.
  • Estimation method of Comparative Example 2 in formula (B2), a method for the entire system matrix H 2 estimates the spectral reflectivity when it is unknown. In the estimation method of Comparative Example 2, estimation is performed based on the spectral reflectance and the pixel value in each patch of the Macbeth color chart.
  • FIG. 10 is a graph showing the estimation result of the spectral reflectance in this example.
  • A of FIG. 10 is a graph which shows the estimation result by the estimation apparatus 1.
  • FIG. 10B is a graph showing an estimation result by the estimation apparatus of Comparative Example 1.
  • C of FIG. 10 is a graph which shows the estimation result by the estimation method of the nonpatent literature 1 (comparative example 2).
  • the horizontal axis represents wavelength and the vertical axis represents reflectance.
  • the estimated spectral reflectance is indicated by a solid line
  • the measured value of the spectral reflectance is indicated by a broken line.
  • the estimation result by the estimation apparatus of Comparative Example 1 was significantly different from the actual measurement value, similar to the estimation result by the estimation apparatus of the Comparative Example in Example 1.
  • the estimation result by the estimation method of Non-Patent Document 1 is close to the actual measurement value as compared with the estimation result by the estimation device of Comparative Example 1.
  • the estimation result by the estimation apparatus 1 of the present embodiment is a result closer to the actual measurement value as compared with the estimation result by the estimation method of Non-Patent Document 1.
  • the estimation result by the estimation apparatus 1 according to the present embodiment is that the spectrum shape of the actually measured value is finer as compared with the estimation result by the estimation method of Non-Patent Document 1, particularly in the wavelength range of 400 nm to 430 nm and 530 nm to 580 nm. It is well reproduced.
  • the unevenness of the graph showing the spectral reflectance in these wavelength ranges is considered to reflect the absorption of light by hemoglobin in the blood seen through the human skin.
  • the spectral reflectance is estimated using the Macbeth color chart.
  • the color patch of the Macbeth color chart is colored with pigments and does not contain hemoglobin, so the shape of the absorption spectrum of light in these wavelength bands by hemoglobin is not reflected, and it is thought that there was a difference from the measured value .
  • Example 3 The effectiveness of the estimation method by the estimation apparatus 1 of this embodiment was verified by simulation.
  • the pixel value of the reference image is obtained by calculation using the formula (A1), and the spectral emissivity estimation unit 22 estimates the spectral emissivity from this pixel value.
  • the pixel value of the reference image is an image expected to be obtained from the imaging unit 10 when a white plate as the reference object 200 irradiated with light from various types of light sources is used as illumination light. It is a pixel value.
  • FIG. 11 is a graph showing the result of estimation in this example. Each graph shows the estimation result of the spectral emissivity of light from the following light sources.
  • A d55 (auxiliary standard illuminant d55 (average daylight with color temperature 5503K))
  • B d65 (standard illuminant d65 (natural daylight))
  • C ill A (Standard Illuminant A (incandescent light bulb))
  • F Fluorescent lamp
  • g Sunlight (16:00 on one day in July)
  • H LED (indoor)
  • I Fluorescent lamp (different from (f))
  • the horizontal axis is the wavelength
  • the vertical axis is the spectral reflectance.
  • the estimated spectral emissivity is indicated by a solid line
  • the actual measured value of the spectral emissivity is indicated by a broken line.
  • the spectral emissivity estimation unit 22 estimates the spectral emissivity of the light source used when the object 100 is imaged. Then, the spectral reflectance estimator 23 estimates the spectral reflectance of the object 100 using the spectral emissivity estimated by the spectral emissivity estimator 22. Therefore, even when the spectral emissivity of the light source used for imaging the object 100 is significantly different from the assumed value, or even when the spectral emissivity is unknown, the spectral reflectance of the object 100 is accurately determined. It is possible to estimate well.
  • the spectral reflectance estimation unit 23 captures the spectral characteristic value of the imaging unit 10 together with the spectral emissivity estimated by the spectral emissivity estimation unit 22 and the imaging unit 10 captures an image.
  • the spectral reflectance of the target object 100 is estimated using the pixel value of the target image and the spectral reflectance statistical information. Therefore, the spectral reflectance estimator 23 can accurately estimate the spectral reflectance of the object 100.
  • the spectral emissivity estimation unit 22 is used at the time of imaging using the first estimation matrix W 1 so that the square error with the spectral emissivity statistical information is minimized. Calculate the spectral emissivity of the light source.
  • the first estimation matrix W 1 is calculated by the equation (A4).
  • the first estimation matrix W 1 are for use in the Wiener estimation, the spectral emissivity estimating unit 22 estimates the spectral emissivity of the light source by Wiener estimation. Therefore, the spectral emissivity estimation unit 22 can accurately estimate the spectral emissivity of the light source.
  • the spectral reflectance estimating section 23 as square errors between the spectral reflectance statistics is minimum, of the object 100 using the second estimation matrix W 2 Spectral reflectance is calculated.
  • the second estimation matrix W 2 is calculated by the formula (B4).
  • the second estimation matrix W 2 similarly to the first estimation matrix W 1, is intended to be used in the Wiener estimation, the spectral reflectance estimation unit 23 to estimate the spectral reflectance of the object 100 by Wiener estimation. Therefore, the spectral reflectance estimator 23 can accurately estimate the spectral reflectance of the object 100.
  • a Macbeth color chart is imaged simultaneously with a multiband image, and the QL value of the gray patch image of the Macbeth color chart and the spectral reflectance of the gray patch are determined.
  • a lookup table is created by associating the relationships. Then, the spectrum estimation system refers to the created one-dimensional lookup table, and obtains the spectral reflectance from the QL value of the image data of the original image of the subject (object).
  • Patent Document 1 describes obtaining a spectral reflectance using a lookup table, but does not describe a method for creating a lookup table that can estimate the spectral emissivity of a light source.
  • the estimation apparatus 1 of the present embodiment first estimates the spectral emissivity of the light source, and estimates the spectral reflectance of the object 100 using the estimated spectral emissivity. Different from the system.
  • FIG. 12 is a block diagram showing a configuration of the estimation device 2 of the present embodiment. As shown in FIG. 12, the estimation device 2 is different from the estimation device 1 in that it includes a control unit 20 ⁇ / b> A instead of the control unit 20.
  • the control unit 20A further includes a similarity calculation unit 24 and a statistical information specifying unit 25 in addition to the configuration of the control unit 20.
  • the storage unit 30 includes, as the spectral emissivity statistical information, multi-light source statistical information in which spectral emissivity information for each of a plurality of light sources is mixed, and the spectral emissivity for a single type of light source.
  • Single light source statistical information single spectral emissivity light source information
  • the multi-light source statistical information may be a set of single light source statistical information.
  • the multi-light source statistical information includes d55 (average daylight of color temperature 5503K), d65 (natural daylight), ill A (incandescent light bulb), ill C (daylight incident from the north window), and white LED, respectively. Including the spectral emissivity of.
  • single light source statistical information exists for each type of light source, such as single light source statistical information about white LEDs and single light source statistical information about incandescent bulbs. Only statistical information on the spectral emissivity of the corresponding type of light source is included.
  • the storage unit 30 in the present embodiment includes pre-prepared spectral emissivity statistical information for each light source that indicates statistical information of typical spectral emissivity of each light source, measured for each of a plurality of types of light sources.
  • the typical spectral emissivity statistical information may be a representative spectral emissivity for each light source (for example, in the case of sunlight, the spectral emissivity of the standard light source D65) included in the various light source statistical information. It may be an average of a plurality of spectral emissivities.
  • the single light source statistical information of the light source indicated by the statistical information is associated with the spectral emissivity statistical information for each light source.
  • the accuracy of typical spectral emissivity statistical information may be lower than the accuracy of single light source statistical information for the purpose of specifying the type of light source.
  • the spectral emissivity statistical information may have data points every 10 nm in the range of 400 nm to 700 nm
  • the typical spectral emissivity statistical information may have data points every 20 nm in the range of 400 nm to 700 nm.
  • the spectral emissivity estimation unit 22 first estimates the spectral emissivity of the light source using the various light source statistical information as the spectral emissivity statistical information. Moreover, the spectral emissivity estimation part 22 estimates again the spectral emissivity of the light source used at the time of the imaging
  • the single light source statistical information used by the spectral emissivity estimation unit 22 corresponds to the spectral emissivity statistical information for each light source included in the typical spectral emissivity statistical information specified by the statistical information specifying unit 25 described later.
  • the spectral reflectance estimator 23 estimates the spectral reflectance of the object 100 using the spectral emissivity estimated again by the spectral emissivity estimator 22.
  • the similarity calculation unit 24 calculates the similarity between the spectral emissivity estimated by the spectral emissivity estimation unit 22 and the spectral emissivity statistical information for each light source included in the typical spectral emissivity statistical information. Specifically, the similarity calculation unit 24 calculates the spectral emissivity statistics for each light source included in the typical spectral emissivity statistical information by the following equation (D) and the spectral emissivity estimated by the spectral emissivity estimation unit 22. A correlation coefficient R is calculated.
  • FIG. 13 is a graph showing an example of typical spectral emissivity statistical information including spectral emissivity statistical information for each light source.
  • FIG. 13B is a graph showing the spectral emissivity estimated by the spectral emissivity estimation unit 22.
  • the horizontal axis represents wavelength and the vertical axis represents spectral emissivity. Note that the spectral emissivity values in FIGS. 13A and 13B are relative values when the maximum value for each light type is 1.
  • the typical spectral emissivity statistical information shown in (a) of FIG. 13 includes the following spectral emissivity statistical information for each light source. ⁇ D55 ⁇ D65 ⁇ Ill A ⁇ Ill C ⁇ White LED Note that the similarity calculation unit 24 does not need to calculate a correlation coefficient with the spectral emissivity estimated for all of the types of light sources shown in FIG. The similarity calculation unit 24 may calculate a correlation coefficient with the estimated spectral emissivity for light sources other than the type of light source shown in FIG.
  • FIG. 13C shows a correlation coefficient between the spectral emissivity of each light source shown in FIG. 13A and the estimated spectral emissivity example shown in FIG. It is a table. As shown in FIG. 13C, in this example, the light source having the largest correlation coefficient with the estimated spectral emissivity, that is, the light source closest to the illumination light is d55.
  • the statistical information specifying unit 25 specifies spectral emissivity statistical information for each light source indicating the highest similarity among the similarities calculated by the similarity calculating unit 24. As described above, since the correlation coefficient d55 is the highest in the example shown in FIG. 13C, the statistical information specifying unit 25 specifies the spectral emissivity statistical information for each light source d55.
  • the statistical information specifying unit 25 is not necessarily required to specify only one single light source statistical information used for estimating the spectral emissivity in the spectral emissivity estimating unit 22.
  • the statistical information specifying unit 25 may specify single light source statistical information corresponding to each of a predetermined number of light sources in descending order of the correlation coefficient with the estimated spectral emissivity.
  • the statistical information specifying unit 25 may specify all the single light source statistical information corresponding to a light source whose correlation coefficient with the estimated spectral emissivity is a predetermined threshold or more.
  • the statistical information specifying unit 25 may specify all the single light source statistical information corresponding to the light source whose difference from the estimated spectral emissivity and the maximum value of the correlation coefficient is within a predetermined threshold.
  • FIG. 14 is a flowchart showing the flow of processing in the estimation apparatus 2. Of the processing shown in FIG. 14, description of steps common to the flowchart shown in FIG. 4 is omitted.
  • the spectral emissivity estimation unit 22 first calculates the autocorrelation matrix of the various light source statistical information (SC1) and estimates the light source.
  • SC1 system matrix
  • SC3 estimation matrix
  • SC4 spectral emissivity
  • the similarity calculation unit 24 calculates the similarity between the spectral emissivity estimated by the spectral emissivity estimation unit 22 and the light emissivity statistical information for each light source included in the typical spectral emissivity statistical information stored in the storage unit 30. Is calculated (SC5). Then, the statistical information specifying unit 25 uses the spectral emissivity statistical information for each light source having the highest similarity as the spectral emissivity statistical information used in the spectral emissivity estimating unit 22 based on the similarity calculated by the similarity calculating unit 24. Specify (SC6).
  • the spectral emissivity estimation unit 22 calculates the autocorrelation matrix using the single light source statistical information of the light source corresponding to the spectral emissivity statistical information for each light source specified by the statistical information specifying unit 25 as the spectral emissivity statistical information. Then, the first estimation matrix used for estimating the spectral emissivity is calculated again (SC8). Then, the spectral emissivity estimation unit 22 estimates the spectral emissivity of the light source again (SC9).
  • the statistical information used for estimation includes information on a light source that is not similar to the actual light source, and the case where the statistical information used for estimation includes only information about a light source similar to the actual light source, the latter case
  • the accuracy of spectral emissivity estimation is higher. For example, if the light source is a white LED, it is more accurate to use statistical information about only the spectral emissivity of various white LEDs for estimation than to use statistical information including the spectral emissivity of other types of light sources for estimation. Become.
  • the light source is an incandescent bulb
  • statistical information about only the spectral emissivity of various incandescent bulbs is used for estimation, rather than statistical information including the spectral emissivity of other types of light sources is used for estimation. Increases accuracy.
  • the light source at the time of imaging the target object 100 varies depending on the environment in which the image is captured, and there is a possibility that light unintended by the user of the estimation device is mixed. For this reason, it is difficult to determine the type of light source in advance.
  • the statistical information specifying unit 25 obtains the spectral emissivity statistical information for each light source having the highest similarity with the spectral emissivity estimated in a state where the type of the light source used at the time of imaging is unknown. Identify. And the spectral emissivity estimation part 22 re-estimates spectral emissivity using the single light source statistical information of the light source corresponding to the specified spectral emissivity statistics information classified by light source, and uses the estimated spectral emissivity, The spectral reflectance estimator 23 estimates the spectral emissivity of the object imaged by the imaging device.
  • the spectral emissivity estimation unit 22 can estimate the spectral emissivity of the light source using statistical information of the spectral emissivity of the light source used at the time of imaging or a light source having characteristics close to those of the light source. In other words, the spectral emissivity estimation unit 22 can estimate the spectral emissivity of the light source after specifying the light source used during imaging. And since the spectral reflectance estimation part 23 estimates the spectral reflectance of the target object 100 using the spectral emissivity estimated in this way, it can estimate the said spectral reflectance more accurately.
  • control blocks especially the reference pixel specifying unit 21, the spectral emissivity estimating unit 22, the spectral reflectance estimating unit 23, the similarity calculating unit 24, and the statistical information specifying unit 25
  • the control blocks are integrated circuits (IC chips). ) Or the like, or may be realized by software using a CPU (Central Processing Unit).
  • the estimation devices 1 and 2 include a CPU that executes instructions of a program that is software that realizes each function, and a ROM (Read Only Memory) in which the program and various data are recorded so as to be readable by the computer (or CPU). ) Or a storage device (these are referred to as “recording media”), a RAM (Random Access Memory) that expands the program, and the like. And the objective of 1 aspect of this indication is achieved when a computer (or CPU) reads and runs the said program from the said recording medium.
  • the recording medium a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • an arbitrary transmission medium such as a communication network or a broadcast wave
  • one aspect of the present disclosure can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • An estimation device (1, 2) is an estimation device that estimates a spectral reflectance of an object (100) that is an imaging target of an imaging device (imaging unit 10).
  • a known spectral characteristic value indicating the spectral characteristic of the imaging device; and (2) a pixel value of a reference object image indicating a reference object (200) having a known spectral reflectance captured by the imaging device, and (3 ) Imaging of the object using spectral reflectance of the reference object and (4) spectral emissivity statistical information indicating statistical emissivity statistical information measured for a plurality of light sources prepared in advance.
  • the spectral emissivity of a light source used for the imaging is used for the estimation. Therefore, when the spectral emissivity is significantly different from the assumed value, or when the spectral emissivity is unknown, there is a possibility that the estimated spectral reflectance cannot be estimated with high accuracy.
  • the spectral emissivity of the light source used when imaging the object is estimated using the values shown in the above (1) to (4).
  • the spectral reflectance of the target object imaged by the imaging device is estimated using the estimated spectral emissivity. Therefore, even when the spectral emissivity of the light source used for imaging is significantly different from the assumed value, or even when the spectral emissivity is unknown, the spectral reflectance of the object is accurately estimated. Is possible.
  • the spectral reflectance estimation unit in addition to the estimated spectral emissivity, includes (1) the known spectral characteristic value, and (2) (3) A spectral reflectance statistic indicating statistical information of the spectral reflectance of the object measured in a predetermined environment prepared in advance, and the pixel value of the object image representing the object imaged by the imaging device It is preferable to estimate the spectral reflectance of the object using the information.
  • the spectral reflectance of the object is estimated using the values shown in (1) to (3) above together with the estimated spectral emissivity. Therefore, it is possible to accurately estimate the spectral reflectance of the object.
  • the spectral emissivity E es W 1 g 1
  • the first estimation matrix is such that the square error between the estimated spectral emissivity and the spectral emissivity statistical information is minimized. It is preferably calculated using a known spectral characteristic value and the spectral reflectance of the reference object.
  • the spectral emissivity of the light source used during imaging is calculated using the first estimation matrix so that the square error with the spectral emissivity statistical information is minimized. Therefore, the spectral emissivity can be estimated in consideration of the state of the light source during imaging.
  • the first estimation matrix is used in winner estimation, which is one of methods for estimating a predetermined value using a square error. That is, the spectral emissivity is estimated using Wiener estimation. Therefore, it is possible to accurately estimate the spectral emissivity of the light source used during imaging.
  • the spectral reflectance estimation unit sets the pixel value of the object image to g 2 and the second estimation matrix W 2 .
  • the second estimation matrix has a minimum square error between the estimated spectral reflectance and the spectral reflectance statistical information. It is preferable to calculate using the known spectral characteristic value and the spectral emissivity estimated by the spectral emissivity estimation unit.
  • the spectral reflectance of the object imaged by the imaging device is calculated using the second estimation matrix so that the square error with the spectral reflectance statistical information is minimized. Therefore, it is possible to accurately estimate the spectral reflectance of the object.
  • the second estimation matrix is used in the Wiener estimation. That is, spectral reflectance is estimated using Wiener estimation. Therefore, it is possible to accurately estimate the spectral emissivity of the object.
  • any one of Aspects 1 to 6 (1) the spectral emissivity estimated by the spectral reflectance estimation unit, and (2) a plurality of preliminarily prepared
  • a similarity calculation unit (24) that calculates the similarity between each type of light source and the spectral emissivity statistical information for each light source indicating the statistical information of the spectral emissivity of each light source, and the similarity calculation unit
  • a statistical information specifying unit (25) that specifies the spectral emissivity statistical information for each light source that indicates the highest similarity among the calculated similarities, and the statistical emissivity estimation unit includes the statistical information specifying unit.
  • spectral emissivity light source information which is statistical information of the spectral emissivity of the light source corresponding to the identified spectral emissivity statistical information for each light source, as the spectral emissivity statistical information, it is used when imaging the object.
  • Spectral emission of light source Was estimated again, the spectral reflectance estimation unit uses the spectral emissivity of the spectral emissivity estimation unit has estimated again, it is preferable to estimate the spectral reflectance of the object.
  • the spectral emissivity statistical information for each light source having the highest similarity with the spectral emissivity estimated in a state where the type of the light source used at the time of imaging is unknown is specified. Then, the spectral emissivity is re-estimated using the single spectral emissivity light source information corresponding to the identified spectral emissivity statistical information for each light source, and the object captured by the imaging device using the estimated spectral emissivity Estimate the spectral emissivity of
  • control method of the estimation device is a control method of the estimation device that estimates the spectral reflectance of an object to be imaged by the imaging device, and (1) Spectral characteristics of the imaging device. (2) a pixel value of a reference object image indicating a reference object having a known spectral reflectance captured by the imaging device, and (3) a spectral reflectance of the reference object.
  • spectral emissivity statistical information indicating statistical emissivity statistical information measured for a plurality of light sources prepared in advance, and using the spectral emissivity of the light source used when imaging the object
  • the estimation apparatus may be realized by a computer.
  • the estimation apparatus is realized by a computer by causing the computer to operate as each unit (software element) included in the estimation apparatus.
  • An estimation program of the estimation device and a computer-readable recording medium that records the estimation program also fall within the category of one aspect of the present disclosure.
  • Imaging unit Imaging device 22
  • Spectral Emissivity Estimator 23
  • Spectral Reflectance Estimator 24
  • Similarity Calculating Unit 25
  • Statistical Information Specifying Unit 100 Object 200 Reference Object

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

撮像対象の分光反射率を精度良く推定する。推定装置（１）は、既知の分光特性値と、基準対象物画像の画素値と、基準対象物（２００）の分光反射率と、分光放射率統計情報と、を用いて、対象物（１００）の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部（２２）と、推定した分光放射率を用いて、撮像部（１０）が撮像した対象物の分光反射率を推定する分光反射率推定部（２３）と、を備える。

Description

推定装置、および推定装置の制御方法
　以下の開示は、撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置に関する。
　従来から、撮像画像における撮像対象の色再現を精度良く行うために、撮像対象の物体表面に固有の物理的性質を示す分光反射率を推定する技術が開発されている。このような技術は、例えば特許文献１～３、および非特許文献１に開示されている。
　特許文献１に開示の方法では、撮影波長領域を分割したチャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値（ＱＬ値）を分光反射率と対応させた変換テーブルを予め作成しておく。そして、マルチバンド画像の各チャンネルの原画像のＱＬ値から上記変換テーブルを用いて分光反射率に変換することによって、撮像対象の分光反射率のスペクトルを推定している。
　また、特許文献２に開示の装置では、所定の分光透過率特性を有する６種類以上のカラーフィルタを通して、撮像対象を撮影してマルチバンド画像を取得し、当該撮像対象の分光反射率を推定する。
　また、特許文献３に開示の装置では、撮像した対象標本画像を構成する各画素を、細胞核、細胞質、赤血球、および背景の各主要要素に対応する複数のカテゴリーに分類する。そして、ウィナー推定によって、撮像した対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する。具体的には、上記所定の画素が属するクラス用のウィナー推定行列を用いて、対応する対象標本点の分光透過率を推定する。
　また、非特許文献１には、画像システムの分光特性が未知の場合には、撮影に用いる画像システムを用いて色票または絵具を撮影することによりウィナー推定を用いて分光反射率を推定することができることが開示されている。具体的には、上記分光反射率（物体の分光放射輝度）を、分光反射率の測定値とカメラの出力値とから求めている。
日本国公開特許公報「特開２００１－９９７１０号公報（２００１年４月１３日公開）」 日本国公開特許公報「特開２００７－２７８９５０号公報（２００７年１０月２５日公開）」 日本国公開特許公報「特開２００８－３０４２０５号公報（２００８年１２月１８日公開）」
三宅洋一編、"分光画像処理入門"、東京大学出版会、2006年2月24日、ｐ25-30
　一般に、カラーフィルタの分光透過率、照明光（光源）の分光放射率、および撮像装置（カメラ）の分光感度が既知であるカメラシステムを用いて撮像対象の分光反射率が推定される。そして、照明光の分光放射率が未知の場合、または照明光の分光放射率が想定していた値から大きく外れた場合には、撮像対象の分光反射率の推定精度が低下する。
　特許文献１～３の技術では、少なくとも照明光の分光放射率として既知の値（測定した値）を用いて撮像対象の分光反射率を推定している。そのため、当該技術では、想定外の分光放射率となった場合には当該推定精度が低下してしまう可能性がある。
　また、非特許文献１においては、画像システムの分光特性が未知の場合の、撮像対象の分光反射率の推定についての開示があるものの、照明光の分光放射率が未知、または想定していた値から大きく外れた場合の当該推定についての開示は無い。
　以下の開示は、前記の問題点に鑑みてなされたものであり、その目的は、撮像対象の分光反射率を精度良く推定することが可能な推定装置を実現することにある。
　上記の課題を解決するために、本開示の一態様に係る推定装置は、撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置であって、（１）上記撮像装置の分光特性を示す既知の分光特性値と、（２）上記撮像装置が撮像した、分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、（３）上記基準対象物の分光反射率と、（４）予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部と、上記分光放射率推定部が推定した分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定部と、を備える構成である。
　また、上記の課題を解決するために、本開示の一態様に係る推定装置の制御方法は、撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置の制御方法であって、（１）上記撮像装置の分光特性を示す、既知の分光特性値と、（２）上記撮像装置が撮像した分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、（３）上記基準対象物の分光反射率と、（４）予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定工程と、上記分光放射率推定工程において推定された分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定工程と、を含む方法である。
　本開示の一態様に係る推定装置およびその制御方法によれば、撮像対象の分光反射率を精度良く推定することができるという効果を奏する。
実施形態１の推定装置の構成を示すブロック図である。 式（Ａ１）の各行列を示す図である。 式（Ｂ１）の各行列を示す図である。 実施形態１の推定装置における処理の流れを示すフローチャートである。 （ａ）は、白色ＬＥＤの光とハロゲンランプの光とが所定の強度比で混合された光の分光放射率を示すグラフであり、（ｂ）は、白色ＬＥＤの光と太陽光とが所定の強度比で混合された光の分光放射率を示すグラフである。 実施例１－１における、実施形態１の推定装置による分光反射率の推定結果を示すグラフである。 実施例１－１における、比較例の推定装置による分光反射率の推定結果を示すグラフである。 実施例１－２における、実施形態１の推定装置による分光反射率の推定結果を示すグラフである。 実施例１－２における、比較例の推定装置による分光反射率の推定結果を示すグラフである。 実施例２における分光反射率の推定結果を示すグラフであって、（ａ）は、実施形態１の推定装置による推定結果を示すグラフであり、（ｂ）は、比較例の推定装置による推定結果を示すグラフであり、（ｃ）は、非特許文献１の推定方法による推定結果を示すグラフである。 実施例３における推定の結果を示すグラフであり、（ａ）はｄ５５の、（ｂ）はｄ６５の、（ｃ）はｉｌｌ　Ａの、（ｄ）はｉｌｌ　Ｃの、（ｅ）はＬＥＤ（ＴＯＴＯ（株）製）の、（ｆ）は蛍光灯の、（ｇ）は日光（７月のある日の１６時）の、（ｈ）はＬＥＤ（室内）の、（ｉ）は（ｆ）とは異なる蛍光灯の推定結果を示す。 実施形態２の推定装置の構成を示すブロック図である。 （ａ）は、複数の光源の典型分光放射率の例を示すグラフであり、（ｂ）は、推定した分光放射率を示すグラフであり、（ｃ）は、（ａ）に示したそれぞれの光源の分光放射率と、（ｂ）に示した、推定した分光放射率の例との相関係数を示す表である。 実施形態２の推定装置における処理の流れを示すフローチャートである。
　〔実施形態１〕
　以下、本開示の実施の形態について、図１～図１１を用いて説明する。
　〔推定装置の構成〕
　図１は、本実施形態に係る推定装置１の構成を示すブロック図である。図１に示すように、推定装置１は、撮像部１０（撮像装置）、制御部２０、および記憶部３０を備える。推定装置１は、撮像部１０の撮像対象となる対象物１００の分光反射率を推定する推定装置である。
　撮像部１０は、所定の照明光が照射された状態の対象物１００および基準対象物２００のマルチバンド画像を撮像する。以下、対象物１００を示す画像および基準対象物２００を示す画像について、それぞれ対象画像（対象物画像）、基準画像（基準対象物画像）と称する。
　撮像部１０は、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）を撮像素子（イメージセンサ）として備える固体撮像装置であってよい。本実施形態の撮像部１０は、画素ごとに透過波長が互いに異なる４種類の光学フィルタのいずれかを備える。４種類の光学フィルタはそれぞれＲ、Ｇ、ＧＢ、およびＢのうち、いずれかの光を透過させる。ただし、撮像部１０が備える光学フィルタは上述した４種類に限定されず、例えばＲ、Ｇ、およびＢの３種類などであってもよい。
　また、本実施形態の撮像部１０はレンズ（不図示）を備える。さらに本実施形態の撮像部１０は、撮像素子のレンズ側に、波長４００ｎｍ以上７００ｎｍ以下の範囲の光を透過させ、それ以外の範囲の波長の光をカットするフィルタ（不図示）を備える。
　基準対象物２００は、分光反射率が既知である物体である。本実施形態において、基準対象物２００は白色板である。基準対象物２００は、例えば対象物１００を配することが可能な穴が中央に形成された円盤形状であってよい。この場合、基準対象物２００の中央に配された（すなわち基準対象物２００に囲まれた）対象物１００を撮像部１０により撮像することで、対象画像および基準画像を同時に得ることができる。なお、基準対象物２００は、分光反射率が既知の物体であれば白色板に限定されない。
　制御部２０は、撮像部１０が撮像した基準画像および対象画像に基づいて、光源の分光放射率および対象物１００の分光反射率の推定を行う。制御部２０の具体的な構成については後述する。
　記憶部３０は、制御部２０における推定に用いるデータを記憶する。例えば記憶部３０は、制御部２０における推定に用いる式を記憶する。また例えば記憶部３０は、制御部２０における推定に用いる統計情報を記憶する。
　なお、本開示の一態様に係る推定装置は、撮像部１０を備えず、外部に設けられた撮像装置から画像を取得するように構成されていてもよい。
　（制御部２０の構成）
　次に、制御部２０の構成について説明する。図１に示すように、制御部２０は、基準画素特定部２１、分光放射率推定部２２、および分光反射率推定部２３を備える。
　（基準画素特定部２１）
　基準画素特定部２１は、基準画像に含まれる画素のうち、分光放射率の推定に用いる画素値を取得する対象となる画素である基準画素を特定する。本実施形態では撮像部１０はＲ、Ｇ、ＧＢ、およびＢの４バンドの画像を撮像するため、基準画素特定部２１は上記４バンドの画像それぞれについて、基準画素を特定する。
　基準画素特定部２１は、例えば画像認識により、予め記憶部３０に記憶された基準対象物２００の形状および色に近い物体の画像を基準画像から検出する。そして、検出した画像の領域内で白色に対応する画素値に最も近い画素値を有する画素を基準画素として特定する。なお、例えば、基準画素特定部２１は、基準画像に含まれる基準対象物２００の画像における任意の位置（例えば画像の中心）の画素を基準画素として特定してもよい。
　（分光放射率推定部２２）
　分光放射率推定部２２は、以下の（１）～（４）を用いて光源の分光放射率を推定する。
（１）撮像部１０の分光特性を示す既知の分光特性値、
（２）撮像部１０が撮像した、分光反射率が既知である基準対象物２００を示す基準画像の画素値、
（３）基準対象物２００の分光反射率、
（４）予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報。
　基準対象物２００の画像について、画素の輝度値を示す行列と光源の分光放射率を示す行列との間には、以下の式（Ａ１）が成立する。
　　ｆｒ１ＬＳＥ＝ｇ１　　（Ａ１）
図２は、式（Ａ１）の各行列を示す図である。
　式（Ａ１）において、行列ｇ１は、基準画像の画素値である。詳しくは、行列ｇ１は、基準画素特定部２１が特定した基準画素のバンドごとの輝度値（画素値）が行ごとに示される、４行×１列の行列である。本実施形態では、行列ｇ１には画素値がＲ、Ｇ、ＧＢ、Ｂの順に配されている。
　行列ｆは撮像部１０が備える光学フィルタの分光透過率を示す行列である。本実施形態の行列ｆは、行がＲ、Ｇ、ＧＢ、およびＢそれぞれのフィルタに対応し、列が波長４００ｎｍ～７００ｎｍの範囲の１０ｎｍごとの波長に対応する分光透過率である、４行×３１列の行列である。
　行列Ｌは、撮像部１０が備えるレンズの分光透過率を示す行列である。本実施形態の行列Ｌは、対角要素がレンズの上記１０ｎｍごとの分光透過率であり、それ以外の要素が０である、３１行×３１列の対角行列である。
　行列Ｓは、撮像部１０が備える撮像素子の分光感度を示す行列である。本実施形態の行列Ｓは、対角要素が撮像素子の上記１０ｎｍごとの分光感度であり、それ以外の要素が０である、３１行×３１列の対角行列である。
　行列ｒ１は、基準対象物２００の分光反射率を示す行列である。行列ｒ１は、対角要素が基準対象物２００の上記１０ｎｍごとの波長に対応する分光反射率であり、それ以外の要素が０である、３１行×３１列の対角行列である。
　行列Ｅは、光源の分光放射率を示す行列である。本実施形態の行列Ｅは、波長４００ｎｍ～７００ｎｍの範囲の１０ｎｍごとの光源の分光放射率が行ごとに示される、３１行×１列の行列である。
　行列ｆ、Ｌ、およびＳは、撮像部１０の分光特性を示す既知の分光特性値である。ｆｒ１ＬＳの積をシステム行列Ｈ１とした場合、光源の分光放射率Ｅは以下の式（Ａ２）により表される。
　　Ｅ＝Ｈ１ －１ｇ　　（Ａ２）
ここで、Ｈ１ －１は、Ｈ１の逆行列である。
　しかし、実際にＨ１ －１を求めることは困難である。そこで、分光放射率推定部２２は、ウィナー推定により、分光放射率Ｅの推定値を示す分光放射率Ｅesを以下の式（Ａ３）により推定する。
　　Ｅｅｓ＝Ｗ１ｇ１　　（Ａ３）
ここで、Ｗ１は第１推定行列と称する。
　第１推定行列Ｗ１は、推定する分光放射率Ｅｅｓと分光放射率統計情報との二乗誤差が最小となるように、撮像部１０の分光特性値、および基準対象物２００の分光反射率の情報を含むシステム行列Ｈ１を用いて算出される。具体的には、分光放射率推定部２２は、以下の式（Ａ４）によりＷ１を算出する。
　　Ｗ１＝Ｅ1Ｅ1 tＨ1 t（Ｈ1 tＥ1Ｅ1 tＨ1 t）-１　　（Ａ４）
ここで、Ｅ１は、分光放射率統計情報を示す行列である。
　本実施形態では、任意の１つの光源についての統計情報Ｅａは、波長４００ｎｍ～７００ｎｍの範囲内における、波長１０ｎｍごとの点における分光放射率を示す。このため、任意の１つの光源についての統計情報Ｅａは、当該光源の分光放射率についての３１個の数値の集合である。なお、上記統計情報Ｅａは、ＬＥＤ、ハロゲンランプ等の光源の種類ごとに準備された統計情報であってもよいし、種類は同じ（例：ＬＥＤ）であるが特性が異なる光源についての統計情報であってもよい。
　また、Ｅ１は、下記式に示すように、準備した各光源の統計情報Ｅａに含まれる波長ごとの分光放射率を列方向に記載したものを、上記光源ごとに行方向に並べたものである。したがってＥ１は、上記例では、３１行×（統計情報Ｅａの数）列の行列である。
Figure JPOXMLDOC01-appb-M000001
　上記式では、統計情報Ｅaが、Ｅa1～Ｅan（ｎは１以上の整数）のｎ個準備されている場合を示している。
　また、Ｅ１ ｔおよびＨ１ ｔは、それぞれＥ１およびＨ１の転置行列である。また、Ｅ１Ｅ１ ｔは、Ｅ１の自己相関行列である。
　なお、基準画像に含まれるノイズの存在を考慮する必要がある場合には、式（Ａ４）に代えて以下の式（Ａ５）を用いてＷ１を求めることができる。
　　Ｗ１＝Ｅ１Ｅ１ ｔＨ１ ｔ（Ｈ１ ｔＥ１Ｅ１ ｔＨ１ ｔ＋ｎ１ｎ１ ｔ）-１　　（Ａ５）ｎ１は基準画像に含まれるノイズを示す行列である。また、ｎ１ｎ１ ｔはｎ１の自己相関行列である。
　分光放射率推定部２２は、まず式（Ａ４）により第１推定行列Ｗ１を求める。そして、分光放射率推定部２２は、式（Ａ３）によって光源の分光放射率Ｅｅｓを推定する。
　なお、上述した例における分光放射率は、波長４００ｎｍ～７００ｎｍの範囲内における、波長１０ｎｍごとの点における分光放射率である。しかし、本実施形態の分光放射率は異なる波長範囲および波長間隔におけるデータであってもよい。例えば本実施形態の分光放射率は、波長３８０ｎｍ～７８０ｎｍの範囲内における、波長１ｎｍごとの分光放射率であってもよい。
　（分光反射率推定部２３）
　分光反射率推定部２３は、分光放射率推定部２２が推定した分光放射率を用いて、撮像部１０が撮像した対象物１００の分光反射率を推定する。本実施形態の分光反射率推定部２３は、さらに以下の（１）～（３）を用いて対象物１００の分光反射率を推定する。
（１）撮像部１０の既知の分光特性値、
（２）撮像部１０が撮像した対象物１００を示す対象画像の画素値、
（３）予め準備された、所定の環境下において測定された対象物１００の分光反射率の統計情報を示す分光反射率統計情報。
　対象物１００の画像における、任意の画素の輝度値と対象物１００の分光反射率との間には、以下の式（Ｂ１）が成立する。
　　ｆＥｅｓＬＳｒ＝ｇ２　　（Ｂ１）
図３は、式（Ｂ１）の各行列を示す図である。
　式（Ｂ１）において、行列ｇ２は、対象画像の画素値である。詳しくは、行列ｇ２は、対象物１００の画像における画素値が行ごとに示される、４行×１列の行列である。Ｅｅｓは、分光放射率推定部２２により推定された分光放射率を示す行列である。ただし、式（Ａ３）におけるＥｅｓとは異なり、式（Ｂ１）におけるＥｅｓは、対角要素が４００ｎｍ～７００ｎｍの範囲の１０ｎｍごとの波長に対応する分光放射率であり、対角要素以外が０である３１行×３１列の対角行列である。また、ｒは対象物１００の上記１０ｎｍごとの分光反射率を示す、３１行×１列の行列である。また、式（Ｂ１）におけるｆ、Ｌ、およびＳは、式（Ａ１）におけるｆ、Ｌ、およびＳと同じである。
　ｆＥｅｓＬＳをシステム行列Ｈ２とおいた場合、ｒは以下の式（Ｂ２）により表される。
　　ｒ＝Ｈ２ －１×ｇ２　　（Ｂ２）
ここで、Ｈ２ －１は、Ｈ２の逆行列である。
　上述したＨ１ －１と同様、Ｈ２ －１もまた実際に求めることは困難である。そこで、分光反射率推定部２３は、ウィナー推定により、ｒの推定値を示す分光反射率ｒｅｓを以下の式（Ｂ３）により推定する。
　　ｒｅｓ＝Ｗ２ｇ２　　（Ｂ３）
ここで、Ｗ２は第２推定行列と称する。
　第２推定行列Ｗ２は、推定する分光反射率ｒｅｓと分光反射率統計情報との二乗誤差が最小となるように、撮像部１０の分光特性値および分光放射率推定部２２が推定した分光放射率を用いて算出される。具体的には、分光反射率推定部２３は、以下の式（Ｂ４）によりＷ２を算出する。
　　Ｗ２＝ｒ２ｒ２ ｔＨ２ ｔ（Ｈ２ ｔｒ２ｒ２ ｔＨ２ ｔ）－１　　（Ｂ４）
ここで、ｒ２は、分光反射率統計情報を示す行列である。また、ｒ２ ｔおよびＨ２ ｔは、それぞれｒ２およびＨ２の転置行列である。
　本実施形態では、任意の１つの物体についての統計情報ｒａは、波長４００ｎｍ～７００ｎｍの範囲内における、波長１０ｎｍごとの点における分光反射率を示す。このため、任意の１つの物体についての統計情報ｒａは、当該物体の分光反射率についての３１個の数値の集合である。なお、上記統計情報ｒａは、マクベス色票、手等の物体の種類ごとに準備された統計情報であってもよいし、種類が同じである複数の物体（例：手）についての統計情報であってもよい。
　また、ｒ２は、下記式に示すように、準備した各物体の統計情報ｒａに含まれる波長ごとの分光反射率を列方向に記載したものを、上記物体ごとに行方向に並べたものである。したがってｒ２は、３１行×（統計情報ｒａ（物体の種類）の数）列の行列である。
Figure JPOXMLDOC01-appb-M000002
　なお、対象画像に含まれるノイズの存在を考慮する必要がある場合には、式（Ｂ４）に代えて以下の式（Ｂ５）を用いてＷ２を求めることができる。
　　Ｗ２＝ｒ２ｒ２ ｔＨ２ ｔ（Ｈ２ ｔｒ２ｒ２ ｔＨｔ＋ｎ２ｎ２ ｔ）－１　　（Ｂ５）
ｎ２×ｎ２ ｔは、対象画像に含まれるノイズを示す行列ｎ２の自己相関行列である。
　分光反射率推定部２３は、まず式（Ｂ４）により第２推定行列Ｗ２を求める。そして、分光反射率推定部２３は、式（Ｂ３）によって対象物１００の分光反射率ｒｅｓを推定する。なお、分光反射率を推定するための画素は、公知の方法により任意に選択されてよい。
　〔推定処理の流れ〕
　図４は、推定装置１における処理の流れ（制御方法）を示すフローチャートである。推定装置１においては、まず、制御部２０は、撮像部１０により基準対象物２００の画像を撮像する（ＳＡ１）。次に、基準画素特定部２１は、基準対象物２００の画像に含まれる画素から、基準画素を特定する（ＳＡ２）。
　次に、分光放射率推定部２２は、光源の分光放射率を推定する（分光放射率推定工程）。具体的には分光放射率推定部２２は、まず記憶部３０に記憶されている分光放射率統計情報（Ｅ1）から分光放射率の自己相関行列（Ｅ１Ｅ１ ｔ）を算出する（ＳＡ３）。次に分光放射率推定部２２は、分光放射率推定用のシステム行列（Ｈ１）を算出する（ＳＡ４）。さらに分光放射率推定部２２は、算出した分光放射率の自己相関行列および分光放射率推定用のシステム行列を用いて、第１推定行列（Ｗ１）を算出する（ＳＡ５）。そして分光放射率推定部２２は、特定した基準画素の画素値（ｇ１）と、算出した第１推定行列とを用いて、光源の分光放射率（Ｅｅｓ）を推定する（ＳＡ６）。
　続いて制御部２０は、撮像部１０により対象物１００の画像を撮像する（ＳＢ１）。そして、分光反射率推定部２３は、対象物１００の分光反射率を推定する（分光反射率推定工程）。具体的には分光反射率推定部２３は、まず記憶部３０に記憶されている分光反射率統計情報（ｒ２）から分光反射率の自己相関行列（ｒ２ｒ２ ｔ）を算出する（ＳＢ２）。次に分光反射率推定部２３は、分光反射率推定用のシステム行列（Ｈ２）を算出する（ＳＢ３）。さらに分光反射率推定部２３は、算出した分光反射率の自己相関行列および分光反射率推定用のシステム行列を用いて、分光反射率推定用の第２推定行列（Ｗ２）を算出する（ＳＢ４）。そして分光反射率推定部２３は、対象物１００の画像における任意の画素の画素値（ｇ１）と、算出した第２推定行列とを用いて、対象物１００の分光反射率を推定する（ＳＢ５）。
　なお、上述したフローでは、制御部２０は先に基準対象物２００を撮像して、光源の分光放射率を推定した後に対象物１００を撮像した。しかし制御部２０は、基準対象物２００および対象物１００の両方を先に撮像してから光源の分光放射率および対象物１００の分光反射率を推定してもよい。また制御部２０は、基準対象物２００および対象物１００の画像を別々に撮像するのではなく、基準対象物２００および対象物１００の両方の画像を含む画像を撮像してもよい。
　また、分光放射率推定部２２は、例えば制御部２０が基準対象物２００を撮像する前に、分光放射率統計情報に基づく自己相関行列を算出してもよい。同様に、分光反射率推定部２３は、例えば制御部２０が対象物１００を撮像する前、または基準対象物２００を撮像する前に、分光反射率統計情報に基づく自己相関行列を算出してもよい。
　また、分光放射率推定部２２は、既知の行列ｆ、ｒ１、Ｌ、Ｓに基づいて、ｆｒ１ＬＳの積として分光放射率推定用のシステム行列（Ｈ１）を予め算出しておく構成としてもよい。
　〔実施例１〕
　本実施形態の推定装置１による分光反射率の推定の実施例について以下に説明する。本実施例では、マクベス色票に含まれる各カラーパッチを対象物１００として分光反射率の推定を行い、実測値との比較を行った。実測値の測定には、分光測色計（コニカミノルタ社製、ＣＭ－２６００ｄ）を用いた。
　分光放射率推定部２２が用いる分光放射率統計情報としては、以下の分光放射率を用いた。
・白色ＬＥＤ（Light Emitting Diode）の光のみの分光放射率、
・白色ＬＥＤの光とハロゲンランプの光とが所定の強度比で混合された光の分光放射率（３種類）、
・白色ＬＥＤの光と太陽光とが所定の強度比で混合された光の分光放射率（５種類）。
　図５の（ａ）は、白色ＬＥＤの光とハロゲンランプの光とが所定の強度比（３種類）で混合された光の分光放射率を示すグラフである。図５の（ｂ）は、白色ＬＥＤの光と太陽光とが所定の強度比（５種類）で混合された光の分光放射率を示すグラフである。また、図５の（ａ）および（ｂ）における分光放射率の値は、それぞれの光の種類における最大値を１とした場合における相対値である。また、図５の（ａ）および（ｂ）に示すグラフにはいずれも、白色ＬＥＤ単独の光の分光放射率が含まれている。図５の（ａ）および（ｂ）において、横軸は波長であり、縦軸は分光放射率である。
　また、分光反射率推定部２３が用いる分光反射率統計情報としては、マクベス色票に含まれる２４のカラーパッチのそれぞれの、分光反射率の実測値を用いた。
　また、本実施形態の推定装置１と比較するため、比較例の推定装置による対象物１００の分光反射率の推定も行った。比較例の推定装置では分光放射率の推定を行わず、照明光が白色ＬＥＤの光のみであるとして対象物１００の分光反射率の推定を行った。
　（実施例１－１）
　実施例１－１では、白色ＬＥＤの光とハロゲンランプの光とを強度比１：１で混合した光を照明光として撮影したマクベス色票の画像を用いて、マクベス色票の各カラーパッチの分光反射率を推定した。図６は、実施例１－１における、本実施形態の推定装置１による分光反射率の推定結果を示すグラフである。図７は、実施例１－１における、比較例の推定装置による分光反射率の推定結果を示すグラフである。
　図６および図７のグラフにおいて、横軸は波長であり、縦軸は分光反射率である。また、各グラフにおいて、推定装置１または比較例の推定装置により推定された分光反射率は実線で示され、分光反射率の実測値は破線で示されている。また、各グラフの位置は、マクベス色票における各カラーパッチの位置と対応している。
　上述した通り、比較例の推定装置においては、光源が白色ＬＥＤの光のみであるとして対象物の分光反射率の推定を行った。本実施例の照明光は白色ＬＥＤの光とハロゲンランプの光とが混合した光であったため、光源の分光放射率はそれぞれの光の強度比に応じて図５の（ａ）に示すような変化を示した。このため、図７に示すように、推定された分光反射率は実測値と大きく異なるものとなった。
　一方、本実施形態の推定装置１においては、基準対象物２００として白色板の画像を撮像し、光源の分光放射率の推定を行った。その結果、光源の分光放射率が白色ＬＥＤおよびハロゲンランプの光の強度比に応じて図５の（ａ）に示すような変化を示しても、図６に示すように、マクベス色票における各カラーパッチの分光反射率を比較例の推定装置と比較して高い精度で推定することができた。
　（実施例１－２）
　実施例１－２では、白色ＬＥＤの光と太陽光とを強度比１：１で混合した光を照明光として撮影したマクベス色票の画像を用いてマクベス色票の各カラーパッチの分光反射率を推定した。図８は、実施例１－２における、本実施形態の推定装置による分光反射率の推定結果を示すグラフである。図９は、実施例１－２における、比較例の推定装置による分光反射率の推定結果を示すグラフである。
　図８および図９のグラフにおいて、横軸は波長であり、縦軸は反射率である。また、各グラフにおいて、推定装置１または比較例の推定装置により推定された分光反射率は実線で示され、分光反射率の実測値は破線で示されている。また、各グラフの位置は、マクベス色票におけるカラーパッチの位置と対応している。
　本実施例においても、比較例の推定装置においては、光源が白色ＬＥＤの光のみであるとして対象物の分光反射率の推定を行った。本実施例の照明光は白色ＬＥＤの光と太陽光とが混合した光であったため、光源の分光放射率はそれぞれの光の強度比に応じて図５の（ｂ）に示すような変化を示した。このため、実施例１－１と同様、比較例の推定装置による推定結果は、図９に示すように、実測値と大きく異なるものとなった。一方、本実施形態の推定装置１による推定結果は、図８に示すように、比較例の推定装置と比較して高い精度となった。
　なお、本実施例では、推定装置１において光源の分光放射率の推定に用いる分光放射率統計情報に、実際の光源（白色ＬＥＤの光とハロゲンランプの光または太陽光とが混合した光）に近い光源、または同じ光源のデータが含まれている。しかし、推定装置１は、実際の光源に近い光源、または同じ光源のデータが上記統計情報に含まれていなくても、光源の分光放射率を推定することができる。
　〔実施例２〕
　本実施形態の推定装置による分光反射率の推定の実施例について以下に説明する。本実施例では、白色ＬＥＤの光と太陽光とが強度比１：１で混合した光を照明光として撮像した人体の手の甲を対象物として、分光反射率の推定を行い、実測値と比較した。実測値の測定には、実施例１と同様、分光測色計（コニカミノルタ社製、ＣＭ－２６００ｄ）を用いた。
　本実施例では、分光反射率を推定するための統計情報として、ＩＳＯ（International Organization for Standardization）に登録されている分光放射率のデータベースであるＳＯＣＳ（Standard Object Colour Spectra database for colour reproduction evaluation）のデータを用いた。ＳＯＣＳには、女性の頬部分の素肌の、波長４００ｎｍ～７００ｎｍの範囲における１０ｎｍごとの分光反射率のデータが１２３通り含まれている。
　本実施例においても、本実施形態の推定装置１と比較するため、実施例１と同様の比較例（比較例１）の推定装置による分光反射率の推定を行った。また、本実施例においては、比較例２として、非特許文献１に記載されている、画像システム全体の分光特性が未知の場合における分光反射率の推定方法による推定を行った。
　比較例２の推定方法では、以下の式（Ｃ１）および（Ｃ２）により対象物の分光反射率の推定を行う。
　　Ｇ＝ｒ２ｖｔ（ｖｖｔ）－１　　（Ｃ１）
　　ｒｅｓ＝Ｇｇ２　　（Ｃ２）
ここで、Ｇは画像の出力値から対象物の分光反射率を推定するための推定行列である。ｒはマクベス色票に含まれる２４のカラーパッチそれぞれにおける実際の分光反射率の統計情報である。ｖは、上記のカラーパッチそれぞれに対応する画素値の統計情報である。
　比較例２の推定方法は、式（Ｂ２）において、システム行列Ｈ２全体が不明である場合に分光反射率を推定するための方法である。比較例２の推定方法では、マクベス色票の各パッチにおける分光反射率および画素値に基づいて推定を行う。
　図１０は、本実施例における分光反射率の推定結果を示すグラフである。図１０の（ａ）は、推定装置１による推定結果を示すグラフである。図１０の（ｂ）は、比較例１の推定装置による推定結果を示すグラフである。図１０の（ｃ）は、非特許文献１の推定方法（比較例２）による推定結果を示すグラフである。
　図１０の（ａ）～（ｃ）の各グラフにおいて、横軸は波長であり、縦軸は反射率である。また、各グラフにおいて、推定された分光反射率は実線で示され、分光反射率の実測値は破線で示されている。
　比較例１の推定装置による推定結果は、図１０の（ｂ）に示すように、実施例１における比較例の推定装置による推定結果と同様、実測値と大きく異なったものとなった。一方、非特許文献１の推定方法による推定結果は、図１０の（ｃ）に示すように、比較例１の推定装置による推定結果と比較して実測値に近い結果となった。
　しかし、本実施形態の推定装置１による推定結果は、図１０の（ａ）に示すように、非特許文献１の推定方法による推定結果と比較して、さらに実測値に近い結果となった。本実施形態の推定装置１による推定結果は、特に波長４００ｎｍ～４３０ｎｍ、５３０ｎｍ～５８０ｎｍの範囲において、非特許文献１の推定方法による推定結果と比較して、実測値のスペクトル形状が微細な凹凸までよく再現されている。
　これらの波長範囲における分光反射率を示すグラフの凹凸は、人体の素肌に透けて見える血液中のヘモグロビンによる光の吸収を反映していると考えられる。上述した通り、非特許文献１の推定方法ではマクベス色票を用いて分光反射率を推定する。しかし、マクベス色票のカラーパッチは顔料などで彩色されていてヘモグロビンを含まないため、ヘモグロビンによるこれらの波長帯域の光の吸収スペクトルの形状が反映されず、実測値との差が生じたと考えられる。
　〔実施例３〕
　本実施形態の推定装置１による推定方法の有効性について、シミュレーションによる検証を行った。シミュレーションでは、基準画像の画素値を、式（Ａ１）を用いて計算により求め、この画素値から分光放射率推定部２２による分光放射率の推定を行った。基準画像の画素値とは、様々な種類の光源からの光を照明光として照射された、基準対象物２００としての白色板を撮像した場合に、撮像部１０から得られると予想される画像の画素値である。
　図１１は本実施例における推定の結果を示すグラフである。それぞれのグラフは以下の光源からの光の分光放射率の推定結果を示す。
（ａ）：ｄ５５（補助標準イルミナントｄ５５（色温度５５０３Ｋの平均的な昼光））
（ｂ）：ｄ６５（標準イルミナントｄ６５（自然昼光））
（ｃ）：ｉｌｌ　Ａ（標準イルミナントＡ（白熱電球））
（ｄ）：ｉｌｌ　Ｃ（補助標準イルミナントＣ（北窓から入射する昼光））
（ｅ）：ＬＥＤ（ＴＯＴＯ（株）製）
（ｆ）：蛍光灯
（ｇ）：日光（７月のある日の１６時）
（ｈ）：ＬＥＤ（室内）
（ｉ）：蛍光灯（（ｆ）とは異なる）
図１１の（ａ）～（ｉ）の各グラフにおいて、横軸は波長であり、縦軸は分光反射率である。また、各グラフにおいて、推定された分光放射率は実線で示され、分光放射率の実測値は破線で示されている。
　シミュレーションでは、分光放射率推定部２２が用いる統計情報として、上記９種類の光源からの光の、分光放射率のＣＩＥ（国際照明委員会）規格値（上記（ａ）～（ｄ））および実測値（上記（ｅ）～（ｉ））を用いた。シミュレーションの結果、図１１の（ａ）～（ｉ）に示すように、多くの種類の光源からの光について、分光放射率を良好に推定することができた。ただし、（ｉ）の蛍光灯の実測値はいくつかの波長に鋭いピークを持っており、推定された分光放射率ではこれらのピークはあまりよく再現されていない。
　〔本実施形態における主な効果〕
　本実施形態の推定装置１によれば、分光放射率推定部２２は、対象物１００の撮像時に用いられる光源の分光放射率を推定する。そして分光反射率推定部２３は、分光放射率推定部２２が推定した分光放射率を用いて、対象物１００の分光反射率を推定する。それゆえ、対象物１００の撮像に用いられる光源の分光放射率が想定される値と大幅に異なる場合、または当該分光放射率が未知の場合であっても、対象物１００の分光反射率を精度良く推定することが可能となる。
　また、本実施形態の推定装置１によれば、分光反射率推定部２３は、分光放射率推定部２２により推定された分光放射率とともに、撮像部１０の分光特性値と、撮像部１０が撮像した対象画像の画素値と、分光反射率統計情報と、を用いて対象物１００の分光反射率を推定する。それゆえ、分光反射率推定部２３は、対象物１００の分光反射率を精度良く推定することができる。
　また、本実施形態の推定装置１によれば、分光放射率推定部２２は、分光放射率統計情報との二乗誤差が最小となるように、第１推定行列Ｗ１を用いて撮像時に用いられる光源の分光放射率を算出する。また、第１推定行列Ｗ１は式（Ａ４）により算出される。この第１推定行列Ｗ１はウィナー推定において用いられるものであり、分光放射率推定部２２はウィナー推定により光源の分光放射率を推定する。したがって、分光放射率推定部２２は光源の分光放射率を精度良く推定することができる。
　また、本実施形態の推定装置１によれば、分光反射率推定部２３は、分光反射率統計情報との二乗誤差が最小となるように、第２推定行列Ｗ２を用いて対象物１００の分光反射率を算出する。また、第２推定行列Ｗ２は式（Ｂ４）により算出される。第２推定行列Ｗ２は第１推定行列Ｗ１と同様、ウィナー推定において用いられるものであり、分光反射率推定部２３はウィナー推定により対象物１００の分光反射率を推定する。したがって、分光反射率推定部２３は対象物１００の分光反射率を精度良く推定することができる。
　なお、特許文献１に記載されているスペクトル推定システムでは、マルチバンド画像の撮像と同時にマクベス色票を撮像し、当該マクベス色票のグレーパッチの画像のＱＬ値と当該グレーパッチの分光反射率との関係を対応付けてルックアップテーブルを作成する。そして、上記スペクトル推定システムは、作成した１次元ルックアップテーブルを参照して、被写体（対象物）の原画像の画像データのＱＬ値から分光反射率を得る。
　しかし、特許文献１には、ルックアップテーブルを用いて分光反射率を得ることについては記載されているが、光源の分光放射率を推定可能なルックアップテーブルの作成方法については記載されていない。本実施形態の推定装置１は、まず光源の分光放射率を推定し、推定した分光放射率を用いて対象物１００の分光反射率を推定する点で、特許文献１に記載されているスペクトル推定システムと相違する。
　〔実施形態２〕
　本開示の他の実施形態について、図１２～図１４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図１２は、本実施形態の推定装置２の構成を示すブロック図である。図１２に示すように、推定装置２は、制御部２０の代わりに制御部２０Ａを備える点で推定装置１と相違する。制御部２０Ａは、制御部２０の構成に加えて、類似度算出部２４および統計情報特定部２５をさらに備える。
　また、推定装置２において、記憶部３０は、分光放射率統計情報として、複数の光源のそれぞれについての分光放射率の情報が混在する多種光源統計情報と、単一種類の光源についての分光放射率の情報のみからなる単一光源統計情報（単一分光放射率光源情報）とを記憶している。なお、多種光源統計情報は、単一光源統計情報の集合であってもよい。
　例えば多種光源統計情報は、ｄ５５（色温度５５０３Ｋの平均的な昼光）、ｄ６５（自然昼光）、ｉｌｌ　Ａ（白熱電球）、ｉｌｌ　Ｃ（北窓から入射する昼光）、および白色ＬＥＤのそれぞれについての分光放射率を含む。一方、単一光源統計情報は、例えば白色ＬＥＤについての単一光源統計情報、白熱電球についての単一光源統計情報といったように、光源の種類ごとに存在し、それぞれの単一光源統計情報には、対応する種類の光源の分光放射率の統計情報だけが含まれる。
　また、本実施形態における記憶部３０は、予め準備された、複数種類の光源のそれぞれについて測定された、各光源の典型的な分光放射率の統計情報を示す光源別分光放射率統計情報を含む典型分光放射率統計情報を記憶している。典型分光放射率統計情報は、例えば多種光源統計情報に含まれる、光源ごとの代表的な分光放射率（例えば太陽光の場合、標準光源Ｄ６５の分光放射率）であってもよく、各光源の複数の分光放射率の平均であってもよい。また、光源別分光放射率統計情報には、当該統計情報が示す光源の単一光源統計情報が対応付けられている。
　なお、一般的に分光放射率は光源の種類によって大きく異なるため、典型分光放射率統計情報の精度は、光源の種類を特定するという目的から、単一光源統計情報の精度より低くてもよい。例えば分光放射率統計情報が４００ｎｍ～７００ｎｍの範囲に１０ｎｍごとのデータ点を有するのに対し、典型分光放射率統計情報は４００ｎｍ～７００ｎｍの範囲に２０ｎｍごとのデータ点を有していてもよい。
　（制御部２０Ａ）
　制御部２０Ａにおいては、まず分光放射率推定部２２は、多種光源統計情報を分光放射率統計情報として用いて光源の分光放射率を推定する。また、分光放射率推定部２２は、単一光源統計情報を分光放射率統計情報として用いることにより、対象物１００の撮像時に用いられる光源の分光放射率を再度推定する。ここで分光放射率推定部２２が用いる単一光源統計情報は、後述する統計情報特定部２５が特定した典型分光放射率統計情報に含まれる光源別分光放射率統計情報に対応するものである。分光反射率推定部２３は、分光放射率推定部２２が再度推定した分光放射率を用いて、対象物１００の分光反射率を推定する。
　類似度算出部２４は、分光放射率推定部２２が推定した分光放射率と、典型分光放射率統計情報に含まれる光源別分光放射率統計情報との類似度を算出する。具体的には類似度算出部２４は、以下の式（Ｄ）により典型分光放射率統計情報に含まれる光源別分光放射率統計情報と、分光放射率推定部２２が推定した分光放射率との相関係数Ｒを算出する。
Figure JPOXMLDOC01-appb-M000003
　図１３の（ａ）は、複数の光源の光源別分光放射率統計情報を含む典型分光放射率統計情報の例を示すグラフである。図１３の（ｂ）は、分光放射率推定部２２が推定した分光放射率を示すグラフである。図１３の（ａ）および（ｂ）において、横軸は波長、縦軸は分光放射率である。なお、図１３の（ａ）および（ｂ）における分光放射率の値は、それぞれの光の種類における最大値を１とした場合における相対値である。
　図１３の（ａ）に示す典型分光放射率統計情報には、以下の光源の光源別分光放射率統計情報が含まれている。
・ｄ５５
・ｄ６５
・ｉｌｌ　Ａ
・ｉｌｌ　Ｃ
・白色ＬＥＤ
なお、類似度算出部２４は、図１３の（ａ）に示した種類の光源の全てについて推定した分光放射率との相関係数を算出する必要はない。また類似度算出部２４は、図１３の（ａ）に示した種類の光源以外の光源について、推定した分光放射率との相関係数を算出してもよい。
　図１３の（ｃ）は、図１３の（ａ）に示したそれぞれの光源の分光放射率と、図１３の（ｂ）に示した、推定した分光放射率の例との相関係数を示す表である。図１３の（ｃ）に示すように、この例では、推定した分光放射率との相関係数が最も大きい、すなわち照明光に最も近い光源はｄ５５である。
　統計情報特定部２５は、類似度算出部２４が算出した類似度のうち、最も高い類似度を示す光源別分光放射率統計情報を特定する。上述した通り、図１３の（ｃ）に示す例ではｄ５５の相関係数が最も高いため、統計情報特定部２５は、ｄ５５の光源別分光放射率統計情報を特定する。
　なお、統計情報特定部２５は、分光放射率推定部２２における分光放射率の推定に用いる単一光源統計情報を、必ずしも１つだけ特定する必要はない。例えば統計情報特定部２５は、推定した分光放射率との相関係数が大きい順に所定の数の光源のそれぞれに対応する単一光源統計情報を特定してもよい。また、例えば統計情報特定部２５は、推定した分光放射率との相関係数が所定の閾値以上である光源に対応する単一光源統計情報を全て特定してもよい。また、例えば統計情報特定部２５は、推定した分光放射率との相関係数の最大値との差が所定の閾値以内である光源に対応する単一光源統計情報をすべて特定してもよい。
　〔推定処理の流れ〕
　図１４は、推定装置２における処理の流れを示すフローチャートである。図１４に示す処理のうち、図４に示すフローチャートと共通するステップについては説明を省略する。
　推定装置２においては、基準画素特定部２１が基準画素を特定した（ＳＡ２）後、分光放射率推定部２２は、まず多種光源統計情報の自己相関行列を算出し（ＳＣ１）、光源を推定するためのシステム行列を算出し（ＳＣ２）、推定行列を算出し（ＳＣ３）、分光放射率を推定する（ＳＣ４）。
　その後、類似度算出部２４は、分光放射率推定部２２が推定した分光放射率と記憶部３０に記憶されている典型分光放射率統計情報に含まれる光源別光放射率統計情報との類似度を算出する（ＳＣ５）。そして、統計情報特定部２５は、類似度算出部２４が算出した類似度に基づいて、最も類似度が高い光源別分光放射率統計情報を分光放射率推定部２２において用いる分光放射率統計情報として特定する（ＳＣ６）。
　その後、分光放射率推定部２２は、統計情報特定部２５により特定された光源別分光放射率統計情報に対応する光源の単一光源統計情報を分光放射率統計情報として用いて自己相関行列を算出し（ＳＣ７）、分光放射率の推定に用いる第１推定行列を再度算出する（ＳＣ８）。そして、分光放射率推定部２２は、光源の分光放射率を再度推定する（ＳＣ９）。
　〔本実施形態における主な効果〕
　ウィナー推定の原理上、推定に用いる統計情報が実際の光源と類似しない光源についての情報を含む場合と、実際の光源と類似した光源についての情報だけを含む場合とを比較すると、後者の場合の方が分光放射率の推定の精度が高くなる。例えば光源が白色ＬＥＤであれば、いろいろな白色ＬＥＤの分光放射率だけについての統計情報を推定に用いた方が、他種の光源の分光放射率を含む統計情報を推定に用いるより精度が高くなる。同様に、例えば光源が白熱電球であれば、いろいろな白熱電球の分光放射率だけについての統計情報を推定に用いた方が、他種の光源の分光放射率を含む統計情報を推定に用いるより精度が高くなる。
　しかし、対象物１００の撮像時における光源は画像が撮像される環境によって異なり、また推定装置の使用者が意図しない光が混在する可能性がある。このため、光源の種類を予め決定しておくことは困難である。
　本実施形態の推定装置２によれば、統計情報特定部２５は、撮像時に用いられる光源の種類が不明な状態において推定した分光放射率との類似度が最も高い光源別分光放射率統計情報を特定する。そして分光放射率推定部２２は、特定された光源別分光放射率統計情報に対応する光源の単一光源統計情報を用いて分光放射率を再度推定し、推定された分光放射率を用いて、撮像装置が撮像した対象物の分光放射率を分光反射率推定部２３が推定する。
　すなわち、分光放射率推定部２２は、撮像時に用いられる光源、または当該光源と特性が近い光源の分光放射率の統計情報を用いて光源の分光放射率を推定することができる。換言すれば分光放射率推定部２２は、撮像時に用いられる光源を特定した上で、当該光源の分光放射率を推定することができる。そして分光反射率推定部２３は、このように推定された分光放射率を用いて対象物１００の分光反射率を推定するので、より精度良く上記分光反射率の推定を行うことができる。
　〔実施形態３：ソフトウェアによる実現例〕
　推定装置１、２の制御ブロック（特に基準画素特定部２１、分光放射率推定部２２、分光反射率推定部２３、類似度算出部２４、および統計情報特定部２５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、推定装置１、２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本開示の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本開示の態様１に係る推定装置（１、２）は、撮像装置（撮像部１０）の撮像対象となる対象物（１００）の分光反射率を推定する推定装置であって、（１）上記撮像装置の分光特性を示す既知の分光特性値と、（２）上記撮像装置が撮像した、分光反射率が既知である基準対象物（２００）を示す基準対象物画像の画素値と、（３）上記基準対象物の分光反射率と、（４）予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部（２２）と、上記分光放射率推定部が推定した分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定部（２３）と、を備える。
　一般に、撮像装置が撮像した対象物の分光反射率を推定する場合、その推定には、当該撮像に用いられる光源の分光放射率が用いられる。そのため、当該分光放射率が想定される値と大幅に異なる場合、または当該分光放射率が未知の場合には、推定される分光反射率を精度良く推定できない可能性がある。
　上記構成によれば、上記（１）～（４）に示す値を用いて、対象物の撮像時に用いられる光源の分光放射率を推定する。そして、推定された分光放射率を用いて、撮像装置が撮像した対象物の分光反射率を推定する。それゆえ、撮像に用いられる光源の分光放射率が想定される値と大幅に異なる場合、または当該分光放射率が未知の場合であっても、上記対象物の分光反射率を精度良く推定することが可能となる。
　さらに、本開示の態様２に係る推定装置では、上記態様１において、上記分光反射率推定部は、推定された上記分光放射率に加え、（１）上記既知の分光特性値と、（２）上記撮像装置が撮像した対象物を示す対象物画像の画素値と、（３）予め準備された、所定の環境下において測定された上記対象物の分光反射率の統計情報を示す分光反射率統計情報と、を用いて、上記対象物の分光反射率を推定することが好ましい。
　上記構成によれば、推定された分光放射率とともに、上記（１）～（３）に示す値を用いて、上記対象物の分光反射率が推定される。それゆえ、上記対象物の分光反射率を精度良く推定することができる。
　さらに、本開示の態様３に係る推定装置では、上記態様１または２において、上記基準対象物画像の画素値をｇ１、第１推定行列Ｗ１、としたとき、上記分光放射率Ｅｅｓを、次式、Ｅｅｓ＝Ｗ１ｇ１により推定するものであり、上記第１推定行列は、推定する上記分光放射率と上記分光放射率統計情報との二乗誤差が最小となるように、上記既知の分光特性値および上記基準対象物の分光反射率を用いて算出されることが好ましい。
　上記構成によれば、撮像時に用いられる光源の分光放射率は、分光放射率統計情報との二乗誤差が最小となるように、上記第１推定行列を用いて算出される。それゆえ、撮像時の光源の状態を考慮して上記分光放射率を推定することができる。
　さらに、本開示の態様４に係る推定装置では、上記態様３において、上記分光放射率推定部は、上記既知の分光特性値と上記基準対象物の分光反射率とを乗じた値をＨ１、上記分光放射率統計情報をＥ１、上記基準対象物画像の画素値をｇ１、上記Ｈ１の転置行列をＨ１ ｔ、上記Ｅ１の転置行列をＥ１ ｔ、としたとき、上記第１推定行列Ｗ１を、次式、Ｗ１＝Ｅ１Ｅ１ ｔＨ１ ｔ（Ｈ１ ｔＥ１Ｅ１ ｔＨ１ ｔ）－１により算出することが好ましい。
　上記構成によれば、上記第１推定行列は、二乗誤差を用いて所定の値を推定する手法のひとつであるウィナー推定において用いられるものである。すなわち、分光放射率の推定は、ウィナー推定を用いて行われる。それゆえ、撮像時に用いられる光源の分光放射率を精度良く推定することができる。
　さらに、本開示の態様５に係る推定装置では、上記態様２において、上記分光反射率推定部は、上記対象物画像の画素値をｇ２、第２推定行列Ｗ２、としたとき、上記分光反射率ｒｅｓを、次式、ｒｅｓ＝Ｗ２ｇ２により推定するものであり、上記第２推定行列は、推定する上記分光反射率と上記分光反射率統計情報との二乗誤差が最小となるように、上記既知の分光特性値および上記分光放射率推定部が推定した分光放射率を用いて算出されることが好ましい。
　上記構成によれば、撮像装置が撮像した対象物の分光反射率は、分光反射率統計情報との二乗誤差が最小となるように、上記第２推定行列を用いて算出される。それゆえ、上記対象物の分光反射率を精度良く推定することができる。
　さらに、本開示の態様６に係る推定装置では、上記態様５において、上記分光反射率推定部は、上記既知の分光特性値と上記分光放射率推定部によって推定された上記分光放射率とを乗じた値をＨ２、上記分光反射率統計情報をｒ２、上記Ｈ２の転置行列をＨ２ ｔ、上記ｒ２の転置行列をｒ２ ｔ、としたとき、上記第２推定行列Ｗ２を、次式、Ｗ２＝ｒ２ｒ２ ｔＨ２ ｔ（Ｈ２ ｔｒ２ｒ２ ｔＨ２ ｔ）－１により算出することが好ましい。
　上記構成によれば、上記第２推定行列は、上記ウィナー推定において用いられるものである。すなわち、分光反射率の推定は、ウィナー推定を用いて行われる。それゆえ、上記対象物の分光放射率を精度良く推定することができる。
　さらに、本開示の態様７に係る推定装置では、上記態様１から６のいずれかにおいて、（１）上記分光反射率推定部が推定した上記分光放射率と、（２）予め準備された、複数種類の光源のそれぞれについて測定された、各光源の分光放射率の統計情報を示す光源別分光放射率統計情報と、の類似度を算出する類似度算出部（２４）と、上記類似度算出部が算出した類似度のうち、最も高い類似度を示す光源別分光放射率統計情報を特定する統計情報特定部（２５）と、を備え、上記分光放射率推定部は、上記統計情報特定部が特定した光源別分光放射率統計情報に対応する光源の分光放射率の統計情報である単一分光放射率光源情報を、上記分光放射率統計情報として用いることにより、上記対象物の撮像時に用いられる光源の分光放射率を再度推定し、上記分光反射率推定部は、上記分光放射率推定部が再度推定した分光放射率を用いて、上記対象物の分光反射率を推定することが好ましい。
　上記構成によれば、撮像時に用いられる光源の種類が不明な状態において推定した分光放射率との類似度が最も高い光源別分光放射率統計情報を特定する。そして、特定された光源別分光放射率統計情報に対応する単一分光放射率光源情報を用いて分光放射率を再度推定し、推定された分光放射率を用いて、撮像装置が撮像した対象物の分光放射率を推定する。
　それゆえ、上記分光放射率を再度推定する場合に、撮像時に用いられる光源、または当該光源と特性が近い光源の分光放射率の統計情報を用いることができる。換言すれば、撮像時に用いられる光源を特定した上で、当該光源の分光放射率を推定することができる。そして、このように推定された分光放射率を用いて、撮像装置が撮像した対象物の分光反射率が推定されるので、より精度良く上記分光反射率の推定を行うことができる。
　さらに、本開示の態様８に係る推定装置の制御方法は、撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置の制御方法であって、（１）上記撮像装置の分光特性を示す既知の分光特性値と、（２）上記撮像装置が撮像した分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、（３）上記基準対象物の分光反射率と、（４）予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定工程と、上記分光放射率推定工程において推定された分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定工程と、を含む。
　上記方法によれば、上記態様１と同様の効果を奏する。
　本開示の各態様に係る推定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記推定装置が備える各部（ソフトウェア要素）として動作させることにより上記推定装置をコンピュータにて実現させる推定装置の推定プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の一態様の範疇に入る。
　〔付記事項〕
　本開示の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
　本出願は、2016年10月5日に出願された日本国特許出願：特願2016-197469に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　１、２　推定装置
　１０　撮像部（撮像装置）
　２２　分光放射率推定部
　２３　分光反射率推定部
　２４　類似度算出部
　２５　統計情報特定部
　１００　対象物
　２００　基準対象物

Claims (8)

  1. 　撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置であって、
    　（１）上記撮像装置の分光特性を示す既知の分光特性値と、（２）上記撮像装置が撮像した、分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、（３）上記基準対象物の分光反射率と、（４）予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定部と、
    　上記分光放射率推定部が推定した分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定部と、を備えることを特徴とする推定装置。
  2. 　上記分光反射率推定部は、推定された上記分光放射率に加え、（１）上記既知の分光特性値と、（２）上記撮像装置が撮像した対象物を示す対象物画像の画素値と、（３）予め準備された、所定の環境下において測定された上記対象物の分光反射率の統計情報を示す分光反射率統計情報と、を用いて、上記対象物の分光反射率を推定することを特徴とする請求項１に記載の推定装置。
  3. 　上記分光放射率推定部は、
    　　上記基準対象物画像の画素値をｇ１、
    　　第１推定行列をＷ１、としたとき、
    　上記分光放射率Ｅｅｓを、次式、
    　Ｅｅｓ＝Ｗ１ｇ１
    により推定するものであり、
    　上記第１推定行列は、推定する上記分光放射率と上記分光放射率統計情報との二乗誤差が最小となるように、上記既知の分光特性値および上記基準対象物の分光反射率を用いて算出されることを特徴とする請求項１または２に記載の推定装置。
  4. 　上記分光放射率推定部は、
    　　上記既知の分光特性値と上記基準対象物の分光反射率とを乗じた値をＨ１、
    　　上記分光放射率統計情報をＥ１、
    　　上記基準対象物画像の画素値をｇ１、
    　　上記Ｈ１の転置行列をＨ１ ｔ、
    　　上記Ｅ１の転置行列をＥ１ ｔ、としたとき、
    　上記第１推定行列Ｗ１を、次式、
    　Ｗ１＝Ｅ１Ｅ１ ｔＨ１ ｔ（Ｈ１ ｔＥ１Ｅ１ ｔＨ１ ｔ）－１
    により算出することを特徴とする請求項３に記載の推定装置。
  5. 　上記分光反射率推定部は、
    　　上記対象物画像の画素値をｇ２、
    　　第２推定行列をＷ２、としたとき、
    　上記分光反射率ｒｅｓを、次式、
    　ｒｅｓ＝Ｗ２ｇ２
    により推定するものであり、
    　上記第２推定行列は、推定する上記分光反射率と上記分光反射率統計情報との二乗誤差が最小となるように、上記既知の分光特性値および上記分光放射率推定部が推定した分光放射率を用いて算出されることを特徴とする請求項２に記載の推定装置。
  6. 　上記分光反射率推定部は、
    　　上記既知の分光特性値と上記分光放射率推定部によって推定された上記分光放射率とを乗じた値をＨ２、
    　　上記分光反射率統計情報をｒ２、
    　　上記Ｈ２の転置行列をＨ２ ｔ、
    　　上記ｒ２の転置行列をｒ２ ｔ、としたとき、
    　上記第２推定行列Ｗ２を、次式、
    　Ｗ２＝ｒ２ｒ２ ｔＨ２ ｔ（Ｈ２ ｔｒ２ｒ２ ｔＨ２ ｔ）－１
    により算出することを特徴とする請求項５に記載の推定装置。
  7. 　（１）上記分光放射率推定部が推定した上記分光放射率と、（２）予め準備された、複数種類の光源のそれぞれについて測定された、各光源の分光放射率の統計情報を示す光源別分光放射率統計情報と、の類似度を算出する類似度算出部と、
    　上記類似度算出部が算出した類似度のうち、最も高い類似度を示す光源別分光放射率統計情報を特定する統計情報特定部と、を備え、
    　上記分光放射率推定部は、上記統計情報特定部が特定した光源別分光放射率統計情報に対応する光源の分光放射率の統計情報である単一分光放射率光源情報を、上記分光放射率統計情報として用いることにより、上記対象物の撮像時に用いられる光源の分光放射率を再度推定し、
    　上記分光反射率推定部は、上記分光放射率推定部が再度推定した分光放射率を用いて、上記対象物の分光反射率を推定することを特徴とする請求項１から６のいずれか１項に記載の推定装置。
  8. 　撮像装置の撮像対象となる対象物の分光反射率を推定する推定装置の制御方法であって、
    　（１）上記撮像装置の分光特性を示す既知の分光特性値と、（２）上記撮像装置が撮像した分光反射率が既知である基準対象物を示す基準対象物画像の画素値と、（３）上記基準対象物の分光反射率と、（４）予め準備された、複数の光源について測定された分光放射率の統計情報を示す分光放射率統計情報と、を用いて、上記対象物の撮像時に用いられる光源の分光放射率を推定する分光放射率推定工程と、
    　上記分光放射率推定工程において推定された分光放射率を用いて、上記撮像装置が撮像した対象物の分光反射率を推定する分光反射率推定工程と、を含むことを特徴とする推定装置の制御方法。
PCT/JP2017/027146 2016-10-05 2017-07-27 推定装置、および推定装置の制御方法 WO2018066212A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-197469 2016-10-05
JP2016197469 2016-10-05

Publications (1)

Publication Number Publication Date
WO2018066212A1 true WO2018066212A1 (ja) 2018-04-12

Family

ID=61830836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027146 WO2018066212A1 (ja) 2016-10-05 2017-07-27 推定装置、および推定装置の制御方法

Country Status (1)

Country Link
WO (1) WO2018066212A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020119877A (ja) * 2019-01-23 2020-08-06 東芝ライテック株式会社 照明装置および照明システム
WO2021014869A1 (ja) * 2019-07-25 2021-01-28 パナソニックＩｐマネジメント株式会社 画像データ処理方法、画像データ処理装置、および画像データ処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009182845A (ja) * 2008-01-31 2009-08-13 Sharp Corp 画像処理装置および画像処理方法
JP2012078151A (ja) * 2010-09-30 2012-04-19 Olympus Corp 検査装置
JP2013033006A (ja) * 2011-08-03 2013-02-14 Toppan Printing Co Ltd 分光情報取得装置、分光情報取得方法及び分光情報取得用プログラム
US20130293702A1 (en) * 2010-11-01 2013-11-07 The Hong Kong Research Institute Of Textiles And Apparel Limited Multispectral imaging color measurement system and method for processing imaging signals thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009182845A (ja) * 2008-01-31 2009-08-13 Sharp Corp 画像処理装置および画像処理方法
JP2012078151A (ja) * 2010-09-30 2012-04-19 Olympus Corp 検査装置
US20130293702A1 (en) * 2010-11-01 2013-11-07 The Hong Kong Research Institute Of Textiles And Apparel Limited Multispectral imaging color measurement system and method for processing imaging signals thereof
JP2013033006A (ja) * 2011-08-03 2013-02-14 Toppan Printing Co Ltd 分光情報取得装置、分光情報取得方法及び分光情報取得用プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020119877A (ja) * 2019-01-23 2020-08-06 東芝ライテック株式会社 照明装置および照明システム
JP7326772B2 (ja) 2019-01-23 2023-08-16 東芝ライテック株式会社 照明装置
WO2021014869A1 (ja) * 2019-07-25 2021-01-28 パナソニックＩｐマネジメント株式会社 画像データ処理方法、画像データ処理装置、および画像データ処理システム

Similar Documents

Publication Publication Date Title
US10990793B2 (en) Techniques for creating characterization matrices for reflectance, illuminance, or sensor response
CN104897374B (zh) 一种相机模组的颜色校正方法
JP5174307B2 (ja) カラー信号処理
US8462227B2 (en) Digital camera module white balance calibration method and apparatus using only single illumination source data
US9270866B2 (en) Apparatus and method for automated self-training of white balance by electronic cameras
JP2012168181A (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
Jiang et al. Recovering spectral reflectance under commonly available lighting conditions
US11640101B2 (en) Determining spectral properties of an object through sequential illumination with different colors
JP2010127739A (ja) 分光感度特性測定装置および分光感度特性測定方法
WO2018066212A1 (ja) 推定装置、および推定装置の制御方法
Wannous et al. Improving color correction across camera and illumination changes by contextual sample selection
Shrestha et al. LED based multispectral film scanner for accurate color imaging
JP2020012668A (ja) 評価装置、計測装置、評価方法および評価プログラム
JP2010514046A (ja) デジタル画像の取得のためのカラーシーケンシャルフラッシュ
JP2007271567A (ja) カラーフィルタの色差安定波長特定方法及びプログラム
JP4174707B2 (ja) 分光測定システム、色再現システム
Li et al. Multi-spectral imaging using LED illuminations
JP6754674B2 (ja) 炭化タンタルの評価方法
Alvarez‐Cortes et al. Practical Low‐Cost Recovery of Spectral Power Distributions
Brydegaard et al. Chemometric approach to chromatic spatial variance. Case study: patchiness of the Skyros wall lizard
Párraga et al. Accurate mapping of natural scenes radiance to cone activation space: a new image dataset
Berns et al. Modifications of a sinarback 54 digital camera for spectral and high-accuracy colorimetric imaging: simulations and experiments
WO2017026296A1 (ja) 試料測定装置
Seo et al. Better understanding of digital photography for skin color measurement: With a special emphasis on light characteristics
CN109819150B (zh) 一种多通道图像采集装置以及采集多通道图像的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858052

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17858052

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP