WO2019123625A1 - 情報処理装置および表面粗さ取得方法 - Google Patents

情報処理装置および表面粗さ取得方法 Download PDF

Info

Publication number
WO2019123625A1
WO2019123625A1 PCT/JP2017/046106 JP2017046106W WO2019123625A1 WO 2019123625 A1 WO2019123625 A1 WO 2019123625A1 JP 2017046106 W JP2017046106 W JP 2017046106W WO 2019123625 A1 WO2019123625 A1 WO 2019123625A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase angle
image
surface roughness
polarization
change
Prior art date
Application number
PCT/JP2017/046106
Other languages
English (en)
French (fr)
Inventor
和田　信也
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2017/046106 priority Critical patent/WO2019123625A1/ja
Priority to JP2019559979A priority patent/JP7039616B2/ja
Priority to US16/771,936 priority patent/US11327329B2/en
Publication of WO2019123625A1 publication Critical patent/WO2019123625A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Definitions

  • the present invention relates to an information processing apparatus and an object recognition method for recognizing a state of an object or a shooting space using a photographed image.
  • a game in which a video camera captures a part of the body, such as the head of a user, and uses a display image in which predetermined areas such as eyes, a mouth, and a hand are extracted and replaced with another image (for example, Patent Document 1).
  • a user interface system that receives the movement of a mouth or hand photographed by a video camera as an operation instruction of an application.
  • the technology for photographing the real world and detecting the state of an object or performing information processing based thereon is not only electronic content, but also surveillance cameras, automatic operation systems, inspection devices in production lines, It has been introduced in a wide range of fields such as automatic control robots.
  • the appearance of the image of the subject in the captured image may change depending on the state of light due to the ambient brightness, the presence of an object, and the like. For example, even with the same subject, the color and luminance distribution of the image may change significantly, or the shape may be difficult to recognize because the contour is not clearly obtained. By the same principle, it may be difficult to distinguish whether the image of a certain object represents the original color or shape or the appearance obtained by chance of light from the photographed image alone. As a result, it is conceivable that the target is misidentified and the accuracy of the information processing in the subsequent stage is deteriorated. Therefore, there is a need for a technique that can more accurately recognize the state of an object using a captured image.
  • the present invention has been made in view of these problems, and an object thereof is to provide a technique capable of acquiring the state of an object with high accuracy using a captured image.
  • the information processing apparatus derives a change in polarization luminance representing an image of an object with respect to an azimuth using an image acquisition unit that acquires data of polarization images of a plurality of azimuths, and the polarization image, and And a surface roughness acquisition unit for acquiring the surface roughness of the subject by evaluating the characteristics of the phase angle with respect to the change of the specular reflectance with a predetermined standard. And an output data generation unit that generates and outputs data according to the surface roughness.
  • This surface roughness acquisition method comprises the steps of acquiring polarization image data of a plurality of azimuths, and using a polarization image to derive changes in the polarization luminance representing the image of the subject with respect to the azimuth, and also maximum polarization luminance.
  • Acquiring the surface roughness of the object by acquiring the azimuth at which the image is obtained as the phase angle, evaluating the characteristics of the phase angle with respect to the change in the specular reflectance based on a predetermined standard, and according to the surface roughness Generating and outputting data.
  • FIG. 7 is a diagram showing correspondence between the magnitude relationship between s-polarized light and p-polarized light included in light to be observed, and the relationship between the angle of the transmission axis and the luminance in the present embodiment.
  • FIG. 13 is a diagram showing a result of simulation for finding a change in luminance with respect to the angle of the transmission axis when the directions of s-polarized light and p-polarized light deviate from the x-axis and y-axis, respectively, in the present embodiment. It is a figure which shows a mode that surface roughness and a polarization state were modeled in this Embodiment.
  • FIG. 7 is a diagram for describing a relationship with a phase angle when the direction of the normal vector of the microplane is normal distribution in the present embodiment.
  • FIG. 7 is a diagram showing a result of simulation for finding a change in phase angle with respect to the specular reflectance when an object surface is modeled as an aggregate of minute planes different in the normal direction in the present embodiment.
  • FIG. 8 is a diagram showing a change in phase with respect to specular reflectance when the diffuse reflectance is changed in the present embodiment.
  • FIG. 6 is a diagram showing a change in phase angle with respect to specular reflectance when the ratio of s-polarized light and p-polarized light in specularly reflected light is changed in the present embodiment. It is a figure which shows the internal circuit structure of the information processing apparatus in this Embodiment. It is a figure which shows the structure of the functional block of the information processing apparatus in this Embodiment.
  • FIG. 20 It is a figure which shows the structural example of an image pick-up element provided with a polarizer layer which can be introduce
  • FIG. 1 It is a figure which shows the example which drew the change with respect to the specular reflectivity of the phase angle used in this Embodiment, and the object which has the surface roughness corresponding to it.
  • FIG. 1 it is a flow chart which shows a processing procedure in which an information processor acquires information including surface coarseness of a subject from a photography picture, and outputs necessary data.
  • FIG. 1 shows a configuration example of an information processing system according to the present embodiment.
  • the information processing system includes an imaging device 12 for imaging a subject 8, an information processing device 10 for acquiring data of the captured image and performing predetermined information processing, and a display device 16 for outputting a result of the information processing.
  • the information processing system may further include an input device for receiving an operation on the information processing apparatus 10 from the user.
  • the information processing apparatus 10 may be further communicable with an external apparatus such as a server by connecting to a network such as the Internet.
  • the information processing device 10, the imaging device 12, and the display device 16 may be connected by a wired cable, or may be wirelessly connected by a wireless LAN (Local Area Network) or the like. Further, any two or more of the information processing device 10, the imaging device 12, and the display device 16 may be combined to form an integral device.
  • the information processing system may be realized by a camera or a portable terminal equipped with them.
  • the display device 16 may be a head mounted display for displaying an image in front of the eye by the user wearing the head, and the head mounted display may be provided with the imaging device 12 so as to capture an image corresponding to the user's line of sight. It is also good.
  • the external shape of the information processing device 10, the imaging device 12, and the display device 16 is not limited to that illustrated.
  • the information processing apparatus 10 sequentially acquires data of an image captured by the imaging apparatus 12, performs image analysis including specification of the surface roughness of the subject, and performs information processing based on the result. Data of a display image or sound is generated and output to the display device 16.
  • the content of the information processing performed by the information processing apparatus 10 as a result of the image analysis is not particularly limited.
  • a predetermined target included in the subject 8 may be used as a game controller, and the movement may be recognized as a user operation to progress the electronic game or any information processing.
  • the controller may be replaced with a virtual object on the captured image to form a display image, or a virtual object that interacts with the subject may be drawn.
  • a virtual object drawn in a view corresponding to the line of sight of the user may be displayed on the head mounted display.
  • FIG. 2 illustrates an image of the sphere of the subject 8.
  • high brightness is obtained locally at the central part of the image of the sphere.
  • Such an image is obtained, for example, when a light having a relatively high directivity is irradiated from the front side of the drawing to a sphere of a material easily reflecting specularly. That is, it is considered that specular reflection predominates in the central portion of the sphere and diffuse reflection predominates in the vicinity of the contour.
  • specular reflection is light emitted from a light source and specularly reflected on the surface of an object
  • diffuse reflection is light that reaches the inside of the object, is scattered by pigment particles, and appears on the surface.
  • the dichroism reflection model the light observed by the imaging device 12 is represented by the sum of components of the reflected light in the direction of the imaging surface.
  • the luminance at the central portion is lower than that of (a), and the change in luminance toward the contour is gradual.
  • the luminance in the central portion is lower and there is no large difference with the luminance near the contour.
  • the change of the images of (b) and (c) with respect to the image of (a) can be caused by the increase of the area of the light source.
  • similar changes can also be caused by increased surface roughness of the spheres.
  • the term "roughness” refers to the variation in height and surface orientation due to asperities on the surface of the object which is about a micrometer, and the larger the variation, the larger the roughness. Surface roughness is a parameter generally used in the field of member processing technology and the like.
  • the surface roughness of the subject is specified as a parameter not influenced by the state of light using a polarization image.
  • FIG. 3 schematically shows a photographing environment of a polarized image used in the present embodiment.
  • the imaging device 12 shoots a space including the subject 72 via the linear polarization plate 70. More specifically, the imaging device 12 is a straight line among the reflected light composed of a specular reflection component in which the light emitted from the light source 74 reflects the subject 72 and a diffuse reflection component scattered in the subject 72. The polarized light oscillating in the direction determined by the polarizing plate 70 is observed.
  • an angle ⁇ between the normal vector n at the observation point a and the light ray reaching the point a from the light source 74 is incident angle, and a plane 76 containing the light ray and the normal vector n I call it a face.
  • the angle .theta. 'Between the light ray reaching the point a from the inside of the subject 72 and the normal vector n is the incident angle
  • the plane 76 including the light ray and the normal vector n is the light entrance surface.
  • the linearly polarizing plate 70 transmits only linearly polarized light that vibrates in a certain direction out of the reflected light reaching the imaging device 12 from the observation point a.
  • the vibration direction of the polarized light to be transmitted is referred to as the transmission axis of the linear polarization plate 70. If the linear polarizer 70 is rotated about an axis perpendicular to the plane, the transmission axis can be taken in any direction. If the light reaching the imaging device 12 is non-polarized light, the observed luminance is constant even if the linear polarization plate 70 is rotated.
  • general reflected light causes a change in the observed luminance with respect to the direction of the transmission axis due to the partial polarization. Also, the appearance of the change in luminance differs depending on the ratio of specular reflection and diffuse reflection and the incident angle.
  • FIG. 4 compares the change in polarization direction with respect to the incident angle by specular reflection and diffuse reflection.
  • s-polarized light is a component that vibrates in a direction perpendicular to the incident surface
  • p-polarized light is a component that vibrates in a direction parallel to the incident surface.
  • specular and diffuse reflection the ratio of s-polarization to p-polarization depends on the angle of incidence.
  • light of specular reflection is dominated by s-polarization regardless of the incident angle. Therefore, the observation luminance is maximum when the transmission axis of the linear polarization plate 70 is perpendicular to the incident plane, and the observation luminance is minimum when the transmission axis is parallel to the entrance plane.
  • the light of diffuse reflection is the opposite, and the observation brightness is maximum when the transmission axis of the linear polarization plate 70 is parallel to the incident plane, and the observation brightness is minimum when the transmission axis is perpendicular to the incident plane. Therefore, the change in luminance obtained by capturing a polarized light image in various transmission axis directions includes information on the content ratio of the specular reflection component and the diffuse reflection component, and the incident angle. Also in this embodiment, such change in luminance of polarized light is used.
  • FIG. 5 is a diagram for explaining the definition of parameters used in the present embodiment. Similar to FIG. 3, an image of the observation point a is formed at the position b on the virtual image plane 80 by the light beam 82 that reaches the imaging device 12 from the observation point a on the subject 72 via the linear polarization plate 70 .
  • the horizontal rightward direction viewed from the imaging device 12 is the x axis
  • the vertically upward direction is the y axis.
  • the angle formed is the polarization orientation ⁇ .
  • the behavior of the luminance I observed at the position b with respect to the change of the polarization orientation ⁇ is determined by the ratio of the specular reflection component and the diffuse reflection component and the incident angle ⁇ .
  • the s-polarized light and the p-polarized light are lights vibrating in the vertical direction and the horizontal direction with respect to the incident surface 76, respectively.
  • FIG. 6 illustrates the change in luminance I with respect to the polarization orientation ⁇ .
  • the upper part of the figure shows the case where light reaching the imaging device 12 is only specular reflection, and the lower part shows only the case of diffuse reflection, both of which have a sine wave shape with a period of 180 °.
  • the polarization direction ⁇ s when the luminance I of specular reflection takes the maximum value Imax has a difference of 90 ° with the polarization direction ⁇ d when the luminance I of diffuse reflection takes the maximum value Imax. This is because, as shown in FIG. 4, s-polarization is dominant in specular reflection and p-polarization is dominant in diffuse reflection.
  • the polarization orientation ( ⁇ s-90 °) at which the luminance is minimum in specular reflection or the polarization orientation at which the luminance is maximum in diffuse reflection ⁇ d represents the angle of the incident plane on the image plane.
  • the angle is generally called azimuth.
  • the polarization direction at which the luminance of the observed polarization is maximum is referred to as a phase angle ⁇ .
  • the change of the luminance I shown in FIG. 6 can be expressed by the following equation.
  • FIG. 7 exemplifies the result of acquiring the change of the phase angle ⁇ ⁇ ⁇ ⁇ in the actual photographed image.
  • the upper part of the figure represents a photographed image 90 of a cylindrical object, and the lower part represents a change 94 of the phase angle ⁇ ⁇ ⁇ ⁇ at a line 92 on the image plane.
  • the phase angle ⁇ extracts the luminance of the pixels constituting the line 92 from a plurality of polarized images taken at different angles of the transmission axis, and acquires the change in the luminance with respect to the polarization direction as shown in FIG. Obtained by
  • FIG. 8 shows the relationship between the angle of the transmission axis and the brightness when it is assumed that only s-polarized light is observed.
  • (A) shows a state in which the linear polarization plate 70 having the transmission axis 86 is rotated in the xy plane.
  • the azimuth angle is taken as the y-axis direction
  • the vibration direction of s-polarized light perpendicular to it is taken as the x-axis.
  • the luminance is maximum when the transmission axis 86 is in the x-axis direction, and is minimum when the transmission axis 86 is in the y-axis direction.
  • FIG. 9 shows the relationship between the angle of the transmission axis and the brightness when p-polarization is mixed with the light to be observed for the assumption of FIG.
  • (A) is a view similar to (a) of FIG. 8, in which the x-axis represents the vibration direction of s-polarized light, and the angle between the transmission axis 86 and the x-axis is ⁇ .
  • the incident light includes p-polarization of the electric field component Ep.
  • FIG. 8 (b) shows the luminance I in this case in the same format as FIG. 8 (b).
  • FIG. 10 shows the correspondence between the magnitude relationship between s-polarized light and p-polarized light included in the light to be observed, and the relationship between the angle of the transmission axis and the luminance.
  • the left end is a change in luminance when s-polarization is larger than p-polarization, and corresponds to (b) in FIG.
  • the center is the change in luminance when p-polarization is greater than s-polarization when the proportions of s-polarization and p-polarization are equal.
  • the phase angle ⁇ 0 °
  • the phase angle ⁇ 90 °. That is, according to the above theory, the phase angle ⁇ is either 0 ° or 90 ° and does not take an intermediate value, with the ratio of s-polarization and p-polarization being equal.
  • the phase angle ⁇ in this case is such that the vibration direction of s-polarized light is the x-axis.
  • the phase angle ⁇ changes gently.
  • a parameter of the surface roughness of the subject is introduced. That is, in the example described so far, as shown in FIG. 5, it is assumed that the specular reflection component is uniformly reflected in the regular reflection direction from the incident light.
  • the surface has roughness, that is, if there are fine irregularities on the surface, the direction of the normal vector changes in a small area, and as a result, the reflection direction of the specular reflection component becomes uneven. .
  • FIG. 11 shows the result of simulation for determining the change in luminance with respect to the transmission axis angle when the s-polarized light and p-polarized light are deviated from the x-axis and y-axis, respectively.
  • Es: Ep 0.8: 0.2.
  • the upper part of the same figure shows how the linear polarization plate 70 having the transmission axis 86 is rotated in the xy plane.
  • an azimuth that is, an angle of the vibration direction of p-polarized light with reference to the y-axis is ⁇ .
  • the transmission axis at which the luminance is maximum has an inclination relative to the x axis.
  • the azimuth angle ⁇ is defined with reference to the y axis as shown in the drawing
  • the phase angle ⁇ with respect to the x axis of light having a large proportion of s-polarization is equal to the azimuth angle ⁇ . Since the azimuth angle depends on the direction of the normal vector of the object surface, it can be said that the phase angle ⁇ ⁇ changes depending on the normal vector.
  • FIG. 12 shows how surface roughness and polarization state are modeled. As illustrated, when the surface of the subject has fine unevenness, the light observed by the imaging device 12 through the linear polarization plate 70 is obtained by overlapping the reflected light from the minute plane 96 having different normal directions. It becomes a thing.
  • FIG. 13 is a diagram for explaining the relationship with the phase angle ⁇ when the direction of the normal vector of the microplane is a normal distribution.
  • the center value of s-polarization is 0 °
  • the direction of the normal vector becomes a normal distribution
  • the polarization orientation of s-polarization also becomes a normal distribution centered at 0 °.
  • the polarization direction of p-polarized light has a normal distribution centered on 90 °.
  • the phase angle ⁇ is 0 °.
  • the phase angle ⁇ is 90 °.
  • the component ratio of s-polarized light and p-polarized light also becomes equal.
  • the phase angle ⁇ takes an intermediate value of 0 ° to 90 °.
  • FIG. 14 shows the results of simulation for determining the change in the phase angle ⁇ ⁇ ⁇ ⁇ with respect to the specular reflectance Rs when the object surface is modeled as a collection of microplanes different in the normal direction.
  • the number of microplanes is 40,000, and the azimuths of the microplanes are normally distributed with standard deviation (90 * ⁇ ) ° around the y axis.
  • ⁇ represents the degree of variation of the azimuth angle and hence the roughness of the surface.
  • the ratio of s-polarization to p-polarization in specular reflection light is 0.7: 0.3
  • the ratio of s-polarization to p-polarization in diffuse reflection light is 0.3: 0.7
  • diffuse reflectance Rd is 0.5. It is considered constant.
  • the phase angle ⁇ also changes suddenly as described above. Specifically, when the specular reflectance Rs is smaller than 0.5, the proportion of p-polarization is large, so the phase angle ⁇ is 90 °, and when the specular reflectance Rs is larger than 0.5, the proportion of s-polarized light is large.
  • the phase angle ⁇ is 0 °.
  • FIG. 15 shows the change of the phase angle ⁇ ⁇ ⁇ ⁇ with respect to the specular reflectance Rs when the diffuse reflectance Rd is changed under substantially the same conditions as FIG.
  • ⁇ 0.60
  • the diffuse reflectance Rd is increased as going from the left to the right in the figure.
  • the specular reflectance Rs increases when the ratio between s-polarized light and p-polarized light reverses, so the range in which the phase angle ⁇ ⁇ changes also shifts, but if ⁇ is equal, the rate of the change Is the same.
  • FIG. 16 shows a change in phase angle ⁇ ⁇ ⁇ ⁇ with respect to the specular reflectance Rs when the ratio of s-polarized light to p-polarized light in specularly reflected light is changed under substantially the same conditions as FIG.
  • ⁇ 0.60.
  • the ratio of s-polarization to p-polarization in specular reflection light is shown as s: p, but the ratio of s-polarization to p-polarization in the diffuse reflection component changes at 1-s: 1-p.
  • phase angle ⁇ does not exist because it becomes a non-polarization state where s-polarization and p-polarization become equal regardless of the specular reflectance .
  • the phase angle ⁇ ⁇ changes similarly to the specular reflectance. That is, as shown in the lower left of the figure, if there is a slight difference between the s-polarized light and the p-polarized light, and even if the degree of polarization is low, a change in the phase angle ⁇ worthy of evaluation can be obtained. Also, as shown in FIG. 4, the ratio of s-polarization to p-polarization varies depending on the incident angle to the object. Therefore, from the results shown in the figure, the change of the phase angle ⁇ does not depend on the incident angle.
  • the way of changing the phase angle 0 from 90 ° to 0 ° with respect to the increase of the specular reflectance represents the surface roughness independently of the degree of polarization, the incident angle, and the diffuse reflectance. I understand that Therefore, the information processing apparatus 10 according to the present embodiment specifies the surface roughness of the subject by evaluating the method of the change based on a predetermined reference.
  • FIG. 17 shows an internal circuit configuration of the information processing apparatus 10.
  • the information processing apparatus 10 includes a central processing unit (CPU) 23, a graphics processing unit (GPU) 24, and a main memory 26. These units are connected to one another via a bus 30. An input / output interface 28 is further connected to the bus 30.
  • CPU central processing unit
  • GPU graphics processing unit
  • main memory 26 main memory
  • the I / O interface 28 outputs data to a peripheral device interface such as USB or IEEE 1394, a communication unit 32 including a wired or wireless LAN network interface, a storage unit 34 such as a hard disk drive or nonvolatile memory, and the display device 16
  • a peripheral device interface such as USB or IEEE 1394
  • a communication unit 32 including a wired or wireless LAN network interface
  • a storage unit 34 such as a hard disk drive or nonvolatile memory
  • An output unit 36, an input unit 38 for inputting data from an imaging device 12 or an input device (not shown), and a recording medium drive unit 40 for driving a removable recording medium such as a magnetic disk, an optical disk or a semiconductor memory are connected.
  • the CPU 23 controls the entire information processing apparatus 10 by executing the operating system stored in the storage unit 34.
  • the CPU 23 also executes various programs read from the removable recording medium and loaded into the main memory 26 or downloaded via the communication unit 32.
  • the GPU 24 has a function of a geometry engine and a function of a rendering processor, performs drawing processing according to a drawing command from the CPU 23, and stores display image data in a frame buffer (not shown). Then, the display image stored in the frame buffer is converted into a video signal and output to the output unit 36.
  • the main memory 26 is configured by a RAM (Random Access Memory), and stores programs and data necessary for processing.
  • FIG. 18 shows the configuration of functional blocks of the information processing apparatus 10 according to the present embodiment.
  • each element described as a functional block performing various processing in the same figure can be configured by each main circuit such as the CPU 23, the GPU 24 and the main memory 26 shown in FIG.
  • each main circuit such as the CPU 23, the GPU 24 and the main memory 26 shown in FIG.
  • a recording medium driven by the recording medium drive unit 40 a program loaded from the storage unit 34 to the main memory 26, and the like. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any of them.
  • the information processing apparatus 10 includes an image acquisition unit 50 that acquires data of a captured image from the imaging device 12, an image data storage unit 52 that stores data of the acquired image, and image analysis including surface roughness specification of an object captured in the captured image. And an output data generation unit 56 that generates data to be output using the analysis result.
  • the image acquisition unit 50 is realized by the input unit 38, the CPU 23, and the like in FIG. 17, and acquires data of a photographed image including a polarization image from the imaging device 12.
  • polarization images data of polarization images in three directions corresponding to transmission axes in at least three directions is acquired.
  • the polarization image may be captured each time the linear polarization plate 70 disposed on the front of the imaging device 12 is rotated as shown in FIG. 3 and stopped in a predetermined direction, or as described later
  • An image sensor provided with a polarizer layer including a directional polarizer may be introduced and imaged. In this case, it is possible to acquire polarized images in a plurality of directions by one shooting.
  • the image acquisition unit 50 may further acquire data of a general-color captured image.
  • the captured image to be acquired may be a moving image or a still image.
  • the image acquisition unit 50 sequentially stores the acquired captured image data in the image data storage unit 52.
  • the image analysis unit 54 is realized by the CPU 23 and the GPU 24 shown in FIG. 16 and performs image analysis including acquisition of the surface roughness of a subject using data stored in the image data storage unit 52.
  • the image analysis unit 54 includes a phase acquisition unit 58, a surface roughness acquisition unit 60, and a spatial information acquisition unit 62.
  • the phase acquisition unit 58 extracts the luminance for each corresponding pixel of the polarization image of a plurality of azimuths, and derives the change of the luminance with respect to the polarization azimuth. If the polarization image has three orientations of ⁇ 1, ⁇ 2 and ⁇ 3, the curve passing through the three points of their coordinates ( ⁇ 1, I1), ( ⁇ 2, I2) and ( ⁇ 3, I3) can be expressed using the least squares method etc. By approximating to a function of 1, a continuous function as shown in FIG. 6 is obtained. The azimuth ⁇ at which the maximum luminance Imax is obtained is the phase angle ⁇ .
  • the polarization image is not limited to three orientations, and may be approximated by curves from four or more coordinates using polarization images with four or more orientations.
  • phase angle ⁇ may be obtained only at the position of the image of the object or the image of the object at which the specular reflectance changes.
  • the region of the image of the object may use the result of edge extraction or contour extraction performed by existing filtering processing, or in the case of a moving image, the tracking result from the previous frame.
  • the position at which the specular reflectance changes may be specified by obtaining a normal vector using a polarization image. Techniques for acquiring the distribution of normal vectors from polarization images are generally known.
  • the horizontal axis may be a parameter having a one-to-one correspondence with the specular reflectance, and the horizontal axis may be the relevant position if the position on the specific line in the image of the subject and the specular reflectance are in a proportional relationship.
  • the roughness can be identified by comparison by taking the same parameter as the acquisition of the reference roughness on the horizontal axis.
  • the change in the ratio of p-polarization and s-polarization causes a change in phase angle ⁇ , so if such a change is obtained, the horizontal axis is not a specular reflectance or a parameter according to it. Good. If there is a situation in which the specular reflectance is constant and the diffuse reflectance changes, the horizontal axis may be the diffuse reflectance.
  • the surface roughness acquisition unit 60 acquires the surface roughness by illuminating the change of the phase angle ⁇ obtained in this manner with a predetermined evaluation standard. For example, the inclination (first derivative) of the phase angle ⁇ ⁇ ⁇ ⁇ with respect to the specular reflectance Rs is calculated, and the maximum value is obtained.
  • the change in the phase angle ⁇ ⁇ ⁇ is gradual, and the surface roughness is larger as the maximum value of the slope is smaller.
  • the width of the specular reflectance Rs at which the slope of the phase angle ⁇ is equal to or greater than the threshold may be evaluated. In this case, it can be said that the surface roughness is larger as the width is larger.
  • the second derivative of the phase angle ⁇ ⁇ ⁇ ⁇ with respect to the specular reflectance Rs may be calculated. The second derivative represents the curvature in the range where the phase angle ⁇ starts to deviate from 90 ° or 0 °. In this case, as the maximum value of the second derivative value is smaller, the change of the phase angle ⁇ ⁇ ⁇ is gentler, and hence it can be said that the surface roughness is larger.
  • the surface roughness acquisition unit 60 internally holds a lookup table in which the actual surface roughness measured in advance and the evaluation result of the phase angle ⁇ are associated, and refers based on the evaluation result obtained from the photographed image Thus, the absolute value of the surface roughness may be obtained.
  • Various parameters representing the surface roughness have been put to practical use, and any of them may be defined. Alternatively, as described above, only the relative roughness may be obtained by comparison with the reference evaluation result.
  • the space information acquisition unit 62 detects the state of the subject or recognizes the subject based on the obtained information on the surface roughness. Or separate the image of the subject of a specific roughness from others. Alternatively, if the surface roughness is known, the size and position of the light source can be known from the luminance distribution of the image as shown in FIG. 2, so that further image analysis may be performed using that information. For example, for another subject whose surface roughness has not been acquired, the surface roughness can be obtained from the luminance distribution based on the position and size of the light source. Assuming the position and size of the light source, a virtual model imitating the subject is drawn and compared with the image on the photographed image to determine the material of the subject, apply an appropriate reflection model, and accurately measure Line vectors can also be determined.
  • the output data generation unit 56 is realized by the CPU 23, the GPU 24, the output unit 36, and the like of FIG. 16 and performs predetermined information processing based on the information specified by the image analysis unit 54 and outputs data such as a display image and sound Generate and output.
  • the content of the information processing performed here is not particularly limited. For example, if an image of a subject can be specified based on surface roughness and positions of various objects in real space can be recognized, it can be used for an on-vehicle camera or for automatic control of a robot.
  • the motion is converted into commands and the corresponding information processing is performed, or an image obtained by replacing them with a virtual object or an image obtained by drawing a virtual object interacting with them is generated.
  • the information processing based on the surface roughness can be considered variously, and the output data generation unit 56 may implement any of them. Alternatively, only the surface roughness data acquired by the surface roughness acquisition unit 60 of the image analysis unit 54 may be output.
  • FIG. 19 shows a structural example of an imaging device provided with a polarizer layer that can be introduced into the imaging device 12 in the present embodiment.
  • the figure schematically shows the functional structure of the element cross section, and detailed structures such as interlayer insulating films and wirings are omitted.
  • the imaging device 110 includes a microlens layer 112, a wire grid polarizer layer 114, a color filter layer 116, and a light detection layer 118.
  • the wire grid type polarizer layer 114 includes a polarizer in which a plurality of linear conductor members are arranged in stripes at intervals smaller than the wavelength of incident light. When light collected by the microlens layer 112 is incident on the wire grid type polarizer layer 114, polarization components in a direction parallel to the line of the polarizer are reflected, and only vertical polarization components are transmitted.
  • a polarized light image is acquired by detecting the transmitted polarized light component by the light detection layer 118.
  • the light detection layer 118 has a semiconductor element structure such as a general charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.
  • CMOS complementary metal oxide semiconductor
  • the wire grid type polarizer layer 114 includes an arrangement of reading units of charge in the light detection layer 118, that is, polarizers whose transmission axes differ by pixel units or larger units.
  • the polarizer array 120 when the wire grid type polarizer layer 114 is viewed from the top is illustrated.
  • the shaded lines in the figure are the conductors (wires) that make up the polarizer.
  • the dotted line rectangles respectively indicate the regions of the polarizers of the transmission axis in one direction, and the dotted lines themselves are not actually formed.
  • polarizers of transmission axes in four directions are arranged in four regions 122a, 122b, 122c, 122d in two rows and two columns.
  • the polarizers on the diagonal line have orthogonal transmission axes, and adjacent polarizers have a difference of 45 °. That is, four direction polarizers are provided at an interval of 45 °.
  • polarization information in four directions of 45 ° may be obtained in each area corresponding to the four areas 122a, 122b, 122c, 122d. It can.
  • the color filter layer 116 is provided between the wire grid type polarizer layer 114 and the light detection layer 118.
  • the color filter layer 116 includes, for example, an array of filters that transmit red, green, and blue light in correspondence with each pixel.
  • polarization information can be obtained for each color according to the combination of the direction of the transmission axis of the polarizer in the wire grid type polarizer layer 114 positioned above and below and the color of the filter in the color filter layer 116. That is, since polarization information of the same azimuth and the same color is discretely obtained on the image plane, a polarization image for each azimuth and for each color can be obtained by appropriately interpolating it.
  • non-polarization color images can also be reproduced by calculating polarization images of the same color.
  • An image acquisition technique using a wire grid type polarizer is also disclosed, for example, in Japanese Patent Application Laid-Open No. 2012-80065 and the like.
  • the color filter layer 116 can be omitted if a color image is not necessary for other uses.
  • the polarizer is not limited to the wire grid type, and a linear dichroism polarizer may be used.
  • FIG. 20 illustrates the relationship between the position of the object surface and the specular reflectance.
  • the elevation angle to the imaging surface of the imaging device 12 varies depending on the position on the subject 98. That is, in the illustrated state, the elevation angle becomes shallower as it is farther from the imaging surface.
  • the incident angle ⁇ f of light observed as specular reflection at a position c f away from the imaging surface is the incident angle ⁇ of light observed as specular reflection at a position c n near the imaging surface It becomes larger than n . If the refractive index of the subject 98 is constant, it is known that the reflectance increases as the incident angle increases (Fresnel reflection).
  • the specular reflectance changes monotonously on the line connecting the position c n to the position c f . Consequently, the change of the phase angle ⁇ ⁇ ⁇ ⁇ with respect to the position on the line is equivalent to the change of the phase angle ⁇ ⁇ ⁇ ⁇ with respect to the specular reflectance.
  • FIG. 21 illustrates the relationship between the position of the surface of the subject having a shape different from that of FIG. 20 and the specular reflectance.
  • the subject 100 has a convex curved surface shape.
  • the elevation angle from each position on the surface of the subject 100 to the imaging surface changes more greatly than in the case of the planar shape shown in FIG. That is, since the difference between the incident angle ⁇ n at the position c n close to the imaging surface and the incident angle ⁇ f at the far position c f of the light observed as specular reflection becomes larger than in the case of the planar shape, consider Fresnel reflection And the difference in reflectance also increases.
  • FIG. 22 schematically shows the phase angle ⁇ as a function of position in a shooting environment as shown in FIGS. That is, the change in the phase angle ⁇ from the position c n to the point c f on the image 104 of the subject in the photographed image 102 on the upper side is shown on the lower side.
  • the shape of the subject is a plane or a curved surface.
  • the change in phase angle ⁇ is also slow as shown in (a).
  • the change of the reflectance on the object surface is rapid, the scale of the horizontal axis is reduced. As a result, even if the surface roughness is equal, as shown in (b) The change is sudden.
  • the phase angle ⁇ is obtained in the same range on the image and the surface roughness is derived from the inclination or the like, it is necessary to take account of any difference in the shape of the object.
  • the distribution of normal vectors in the same range is determined from polarization images of multiple azimuths, and the scale of the horizontal axis is adjusted based thereon.
  • the specular reflectance can be obtained by calculation, so even if the horizontal axis is strictly the specular reflectance, the phase angle ⁇ is represented. Good.
  • the difference in shape does not affect the surface roughness relative to the horizontal axis.
  • the influence of the shape may be minimized by acquiring the change of the phase angle ⁇ ⁇ ⁇ for a minute area where even a curved surface can be regarded as a plane where the change of the normal vector is small.
  • the surface roughness may be calculated using photographed images of subjects of various shapes, and a range with a smaller error (for example, the length from c n to c f ) may be obtained.
  • the specular reflectance is high in the portion where the luminance is high, and the diffuse reflectance is high in the other regions. Therefore, even if the phase angle ⁇ ⁇ is obtained in a range in which the difference in luminance in the image of the subject is equal to or more than a predetermined value and the horizontal axis is the luminance, the surface roughness can be similarly calculated.
  • the luminance used here may be the luminance of the corresponding position of a general color photographed image, or may be the average value of the polarized luminance in a plurality of directions.
  • the present embodiment can be applied similarly as long as the parameter has a correlation with the specular reflectance (or the component ratio of s-polarized light and p-polarized light in some cases). For example, a smaller load parameter may be adopted depending on the situation.
  • the sampling target may be a photographed image at a different time.
  • moving image shooting is performed while moving the light source or the imaging device 12 so that the specular reflectance at a certain position on the subject changes in the time axis direction.
  • the target to be moved is not limited as long as a change in specular reflectance occurs.
  • the specular reflectance changes monotonously the surface roughness can be obtained by the same evaluation also by the change of the phase angle in which the horizontal axis is represented as time.
  • FIG. 23 shows an example of drawing an object having a change with respect to the specular reflectance Rs of the phase angle ⁇ and the corresponding surface roughness.
  • Conditions other than surface roughness such as illumination environment are equal.
  • a region of high luminance due to specular reflection can be seen in part of the image of the cylinder that is the subject.
  • the high luminance region due to specular reflection can not be substantially identified.
  • the change from (a) to (b) or (c) can occur even if the area of the illumination is expanded, it can be understood from the analysis of the phase angle ⁇ that the change is due to the change in the surface roughness.
  • the specular reflectance Rs can be traced back from the phase angle ⁇ . In this way, it is possible to specify the specular reflectance Rs, and hence the ratio of specular reflection and diffuse reflection, from the phase angle ⁇ at any position on the image surface of the same subject. Can be determined accurately.
  • FIG. 24 is a flowchart showing a processing procedure in which the information processing apparatus 10 acquires information including the surface roughness of the object from the photographed image and outputs necessary data.
  • This flowchart is started in a state in which the imaging device 12 establishing communication with the information processing device 10 captures a polarization image of an object.
  • the image acquisition unit 50 acquires polarization images of at least three directions from the imaging device 12 as captured images.
  • the phase acquisition unit 58 of the image analysis unit 54 specifies the region of the image of the object in the polarization image, and determines the sampling point for obtaining the phase angle ⁇ ⁇ ⁇ ⁇ among them based on a predetermined rule (S12).
  • the distribution range of sampling points is, for example, the line from c n to c f shown in FIG. 22, but it does not have to be linear. That is, as long as it is a plurality of places having different specular reflectances, discrete positions of a certain two-dimensional area may be used, and the positional relationship between each other is not limited.
  • the image analysis unit 54 may obtain a normal vector of an object using a polarization image or may acquire a luminance distribution.
  • the specular reflectance and the diffuse reflectance may be acquired by the measurement values of various sensors independent of the imaging device 12, and the sampling point may be determined based on the distribution.
  • the phase acquisition unit 58 extracts the luminance of the pixel at the sampling point among the polarization images of a plurality of azimuths, and derives the change in the luminance with respect to the polarization azimuth, thereby setting the azimuth with the highest luminance as the phase angle ⁇ .
  • Acquire (S14) By performing this process for all of the positions determined in S12, phase angles ⁇ ⁇ ⁇ ⁇ for a plurality of specular reflectances can be obtained.
  • the surface roughness acquisition unit 60 acquires the change of the phase angle ⁇ as the horizontal axis as the specular reflectance or a parameter having a correlation with it (S16). When an object of an arbitrary shape is to be expressed and the phase angle ⁇ is represented with the position on the image as the horizontal axis, position parameters are normalized based on the distribution of normal vectors as described above.
  • the surface roughness acquisition unit 60 specifies the surface roughness of the object by illuminating the change in the phase angle ⁇ with a predetermined reference (S18). Specifically, as described above, it is possible to use the first derivative and second derivative of the change of the phase angle ⁇ , the range of specular reflectance from 90 ° to 0 ° of the phase angle ⁇ ⁇ , and the like. Qualitatively, the surface roughness is large when it can be said that the change of the phase angle ⁇ ⁇ ⁇ is gradual by those criteria, and the surface roughness is small when it can be said that the change is rapid.
  • the surface roughness acquisition unit 60 holds in the internal memory a look-up table in which the parameter representing the speed of change is associated with the absolute value of the surface roughness, and the surface roughness is obtained based on the obtained parameter You may get the absolute value of Alternatively, one parameter representing the speed of change corresponding to the surface roughness serving as a reference is stored, and whether or not the surface roughness is larger than the reference is specified by the magnitude relation between the obtained parameter and the reference value. You may only do it.
  • the spatial information acquisition unit 62 and the output data generation unit 56 of the image analysis unit 54 use the specified surface roughness to specify the area of the image from the image plane, the position and area of the light source, and other objects. The information processing is performed as needed by acquiring the state etc., and output data is generated and output (S20).
  • the surface roughness data itself may be used as the output data.
  • the processes in S10 to S20 are repeated for the subsequent image frame.
  • the process is appropriately omitted if the purpose is achieved by tracking the contour of the corresponding image.
  • surface roughness may be periodically checked at a rate lower than the frame rate of display. This makes it possible to correct the misidentification of the tracking process. If it is necessary to stop the process due to a user operation or the like, all the processes are ended (Y in S22).
  • the roughness of the object surface is acquired using the polarization image. Specifically, the polarization orientation at which the polarization luminance is maximized is acquired as a phase angle, and a change with respect to the specular reflectance or a parameter correlated therewith is obtained. Then, the surface roughness is specified as a relative or absolute value by evaluating the speed of change of the phase angle according to a predetermined standard. As a result, the image of the object having a specific roughness can be accurately extracted regardless of the state of light, so that the state detection of the object, recognition, separation of the image, and information processing using them have stable accuracy. Can do it.
  • the state of the light source can be specified from the luminance distribution of the image or the like.
  • highly accurate image representation such as performing appropriate shading on a virtual object drawn on a captured image.
  • by tracing back information on the change in phase angle ⁇ ⁇ ⁇ used to obtain the surface roughness it is possible to determine the specular reflectance and the ratio of specular reflection to diffuse reflection from the phase angle ⁇ . By using this, it is possible to more accurately draw a virtual object imitating a real object, or to accurately obtain the distribution of the normal vector of the object.
  • the present invention is applicable to various information processing devices such as game devices, portable terminals, surveillance camera systems, on-vehicle camera systems, inspection devices and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

情報処理装置は、複数方位の偏光画像における対象物の像のうち鏡面反射率が異なる範囲に複数のサンプリング点を決定し（Ｓ１０、Ｓ１２）、当該サンプリング点の偏光輝度を抽出して、偏光方位に対する輝度の変化を導出することにより、輝度が最大となる方位を位相角として取得する（Ｓ１４）。そして鏡面反射率の変化に対する位相角の変化の特性を評価することにより、被写体の表面粗さを特定する（Ｓ１６、Ｓ１８）。さらに表面粗さに応じた処理を実施し出力データを生成、出力する（Ｓ２０）。

Description

情報処理装置および表面粗さ取得方法
　本発明は、撮影画像を利用して対象物や被写空間の状態を認識する情報処理装置および対象物認識方法に関する。
　ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換した表示画像を利用するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影して対象物の状態を検知したり、それに基づく情報処理を実施したりする技術は、電子コンテンツのみならず、監視カメラ、自動運転システム、製造ラインにおける検品装置、自動制御ロボットなど幅広い分野で導入されている。
欧州特許出願公開第０９９９５１８号明細書
　撮影画像における被写体の像の様子は、周囲の明るさや物の有無などによる光の状態によって変わり得る。例えば同じ被写体でも、その像の色や輝度分布が大きく変化したり、輪郭が明確に得られないことにより形状も認識しづらかったりすることがある。同様の原理で、ある対象物の像が本来の色や形を表しているのか、光の加減で偶然、得られた姿なのかを撮影画像のみから区別するのが難しい場合がある。その結果、対象物を誤認し後段の情報処理の精度を悪化させることが考えられる。そのため、撮影画像を用いて対象物の状態をより正確に認識できる技術が求められている。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて対象物の状態を精度よく取得できる技術を提供することにある。
　本発明のある態様は情報処理装置に関する。この情報処理装置は、複数の方位の偏光画像のデータを取得する画像取得部と、偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得する位相角取得部と、鏡面反射率の変化に対する位相角の特性を所定の基準で評価することにより、被写体の表面粗さを取得する表面粗さ取得部と、表面粗さに応じたデータを生成し出力する出力データ生成部と、を備えたことを特徴とする。
　本発明のさらに別の態様は表面粗さ取得方法に関する。この表面粗さ取得方法は、複数の方位の偏光画像のデータを取得するステップと、偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得するステップと、鏡面反射率の変化に対する位相角の特性を所定の基準で評価することにより、被写体の表面粗さを取得するステップと、表面粗さに応じたデータを生成し出力するステップと、を含むことを特徴とする。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
　本発明によると、撮影画像を用いて対象物の状態を精度よく取得できる。
本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態における被写体の球体の像を例示する図である。 本実施の形態で利用する偏光画像の撮影環境を模式的に示す図である。 入射角に対する偏光方向の変化を鏡面反射と拡散反射で比較する図である。 本実施の形態で用いるパラメータの定義を説明するための図である。 本実施の形態における、偏光方位に対する輝度の変化を例示する図である。 本実施の形態における位相角の変化を、実際の撮影画像から取得した結果を例示する図である。 本実施の形態においてｓ偏光のみを観測することを仮定した場合の、透過軸の角度と輝度の関係を示す図である。 図８の仮定に対し観測する光にｐ偏光が混ざっている場合の、透過軸の角度と輝度の関係を示す図である。 本実施の形態において、観測する光に含まれるｓ偏光とｐ偏光の大小関係と、透過軸の角度と輝度の関係との対応を示す図である。 本実施の形態において、ｓ偏光、ｐ偏光の向きが、それぞれｘ軸、ｙ軸からずれているときの、透過軸の角度に対する輝度の変化をシミュレーションにより求めた結果を示す図である。 本実施の形態において表面粗さと偏光状態をモデル化した様子を示す図である。 本実施の形態において、微小平面の法線ベクトルの方向を正規分布としたときの、位相角との関係を説明するための図である。 本実施の形態において、被写体表面を法線方向の異なる微小平面の集合体としてモデル化したときの、鏡面反射率に対する位相角の変化をシミュレーションにより求めた結果を示す図である。 本実施の形態において、拡散反射率を変化させたときの、鏡面反射率に対する位相の変化を示す図である。 本実施の形態において、鏡面反射光におけるｓ偏光とｐ偏光の比率を変化させたときの、鏡面反射率に対する位相角の変化を示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態において撮像装置に導入できる、偏光子層を備える撮像素子の構造例を示す図である。 本実施の形態における被写体表面の位置と鏡面反射率の関係を例示する図である。 図２０と異なる形状の被写体の表面の位置と鏡面反射率の関係を例示する図である。 図２０、２１のような撮影環境で、位相角を位置の関数として表した様子を模式的に示す図である。 本実施の形態において用いる位相角の鏡面反射率に対する変化と、それに対応する表面粗さを有するオブジェクトを描画した例を示す図である。 本実施の形態において、情報処理装置が撮影画像から対象物の表面粗さを含む情報を取得し必要なデータを出力する処理手順を示すフローチャートである。
　図１は、本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、被写体８を撮影する撮像装置１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１０、および情報処理の結果を出力する表示装置１６を含む。情報処理システムにはさらに、情報処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。
　情報処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ情報処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。
　このようなシステムにおいて情報処理装置１０は、撮像装置１２が撮影した画像のデータを順次取得し、被写体の表面粗さの特定を含む画像解析をおこなったうえ、その結果に基づき情報処理を行い、表示画像や音声のデータを生成して表示装置１６に出力する。ここで情報処理装置１０が画像解析の結果として実施する情報処理の内容は特に限定されない。例えば被写体８に含まれる所定の対象物をゲームのコントローラとし、その動きをユーザ操作として認識することで、電子ゲームや任意の情報処理を進捗させてもよい。
　あるいは撮影画像上でコントローラを仮想オブジェクトに置換して表示画像としたり、被写体とインタラクションする仮想オブジェクトを描画したりしてもよい。実世界を仮想オブジェクトとしてモデル化することにより、ユーザの視線に対応する視野で描画した仮想世界をヘッドマウントディスプレイに表示させてもよい。
　このような技術においては、被写体８やその周囲の状況をできるだけ正確に特定することが望ましい。例えば被写空間に、対象物と形状が類似する別の物体が存在する場合、それらの像を区別して認識する必要がある。ところが周囲の明るさ、光源の状態、対象物の色、模様、形状など様々な要因によって、撮影画像における像の表れ方や抽出のしやすさが変化するため、一般的な撮影画像に基づく簡易な処理では精度が安定しないことが考えられる。
　図２は被写体８の球体の像を例示している。（ａ）の像は、球体の像の中央部分で局所的に高い輝度が得られている。このような画像は、鏡面反射しやすい材質の球体に対し、図面の手前側から比較的指向性の高い光を照射した場合などに得られる。すなわち球体の中央部分は鏡面反射が支配的であり、輪郭近傍は拡散反射が支配的と考えられる。ここで鏡面反射は光源から照射され被写体表面で正反射した光であり、拡散反射は被写体内部に到達し色素粒子により散乱されて表面に表れた光である。二色性反射モデルによれば、撮像装置１２で観測される光は、それらの反射光のうち撮像面方向の成分の和で表される。
　一方、（ｂ）の像は中央部分における輝度が（ａ）より低く、輪郭に向けての輝度の変化が緩やかである。（ｃ）の像は、中央部分における輝度がさらに低く、輪郭近傍の輝度と大きな差がない。（ａ）の像に対する（ｂ）や（ｃ）の像の変化は、光源の面積が増えることによって生じ得る。その一方、同様の変化は、球体表面の粗さが大きくなることによっても生じ得る。ここで「粗さ」とは、物体表面におけるマイクロメートル程度の凹凸による高さや面方位のばらつきのことであり、ばらつきが大きいほど粗さが大きいとする。表面粗さは部材加工技術などの分野で一般的に用いられるパラメータである。
　図示するような像の差が、光源によるものか被写体そのものによるものかを区別できないと、同じ被写体であるのに光源の変化によって別の物と認識したり、表面粗さの異なる別の物を対象物と誤認したりすることが考えられる。また、表面が粗いことにより鏡面反射光が表面で散乱しているのか、拡散反射しやすい材質によって光が内部で散乱しているのかも区別がつきにくい。このため、材質によって対象物の像を区別したり、反射モデルを適用して実物体に対応する仮想オブジェクトを描画したりする場合にも問題が生じ得る。対象物や撮像面が動く場合は特に、反射光の状態が変化することにより見た目が次々変化し、後段の処理の精度にも看過できない影響を与え得る。そこで本実施の形態では偏光画像を用いて、光の状態に影響されないパラメータとして被写体の表面粗さを特定する。
　図３は、本実施の形態で利用する偏光画像の撮影環境を模式的に示している。撮像装置１２は、直線偏光板７０を介して被写体７２を含む空間を撮影する。より詳細には撮像装置１２は、光源７４から照射された光が被写体７２を反射してなる鏡面反射成分と、被写体７２内部で散乱されてなる拡散反射成分で構成される反射光のうち、直線偏光板７０によって定まる方向に振動する偏光を観測する。鏡面反射の場合、被写体７２の表面のうち観測点ａにおける法線ベクトルｎと光源７４から点ａに到達する光線のなす角度θを入射角、当該光線と法線ベクトルｎを含む面７６を入射面と呼ぶ。拡散反射の場合は被写体７２内部から点ａへ到達する光線と法線ベクトルｎのなす角度θ’が入射角、当該光線と法線ベクトルｎを含む面７６が入射面となる。
　直線偏光板７０は、観測点ａから撮像装置１２へ到達する反射光のうち、ある方向に振動する直線偏光のみを透過する。以後、透過させる偏光の振動方向を直線偏光板７０の透過軸と呼ぶ。直線偏光板７０を面に垂直な軸周りに回転させれば、透過軸を任意の方向にとることができる。仮に撮像装置１２へ到達する光が無偏光であれば、直線偏光板７０を回転させても、観測される輝度は一定となる。一方、一般的な反射光は部分偏光により、透過軸の方向に対し観測される輝度に変化が生じる。また鏡面反射と拡散反射の割合や入射角によって、輝度の変化の様子が異なる。
　図４は、入射角に対する偏光方向の変化を鏡面反射と拡散反射で比較している。ここで「ｓ偏光」は入射面に垂直な方向に振動する成分、「ｐ偏光」は入射面に平行な方向に振動する成分である。鏡面反射および拡散反射の双方において、ｓ偏光とｐ偏光の割合は入射角に依存する。また鏡面反射の光は、入射角にかかわらずｓ偏光が支配的である。このため、直線偏光板７０の透過軸が入射面と垂直な状態において観測輝度が最大となり、当該透過軸が入射面と平行な状態において観測輝度が最小となる。
　拡散反射の光はその逆であり、直線偏光板７０の透過軸が入射面と平行な状態において観測輝度が最大となり、当該透過軸が入射面と垂直な状態において観測輝度が最小となる。したがって、様々な透過軸の方向で偏光画像を撮影することにより得られる輝度の変化は、鏡面反射成分と拡散反射成分の含有比や、入射角度の情報を含んでいることになる。本実施の形態でもこのような偏光の輝度の変化を利用する。
　図５は、本実施の形態で用いるパラメータの定義を説明するための図である。図３と同様、被写体７２上の観測点ａから直線偏光板７０を介して撮像装置１２に到達する光線８２によって、仮想的な画像平面８０上の位置ｂに観測点ａの像が形成される。ここで画像平面８０に図示するように、結像する位置ｂを原点とし、撮像装置１２から見て水平右向きをｘ軸、垂直上向きをｙ軸とし、直線偏光板７０の透過軸とｘ軸のなす角度を偏光方位φとする。上述のとおり、位置ｂにおいて観測される輝度Ｉの、偏光方位φの変化に対する振る舞いは、鏡面反射成分および拡散反射成分の割合と入射角θによって決定する。またｓ偏光、ｐ偏光はそれぞれ、入射面７６に対し垂直方向、水平方向に振動する光である。
　図６は、偏光方位φに対する輝度Ｉの変化を例示している。同図上段は撮像装置１２に到達する光が鏡面反射のみの場合、下段は拡散反射のみの場合であり、どちらも１８０°周期の正弦波の形状を有する。一方、鏡面反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｓは、拡散反射の輝度Ｉが最大値Ｉｍａｘをとるときの偏光方位ψｄと９０°の差がある。これは図４で示したように、鏡面反射においてはｓ偏光が、拡散反射においてはｐ偏光が支配的なことに起因する。ｓ偏光が入射面に垂直、ｐ偏光が入射面に水平であることに鑑みれば、鏡面反射において輝度が最小となる偏光方位（ψｓ－９０°）、あるいは拡散反射において輝度が最大となる偏光方位ψｄが、入射面の画像平面上での角度を表す。当該角度は一般に方位角と呼ばれる。
　以後、鏡面反射、拡散反射の含有比によらず、観測される偏光の輝度が最大となるときの偏光方位を位相角ψと呼ぶ。図６で示す輝度Ｉの変化は、次の式で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　図７は、実際の撮影画像において位相角ψの変化を取得した結果を例示している。同図上段は円筒形の被写体の撮影画像９０を表し、下段は当該画像平面上のライン９２における位相角ψの変化９４を表している。位相角ψは、透過軸の角度を異ならせて撮影した複数の偏光画像から、ライン９２を構成する画素の輝度を抽出し、図６で示したような偏光方位に対する輝度の変化を取得することによって得られる。
　このとき輝度の観測値は離散的な偏光方位に対してのみ得られるため、最小二乗法などにより式１の形式の関数に近似する。撮影画像９０において、被写体の像のうち矢印で示された部分は局所的に輝度が高くなっており、鏡面反射が支配的と考えられる。円筒形のため方位角を水平方向（０°）とすると、鏡面反射光の位相角ψは理論上、９０°となり、下段に示した位相角ψの変化９４においてもその値が得られている。一方、拡散反射成分が支配的と考えられるその他の部分でも、位相角ψが０°となる領域が存在しない。本発明者はこのような位相角ψの変化が、反射成分の割合とともに被写体表面の粗さによってもたらされることに想到した。次にその原理を説明する。
　図８は、ｓ偏光のみを観測することを仮定した場合の、透過軸の角度と輝度の関係を示している。（ａ）は透過軸８６を有する直線偏光板７０を、ｘｙ平面で回転させる様子を示している。なお同図では方位角をｙ軸方向とし、それに垂直なｓ偏光の振動方向をｘ軸としている。以後の説明も同様である。撮像装置１２に到達する光がｓ偏光のみの場合、透過軸８６がｘ軸の方向にあるとき輝度が最大、ｙ軸の方向にあるとき輝度が最小となる。ｘ軸に対する透過軸８６の角度をθ、入射するｓ偏光の電場成分をＥｓ、偏光板を透過する電場成分をＥｐｒｏｊとして一般化すると、次の関係が成り立つ。
　Ｅｐｒｏｊ＝Ｅｓｃｏｓθ
したがって観測される輝度Ｉは角度θに対し次のような変化を示す。
　Ｉ＝Ｅｐｒｏｊ ２＝Ｅｓ２ｃｏｓ２θ
　図の（ｂ）は、最大値を１．０として正規化した輝度Ｉをｘ＝Ｉｃｏｓθ，ｙ＝Ｉｓｉｎθの２次元平面に表したグラフである。例えば透過軸がθ＝０°、すなわちｘ軸（ｙ＝０）と一致するとき、輝度Ｉは最大値１．０をとり、透過軸がθ＝９０°、すなわちｙ軸（ｘ＝０）と一致するとき、輝度Ｉは最小値０となる。図９は、図８の仮定に対し観測する光にｐ偏光が混ざっている場合の、透過軸の角度と輝度の関係を示している。（ａ）は図８の（ａ）と同様の図であり、ｘ軸をｓ偏光の振動方向、透過軸８６とｘ軸のなす角度をθとしている。ただし入射する光として、電場成分Ｅｓのｓ偏光に加え、電場成分Ｅｐのｐ偏光も含まれるとする。この場合、偏光板を透過して観測される輝度Ｉは角度θに対し次のように変化する。
　Ｉ＝Ｅｓ２ｃｏｓ２θ＋Ｅｐ２ｓｉｎ２θ
　図の（ｂ）はこの場合の輝度Ｉを、図８の（ｂ）と同様の形式で示している。ただしＥｓ：Ｅｐ＝０．８：０．２としているため、輝度Ｉの最大値は０．８となる。図８の場合と比較すると、透過軸がθ＝９０°、すなわちｙ軸（ｘ＝０）と一致するときは、ｐ偏光の存在により輝度Ｉが０にならない点が異なっている。一方で、輝度Ｉが最大となるのは図８の場合と同様、透過軸がθ＝０°、すなわちｘ軸（ｙ＝０）と一致するときである。つまり鏡面反射のようにｓ偏光が優位な場合、ｐ偏光が混じっていても輝度が最大となる透過軸の角度、すなわち位相角ψは０°のまま変化しない。
　図１０は、観測する光に含まれるｓ偏光とｐ偏光の大小関係と、透過軸の角度と輝度の関係との対応を示している。左端はｓ偏光がｐ偏光より大きいときの輝度の変化であり、図９の（ｂ）と対応する。中央はｓ偏光とｐ偏光の割合が等しいとき、右端はｐ偏光がｓ偏光より大きいときの輝度の変化である。上述したように、ｓ偏光の割合が大きいときは位相角ψ＝０°である一方、割合が逆転すると位相角ψ＝９０°になる。すなわち上記理論によれば、ｓ偏光とｐ偏光の割合が等しい状態を境界として、位相角ψは０°と９０°のどちらかとなり中間値をとることはない。
　なおここでの位相角ψは、ｓ偏光の振動方向をｘ軸としていることに留意する。一方、図７で示した実測結果では、位相角ψがなだらかに変化している。この現象を説明するために、被写体表面の粗さのパラメータを導入する。すなわちこれまで述べた例は、図５で示したように、鏡面反射成分が入射光からの正反射方向に一様に反射することを想定していた。一方、表面に粗さがある、すなわち表面に微細な凹凸がある場合、微小面積で法線ベクトルの向きが変化する結果、鏡面反射成分の反射方向が一様とならず分布をもつようになる。
　そのためこれまで述べたように表面全体としてｓ偏光がｘ軸と一致するような被写体の方位角であったとしても、マイクロメートルレベルで詳細に見ると、ｓ偏光の向きがｘ軸からずれている場合があると考えられる。図１１は、ｓ偏光、ｐ偏光の向きが、それぞれｘ軸、ｙ軸からずれているときの、透過軸の角度に対する輝度の変化をシミュレーションにより求めた結果を示している。ただしＥｓ：Ｅｐ＝０．８：０．２としている。同図上段は図８の（ａ）と同様、透過軸８６を有する直線偏光板７０をｘｙ平面で回転させる様子を示している。ここで図示するように方位角、すなわちｐ偏光の振動方向の、ｙ軸を基準とした角度をαとする。
　下段に示す輝度の変化のうち、左端に示すα＝０°のときは、ｓ偏光の振動方向がｘ軸に一致する。これは図９の（ｂ）に示した例に他ならない。したがって透過軸８６がｘ軸と一致するときに輝度が最大値をとる。すなわち位相角ψ＝０°である。一方、右端に示すα＝９０°のときは、ｓ偏光の振動方向がｙ軸に一致する。このため透過軸８６がｙ軸と一致するときに輝度が最大値をとる。なおこの状況は結果として、ｙ軸方向に振動するｐ偏光にｓ偏光が多少混ざっている、図１０の右端の状態と同じである。この場合の位相角ψ＝９０°である。
　α＝３０°や６０°の場合でも、輝度が最大となるときの透過軸は、ｘ軸に対してその分の傾斜を持つ。図示するようにｙ軸を基準として方位角αを定義した場合、ｓ偏光の割合が多い光の、ｘ軸を基準とする位相角ψは、方位角αと等しくなる。方位角は被写体表面の法線ベクトルの向きに依存するため、結果として位相角ψは、法線ベクトルに依存して変化するといえる。図１２は、表面粗さと偏光状態をモデル化した様子を示している。図示するように、被写体の表面に微細な凹凸がある場合、直線偏光板７０を介して撮像装置１２により観測される光は、異なる法線方向を有する微小平面９６からの反射光を重ね合わせたものになる。
　したがって偏光の位相もそれらの重ね合わせとなる。図１３は、微小平面の法線ベクトルの方向を正規分布としたときの、位相角ψとの関係を説明するための図である。同図において、ｓ偏光の中心値を０°とすると、法線ベクトルの方向が正規分布となることにより、ｓ偏光の偏光方位も０°を中心とする正規分布となる。またｐ偏光の偏光方位は９０°を中心とする正規分布となる。鏡面反射率が支配的な場合、図示するようにｓ偏光の割合がｐ偏光より顕著に大きくなるため、それらを重ね合わせても０°の偏光方位の成分が最大となる。結果として位相角ψは０°である。
　拡散反射が支配的な場合は、ｐ偏光の割合がｓ偏光より顕著に大きくなるため、それらを重ね合わせても９０°の偏光方位の成分が最大となる。結果として位相角ψは９０°となる。一方、鏡面反射と拡散反射が同程度に混じり合っていると、ｓ偏光とｐ偏光の成分比も同程度になる。これらを重ね合わせると、成分が最大となる偏光方位は０°と９０°の間に生じる可能性が高くなる。その結果、位相角ψが０°から９０°の中間値をとることになる。
　図１４は、被写体表面を法線方向の異なる微小平面の集合体としてモデル化したときの、鏡面反射率Ｒｓに対する位相角ψの変化をシミュレーションにより求めた結果を示している。ここで微小平面の数を４００００個とし、それらの微小平面の方位角はｙ軸を中心に標準偏差（９０＊σ）°で正規分布しているとする。ここでσは方位角のばらつきの度合い、ひいては表面の粗さを表す。また鏡面反射光におけるｓ偏光とｐ偏光の比を０．７：０．３、拡散反射光におけるｓ偏光とｐ偏光の比を０．３：０．７、拡散反射率Ｒｄは０．５で一定としている。
　上記条件によれば、σ＝０、すなわち表面が完全に滑らかな状態においては、鏡面反射率Ｒｓが０．５のときを境にｓ偏光とｐ偏光の割合が逆転するとともに、それらの方向が一定しているため、上述のとおり位相角ψも急に変化する。具体的には鏡面反射率Ｒｓが０．５より小さいときはｐ偏光の割合が大きいため位相角ψは９０°に、鏡面反射率Ｒｓが０．５より大きいときはｓ偏光の割合が大きいため位相角ψは０°になる。一方、σが０以外の値をとると、法線ベクトルの角度分布によって、図１３に示したようにｓ偏光、ｐ偏光の偏光方位も分布をもつ。これにより、ｓ偏光とｐ偏光の大小関係が逆転する過渡期において、それらの重ね合わせによる位相角ψが中間値を持つようになる。また、σが大きいほど位相角ψの変化が緩やかになる。
　図１５は、図１４と略同条件で、拡散反射率Ｒｄを変化させたときの、鏡面反射率Ｒｓに対する位相角ψの変化を示している。ここでσ＝０．６０とし、図の左から右に向かうほど拡散反射率Ｒｄを大きくしている。拡散反射率Ｒｄが大きくなるに従い、ｓ偏光とｐ偏光の割合が逆転するときの鏡面反射率Ｒｓが大きくなるため、位相角ψが変化する範囲もシフトするが、σが等しければその変化の割合は同じである。
　図１６は、図１４とほぼ同条件で、鏡面反射光におけるｓ偏光とｐ偏光の比率を変化させたときの、鏡面反射率Ｒｓに対する位相角ψの変化を示している。ここでσ＝０．６０としている。なお同図では鏡面反射光におけるｓ偏光とｐ偏光の比をｓ：ｐとして示しているが、同時に拡散反射成分におけるｓ偏光とｐ偏光の比は１－ｓ：１－ｐで変化する。同図右下にあるように、ｓ：ｐ＝０．５：０．５のときは鏡面反射率によらずｓ偏光とｐ偏光が等しくなる無偏光の状態となるため位相角ψは存在しない。
　それ以外の状態では、ｓ：ｐの比によらず、位相角ψは鏡面反射率に対し同じように変化する。すなわち同図左下に示すように、ｓ偏光とｐ偏光にわずかでも差があれば、ひいては偏光度が低くても、評価に値する位相角ψの変化が得られる。また図４に示したように、ｓ偏光とｐ偏光の比は、被写体への入射角に依存して変化する。したがって同図に示す結果から、位相角ψの変化は入射角に依存しないことになる。以上のことから、鏡面反射率の増加に対し位相角ψが９０°から０°へ至るまでの変化の仕方は、偏光度、入射角、拡散反射率と独立に、表面の粗さを表していることがわかる。そこで本実施の形態における情報処理装置１０は、当該変化の仕方を所定の基準に基づき評価することで、被写体の表面粗さを特定する。
　図１７は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
　ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
　図１８は、本実施の形態の情報処理装置１０の機能ブロックの構成を示している。同図においてさまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、図１７で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６等の各主回路で構成することができ、ソフトウェア的には、記録媒体駆動部４０により駆動される記録媒体や記憶部３４からメインメモリ２６にロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮影画像に写る被写体の表面粗さ特定を含む画像解析を行う画像解析部５４、および、解析結果を利用して出力すべきデータを生成する出力データ生成部５６を含む。
　画像取得部５０は図１７の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から偏光画像を含む撮影画像のデータを取得する。このとき偏光画像として、少なくとも３方向の透過軸に対応する３方位の偏光画像のデータを取得する。偏光画像は、図３に示すように撮像装置１２の前面に配置した直線偏光板７０を回転させ、所定の方向で停止させる都度、撮像してもよいし、後述するように、撮像素子に複数方向の偏光子を含む偏光子層を設けたイメージセンサを導入して撮像してもよい。この場合、一度の撮影で複数方位の偏光画像を取得できる。
　表示装置１６への表示に撮影画像を用いる場合など、情報処理の目的や画像解析の内容によっては、画像取得部５０はさらに、一般的なカラーの撮影画像のデータも取得してよい。また、取得する撮影画像は動画でもよいし静止画でもよい。　画像取得部５０は取得した撮影画像のデータを画像データ記憶部５２に逐次格納する。画像解析部５４は図１６のＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納されたデータを用いて、被写体の表面粗さの取得を含む画像解析を行う。
　より詳細には画像解析部５４は、位相取得部５８、表面粗さ取得部６０、および空間情報取得部６２を含む。位相取得部５８は、複数方位の偏光画像の対応する画素ごとに輝度を抽出し、偏光方位に対する輝度の変化を導出する。偏光画像がφ１、φ２、φ３の３方位あれば、それらの座標（φ１，Ｉ１）、（φ２，Ｉ２）、（φ３，Ｉ３）の３点を通る曲線を、最小二乗法等を用いて式１の関数に近似することにより、図６に示すような連続した関数が得られる。このうち最大輝度Ｉｍａｘが得られるときの方位φが位相角ψである。なお偏光画像は３方位に限定されず、４方位以上の偏光画像を用いて４点以上の座標から曲線近似してもよい。
　この処理を画素ごとに繰り返すと、画像平面に対し位相角ψをマッピングした位相角画像が得られる。ただし対象物の表面粗さを取得する目的においては、対象物の像、あるいは対象物の像のうち鏡面反射率が変化する位置のみで位相角ψが得られればよい。対象物の像の領域は、既存のフィルタリング処理によりエッジ抽出や輪郭抽出を行った結果を利用してもよいし、動画の場合は前フレームからの追跡結果を利用してもよい。また鏡面反射率は撮像面と被写体表面の傾斜の関係に依存するため、偏光画像を用いて法線ベクトルを求めることにより、鏡面反射率が変化する位置を特定してもよい。偏光画像から法線ベクトルの分布を取得する手法は一般に知られている。
　その結果、図１４から図１６において例示したように、鏡面反射率Ｒｓに対する位相角ψの変化が得られる。ただし横軸は、鏡面反射率と１対１対応するパラメータであればよく、被写体の像における特定のライン上の位置と鏡面反射率が比例関係にあれば、横軸は当該位置でもよい。あるいは、基準の粗さに対する相対的な粗さを求めればよいのであれば、当該基準の粗さを取得したのと同じパラメータを横軸にとることで、比較によって粗さを同定できる。
　さらに上述の原理によれば、ｐ偏光とｓ偏光の割合の変化により位相角ψの変化が生じるため、そのような変化が得られれば、横軸は鏡面反射率やそれに準ずるパラメータでなくてもよい。仮に鏡面反射率が一定で拡散反射率が変化するような状況があれば、横軸を拡散反射率とすることもできる。表面粗さ取得部６０は、そのようにして得た位相角ψの変化を、所定の評価基準に照らすことにより表面粗さを取得する。例えば鏡面反射率Ｒｓに対する位相角ψの傾き（１次微分）を算出し、その最大値を取得する。
　図１４に示すように位相角ψの変化が緩やかで、傾きの最大値が小さいほど表面の粗さが大きいといえる。あるいは位相角ψの傾きがしきい値以上となる鏡面反射率Ｒｓの幅を評価してもよい。この場合、幅が大きいほど表面の粗さが大きいといえる。あるいは鏡面反射率Ｒｓに対する位相角ψの２次微分を算出してもよい。２次微分は位相角ψが９０°あるいは０°から逸脱し始める範囲における曲率を表す。この場合、２次微分値の最大値が小さいほど位相角ψの変化が緩やかであるため表面の粗さが大きいといえる。
　そのほか、位相角ψの変化の緩やかさを評価する基準や、緩やかさを示す指標として、様々に考えられることは当業者には理解されるところである。表面粗さ取得部６０は、あらかじめ測定した実際の表面粗さと位相角ψの評価結果とを対応づけたルックアップテーブルを内部で保持しておき、撮影画像から得た評価結果に基づいて参照することにより、表面粗さの絶対値を取得してもよい。表面粗さを表すパラメータとしては様々なものが実用化されており、そのいずれで定義してもよい。あるいは上述のとおり、基準となる評価結果との比較によって、相対的な粗さを取得するのみでもよい。
　空間情報取得部６２は、得られた表面粗さの情報に基づき被写体の状態を検出したり被写体を認識したりする。または特定の粗さの被写体の像を他と分離する。あるいは表面粗さが判明すれば、図２で示したような像の輝度分布から光源の大きさや位置が判明するため、その情報を用いてさらなる画像解析を行ってもよい。例えば表面粗さを取得しなかった別の被写体について、光源の位置や大きさに基づき、その輝度分布から表面粗さを求めることができる。光源の位置や大きさを想定して、被写体を模した仮想モデルを描画したうえ撮影画像上の像と比較することにより、被写体の材質を求めたり、適切な反射モデルを適用して精度よく法線ベクトルを求めたりすることもできる。
　ただし特定の被写体の表面粗さのみを取得すれば目的を達する場合、空間情報取得部６２の機能は省略してもよい。出力データ生成部５６は、図１６のＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、画像解析部５４が特定した情報に基づき所定の情報処理を実施して、表示画像や音声など出力すべきデータを生成、出力する。上述したようにここで実施する情報処理の内容は特に限定されない。例えば表面粗さに基づき被写体の像を特定し、実空間における各種物体の位置を認識できれば、車載カメラに用いたり、ロボットの自動制御に用いたりできる。
　またユーザの手やコントローラを認識することにより、その動きをコマンドに変換して対応する情報処理を行ったり、それらを仮想オブジェクトに置換した画像や、それらとインタラクションする仮想オブジェクトを描画した画像を生成したりすることもできる。あるいは工場の製造ラインに導入することにより、表面加工の粗さや傷の検出にも利用できる。また金属製品や樹脂製品を定常的に監視するシステムに導入すれば、酸化や経年劣化によって表面が粗くなったことを検知でき、交換や修理の契機とすることができる。
　さらに人の顔面をモニターするシステムに利用すれば、肌の粗さに基づき年齢を推定できるほか、汗をかいたことで肌の粗さが小さくなることを利用して、体感温度や緊張の度合いを推定することもできる。このように表面粗さに基づく情報処理は様々に考えられ、出力データ生成部５６はそのいずれを実施してもよい。あるいは単に、画像解析部５４の表面粗さ取得部６０が取得した、表面粗さのデータのみを出力してもよい。
　図１９は、本実施の形態において撮像装置１２に導入できる、偏光子層を備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。
　透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で透過軸が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。
　同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ１方向の透過軸の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４方向の透過軸の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその透過軸が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４方向の偏光子を設けている。
　これが直線偏光板７０の代わりとなり、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４方位の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。
　同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の透過軸の方向とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。
　また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などにも開示されている。ただし本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子などを用いることもできる。
　図２０は、被写体表面の位置と鏡面反射率の関係を例示している。図示するような平面状の被写体９８を撮像装置１２で撮影する場合、被写体９８上の位置によって、撮像装置１２の撮像面への仰角が異なる。すなわち図示する状態では、撮像面から遠いほど仰角が浅くなる。すると図示するように、撮像面から離れた位置ｃｆでの鏡面反射として観測される光の入射角θｆは、撮像面に近い位置ｃｎでの鏡面反射として観測される光の入射角θｎより大きくなる。被写体９８の屈折率を一定とすれば、反射率は入射角が大きいほど大きくなることが知られている（フレネル反射）。したがって、位置ｃｎから位置ｃｆを結ぶライン上で鏡面反射率は単調に変化する。ひいては、ライン上の位置に対する位相角ψの変化は、鏡面反射率に対する位相角ψの変化と同等となる。
　図２１は、図２０と異なる形状の被写体の表面の位置と鏡面反射率の関係を例示している。この例で被写体１００は、凸状の曲面形状を有する。これを撮像装置１２で撮影する場合、被写体１００の表面上の各位置から撮像面への仰角は、図２０で示した平面形状の場合と比較し変化が大きくなる。すなわち鏡面反射として観測される光の、撮像面に近い位置ｃｎへの入射角θｎと遠い位置ｃｆへの入射角θｆの差が平面形状の場合より大きくなるため、フレネル反射を考えると反射率の差も大きくなる。
　図２２は、図２０、２１のような撮影環境で、位相角ψを位置の関数として表した様子を模式的に示している。すなわち上段の撮影画像１０２における、被写体の像１０４上の位置ｃｎからｃｆまでの位相角ψの変化を下段に表している。被写体の形状は平面あるいは曲面である。図２０のケースのように、被写体表面での反射率の変化が緩やかな場合、（ａ）に示すように位相角ψの変化も緩やかになる。図２１のケースのように被写体表面での反射率の変化が急激であると、横軸のスケールが縮小された結果、例え表面粗さが等しくても（ｂ）に示すように位相角ψの変化が急になる。
　したがって位相角ψを画像上の同じ範囲で求め、その傾きなどから表面粗さを導出する場合、被写体の形状に差があるときはそれを考慮する必要がある。例えば複数方位の偏光画像から同じ範囲における法線ベクトルの分布を求め、それに基づき横軸のスケールを調整する。あるいは法線ベクトル以外に、被写体の屈折率や光源の位置が判明している場合、鏡面反射率を計算によって求めることができるため、横軸を厳密に鏡面反射率として位相角ψを表してもよい。
　ただし製造ラインにおけるベルトコンベア上の製品など、同じ形状の被写体を同じ方向から撮影するような状況においては、形状の差による影響がないため、横軸を位置とすることで相対的な表面粗さを容易に求めることができる。あるいは曲面であっても法線ベクトルの変化が小さい平面と見なすことができるような微小領域を対象として、位相角ψの変化を取得することにより、形状による影響を最小限に抑えてもよい。この場合、様々な形状の被写体の撮影画像を用いて表面粗さを計算し、より誤差の小さい範囲（例えばｃｎからｃｆの長さ）を求めればよい。
　また図７に示すように、単色の被写体の像において輝度の大きい部分は鏡面反射率が高く、それ以外の領域では拡散反射率が高い。したがって、被写体の像のうち輝度の差が所定値以上となる範囲で位相角ψを求め、横軸を輝度として位相角ψを表しても、同様に表面粗さを求めることができる。ここで用いる輝度は、一般的なカラー撮影画像の対応する位置の輝度でもよいし、複数方位の偏光輝度の平均値でもよい。このように、鏡面反射率（あるいは場合によってはｓ偏光とｐ偏光の成分比）と相関を有するパラメータであれば本実施の形態は同様に適用できるため、撮影環境、被写体の特性、求められる精度など、状況に応じてより負荷の小さいパラメータを採用すればよい。
　なお図２０、図２１は、ある時刻の撮影画像から被写体上の複数の位置の偏光輝度をサンプリングすることにより、その時刻における表面粗さを取得することを想定している。一方、本実施の形態は鏡面反射率の変化に対する位相角の変化が得られれば実現できることから、サンプリング対象を異なる時刻の撮影画像としてもよい。例えば被写体上のある位置の鏡面反射率が時間軸方向に変化するように、光源あるいは撮像装置１２を動かしながら動画撮影する。そのようにして得た一連の画像フレームから、同じ位置の偏光輝度をサンプリングすれば、これまでと同様の位相角の変化を取得できる。この場合、鏡面反射率の変化が生じれば動かす対象は限定されない。また鏡面反射率が単調に変化するようにすれば、横軸を時間として表した位相角の変化によっても、同様の評価で表面粗さを取得できる。
　図２３は、位相角ψの鏡面反射率Ｒｓに対する変化と、それに対応する表面粗さを有するオブジェクトを描画した例を示している。照明環境など表面粗さ以外の条件は等しいとする。（ａ）に示す表面粗さの小さい例（σ＝０．１０）では、被写体である円筒の像の一部に、鏡面反射による輝度の高い領域が見られる。（ｂ）に示す中程度の表面粗さ（σ＝０．５０）では、（ａ）の像より鏡面反射による輝度が小さくなる。（ｃ）に示す表面粗さの大きい例（σ＝０．８０）では、鏡面反射による高輝度領域はほぼ判別できない。
　（ａ）から（ｂ）や（ｃ）への変化は、照明の面積が広がるなどしても起こり得るが、位相角ψの解析によって、表面粗さの変化によるものであることがわかる。また、上段に示した、位相角ψの鏡面反射率Ｒｓに対する変化を一旦作成できれば、位相角ψから鏡面反射率Ｒｓを逆に辿ることができる。これにより、同じ被写体の像表面の任意の位置における位相角ψから鏡面反射率Ｒｓ、ひいては鏡面反射と拡散反射の割合を特定できるため、適切な反射モデルで仮想オブジェクトを描画したり、法線ベクトルを正確に求めたりすることができる。
　次に、これまで述べた構成によって実現される、情報処理装置１０の動作について説明する。図２４は情報処理装置１０が撮影画像から対象物の表面粗さを含む情報を取得し必要なデータを出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０と通信を確立した撮像装置１２が、対象物の偏光画像を撮影している状態において開始される。まず画像取得部５０は撮像装置１２から、撮影画像として少なくとも３方位の偏光画像を取得する。
　次に画像解析部５４の位相取得部５８は、偏光画像における対象物の像の領域を特定し、そのうち位相角ψを求めるサンプリング点を、所定の規則に基づき決定する（Ｓ１２）。サンプリング点の分布範囲は、例えば図２２で示したｃｎからｃｆまでのラインであるが、必ずしも線状でなくてもよい。すなわち鏡面反射率が異なる複数の箇所であれば、ある２次元領域の離散的な位置でもよく、互いの位置関係は限定されない。このようなサンプリング点を決定するため、画像解析部５４は、偏光画像を用いて対象物の法線ベクトルを求めたり、輝度分布を取得したりしてもよい。あるいは、撮像装置１２とは独立した各種センサの測定値により鏡面反射率や拡散反射率を取得し、その分布に基づきサンプリング点を決定してもよい。
　次に位相取得部５８は、複数の方位の偏光画像のうちサンプリング点にある画素の輝度を抽出し、偏光方位に対する輝度の変化を導出することにより、輝度が最大となる方位を位相角ψとして取得する（Ｓ１４）。この処理を、Ｓ１２で決定した位置の全てに対し実施することにより、複数の鏡面反射率に対する位相角ψが得られる。次に表面粗さ取得部６０は、横軸を鏡面反射率、あるいはそれと相関関係を有するパラメータとして位相角ψの変化を取得する（Ｓ１６）。任意の形状の物を対象とし、画像上の位置を横軸として位相角ψを表す場合は、上述のとおり法線ベクトルの分布などに基づき位置のパラメータを正規化する。
　この処理は、各位置を鏡面反射率に換算し、当該反射率を横軸にすることと等価である。当然、鏡面反射率が別途得られている場合は、それを横軸とすればよい。次に表面粗さ取得部６０は、位相角ψの変化を所定の基準に照らすことにより、対象物の表面粗さを特定する（Ｓ１８）。具体的には上述のとおり、位相角ψの変化の１次微分、２次微分、位相角ψが９０°から０°へ至るまでの鏡面反射率の範囲などを利用できる。定性的には、それらの基準により位相角ψの変化が緩やかであることがいえる場合は表面粗さが大きく、変化が急であることがいえる場合は表面粗さが小さい。
　表面粗さ取得部６０は上述のとおり、変化の緩急を表すパラメータと、表面粗さの絶対値とを対応づけたルックアップテーブルを内部のメモリに保持し、得られたパラメータに基づき表面粗さの絶対値を取得してもよい。あるいは、基準となる表面粗さに対応する、変化の緩急を表すパラメータを１つ記憶しておき、得られたパラメータと基準値との大小関係により、基準の表面粗さより粗いか否かを特定するのみでもよい。画像解析部５４の空間情報取得部６２や出力データ生成部５６は、特定された表面粗さを用いて画像平面からその像の領域を特定したり、光源の位置や面積、その他の対象物の状態等を取得したりして適宜情報処理を実施し、出力データを生成、出力する（Ｓ２０）。
　上述のとおり表面粗さのデータそのものを出力データとしてもよい。撮影画像を動画とし、ユーザ操作などにより処理を停止させる必要がない期間は（Ｓ２２のＮ）、後続の画像フレームに対しＳ１０～Ｓ２０の処理を繰り返す。ただし一旦、表面粗さを特定したら、その後は該当する像の輪郭を追跡することにより目的を達する場合などは、適宜処理を省略する。あるいは表示のフレームレートより低いレートで、定期的に表面粗さの確認を行ってもよい。これにより追跡処理の誤認を修正することができる。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる（Ｓ２２のＹ）。
　以上述べた本実施の形態によれば、偏光画像を利用して被写体表面の粗さを取得する。具体的には、偏光輝度が最大になるときの偏光方位を位相角として取得し、鏡面反射率あるいはそれと相関のあるパラメータに対する変化を求める。そして位相角の変化の緩急を所定の基準により評価することで、相対的または絶対値として表面粗さを特定する。これにより、特定の粗さを有する対象物の像を、光の状態によらず正確に抽出できるため、対象物の状態検知、認識、像の分離、およびそれらを利用した情報処理を安定した精度で行える。
　また表面粗さが判明することにより、像の輝度分布などから光源の状態を特定できる。これにより、撮影画像に描画する仮想オブジェクトに適切なシェーディングを施すなど、精度の高い画像表現を実現できる。また、表面粗さを得るのに用いる位相角ψの変化の情報を逆に辿ることにより、位相角ψから鏡面反射率や鏡面反射と拡散反射の割合を求めることができる。これを利用すれば、実物体を模した仮想オブジェクトをより正確に描画したり、対象物の法線ベクトルの分布を精度よく求めたりすることもできる。
　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　１０　情報処理装置、　１２　撮像装置、　１６　表示装置、　２３　ＣＰＵ、　２４　ＧＰＵ、　２６　メインメモリ、　５０　画像取得部、　５２　画像データ記憶部、　５４　画像解析部、　５６　出力データ生成部、　５８　位相取得部、　６０　表面粗さ取得部、　６２　空間情報取得部。
　以上のように本発明は、ゲーム装置、携帯端末、監視カメラシステム、車載カメラシステム、検品装置など各種情報処理装置に利用可能である。

Claims (13)

  1. 　複数の方位の偏光画像のデータを取得する画像取得部と、
    　前記偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得する位相角取得部と、
    　鏡面反射率の変化に対する前記位相角の特性を所定の基準で評価することにより、前記被写体の表面粗さを取得する表面粗さ取得部と、
    　前記表面粗さに応じたデータを生成し出力する出力データ生成部と、
    　を備えたことを特徴とする情報処理装置。
  2. 　前記表面粗さ取得部は、前記位相角の特性として、前記鏡面反射率の変化に対する前記位相角の変化の緩急を表すパラメータを評価することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記位相角取得部は、前記被写体の像のうち鏡面反射率が異なる複数の位置における前記位相角を取得し、
    　前記表面粗さ取得部は、前記複数の位置における鏡面反射率を取得したうえ、当該鏡面反射率に対する前記位相角の変化を表すことにより、前記特性を評価することを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記位相角取得部は、前記被写体の像のうち鏡面反射率が単調に変化する範囲における前記位相角を取得し、
    　前記表面粗さ取得部は、前記範囲内の位置に対する前記位相角の変化を表すことにより、前記位相角の特性を評価することを特徴とする請求項１または２に記載の情報処理装置。
  5. 　前記表面粗さ取得部は、前記被写体の表面の法線ベクトルの分布に基づき、前記位置に対する前記位相角の変化を調整したうえで、前記特性を評価することを特徴とする請求項４に記載の情報処理装置。
  6. 　前記位相角取得部は、前記被写体の像のうち所定値以上の輝度の差を有する範囲における前記位相角を取得し、
    　前記表面粗さ取得部は、輝度に対する前記位相角の変化を表すことにより、前記位相角の特性を評価することを特徴とする請求項１または２に記載の情報処理装置。
  7. 　前記画像取得部は、被写体の鏡面反射率が変化する状態を撮影した前記偏光画像の動画のデータを取得し、
    　前記位相角取得部は、前記被写体の像のうち鏡面反射率が単調に変化する位置における前記位相角を、前記動画の複数の画像フレームから取得し、
    　前記表面粗さ取得部は、時間に対する前記位相角の変化を表すことにより、前記位相角の特性を評価することを特徴とする請求項１または２に記載の情報処理装置。
  8. 　前記表面粗さ取得部は、前記位相角の特性を表すパラメータと表面粗さとを対応づけたルックアップテーブルを参照し、前記偏光画像に基づき得られた前記パラメータの値に基づき、被写体の表面粗さを取得することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
  9. 　前記表面粗さ取得部は、前記位相角の特性を表すパラメータの基準値と、前記偏光画像に基づき得られた前記パラメータの値とを比較することにより、基準からの相対的な表面粗さを取得することを特徴とする請求項１から７のいずれかに記載の情報処理装置。
  10. 　被写体の前記表面粗さと、当該被写体の像の輝度分布に基づき、光源の状態に係る情報を取得する空間情報取得部をさらに備えたことを特徴とする請求項１から９のいずれかに記載の情報処理装置。
  11. 　前記表面粗さ取得部が生成した、前記鏡面反射率の変化に対する前記位相角の変化に係る情報を用いて、前記被写体の像におけるある位置の前記位相角に基づき、当該位置の前記鏡面反射率を取得する空間情報取得部をさらに備えたことを特徴とする請求項１から９のいずれかに記載の情報処理装置。
  12. 　複数の方位の偏光画像のデータを取得するステップと、
    　前記偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得するステップと、
    　鏡面反射率の変化に対する前記位相角の特性を所定の基準で評価することにより、前記被写体の表面粗さを取得するステップと、
    　前記表面粗さに応じたデータを生成し出力するステップと、
    　を含むことを特徴とする、情報処理装置による表面粗さ取得方法。
  13. 　複数の方位の偏光画像のデータを取得する機能と、
    　前記偏光画像を用いて、被写体の像を表す偏光輝度の、方位に対する変化を導出したうえ、偏光輝度の最大値が得られる方位を位相角として取得する機能と、
    　鏡面反射率の変化に対する前記位相角の特性を所定の基準で評価することにより、前記被写体の表面粗さを取得する機能と、
    　前記表面粗さに応じたデータを生成し出力する機能と、
    　をコンピュータに実現させることを特徴とするコンピュータプログラム。
PCT/JP2017/046106 2017-12-22 2017-12-22 情報処理装置および表面粗さ取得方法 WO2019123625A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/046106 WO2019123625A1 (ja) 2017-12-22 2017-12-22 情報処理装置および表面粗さ取得方法
JP2019559979A JP7039616B2 (ja) 2017-12-22 2017-12-22 情報処理装置および表面粗さ取得方法
US16/771,936 US11327329B2 (en) 2017-12-22 2017-12-22 Information processing apparatus and surface roughness acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046106 WO2019123625A1 (ja) 2017-12-22 2017-12-22 情報処理装置および表面粗さ取得方法

Publications (1)

Publication Number Publication Date
WO2019123625A1 true WO2019123625A1 (ja) 2019-06-27

Family

ID=66993318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046106 WO2019123625A1 (ja) 2017-12-22 2017-12-22 情報処理装置および表面粗さ取得方法

Country Status (3)

Country Link
US (1) US11327329B2 (ja)
JP (1) JP7039616B2 (ja)
WO (1) WO2019123625A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5796810B2 (ja) 2012-06-18 2015-10-21 株式会社神戸製鋼所 高強度かつ冷間圧延性に優れたチタン合金材
JP2019067323A (ja) * 2017-10-05 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
CN112700527B (zh) * 2020-12-29 2023-09-26 嘉兴超维信息技术有限公司 一种计算物体表面粗糙度贴图的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239584A1 (en) * 2005-01-19 2006-10-26 Matsushita Electric Industrial Co., Ltd. Image conversion method, texture mapping method, image conversion device, server-client system, and image conversion program
WO2012011246A1 (ja) * 2010-07-21 2012-01-26 パナソニック株式会社 画像処理装置
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2000102890A (ru) 1998-05-19 2002-03-27 Сони Компьютер Энтертейнмент Инк. (Jp) Устройство и способ обработки изображений и распространяемый носитель
RU2009107143A (ru) * 2007-08-07 2010-09-10 Панасоник Корпорэйшн (Jp) Устройство обработки изображений и способ обработки изображений

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239584A1 (en) * 2005-01-19 2006-10-26 Matsushita Electric Industrial Co., Ltd. Image conversion method, texture mapping method, image conversion device, server-client system, and image conversion program
WO2012011246A1 (ja) * 2010-07-21 2012-01-26 パナソニック株式会社 画像処理装置
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法

Also Published As

Publication number Publication date
US11327329B2 (en) 2022-05-10
JPWO2019123625A1 (ja) 2020-12-03
US20200393689A1 (en) 2020-12-17
JP7039616B2 (ja) 2022-03-22

Similar Documents

Publication Publication Date Title
US11710289B2 (en) Information processing apparatus, information processing system, and material identification method
JP6697986B2 (ja) 情報処理装置および画像領域分割方法
US20210342578A1 (en) Polarization Imaging for Facial Recognition Enhancement System and Method
JP6799154B2 (ja) 情報処理装置および材質特定方法
JP2018041277A (ja) 情報処理装置および対象物認識方法
WO2019123625A1 (ja) 情報処理装置および表面粗さ取得方法
JP6934575B2 (ja) 情報処理装置および物体検出方法
JP6933776B2 (ja) 情報処理装置および被写体情報取得方法
JP6650848B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP6851475B2 (ja) 情報処理装置および情報処理方法
JP6934565B2 (ja) 情報処理装置および被写体情報取得方法
JP6783928B2 (ja) 情報処理装置および法線情報取得方法
JP7101250B2 (ja) 情報処理装置およびプレイフィールド逸脱検知方法
WO2022259466A1 (ja) 画像処理装置およびマテリアル情報取得方法
US20240257514A1 (en) Image processing apparatus and material information obtainment method
WO2021100177A1 (ja) 入射光情報取得方法、入射光情報取得システム、および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17935789

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019559979

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17935789

Country of ref document: EP

Kind code of ref document: A1