WO2022014370A1 - 撮像処理システムおよび３ｄモデル生成方法 - Google Patents

撮像処理システムおよび３ｄモデル生成方法 Download PDF

Info

Publication number
WO2022014370A1
WO2022014370A1 PCT/JP2021/025089 JP2021025089W WO2022014370A1 WO 2022014370 A1 WO2022014370 A1 WO 2022014370A1 JP 2021025089 W JP2021025089 W JP 2021025089W WO 2022014370 A1 WO2022014370 A1 WO 2022014370A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarized light
unit
imaging
processing system
image
Prior art date
Application number
PCT/JP2021/025089
Other languages
English (en)
French (fr)
Inventor
尚子 菅野
久之 館野
洋一 廣田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022536262A priority Critical patent/JPWO2022014370A1/ja
Priority to EP21843431.4A priority patent/EP4184909A4/en
Priority to CN202180048905.4A priority patent/CN115804100A/zh
Priority to KR1020237000029A priority patent/KR20230038454A/ko
Priority to US18/015,434 priority patent/US20230288622A1/en
Publication of WO2022014370A1 publication Critical patent/WO2022014370A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present disclosure relates to an image pickup processing system and a 3D model generation method, and more particularly to an image pickup processing system and a 3D model generation method capable of generating a more accurate 3D model.
  • a 3D model which is a model having 3D information of the subject, is generated from the moving image captured from multiple viewpoints, and a free viewpoint moving image, which is a moving image according to an arbitrary viewpoint position, is based on the 3D model.
  • a technology to generate is also called a volumetric capture technique or the like.
  • a technique has been proposed to generate a 3D model using a method such as Visual Hull that cuts out a three-dimensional shape of a subject based on a plurality of captured images obtained by imaging from different directions (for example). See Patent Document 1).
  • the imaging is performed by a plurality of imaging devices arranged so as to surround the subject, so that there are few blind spots and the lighting device is within the angle of view.
  • Easy to fit When a high-brightness lighting device fits within the angle of view, optical phenomena such as so-called flare, ghost, and halation are likely to occur. When such an optical phenomenon occurs, the accuracy of the 3D model generated from the captured image may be reduced.
  • This disclosure is made in view of such a situation, and is intended to generate a more accurate 3D model.
  • the imaging processing system of one aspect of the present technology is an imaging processing system that generates a 3D model of the object by using a plurality of captured images obtained by imaging the object, and is provided with a polarizing element and is provided from different positions.
  • a plurality of polarized light illuminating devices that irradiate the object with polarized light obtained by transmitting light emitted from a light emitting unit through the polarizing element, and the object and at least one polarized light illuminating device provided with a polarizing element.
  • a plurality of polarized light imaging devices that generate the captured image using polarized light obtained by transmitting external light through the polarizing element at different positions within the corner are provided, and the polarizing element of the polarized light imaging device is provided.
  • the polarization direction of the light is an image pickup processing system different from the polarization direction of the polarizing element of the polarization lighting device.
  • the 3D model generation method of the other aspect of the present technology generates a captured image of an object at different positions by using the polarized light emitted from the polarized light illuminator within the angle of view and the polarized light in a different polarization direction, and the images are generated at different positions.
  • This is a 3D model generation method for generating a 3D model of the object using the plurality of captured images obtained in 1.
  • the imaging processing system on yet another aspect of the present technology is provided with a polarizing element, and a plurality of polarized illuminations that irradiate an object with polarized light obtained by transmitting light emitted from a light emitting unit from different positions through the polarizing element.
  • the object is provided with a device and a polarizing element, and the object is provided with polarized light obtained by transmitting light from the outside through the polarizing element at different positions where the object and at least one polarized light illuminating device are within an angle of view.
  • a plurality of polarized light illuminating devices equipped with a polarizing element are used from a light emitting unit.
  • the polarized light obtained by transmitting the emitted light through the polarizing element is applied to the object from different positions, and the polarized light is provided by a plurality of polarized light imaging devices having a polarizing element whose polarization direction is different from that of the polarizing illuminator.
  • the polarized light obtained by passing light from the outside through the polarizing element is used to generate the captured image.
  • captured images of objects are generated at different positions from each other by using polarization in a different polarization direction from the polarization emitted from the polarization illuminating device within the angle of view. Multiple captured images obtained at different positions are used to generate a 3D model of the object.
  • a plurality of polarized light having a polarizing element and irradiating an object with polarized light obtained by transmitting light emitted from a light emitting unit from different positions through the polarizing element is applied to the object.
  • the light from the outside has a polarizing element having a polarizing device having a polarization direction different from that of the polarizing element of the polarizing lighting device, and the object and at least one polarizing lighting device are located at different positions within the angle of view. It is provided with a plurality of polarized light imaging devices that generate an image of the object by using the polarized light obtained through transmission.
  • the information processing system 100 of FIG. 1 captures a subject from multiple viewpoints by such a volumetric capture technique, generates a 3D model of the subject from the captured image, and sets an arbitrary viewpoint position based on the 3D model. It is a system that generates a free viewpoint image according to the situation.
  • the information processing system 100 includes a data acquisition unit 101, a 3D model generation unit 102, a formatting unit 103, a transmission unit 104, a reception unit 105, a rendering unit 106, and a display unit 107.
  • the data acquisition unit 101 acquires image data for generating a 3D model of the subject.
  • the data acquisition unit 101 acquires a plurality of viewpoint images captured by a plurality of image pickup devices arranged so as to surround the subject as image data.
  • the plurality of viewpoint images are preferably images obtained by synchronously capturing images by a plurality of imaging devices.
  • the data acquisition unit 101 may perform calibration based on the image data and acquire the internal parameters and external parameters of each image pickup device. Further, the data acquisition unit 101 may acquire a plurality of depth information indicating distances from a plurality of viewpoints to the subject, for example.
  • the data acquisition unit 101 supplies the acquired image data to the 3D model generation unit 102.
  • the 3D model generation unit 102 generates a 3D model, which is a model having three-dimensional information of the subject, based on the image data supplied from the data acquisition unit 101.
  • the 3D model generation unit 102 uses, for example, the so-called Visual Hull to create a 3D model of the subject by cutting the three-dimensional shape of the subject using images from a plurality of viewpoints (for example, silhouette images from a plurality of viewpoints). Generate.
  • the silhouette image is an image that expresses only the outline (outer shape) of the subject, and the area inside the outline is expressed by being filled with a single color like a shadow picture, for example. That is, the 3D model generation unit 102 generates such a silhouette image from the image data (captured image) supplied from the data acquisition unit 101.
  • the image data of the silhouette image may be supplied from the data acquisition unit 101 to the 3D model generation unit 102.
  • the 3D model generation unit 102 can further transform the 3D model generated using Visual Hull with high accuracy by using a plurality of depth information indicating the distances from the viewpoints of a plurality of points to the subject.
  • the 3D model generated by the 3D model generation unit can be said to be a moving image of the 3D model by generating it in time-series frame units. Further, since the 3D model is generated by using the image captured by the image pickup apparatus of the data acquisition unit 101, it can be said to be a live-action 3D model.
  • the 3D model can express the shape information representing the surface shape of the subject in the form of mesh data called a polygon mesh, which is expressed by the connection between the vertices (Vertex) and the vertices.
  • the method of expressing the 3D model is not limited to these, and may be described by a so-called point cloud expression method expressed by the position information of points.
  • Color information data is also generated as a texture in a form linked to these 3D shape data. For example, there are cases of ViewIndependent textures that have a constant color when viewed from any direction, and cases of ViewDependent textures whose colors change depending on the viewing direction.
  • the 3D model generation unit 102 supplies the generated 3D model data to the formatting unit 103.
  • the formatting unit 103 converts the 3D model data supplied from the 3D model generation unit 102 into a format suitable for transmission and storage.
  • the formatting unit 103 may convert the 3D model generated by the 3D model generation unit 102 into a plurality of two-dimensional images by perspectively projecting the 3D model from a plurality of directions.
  • the formatting unit 103 may generate depth information which is a two-dimensional depth image from a plurality of viewpoints by using a 3D model.
  • the formatting unit 103 may encode (compress) the depth information and the color information of the state of the two-dimensional image.
  • the formatting unit 103 may encode the depth information and the color information side by side as one image, or may encode them as two separate images.
  • the formatting unit 103 encodes (compresses) them using a two-dimensional compression technique such as AVC (Advanced Video Coding). May be good.
  • AVC Advanced Video Coding
  • the formatting unit 103 supplies the 3D model data to the transmitting unit 104 as transmission data consisting of 2D data (or its coded data).
  • the formatting unit 103 may convert the 3D data of the mesh data into the point cloud format and supply it to the transmitting unit 104 as transmission data composed of the 3D data.
  • the formatting unit 103 may encode (compress) the 3D data by using, for example, the Geometry-based-Approach 3D compression technique discussed in MPEG.
  • the transmission unit 104 transmits the transmission data formed by the formatting unit 103 to the reception unit 105.
  • the transmission unit 104 transmits the transmission data to the reception unit 105 after performing a series of processes of the data acquisition unit 101, the 3D model generation unit 102, and the formatting unit 103 offline. Further, the transmission unit 104 may transmit the transmission data generated from the series of processes described above to the reception unit 105 in real time.
  • the receiving unit 105 receives the transmission data transmitted from the transmitting unit 104 and supplies it to the rendering unit 106.
  • the rendering unit 106 renders using the transmission data received by the receiving unit 105.
  • the rendering unit 106 projects a mesh of a 3D model from the viewpoint of a camera that draws the mesh, and performs texture mapping to paste a texture representing a color or a pattern.
  • the drawing at this time can be arbitrarily set regardless of the camera position at the time of shooting and can be viewed from a free viewpoint.
  • the rendering unit 106 performs texture mapping to paste a texture representing the color, pattern or texture of the mesh according to the position of the mesh of the 3D model, for example.
  • Texture mapping includes a so-called View Dependent method that considers the user's viewing viewpoint and a View Independent method that does not consider the user's viewing viewpoint.
  • the View Dependent method has the advantage of being able to achieve higher quality rendering than the View Independent method because the texture to be pasted on the 3D model changes according to the position of the viewing viewpoint.
  • the View Independent method has an advantage that the amount of processing is smaller than that of the View Dependent method because the position of the viewing viewpoint is not considered.
  • the viewing viewpoint data is input from the display unit 107 to the rendering unit 106 after the display unit 107 detects the viewing point (Region of Interest) of the user.
  • the rendering unit 106 may adopt, for example, billboard rendering that renders the object so that the object maintains a vertical posture with respect to the viewing viewpoint. For example, when rendering a plurality of objects, the rendering unit 106 may render an object of low interest to the viewer on the billboard and render other objects by another rendering method.
  • the rendering unit 106 supplies the rendering result data to the display unit 107.
  • the display unit 107 displays the result rendered by the rendering unit 106 on the display unit of the display device.
  • the display device may be a 2D monitor or a 3D monitor such as a head-mounted display, a spatial display, a mobile phone, a television, and a PC (Personal Computer).
  • step S101 the data acquisition unit 101 acquires image data for generating a 3D model of the subject.
  • step S102 the 3D model generation unit 102 generates a 3D model which is a model having three-dimensional information of the subject based on the image data acquired in step S101.
  • step S103 the formatting unit 103 encodes the shape and texture data of the 3D model generated in step S102 into a format suitable for transmission and storage.
  • step S104 the transmission unit 104 transmits the coded data generated in step S103.
  • step S105 the receiving unit 105 receives the data transmitted in step S104.
  • step S106 the rendering unit 106 performs decoding processing and converts it into shape and texture data necessary for display. Further, the rendering unit 106 renders using the shape and texture data.
  • step S107 the display unit 107 displays the rendered result.
  • step S107 When the process of step S107 is completed, the system process is completed.
  • the information processing system 100 can generate a 3D model of the subject and generate and display an image of the subject viewed from a free viewpoint. As a result, the user who is a viewer can see the subject from a free viewpoint.
  • the information processing system 100 has shown a series of flows from the data acquisition unit 101 that acquires the captured image which is the material for generating the content to the display unit 107 that displays the image to be viewed by the user.
  • this does not mean that all functional blocks are required for the implementation of the present invention, and the present invention can be implemented for each functional block or a combination of a plurality of functional blocks.
  • a transmitting unit 104 and a receiving unit 105 are provided to show a series of flow from a content creating side to a content viewing side through distribution of content data, but from content production to viewing. Can also be carried out on the same information processing device (for example, a personal computer). In that case, the formatting unit 103, the transmitting unit 104, and the receiving unit 105 can be omitted.
  • the same implementer can implement all of them, or each functional block can be implemented by a different implementer.
  • the business operator A executes the data acquisition unit 101, the 3D model generation unit 102, and the formatting unit 103 to generate 3D content
  • the business operator B implements the transmission unit 104 (platform) to generate 3D content.
  • the business operator C may perform the receiving unit 105, the rendering unit 106, and the display unit 107 to receive, render, display control, and the like of 3D contents.
  • each functional block can be implemented on the cloud.
  • the rendering unit 106 may be implemented in the display device or may be implemented in the server. In that case, information is exchanged between the display device and the server.
  • the data acquisition unit 101, the 3D model generation unit 102, the formatting unit 103, the transmission unit 104, the reception unit 105, the rendering unit 106, and the display unit 107 are collectively described as the information processing system 100.
  • the configuration of the information processing system 100 is not limited to this example, and it is sufficient that the information processing system 100 has at least a data acquisition unit 101.
  • the information processing system 100 may have a configuration (functional block) other than the configuration described above.
  • each of the above-mentioned functional blocks is realized by an arbitrary configuration.
  • each functional block may be realized by one or more devices (devices).
  • a plurality of functional blocks may be realized by one device (device).
  • FIG. 3 is a block diagram showing a main configuration example of the data acquisition unit 101 of FIG.
  • the data acquisition unit 101 which is an embodiment of the image pickup processing system to which the present technology is applied, has an image pickup illumination unit 121 and a transmission unit 122.
  • the image pickup lighting unit 121 takes an image of the subject and illuminates the subject.
  • the image pickup illumination unit 121 includes an image pickup unit 131-1 to an image pickup unit 131-M, and an illumination unit 132-1 to an illumination unit 132-N (M and N are integers of 2 or more).
  • M and N are integers of 2 or more.
  • the image pickup unit 131-1 to the image pickup unit 131-M are referred to as an image pickup unit 131.
  • the illuminating unit 132-1 is referred to as an illuminating unit 132.
  • the image pickup illumination unit 121 has a plurality of image pickup units 131 and a plurality of illumination units 132.
  • the imaging unit 131 is composed of a single or a plurality of imaging devices, images a subject, and generates an captured image for generating a 3D model. That is, the image pickup unit 131 generates an image captured image used for extracting the silhouette and texture of the subject. The image pickup unit 131 supplies the generated captured image data to the transmission unit 122.
  • the wavelength band of the light received by the image pickup device of the image pickup unit 131 is arbitrary, and may be visible light or invisible light.
  • the imaging unit 131 may receive visible light (RGB rays) to generate an image captured by visible light, or may receive infrared light (IR (InfraRed) light) to generate an image captured by infrared light. May be generated.
  • the lighting unit 132 is composed of a single or a plurality of lighting devices, and illuminates the subject imaged by the image pickup unit 131.
  • the wavelength band of the light emitted by the lighting device of the lighting unit 132 is arbitrary, and may be visible light or invisible light.
  • the illumination unit 132 may illuminate the subject with visible rays (RGB rays) or may illuminate the subject with infrared rays (IR rays).
  • the transmission unit 122 transmits the data of the captured image supplied from the imaging unit 131 to the 3D model generation unit 102. At that time, the transmission unit 122 may supply the captured image data to the 3D model generation unit 102 without encoding, or the captured image data is encoded and used as encoded data in the 3D model generation unit 102. May be supplied to. Further, the transmission unit 122 may perform arbitrary image processing on the captured image. For example, the transmission unit 122 may extract silhouettes and textures from captured images and supply the extracted silhouettes and texture data to the 3D model generation unit 102.
  • the illumination unit 132 illuminates the subject, the image pickup unit 131 can take an image of the subject under sufficient brightness, and can obtain an image taken with sufficient brightness.
  • the plurality of imaging units 131 are arranged around the subject so as to reduce the blind spot. Therefore, there is a high possibility that the illumination unit 132 fits within the angle of view of the image pickup unit 131. In other words, it was difficult to arrange the illumination unit 132 so as not to fit within the angle of view of the image pickup unit 131.
  • the lighting unit 132 (lighting device) is a high-intensity light source
  • phenomena such as so-called flare, ghost, halation, etc., in which the light leaks to a dark part, are likely to occur.
  • flare, ghost, halation, etc. in which the light leaks to a dark part.
  • it may be difficult to extract an accurate silhouette of the subject from the captured image.
  • it may be difficult to extract the texture of the subject. Therefore, there is a risk that the accuracy of the 3D model generated from the captured image will be reduced.
  • the image pickup unit 131 imaging device
  • the illumination unit 132 illumination device
  • a polarizing element that generates linearly polarized light from natural light (non-polarized light) or circularly polarized light
  • the illumination unit 132 illuminates the subject with polarized light for imaging.
  • the unit 131 receives polarized light to generate an captured image.
  • the polarization direction of the polarized light irradiated by the illumination unit 132 that is, the polarization direction of the polarizing element of the illumination unit 132
  • the polarization direction of the polarization received by the image pickup unit 131 that is, the polarization of the polarizing element of the image pickup unit 131).
  • Direction should be different from each other.
  • polarized light a light ray mainly composed of vibration components in a predetermined direction
  • the main vibration direction of the polarized light is referred to as a polarization direction (or polarization angle).
  • the polarizing element generates polarized light in a predetermined polarization direction, and the polarization direction is also referred to as a polarization direction (or polarization angle) of the polarizing element.
  • an imaging processing system that generates a 3D model of an object using a plurality of captured images obtained by imaging the object is provided with a polarizing element, and light emitted from a light emitting unit from different positions thereof is polarized light.
  • a plurality of polarized light illuminating devices (for example, an illuminating unit 132) that irradiate the object with polarized light obtained through the child, and the object and at least one polarized light illuminating device having a polarizing element are different from each other within an angle of view.
  • a plurality of polarized light imaging devices (for example, an imaging unit 131) that generate an image to be captured by using the polarized light obtained by transmitting light from the outside through the polarizing element are provided, and the polarizing element of the polarized light image pickup device is provided.
  • the polarization direction of the light is different from the polarization direction of the polarizing element of the polarization illuminating device.
  • an image of an object is generated by using polarized light in a different polarization direction from the polarized light emitted from a polarized light illuminating device (for example, an illuminating unit 132) within an angle of view at different positions, and obtained at different positions.
  • a 3D model of the object is generated using a plurality of captured images.
  • an imaging processing system includes a plurality of polarized light illuminating devices (for example, an illuminating unit 132) having a polarizing element and irradiating an object with polarized light obtained by transmitting light emitted from a light emitting unit from different positions through the polarizing element. ), And at different positions where the object and at least one polarizing illuminator are within the angle of view, the object is provided with polarized light obtained by passing light from the outside through the polarizing element.
  • polarized light illuminating devices for example, an illuminating unit 132 having a polarizing element and irradiating an object with polarized light obtained by transmitting light emitted from a light emitting unit from different positions through the polarizing element.
  • a plurality of polarized light imaging devices for example, an imaging unit 131) for generating an captured image are provided, and the polarization direction of the polarizing element of the polarized light imaging device is set to be different from the polarization direction of the polarizing element of the polarized light illumination device.
  • the amount of direct light from the illumination unit 132 that passes through the polarizing element of the image pickup unit 131 and is incident on the sensor is reduced. do. Therefore, in the captured image generated by the image pickup unit 131, the luminance value of the portion of the illumination unit 132 that fits within the angle of view can be reduced, so that the occurrence of so-called flare, ghost, halation, etc. can be suppressed. Therefore, since the silhouette and texture can be extracted more accurately from the captured image, the 3D model generation unit 102 can generate a more accurate 3D model (of the accuracy of the 3D model). The reduction can be suppressed).
  • the degree of reduction in the amount of direct light from the illumination unit 132 that has passed through the polarizing element of the image pickup unit 131 and is incident on the sensor is determined by the polarization direction of the polarizing element of the image pickup unit 131 and the polarizing element of the illumination unit 132.
  • FIG. 4 is a block diagram showing a main configuration example of the illumination unit 132. As shown in FIG. 4, the illumination unit 132 has a polarizing filter 151 and a light emitting unit 152.
  • the polarizing filter 151 is an example of a polarizing element, and generates polarized light by transmitting light of a component that vibrates in a predetermined direction.
  • the light emitting unit 152 is a light source and emits a light ray (non-polarized light) having a predetermined wavelength in a predetermined direction.
  • the polarizing filter 151 is arranged in front of the light emitting direction (irradiation direction) of the light emitting unit 152.
  • the unpolarized light 161 emitted from the light emitting unit 152 heads toward the polarizing filter 151.
  • the polarizing filter 151 transmits the vibration component of the unpolarized light 161 in a predetermined direction. That is, polarized light 162 having the predetermined direction as the polarization direction is generated by the polarizing filter 151.
  • the polarized light 162 is emitted from the illumination unit 132. That is, the illumination unit 132 is a polarized light illuminating device including a polarizing element and irradiating the polarized light generated by the polarizing element with the light from the light source.
  • the lighting unit 132 Since the lighting unit 132 is installed at a position and orientation that illuminates the object that is the subject of the imaging unit 131, at least a part of the polarized light 162 is irradiated on the object. Then, at least a part of the irradiated polarized light 162 is reflected by the object or the like to become unpolarized and heads toward the image pickup unit 131. That is, the illumination unit 132 illuminates in this way, so that the brightness of the captured image can be increased.
  • the wavelength band of the polarized light 162 irradiated by the illumination unit 132 is arbitrary.
  • the polarized light 162 may be visible light, invisible light, or both.
  • the polarized light 162 may be an infrared ray (IR ray).
  • the illumination unit 132 may have a plurality of light emitting units 152 (light sources) that emit light rays in different wavelength ranges, and the image pickup illumination unit 121 may have a plurality of illumination units that irradiate polarized light 162 in different wavelength regions. You may have 132.
  • the polarization direction of the polarizing filter 151 may be predetermined (may be fixed) or variable.
  • a polarization direction control mechanism (movable ring or the like) for controlling the polarization direction of the polarization filter 151 may be provided, and the polarization direction of the polarization filter 151 may be variable by the polarization direction control mechanism.
  • FIG. 5 is a block diagram showing a main configuration example of the image pickup unit 131.
  • the imaging unit 131 includes a polarizing filter 171 and an image sensor 172.
  • the polarizing filter 171 is an example of a polarizing element, and generates polarized light by transmitting light of a component that vibrates in a predetermined direction.
  • the image sensor 172 has a plurality of pixels, and the incident light is photoelectrically converted in each pixel to generate an captured image.
  • the image sensor 172 supplies the generated image data to the transmission unit 122.
  • the polarizing filter 171 is arranged on the light incident side of the image sensor 172.
  • the non-polarized light 181 incident on the image pickup unit 131 heads toward the polarizing filter 171.
  • the polarizing filter 171 transmits the vibration component of the unpolarized light 181 in a predetermined direction. That is, polarized light 182 whose polarization direction is the predetermined direction is generated by the polarizing filter 171.
  • the polarized light 182 is incident on the image sensor 172 and photoelectrically converted. That is, the image sensor 172 generates an captured image corresponding to the polarized light 182.
  • the image pickup unit 131 is a polarized light imaging device that includes a polarizing element and generates an image captured image using the polarized light generated by the polarizing element.
  • the illumination unit 132 is located within the angle of view of the image pickup unit 131, direct light from the illumination unit 132 may be incident on the image pickup unit 131. That is, the polarized light 162 emitted from the illumination unit 132 may be directed to the polarizing filter 171.
  • the polarization direction of the polarizing filter 171 is set to a direction different from the polarization direction of the polarizing filter 151. That is, the polarizing filter 171 and the polarizing filter 151 have different polarization directions from each other. Therefore, at least a part of the polarized light 162 is blocked by the polarizing filter 171. That is, the amount of light of the polarized light 162 incident on the image sensor 172 is reduced.
  • the 3D model generation unit 102 can generate a more accurate 3D model (of the accuracy of the 3D model). The reduction can be suppressed).
  • the wavelength band of the light received by the image sensor 172 and photoelectrically converted is arbitrary.
  • the image sensor 172 may photoelectrically convert visible light, photoelectrically convert invisible light, or photoelectrically convert both of them. That is, the imaging unit 131 may generate data of the captured image of visible light, may generate data of the captured image of invisible light, or may generate both captured images.
  • the image sensor 172 may perform photoelectric conversion of infrared rays (IR rays). That is, the image pickup unit 131 may generate an image captured by an infrared ray (IR ray).
  • the image pickup unit 131 may have a plurality of image sensors 172 that photoelectrically convert light rays in different wavelength ranges
  • the image pickup illumination unit 121 may have a plurality of image pickup units that generate captured images of light rays in different wavelength ranges. You may have 131.
  • the captured image generated by the imaging unit 131 may be used to extract the silhouette of the object that is the subject.
  • the imaging unit 131 may generate an captured image for extracting the silhouette of the object.
  • a polarizing element for example, a polarizing filter 171
  • the captured image generated by the imaging unit 131 may be used to extract the texture of the object that is the subject.
  • the imaging unit 131 may generate an captured image for extracting the texture of the object.
  • a polarizing element for example, a polarizing filter 171
  • the captured image generated by the imaging unit 131 may be used to extract both the silhouette and the texture of the object as the subject.
  • the imaging unit 131 may generate an captured image for extracting the silhouette and texture of the object.
  • the imaging unit 131 may generate an captured image for extracting the silhouette of the object and an captured image for extracting the texture of the object, respectively.
  • the image pickup illumination unit 121 has an image pickup unit 131 that generates an image pickup image used for extracting a silhouette of an object, and an image pickup unit 131 that generates an image pickup image used for extracting a texture of an object.
  • the polarizing element for example, the polarization filter 171
  • the image pickup unit 131 may be provided in the image pickup unit 131 that generates the captured image used for extracting the silhouette of the object, or may be used for extracting the texture of the object. It may be provided in the image pickup unit 131 that generates the captured image to be obtained, or may be provided in both of the image pickup units 131.
  • the polarization direction of the polarizing filter 171 may be predetermined (fixed) or variable.
  • a polarization direction control mechanism (movable ring or the like) for controlling the polarization direction of the polarization filter 171 may be provided, and the polarization direction of the polarization filter 171 may be variable by the polarization direction control mechanism.
  • the image pickup unit 131 may be configured by the polarization sensor 191.
  • the polarization sensor 191 is an image sensor that photoelectrically converts polarized light to generate an captured image.
  • the polarization sensor 191 has a plurality of pixels, and each pixel is provided with a polarizing element that generates polarized light from incident light, and a light receiving unit provided in each pixel receives the polarized light generated by the polarizing element. , Photoelectric conversion. That is, the polarization sensor 191 polarizes the incident non-polarized light 181 and performs photoelectric conversion to generate an captured image thereof.
  • the polarization direction of the polarizing element provided in each pixel of the polarization sensor 191 is designed to be different from the polarization direction of the polarization filter 151. That is, the polarizing elements provided in each pixel of the polarizing sensor 191 and the polarizing filter 151 have different polarization directions from each other. Therefore, at least a part of the polarized light 162 is blocked by the polarizing element, so that the amount of light (luminance in the captured image) of the polarized light 162 that is photoelectrically converted is reduced.
  • the polarizing filter 171 in the captured image generated by the imaging unit 131 (polarization sensor 191), the luminance value of the portion of the illumination unit 132 that fits within the angle of view can be reduced, so-called flare, ghost, and so on. It is possible to suppress the occurrence of halation and the like. Therefore, since the silhouette and texture can be extracted more accurately from the captured image, the 3D model generation unit 102 can generate a more accurate 3D model (of the accuracy of the 3D model). The reduction can be suppressed).
  • the image pickup unit 131 and the illumination unit 132 may be configured as a ToF (Tim of Flight) sensor. That is, the illumination unit 132 may illuminate the subject, the image pickup unit 131 may receive the reflected light, and the distance measuring sensor may be configured to measure the distance to the subject based on the light reception timing.
  • the present technology can also be applied to optical ranging sensors such as ToF sensors.
  • the image pickup unit 131 and the illumination unit 132 may be arranged at positions close to each other. Further, the image pickup unit 131 and the illumination unit 132 may be arranged so that the irradiation direction of the light by the illumination unit 132 and the image pickup direction of the image pickup unit 131 (for example, the direction of the center of the angle of view) are the same as each other. In other words, each illumination unit 132 may be located in the vicinity of any of the image pickup units 131, and may take a posture in which the irradiation direction of polarized light is the same as the image pickup direction of the image pickup unit 131 in the vicinity thereof. .. By doing so, the illumination unit 132 can illuminate from the front of the object which is the subject when viewed from the image pickup unit 131. Therefore, the image pickup unit 131 can generate an image taken by the subject with sufficient brightness while having few unnecessary shadows on the subject.
  • the image pickup lighting unit may be formed by the image pickup unit 131 and the illumination unit 132 arranged in the vicinity of each other.
  • FIG. 6 is a diagram showing an example of the image pickup lighting unit.
  • the imaging illumination unit 210 has an RGB camera 211, an IR camera 212, and an IR light 213.
  • the RGB camera 211 is an imaging unit 131 that receives visible light and generates an image captured in the wavelength range of visible light.
  • the IR camera 212 is an imaging unit 131 that receives infrared rays and generates an image captured in the wavelength range of infrared light.
  • the IR light 213 is an illumination unit 132 that irradiates infrared rays.
  • the light source of visible light will change drastically.
  • a spotlight or a laser beam irradiates the subject.
  • the captured image in the wavelength range of visible light is easily affected by such illumination, and is optically such as so-called flare, ghost, halation, etc. The phenomenon is likely to occur. Therefore, it may be difficult to accurately extract the silhouette of the subject using such a captured image.
  • the imaging lighting unit 210 uses the IR camera 212 to generate an captured image in the wavelength range of infrared light as an captured image for extracting the silhouette of the subject. That is, the silhouette of the subject is extracted using the captured image in the wavelength range of the infrared light. Then, the IR light 213 illuminates the subject using infrared rays for imaging by the IR camera 212 (to ensure sufficient luminance in the wavelength range of infrared light).
  • the IR camera 212 and the IR light 213 are installed at positions close to each other toward the same subject, the IR light 213 can be illuminated from the front of the subject when viewed from the IR camera 212. Therefore, the IR camera 212 can generate an image captured by the subject with sufficient brightness while having few unnecessary shadows on the subject. That is, the IR camera 212 can generate a captured image capable of extracting a more accurate silhouette. In other words, by using the captured image generated by the IR camera 212, the silhouette of the subject can be extracted more accurately.
  • the IR camera 212 has a polarizing element as shown in the example of FIG.
  • the IR light 213 has a polarizing element as in the example of FIG.
  • the polarization direction of the polarizing element of the IR camera 212 and the polarization direction of the polarizing element of the IR light 213 are different from each other. Therefore, as described above, in the captured image generated by the IR camera 212, it is possible to suppress the generation of so-called flare, ghost, halation, etc. due to the infrared light emitted by the IR light 213 that fits within the angle of view. Therefore, since the silhouette can be extracted more accurately from the captured image, the 3D model generation unit 102 can generate a more accurate 3D model (reduction of the accuracy of the 3D model). Can be suppressed).
  • the RGB camera 211 can generate a captured image in the wavelength range of visible light, it can generate a captured image used for extracting the texture of the subject.
  • the RGB camera 211 and the IR camera 212 are installed at positions close to each other toward the same subject. That is, the angles of view of the RGB camera 211 and the IR camera 212 are the same or close to each other. Therefore, using the captured image generated by the RGB camera 211, the texture corresponding to the silhouette of the subject extracted by using the captured image generated by the IR camera 212 can be extracted.
  • each imaging lighting unit 210 may be arranged so that the object to be a subject is located in a region (plane or space) whose outer frame is a line connecting adjacent imaging lighting units 210.
  • the object 231 and at least one of the illumination units 132 may be arranged so as to fit within the angle of view of each image pickup unit 131. Further, the arrangement may be such that the other imaging unit 131 fits within the angle of view.
  • two imaging lighting units 210 may be arranged so as to face each other.
  • the image pickup illumination unit 210-1 and the image pickup illumination unit 210-2 are installed on the straight line 241 passing through the object 231 on opposite sides of the object 231 toward the object 231. That is, the image pickup illumination unit 210-1 and the image pickup illumination unit 210-2 have the image pickup directions and the illumination directions opposite to each other.
  • imaging lighting units 210 imaging lighting unit 210-1 and imaging lighting unit 210-2
  • the IR light 213 fits within the angle of view of the IR camera 212, but as described above, since the direct light can be suppressed from the IR light 213 by using the polarizing element, the IR can be suppressed. It is possible to suppress the generation of so-called flare, ghost, halation and the like due to the infrared light emitted by the light 213. Therefore, the silhouette of the object 231 can be extracted more accurately by using the captured image generated by the IR camera 212.
  • the number of imaging lighting units 210 to be installed is arbitrary as long as they are plural. For example, eight imaging lighting units 210 may be installed. When a large number of image pickup lighting units 210 are installed in this way, a plurality of other image pickup units 131 and illumination units 132 may fit within the angle of view of the image pickup unit 131.
  • the image pickup lighting unit 210 (the image pickup unit 131 and the illumination unit 132) may be installed so that the plurality of illumination units 132 fit within the angle of view of the image pickup unit 131.
  • the polarization directions of the polarizing elements of the plurality of illumination units 132 may be the same as each other.
  • the image pickup illumination unit 210 may be installed so that the other image pickup unit 131 fits within the angle of view of the image pickup unit 131. Further, the image pickup illumination unit 210 may be installed so that a plurality of other image pickup units 131 fit within the angle of view of the image pickup unit 131.
  • the plurality of polarized light illuminating devices include the first polarized light illuminating device and the second polarized light illuminating device
  • the plurality of polarized light imaging devices include the object and the first polarized light illuminating device. Includes a first polarized light imager at a position within the angle of view and a second polarized light imager at a position where the object and the second polarized light illuminator are within the angle of view, and the polarized light of the first polarized light imager.
  • the polarization direction of the child is different from the polarization direction of the polarizing element of the first polarizing illumination device, and the polarization direction of the polarizing element of the second polarization image pickup device may be different from the polarization direction of the polarizing element of the second polarization illumination device. That is, there may be a plurality of image pickup units 131 in which a single illumination unit 132 fits within the angle of view.
  • the polarization directions of the polarizing elements of the plurality of illumination units 132 that fit within the angles of view of the imaging units 131 that are different from each other may or may not be the same. That is, the polarization direction of the polarizing element of the second polarization imaging device may be different from the polarization direction of the polarizing element of the second polarization illumination device.
  • the polarization directions of the polarizing elements of the plurality of illumination units 132 do not have to be the same.
  • the polarization directions of the polarizing elements of the plurality of image pickup units 131 may not be the same as each other. For example, if the polarization direction of the polarizing element of one image pickup unit 131 among the plurality of image pickup units 131 and the polarization direction of the polarizing element of the illumination unit 132 within the angle of view of the image pickup unit 131 are different from each other. The effect of this embodiment can be obtained.
  • a plurality of image pickup lighting units 210 may be arranged in a circle centered on the object 231.
  • eight image pickup illumination units 210 are arranged on a circle 251 centered on the object 231.
  • each imaging lighting unit 210 (imaging illumination lighting unit 210-1 to imaging illumination unit 210-8) is installed toward the object 231. More specifically, the image pickup illumination unit 210-1 and the image pickup illumination unit 210-5 are arranged so as to face each other on a straight line 252 passing through the object 231.
  • the image pickup illumination unit 210-2 and the image pickup illumination unit 210-6 are arranged so as to face each other on a straight line 253 passing through the object 231.
  • the image pickup illumination unit 210-3 and the image pickup illumination unit 210-7 are arranged so as to face each other on a straight line 254 passing through the object 231.
  • the image pickup illumination unit 210-4 and the image pickup illumination unit 210-8 are arranged so as to face each other on a straight line 255 passing through the object 231.
  • a plurality of image pickup lighting units 210 may be arranged in a columnar shape with a vertical line 261 passing through the object 231 as a central axis. Even in such a case, by applying the present technology, it is possible to suppress the occurrence of so-called flare, ghost, halation and the like by the polarizing element as described above.
  • a plurality of image pickup lighting units 210 may be arranged in a spherical shape (or hemispherical shape) centered on the object 231. Even in such a case, by applying the present technology, it is possible to suppress the occurrence of so-called flare, ghost, halation and the like by the polarizing element as described above.
  • ⁇ Silhouette extraction> For example, as shown in A of FIG. 12, in the captured image 301 generated by the RGB camera 211, the IR light 213 of another imaging lighting unit 210 is reflected (fits within the angle of view) together with the object 311 which is the subject. And. In this case, since the captured image 301 is an captured image in the wavelength range of visible light, flare as shown by the ellipse 321 or the ellipse 322 due to the direct light (infrared light) from the IR light 213 does not occur.
  • the IR camera 212 generates an image captured image 331 in the wavelength range of infrared light as shown in B of FIG.
  • the angles of view of the RGB camera 211 and the IR camera 212 are substantially the same. Therefore, the IR light 213 of the other imaging lighting unit 210 is reflected in the captured image 331 (it fits within the angle of view). Therefore, when this technique is not applied, flare (ellipse 321 or ellipse 322) due to direct light (infrared light) from the IR light 213 occurs in the captured image 331. Therefore, it is difficult to accurately extract the silhouette of the object 311.
  • the IR camera 212 suppresses the direct light from the IR light 213 by a polarizing element having a polarization direction different from that of the polarizing element of the IR light 213, and is shown in FIG. 12C.
  • a captured image 331 can be generated. That is, it is possible to suppress the occurrence of so-called flare, ghost, halation and the like. Therefore, since the silhouette can be extracted more accurately from the captured image 331, the 3D model generation unit 102 can generate a more accurate 3D model (reduction of the accuracy of the 3D model). Can be suppressed).
  • the polarization directions of the polarizing elements of the image pickup unit 131 and the illumination unit 132 may be calibrated (adjusted). As described above, the amount of light suppressed by the polarizing element of the image pickup unit 131 changes depending on the relative angle of the polarization direction of the polarizing elements of the image pickup unit 131 and the illumination unit 132. That is, the degree of suppression of the occurrence of so-called flare, ghost, halation, etc. changes. Therefore, for example, it is possible to further suppress the occurrence of so-called flare, ghost, halation, etc. so that the relative angle thereof becomes an appropriate angle according to the position and posture in which the image pickup unit 131 and the illumination unit 132 are installed. As possible), the polarization direction of each substituent may be calibrated.
  • FIG. 13 is a block diagram showing a main configuration example of the data acquisition unit 101 in that case.
  • the data acquisition unit 101 has a calibration processing unit 401 and a display unit 402 in addition to the configuration of FIG.
  • the calibration processing unit 401 is an example of a calibration device that calibrates the polarization direction of the polarizing filter.
  • the calibration processing unit 401 acquires an image captured by the image pickup unit 131, and based on the image captured image, a more suitable polarization direction (so-called flare). , A polarization direction that can further suppress the occurrence of ghosts, halation, etc.). Further, the calibration processing unit 401 generates a display image showing the derived polarization direction, and supplies the display image to the display unit 402.
  • the display unit 402 displays the display image supplied from the calibration processing unit 401.
  • the user grasps the polarization direction that can further suppress the occurrence of so-called flare, ghost, halation, and the like.
  • the polarization directions of the polarizing elements of the image pickup unit 131 and the illumination unit 132 are variable, and the image pickup unit 131 and the illumination unit 132 have a polarization direction control mechanism (movable ring or the like) for controlling the polarization direction of the polarizing elements.
  • the user operates the polarization direction control mechanism to calibrate the polarization direction in a desired direction.
  • the calibration process unit 401 acquires the captured image in step S201.
  • step S202 the user sets the polarization direction (polarization angle) of the polarizing elements of the image pickup unit 131 and the illumination unit 132 to a predetermined direction (angle) different from the previous time.
  • step S203 the calibration processing unit 401 calculates the brightness value of the acquired captured image.
  • step S204 the calibration processing unit 401 determines whether or not the polarization direction (polarization angle) is set to all candidate directions (angles). That is, the calibration processing unit 401 acquires captured images in all candidate polarization directions (polarization angles) and determines whether or not the luminance value has been calculated.
  • step S202 If it is determined that there is an unprocessed direction (angle), the process returns to step S202. That is, imaging is performed in a new polarization direction (polarization angle), and the brightness value of the captured image is calculated. If it is determined that the processing has been performed in all the candidate directions (angles) as described above, the processing proceeds to step S205.
  • step S205 the calibration processing unit 401 determines the polarization direction (polarization angle) at which the brightness value is the minimum from each polarization direction (polarization angle) for which the brightness value of the captured image is calculated, and the polarization direction (polarization direction). A display image showing the polarization angle) is generated. The display unit 402 displays the displayed image.
  • the user can calibrate the polarization directions of the polarizing elements of the image pickup unit 131 and the illumination unit 132 in a more appropriate direction based on the display. Therefore, the occurrence of so-called flare, ghost, halation and the like can be further suppressed.
  • a polarization direction control unit may be provided to update the polarization directions of the polarizing elements of the image pickup unit 131 and the illumination unit 132 to the polarization direction derived by the calibration processing unit 401.
  • a device for detecting the tilt of the camera by camera calibration may be further provided.
  • the calibrated camera position is expressed in rotation and translation with respect to a certain origin.
  • a device for changing the angle of the polarizing filter when the rotation of the camera is detected may be provided.
  • a polarizing sensor when used as the image pickup unit 131 as in the example of B in FIG. 5, a sensor that images a plurality of deflection directions (for example, four directions of 0 °, 90 °, 180 °, 270 °, etc.) is used. You may use it.
  • the rotation information of the automatically controlled light source may be acquired, the polarization sensor may select the pixel in the optimum polarization direction based on the store opening information, and the captured image corresponding to the polarization in the polarization direction may be generated. ..
  • a device for controlling the deflection angle of the light source according to the camera position may be provided.
  • an imaging unit such as a drone or a crane camera whose imaging position can be changed is introduced into a surrounding Volumetric imaging environment
  • the movement may cause a light to enter an opposite position. Therefore, the polarization direction (polarization angle) on the light side may be controlled by using the position and rotation information of the camera.
  • a new video content may be created by synthesizing the 3D model of the subject generated in the present embodiment and the 3D data managed by another server. Further, for example, when the background data acquired by an image pickup device such as Lidar exists, the subject can be placed in the place indicated by the background data by combining the 3D model of the subject generated in the present embodiment and the background data. You can also create content that looks as if it were.
  • the video content may be a three-dimensional video content or a two-dimensional video content converted into two dimensions.
  • the 3D model of the subject generated in the present embodiment includes, for example, a 3D model generated by the 3D model generation unit and a 3D model reconstructed by the rendering unit.
  • a subject for example, a performer generated in the present embodiment can be placed in a virtual space where the user acts as an avatar and communicates.
  • the user can act as an avatar and view the live-action subject in the virtual space.
  • a user in the remote location can view the 3D model of the subject through the playback device in the remote location. ..
  • the subject and a user in a remote place can communicate in real time. For example, it can be assumed that the subject is a teacher and the user is a student, or the subject is a doctor and the user is a patient.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 15 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-mentioned series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • the program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can also be installed in advance in ROM 902 or storage unit 913.
  • this technology is a transmitter or receiver (for example, a television receiver or mobile phone) in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication, or It can be applied to various electronic devices such as devices (for example, hard disk recorders and cameras) that record images on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media.
  • devices for example, hard disk recorders and cameras
  • the present technology includes a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example,
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to any terminal such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. The use is also arbitrary.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • one device may execute the plurality of processes, or the plurality of devices may share and execute the plurality of processes.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and may be executed in parallel or in a row. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • An imaging processing system that generates a 3D model of an object by using a plurality of captured images obtained by imaging the object.
  • a plurality of polarized light illuminating devices having a polarizing element and irradiating the object with polarized light obtained by transmitting light emitted from a light emitting unit from different positions through the polarizing element.
  • the image is generated by using polarized light obtained by transmitting external light through the polarizing element at different positions where the object and at least one polarized light illuminating device are within an angle of view.
  • Equipped with multiple polarized light imaging devices An imaging processing system in which the polarization direction of the polarizing element of the polarization imaging device is different from the polarization direction of the polarizing element of the polarization lighting device.
  • the image pickup processing system according to (3), wherein the polarized light illumination device is located in the vicinity of any one of the polarized light image pickup devices, and the irradiation direction of the polarized light is the same as the image pickup direction of the polarized light image pickup device. .. (5) The imaging processing system according to any one of (1) to (4), wherein a plurality of the polarized lighting devices are located within the angle of view of the polarized light imaging device. (6) The plurality of polarized light illuminating devices include a first polarized light illuminating device and a second polarized light illuminating device.
  • the first polarized light imaging device at a position where the object and the first polarized light illuminating device are within the field angle, and the object and the second polarized light illuminating device are within the field angle. Includes a second polarized imager in position The polarization direction of the polarizing element of the first polarized light imaging device is different from the polarization direction of the polarizing element of the first polarized lighting device.
  • the imaging processing system according to any one of (1) to (5), wherein the polarization direction of the polarizing element of the second polarized light imaging device is different from the polarization direction of the polarizing element of the second polarized light illumination device.
  • the imaging processing system according to any one of (1) to (12), further comprising an imaging device that images the object and generates an captured image for extracting the texture of the object.
  • the polarized light illuminating device irradiates the polarized light of visible light.
  • the image pickup processing system according to any one of (1) to (13), wherein the polarized light image pickup apparatus generates the captured image by using the polarized light of visible light.
  • the polarized light illuminating device irradiates the polarized light of invisible light.
  • the image pickup processing system according to any one of (1) to (13), wherein the polarized light image pickup apparatus generates the captured image by using the polarized light of invisible light.
  • the polarization direction of the polarizing filter is variable.
  • the image pickup processing system according to (16), wherein the polarizing image pickup apparatus further includes a polarization direction control mechanism for controlling the polarization direction of the polarizing filter.
  • An image of an object is generated by using polarized light in a different polarization direction from the polarized light emitted from a polarized light illuminator within an angle of view at different positions.
  • a plurality of polarized light illuminating devices having a polarizing element and irradiating an object with polarized light obtained by passing light emitted from a light emitting unit from different positions through the polarizing element.
  • An image captured of the object using polarized light obtained by transmitting external light through the polarizing element at different positions where the object and at least one polarized light illuminating device are within an angle of view. Equipped with multiple polarized imaging devices to produce An imaging processing system in which the polarization direction of the polarizing element of the polarization imaging device is different from the polarization direction of the polarizing element of the polarization lighting device.
  • 100 information processing system 101 data acquisition unit, 102 3D model generation unit, 103 formatting unit, 104 transmission unit, 105 reception unit, 106 rendering unit, 107 display unit, 121 imaging lighting unit, 122 transmission unit, 131 imaging unit, 132 lighting unit, 151 polarization filter, 152 light emitting unit, 171 polarization filter, 172 image sensor, 191 polarization sensor, 210 imaging lighting unit, 211 RGB camera, 212 IR camera, 213 IR light, 231 object, 401 calibration processing unit, 402 Display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本開示は、より正確な３Ｄモデルを生成することができるようにする撮像処理システムおよび３Ｄモデル生成方法に関する。 オブジェクトを撮像して得られる複数の撮像画像を用いて、そのオブジェクトの３Ｄモデルを生成する撮像処理システムであって、偏光子を備え、互いに異なる位置から、発光部から出射された光がその偏光子を透過して得られる偏光をそのオブジェクトに照射する複数の偏光照明装置と、偏光子を備え、そのオブジェクトと少なくとも１つの偏光照明装置とが画角内となる互いに異なる位置において、外部からの光がその偏光子を透過して得られる偏光を用いてその撮像画像を生成する複数の偏光撮像装置とを備え、その偏光撮像装置の偏光子の偏光方向は、その偏光照明装置の偏光子の偏光方向と異なる。本開示は、例えば、撮像処理システムや３Ｄモデル生成方法等に適用することができる。

Description

撮像処理システムおよび３Ｄモデル生成方法
　本開示は、撮像処理システムおよび３Ｄモデル生成方法に関し、特に、より正確な３Ｄモデルを生成することができるようにした撮像処理システムおよび３Ｄモデル生成方法に関する。
　多視点で撮像された動画像から被写体の３次元情報を有するモデルである３Ｄモデル（３次元モデル）を生成し、任意の視点位置に応じた動画像である自由視点動画像を３Ｄモデルに基づいて生成する技術がある。このような技術は、ボリュメトリックキャプチャ技術などとも呼ばれている。
　例えば、異なる方向から撮像して得られた複数の撮像画像に基づいて被写体の３次元形状の削り出しを行うVisual Hull等の手法を用いて、３Ｄモデルを生成する技術が提案有れた（例えば特許文献１参照）。
　このようなボリュメトリックキャプチャ技術における被写体の撮像において、一般的に、輝度を確保するために照明装置を用いて被写体や被写体周辺に光を照射することが行われる。
国際公開第２０１８／１５０９３３号
　しかしながら、ボリュメトリックキャプチャ技術の場合、被写体をより多様な方向から撮像するために、被写体を取り囲むように配置された複数の撮像装置により撮像を行うため、死角が少なく、照明装置が画角内に収まりやすい。高輝度の照明装置が画角内に収まると、所謂フレア、ゴースト、ハレーション等といった光学的現象が発生しやすい。このような光学的現象が発生すると、その撮像画像から生成する３Ｄモデルの正確性が低減するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、より正確な３Ｄモデルを生成するようにするものである。
　本技術の一側面の撮像処理システムは、オブジェクトを撮像して得られる複数の撮像画像を用いて、前記オブジェクトの３Ｄモデルを生成する撮像処理システムであって、偏光子を備え、互いに異なる位置から、発光部から出射された光が前記偏光子を透過して得られる偏光を前記オブジェクトに照射する複数の偏光照明装置と、偏光子を備え、前記オブジェクトと少なくとも１つの前記偏光照明装置とが画角内となる互いに異なる位置において、外部からの光が前記偏光子を透過して得られる偏光を用いて前記撮像画像を生成する複数の偏光撮像装置とを備え、前記偏光撮像装置の前記偏光子の偏光方向は、前記偏光照明装置の前記偏光子の偏光方向と異なる撮像処理システムである。
　本技術の他の側面の３Ｄモデル生成方法は、互いに異なる位置において、画角内の偏光照明装置から照射される偏光と異なる偏光方向の偏光を用いてオブジェクトの撮像画像を生成し、互いに異なる位置において得られた複数の前記撮像画像を用いて前記オブジェクトの３Ｄモデルを生成する３Ｄモデル生成方法である。
　本技術のさらに他の側面の撮像処理システムは、偏光子を備え、互いに異なる位置から、発光部から出射された光が前記偏光子を透過して得られる偏光をオブジェクトに照射する複数の偏光照明装置と、偏光子を備え、前記オブジェクトと少なくとも１つの前記偏光照明装置とが画角内となる互いに異なる位置において、外部からの光が前記偏光子を透過して得られる偏光を用いて前記オブジェクトの撮像画像を生成する複数の偏光撮像装置とを備え、前記偏光撮像装置の前記偏光子の偏光方向は、前記偏光照明装置の前記偏光子の偏光方向と異なる撮像処理システムである。
　本技術の一側面の、オブジェクトを撮像して得られる複数の撮像画像を用いて、そのオブジェクトの３Ｄモデルを生成する撮像処理システムにおいては、偏光子を備える複数の偏光照明装置により、発光部から出射された光がその偏光子を透過して得られる偏光が、互いに異なる位置からそのオブジェクトに照射され、偏光方向が偏光照明装置の偏光子と異なる偏光子を備える複数の偏光撮像装置により、そのオブジェクトと少なくとも１つの偏光照明装置とが画角内となる互いに異なる位置において、外部からの光がその偏光子を透過して得られる偏光が用いられてその撮像画像が生成される。
　本技術の他の側面の３Ｄモデル生成方法においては、互いに異なる位置において、画角内の偏光照明装置から照射される偏光と異なる偏光方向の偏光を用いてオブジェクトの撮像画像が生成され、その互いに異なる位置において得られた複数の撮像画像が用いられてそのオブジェクトの３Ｄモデルが生成される。
　本技術のさらに他の側面の撮像処理システムにおいては、偏光子を備え、互いに異なる位置から、発光部から出射された光がその偏光子を透過して得られる偏光をオブジェクトに照射する複数の偏光照明装置と、偏光方向が偏光照明装置の偏光子と異なる偏光子を備え、そのオブジェクトと少なくとも１つの偏光照明装置とが画角内となる互いに異なる位置において、外部からの光がその偏光子を透過して得られる偏光を用いてそのオブジェクトの撮像画像を生成する複数の偏光撮像装置とが備えられる。
情報処理システムの主な構成例を示すブロック図である。 システム処理の流れの例を説明するフローチャートである。 データ取得部の主な構成例を示すブロック図である。 照明部の主な構成例を示すブロック図である。 撮像部の主な構成例を示すブロック図である。 撮像照明ユニットの構成例を示す図である。 撮像照明ユニットの配置例を示す図である。 撮像照明ユニットの配置例を示す図である。 撮像照明ユニットの配置例を示す図である。 撮像照明ユニットの配置例を示す図である。 撮像照明ユニットの配置例を示す図である。 撮像画像の例を示す図である。 データ取得部の他の構成例を示すブロック図である。 キャリブレーション処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（情報処理システム）
　２．第２の実施の形態（キャリブレーション）
　３．応用例
　４．付記
　＜１．第１の実施の形態＞
　　＜情報処理システム＞
　多視点で撮像された動画像から被写体の３次元情報を有するモデルである３Ｄモデル（３次元モデル）を生成し、任意の視点位置に応じた動画像である自由視点動画像を３Ｄモデルに基づいて生成するボリュメトリックキャプチャ技術がある。図１の情報処理システム１００は、このようなボリュメトリックキャプチャ技術により、被写体を多視点で撮像し、その撮像画像から被写体の３Ｄモデルを生成し、その３Ｄモデルに基づいて、任意の視点位置に応じた自由視点画像を生成するシステムである。
　図１に示されるように、情報処理システム１００は、データ取得部１０１、３Ｄモデル生成部１０２、フォーマット化部１０３、送信部１０４、受信部１０５、レンダリング部１０６、および表示部１０７を有する。
　データ取得部１０１は、被写体の３Ｄモデルを生成するための画像データを取得する。例えば、データ取得部１０１は、被写体を取り囲むように配置された複数の撮像装置によって撮像された複数の視点画像を画像データとして取得する。この場合、複数の視点画像は、複数の撮像装置が同期して撮像することにより得られた画像であることが好ましい。
　なお、データ取得部１０１は、画像データに基づいてキャリブレーションを行い、各撮像装置の内部パラメータおよび外部パラメータを取得してもよい。また、データ取得部１０１は、例えば、複数箇所の視点から被写体までの距離を示す複数のデプス情報を取得してもよい。
　データ取得部１０１は、取得した画像データを３Ｄモデル生成部１０２に供給する。
　３Ｄモデル生成部１０２は、データ取得部１０１から供給される画像データに基づいて、被写体の３次元情報を有するモデルである３Ｄモデルを生成する。３Ｄモデル生成部１０２は、例えば、所謂Visual Hullを用いて、複数の視点からの画像（例えば、複数の視点からのシルエット画像）を用いて被写体の３次元形状を削ることによって被写体の３Ｄモデルを生成する。
　ここでシルエット画像とは、被写体の輪郭（外形）のみを表現する画像であり、その輪郭の内側の領域は、例えば影絵のように単色で塗りつぶされて表現される。つまり、３Ｄモデル生成部１０２は、データ取得部１０１から供給される画像データ（撮像画像）からこのようなシルエット画像を生成する。なお、データ取得部１０１からシルエット画像の画像データが３Ｄモデル生成部１０２に供給されるようにしてもよい。
　３Ｄモデル生成部１０２は、さらに、Visual Hullを用いて生成した３Ｄモデルを複数箇所の視点から被写体までの距離を示す複数のデプス情報を用いて高精度に変形させることができる。
　３Ｄモデル生成部で生成される３Ｄモデルは、時系列のフレーム単位で生成することで３Ｄモデルの動画と言うこともできる。また、３Ｄモデルは、データ取得部１０１の撮像装置で撮像された画像を用いて生成されるため、実写の３Ｄモデルとも言うことができる。３Ｄモデルは、被写体の表面形状を表す形状情報を、例えば、ポリゴンメッシュと呼ばれる、頂点（Vertex）と頂点との繋がりで表現したメッシュデータの形式で表現することができる。３Ｄモデルの表現の方法はこれらに限定されるものではなく、点の位置情報で表現される所謂ポイントクラウドの表現方法で記述されてもよい。
　これらの３Ｄ形状データに紐づけられる形で、色情報のデータもテクスチャとして生成される。例えば、どの方向から見ても一定の色となるView Independent テクスチャの場合と、視聴する方向によって色が変化するView Dependentテクスチャの場合がある。
　３Ｄモデル生成部１０２は、生成した３Ｄモデルのデータを、フォーマット化部１０３に供給する。
　フォーマット化部１０３は、３Ｄモデル生成部１０２から供給される３Ｄモデルのデータを、伝送や蓄積に適したフォーマットに変換する。例えば、フォーマット化部１０３は、３Ｄモデル生成部１０２で生成された３Ｄモデルを複数の方向から透視投影することにより、複数の２次元画像に変換してもよい。さらに、フォーマット化部１０３は、３Ｄモデルを用いて複数の視点からの２次元のデプス画像であるデプス情報を生成してもよい。この場合、フォーマット化部１０３は、この２次元画像の状態のデプス情報と、色情報を符号化（圧縮）してもよい。その場合、フォーマット化部１０３は、デプス情報と色情報とを、並べて１枚の画像として符号化してもよいし、２本の別々の画像として符号化してもよい。また、フォーマット化部１０３は、デプス情報と色情報とが２次元画像データの形であるため、それらを、AVC（Advanced Video Coding）などの２次元圧縮技術を用いて符号化（圧縮）してもよい。
　以上の場合、フォーマット化部１０３は、３Ｄモデルのデータを２Ｄデータ（またはその符号化データ）からなる伝送データとして送信部１０４に供給する。
　また、例えば、フォーマット化部１０３は、メッシュデータの３Ｄデータをポイントクラウドのフォーマットに変換し、３Ｄデータからなる伝送データとして送信部１０４に供給してもよい。この場合、フォーマット化部１０３は、例えば、MPEGで議論されているGeometry-based-Approachの３次元圧縮技術を用いて、その３Ｄデータを符号化（圧縮）してもよい。
　送信部１０４は、フォーマット化部１０３で形成された伝送データを受信部１０５に送信する。送信部１０４は、データ取得部１０１、３Ｄモデル生成部１０２、およびフォーマット化部１０３の一連の処理をオフラインで行った後に、伝送データを受信部１０５に伝送する。また、送信部１０４は、上述した一連の処理から生成された伝送データをリアルタイムに受信部１０５に伝送してもよい。
　受信部１０５は、送信部１０４から伝送された伝送データを受信し、レンダリング部１０６に供給する。
　レンダリング部１０６は、受信部１０５で受信した伝送データを用いてレンダリングを行う。例えば、レンダリング部１０６は、３Ｄモデルのメッシュを描画するカメラの視点で投影し、色や模様を表すテクスチャを貼り付けるテクスチャマッピングを行う。この時の描画は、撮影時のカメラ位置と関係なく任意に設定し自由な視点で見ることができる。
　レンダリング部１０６は、例えば、３Ｄモデルのメッシュの位置に応じて、メッシュの色、模様や質感を表すテクスチャを貼り付けるテクスチャマッピングを行う。テクスチャマッピングには、所謂、ユーザの視聴視点を考慮するView Dependentと呼ばれる方式や、ユーザの視聴視点を考慮しないView Independentという方式がある。 View Dependent方式は、視聴視点の位置に応じて３Ｄモデルに貼り付けるテクスチャを変化させるため、 View Independent方式よりも高品質なレンダリングが実現できる利点がある。一方、View Independent方式は視聴視点の位置を考慮しないためView Dependent方式に比べて処理量が少なくする利点がある。なお、視聴視点のデータは、ユーザの視聴個所（Region of Interest）を表示部１０７が検出し、表示部１０７からレンダリング部１０６に入力される。また、レンダリング部１０６は、例えば、視聴視点に対しオブジェクトが垂直な姿勢を保つようにオブジェクトをレンダリングするビルボードレンダリングを採用してもよい。例えば、複数オブジェクトをレンダリングする際に、レンダリング部１０６が、視聴者の関心が低いオブジェクトをビルボードでレンダリングし、その他のオブジェクトを他のレンダリング方式でレンダリングすることもできる。
　レンダリング部１０６は、そのレンダリング結果のデータを表示部１０７に供給する。
　表示部１０７は、レンダリング部１０６によりレンダリングされた結果を表示装置の表示部に表示する。表示装置は、例えば、ヘッドマウントディスプレイ、空間ディスプレイ、携帯電話、テレビ、PC（Personal Computer）など、２Ｄモニタでも３Ｄモニタでもよい。
　　＜システム処理の流れ＞
　情報処理システム１００により実行されるシステム処理の流れの例を、図２のフローチャートを参照して説明する。
　処理が開始されると、ステップＳ１０１において、データ取得部１０１は、被写体の３Ｄモデルを生成するための画像データを取得する。
　ステップＳ１０２において、３Ｄモデル生成部１０２は、ステップＳ１０１において取得された画像データに基づいて、被写体の３次元情報を有するモデルである３Ｄモデルを生成する。
　ステップＳ１０３において、フォーマット化部１０３は、ステップＳ１０２において生成された３Ｄモデルの形状およびテクスチャのデータを伝送や蓄積に好適なフォーマットにエンコードする。
　ステップＳ１０４において、送信部１０４は、ステップＳ１０３において生成された符号化されたデータを伝送する。
　ステップＳ１０５において、受信部１０５は、ステップＳ１０４において伝送されたデータを受信する。
　ステップＳ１０６において、レンダリング部１０６は、デコード処理を行い、表示に必要な形状およびテクスチャのデータに変換する。また、レンダリング部１０６は、その形状およびテクスチャのデータを用いてレンダリングを行う。
　ステップＳ１０７において、表示部１０７は、そのレンダリングした結果を表示する。
　ステップＳ１０７の処理が終了すると、システム処理が終了する。
　以上のように各処理を行うことにより、情報処理システム１００は、被写体の３Ｄモデルを生成し、自由な視点から見た被写体の画像を生成し、表示することができる。これにより、視聴者であるユーザは、自由な視点で被写体を見ることができる。
　　＜変形例＞
　以上においては、情報処理システム１００が、コンテンツを生成する材料である撮像画像を取得するデータ取得部１０１からユーザの視聴する画像を表示する表示部１０７までの一連の流れを示した。しかしながら、本発明の実施のために全ての機能ブロックが必要という意味ではなく、機能ブロック毎または複数の機能ブロックの組合せに本発明が実施でき得る。例えば、図１においては、コンテンツを作成する側からコンテンツデータの配信を通じてコンテンツを視聴する側までの一連の流れを示すために送信部１０４や受信部１０５を設けたが、コンテンツの制作から視聴までを同じ情報処理装置（例えばパーソナルコンピュータ）で実施することもできる。その場合、フォーマット化部１０３、送信部１０４、および受信部１０５は省略することができる。
　また、情報処理システム１００を実施する場合、同一の実施者が全てを実施することもできるし、各機能ブロックを異なる実施者が実施することもできる。例えば、事業者Ａが、データ取得部１０１、３Ｄモデル生成部１０２、およびフォーマット化部１０３を実施して３Ｄコンテンツを生成し、事業者Ｂが、送信部１０４（プラットフォーム）を実施して３Ｄコンテンツを配信し、事業者Ｃが、受信部１０５、レンダリング部１０６、および表示部１０７を実施して３Ｄコンテンツの受信、レンダリング、表示制御等を行ってもよい。
　また、各機能ブロックは、クラウド上で実施することができる。例えば、レンダリング部１０６は、表示装置内で実施されてもよいし、サーバで実施されてもよい。その場合、表示装置とサーバ間での情報のやり取りが生じる。
　図１においては、データ取得部１０１、３Ｄモデル生成部１０２、フォーマット化部１０３、送信部１０４、受信部１０５、レンダリング部１０６、および表示部１０７を纏めて情報処理システム１００として説明した。ただし、情報処理システム１００の構成はこの例に限定されず、少なくともデータ取得部１０１を有していればよい。例えば、図１に示される構成の内、３Ｄモデル生成部１０２乃至表示部１０７のいずれか１つ以上を省略してもよい。また、情報処理システム１００が、上述した構成以外の構成（機能ブロック）を有してもよい。
　また、上述した各機能ブロック（データ取得部１０１乃至表示部１０７）は、任意の構成により実現される。例えば、各機能ブロックが、１つ以上のデバイス（装置）により実現されてもよい。また、複数の機能ブロックが１つのデバイス（装置）により実現されてもよい。
　　＜データ取得部＞
　図３は、図１のデータ取得部１０１の主な構成例を示すブロック図である。本技術を適用した撮像処理システムの一実施の形態であるデータ取得部１０１は、図３に示されるように、撮像照明部１２１および送信部１２２を有する。
　撮像照明部１２１は、被写体を撮像したり、被写体を照明したりする。撮像照明部１２１は、撮像部１３１－１乃至撮像部１３１－Ｍ、並びに、照明部１３２－１乃至照明部１３２－Ｎを有する（Ｍ、Ｎは、２以上の整数）。撮像部１３１－１乃至撮像部１３１－Ｍを互いに区別して説明する必要が無い場合、撮像部１３１と称する。照明部１３２－１乃至照明部１３２－Ｎを互いに区別して説明する必要が無い場合、照明部１３２と称する。
　つまり、撮像照明部１２１は、複数の撮像部１３１と複数の照明部１３２とを有する。なお、撮像照明部１２１が有する撮像部１３１および照明部１３２の数は、互いに同数（つまり、Ｍ＝Ｎ）であってもよいし、互いに異なっていてもよい。
　撮像部１３１は、単数または複数の撮像デバイスにより構成され、被写体を撮像して、３Ｄモデル生成用の撮像画像を生成する。つまり、撮像部１３１は、被写体のシルエットやテクスチャの抽出に用いられる撮像画像を生成する。撮像部１３１は、生成した撮像画像のデータを送信部１２２に供給する。
　撮像部１３１の撮像デバイスが受光する光の波長帯域は任意であり、可視光であってもよいし、不可視光であってもよい。例えば、撮像部１３１は、可視光線（RGB光線）を受光し、可視光の撮像画像を生成してもよいし、赤外光線（IR（InfraRed）光線）を受光し、赤外光の撮像画像を生成してもよい。
　照明部１３２は、単数または複数の照明デバイスにより構成され、撮像部１３１により撮像される被写体を照明する。照明部１３２の照明デバイスが発光する光の波長帯域は任意であり、可視光であってもよいし、不可視光であってもよい。例えば、照明部１３２は、可視光線（RGB光線）により被写体を照明してもよいし、赤外光線（IR光線）により被写体を照明してもよい。
　送信部１２２は、撮像部１３１から供給される撮像画像のデータを３Ｄモデル生成部１０２に送信する。その際、送信部１２２は、その撮像画像のデータを符号化せずに３Ｄモデル生成部１０２に供給してもよいし、その撮像画像のデータを符号化し、符号化データとして３Ｄモデル生成部１０２に供給してもよい。また、送信部１２２は、その撮像画像に対して任意の画像処理を施してもよい。例えば、送信部１２２は、撮像画像からシルエットやテクスチャを抽出し、抽出したシルエットやテクスチャのデータを３Ｄモデル生成部１０２に供給してもよい。
　一般的に、輝度が低すぎる（暗すぎる）と被写体の撮像が困難になる。そのため、照明部１３２が被写体を照明することにより、撮像部１３１は、十分な明るさの下で被写体を撮像することができ、輝度が十分に確保された撮像画像を得ることができる。
　しかしながら、３Ｄモデル生成用の撮像画像を取得するデータ取得部１０１の場合、複数の撮像部１３１は、死角を低減させるように被写体周辺に配置される。したがって、撮像部１３１の画角内に照明部１３２が収まる可能性が非常に高い。換言するに、撮像部１３１の画角内に収まらないように照明部１３２を配置することは困難であった。
　照明部１３２（の照明デバイス）は高輝度の光源であるため、その照明部１３２が画角内に収まると、その光が暗部に漏れる、所謂フレア、ゴースト、ハレーション等といった現象が発生しやすい。このような現象が発生すると、その撮像画像から被写体の正確なシルエットの抽出が困難になるおそれがあった。また、被写体のテクスチャの抽出が困難になるおそれもあった。そのため、その撮像画像から生成する３Ｄモデルの正確性が低減するおそれがあった。
　　＜偏光子の適用＞
　そこで、撮像部１３１（撮像デバイス）と照明部１３２（照明デバイス）に、自然光（非偏光）や円偏光から直線偏光を生成する偏光子を設け、照明部１３２が被写体を偏光で照明し、撮像部１３１が偏光を受光して撮像画像を生成するようにする。そして、照明部１３２が照射する偏光の偏光方向（すなわち、照明部１３２が有する偏光子の偏光方向）と、撮像部１３１が受光する偏光の偏光方向（すなわち、撮像部１３１が有する偏光子の偏光方向）とが、互いに異なるようにする。
　なお、本明細書において、主に所定の方向の振動成分からなる光線を偏光と称し、その偏光の主な振動方向を偏光方向（または偏光角）と称する。また、偏光子は、所定の偏光方向の偏光を生成するが、その偏光方向のことを偏光子の偏光方向（または偏光角）とも称する。
　例えば、オブジェクトを撮像して得られる複数の撮像画像を用いて、そのオブジェクトの３Ｄモデルを生成する撮像処理システムが、偏光子を備え、互いに異なる位置から、発光部から出射された光がその偏光子を透過して得られる偏光をそのオブジェクトに照射する複数の偏光照明装置（例えば照明部１３２）と、偏光子を備え、そのオブジェクトと少なくとも１つの偏光照明装置とが画角内となる互いに異なる位置において、外部からの光がその偏光子を透過して得られる偏光を用いて撮像画像を生成する複数の偏光撮像装置（例えば撮像部１３１）とを備えるようにし、その偏光撮像装置の偏光子の偏光方向が、その偏光照明装置の偏光子の偏光方向と異なるようにする。
　例えば、互いに異なる位置において、画角内の偏光照明装置（例えば照明部１３２）から照射される偏光と異なる偏光方向の偏光を用いてオブジェクトの撮像画像を生成し、その互いに異なる位置において得られた複数の撮像画像を用いてオブジェクトの３Ｄモデルを生成するようにする。
　例えば、撮像処理システムが、偏光子を備え、互いに異なる位置から、発光部から出射された光がその偏光子を透過して得られる偏光をオブジェクトに照射する複数の偏光照明装置（例えば照明部１３２）と、偏光子を備え、そのオブジェクトと少なくとも１つの偏光照明装置とが画角内となる互いに異なる位置において、外部からの光がその偏光子を透過して得られる偏光を用いてそのオブジェクトの撮像画像を生成する複数の偏光撮像装置（例えば撮像部１３１）とを備えるようにし、その偏光撮像装置の偏光子の偏光方向は、その偏光照明装置の偏光子の偏光方向と異なるようにする。
　撮像部１３１の偏光子の偏光方向と、照明部１３２の偏光子の偏光方向が互いに異なると、撮像部１３１の偏光子を透過してセンサに入射する照明部１３２からの直接光の光量が低減する。したがって、撮像部１３１が生成する撮像画像において、画角内に収まる照明部１３２の部分の輝度値を低減させることができるので、所謂フレア、ゴースト、ハレーション等の発生を抑制することができる。したがって、その撮像画像から、シルエットやテクスチャの抽出をより正確に行うことができるようになるので、３Ｄモデル生成部１０２は、より正確な３Ｄモデルを生成することができる（３Ｄモデルの正確性の低減を抑制することができる）。
　なお、このように撮像部１３１の偏光子を透過してセンサに入射する照明部１３２からの直接光の光量の低減度合いは、撮像部１３１の偏光子の偏光方向と、照明部１３２の偏光子の偏光方向との関係（角度）に依存する。一般的に、両者間の角度が９０度に近づく程、光量はより大きく低減する。つまり、撮像部１３１の偏光子の偏光方向と、照明部１３２の偏光子の偏光方向との角度が９０度に近づく程、所謂フレア、ゴースト、ハレーション等の発生をより強く抑制することができる。
　　＜照明部＞
　図４は、照明部１３２の主な構成例を示すブロック図である。図４に示されるように、照明部１３２は、偏光フィルタ１５１および発光部１５２を有する。
　偏光フィルタ１５１は、偏光子の一例であり、所定の方向に振動する成分の光を透過することにより、偏光を生成する。発光部１５２は、光源であり、所定の波長の光線（非偏光）を所定の方向に出射する。
　図４に示されるように、偏光フィルタ１５１は、発光部１５２の光線の出射方向（照射方向）前方に配置される。発光部１５２より出射された非偏光１６１は偏光フィルタ１５１に向かう。偏光フィルタ１５１は、その非偏光１６１の、所定の方向の振動成分を透過する。つまり、その所定の方向を偏光方向とする偏光１６２が偏光フィルタ１５１により生成される。この偏光１６２が、照明部１３２から出射される。つまり、照明部１３２は、偏光子を備え、その偏光子により光源からの光を用いて生成した偏光を照射する偏光照明装置である。
　照明部１３２は撮像部１３１の被写体となるオブジェクトを照明するような位置および姿勢で設置されるので、この偏光１６２の少なくとも一部は、そのオブジェクトに照射される。そして、照射された偏光１６２の少なくとも一部が、そのオブジェクト等で反射して非偏光となり、撮像部１３１に向かう。つまり、照明部１３２がこのように照明することにより、撮像画像の輝度を増大させることができる。
　なお、照明部１３２が照射する偏光１６２の波長帯域は、任意である。例えば、偏光１６２は、可視光であってもよいし、不可視光であってもよいし、その両方であってもよい。例えば、偏光１６２が、赤外光線（IR光線）であってもよい。また、照明部１３２が互いに異なる波長域の光線を出射する複数の発光部１５２（光源）を有してもよいし、撮像照明部１２１が互いに異なる波長域の偏光１６２を照射する複数の照明部１３２を有してもよい。
　また、偏光フィルタ１５１の偏光方向（すなわち、偏光１６２の偏光方向）は、予め定められていてもよいし（固定であってもよいし）、可変であってもよい。例えば偏光フィルタ１５１の偏光方向を制御する偏光方向制御機構（可動リング等）を設け、その偏光方向制御機構により、偏光フィルタ１５１の偏光方向が可変であってもよい。
　　＜撮像部＞
　図５は、撮像部１３１の主な構成例を示すブロック図である。例えば、図５のＡに示されるように、撮像部１３１は、偏光フィルタ１７１およびイメージセンサ１７２を有する。
　偏光フィルタ１７１は、偏光子の一例であり、所定の方向に振動する成分の光を透過することにより、偏光を生成する。イメージセンサ１７２は、複数の画素を有し、各画素において入射光を光電変換し、撮像画像を生成する。イメージセンサ１７２は、生成した撮像画像のデータを送信部１２２に供給する。
　図５のＡに示されるように、偏光フィルタ１７１は、イメージセンサ１７２の光線入射側に配置される。撮像部１３１に入射された非偏光１８１は偏光フィルタ１７１に向かう。偏光フィルタ１７１は、その非偏光１８１の、所定の方向の振動成分を透過する。つまり、その所定の方向を偏光方向とする偏光１８２が偏光フィルタ１７１により生成される。この偏光１８２が、イメージセンサ１７２に入射され、光電変換される。つまり、イメージセンサ１７２は、この偏光１８２に対応する撮像画像を生成する。つまり、撮像部１３１は、偏光子を備え、その偏光子により生成した偏光を用いて撮像画像を生成する偏光撮像装置である。
　なお、撮像部１３１の画角内に照明部１３２が位置する場合、その照明部１３２からの直接光が撮像部１３１に入射する場合がある。つまり、照明部１３２から照射された偏光１６２が偏光フィルタ１７１に向かう場合がある。ここで、偏光フィルタ１７１の偏光方向は、偏光フィルタ１５１の偏光方向と異なる方向に設定されている。つまり、偏光フィルタ１７１と偏光フィルタ１５１とは、その偏光方向が互いに異なる。そのため、偏光１６２の少なくとも一部が偏光フィルタ１７１により遮断される。つまり、イメージセンサ１７２に入射する偏光１６２の光量が低減される。
　つまり、撮像部１３１が生成する撮像画像において、画角内に収まる照明部１３２の部分の輝度値を低減させることができるので、所謂フレア、ゴースト、ハレーション等の発生を抑制することができる。したがって、その撮像画像から、シルエットやテクスチャの抽出をより正確に行うことができるようになるので、３Ｄモデル生成部１０２は、より正確な３Ｄモデルを生成することができる（３Ｄモデルの正確性の低減を抑制することができる）。
　なお、イメージセンサ１７２が受光し、光電変換する光の波長帯域（つまり偏光１８２の波長帯域）は、任意である。例えば、イメージセンサ１７２は、可視光を光電変換してもよいし、不可視光を光電変換してもよいし、その両方を光電変換してもよい。つまり、撮像部１３１が、可視光の撮像画像のデータを生成してもよいし、不可視光の撮像画像のデータを生成してもよいし、その両方の撮像画像を生成してもよい。例えば、イメージセンサ１７２が、赤外光線（IR光線）を光電変換してもよい。つまり、撮像部１３１が、赤外光線（IR光線）の撮像画像を生成してもよい。また、撮像部１３１が互いに異なる波長域の光線を光電変換する複数のイメージセンサ１７２を有してもよいし、撮像照明部１２１が互いに異なる波長域の光線の撮像画像を生成する複数の撮像部１３１を有してもよい。
　撮像部１３１が生成する撮像画像は、被写体であるオブジェクトのシルエットを抽出するために用いられてもよい。換言するに、撮像部１３１がそのオブジェクトのシルエットを抽出するための撮像画像を生成してもよい。そのような撮像画像を生成する撮像部１３１に偏光子（例えば偏光フィルタ１７１）を設けることにより、その撮像画像から、シルエットの抽出をより正確に行うことができるようになる。
　また、撮像部１３１が生成する撮像画像は、被写体であるオブジェクトのテクスチャを抽出するために用いられてもよい。換言するに、撮像部１３１がそのオブジェクトのテクスチャを抽出するための撮像画像を生成してもよい。そのような撮像画像を生成する撮像部１３１に偏光子（例えば偏光フィルタ１７１）を設けることにより、その撮像画像から、テクスチャの抽出をより正確に行うことができるようになる。
　もちろん、撮像部１３１が生成する撮像画像は、被写体であるオブジェクトのシルエットおよびテクスチャの両方を抽出するために用いられてもよい。換言するに、撮像部１３１がそのオブジェクトのシルエットおよびテクスチャを抽出するための撮像画像を生成してもよい。また、撮像部１３１が、オブジェクトのシルエットを抽出するための撮像画像と、オブジェクトのテクスチャを抽出するための撮像画像とをそれぞれ生成してもよい。
　また、撮像照明部１２１が、オブジェクトのシルエットを抽出するために用いられる撮像画像を生成する撮像部１３１と、オブジェクトのテクスチャを抽出するために用いられる撮像画像を生成する撮像部１３１とを有してもよい。その場合、偏光子（例えば偏光フィルタ１７１）は、オブジェクトのシルエットを抽出するために用いられる撮像画像を生成する撮像部１３１に設けられるようにしてもよいし、オブジェクトのテクスチャを抽出するために用いられる撮像画像を生成する撮像部１３１に設けられるようにしてもよいし、その両方の撮像部１３１に設けられるようにしてもよい。
　また、偏光フィルタ１７１の偏光方向（すなわち、偏光１８２の振動方向）は、予め定められていてもよいし（固定であってもよいし）、可変であってもよい。例えば偏光フィルタ１７１の偏光方向を制御する偏光方向制御機構（可動リング等）を設け、その偏光方向制御機構により、偏光フィルタ１７１の偏光方向が可変であってもよい。
　また、図５のＢに示されるように、撮像部１３１が、偏光センサ１９１により構成されるようにしてもよい。偏光センサ１９１は、偏光を光電変換して撮像画像を生成するイメージセンサである。偏光センサ１９１は複数の画素を有し、各画素には入射光から偏光を生成する偏光子が設けられており、各画素に設けられた受光部はその偏光子により生成された偏光を受光し、光電変換する。つまり、偏光センサ１９１は、入射された非偏光１８１を偏光化して光電変換し、その撮像画像を生成する。なお、偏光センサ１９１の各画素に設けられた偏光子の偏光方向は、偏光フィルタ１５１の偏光方向と異なる方向に設計されている。つまり、偏光センサ１９１の各画素に設けられた偏光子と、偏光フィルタ１５１とは、その偏光方向が互いに異なる。そのため、偏光１６２の少なくとも一部がその偏光子により遮断されるので、光電変換される偏光１６２の光量（撮像画像における輝度）が低減される。
　したがって、偏光フィルタ１７１の場合と同様、撮像部１３１（偏光センサ１９１）が生成する撮像画像において、画角内に収まる照明部１３２の部分の輝度値を低減させることができ、所謂フレア、ゴースト、ハレーション等の発生を抑制することができる。したがって、その撮像画像から、シルエットやテクスチャの抽出をより正確に行うことができるようになるので、３Ｄモデル生成部１０２は、より正確な３Ｄモデルを生成することができる（３Ｄモデルの正確性の低減を抑制することができる）。
　なお、撮像部１３１および照明部１３２がToF（Tim of Flight）センサとして構成されてもよい。つまり、照明部１３２が被写体を照明し、その反射光を撮像部１３１が受光し、その受光タイミングに基づいて被写体までの距離を計測する測距センサとして構成されてもよい。換言するに、ToFセンサのような光学式の測距センサにも、本技術を適用することができる。
　　＜撮像照明ユニット＞
　撮像部１３１および照明部１３２を、互いに近傍の位置に配置してもよい。さらに、照明部１３２による光の照射方向と、撮像部１３１の撮像方向（例えば、画角中心の向き）が互いに同一となるように、撮像部１３１および照明部１３２を配置してもよい。換言するに、各照明部１３２が、いずれかの撮像部１３１の近傍に位置し、かつ、偏光の照射方向がその近傍の撮像部１３１の撮像方向と同一となる姿勢をとるようにしてもよい。このようにすることにより、照明部１３２は、撮像部１３１からみて被写体であるオブジェクトの正面から照明することができる。したがって、撮像部１３１は、被写体に不要な陰影が少なく、かつ、被写体が十分な輝度の撮像画像を生成することができる。
　例えば、それらの互いに近傍に配置された撮像部１３１と照明部１３２とで撮像照明ユニットを形成するようにしてもよい。図６は、その撮像照明ユニットの例を示す図である。
　図６の例において、撮像照明ユニット２１０は、RGBカメラ２１１、IRカメラ２１２、およびIRライト２１３を有する。
　RGBカメラ２１１は、可視光線を受光し、可視光の波長域の撮像画像を生成する撮像部１３１である。IRカメラ２１２は、赤外光線を受光し、赤外光の波長域の撮像画像を生成する撮像部１３１である。IRライト２１３は、赤外光線を照射する照明部１３２である。
　例えば屋外やライブ会場では、可視光の光源が激しく変化する可能性が高い。例えば、ライブ会場では、スポットライトやレーザ光が被写体に照射されることが考えられる。そのような環境下において、上述のような撮像処理システムによる撮像を行う場合、可視光の波長域の撮像画像は、そのような照明の影響を受けやすく、所謂フレア、ゴースト、ハレーション等といった光学的現象が発生しやすい。そのため、そのような撮像画像を用いて被写体のシルエットを正確に抽出することが困難になるおそれがある。
　そこで、撮像照明ユニット２１０は、IRカメラ２１２を用いて、被写体のシルエットを抽出するための撮像画像として、赤外光の波長域の撮像画像を生成する。つまり、その赤外光の波長域の撮像画像を用いて被写体のシルエットを抽出するようにする。そして、そのIRカメラ２１２による撮像のために（赤外光の波長域において十分な輝度を確保するために）、IRライト２１３が、赤外光線を用いて被写体を照明する。
　なお、IRカメラ２１２およびIRライト２１３は、互いに近傍の位置に互いに同一の被写体に向けて設置されるため、IRライト２１３は、IRカメラ２１２からみて被写体の正面から照明することができる。したがって、IRカメラ２１２は、被写体に不要な陰影が少なく、かつ、被写体が十分な輝度の撮像画像を生成することができる。つまり、IRカメラ２１２は、より正確なシルエットを抽出することができる撮像画像を生成することができる。換言するに、IRカメラ２１２が生成した撮像画像を用いることにより、被写体のシルエットをより正確に抽出することができる。
　また、IRカメラ２１２は、図５の例のように偏光子を有する。同様に、IRライト２１３は、図４の例のように偏光子を有する。そして、IRカメラ２１２の偏光子の偏光方向と、IRライト２１３の偏光子の偏光方向が互いに異なる。したがって、上述のように、IRカメラ２１２により生成される撮像画像において、その画角内に収まるIRライト２１３が照射する赤外光による所謂フレア、ゴースト、ハレーション等の発生を抑制することができる。したがって、その撮像画像から、シルエットの抽出をより正確に行うことができるようになるので、３Ｄモデル生成部１０２は、より正確な３Ｄモデルを生成することができる（３Ｄモデルの正確性の低減を抑制することができる）。
　RGBカメラ２１１は、可視光の波長域の撮像画像を生成することができるので、被写体のテクスチャを抽出するために用いられる撮像画像を生成することができる。RGBカメラ２１１およびIRカメラ２１２は、互いに近傍の位置に互いに同一の被写体に向けて設置される。つまり、RGBカメラ２１１およびIRカメラ２１２の画角は、同一となるかまたは近似する。したがって、RGBカメラ２１１が生成した撮像画像を用いて、IRカメラ２１２において生成された撮像画像を用いて抽出した被写体のシルエットに対応するテクスチャを抽出することができる。
　　＜配置例＞
　撮像部１３１および照明部１３２の配置例について、撮像照明ユニット２１０を単位として説明する。複数の撮像照明ユニット２１０（つまり撮像部１３１および照明部１３２）は、図７に示されるように、被写体であるオブジェクト２３１の周囲に（取り囲むように）設置されてもよい。例えば、隣接する撮像照明ユニット２１０同士を結ぶ線を外枠とする領域（平面または空間）に被写体となるオブジェクトが位置するように、各撮像照明ユニット２１０を配置してもよい。
　その場合、オブジェクト２３１と少なくともいずれか１つの照明部１３２が各撮像部１３１の画角内に収まるような配置としてもよい。さらに他の撮像部１３１がその画角内に収まるような配置としてもよい。
　例えば図８に示されるように、２つの撮像照明ユニット２１０（撮像照明ユニット２１０－１および撮像照明ユニット２１０－２）が、互いに対向するように配置されてもよい。図８の例の場合、撮像照明ユニット２１０－１および撮像照明ユニット２１０－２は、オブジェクト２３１を通過する直線２４１上の、互いにオブジェクト２３１の反対側に、オブジェクト２３１に向けて設置されている。つまり、撮像照明ユニット２１０－１および撮像照明ユニット２１０－２は、その撮像方向および照明方向が、互いに逆向きである。
　このように２つの撮像照明ユニット２１０（撮像照明ユニット２１０－１および撮像照明ユニット２１０－２）を設置することにより、オブジェクト２３１のより広範囲を撮像することができる（死角をより少なくすることができる）。
　このような配置の場合、IRカメラ２１２の画角内にIRライト２１３が収まるが、上述のように、偏光子を用いてIRライト２１３からの直接光の入射を抑制することができるので、IRライト２１３が照射する赤外光による所謂フレア、ゴースト、ハレーション等の発生を抑制することができる。したがって、IRカメラ２１２が生成した撮像画像を用いてより正確にオブジェクト２３１のシルエットを抽出することができる。
　なお、設置する撮像照明ユニット２１０の数は複数であれば任意である。例えば、８個の撮像照明ユニット２１０を設置してもよい。このように多数の撮像照明ユニット２１０を設置する場合、撮像部１３１の画角内に他の撮像部１３１や照明部１３２が複数収まることがあり得る。
　つまり、撮像部１３１の画角内に複数の照明部１３２が収まるように、撮像照明ユニット２１０（撮像部１３１および照明部１３２）を設置してもよい。その場合、その複数の照明部１３２のそれぞれの偏光子の偏光方向が互いに同一としてもよい。そのようにすることにより、画角内に収まる各照明部１３２からの撮像部１３１への直接光の入射を互いに同様に抑制することができる。つまり、所謂フレア、ゴースト、ハレーション等の発生をより抑制することができる。
　また、撮像部１３１の画角内に他の撮像部１３１が収まるように撮像照明ユニット２１０を設置してもよい。さらに、撮像部１３１の画角内に他の撮像部１３１が複数収まるように撮像照明ユニット２１０を設置してもよい。
　また、複数の偏光照明装置（例えば照明部１３２）は、第１偏光照明装置と第２偏光照明装置を含み、複数の偏光撮像装置（例えば撮像部１３１）は、オブジェクトと第１偏光照明装置とが画角内となる位置にある第１偏光撮像装置と、オブジェクトと第２偏光照明装置とが画角内となる位置にある第２偏光撮像装置とを含み、その第１偏光撮像装置の偏光子の偏光方向は、第１偏光照明装置の偏光子の偏光方向と異なり、第２偏光撮像装置の偏光子の偏光方向は、第２偏光照明装置の偏光子の偏光方向と異なってもよい。つまり、画角内に単数の照明部１３２が収まる撮像部１３１が複数存在してもよい。
　このような場合、互いに異なる撮像部１３１の画角内に収まる複数の照明部１３２の偏光子の偏光方向は、互いに同一であってもよいし、互いに同一でなくてもよい。つまり、第２偏光撮像装置の偏光子の偏光方向が、第２偏光照明装置の偏光子の偏光方向と異なってもよい。
　つまり、複数の照明部１３２の偏光子の偏光方向は互いに同一でなくてもよい。同様に、複数の撮像部１３１の偏光子の偏光方向は互いに同一ではなくてもよい。例えば、複数の撮像部１３１の内の１つの撮像部１３１の偏光子の偏光方向と、その撮像部１３１の画角内に収まる照明部１３２の偏光子の偏光方向とが互いに異なっていれば、本実施例の効果が得られる。
　例えば、図９のＡに示されるように、複数の撮像照明ユニット２１０（撮像部１３１および照明部１３２）が、オブジェクト２３１を中心とする円状に配置されてもよい。図９のＡの例の場合、８個の撮像照明ユニット２１０が、オブジェクト２３１を中心とする円２５１上に配置されている。図９のＢに示されるように、各撮像照明ユニット２１０（撮像照明ユニット２１０－１乃至撮像照明ユニット２１０－８）は、オブジェクト２３１に向けて設置される。より具体的には、撮像照明ユニット２１０－１と撮像照明ユニット２１０－５が、オブジェクト２３１を通過する直線２５２上に対向するように配置されている。撮像照明ユニット２１０－２と撮像照明ユニット２１０－６が、オブジェクト２３１を通過する直線２５３上に対向するように配置されている。撮像照明ユニット２１０－３と撮像照明ユニット２１０－７が、オブジェクト２３１を通過する直線２５４上に対向するように配置されている。撮像照明ユニット２１０－４と撮像照明ユニット２１０－８が、オブジェクト２３１を通過する直線２５５上に対向するように配置されている。
　このような場合においても、本技術を適用することにより、上述したように偏光子によって所謂フレア、ゴースト、ハレーション等の発生を抑制しうる。
　例えば、図１０に示されるように、複数の撮像照明ユニット２１０（撮像部１３１および照明部１３２）が、オブジェクト２３１を通過する垂直線２６１を中心軸とする円柱状に配置されてもよい。このような場合においても、本技術を適用することにより、上述したように偏光子によって所謂フレア、ゴースト、ハレーション等の発生を抑制しうる。
　例えば、図１１に示されるように、複数の撮像照明ユニット２１０（撮像部１３１および照明部１３２）が、オブジェクト２３１を中心とする球状（または半球状）に配置されてもよい。このような場合においても、本技術を適用することにより、上述したように偏光子によって所謂フレア、ゴースト、ハレーション等の発生を抑制しうる。
　　＜シルエットの抽出＞
　例えば、図１２のＡに示されるように、RGBカメラ２１１が生成した撮像画像３０１において、被写体であるオブジェクト３１１とともに、他の撮像照明ユニット２１０のIRライト２１３が映り込む（画角内に収まる）とする。この場合において、撮像画像３０１は可視光の波長域の撮像画像であるので、IRライト２１３からの直接光（赤外光）による楕円３２１や楕円３２２で示されるようなフレアは発生しない。
　これに対して、IRカメラ２１２は、図１２のＢに示されるような赤外光の波長域の撮像画像３３１を生成する。RGBカメラ２１１とIRカメラ２１２の画角は略同一である。そのため、この撮像画像３３１にも他の撮像照明ユニット２１０のIRライト２１３が映り込む（画角内に収まる）。そのため、本技術が適用されていない場合、撮像画像３３１においては、IRライト２１３からの直接光（赤外光）によるフレア（楕円３２１や楕円３２２）が発生する。そのため、オブジェクト３１１のシルエットを正確に抽出することが困難である。
　本技術を適用することにより、IRカメラ２１２は、IRライト２１３の偏光子の偏光方向と異なる偏光方向の偏光子により、IRライト２１３からの直接光を抑制して、図１２のＣに示されるような撮像画像３３１を生成しうる。つまり、所謂フレア、ゴースト、ハレーション等の発生を抑制しうる。したがって、その撮像画像３３１から、シルエットの抽出をより正確に行うことができるようになるので、３Ｄモデル生成部１０２は、より正確な３Ｄモデルを生成することができる（３Ｄモデルの正確性の低減を抑制することができる）。
　＜２．第２の実施の形態＞
　　＜キャリブレーション＞
　撮像部１３１および照明部１３２の偏光子の偏光方向を較正（調整）することができるようにしてもよい。上述したように、撮像部１３１および照明部１３２の偏光子の偏光方向の相対角度によって、撮像部１３１の偏光子により抑制される光量が変化する。つまり、所謂フレア、ゴースト、ハレーション等の発生の抑制度合いが変化する。したがって、例えば、撮像部１３１や照明部１３２が設置された位置や姿勢等に応じて、その相対角度が適切な角度となるように（所謂フレア、ゴースト、ハレーション等の発生をより抑制することができるように）、各偏光子の偏光方向を較正してもよい。
　　＜データ取得部＞
　図１３は、その場合のデータ取得部１０１の主な構成例を示すブロック図である。図１３に示されるように、データ取得部１０１は、図３の構成に加え、キャリブレーション処理部４０１および表示部４０２を有する。
　キャリブレーション処理部４０１は、偏光フィルタの偏光方向を較正する較正装置の一例であり、撮像部１３１により生成される撮像画像を取得し、その撮像画像に基づいて、より好適な偏光方向（所謂フレア、ゴースト、ハレーション等の発生をより抑制することができる偏光方向）を導出する。また、キャリブレーション処理部４０１は、その導出した偏光方向を示す表示画像を生成し、その表示画像を表示部４０２に供給する。
　表示部４０２は、キャリブレーション処理部４０１から供給される表示画像を表示する。ユーザはその表示部４０２に表示された表示画像を参照することにより、所謂フレア、ゴースト、ハレーション等の発生をより抑制することができる偏光方向を把握する。撮像部１３１および照明部１３２の偏光子の偏光方向は可変であり、撮像部１３１および照明部１３２は、その偏光子の偏光方向を制御する偏光方向制御機構（可動リング等）を有する。ユーザは、その偏光方向制御機構を操作して、偏光方向を所望の方向に較正する。
　　＜キャリブレーション処理の流れ＞
　このようなキャリブレーション処理部４０１により実行されるキャリブレーション処理の流れの例を、図１４のフローチャートを参照して説明する。
　キャリブレーション処理が開始されると、キャリブレーション処理部４０１は、ステップＳ２０１において、撮像画像を取得する。
　ステップＳ２０２において、ユーザは、撮像部１３１および照明部１３２の偏光子の偏光方向（偏光角）を、前回と異なる所定の方向（角度）に設定する。
　ステップＳ２０３において、キャリブレーション処理部４０１は、取得した撮像画像の輝度値を算出する。
　ステップＳ２０４において、キャリブレーション処理部４０１は、偏光方向（偏光角）を、候補となる全ての方向（角度）に設定したか否かを判定する。つまり、キャリブレーション処理部４０１は、候補となる全ての偏光方向（偏光角）で撮像画像を取得し、輝度値を算出したか否かを判定する。
　未処理の方向（角度）が存在すると判定された場合、処理はステップＳ２０２に戻る。つまり、新たな偏光方向（偏光角）で撮像が行われ、その撮像画像の輝度値が算出される。以上のようにして、候補となる全ての方向（角度）について処理を行ったと判定された場合、処理はステップＳ２０５に進む。
　ステップＳ２０５において、キャリブレーション処理部４０１は、撮像画像の輝度値を算出した各偏光方向（偏光角）の中から、輝度値が最小となる偏光方向（偏光角）を決定し、その偏光方向（偏光角）を示す表示画像を生成する。表示部４０２は、その表示画像を表示する。
　これにより、ユーザは、その表示に基づいて、撮像部１３１および照明部１３２の偏光子の偏光方向をより適切な方向に較正することができる。したがって、所謂フレア、ゴースト、ハレーション等の発生をより抑制することができる。
　なお、撮像部１３１および照明部１３２の偏光子の偏光方向を、キャリブレーション処理部４０１が導出した偏光方向に更新する偏光方向制御部（アクチュエータ）を設けてもよい。
　＜３．応用例＞
　なお、カメラキャリブレーションによってカメラの傾きを検出する装置をさらに備えるようにしてもよい。キャリブレーションされたカメラの位置は、とある原点に対して、回転と並進で表現される。また、カメラの回転を検出した場合に、偏光フィルタの角度を変える装置を備えるようにしてもよい。
　また、撮像部１３１として、図５のＢの例のように、偏光センサを用いる場合、複数の偏向方向（例えば0°、90°、180°、270°の４方向等）を撮像するセンサを用いてもよい。例えば、自動制御される光源の回転情報を取得し、偏光センサが、その開店情報に基づいて最適な偏光方向の画素を選択し、その偏光方向の偏光に対応する撮像画像を生成してもよい。
　また、カメラ位置に応じて光源の偏向角を制御する装置を備えるようにしてもよい。例えば、取り囲みのVolumetric撮影環境に、ドローンやクレーンカメラのような撮像位置が変更可能な撮像部を導入する場合、その動きにより、対向位置にライトが入ってしまうおそれがある。そこで、カメラの位置や回転情報を用いて、ライト側の偏光方向（偏光角）を制御してもよい。
　＜４．付記＞
　　＜本技術の適用例＞
　本開示に係る技術は、様々な製品やサービスへ適用することができる。
　（１．コンテンツの制作）
　例えば、本実施の形態で生成された被写体の３Ｄモデルと他のサーバで管理されている３Ｄデータを合成して新たな映像コンテンツを制作してもよい。また、例えば、Lidarなどの撮像装置で取得した背景データが存在している場合、本実施の形態で生成された被写体の３Ｄモデルと背景データを組合せることで、被写体が背景データで示す場所にあたかもいるようなコンテンツを制作することもできる。尚、映像コンテンツは３次元の映像コンテンツであってもよいし、２次元に変換された2次元の映像コンテンツでもよい。なお、本実施の形態で生成された被写体の３Ｄモデルは、例えば、３Ｄモデル生成部で生成された３Ｄモデルやレンダリング部で再構築した３Ｄモデルなどがある。
　（２．仮想空間での体験）
　例えば、ユーザがアバタとなってコミュニケーションする場である仮想空間の中で、本実施の形態で生成された被写体（例えば、演者）を配置することができる。この場合、ユーザは、アバタとなって仮想空間で実写の被写体を視聴することが可能となる。
　（３．遠隔地とのコミュニケーションへの応用）
　例えば、３Ｄモデル生成部１０２で生成された被写体の３Ｄモデルを送信部１０４から遠隔地に送信することにより、遠隔地にある再生装置を通じて遠隔地のユーザが被写体の３Ｄモデルを視聴することができる。例えば、この被写体の３Ｄモデルをリアルタイムに伝送することにより被写体と遠隔地のユーザとがリアルタイムにコミュニケーションすることができる。例えば、被写体が先生であり、ユーザが生徒である場合や、被写体が医者であり、ユーザが患者である場合が想定できる。
　（４．その他）
　例えば、本実施の形態で生成された複数の被写体の３Ｄモデルに基づいてスポーツなどの自由視点映像を生成することもできるし、個人が本実施の形態で生成された３Ｄモデルである自分を配信プラットフォームに配信することもできる。このように、本明細書に記載の実施形態における内容は種々の技術やサービスに応用することができる。
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図１５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　また、以上においては、本技術の適用例として情報処理システム等について説明したが、本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　オブジェクトを撮像して得られる複数の撮像画像を用いて、前記オブジェクトの３Ｄモデルを生成する撮像処理システムであって、
　偏光子を備え、互いに異なる位置から、発光部から出射された光が前記偏光子を透過して得られる偏光を前記オブジェクトに照射する複数の偏光照明装置と、
　偏光子を備え、前記オブジェクトと少なくとも１つの前記偏光照明装置とが画角内となる互いに異なる位置において、外部からの光が前記偏光子を透過して得られる偏光を用いて前記撮像画像を生成する複数の偏光撮像装置と
　を備え、
　前記偏光撮像装置の前記偏光子の偏光方向は、前記偏光照明装置の前記偏光子の偏光方向と異なる
　撮像処理システム。
　（２）　前記偏光撮像装置の前記画角内には、複数の前記偏光撮像装置の内、他の偏光撮像装置が位置する
　（１）に記載の撮像処理システム。
　（３）　前記他の偏光撮像装置は、前記偏光撮像装置と対向する
　（２）に記載の撮像処理システム。
　（４）　前記偏光照明装置は、いずれかの前記偏光撮像装置の近傍に位置し、かつ、前記偏光の照射方向が前記偏光撮像装置の撮像方向と同一である
　（３）に記載の撮像処理システム。
　（５）　前記偏光撮像装置の前記画角内には、複数の前記偏光照明装置が位置する
　（１）乃至（４）のいずれかに記載の撮像処理システム。
　（６）　複数の前記偏光照明装置は、第１偏光照明装置と第２偏光照明装置を含み、
　複数の前記偏光撮像装置は、前記オブジェクトと前記第１偏光照明装置とが画角内となる位置にある第１偏光撮像装置と、前記オブジェクトと前記第２偏光照明装置とが画角内となる位置にある第２偏光撮像装置を含み、
　前記第１偏光撮像装置の偏光子の偏光方向は、前記第１偏光照明装置の偏光子の偏光方向と異なり、
　前記第２偏光撮像装置の偏光子の偏光方向は、前記第２偏光照明装置の偏光子の偏光方向と異なる
　（１）乃至（５）のいずれかに記載の撮像処理システム。
　（７）　前記第１偏光照明装置の偏光子の偏光方向は、第２偏光照明装置の偏光子の偏光方向と異なる
　（６）に記載の撮像処理システム。
　（８）　複数の前記偏光撮像装置並びに複数の前記偏光照明装置は、前記オブジェクトを取り囲むように配置される
　（１）乃至（７）のいずれかに記載の撮像処理システム。
　（９）　複数の前記偏光撮像装置並びに複数の前記偏光照明装置は、前記オブジェクトを中心とする円状に配置される
　（８）に記載の撮像処理システム。
　（１０）　複数の前記偏光撮像装置並びに複数の前記偏光照明装置は、前記オブジェクトの位置を通過する垂直線を中心軸とする円柱状に配置される
　（８）に記載の撮像処理システム。
　（１１）　複数の前記偏光撮像装置並びに複数の前記偏光照明装置は、前記オブジェクトを中心とする球状に配置される
　（８）に記載の撮像処理システム。
　（１２）　前記偏光撮像装置は、前記オブジェクトのシルエットを抽出するための撮像画像を生成する
　（１）乃至（１１）のいずれかに記載の撮像処理システム。
　（１３）　前記オブジェクトを撮像し、前記オブジェクトのテクスチャを抽出するための撮像画像を生成する撮像装置をさらに備える
　（１）乃至（１２）のいずれかに記載の撮像処理システム。
　（１４）　前記偏光照明装置は、可視光の前記偏光を照射し、
　前記偏光撮像装置は、可視光の前記偏光を用いて前記撮像画像を生成する
　（１）乃至（１３）のいずれかに記載の撮像処理システム。
　（１５）　前記偏光照明装置は、不可視光の前記偏光を照射し、
　前記偏光撮像装置は、不可視光の前記偏光を用いて前記撮像画像を生成する
　（１）乃至（１３）のいずれかに記載の撮像処理システム。
　（１６）　前記偏光子は、偏光フィルタである
　（１）乃至（１５）のいずれかに記載の撮像処理システム。
　（１７）　前記偏光フィルタの偏光方向は可変であり、
　前記偏光撮像装置は、前記偏光フィルタの偏光方向を制御する偏光方向制御機構をさらに備える
　（１６）に記載の撮像処理システム。
　（１８）　前記偏光フィルタの偏光方向を較正する較正装置をさらに備える
　（１７）に記載の撮像処理システム。
　（１９）　互いに異なる位置において、画角内の偏光照明装置から照射される偏光と異なる偏光方向の偏光を用いてオブジェクトの撮像画像を生成し、
　互いに異なる位置において得られた複数の前記撮像画像を用いて前記オブジェクトの３Ｄモデルを生成する
　３Ｄモデル生成方法。
　（２０）　偏光子を備え、互いに異なる位置から、発光部から出射された光が前記偏光子を透過して得られる偏光をオブジェクトに照射する複数の偏光照明装置と、
　偏光子を備え、前記オブジェクトと少なくとも１つの前記偏光照明装置とが画角内となる互いに異なる位置において、外部からの光が前記偏光子を透過して得られる偏光を用いて前記オブジェクトの撮像画像を生成する複数の偏光撮像装置と
　を備え、
　前記偏光撮像装置の前記偏光子の偏光方向は、前記偏光照明装置の前記偏光子の偏光方向と異なる
　撮像処理システム。
　１００　情報処理システム，　１０１　データ取得部，　１０２　３Ｄモデル生成部，　１０３　フォーマット化部，　１０４　送信部，　１０５　受信部，　１０６　レンダリング部，　１０７　表示部，　１２１　撮像照明部，　１２２　送信部，　１３１　撮像部，　１３２　照明部，　１５１　偏光フィルタ，　１５２　発光部，　１７１　偏光フィルタ，　１７２　イメージセンサ，　１９１　偏光センサ，　２１０　撮像照明ユニット，　２１１　RGBカメラ，　２１２　IRカメラ，　２１３　IRライト，　２３１　オブジェクト，　４０１　キャリブレーション処理部，　４０２　表示部

Claims (20)

  1. 　オブジェクトを撮像して得られる複数の撮像画像を用いて、前記オブジェクトの３Ｄモデルを生成する撮像処理システムであって、
    　偏光子を備え、互いに異なる位置から、発光部から出射された光が前記偏光子を透過して得られる偏光を前記オブジェクトに照射する複数の偏光照明装置と、
    　偏光子を備え、前記オブジェクトと少なくとも１つの前記偏光照明装置とが画角内となる互いに異なる位置において、外部からの光が前記偏光子を透過して得られる偏光を用いて前記撮像画像を生成する複数の偏光撮像装置と
    　を備え、
    　前記偏光撮像装置の前記偏光子の偏光方向は、前記偏光照明装置の前記偏光子の偏光方向と異なる
    　撮像処理システム。
  2. 　前記偏光撮像装置の前記画角内には、複数の前記偏光撮像装置の内、他の偏光撮像装置が位置する
    　請求項１に記載の撮像処理システム。
  3. 　前記他の偏光撮像装置は、前記偏光撮像装置と対向する
    　請求項２に記載の撮像処理システム。
  4. 　前記偏光照明装置は、いずれかの前記偏光撮像装置の近傍に位置し、かつ、前記偏光の照射方向が前記偏光撮像装置の撮像方向と同一である
    　請求項３に記載の撮像処理システム。
  5. 　前記偏光撮像装置の前記画角内には、複数の前記偏光照明装置が位置する
    　請求項１に記載の撮像処理システム。
  6. 　複数の前記偏光照明装置は、第１偏光照明装置と第２偏光照明装置を含み、
    　複数の前記偏光撮像装置は、前記オブジェクトと前記第１偏光照明装置とが画角内となる位置にある第１偏光撮像装置と、前記オブジェクトと前記第２偏光照明装置とが画角内となる位置にある第２偏光撮像装置を含み、
    　前記第１偏光撮像装置の偏光子の偏光方向は、前記第１偏光照明装置の偏光子の偏光方向と異なり、
    　前記第２偏光撮像装置の偏光子の偏光方向は、前記第２偏光照明装置の偏光子の偏光方向と異なる
    　請求項１に記載の撮像処理システム。
  7. 　前記第１偏光照明装置の偏光子の偏光方向は、第２偏光照明装置の偏光子の偏光方向と異なる
    　請求項６に記載の撮像処理システム。
  8. 　複数の前記偏光撮像装置並びに複数の前記偏光照明装置は、前記オブジェクトを取り囲むように配置される
    　請求項１に記載の撮像処理システム。
  9. 　複数の前記偏光撮像装置並びに複数の前記偏光照明装置は、前記オブジェクトを中心とする円状に配置される
    　請求項８に記載の撮像処理システム。
  10. 　複数の前記偏光撮像装置並びに複数の前記偏光照明装置は、前記オブジェクトの位置を通過する垂直線を中心軸とする円柱状に配置される
    　請求項８に記載の撮像処理システム。
  11. 　複数の前記偏光撮像装置並びに複数の前記偏光照明装置は、前記オブジェクトを中心とする球状に配置される
    　請求項８に記載の撮像処理システム。
  12. 　前記偏光撮像装置は、前記オブジェクトのシルエットを抽出するための撮像画像を生成する
    　請求項１に記載の撮像処理システム。
  13. 　前記オブジェクトを撮像し、前記オブジェクトのテクスチャを抽出するための撮像画像を生成する撮像装置をさらに備える
    　請求項１に記載の撮像処理システム。
  14. 　前記偏光照明装置は、可視光の前記偏光を照射し、
    　前記偏光撮像装置は、可視光の前記偏光を用いて前記撮像画像を生成する
    　請求項１に記載の撮像処理システム。
  15. 　前記偏光照明装置は、不可視光の前記偏光を照射し、
    　前記偏光撮像装置は、不可視光の前記偏光を用いて前記撮像画像を生成する
    　請求項１に記載の撮像処理システム。
  16. 　前記偏光子は、偏光フィルタである
    　請求項１に記載の撮像処理システム。
  17. 　前記偏光フィルタの偏光方向は可変であり、
    　前記偏光撮像装置は、前記偏光フィルタの偏光方向を制御する偏光方向制御機構をさらに備える
    　請求項１６に記載の撮像処理システム。
  18. 　前記偏光フィルタの偏光方向を較正する較正装置をさらに備える
    　請求項１７に記載の撮像処理システム。
  19. 　互いに異なる位置において、画角内の偏光照明装置から照射される偏光と異なる偏光方向の偏光を用いてオブジェクトの撮像画像を生成し、
    　互いに異なる位置において得られた複数の前記撮像画像を用いて前記オブジェクトの３Ｄモデルを生成する
    　３Ｄモデル生成方法。
  20. 　偏光子を備え、互いに異なる位置から、発光部から出射された光が前記偏光子を透過して得られる偏光をオブジェクトに照射する複数の偏光照明装置と、
    　偏光子を備え、前記オブジェクトと少なくとも１つの前記偏光照明装置とが画角内となる互いに異なる位置において、外部からの光が前記偏光子を透過して得られる偏光を用いて前記オブジェクトの撮像画像を生成する複数の偏光撮像装置と
    　を備え、
    　前記偏光撮像装置の前記偏光子の偏光方向は、前記偏光照明装置の前記偏光子の偏光方向と異なる
    　撮像処理システム。
PCT/JP2021/025089 2020-07-17 2021-07-02 撮像処理システムおよび３ｄモデル生成方法 WO2022014370A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022536262A JPWO2022014370A1 (ja) 2020-07-17 2021-07-02
EP21843431.4A EP4184909A4 (en) 2020-07-17 2021-07-02 IMAGE CAPTURE PROCESSING SYSTEM AND 3D MODEL GENERATION METHOD
CN202180048905.4A CN115804100A (zh) 2020-07-17 2021-07-02 图像捕获处理***和3d模型生成方法
KR1020237000029A KR20230038454A (ko) 2020-07-17 2021-07-02 촬상 처리 시스템 및 3d 모델 생성 방법
US18/015,434 US20230288622A1 (en) 2020-07-17 2021-07-02 Imaging processing system and 3d model generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020123187 2020-07-17
JP2020-123187 2020-07-17

Publications (1)

Publication Number Publication Date
WO2022014370A1 true WO2022014370A1 (ja) 2022-01-20

Family

ID=79555348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025089 WO2022014370A1 (ja) 2020-07-17 2021-07-02 撮像処理システムおよび３ｄモデル生成方法

Country Status (6)

Country Link
US (1) US20230288622A1 (ja)
EP (1) EP4184909A4 (ja)
JP (1) JPWO2022014370A1 (ja)
KR (1) KR20230038454A (ja)
CN (1) CN115804100A (ja)
WO (1) WO2022014370A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05312519A (ja) * 1992-05-12 1993-11-22 Omron Corp 撮像方法、撮像システム、ワーク位置決め方法、およびワーク切断装置
JP2016020891A (ja) * 2014-06-20 2016-02-04 株式会社リコー 形状計測システムおよび撮像装置
JP2017058383A (ja) * 2014-03-04 2017-03-23 パナソニックＩｐマネジメント株式会社 偏光画像処理装置
WO2018150933A1 (ja) 2017-02-20 2018-08-23 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469831B2 (en) * 2002-06-07 2019-11-05 University Of Southern California Near-instant capture of high-resolution facial geometry and reflectance
CN110493589A (zh) * 2019-08-09 2019-11-22 深圳卡乐星球数字娱乐有限公司 一种三维图像采集***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05312519A (ja) * 1992-05-12 1993-11-22 Omron Corp 撮像方法、撮像システム、ワーク位置決め方法、およびワーク切断装置
JP2017058383A (ja) * 2014-03-04 2017-03-23 パナソニックＩｐマネジメント株式会社 偏光画像処理装置
JP2016020891A (ja) * 2014-06-20 2016-02-04 株式会社リコー 形状計測システムおよび撮像装置
WO2018150933A1 (ja) 2017-02-20 2018-08-23 ソニー株式会社 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4184909A4

Also Published As

Publication number Publication date
EP4184909A4 (en) 2023-12-27
US20230288622A1 (en) 2023-09-14
EP4184909A1 (en) 2023-05-24
CN115804100A (zh) 2023-03-14
KR20230038454A (ko) 2023-03-20
JPWO2022014370A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
US10757423B2 (en) Apparatus and methods for compressing video content using adaptive projection selection
Azevedo et al. Visual distortions in 360° videos
US10523980B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10958942B2 (en) Processing spherical video data
WO2020162542A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、および、三次元データ復号装置
US20170347055A1 (en) Method, apparatus and stream for immersive video format
US10440349B2 (en) 3-D 360 degrees depth projector
US20210176496A1 (en) Method, apparatus and stream for encoding/decoding volumetric video
CN1765133A (zh) 三维电视***和提供三维电视的方法
US20190251735A1 (en) Method, apparatus and stream for immersive video format
US20210233303A1 (en) Image processing apparatus and image processing method
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10404964B2 (en) Method for processing media content and technical equipment for the same
US20120050495A1 (en) Method and system for multi-view 3d video rendering
US20210125399A1 (en) Three-dimensional video processing
WO2019122504A1 (en) Method for encoding and decoding volumetric video data
WO2022014370A1 (ja) 撮像処理システムおよび３ｄモデル生成方法
Zheng et al. Research on panoramic stereo live streaming based on the virtual reality
US20230086988A1 (en) Method and apparatus for processing multi-view video, device and storage medium
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
WO2019008233A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
JP2023072296A (ja) 情報処理装置および方法
CN117203958A (zh) 在有音频信息的三维动画虚拟环境中广播体积视频会议的***及其操作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21843431

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536262

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021843431

Country of ref document: EP

Effective date: 20230217