WO2021193213A1 - 情報処理装置、３ｄモデル生成方法およびプログラム - Google Patents

情報処理装置、３ｄモデル生成方法およびプログラム Download PDF

Info

Publication number
WO2021193213A1
WO2021193213A1 PCT/JP2021/010470 JP2021010470W WO2021193213A1 WO 2021193213 A1 WO2021193213 A1 WO 2021193213A1 JP 2021010470 W JP2021010470 W JP 2021010470W WO 2021193213 A1 WO2021193213 A1 WO 2021193213A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
distance
point
unit
projection
Prior art date
Application number
PCT/JP2021/010470
Other languages
English (en)
French (fr)
Inventor
伸明 泉
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022509962A priority Critical patent/JPWO2021193213A1/ja
Priority to US17/801,403 priority patent/US20230084376A1/en
Priority to CN202180022318.8A priority patent/CN115398180A/zh
Priority to DE112021001867.1T priority patent/DE112021001867T5/de
Publication of WO2021193213A1 publication Critical patent/WO2021193213A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Definitions

  • This disclosure relates to an information processing device, a 3D model generation method, and a program.
  • a 3D object is generated in the viewing space by using information that senses the actual 3D space, for example, a multi-view image obtained by capturing a subject from a different viewpoint, as if the object exists in the viewing space.
  • a method of generating a visible image (volumetric image) has been proposed.
  • Coordinate information in three-dimensional space is required to generate a volumetric image.
  • the 3D shape of a subject is obtained based on a depth map showing the distance from the camera to the surface of the subject. rice field.
  • Patent Document 1 it was only possible to obtain a 3D shape of the subject facing the camera, that is, the surface side of the subject. Therefore, for the 3D shape on the back side of the subject, it is necessary to obtain the 3D shape based on the depth map of the subject viewed from the back side.
  • the present disclosure proposes an information processing device, a 3D model generation method, and a program capable of generating an accurate shape of a subject.
  • the information processing apparatus has a first point in which a straight line from a projection point to the subject comes into contact with the subject based on the 3D shape of the surface of the subject.
  • the first distance to the projection point, the second distance between the projection point and the second point where the straight line entering the inside of the subject from the first point penetrates the outside from the subject It is an information processing apparatus including a distance acquisition unit for acquiring.
  • First Embodiment 1-1 Functional configuration of information processing system 1-2. Process flow performed by the information processing system 1-3. Information processing system hardware configuration 1-4. Detailed configuration of the coding unit 1-5. Detailed configuration of decoding unit 1-6. Depth validity judgment process 1-7. Mesh data generation process 1-8. Detailed configuration of the rendering section 1-9. Modification example of the first embodiment 1-10. Effect of the first embodiment 2. Second Embodiment 2-1. Structure of tiling image 2-2. Visibility confirmation process 2-3. Effect of the second embodiment 3. Third Embodiment 3-1. Action of the third embodiment 3-2. Effect of the third embodiment 4. Fourth Embodiment 4-1. Action of the fourth embodiment 4-2. Effect of the fourth embodiment 5. Application examples of the present disclosure 5-1. Content production 5-2. Experience in virtual space 5-3. Application to communication with remote areas 5-4. others
  • FIG. 1 is a block diagram showing a schematic configuration of the information processing system of the first embodiment.
  • the information processing system 10a includes a data acquisition unit 11, a 3D model generation unit 12, a coding unit 13a, a transmission unit 14, a reception unit 15, a decoding unit 16a, and a rendering unit 17a. And a display unit 18.
  • the data acquisition unit 11 acquires image data for generating a 3D model 90M of the subject 90, which is an object to be imaged.
  • a plurality of viewpoint images captured by a plurality of imaging devices 70 (70a, 70b, ...) Arranged so as to surround the subject 90 are acquired as image data.
  • the plurality of viewpoint images are preferably images captured by a plurality of cameras in synchronization.
  • the data acquisition unit 11 may, for example, move one camera and acquire the subject as image data obtained by capturing the subject from a plurality of viewpoints.
  • the data acquisition unit 11 may perform calibration based on the image data and acquire the internal parameters and the external parameters of each imaging device.
  • the data acquisition unit 11 may acquire a plurality of depth information indicating distances from a plurality of viewpoints to the subject 90, for example.
  • the 3D model generation unit 12 generates a model having three-dimensional information of the subject based on the image data for generating the 3D model 90M of the subject 90.
  • the 3D model generation unit 12 creates a 3D model of the subject by, for example, using so-called Visual Hull and cutting the three-dimensional shape of the subject using images from a plurality of viewpoints (for example, silhouette images from a plurality of viewpoints). Generate.
  • the 3D model generation unit 12 can further deform the 3D model 90M generated by using Visual Hull with high accuracy by using a plurality of depth information indicating the distances from the viewpoints at a plurality of locations to the subject.
  • the 3D model generation unit 12 may generate a 3D model 90M of the subject 90 from one captured image of the subject 90.
  • the 3D model 90M generated by the 3D model generation unit 12 can be said to be a moving image of the 3D model by generating it in time-series frame units. Further, since the 3D model 90M is generated by using the image captured by the image pickup apparatus, it can be said to be a live-action 3D model.
  • the 3D model can express the shape information representing the surface shape of the subject 90 in the form of three-dimensional shape mesh data called a polygon mesh, which is expressed by the connection between the vertices (Vertex) and the vertices.
  • the three-dimensional shape mesh data has, for example, three-dimensional coordinates of the vertices of the mesh and index information indicating which vertices are combined to form a triangular mesh.
  • the method of expressing the 3D model is not limited to these, and may be described by a so-called point cloud expression method expressed by the position information of points.
  • Color information data is also generated as a texture in a form associated with these 3D shape data. There are two cases: View Independent texture, which has a constant color when viewed from any direction, and View Dependent texture, which changes color depending on the viewing direction.
  • the coding unit 13a converts the data of the 3D model 90M generated by the 3D model generation unit 12 into a format suitable for transmission / storage.
  • the three-dimensional shape data input in the form of three-dimensional shape mesh data or the like is converted into a depth information image projected from one or a plurality of viewpoints, a so-called depth map.
  • the depth information and the color information of the state of the two-dimensional image are compressed and output to the transmission unit 14.
  • the depth information and the color information may be transmitted side by side as one image, or may be transmitted as two separate images. Since both are in the form of two-dimensional image data, they can be compressed by using a two-dimensional compression technique such as AVC (Advanced Video Coding).
  • AVC Advanced Video Coding
  • the transmission unit 14 transmits the transmission data formed by the coding unit 13a to the reception unit 15.
  • the transmission unit 14 transmits the transmission data to the reception unit 15 after performing a series of processes of the data acquisition unit 11, the 3D model generation unit 12 and the coding unit 13a offline. Further, the transmission unit 14 may transmit the transmission data generated from the series of processes described above to the reception unit in real time.
  • the 3D model generation unit 12, the coding unit 13a, and the transmission unit 14 constitute a coding device 40a.
  • the coding device 40a is an example of the information processing device in the present disclosure.
  • the receiving unit 15 receives the transmission data transmitted from the transmitting unit 14.
  • the decoding unit 16a restores the bit stream received by the receiving unit 15 to a two-dimensional image, and restores the mesh and texture information that the rendering unit 17a can draw from the restored two-dimensional image.
  • the receiving unit 15, the decoding unit 16a, and the rendering unit 17a constitute a decoding device 50a.
  • the decoding device 50a is an example of the information processing device in the present disclosure.
  • the rendering unit 17a projects the mesh of the 3D model 90M from the viewpoint of the drawing camera, and performs texture mapping to paste the texture representing the color or pattern.
  • the feature of this embodiment is that the drawing at this time can be viewed from an arbitrarily set free viewpoint regardless of the camera position at the time of shooting.
  • the texture mapping includes a so-called View Dependent method (VD method) that considers the user's viewing viewpoint and a View Independent method (VI method) that does not consider the user's viewing viewpoint. Since the VD method changes the texture to be attached to the 3D model according to the position of the viewing viewpoint, there is an advantage that higher quality rendering can be realized than the VI method.
  • VD method View Dependent method
  • VI method View Independent method
  • the VI method has an advantage that the amount of processing is smaller than that of the VD method because the position of the viewing viewpoint is not considered.
  • the viewing viewpoint data is input to the rendering unit 17a from the display device after the display device detects the viewing point (Region of Interest) of the user.
  • the display unit 18 displays the result rendered by the rendering unit 17a on the display unit of the display device.
  • the display device may be a 2D monitor or a 3D monitor, for example, a head-mounted display, a spatial display, a mobile phone, a television, a PC, or the like.
  • the information processing system 10a of FIG. 1 shows a series of flows from a data acquisition unit 11 that acquires an captured image, which is a material for generating content, to a display control unit that controls a display device to be viewed by a user.
  • a data acquisition unit 11 that acquires an captured image, which is a material for generating content
  • a display control unit that controls a display device to be viewed by a user.
  • this does not mean that all functional blocks are required for the embodiment of the present embodiment, and the present embodiment can be implemented for each functional block or a combination of a plurality of functional blocks.
  • a transmitting unit 14 and a receiving unit 15 are provided in order to show a series of flow from the side that creates the content to the side that views the content through the distribution of the content data.
  • the same information processing device for example, a personal computer
  • the same implementer may implement all, or different implementers may implement each functional block.
  • the business operator A generates 3D contents through the data acquisition unit 11, the 3D model generation unit 12, and the coding unit 13a.
  • a plurality of implementers jointly distribute the 3D content through the transmission unit 14 (platform) of the business operator B so that the display device of the business operator C receives, renders, and controls the display of the 3D content. It may be implemented.
  • each of the above-mentioned functional blocks can be implemented on the cloud.
  • the rendering unit 17a may be implemented in the display device or may be implemented in the server. In that case, information is exchanged between the display device and the server.
  • the data acquisition unit 11, the 3D model generation unit 12, the coding unit 13a, the transmission unit 14, the reception unit 15, the rendering unit 17a, and the display unit 18 are collectively described as an information processing system 10a.
  • the information processing system 10a of the present specification is referred to as an information information system if two or more functional blocks are involved.
  • the data acquisition unit 11 and the 3D model generation unit are not included in the display unit 18.
  • the coding unit 13a, the transmitting unit 14, the receiving unit 15, the decoding unit 16a, and the rendering unit 17a can be collectively referred to as an information processing system 10a.
  • FIG. 3 is a flowchart showing an example of the flow of processing performed by the information processing system.
  • step S11 the data acquisition unit 11 acquires image data for generating a 3D model of the subject.
  • step S12 the 3D model generation unit 12 generates a 3D model having three-dimensional information of the subject based on the image data for generating the 3D model of the subject.
  • step S13 the coding unit 13a encodes the shape and texture data of the 3D model generated by the 3D model generation unit 12 into a format suitable for transmission storage.
  • step S14 the transmitting unit 14 transmits the encoded data
  • step S15 the receiving unit 15 receives the transmitted data.
  • step S16 the decoding unit 16a performs decoding processing and converts the 3D model into shape and texture data required for display. Then, in step S17, the rendering unit 17a renders using the shape and texture data. The rendered result is displayed on the display unit in step S18. Then, when the process of step S18 is completed, the process of the information processing system 10a is completed.
  • FIG. 4 is a hardware block diagram showing an example of the hardware configuration of the information processing system.
  • the CPU 21, ROM 22, and RAM 23 are connected to each other via the bus 24.
  • An input / output interface 25 is also connected to the bus 24.
  • An input unit 26, an output unit 27, a storage unit 28, a communication unit 29, and a drive 30 are connected to the input / output interface 25.
  • the input unit 26 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 27 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 28 includes, for example, a hard disk, a RAM disk, a non-volatile memory, and the like.
  • the communication unit 29 includes, for example, a network interface and the like.
  • the drive 30 drives a removable medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 21 loads, for example, the program stored in the storage unit 28 into the RAM 23 via the input / output interface 25 and the bus 24, and executes the series described above. Process.
  • the RAM 23 also appropriately stores data and the like necessary for the CPU 21 to execute various processes.
  • the program executed by the computer can be recorded and applied to removable media such as package media, for example.
  • the program can be installed in the storage unit 28 via the input / output interface by mounting the removable media in the drive.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting. In that case, the program can be received by the communication unit 29 and installed in the storage unit 28.
  • FIG. 5 is a functional block diagram showing an example of the functional configuration of the coding unit.
  • the coding unit 13a receives the three-dimensional shape mesh data of the subject 90 and the color information texture data C (see FIG. 9) from the 3D model generation unit 12. Then, the coding unit 13a converts the data into bitstream data suitable for transmission / storage and outputs the data. As shown in FIG. 5, the coding unit 13a includes a first layer depth map generation unit 131, a second layer depth map generation unit 132, a color information packing unit 133, a tiling processing unit 134a, and an image compression process. A unit 135 is provided.
  • the first layer depth map generation unit 131 Based on the 3D shape acquired by the 3D model generation unit 12, the first layer depth map generation unit 131 has a first point P1 and a projection point Q in which a straight line from the projection point Q to the subject 90 comes into contact with the subject 90. The first distance d1 with and from is acquired. Then, the first layer depth map generation unit 131 generates an image that visualizes the distance from the projection point Q to the surface of the subject 90, that is, the first layer depth map Dm1.
  • the first layer depth map generation unit 131 is an example of the distance acquisition unit in the present disclosure.
  • the second layer depth map generation unit 132 based on the 3D shape acquired by the 3D model generation unit 12, a straight line entering the inside of the subject 90 from the first point P1 starting from the projection point Q is formed from the subject 90.
  • the second distance d2 between the second point P2 penetrating the outside and the projection point Q is acquired.
  • the second layer depth map generation unit 132 generates an image that visualizes the distance from the projection point Q to the back surface of the subject 90, that is, the second layer depth map Dm2.
  • the second layer depth map generation unit 132 is an example of the distance acquisition unit in the present disclosure.
  • a straight line starting from the projection point Q and reaching the subject 90 may penetrate the subject 90 a plurality of times. In such a case, a plurality of pairs of the first point P1 and the second point P2 are generated. That is, every time a straight line penetrates the subject 90, a pair of a first point P1 and a second point P2 is generated.
  • the surface of the subject 90 is reached.
  • the distance can be expressed as an image. This image is the first layer depth map Dm1 and the second layer depth map Dm2 described above.
  • the perspective transformation is calculated by, for example, equation (1).
  • the points (X, Y, Z) on the subject 90 form a matrix formed by a camera external parameter composed of rotation components r11 to r33 and translational movement components t1 to t3, and fx, fy and cx, cy. It is shown that the two-dimensional coordinates (u, v) of the projection plane and the depth s can be obtained by multiplying the matrix formed by the internal parameters of the camera represented by.
  • the first layer depth map is the one in which all the surfaces of the three-dimensional mesh of the subject 90 seen from the projection point Q are projected and the distance from the foreground, that is, the closest point from the projection point Q is stored in the data of the two-dimensional array. It is Dm1.
  • FIG. 6 is a diagram illustrating a method of generating a depth map.
  • the first layer depth map generation unit 131 quantizes the depth s calculated as the first distance d1 in the range of the minimum value and the maximum value, and the point Ps of the projection plane R (u, v) shown in FIG. Store in.
  • the minimum value is, for example, the distance near from the projection point Q in FIG. 6 to the near surface Sn
  • the maximum value is, for example, the distance far from the projection point Q in FIG. 6 to the far surface Sf.
  • the quantized depth value D1 is simply referred to as a depth value D1.
  • the second layer depth map generation unit 132 uses the same perspective projection parameters as the first layer, but the depth s calculated as the second distance d2 from the back side of the subject 90 to the point where it penetrates the inside of the subject 90. Is stored at the point Ps of the projection plane R (u, v) shown in FIG. In the region where the subject 90 is projected in the depth map, the second distance d2 is a value larger than the first distance d1.
  • FIG. 6 shows an example of generating a depth map by perspective projection centered on the projection point Q
  • a depth map may be generated by using a projection method other than perspective projection, for example, parallel projection. ..
  • FIG. 7 is a diagram for explaining the quantized depth values of the first layer depth map and the second layer depth map.
  • FIG. 8 is a diagram showing an example of a first layer depth map and a second layer depth map.
  • the coding unit 13a stores the depth value D1 in the region (invalid region) where the subject 90 stored in the first layer depth map Dm1 does not exist in the near surface Sn as the distance far. Further, the depth value D2 in the region (invalid region) where the subject 90 does not exist, which is stored in the second layer depth map Dm2, is stored in the far surface Sf as a distance near smaller than the distance far.
  • the distance far is an example of the first distance value in the present disclosure. Further, the distance near is an example of the second distance value in the present disclosure. This makes it possible to determine that the region where d1 ⁇ d2 is the region indicating the subject 90.
  • the coding unit 13a reverses the quantization direction in the first layer and the second layer.
  • the depth values D1 and D2 corresponding to the invalid region after quantization are set to equal values, that is, the depth value D1 and the depth value D2 are both set to 0.
  • the first layer depth map Dm1 and the second layer depth map Dm2 are combined into one image as shown in the upper figure of FIG. When lined up, there is a depth value gap at the border.
  • the first layer depth map Dm1 and the second layer depth map Dm2 are combined into one image.
  • the first layer depth map Dm1 and the second layer depth map Dm2 are arranged side by side in one image and encoded, the compression efficiency of the image can be improved.
  • the quantization method shown here is an example, and a quantization method other than the linear quantization shown in the equations (2) and (3) may be applied.
  • the inverse number quantization shown in the equation (4) may be applied. According to Eq. (4), the farther the distance is, the coarser the steps are quantized.
  • the color information packing unit 133 performs a process of arranging (packing) a plurality of color information texture data C input from the 3D model generation unit 12 on one image. By this process, the number of images transmitted to the decoding device 50a can be reduced.
  • the color information texture data C is an example of the texture information in the present disclosure.
  • the tiling processing unit 134a performs a process of combining the first layer depth map Dm1, the second layer depth map Dm2, and the color information texture data C packed by the color information packing unit 133 into one image.
  • the values (depth values D1 and D2) stored in the first layer depth map Dm1 and the second layer depth map Dm2 have a Y / Cb / Cr signal format (brightness signal and) in order to be arranged in the same image as the color information. It is converted into a color difference signal). That is, the depth values D1 and D2 are stored in the luminance value. Further, a constant value such as 128 representing gray is stored in the color difference, for example, in the case of an 8-bit image per pixel.
  • the tiling processing unit 134a outputs image arrangement information indicating at which position of the combined image the depth map and the color information texture data C are stored.
  • the image arrangement information includes, for example, an offset value indicating how much the original image has moved and arranged in one image, the values of the distances near and far used for the quantization of the depth map, and the projection point Q. Including position etc.
  • FIG. 9 is a diagram showing an example of an image generated by the tiling processing unit.
  • the tiling processing unit 134a combines the first layer depth map Dm1, the second layer depth map Dm2, and the color information texture data C into one tiling image T1.
  • the color information texture data C is an actual image of the subject 90 captured by a plurality of imaging devices 70 (see FIG. 2).
  • the image compression processing unit 135 compresses the images collected in one sheet by the tiling processing unit 134a using a general moving image codec. Specifically, a widely used codec such as AVC or HEVC is used.
  • the depth values D1 and D2 are 8 bits, the values are quantized from 0 to 255, but in HEVC or the like, a 10-bit value is used. Since it can be handled, the depth values D1 and D2 may be quantized with 10 bits (0 to 1023).
  • the bit stream generated by the image compression processing unit 135 and the image arrangement information generated by the tiling processing unit 134a are transmitted to the decoding device 50a via the transmission unit 14. That is, the transmission unit 14 associates the first distance d1 with the second distance d2 and transmits the first distance d1 to the decoding device 50a that reconstructs the three-dimensional shape of the subject 90.
  • FIG. 10 is a functional block diagram showing an example of the functional configuration of the decoding unit.
  • the decoding unit 16a includes an image expansion processing unit 161, a depth effective region determination unit 162, a triangle patch generation unit 163, and a color information texture cutout unit 164.
  • the straight line from the projection point Q to the subject 90 is the subject 90 based on the information transmitted from the coding device 40a, that is, the 3D shape of the surface of the subject 90.
  • a 3D model 90M of the subject 90 is generated. ..
  • the image decompression processing unit 161 decompresses the bit stream compressed by the image compression processing unit 135 into an image. Since the coding (encoding) and the decoding (decoding) are paired, for example, an AVC-encoded bit stream is decoded by the AVC decoding process.
  • the depth effective region determination unit 162 includes a first distance d1 stored in the first layer depth map Dm1 acquired by the first layer depth map generation unit 131 and a second layer acquired by the second layer depth map generation unit 132.
  • the area of the subject 90 is specified based on the magnitude relationship with the second distance d2 stored in the depth map Dm2. More specifically, the depth effective area determination unit 162 determines that the area on which the subject 90 is projected is an effective area, and determines that the area on which the subject 90 is not projected is an invalid area. In the area determined to be the effective area, the stored depth values D1 and D2 are used to restore the shape of the subject 90. On the other hand, the data in the area determined to be the invalid area is discarded without being used for rendering.
  • the depth effective region determination unit 162 is an example of the region determination unit in the present disclosure. The details of the processing performed by the depth effective region determination unit 162 will be described later.
  • the triangle patch generation unit 163 generates shape data, so-called mesh data, that can be used for rendering processing at the inside of the subject 90 and at the boundary between the subject 90 and the outside. Further, the triangle patch generation unit 163 has a front end of the subject 90 based on the first distance d1 stored in the first layer depth map Dm1 related to the projection point Q, and a second layer depth related to the projection point Q. A closed space is formed by connecting to the rear end of the subject 90 based on the second distance d2 stored in the map Dm2.
  • the triangle patch generation unit 163 is an example of the closed space generation unit in the present disclosure. The details of the processing performed by the triangle patch generation unit 163 will be described later.
  • the color information texture cutting unit 164 is based on the image information decoded by the image stretching processing unit 161 and the image arrangement information generated by the tying processing unit 134a, and the three-dimensional shape mesh data in the rendering unit 17a in the subsequent stage. Generates color information texture data C to be pasted on.
  • FIG. 11 is a diagram illustrating a method in which the depth effective domain determination unit reads a depth value from a depth map.
  • FIG. 12 is a diagram illustrating a method in which the depth effective region determination unit determines whether the depth value is valid or invalid.
  • the first layer depth map Dm1 and the second layer depth map Dm2 shown on the left side of FIG. 11 form a part (shoulder portion of the subject) of the first layer depth map Dm1 and the second layer depth map Dm2 shown on the right side. It is an enlarged version.
  • the white circle represents a point inside the subject, that is, a point in which a valid depth value D1 or depth value D2 is stored.
  • the black circle represents a point outside the subject, that is, a point in which an invalid depth value D1 or a depth value D2 is stored. That is, the first layer depth map Dm1 and the second layer depth map Dm2 shown on the left side of FIG. 11 should actually be represented by curved surfaces in which depth values are stored at each point, but the explanation is easy to understand. Therefore, it is drawn on a flat surface.
  • the reading points of the first layer depth map Dm1 and the second layer depth map Dm2 are arranged in a square grid as shown in FIG.
  • the grid spacing of the grid may be set freely. Further, the position of the reading point of the depth map does not necessarily have to match the pixel position of the depth map. If the readout point and the pixel position are different, the depth value interpolated by the interpolation filter is used.
  • the triangle patch generation unit 163 which will be described later, performs drawing processing in units of triangles connecting the three depth reading points, the smaller the grid spacing of the reading points, the larger the drawing processing amount. On the other hand, if the grid spacing of the reading points is set large, the drawing process becomes lighter, and it is possible to adjust the processing load of the decoding device 50a by utilizing this.
  • the depth values D1 and D2 read from the depth reading point are the effective areas, that is, the depth values D1 on the surface of the subject 90 are stored in the first layer in the area where the subject 90 is located. Then, the depth value D2 of the back surface of the subject 90 is stored in the second layer.
  • the invalid area that is, the area where the subject 90 does not exist
  • the effective region of the subject 90 is determined by relative comparison between the first layer and the second layer. As shown in the figure on the right, the effective regions of the first layer and the second layer completely coincide with each other.
  • FIG. 13 is a flowchart showing an example of the flow of processing performed by the depth effective region determination unit.
  • the depth effective area determination unit 162 sets the depth reading point (step S21).
  • the depth effective region determination unit 162 acquires the depth value D1 of the first layer from the depth map Dm1 of the first layer (step S22).
  • the depth effective region determination unit 162 acquires the depth value D2 of the second layer from the second layer depth map Dm2 (step S23).
  • the depth effective region determination unit 162 determines whether the depth value D1 of the first layer is equal to or less than the depth value D2 of the second layer (step S24). When it is determined that the depth value D1 of the first layer is equal to or less than the depth value D2 of the second layer (step S24: Yes), the process proceeds to step S25. On the other hand, if it is not determined that the depth value D1 of the first layer is equal to or less than the depth value D2 of the second layer (step S24: No), the process proceeds to step S26.
  • step S24 the depth effective area determination unit 162 determines that the depth read point is included in the area of the subject 90, and sets an effective flag for the depth read point (step S25). Then, the process proceeds to step S27.
  • step S24 the depth effective domain determination unit 162 determines that the depth readout point is not included in the area of the subject 90, and sets an invalid flag at the depth readout point (step S26). Then, the process proceeds to step S27.
  • the depth effective area determination unit 162 determines whether or not the entire depth surface has been processed (step S27). When it is determined that the entire depth surface has been processed (step S27: Yes), the depth effective region determination unit 162 ends the processing of FIG. On the other hand, if it is not determined that the entire depth surface has been processed (step S27: No), the process returns to step S21, and the series of processing described above is repeated for different depth reading points.
  • the valid flags may be set for all the depth read points, and when No is determined in step S24, the valid flags for the depth read points may be lowered.
  • FIG. 14 is a diagram illustrating a triangular patch set on the depth map.
  • FIG. 15 is a diagram illustrating the number of effective points of the triangular patch.
  • the depth values D1 and D2 read from the reading points on the square grid and their valid flags are input to the triangle patch generation unit 163 from the depth effective area determination unit 162.
  • the left figure of FIG. 14 shows an example of a state in which the depth read point and its valid flag are detected.
  • the triangle patch generation unit 163 generates a graph structure in which two right triangles are assigned to one square lattice.
  • the graph structure has a triangular shape in which three adjacent points are connected with the depth reading point as the apex.
  • the right figure of FIG. 14 is for one layer, and in reality, the same graph structure is generated for the first layer depth map Dm1 and the second layer depth map Dm2.
  • the triangle patch generation unit 163 performs the subsequent processing in units of the triangle patch generated in this way. Then, the triangle patch generation unit 163 delivers the triangle group (mesh data) subjected to the coordinate conversion processing based on the triangle patch to the rendering unit 17a in the subsequent stage.
  • the triangle patch generation unit 163 counts the number of effective points N for each triangle patch.
  • the effective score N is a value indicating how many of the three vertices of the triangular patch of interest belong to the inside of the subject 90.
  • the effective score N is an evaluation scale indicating whether or not the triangular patch of interest belongs to the inside of the subject 90.
  • the effective score N takes any value of 0, 1, 2, or 3.
  • the triangle patch generation unit 163 deletes the triangle patch as shown in the right figure of FIG. Then, the graph structure connecting the three vertices of the corresponding triangle is deleted.
  • N 2,3
  • the triangle patch generation unit 163 leaves the triangle patch without deleting it.
  • FIG. 16 is a diagram illustrating a vertex coordinate change process.
  • the upper left of FIG. 16 shows a state in which the first layer depth map Dm1 and the second layer depth map Dm2 are arranged in close proximity to each other.
  • the vertices of the triangular patch of the first layer depth map Dm1 are A1, B1, and C1.
  • the vertices of the triangular patch of the second layer depth map Dm2 are A2, B2, and C2.
  • the triangle patch generation unit 163 performs vertex change processing on invalid vertices A1 and A2 belonging to the outside of the subject 90.
  • the triangle patch generation unit 163 substitutes the value of the valid vertex B2 (depth value D2) of the opposite depth map into the invalid vertex A1. That is, the apex A1 is regarded as if it is at the position of the apex B2. Further, the triangle patch generation unit 163 substitutes the value of the valid vertex C1 (depth value D1) of the opposite depth map into the invalid vertex A2. That is, the apex A2 is regarded as if it is at the position of the apex C1.
  • the quadrangles B1-C1-C2-B2 are connected by two triangular patches by alternately substituting the values (depth values) of the valid vertices of the opposite depth map into the invalid vertices. ..
  • the separated sides B1-C1 and the sides B2-C2 are connected to each other without a gap on the surface. That is, the boundary line between the front surface and the back surface of the subject 90 as seen from the projection point is seamlessly connected to form a closed solid (closed space).
  • the same effect can be obtained by substituting the depth value D2 of the vertex C2 for the vertex A1 and substituting the depth value D1 of the vertex B1 for the vertex A2.
  • the depth value D1 of the first layer is substantially equal and the depth value D2 of the second layer is substantially equal, but in reality, the depth of the first layer is described.
  • the three-dimensional coordinates of each vertex are calculated by the inverse transformation of equation (1), and by arranging them in the three-dimensional space, they are sandwiched between the depth planes of the two layers. , A closed three-dimensional shape representing the subject 90 is reproduced.
  • FIG. 17 is a schematic diagram showing how the three-dimensional shape mesh data of the subject is generated. As shown in FIG. 17, three-dimensional shape mesh data is obtained in which a region facing the projection point Q of the subject 90 and a region on the back side of the projection point Q of the subject 90 are seamlessly connected.
  • FIG. 18 is a flowchart showing an example of the flow of the mesh data generation process performed by the triangle patch generation unit.
  • the triangle patch generation unit 163 counts the number of effective points N for the triangle patch generated as shown in the right figure of FIG. 14 (step S31).
  • the triangle patch generation unit 163 determines whether the number of effective points N counted in step S31 is 2 or more (step S32). When it is determined that the number of effective points N is 2 or more, that is, the number of effective points N is 2 or 3 (step S32: Yes), the process proceeds to step S33. On the other hand, if it is not determined that the effective score N is 2 or more (step S32: No), that is, if it is determined that the effective score N is 0 or 1, the process proceeds to step S34.
  • step S32 the triangle patch generation unit 163 calculates the three-dimensional coordinates of the vertices determined to be valid (step S33). Then, the process proceeds to step S35.
  • step S32 the triangle patch generation unit 163 does not generate a triangle mesh in the triangle patch of interest (step S34). Then, the triangle patch of interest is erased so that rendering is not performed. Then, the process proceeds to step S38.
  • step S35 the triangle patch generation unit 163 determines whether the effective score N is 3 for the triangle patch of interest (step S35). When it is determined that the number of effective points N is 3 (step S35: Yes), the process proceeds to step S37. On the other hand, if it is not determined that the effective score N is 3 (step S35: No), that is, if it is determined that the effective score N is 2, the process proceeds to step S36.
  • step S35 the triangle patch generation unit 163 performs the above-mentioned vertex coordinate change process (see FIG. 16) (step S36).
  • step S37 the triangle patch generation unit 163 generates a triangle mesh for the triangle patch of interest (step S37).
  • the triangle patch generation unit 163 determines whether all the triangle patches have been processed (step S38). When it is determined that all the triangle patches have been processed (step S38: Yes), the triangle patch generation unit 163 ends the process of FIG. On the other hand, if it is not determined that all the triangle patches have been processed (step S38: No), the process returns to step S31 and the above-mentioned series of processes is repeated for different triangle patches.
  • FIG. 19 is a functional block diagram showing an example of the functional configuration of the rendering unit.
  • the rendering unit 17a includes a depth map generation unit 171, a visibility confirmation unit 172, and a drawing unit 173.
  • the depth map generation unit 171 generates a depth map in which the three-dimensional shape mesh data of the subject 90 generated by the triangle patch generation unit 163 is viewed from the same projection point Q as the color information texture data C. That is, the depth map generation unit 171 generates a plurality of depth maps corresponding to the plurality of color information texture data Cs.
  • the visibility confirmation unit 172 compares the depth map generated by the depth map generation unit 171 with the three-dimensional coordinates of the three-dimensional shape mesh data, so that the three-dimensional shape mesh data of interest can be seen from the projection point Q. Perform a Visibility Check to determine whether or not. By this determination, it is determined that a plurality of objects overlap and the mesh cannot be seen from the projection point Q. The Visibility Check will be described in detail later (see FIG. 22).
  • the drawing unit 173 draws the three-dimensional shape of the mesh determined by the visibility confirmation unit 172 to be visible (visible). Further, the drawing unit 173 attaches the corresponding color information texture data C to the drawn mesh. As a result, it is possible to generate an image in which the subject 90 is observed from an arbitrary projection point Q.
  • the first embodiment can be transformed into various forms and executed.
  • the first layer depth map Dm1, the second layer depth map Dm2, and the color information texture data C do not have to be one image. That is, the first layer depth map Dm1 and the second layer depth map Dm2 may be used as one image, and the color information texture data C may be used as another image. Further, the first layer depth map Dm1, the second layer depth map Dm2, and the color information texture data C may be made into one image each (in this case, it is not necessary to perform the tiling process).
  • all the color information texture data C may be used as separate images (in this case, neither packing processing nor tiling processing needs to be performed).
  • the number of images transmitted by the transmission unit 14 becomes a plurality of images, the number of image channels of the bitstream increases accordingly.
  • a general multi-channel stream distribution mechanism synchronization between the channels is achieved. Can be done.
  • the transmission unit 14 may transmit the tiling image T1 and the voice information at the same time.
  • the tiling image T1 may be still image data or moving image data.
  • the image compression processing unit 135 performs a still image compression process such as JPEG.
  • the image compression processing unit 135 performs moving image compression processing such as MPEG2, AVC, HEVC, VVC, and AV1.
  • the tiling image T1 to be transmitted does not have to be compressed or decompressed.
  • the image compression processing unit 135 see FIG. 5
  • the image decompression processing unit 161 see FIG. 10.
  • bit lengths of the depth values D1 and D2 stored in the first layer depth map Dm1 and the second layer depth map Dm2 do not matter. That is, in addition to the 8-bit described in the embodiment, it may be 10 bits, 12 bits, or the like. The larger the bit lengths of the depth values D1 and D2, the finer the depth of the subject 90 can be expressed.
  • the tiling image T1 may be stored as stored data in the storage unit without transmission via the transmitting unit 14 and the receiving unit 15, and the stored data may be read from the storage unit and reproduced.
  • the data acquisition unit 11 to the transmission unit 14 do not have to operate in real-time processing. That is, the tiling image T1 to be transmitted may be temporarily stored in a storage unit or the like, the stored data may be read out, and the tiling image T1 may be transmitted to the decoding device 50a.
  • the data acquisition unit 11 to the transmission unit 14 are operated by real-time processing, it can be used for real-time communication such as live streaming.
  • the first layer depth map generation unit 131 projects based on the 3D shape of the surface of the subject 90.
  • the first distance d1 between the first point P1 and the projection point Q where the straight line from the point Q to the subject 90 comes into contact with the subject 90 is acquired.
  • the second layer depth map generation unit 132 distance acquisition unit
  • a straight line entering the inside of the subject 90 from the first point P1 starting from the projection point Q is formed based on the 3D shape of the surface of the subject 90.
  • the second distance d2 between the second point P2 penetrating the outside from the subject 90 and the projection point Q is acquired.
  • the first layer depth map generation unit 131 (distance acquisition unit) is the first when the first point P1 does not exist.
  • the distance far (first distance value) is acquired as the distance d1.
  • the second layer depth map generation unit 132 (distance acquisition unit) sets the second distance d2 as a distance near (second distance value) smaller than the distance far. To get.
  • the first layer depth map generation unit 131 (distance acquisition unit) and the second layer depth map generation unit 132 (distance acquisition unit) are The distance far (first distance value) and the distance near (second distance value) are set to equal values.
  • first layer depth map Dm1 generated by the first layer depth map generation unit 131 and the second layer depth map Dm2 generated by the second layer depth map generation unit 132 are arranged side by side, they are placed on the boundary line. There is no depth value gap. Therefore, when the first layer depth map Dm1 and the second layer depth map Dm2 are arranged side by side in one image and encoded, the compression efficiency of the image can be improved.
  • the transmission unit 14 has the first distance d1 acquired by the first layer depth map generation unit 131 and the second layer depth map generation unit 132. In association with the second distance d2 acquired by the subject 90, the information is transmitted to the decoding device 50a that reconstructs the three-dimensional shape of the subject 90.
  • the coordinates on the front side and the coordinates on the back side of the subject can be associated and transmitted, so that the information transmission efficiency can be improved.
  • the decoding device 50a (information processing device) of the first embodiment
  • the first distance d1 acquired by the first layer depth map generation unit 131 and the second distance d1 acquired by the second layer depth map generation unit 132 are obtained.
  • the distance d2 is acquired, and the region of the subject 90 is specified based on the magnitude relationship between the first distance d1 and the second distance d2.
  • the existence range of the subject 90 can be specified only by a simple comparison calculation.
  • the triangle patch generation unit 163 projects the subject 90 based on the plurality of first distances d1 related to the projection point Q.
  • the front end as seen from the point Q and the back end as seen from the projection Q of the subject 90 based on the plurality of second distances d2 related to the projection point Q are connected.
  • the triangular patch generation unit 163 (closed space generation unit) is the first of three points (vertices A1, B1, C1) adjacent to each other in a triangular shape.
  • the first distance d1 of two points (vertices B1 and C1) represents the front surface of the subject 90
  • the first distance d1 of the remaining one point (vertex A1) does not represent the front surface of the subject 90.
  • the remaining one point (vertex A1) is one of the two points (vertices B2, C2) representing the back surface of the subject 90 among the second distance d2 corresponding to the three points (vertices A1, B1, C1).
  • one point (vertex A2) that does not represent the back surface of the subject 90 is assigned to the subject 90.
  • the remaining one point (vertex A1) is assigned to the opposite side (when the remaining one point is substituted to the vertex B2, the remaining one point is the vertex C2 and the remaining one point). Is assigned to vertex C2, it is assigned to vertex B2).
  • the front surface and the back surface of the subject 90 can be connected without a gap by a simple calculation process.
  • the information processing system 10b (not shown) of the second embodiment is a coding device 40b (not shown) instead of the coding device 40a with respect to the information processing system 10b (see FIG. 1) described in the first embodiment. (Shown). Further, a decoding device 50b (not shown) is provided instead of the decoding device 50a.
  • the coding device 40b includes a coding unit 13b and a transmission unit 14 (not shown). Further, the decoding device 50b includes a receiving unit 15 and a decoding unit 16b (see FIG. 20). Further, the decoding device 50b includes a rendering unit 17b (see FIG. 20) instead of the rendering unit 17a.
  • the coding unit 13b generates a plurality of first layer depth maps D acquired from the same projection point Q in which the respective color information texture data Cs are acquired for the plurality of color information texture data Cs.
  • the coding unit 13b includes a tiling processing unit 134b (not shown) in place of the tiling processing unit 134a in the coding unit 13a shown in FIG.
  • FIG. 20 is a diagram showing an example of an image to be coded generated by the tiling processing unit in the second embodiment.
  • the tiling image T2 shown in FIG. 20 is a plurality of first tiling images T1 (see FIG. 9) described in the first embodiment, each of which has a one-to-one correspondence with a plurality of color information texture data Cs.
  • the difference is that it includes the layer depth map D. That is, the tiling processing unit 134b sees the subject 90 from the plurality of projection points Q and the color information texture data C, and the first layer viewed from the same plurality of projection points Q from which the color information texture data C is acquired.
  • a tiling image T2 associated with the depth map D is generated. As shown in FIG.
  • the first layer depth map Dm1 described in the first embodiment is included in the plurality of first layer depth maps D arranged in the tiling image T2.
  • the tiling image T2 also includes the second layer depth map Dm2 described in the first embodiment.
  • the tiling processing unit 134b is an example of the color / distance acquisition unit in the present disclosure.
  • the plurality of first layer depth maps D included in the tiling image T2 are used for the visibility confirmation process (see FIG. 22) described later when the decoding unit 16b reconstructs the three-dimensional shape of the subject 90.
  • FIG. 21 is a functional block diagram showing an example of the functional configuration of the decoding unit and the rendering unit of the second embodiment.
  • the decoding unit 16b has a configuration in which a depth map cutting unit 165 is added to the decoding unit 16a (see FIG. 10) described in the first embodiment.
  • the depth map cutting unit 165 cuts out the region of the subject 90 from the plurality of color information texture data Cs based on the first layer depth map D corresponding to each color information texture data C. More specifically, when a valid depth value is stored in the first layer depth map D, the color information texture data C corresponding to the coordinates in which the depth value is stored is the area of the subject 90. Judge and cut out.
  • the rendering unit 17b has a configuration in which the depth map generation unit 171 is excluded from the rendering unit 17a (see FIG. 19) described in the first embodiment.
  • the information processing system 10b uses the decoding unit 16b to generate a depth map that was performed by the rendering unit 17a in order for the information processing system 10a to perform the visibility check process (Visibility Cheek). Further, the decoding unit 16b does not actually create the depth map, but only acquires the plurality of first layer depth maps D generated by the coding unit 13b. Then, the depth map cutting unit 165 of the decoding unit 16b cuts out the color information texture data C corresponding to the region of the subject 90 by using the first layer depth map D.
  • FIG. 22 is a diagram illustrating a process of confirming visibility.
  • the color information texture data C recorded on the projection surface R (u, v) is the surface closest to the projection point Q, and the inner surface shielded by the surface is from the projection point Q. It is invisible.
  • the point Pa (an example of the first point) of the subject 90 is visualized from the projection point Qa, and the depth value (first distance) of the point Pa is recorded on the projection surface Ra. NS.
  • the point Pa is observed from different projection points Qb, the point Pa cannot be visualized because it is shielded by the point Pb on the front side. Then, the depth value of the point Pb (a distance different from the first distance) is stored in the projection surface Rb.
  • the visibility confirmation unit 172 sets the three-dimensional position of the point Pa corresponding to the depth value seen from the projection point Qa and the depth value corresponding to the direction of the point Pa seen from the projection point Qb different from the projection point Qa.
  • the corresponding three-dimensional positions do not match, it is determined that the point Pa seen from the projection point Qa cannot be seen from the projection point Qb different from the projection point Qa.
  • the drawing unit 173 when drawing the image of the subject 90 viewed from the projection point Qb, the drawing unit 173 does not use the color information texture data C of the point Pb, but visualizes the point Pa that is close to the projection point Qb.
  • the color information texture data C projected on the projection point determined to be is used. Further, the color information texture data C projected on a plurality of projection points where the point Pa is visualized, which is close to the projection point Qb, may be mixed and used.
  • the tyling processing unit 134b (color / distance acquisition unit) provides color information when the subject 90 is viewed from a plurality of projection points Q.
  • the texture data C (texture information) is acquired in association with the first distance d1 seen from the same plurality of projection points Q from which the color information texture data C was acquired.
  • one of the first layer depth maps D can be used as the first layer depth map Dm1 paired with the second layer depth map Dm2, so that the amount of data transmitted by the transmission unit 14 can be reduced. Can be done.
  • the visibility confirmation unit 172 is viewed from the projection point Qa based on the information acquired by the tyling processing unit 134b (color / distance acquisition unit).
  • the three-dimensional position of the point Pa corresponding to the first distance d1 and the three-dimensional position corresponding to the first distance d1 corresponding to the direction of the point Pa seen from the projection point Qb different from the projection point Qa match. If not, it is determined that the point Pa seen from the projection point Qa cannot be seen from the projection point Qb.
  • the visibility check can be performed by a simple process using the tiling image T2.
  • the configuration (hardware configuration, functional configuration) of the information processing system 10b of the third embodiment is the same as that of the information processing system 10b (encoding device 40b, decoding device 50b) described in the second embodiment. Therefore, the description is omitted.
  • FIG. 23 is a diagram illustrating the operation of the information processing system of the third embodiment.
  • the 3D model generation unit 12 decomposes the subject 90 into a plurality of objects. Then, the first layer depth map generation unit 131 and the second layer depth map generation unit 132 have the first layer depth map Dm1 and the second layer viewed from the same projection point Q, respectively, for each decomposed object. Generate a layer depth map Dm2. That is, the first layer depth map generation unit 131 and the second layer depth map generation unit 132 have the first distance d1 and the second distance d1 and the second distance as seen from the same projection point Q with respect to each object in which the subject 90 is decomposed. Get d2 and. As described in the first embodiment, when the straight line from the projection point Q to the subject 90 penetrates the subject 90 a plurality of times, each time the straight line penetrates the subject 90, the first point P1 And a second point P2 pair is generated.
  • the 3D model generation unit 12 decomposes the subject 90 to be modeled into an arrow-shaped first object and a rectangular-shaped second object. Then, the first layer depth map generation unit 131 and the second layer depth map generation unit 132 provide the first layer depth map Dm1 and the second layer depth map Dm2 as seen from the projection point Q with respect to the first object. Generate.
  • the information processing system 10b needs to reconstruct the image of the subject 90 viewed from the projection point Q (View Dependent drawing), the first layer depth map Dm1 views the entire subject 90 from the projection point Q. Depth map.
  • the first layer depth map generation unit 131 generates the first layer depth map Dm1 in which the depth value of the dotted line shown in FIG. 23 is stored for the subject 90. Then, the second layer depth map generation unit 132 stores the depth value of the thick line representing the depth value on the back surface side of the first object in the shape of an arrow with respect to the first object in the shape of an arrow. To generate.
  • the first layer depth map Dm1 and the second layer depth map Dm2 are used as a pair for reconstructing the subject 90.
  • the first layer depth map generation unit 131 generates the first layer depth map Dm1 when the rectangular second object is viewed from the projection point Q.
  • the first layer depth map Dm1 generated here is referred to as a third layer depth map in order to distinguish it from the first layer depth map Dm1 described above.
  • the second layer depth map generation unit 132 generates the second layer depth map Dm2 when the second object is viewed from the projection point Q.
  • the second layer depth map Dm2 generated here is referred to as a fourth layer depth map in order to distinguish it from the above-mentioned second layer depth map Dm2.
  • the third layer depth map and the fourth layer depth map generated in this way are used as a pair for the reconstruction of the subject 90.
  • the rendering unit 17b renders each object by the method described above using a pair of depth maps for each object obtained by decomposing the subject 90. Then, when each rendered object is observed from the projection point, the surface of the subject 90 is reconstructed without interruption by synthesizing the objects so that the closest point is the surface of the subject 90.
  • the subject 90 may be decomposed into more objects and the same processing as described above may be repeated to generate more depth map pairs.
  • the first layer depth map generation unit 131 and the second layer depth map generation unit 132 (distance acquisition unit) have the same projection point. From Q, the first distance d1 and the second distance d2 are acquired for each object obtained by decomposing the subject 90. Then, the image of the subject 90 is reconstructed by synthesizing the reconstructed objects based on the first distance d1 and the second distance d2.
  • the information processing system 10b of the fourth embodiment decomposes the subject 90 into a plurality of objects, and for each of the decomposed objects, the first from a plurality of projection points. By generating the 1st layer depth map Dm1 and the 2nd layer depth map Dm2, the surface of the subject 90 is continuously converted into data.
  • the configuration (hardware configuration, functional configuration) of the information processing system 10b of the fourth embodiment is the same as that of the information processing system 10b (encoding device 40b, decoding device 50b) described in the second embodiment. Therefore, the description is omitted.
  • FIG. 24 is a diagram illustrating the operation of the information processing system of the fourth embodiment.
  • the 3D model generation unit 12 decomposes the subject 90 into a plurality of objects. Then, the first layer depth map generation unit 131 and the second layer depth map generation unit 132 have the first layer depth map Dm1 as seen from different projection points Q1, Q2, ... For each decomposed object.
  • the second layer depth map Dm2 is generated. That is, the first distance d1 and the second distance d2 seen from different projection points Q1, Q2, ... Are acquired for each object in which the subject 90 is decomposed.
  • the first point P1 And a second point P2 pair is generated.
  • the 3D model generation unit 12 decomposes the subject 90 to be modeled into an arrow-shaped first object and a rectangular-shaped second object. Then, the first layer depth map generation unit 131 and the second layer depth map generation unit 132 provide the first layer depth map Dm1 and the second layer depth map Dm2 as seen from the projection point Q1 with respect to the first object. Generate. Further, the first layer depth map generation unit 131 and the second layer depth map generation unit 132 provide the first layer depth map Dm1 and the second layer depth map Dm2 as seen from the projection point Q2 with respect to the first object. Generate.
  • the information processing system 10b needs to reconstruct the image of the subject 90 seen from each projection point Q1 and Q2 (View Dependent drawing), the first layer depth map Dm1 is from each projection point Q1 and Q2. Let the depth map look at the entire subject 90.
  • the first layer depth map generation unit 131 generates the first layer depth map Dm1 in which the entire subject 90 is viewed from the projection point Q1. As a result, the first layer depth map Dm1 in which the depth value of the dotted line shown in FIG. 24 is stored is generated. Then, the second layer depth map generation unit 132 generates the second layer depth map Dm2 in which the depth value of the thick line representing the depth value on the back surface side of the arrow-shaped first object is stored. The first layer depth map Dm1 and the second layer depth map Dm2 are used as a pair for reconstructing the subject 90.
  • the first layer depth map generation unit 131 generates the first layer depth map Dm1 in which the entire subject 90 is viewed from the projection point Q2. As a result, the first layer depth map Dm1 in which the depth value of the dotted line shown in FIG. 24 is stored is generated. Then, the second layer depth map generation unit 132 generates the second layer depth map Dm2 in which the depth value of the thick line representing the depth value on the back surface side of the rectangular second object is stored. The first layer depth map Dm1 and the second layer depth map Dm2 are used as a pair for reconstructing the subject 90.
  • the first layer depth map generation unit 131 and the second layer depth map generation unit 132 have different projection points. From Q1 and Q2, the first distance d1 and the second distance d2 are acquired for each object obtained by decomposing the subject 90, respectively. Then, the image of the subject 90 is reconstructed by synthesizing the reconstructed objects based on the first distance d1 and the second distance d2.
  • the video content may be produced by synthesizing the 3D model 90M of the subject 90 generated by the 3D model generation unit 12 and the 3D model managed by another server.
  • the subject 90 looks as if the background data. You can create content that looks like you are in the location indicated by.
  • the subject 90 generated by the 3D model generation unit 12 can be arranged in a virtual space where the user acts as an avatar and communicates.
  • the user can act as an avatar and view the live-action subject 90 in the virtual space.
  • a user in the remote location can transmit the 3D model 90M of the subject 90 to a remote location through a playback device in the remote location. You can watch it.
  • the subject 90 and a user in a remote place can communicate in real time.
  • the subject 90 is a teacher and the user is a student, or the subject 90 is a doctor and the user is a patient.
  • the present disclosure has been described above using some embodiments, these embodiments may be executed in any device.
  • the device may have the necessary functional blocks so that the necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • one device may execute the plurality of processes, or a plurality of devices may share and execute the plurality of processes.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • a computer-executed program may allow the processing of the steps of writing the program to be executed in chronological order in the order described herein, in parallel, or in calls. It may be executed individually at a required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step of writing the program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present techniques can be applied and implemented.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present disclosure can have the following structure.
  • a distance acquisition unit for acquiring a second point at which a straight line entering the subject penetrates the outside from the subject and a second distance between the projection point is provided.
  • Information processing device. (2) The distance acquisition unit When the first point does not exist, a predetermined first distance value is acquired as the first distance, and the distance is obtained. When the second point does not exist, a predetermined second distance value smaller than the first distance value is acquired as the second distance.
  • the information processing device according to (1) above.
  • the distance acquisition unit further includes a transmission unit that associates the first distance acquired by the distance acquisition unit with the second distance and transmits the transmission to a decoding device that reconstructs the three-dimensional shape of the subject.
  • the information processing device according to any one of (1) to (3).
  • a color / distance acquisition unit that acquires the texture information of the subject viewed from a plurality of projection points in association with the first distance viewed from the same plurality of projection points from which the texture information was acquired.
  • the information processing device according to any one of (1) to (4).
  • the distance acquisition unit acquires the first distance and the second distance from the same projection point with respect to each object obtained by decomposing the subject.
  • the information processing device according to any one of (1) to (5) above.
  • the distance acquisition unit acquires the first distance and the second distance from different projection points for each object obtained by decomposing the subject.
  • the information processing device according to any one of (1) to (5) above.
  • (8) When the first distance between the first point where the straight line from the projection point to the subject comes into contact with the subject and the projection point, or the first point does not exist, based on the 3D shape of the surface of the subject.
  • a predetermined first distance value As the second distance, a predetermined second distance value smaller than the first distance value is acquired.
  • a region determination unit for specifying a region of the subject based on the magnitude relationship between the first distance and the second distance is provided.
  • Information processing device (9) The subject's front end as seen from the projection point, based on the plurality of first distances relating to the projection point, and the subject's subject based on the plurality of second distances relating to the projection point. It further includes a closed space generator that connects to the rear end as seen from the projection point.
  • the information processing device according to (8) above.
  • a color / distance acquisition unit that acquires the texture information of the subject viewed from a plurality of projection points in association with the first distance viewed from the same plurality of projection points from which the texture information was acquired.
  • the three-dimensional position of the first point corresponding to the first distance seen from the projection point and the projection point different from the projection point is visible from a projection point different from the projection point. It further includes a visibility confirmation unit that determines that there is no such thing.
  • the information processing device according to (8) above. (12) Based on the 3D shape of the surface of the subject, the first distance between the first point where the straight line from the projection point to the subject comes into contact with the subject and the projection point, and the inside of the subject from the first point.
  • the position of the projection point, the first distance, and the first Generate a 3D model of the subject by associating it with a distance of 2. How to generate a 3D model.
  • (13) Computer, Based on the 3D shape of the surface of the subject, the first distance between the first point where the straight line from the projection point to the subject comes into contact with the subject and the projection point, and the inside of the subject from the first point.
  • a distance acquisition unit that acquires a second point at which the straight line that has entered the subject penetrates the outside from the subject and a second distance between the projection point.
  • a program that functions as.
  • 10a, 10b Information processing system, 11 ... Data acquisition unit, 12 ... 3D model generation unit, 13a, 13b ... Encoding unit, 14 ... Transmission unit, 15 ... Receiver unit, 16a, 16b ... Decoding unit, 17a, 17b ... Rendering unit, 18 ... Display unit, 40a, 40b ... Coding device (information processing device), 50a, 50b ... Decoding device (information processing device), 70 (70a, 70b, 70c, 70d, 70e) ... Imaging device, 90 ... Subject, 90M ... 3D model, 131 ... 1st layer depth map generation unit (distance acquisition unit), 132 ... 2nd layer depth map generation unit (distance acquisition unit) 133 ...
  • Color information packing unit 134a, 134b ... Thailand Ring processing unit (color / distance acquisition unit), 135 ... image compression processing unit, 161 ... image expansion processing unit, 162 ... depth effective area determination unit (area determination unit), 163 ... triangle patch generation unit (closed space generation unit) 164 ... Color information texture cutout part, 165 ... Depth map cutout part, 171 ... Depth map generation part, 172 ... Visibility confirmation part, 173 ... Drawing part, C ... Color information texture data (texture information), D1, D2 ... Quantized depth value (depth value), Dm1, D ... 1st layer depth map, Dm2 ... 2nd layer depth map, d1 ... 1st distance, d2 ...
  • N effective points
  • P1 ... 1st Point P2 ... Second point
  • Q, Q1, Q2, Qa, Qb ... Projection point R, Ra, Rb ... Projection surface, T1, T2 ... Tiling image, far ... Distance (first distance value) , Near ... Distance (second distance value)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

符号化装置（４０ａ）（情報処理装置）の第１層デプスマップ生成部（１３１）（距離取得部）は、被写体（９０）の表面の３Ｄ形状に基づいて、投影点（Ｑ）から被写体（９０）に至る直線が被写体（９０）と接触する第１の点（Ｐ１）と投影点（Ｑ）との第１の距離（ｄ１）を取得する。また、第２層デプスマップ生成部（１３２）（距離取得部）は、被写体（９０）の表面の３Ｄ形状に基づいて、第１の点（Ｐ１）から被写体（９０）の内部に進入した直線が被写体（９０）から外部に貫通する第２の点（Ｐ２）と投影点（Ｑ）との第２の距離（ｄ２）を取得する。

Description

情報処理装置、３Ｄモデル生成方法およびプログラム
　本開示は、情報処理装置、３Ｄモデル生成方法およびプログラムに関する。
　従来、現実の３Ｄ空間をセンシングした情報、例えば異なる視点から被写体を撮像した多視点映像を用いて、視聴空間内に３Ｄオブジェクトを生成し、そのオブジェクトが視聴空間内に存在しているかのように見える映像（ボリュメトリック映像）を生成する方法が提案されている。
　ボリュメトリック映像を生成するためには、３次元空間の座標情報が必要であり、例えば特許文献１では、カメラから被写体の表面までの距離を表すデプスマップに基づいて、被写体の３Ｄ形状を求めていた。
国際公開第２０１８／０７４２５２号
　しかしながら、特許文献１では、被写体のカメラに面する面、即ち被写体の表面側の３Ｄ形状を得ることしかできなかった。そのため、被写体の裏面側の３Ｄ形状は、被写体を裏面側から見たデプスマップに基づいて３Ｄ形状を求める必要があった。
　そのため、被写体の正確な形状を生成するのが困難であるという問題があった。
　本開示では、被写体の正確な形状を生成することができる情報処理装置、３Ｄモデル生成方法およびプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部を備える情報処理装置である。
第１の実施形態の情報処理システムの概略構成を示すブロック図である。 撮像装置の一例を示す図である。 情報処理システムが行う処理の流れの一例を示すフローチャートである。 情報処理システムのハードウエア構成の一例を示すハードウエアブロック図である。 符号化部の機能構成の一例を示す機能ブロック図である。 デプスマップの生成方法を説明する図である。 第１層デプスマップと第２層デプスマップの量子化デプス値について説明する図である。 第１層デプスマップと第２層デプスマップの一例を示す図である。 タイリング処理部が生成する画像の一例を示す図である。 復号部の機能構成の一例を示す機能ブロック図である。 デプス有効領域判定部が、デプスマップからデプス値を読み出す方法を説明する図である。 デプス有効領域判定部が、デプス値の有効無効を判定する方法を説明する図である。 デプス有効領域判定部が行う処理の流れの一例を示すフローチャートである。 デプスマップ上に設定される三角形パッチを説明する図である。 三角形パッチの有効点数を説明する図である。 頂点座標変更処理を説明する図である。 被写体の３次元形状メッシュデータが生成される様子を示す模式図である。 三角形パッチ生成部が行うメッシュデータ生成処理の流れの一例を示すフローチャートである。 レンダリング部の機能構成の一例を示す機能ブロック図である。 第２の実施形態において、タイリング処理部が生成する、符号化の対象となる画像の一例を示す図である。 第２の実施形態の復号部およびレンダリング部の機能構成の一例を示す機能ブロック図である。 可視性を確認する処理を説明する図である。 第３の実施形態の情報処理システムの作用を説明する図である。 第４の実施形態の情報処理システムの作用を説明する図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１－１．情報処理システムの機能構成
　　　１－２．情報処理システムが行う処理の流れ
　　　１－３．情報処理システムのハードウエア構成
　　　１－４．符号化部の詳細構成
　　　１－５．復号部の詳細構成
　　　１－６．デプス有効判定処理
　　　１－７．メッシュデータ生成処理
　　　１－８．レンダリング部の詳細構成
　　　１－９．第１の実施形態の変形例
　　　１－１０．第１の実施形態の効果
　　２．第２の実施形態
　　　２－１．タイリング画像の構成
　　　２－２．可視性確認処理
　　　２－３．第２の実施形態の効果
　　３．第３の実施形態
　　　３－１．第３の実施形態の作用
　　　３－２．第３の実施形態の効果
　　４．第４の実施形態
　　　４－１．第４の実施形態の作用
　　　４－２．第４の実施形態の効果
　　５．本開示の応用例
　　　５－１．コンテンツの制作
　　　５－２．仮想空間での体験
　　　５－３．遠隔地とのコミュニケーションへの応用
　　　５－４．その他
（１．第１の実施形態）
［１－１．情報処理システムの構成］
　まず、図１を用いて、本開示を適用した情報処理システム１０ａの概要を説明する。図１は、第１の実施形態の情報処理システムの概略構成を示すブロック図である。
　図１に示すように、情報処理システム１０ａは、データ取得部１１と、３Ｄモデル生成部１２と、符号化部１３ａと、送信部１４と、受信部１５と、復号部１６ａと、レンダリング部１７ａと、表示部１８とを備える。
　データ取得部１１は、撮像対象物体である被写体９０の３Ｄモデル９０Ｍを生成するための画像データを取得する。例えば、図２に示すように被写体９０を取り囲むように配置された複数の撮像装置７０（７０ａ，７０ｂ，…）によって撮像された複数の視点画像を画像データとして取得する。この場合、複数の視点画像は、複数のカメラが同期して撮像した画像であるのが好ましい。また、データ取得部１１は、例えば、１台のカメラを移動して複数の視点から被写体を撮像した画像データとして取得してもよい。なお、データ取得部１１は、画像データに基づいてキャリブレーションを行い、各撮像装置の内部パラメータ及び外部パラメータを取得してもよい。また、データ取得部１１は、例えば、複数箇所の視点から被写体９０までの距離を示す複数のデプス情報を取得してもよい。
　３Ｄモデル生成部１２は、被写体９０の３Ｄモデル９０Ｍを生成するための画像データに基づいて被写体の３次元情報を有するモデルを生成する。３Ｄモデル生成部１２は、例えば、所謂Visual　Hullを用いて、複数の視点からの画像（例えば、複数の視点からのシルエット画像）を用いて被写体の３次元形状を削ることによって被写体の３Ｄモデルを生成する。この場合、３Ｄモデル生成部１２は更に、Visual　Hullを用いて生成した３Ｄモデル９０Ｍを複数箇所の視点から被写体までの距離を示す複数のデプス情報を用いて高精度に変形させることができる。また、３Ｄモデル生成部１２は、被写体９０の１枚の撮像画像から被写体９０の３Ｄモデル９０Ｍを生成してもよい。
　３Ｄモデル生成部１２が生成する３Ｄモデル９０Ｍは、時系列のフレーム単位で生成することで３Ｄモデルの動画と言うこともできる。また、３Ｄモデル９０Ｍは、撮像装置で撮像された画像を用いて生成されるため実写の３Ｄモデルとも言うことができる。３Ｄモデルは、被写体９０の表面形状を表す形状情報を、例えば、ポリゴンメッシュと呼ばれる、頂点（Vertex）と頂点との繋がりで表現した３次元形状メッシュデータの形式で表現することができる。３次元形状メッシュデータは、例えば、メッシュの頂点の３次元座標と、どの頂点を組み合わせて三角形メッシュを形成するかを示すインデックス情報とを有する。なお、３Ｄモデルの表現の方法はこれらに限定されるものではなく、点の位置情報で表現される所謂ポイントクラウドの表現方法で記述されてもよい。これらの３Ｄ形状データに紐づけられる形で、色情報データもテクスチャとして生成される。どの方向から見ても一定の色となるView　Independentテクスチャの場合と、視聴する方向によって色が変化するView　Dependentテクスチャの場合が考えらえる。
　符号化部１３ａは、３Ｄモデル生成部１２で生成された３Ｄモデル９０Ｍのデータを伝送・蓄積に適したフォーマットに変換する。本実施形態では、３次元形状メッシュデータ等の形式で入力された３次元形状データは、ひとつまたは複数の視点から投影されたデプス情報画像、所謂デプスマップに変換される。この２次元画像の状態のデプス情報と、色情報を圧縮して送信部１４に出力する。デプス情報と色情報は、並べて１枚の画像として伝送してもよいし、２本の別々の画像として伝送してもよい。いずれも２次元画像データの形であるため、ＡＶＣ(Advanced　Video　Coding)等の２次元圧縮技術を用いて圧縮することもできる。
　送信部１４は、符号化部１３ａで形成された伝送データを、受信部１５に送信する。送信部１４は、データ取得部１１、３Ｄモデル生成部１２と符号化部１３ａの一連の処理をオフラインで行った後に、伝送データを受信部１５に伝送する。また、送信部１４は、上述した一連の処理から生成された伝送データをリアルタイムに受信部に伝送してもよい。
　なお、３Ｄモデル生成部１２と符号化部１３ａと送信部１４とは符号化装置４０ａを構成する。符号化装置４０ａは、本開示における情報処理装置の一例である。
　受信部１５は、送信部１４から伝送された伝送データを受信する。
　復号部１６ａは、受信部１５で受け取ったビットストリームを２次元画像に復元し、復元された２次元画像からレンダリング部１７ａが描画可能なメッシュとテクスチャ情報を復元する。
　なお、受信部１５と復号部１６ａとレンダリング部１７ａとは復号装置５０ａを構成する。復号装置５０ａは、本開示における情報処理装置の一例である。
　レンダリング部１７ａは、３Ｄモデル９０Ｍのメッシュを描画カメラ視点で投影し、色や模様を表すテクスチャを貼り付けるテクスチャマッピングを行う。この時の描画は、撮影時のカメラ位置とは関係なく、任意に設定した自由な視点で見ることができる点が、本実施形態の特徴である。テクスチャマッピングには、所謂、ユーザの視聴視点を考慮するView　Dependentと呼ばれる方式（ＶＤ方式）や、ユーザの視聴視点を考慮しないView　Independentと呼ばれる方式（ＶＩ方式）がある。ＶＤ方式は、視聴視点の位置に応じて３Ｄモデルに貼り付けるテクスチャを変化させるため、ＶＩ方式よりも高品質なレンダリングが実現できる利点がある。一方、ＶＩ方式は視聴視点の位置を考慮しないためＶＤ方式に比べて処理量が少なくて済むという利点がある。尚、視聴視点のデータは、ユーザの視聴箇所（Region　of　Interest）を表示装置が検出し、表示装置からレンダリング部１７ａに入力される。
　表示部１８は、レンダリング部１７ａによりレンダリングされた結果を表示装置の表示部に表示する。表示装置は、例えば、ヘッドマウントディスプレイ、空間ディスプレイ、携帯電話、テレビ、ＰＣ等、２Ｄモニタでも３Ｄモニタでもよい。
　なお、図１の情報処理システム１０ａは、コンテンツを生成する材料である撮像画像を取得するデータ取得部１１からユーザの視聴する表示装置を制御する表示制御部までの一連の流れを示した。しかしながら、本実施形態の実施のために全ての機能ブロックが必要という意味ではなく、機能ブロック毎又は複数の機能ブロックの組合せに対して、本実施形態が実施でき得る。例えば、図１は、コンテンツを作成する側からコンテンツデータの配信を通じてコンテンツを視聴する側までの一連の流れを示すために送信部１４や受信部１５を設けたが、コンテンツの制作から視聴までを同じ情報処理装置（例えばパーソナルコンピューター）で実施する場合は、送信部１４や受信部１５を備える必要はない。
　情報処理システム１０ａを実施するに当たっては、同一の実施者が全てを実施する場合もあれば、機能ブロック毎に異なる実施者が実施することもできる。例えば、事業者Ａは、データ取得部１１、３Ｄモデル生成部１２、符号化部１３ａを通じて３Ｄコンテンツを生成する。その上で、事業者Ｂの送信部１４（プラットフォーム）を通じて３Ｄコンテンツが配信されて、事業者Ｃの表示装置が３Ｄコンテンツの受信、レンダリング、表示制御を行うように、複数の実施者が共同で実施する場合もある。
　また、前記した各機能ブロックは、クラウド上で実施することができる。例えば、レンダリング部１７ａは、表示装置内で実施されてもよいし、サーバで実施してもよい。その場合は表示装置とサーバ間での情報のやり取りが生じる。
　図１は、データ取得部１１、３Ｄモデル生成部１２、符号化部１３ａ、送信部１４、受信部１５、レンダリング部１７ａ、表示部１８を纏めて情報処理システム１０ａとして説明した。但し、本明細書の情報処理システム１０ａは、２以上の機能ブロックが関係していれば情報処理システムと言うこととし、例えば、表示部１８は含めずに、データ取得部１１、３Ｄモデル生成部１２、符号化部１３ａ、送信部１４、受信部１５、復号部１６ａ、レンダリング部１７ａを総称して情報処理システム１０ａと言うこともできる。
［１－２．情報処理システムが行う処理の流れ］
　次に、図３を用いて、情報処理システム１０ａが行う処理の流れを説明する。図３は、情報処理システムが行う処理の流れの一例を示すフローチャートである。
　処理が開始されると、ステップＳ１１において、データ取得部１１は被写体の３Ｄモデルを生成するための画像データを取得する。
　次に、ステップＳ１２において、３Ｄモデル生成部１２は、被写体の３Ｄモデルを生成するための画像データに基づいて、被写体の３次元情報を有する３Ｄモデルを生成する。
　ステップＳ１３において、符号化部１３ａは、３Ｄモデル生成部１２で生成された３Ｄモデルの形状およびテクスチャデータを伝送蓄積に好適なフォーマットにエンコードする。
　そして、ステップＳ１４において、送信部１４が符号化されたデータを伝送し、ステップＳ１５において、この伝送されたデータを受信部１５が受信する。
　ステップＳ１６において、復号部１６ａはデコード処理を行い、３Ｄモデルを、表示に必要な形状およびテクスチャデータに変換する。そして、ステップＳ１７において、レンダリング部１７ａは、形状およびテクスチャデータを用いてレンダリングを行う。レンダリングされた結果は、ステップＳ１８において、表示部に表示される。そして、ステップＳ１８の処理が終了すると、情報処理システム１０ａの処理が終了する。
［１－３．情報処理システムのハードウエア構成］
　次に、図４を用いて、情報処理システム１０ａのハードウエア構成を説明する。図４は、情報処理システムのハードウエア構成の一例を示すハードウエアブロック図である。
　図４に示されるコンピュータにおいて、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、バス２４を介して相互に接続されている。バス２４には、入出力インタフェース２５も接続されている。入出力インタフェース２５には、入力部２６、出力部２７、記憶部２８、通信部２９、およびドライブ３０が接続されている。
　入力部２６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等を備える。出力部２７は、例えば、ディスプレイ、スピーカ、出力端子等を備える。記憶部２８は、例えば、ハードディスク、ＲＡＭディスク、不揮発性のメモリ等を備える。通信部２９は、例えば、ネットワークインタフェース等を備える。ドライブ３０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブルメディアを駆動する。
　以上のように構成されるコンピュータは、ＣＰＵ２１が、例えば、記憶部２８に記憶されているプログラムを、入出力インタフェース２５およびバス２４を介して、ＲＡＭ２３にロードして実行することにより、上述した一連の処理を行う。ＲＡＭ２３にはまた、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して適用することができる。その場合、プログラムは、リムーバブルメディアをドライブに装着することにより、入出力インタフェースを介して、記憶部２８にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部２９で受信し、記憶部２８にインストールすることができる。
［１－４．符号化部の詳細構成］
　次に、図５を用いて、符号化部１３ａの詳細構成を説明する。図５は、符号化部の機能構成の一例を示す機能ブロック図である。
　符号化部１３ａは、３Ｄモデル生成部１２から、被写体９０の３次元形状メッシュデータと色情報テクスチャデータＣ（図９参照）とを受け取る。そして、符号化部１３ａは、伝送・蓄積に適したビットストリームデータに変換して出力する。図５に示すように、符号化部１３ａは、第１層デプスマップ生成部１３１と、第２層デプスマップ生成部１３２と、色情報パッキング部１３３と、タイリング処理部１３４ａと、画像圧縮処理部１３５とを備える。
　第１層デプスマップ生成部１３１は、３Ｄモデル生成部１２が取得した３Ｄ形状に基づいて、投影点Ｑを始点として被写体９０に至る直線が被写体９０と接触する第１の点Ｐ１と投影点Ｑとの第１の距離ｄ１を取得する。そして、第１層デプスマップ生成部１３１は、投影点Ｑから見た被写体９０の表面までの距離を可視化した画像、即ち第１層デプスマップＤｍ１を生成する。なお、第１層デプスマップ生成部１３１は、本開示における距離取得部の一例である。
　第２層デプスマップ生成部１３２は、３Ｄモデル生成部１２が取得した３Ｄ形状に基づいて、投影点Ｑを始点として、第１の点Ｐ１から被写体９０の内部に進入した直線が、被写体９０から外部に貫通する第２の点Ｐ２と投影点Ｑとの第２の距離ｄ２を取得する。そして、第２層デプスマップ生成部１３２は、投影点Ｑから見た被写体９０の裏面までの距離を可視化した画像、即ち第２層デプスマップＤｍ２を生成する。なお、第２層デプスマップ生成部１３２は、本開示における距離取得部の一例である。なお、投影点Ｑを始点として被写体９０に至る直線が、被写体９０を複数回貫く場合もある。このような場合は、第１の点Ｐ１と第２の点Ｐ２のペアが複数発生する。即ち、直線が被写体９０を貫くたびに、第１の点Ｐ１と第２の点Ｐ２のペアが生成される。
　このように、３Ｄモデル生成部１２において、被写体９０の３次元形状が復元されているため、当該被写体９０の３次元形状に対して、任意の視点から透視変換を行うと、被写体９０の表面までの距離を画像として表現することができる。この画像が、前記した第１層デプスマップＤｍ１および第２層デプスマップＤｍ２である。
　なお、透視変換は、例えば式（１）で計算される。
Figure JPOXMLDOC01-appb-M000001
　式（１）は、被写体９０上の点（Ｘ，Ｙ，Ｚ）が、回転成分ｒ１１～ｒ３３と並進移動成分ｔ１～ｔ３からなるカメラ外部パラメータが形成する行列と、ｆｘ，ｆｙおよびｃｘ，ｃｙで表されるカメラ内部パラメータが形成する行列を掛けることによって、投影面の２次元座標（ｕ，ｖ）と深度ｓとが得られることを示す。
　投影点Ｑから見える被写体９０の３次元メッシュの全ての面を投影して、最も手前、即ち投影点Ｑから最も近い点までの距離を２次元配列のデータに格納したのが第１層デプスマップＤｍ１である。
　本実施形態においては、第１層デプスマップＤｍ１に加えて、被写体９０の裏側の表面までの距離を記録した、第２層デプスマップＤｍ２も併せて利用する。図６は、デプスマップの生成方法を説明する図である。
　第１層デプスマップ生成部１３１は、第１の距離ｄ１として計算された深度ｓを、最小値と最大値の範囲で量子化して、図６に示す投影面Ｒ（ｕ，ｖ）の点Ｐｓに格納する。最小値は、例えば、図６における投影点Ｑからｎｅａｒ面Ｓｎまでの距離ｎｅａｒ、最大値は、例えば、図６における投影点Ｑからｆａｒ面Ｓｆまでの距離ｆａｒである。
　本実施形態では、深度は例えばＡＶＣ（Advanced　Video　Coding）で圧縮できるように８ビットの輝度値に格納する。即ち、第１の距離ｄ１は、式（２）に示す計算式により、量子化デプス値Ｄ１に変換される。なお、被写体９０が存在しない領域には、Ｄ１＝０を格納する。なお、以降、量子化デプス値Ｄ１を単にデプス値Ｄ１と呼ぶ。
Figure JPOXMLDOC01-appb-M000002
　第２層デプスマップ生成部１３２は、第１層と同じ透視投影パラメータを用いるが、被写体９０の内部を突き抜けて、被写体９０の裏側から抜ける点までの第２の距離ｄ２として計算された深度ｓを、図６に示す投影面Ｒ（ｕ，ｖ）の点Ｐｓに格納する。デプスマップ内で被写体９０が投影される領域では、第２の距離ｄ２は、第１の距離ｄ１よりも大きい値となる。第２層の量子化デプス値Ｄ２は、第１層のデプス値Ｄ１と大小が反転した値となるように、式（２）の距離ｎｅａｒと距離ｆａｒとを入れ替えた式（３）で算出する。なお、被写体９０が存在しない領域には、無効値を表すＤ２＝０を格納する。この無効値（Ｄ２＝０）は、第２の距離ｄ２が距離ｎｅａｒと等しいときと同じ値である。なお、式（２）におけるround（ｘ）は、ｘを四捨五入して整数化する関数である。また、以降、量子化デプス値Ｄ２を単にデプス値Ｄ２と呼ぶ。
Figure JPOXMLDOC01-appb-M000003
　なお、図６には、投影点Ｑを投影中心とする透視投影によってデプスマップを生成する例を示したが、透視投影以外の投影方法、例えば平行投影を用いてデプスマップを生成してもよい。
　次に、図７と図８を用いて、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２の具体例を説明する。図７は、第１層デプスマップと第２層デプスマップの量子化デプス値について説明する図である。図８は、第１層デプスマップと第２層デプスマップの一例を示す図である。
　符号化部１３ａは、図７に示すように、第１層デプスマップＤｍ１に格納する被写体９０が存在しない領域（無効領域）におけるデプス値Ｄ１を、距離ｆａｒとしてｎｅａｒ面Ｓｎに格納する。また、第２層デプスマップＤｍ２に格納する被写体９０が存在しない領域（無効領域）におけるデプス値Ｄ２を、距離ｆａｒよりも小さい距離ｎｅａｒとしてｆａｒ面Ｓｆに格納する。なお、距離ｆａｒは、本開示における第１の距離値の一例である。また、距離ｎｅａｒは、本開示における第２の距離値の一例である。これによって、ｄ１＜ｄ２となる領域が被写体９０を示す領域であると判定することが可能となる。
　また、符号化部１３ａは、式（２）と式（３）に示すように、第１層と第２層とで量子化の方向を逆にする。これによって、図７に示すように、量子化後の無効領域に対応するデプス値Ｄ１，Ｄ２を等しい値、即ちデプス値Ｄ１とデプス値Ｄ２を、ともに０にする。
　仮に、第１層と第２層とで量子化の方向を同じにすると、図８の上図に示すように、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像に並べたときに、境界線にデプス値のギャップが生じる。一方、第１層と第２層とで量子化の方向を逆にすることによって、図８の下図に示すように、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像に並べたときに、境界線にデプス値のギャップが生じない。したがって、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像に並べて符号化する際に、画像の圧縮効率を高めることができる。
　なお、ここに示した量子化方法は一例であって、式（２）と式（３）に示したリニアな量子化以外の量子化方法を適用してもよい。例えば、式（４）に示す逆数量子化を適用してもよい。式（４）によると、遠方ほど粗いステップで量子化される。
Figure JPOXMLDOC01-appb-M000004
　図５に戻り、色情報パッキング部１３３は、３Ｄモデル生成部１２から入力された複数の色情報テクスチャデータＣを、１枚の画像に並べる（パッキングする）処理を行う。この処理によって、復号装置５０ａに送信する画像の枚数を減らすことができる。なお、色情報テクスチャデータＣは、本開示におけるテクスチャ情報の一例である。
　タイリング処理部１３４ａは、第１層デプスマップＤｍ１と、第２層デプスマップＤｍ２と、色情報パッキング部１３３がパッキングした色情報テクスチャデータＣとを１枚の画像にまとめる処理を行う。第１層デプスマップＤｍ１および第２層デプスマップＤｍ２に格納された値（デプス値Ｄ１，Ｄ２）は、色情報と同じ画像に配置するために、Ｙ／Ｃｂ／Ｃｒの信号形式（輝度信号と色差信号）に変換される。即ち、輝度値にデプス値Ｄ１，Ｄ２を格納する。また、色差には一定値、例えば画素当たり８ビットの画像であれば、グレーを表す１２８等の一定値を格納する。また、タイリング処理部１３４ａは、まとめられた１枚の画像のどの位置にデプスマップや色情報テクスチャデータＣが格納されたかを示す画像配置情報を出力する。画像配置情報は、例えば、元の画像がどれだけ移動して１枚の画像に配置されたかを示すオフセット値と、デプスマップの量子化に使用した距離ｎｅａｒ、ｆａｒの値と、投影点Ｑの位置等を含む。
　図９は、タイリング処理部が生成する画像の一例を示す図である。タイリング処理部１３４ａは、第１層デプスマップＤｍ１と、第２層デプスマップＤｍ２と、色情報テクスチャデータＣとを、１枚のタイリング画像Ｔ１にまとめる。色情報テクスチャデータＣは、図９に示すように、被写体９０を複数の撮像装置７０（図２参照）で撮像した実際の画像である。
　画像圧縮処理部１３５は、タイリング処理部１３４ａにおいて１枚にまとめられた画像を、一般的な動画コーデックを用いて圧縮する。具体的には、ＡＶＣやＨＥＶＣにように広く普及しているコーデックが用いられる。
　なお、前記した式（２）、式（３）では、デプス値Ｄ１，Ｄ２が８ビットである場合を想定して、０から２５５の値で量子化したが、ＨＥＶＣ等では１０ビットの値を扱うことも可能であるため、デプス値Ｄ１，Ｄ２を１０ビット（０から１０２３）で量子化してもよい。
　画像圧縮処理部１３５が生成したビットストリームと、タイリング処理部１３４ａが生成した画像配置情報とは、送信部１４を介して、復号装置５０ａに送信される。即ち、送信部１４は、第１の距離ｄ１と第２の距離ｄ２とを関連付けて、被写体９０の３次元形状を再構成する復号装置５０ａに送信する。
［１－５．復号部の詳細構成］
　次に、図１０を用いて、復号部１６ａの詳細構成を説明する。図１０は、復号部の機能構成の一例を示す機能ブロック図である。
　図１０に示すように、復号部１６ａは、画像伸長処理部１６１と、デプス有効領域判定部１６２と、三角形パッチ生成部１６３と、色情報テクスチャ切り出し部１６４とを備える。復号部１６ａを含む復号装置５０ａ（図１参照）は、符号化装置４０ａから送信された情報、即ち、被写体９０の表面の３Ｄ形状に基づいて、投影点Ｑから被写体９０に至る直線が被写体９０と接触する第１の点Ｐ１と投影点Ｑとの第１の距離ｄ１と、第１の点Ｐ１から被写体９０の内部に進入した直線が被写体９０から外部に貫通する第２の点Ｐ２と投影点Ｑとの第２の距離ｄ２と、を取得して、投影点Ｑの位置と、第１の距離ｄ１と、第２の距離ｄ２とを関連付けることによって、被写体９０の３Ｄモデル９０Ｍを生成する。
　画像伸長処理部１６１は、画像圧縮処理部１３５で圧縮されたビットストリームを画像に伸長する。なお、符号化（エンコード）と復号（デコード）とは対になるため、例えばＡＶＣエンコードされたビットストリームは、ＡＶＣデコード処理で復号する。
　デプス有効領域判定部１６２は、第１層デプスマップ生成部１３１が取得した第１層デプスマップＤｍ１に格納された第１の距離ｄ１と、第２層デプスマップ生成部１３２が取得した第２層デプスマップＤｍ２に格納された第２の距離ｄ２との大小関係に基づいて、被写体９０の領域を特定する。より具体的には、デプス有効領域判定部１６２は、被写体９０が投影された領域を有効領域と判定して、被写体９０が投影されていない領域を無効領域と判定する。有効領域と判定された領域は、格納されたデプス値Ｄ１，Ｄ２が、被写体９０の形状復元に利用される。一方、無効領域と判定された領域のデータはレンダリングには使用されずに廃棄される。なお、デプス有効領域判定部１６２は、本開示における領域判定部の一例である。また、デプス有効領域判定部１６２が行う処理の詳細は後述する。
　三角形パッチ生成部１６３は、被写体９０の内部および被写体９０と外部との境界において、レンダリング処理が利用できる形状データ、所謂メッシュデータを生成する。また、三角形パッチ生成部１６３は、投影点Ｑに係る第１層デプスマップＤｍ１に格納された第１の距離ｄ１に基づく被写体９０の前面側の端部と、投影点Ｑに係る第２層デプスマップＤｍ２に格納された第２の距離ｄ２に基づく被写体９０の背面側の端部とを接続して、閉空間を形成する。なお、三角形パッチ生成部１６３は、本開示における閉空間生成部の一例である。また、三角形パッチ生成部１６３が行う処理の詳細は後述する。
　色情報テクスチャ切り出し部１６４は、画像伸長処理部１６１でデコードされた画像情報と、タイリング処理部１３４ａで生成された画像配置情報とに基づいて、後段のレンダリング部１７ａにおいて、３次元形状メッシュデータに貼り付ける色情報テクスチャデータＣを生成する。
［１－６．デプス有効判定処理］
　次に、図１１と図１２を用いて、デプス有効領域判定部１６２が行うデプス有効領域判定処理を説明する。図１１は、デプス有効領域判定部が、デプスマップからデプス値を読み出す方法を説明する図である。図１２は、デプス有効領域判定部が、デプス値の有効無効を判定する方法を説明する図である。
　図１１の左方に示す第１層デプスマップＤｍ１および第２層デプスマップＤｍ２は、右方に示す第１層デプスマップＤｍ１および第２層デプスマップＤｍ２の一部（被写体の肩の部分）を拡大したものである。図１１において、白丸は被写体内部の点、即ち有効なデプス値Ｄ１またはデプス値Ｄ２が格納された点を表す。また、黒丸は被写体外部の点、即ち無効なデプス値Ｄ１またはデプス値Ｄ２が格納された点を表す。即ち、図１１の左方に示す第１層デプスマップＤｍ１および第２層デプスマップＤｍ２は、実際には各点にデプス値が格納された曲面で表現すべきであるが、説明をわかりやすくするため、平面で描いている。
　第１層デプスマップＤｍ１および第２層デプスマップＤｍ２の読み出し点は、図１１に示すように正方格子状に配置されている。なお、格子のグリッド間隔は自由に設定してよい。また、デプスマップの読み出し点の位置は、必ずしもデプスマップの画素位置と一致させなくてもよい。読み出し点と画素位置とが異なる場合は、補間フィルタによって補間されたデプス値が使われる。
　後述する三角形パッチ生成部１６３は、３つのデプス読み出し点を結ぶ三角形を単位として描画処理を行うため、読み出し点のグリッド間隔が小さいほど描画処理量が多くなる。一方、読み出し点のグリッド間隔を大きく設定すると、描画処理が軽くなる、これを利用して、復号装置５０ａの処理負荷を調整することが可能である。
　デプス読み出し点から読み出したデプス値Ｄ１，Ｄ２は、有効領域、即ち被写体９０がある領域では、第１層に被写体９０の表面のデプス値Ｄ１が格納されている。そして、第２層に被写体９０の裏面のデプス値Ｄ２が格納されている。一方、無効領域、即ち被写体９０がない領域では、第１層にｆａｒ値が格納されて、第２層にｎｅａｒ値が格納されている。したがって、図１２の左図に示すように、有効領域においてはＤ１≦Ｄ２となる。なお、被写体９０が奥行方向に非常に薄い場合、量子化した際に、表面と裏面とが等しいデプス値になる場合も考えられるため、Ｄ１＝Ｄ２の場合も含まれる。一方、無効領域ではＤ１＞Ｄ２となる。
　デプス値Ｄ１，Ｄ２は、伝送時に圧縮されるため、圧縮誤差による劣化を伴う。特に被写体９０の境界部分は、デプス値の大きなギャップが生じる可能性があるが、本実施形態では、第１層と第２層の相対比較によって被写体９０の有効領域を判定するため、図１２の右図に示すように、第１層と第２層の有効領域は完全に一致する。
　次に、図１３を用いて、デプス有効領域判定部１６２が行うデプス有効領域判定処理の流れを説明する。図１３は、デプス有効領域判定部が行う処理の流れの一例を示すフローチャートである。
　デプス有効領域判定部１６２は、デプス読み出し点を設定する（ステップＳ２１）。
　デプス有効領域判定部１６２は、第１層デプスマップＤｍ１から第１層のデプス値Ｄ１を取得する（ステップＳ２２）。
　続いて、デプス有効領域判定部１６２は、第２層デプスマップＤｍ２から第２層のデプス値Ｄ２を取得する（ステップＳ２３）。
　デプス有効領域判定部１６２は、第１層のデプス値Ｄ１が第２層のデプス値Ｄ２以下であるかを判定する（ステップＳ２４）。第１層のデプス値Ｄ１が第２層のデプス値Ｄ２以下であると判定される（ステップＳ２４：Ｙｅｓ）と、ステップＳ２５に進む。一方、第１層のデプス値Ｄ１が第２層のデプス値Ｄ２以下であると判定されない（ステップＳ２４：Ｎｏ）と、ステップＳ２６に進む。
　ステップＳ２４においてＹｅｓと判定されると、デプス有効領域判定部１６２は、デプス読み出し点は被写体９０の領域に含まれると判断して、デプス読み出し点に有効フラグを立てる（ステップＳ２５）。その後、ステップＳ２７に進む。
　一方、ステップＳ２４においてＮｏと判定されると、デプス有効領域判定部１６２は、デプス読み出し点は被写体９０の領域に含まれないと判断して、デプス読み出し点に無効フラグを立てる（ステップＳ２６）。その後、ステップＳ２７に進む。
　デプス有効領域判定部１６２は、デプス面全体を処理したかを判定する（ステップＳ２７）。デプス面全体を処理したと判定される（ステップＳ２７：Ｙｅｓ）と、デプス有効領域判定部１６２は、図１３の処理を終了する。一方、デプス面全体を処理したと判定されない（ステップＳ２７：Ｎｏ）と、ステップＳ２１に戻って、異なるデプス読み出し点に対して、前記した一連の処理を繰り返す。
　なお、最初は全てのデプス読み出し点に有効フラグを立てておき、ステップＳ２４においてＮｏと判定された場合に、デプス読み出し点の有効フラグを下げてもよい。
［１－７．メッシュデータ生成処理］
　次に、図１４と図１５を用いて、三角形パッチ生成部１６３が行うメッシュデータ生成処理を説明する。図１４は、デプスマップ上に設定される三角形パッチを説明する図である。図１５は、三角形パッチの有効点数を説明する図である。
　三角形パッチ生成部１６３には、デプス有効領域判定部１６２から、正方格子上の読み出し点から読み出されたデプス値Ｄ１，Ｄ２とその有効フラグが入力される。図１４の左図は、デプス読み出し点とその有効フラグが検出された状態の一例を示す。
　三角形パッチ生成部１６３は、図１４の右図に示すように、正方格子一つに対して、直角三角形２つを割り当てたグラフ構造を生成する。当該グラフ構造は、デプス読み出し点を頂点として、近接した３点ずつが接続された三角形状を呈する。なお、図１４の右図は１層分で、実際には、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とに対して、それぞれ同様のグラフ構造が生成される。
　三角形パッチ生成部１６３は、こうして生成された三角形パッチを単位として、以降の処理を行う。そして、三角形パッチ生成部１６３は、この三角形パッチを元に座標変換処理を施された三角形群（メッシュデータ）を、後段のレンダリング部１７ａに引き渡す。
　三角形パッチ生成部１６３は、図１５に示すように、各三角形パッチに対して有効点数Ｎをカウントする。有効点数Ｎとは、具体的には、着目している三角形パッチの３頂点のうち何個が被写体９０の内部に属しているかを示す値である。この有効点数Ｎは、着目している三角形パッチが被写体９０の内側に属しているかを示す評価尺度である。
　即ち、有効点数Ｎは、０，１，２，３のいずれかの値をとる。Ｎ＝０は、三角形パッチが完全に被写体９０の外側に存在することを示す。一方、Ｎ＝３は、三角形パッチが完全に被写体９０の内側に存在することを示す。そして、Ｎ＝１，２は、三角形パッチが、被写体９０の内部と外部に跨っていることを示す。
　三角形パッチ生成部１６３は、Ｎ＝０，１の場合は、図１５の右図に示すように三角形パッチを削除する。そして、該当する三角形の３頂点を結ぶグラフ構造を削除する。
　一方、Ｎ＝２，３の場合、三角形パッチ生成部１６３は、三角形パッチを削除せずに残す。そして、Ｎ＝３の場合は、式（１）の逆変換（逆透視変換）を行って、三角形パッチの３頂点に対して、それぞれ、投影面Ｒ（ｕ，ｖ）の座標位置と，当該座標位置に格納された深度ｓから（Ｘ，Ｙ，Ｚ）を求める。また、Ｎ＝２の場合は、三角形パッチのうち有効な２頂点に対して、前記した逆透視変換を行う。そして、無効な１頂点に対しては、後述する頂点座標変更処理を行う。なお、Ｎ＝２以外の場合、第１層、第２層に対して、独立して処理が可能である。
　次に、図１６を用いて、Ｎ＝２の場合に、三角形パッチ生成部１６３が行う頂点座標変更処理を説明する。図１６は、頂点座標変更処理を説明する図である。
　図１６の左上は、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを近接した状態で配置した様子を示す。そして、図１６の右上は、１組のＮ＝２の三角形パッチのみを抽出した状態を示す。図１６の右上に示すように、一方のデプスマップにＮ＝２の三角形パッチが生成された場合に、反対側のデプスマップの同じ位置にも、Ｎ＝２の三角形パッチが生成される。
　図１６の左上に示すように、第１層デプスマップＤｍ１の三角形パッチの頂点をＡ１，Ｂ１，Ｃ１とする。そして、第２層デプスマップＤｍ２の三角形パッチの頂点をＡ２，Ｂ２，Ｃ２とする。
　三角形パッチ生成部１６３は、被写体９０の外側に属する無効な頂点Ａ１，Ａ２に対して、頂点変更処理を行う。
　即ち、三角形パッチ生成部１６３は、図１６の左下に示すように、無効な頂点Ａ１に、逆側のデプスマップの有効な頂点Ｂ２の値（デプス値Ｄ２）を代入する。即ち、頂点Ａ１は、あたかも頂点Ｂ２の位置にあるものとみなす。また、三角形パッチ生成部１６３は、無効な頂点Ａ２に、逆側のデプスマップの有効な頂点Ｃ１の値（デプス値Ｄ１）を代入する。即ち、頂点Ａ２は、あたかも頂点Ｃ１の位置にあるものとみなす。このように、無効な頂点に、互い違いに逆側のデプスマップの有効な頂点の値（デプス値）を代入することによって、四角形Ｂ１－Ｃ１－Ｃ２－Ｂ２が、２つの三角形パッチで接続される。これにより、離れていた辺Ｂ１－Ｃ１と、辺Ｂ２－Ｃ２とが、面で隙間なく接続される。即ち、投影点から見た被写体９０の前面と背面との境界線が切れ目なく接続されて、閉じた立体（閉空間）が形成される。なお、頂点Ａ１に頂点Ｃ２のデプス値Ｄ２を代入して、頂点Ａ２を頂点Ｂ１のデプス値Ｄ１を代入しても同様の効果が得られる。
　前記した処理を、デプス面の全てのＮ＝２の三角形パッチに対して実行することによって、図１６の右下に示すように、被写体９０の前面と背面との境界線が切れ目なく接続される。
　なお、図１６では、説明をわかりやすくするために、第１層のデプス値Ｄ１が略等しく、第２層のデプス値Ｄ２が略等しい状態で説明したが、実際には、第１層のデプス値Ｄ１と第２層のデプス値Ｄ２とから、式（１）の逆変換によって各頂点の３次元座標を計算し、３次元空間上に配置することによって、２層のデプス面に挟まれた、被写体９０を表す閉じた立体形状が再現される。
　図１７は、被写体の３次元形状メッシュデータが生成される様子を示す模式図である。図１７に示すように、被写体９０の投影点Ｑに面する領域と、被写体９０の投影点Ｑの背面側の領域とが切れ目なく繋がった、３次元形状メッシュデータが得られる。
　次に、図１８を用いて、三角形パッチ生成部１６３が行うメッシュデータ生成処理の流れを説明する。図１８は、三角形パッチ生成部が行うメッシュデータ生成処理の流れの一例を示すフローチャートである。
　三角形パッチ生成部１６３は、図１４の右図に示したように生成された三角形パッチに対して、有効点数Ｎをカウントする（ステップＳ３１）。
　三角形パッチ生成部１６３は、ステップＳ３１でカウントした有効点数Ｎが２以上であるかを判定する（ステップＳ３２）。有効点数Ｎが２以上、即ち有効点数Ｎが２または３であると判定される（ステップＳ３２：Ｙｅｓ）と、ステップＳ３３に進む。一方、有効点数Ｎが２以上であると判定されない（ステップＳ３２：Ｎｏ）、即ち有効点数Ｎが０または１であると判定されると、ステップＳ３４に進む。
　ステップＳ３２においてＹｅｓと判定されると、三角形パッチ生成部１６３は、有効と判定された頂点の３次元座標を算出する（ステップＳ３３）。その後、ステップＳ３５に進む。
　一方、ステップＳ３２においてＮｏと判定されると、三角形パッチ生成部１６３は、着目している三角形パッチに三角形メッシュを生成しない（ステップＳ３４）。そして、レンダリングが行われないように、着目している三角形パッチを消去する。その後、ステップＳ３８に進む。
　ステップＳ３３に続いて、三角形パッチ生成部１６３は、着目している三角形パッチに対して、有効点数Ｎが３であるかを判定する（ステップＳ３５）。有効点数Ｎが３であると判定される（ステップＳ３５：Ｙｅｓ）と、ステップＳ３７に進む。一方、有効点数Ｎが３であると判定されない（ステップＳ３５：Ｎｏ）、即ち有効点数Ｎが２であると判定されると、ステップＳ３６に進む。
　ステップＳ３５においてＮｏと判定されると、三角形パッチ生成部１６３は、前記した頂点座標変更処理（図１６参照）を行う（ステップＳ３６）。
　ステップＳ３６に引き続き、またはステップＳ３５においてＹｅｓと判定されると、三角形パッチ生成部１６３は、着目している三角形パッチに対して三角形メッシュを生成する（ステップＳ３７）。
　三角形パッチ生成部１６３は、全ての三角形パッチを処理したかを判定する（ステップＳ３８）。全ての三角形パッチを処理したと判定される（ステップＳ３８：Ｙｅｓ）と、三角形パッチ生成部１６３は、図１８の処理を終了する。一方、全ての三角形パッチを処理したと判定されない（ステップＳ３８：Ｎｏ）と、ステップＳ３１に戻って、異なる三角形パッチに対して、前記した一連の処理を繰り返す。
［１－８．レンダリング部の詳細構成］
　次に、図１９を用いて、レンダリング部１７ａの詳細構成を説明する。図１９は、レンダリング部の機能構成の一例を示す機能ブロック図である。
　図１９に示すように、レンダリング部１７ａは、デプスマップ生成部１７１と、可視性確認部１７２と、描画部１７３とを備える。
　デプスマップ生成部１７１は、三角形パッチ生成部１６３が生成した被写体９０の３次元形状メッシュデータを、色情報テクスチャデータＣと同じ投影点Ｑから見たデプスマップを生成する。即ち、デプスマップ生成部１７１は、複数の色情報テクスチャデータＣにそれぞれ対応する複数のデプスマップを生成する。
　可視性確認部１７２は、デプスマップ生成部１７１が生成したデプスマップと３次元形状メッシュデータの３次元座標とを比較することによって、着目している３次元形状メッシュデータが投影点Ｑから見えるか否かを判定するVisibility　Checkを行う。この判定によって、複数の物体が重なって投影点Ｑから見えないメッシュであることが判定される。なお、Visibility　Checkについて、詳しくは後述する（図２２参照）。
　描画部１７３は、可視性確認部１７２が、目に見える（可視性がある）と判定したメッシュの３次元形状を描画する。また、描画部１７３は、描画したメッシュに、対応する色情報テクスチャデータＣを貼り付ける。これによって、被写体９０を任意の投影点Ｑから観測した画像を生成することができる。
［１－９．第１の実施形態の変形例］
　なお、第１の実施形態は、様々な形態に変形して実行することが可能である。例えば、タイリング画像Ｔ１（図９参照）において、第１層デプスマップＤｍ１と、第２層デプスマップＤｍ２と、色情報テクスチャデータＣとは１枚の画像でなくてもよい。即ち、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像として、色情報テクスチャデータＣを別の１枚の画像としてもよい。また、第１層デプスマップＤｍ１と、第２層デプスマップＤｍ２と、色情報テクスチャデータＣとを、それぞれ１枚の画像としてもよい（この場合、タイリング処理を行う必要はない）。更に、色情報テクスチャデータＣを全て別の画像としてもよい（この場合、パッキング処理もタイリング処理も行う必要はない）。なお、送信部１４が送信する画像が複数枚になると、それに伴ってビットストリームの画像チャンネル数が増加するが、一般的なマルチチャンネルストリーム配信の仕組みを用いることによって、チャンネル間の同期をとることができる。
　また、送信部１４は、タイリング画像Ｔ１と音声情報とを同時に送信してもよい。
　また、タイリング画像Ｔ１は、静止画データでも動画データでも構わない。タイリング画像Ｔ１が静止画データである場合には、画像圧縮処理部１３５は、ＪＰＥＧ等の静止画用圧縮処理を行う。また、タイリング画像Ｔ１が動画データである場合には、画像圧縮処理部１３５は、ＭＰＥＧ２，ＡＶＣ，ＨＥＶＣ，ＶＶＣ，ＡＶ１等の動画用圧縮処理を行う。
　なお、送信するタイリング画像Ｔ１の圧縮、伸長は行わなくてもよい。この場合には、画像圧縮処理部１３５（図５参照）と画像伸長処理部１６１（図１０参照）とは不要になる。
　また、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とに格納するデプス値Ｄ１，Ｄ２のビット長は問わない。即ち、実施形態で説明した８ビットの他に、１０ビット，１２ビット等であってもよい。なお、デプス値Ｄ１，Ｄ２のビット長が大きいほど、被写体９０の細かいデプスを表現することができる。
　また、送信部１４および受信部１５を介した伝送を行わずに、タイリング画像Ｔ１を蓄積データとして記憶部に蓄積して、蓄積データを記憶部から読み出して再生してもよい。
　また、データ取得部１１から送信部１４までは、リアルタイム処理で動作しなくてもよい。即ち、送信するタイリング画像Ｔ１を、記憶部等に一旦蓄積して、蓄積したデータを読み出して、復号装置５０ａに送信してもよい。
　なお、データ取得部１１から送信部１４までをリアルタイム処理で動作させれば、ライブストリーミング等のリアルタイム通信に用いることができる。
［１－１０．第１の実施形態の効果］
　以上説明したように、第１の実施形態の符号化装置４０（情報処理装置）において、第１層デプスマップ生成部１３１（距離取得部）は、被写体９０の表面の３Ｄ形状に基づいて、投影点Ｑから被写体９０に至る直線が被写体９０と接触する第１の点Ｐ１と投影点Ｑとの第１の距離ｄ１を取得する。また、第２層デプスマップ生成部１３２（距離取得部）は、被写体９０の表面の３Ｄ形状に基づいて、投影点Ｑを始点として、第１の点Ｐ１から被写体９０の内部に進入した直線が、被写体９０から外部に貫通する第２の点Ｐ２と投影点Ｑとの第２の距離ｄ２を取得する。
　これにより、被写体９０を同じ位置から観測した際に、当該被写体９０の前面と背面との形状を同時に取得することができる。
　また、第１の実施形態の符号化装置４０（情報処理装置）によると、第１層デプスマップ生成部１３１（距離取得部）は、第１の点Ｐ１が存在しない場合には、第１の距離ｄ１として、距離ｆａｒ（第１の距離値）を取得する。また、第２層デプスマップ生成部１３２（距離取得部）は、第２の点Ｐ２が存在しない場合には、第２の距離ｄ２として、距離ｆａｒよりも小さい距離ｎｅａｒ（第２の距離値）を取得する。
　これにより、被写体９０の領域と、被写体９０が存在しない領域とを容易に識別することができる。
　また、第１の実施形態の符号化装置４０（情報処理装置）によると、第１層デプスマップ生成部１３１（距離取得部）と第２層デプスマップ生成部１３２（距離取得部）とは、距離ｆａｒ（第１の距離値）と距離ｎｅａｒ（第２の距離値）とを、等しい値に設定する。
　これにより、第１層デプスマップ生成部１３１が生成した第１層デプスマップＤｍ１と、第２層デプスマップ生成部１３２が生成した第２層デプスマップＤｍ２とを並べて配置した際に、境界線にデプス値のギャップが生じない。そのため、第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを１枚の画像に並べて符号化する際に、画像の圧縮効率を高めることができる。
　また、第１の実施形態の符号化装置４０（情報処理装置）において、送信部１４は、第１層デプスマップ生成部１３１が取得した第１の距離ｄ１と、第２層デプスマップ生成部１３２が取得した第２の距離ｄ２とを関連付けて、被写体９０の３次元形状を再構成する復号装置５０ａに送信する。
　これにより、被写体の前面側の座標と背面側の座標とを関連付けて送信することができるため、情報の伝送効率を向上させることができる。
　また、第１の実施形態の復号装置５０ａ（情報処理装置）は、第１層デプスマップ生成部１３１が取得した第１の距離ｄ１と、第２層デプスマップ生成部１３２が取得した第２の距離ｄ２とを取得して、第１の距離ｄ１と第２の距離ｄ２との大小関係に基づいて、被写体９０の領域を特定する。
　これにより、簡便な比較演算のみで、被写体９０の存在範囲を特定することができる。
　また、第１の実施形態の復号装置５０ａ（情報処理装置）において、三角形パッチ生成部１６３（閉空間生成部）は、投影点Ｑに係る複数の第１の距離ｄ１に基づく、被写体９０の投影点Ｑから見た前面側の端部と、投影点Ｑに係る複数の第２の距離ｄ２に基づく、被写体９０の投影点Ｑから見た背面側の端部とを接続する。
　これにより、被写体９０の前面と背面とを接続することによって、隙間のない被写体９０の３Ｄモデル９０Ｍを生成することができる。
　また、第１の実施形態の復号装置５０ａ（情報処理装置）は、三角形パッチ生成部１６３（閉空間生成部）が、三角形状に隣接する３点（頂点Ａ１，Ｂ１，Ｃ１）の第１の距離ｄ１のうち、２点（頂点Ｂ１，Ｃ１）の第１の距離ｄ１が被写体９０の前面を表して、残り１点（頂点Ａ１）の第１の距離ｄ１が被写体９０の前面を表さない場合に、残り１点（頂点Ａ１）を、３点（頂点Ａ１，Ｂ１，Ｃ１）に対応する第２の距離ｄ２のうち、被写体９０の背面を表す２点のいずれか一方（頂点Ｂ２，Ｃ２のいずれか一方）に代入して、３点（頂点Ａ１，Ｂ１，Ｃ１）に対応する第２の距離ｄ２のうち、被写体９０の背面を表さない１点（頂点Ａ２）を、被写体９０の前面を表す２点（頂点Ｂ１，Ｃ１）のうち、残り１点（頂点Ａ１）を代入したのとは反対側の１点（残り１点を頂点Ｂ２に代入した場合は頂点Ｃ２、残り１点を頂点Ｃ２に代入した場合は頂点Ｂ２）に代入する。
　これにより、簡便な演算処理で、被写体９０の前面と背面とを隙間なく接続することができる。
（２．第２の実施形態）
［２－１．タイリング画像の構成］
　第２の実施形態の情報処理システム１０ｂ（非図示）は、第１の実施形態で説明した情報処理システム１０ｂ（図１参照）に対して、符号化装置４０ａの代わりに符号化装置４０ｂ（非図示）を備える。また、復号装置５０ａの代わりに復号装置５０ｂ（非図示）を備える。
　符号化装置４０ｂは、非図示の符号化部１３ｂと送信部１４とを備える。また、復号装置５０ｂは、受信部１５と復号部１６ｂ（図２０参照）とを備える。更に、復号装置５０ｂは、レンダリング部１７ａの代わりにレンダリング部１７ｂ（図２０参照）を備える。
　次に、情報処理システム１０ｂの符号化部１３ｂの機能を説明する。符号化部１３ｂは、複数の色情報テクスチャデータＣに対して、それぞれの色情報テクスチャデータＣを取得したのと同じ投影点Ｑから取得した、複数の第１層デプスマップＤを生成する。なお、符号化部１３ｂは、図５に示した符号化部１３ａにおいて、タイリング処理部１３４ａの代わりにタイリング処理部１３４ｂ（非図示）を備える。
　図２０は、第２の実施形態において、タイリング処理部が生成する、符号化の対象となる画像の一例を示す図である。
　図２０に示すタイリング画像Ｔ２は、第１の実施形態で説明したタイリング画像Ｔ１（図９参照）に対して、複数の色情報テクスチャデータＣとそれぞれ１対１に対応する複数の第１層デプスマップＤを含む点が異なる。即ち、タイリング処理部１３４ｂは、被写体９０を複数の投影点Ｑから見た色情報テクスチャデータＣと、当該色情報テクスチャデータＣを取得したのと同じ複数の投影点Ｑから見た第１層デプスマップＤと、を関連付けたタイリング画像Ｔ２を生成する。なお、第１の実施形態で説明した第１層デプスマップＤｍ１は、図２０に示すように、タイリング画像Ｔ２に配置される複数の第１層デプスマップＤに含まれる。そして、タイリング画像Ｔ２は、第１の実施形態で説明した第２層デプスマップＤｍ２も含む。なお、タイリング処理部１３４ｂは、本開示における色・距離取得部の一例である。
　タイリング画像Ｔ２が含む複数の第１層デプスマップＤは、復号部１６ｂが被写体９０の３次元形状を再構成する際に、後述する可視性確認処理（図２２参照）に利用する。
　次に、図２１を用いて、情報処理システム１０ｂの復号部１６ｂおよびレンダリング部１７ｂの機能を説明する。図２１は、第２の実施形態の復号部およびレンダリング部の機能構成の一例を示す機能ブロック図である。
　復号部１６ｂは、第１の実施形態で説明した復号部１６ａ（図１０参照）に対して、デプスマップ切り出し部１６５を追加した構成を有する。デプスマップ切り出し部１６５は、複数の色情報テクスチャデータＣの中から、被写体９０の領域を、それぞれの色情報テクスチャデータＣと対応する第１層デプスマップＤに基づいて切り出す。より具体的には、第１層デプスマップＤに有効なデプス値が格納されている場合に、当該デプス値が格納されている座標と対応する色情報テクスチャデータＣを、被写体９０の領域であると判断して切り出す。
　レンダリング部１７ｂは、第１の実施形態で説明したレンダリング部１７ａ（図１９参照）に対して、デプスマップ生成部１７１を除いた構成を有する。
　情報処理システム１０ｂは、情報処理システム１０ａが可視性確認処理（Visibility　Cheek）を行うためにレンダリング部１７ａで行っていたデプスマップの生成を、復号部１６ｂで行う。更に、復号部１６ｂは、実際にデプスマップを作成するのではなく、符号化部１３ｂが生成した複数の第１層デプスマップＤの取得のみを行う。そして、復号部１６ｂのデプスマップ切り出し部１６５で、第１層デプスマップＤを用いて、被写体９０の領域に対応する色情報テクスチャデータＣの切り出しを行う。
　したがって、デプスマップの生成という計算負荷の高い処理を削減することができる。
［２－２．可視性確認処理］
　次に、図２２を用いて、可視性確認処理について説明する。図２２は、可視性を確認する処理を説明する図である。
　被写体９０を複数の異なる投影点Ｑから見た画像を生成する場合、被写体９０の表面の点が、投影点Ｑから見えているか否かを判定する必要がある。即ち、投影面Ｒ（ｕ，ｖ）に記録される色情報テクスチャデータＣは、投影点Ｑに一番近い面であって、当該面によって遮蔽された奥側の面は、投影点Ｑからは見えない状態になっている。
　具体的には、図２２において、被写体９０の点Ｐａ（第１の点の一例）は投影点Ｑａから可視化されて、点Ｐａのデプス値（第１の距離）は、投影面Ｒａに記録される。一方、異なる投影点Ｑｂから点Ｐａを観測すると、手前側の点Ｐｂに遮蔽されるため、点Ｐａを可視化することはできない。そして、投影面Ｒｂには、点Ｐｂのデプス値（第１の距離とは異なる距離）が格納される。
　したがって、図２２の場合、投影面Ｒａに格納されたデプス値から計算される点Ｐａの３次元座標と、投影面Ｒｂに格納されたデプス値から計算される点Ｐｂの３次元座標とは一致しない。即ち、可視性確認部１７２は、投影点Ｑａから見たデプス値に応じた点Ｐａの３次元位置と、投影点Ｑａとは異なる投影点Ｑｂから見た点Ｐａの方向に対応するデプス値に応じた３次元位置とが一致しない場合に、投影点Ｑａから見た点Ｐａが、投影点Ｑａとは異なる投影点Ｑｂからは見えないと判定する。
　そして、描画部１７３は、投影点Ｑｂから見た被写体９０の画像を描画する際には、点Ｐｂの色情報テクスチャデータＣを用いるのではなく、投影点Ｑｂから近い、点Ｐａが可視化されると判定された投影点に投影された色情報テクスチャデータＣを用いる。また、投影点Ｑｂから近い、点Ｐａが可視化される複数の投影点に投影された色情報テクスチャデータＣを混ぜ合わせて用いてもよい。
［２－３．第２の実施形態の効果］
　以上説明したように、第２の実施形態の符号化装置４０ｂ（情報処理装置）において、タイリング処理部１３４ｂ（色・距離取得部）は、被写体９０を複数の投影点Ｑから見た色情報テクスチャデータＣ（テクスチャ情報）と、当該色情報テクスチャデータＣを取得したのと同じ複数の投影点Ｑから見た第１の距離ｄ１と、を関連付けて取得する。
　これにより、第１層デプスマップＤの中の１枚を、第２層デプスマップＤｍ２とペアの第１層デプスマップＤｍ１とすることができるため、送信部１４が送信するデータ量を削減することができる。
　また、第２の実施形態の復号装置５０ｂ（情報処理装置）において、可視性確認部１７２は、タイリング処理部１３４ｂ（色・距離取得部）が取得した情報に基づいて、投影点Ｑａから見た第１の距離ｄ１に応じた点Ｐａの３次元位置と、投影点Ｑａとは異なる投影点Ｑｂから見た点Ｐａの方向に対応する第１の距離ｄ１に応じた３次元位置とが一致しない場合に、投影点Ｑａから見た点Ｐａが、投影点Ｑｂからは見えないと判定する。
　これにより、タイリング画像Ｔ２を用いて、簡便な処理で可視性確認（Visibility　Cheek）を行うことができる。
（３．第３の実施形態）
［３－１．第３の実施形態の作用］
　第１の実施形態および第２の実施形態において、被写体９０の形状が複雑である場合には、オクルージョンの発生によって、被写体９０の表面の３Ｄ形状を途切れなくデータ化するのが困難である。第３の実施形態の情報処理システム１０ｂは、このような課題を解決するために、被写体９０を複数の物体に分解して、分解された各物体に対して、同じ投影点Ｑから、複数の第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成することによって、被写体９０の表面を途切れなくデータ化するものである。
　なお、第３の実施形態の情報処理システム１０ｂの構成（ハードウエア構成、機能構成）は、第２の実施形態で説明した情報処理システム１０ｂ（符号化装置４０ｂ、復号装置５０ｂ）と同じであるため、説明は省略する。
　次に、図２３を用いて、第３の実施形態の情報処理システムの作用を説明する。図２３は、第３の実施形態の情報処理システムの作用を説明する図である。
　情報処理システム１０ｂが備える符号化装置４０ｂにおいて、３Ｄモデル生成部１２は、被写体９０を複数の物体に分解する。そして、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、分解された各物体に対して、それぞれ、同じ投影点Ｑから複数の見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２を生成する。即ち、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、被写体９０が分解された各物体に対して、同じ投影点Ｑから見た第１の距離ｄ１と第２の距離ｄ２とを取得する。なお、第１の実施形態で説明したように、投影点Ｑを始点として被写体９０に至る直線が、被写体９０を複数回貫く場合には、直線が被写体９０を貫くたびに、第１の点Ｐ１と第２の点Ｐ２のペアを生成する。
　例えば、図２３に示すように、３Ｄモデル生成部１２は、モデル化の対象となる被写体９０を、矢印状の第１の物体と、矩形状の第２の物体とに分解する。そして、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、第１の物体に対して、投影点Ｑから見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成する。
　但し、情報処理システム１０ｂは、投影点Ｑから見た被写体９０の映像を再構成する必要がある（View　Dependent描画）ため、第１層デプスマップＤｍ１は、投影点Ｑから被写体９０の全体を見たデプスマップとする。
　即ち、第１層デプスマップ生成部１３１は、被写体９０に対して、図２３に示す点線のデプス値が格納された第１層デプスマップＤｍ１を生成する。そして、第２層デプスマップ生成部１３２は、矢印状の第１の物体に対して、当該第１の物体の裏面側のデプス値を表す太線のデプス値が格納された第２層デプスマップＤｍ２を生成する。第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とは、一対のペアとして被写体９０の再構成に用いられる。
　次に、第１層デプスマップ生成部１３１は、矩形状の第２の物体を投影点Ｑから見た第１層デプスマップＤｍ１を生成する。なお、ここで生成される第１層デプスマップＤｍ１を、前記した第１層デプスマップＤｍ１と区別するため、第３層デプスマップと呼ぶ。
　そして、第２層デプスマップ生成部１３２は、第２の物体を投影点Ｑから見た第２層デプスマップＤｍ２を生成する。なお、ここで生成される第２層デプスマップＤｍ２を、前記した第２層デプスマップＤｍ２と区別するため、第４層デプスマップと呼ぶ。このようにして生成された第３層デプスマップと第４層デプスマップとは、一対のペアとして被写体９０の再構成に用いられる。
　レンダリング部１７ｂは、被写体９０を分解した各物体に対するデプスマップのペアを用いて、前記した方法で各物体のレンダリングを行う。そして、レンダリングされた各物体を投影点から観測した際に、最も近い点が被写体９０の表面となるように合成することによって、当該被写体９０の表面を途切れなく再構成する。
　なお、被写体９０の形状が複雑な場合、当該被写体９０をさらに多くの物体に分解して、前記したのと同じ処理を繰り返し、さらに多くのデプスマップのペアを生成してもよい。
［３－２．第３の実施形態の効果］
　以上説明したように、第３の実施形態の符号化装置４０ｂ（情報処理装置）において、第１層デプスマップ生成部１３１および第２層デプスマップ生成部１３２（距離取得部）は、同じ投影点Ｑから、被写体９０を分解した各物体に対して、それぞれ、第１の距離ｄ１と第２の距離ｄ２とを取得する。そして、第１の距離ｄ１と第２の距離ｄ２とに基づいて再構成した各物体を合成することによって、被写体９０の像を再構成する。
　これにより、被写体９０が複雑な形状である場合でも、当該被写体９０の像を途切れなく再構成することができる。
（４．第４の実施形態）
［４－１．第４の実施形態の作用］
　第１の実施形態および第２の実施形態において、被写体９０の形状が複雑である場合には、オクルージョンの発生によって、被写体９０の表面の３Ｄ形状を途切れなくデータ化するのが困難である。第４の実施形態の情報処理システム１０ｂは、このような課題を解決するために、被写体９０を複数の物体に分解して、分解された各物体に対して、複数の投影点から、それぞれ第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成することによって、被写体９０の表面を途切れなくデータ化するものである。
　なお、第４の実施形態の情報処理システム１０ｂの構成（ハードウエア構成、機能構成）は、第２の実施形態で説明した情報処理システム１０ｂ（符号化装置４０ｂ、復号装置５０ｂ）と同じであるため、説明は省略する。
　次に、図２４を用いて、第４の実施形態の情報処理システムの作用を説明する。図２４は、第４の実施形態の情報処理システムの作用を説明する図である。
　情報処理システム１０ｂが備える符号化装置４０ｂにおいて、３Ｄモデル生成部１２は、被写体９０を複数の物体に分解する。そして、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、分解された各物体に対して、それぞれ、異なる投影点Ｑ１，Ｑ２，…から見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２を生成する。即ち、被写体９０が分解された各物体に対して、異なる投影点Ｑ１，Ｑ２，…から見た第１の距離ｄ１と第２の距離ｄ２とを取得する。なお、第１の実施形態で説明したように、投影点Ｑを始点として被写体９０に至る直線が、被写体９０を複数回貫く場合には、直線が被写体９０を貫くたびに、第１の点Ｐ１と第２の点Ｐ２のペアを生成する。
　例えば、図２４に示すように、３Ｄモデル生成部１２は、モデル化の対象となる被写体９０を、矢印状の第１の物体と、矩形状の第２の物体とに分解する。そして、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、第１の物体に対して、投影点Ｑ１から見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成する。また、第１層デプスマップ生成部１３１と第２層デプスマップ生成部１３２は、第１の物体に対して、投影点Ｑ２から見た第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とを生成する。
　但し、情報処理システム１０ｂは、各投影点Ｑ１，Ｑ２から見た被写体９０の映像を再構成する必要がある（View　Dependent描画）ため、第１層デプスマップＤｍ１は、各投影点Ｑ１，Ｑ２から被写体９０の全体を見たデプスマップとする。
　即ち、第１層デプスマップ生成部１３１は、被写体９０の全体を投影点Ｑ１から見た第１層デプスマップＤｍ１を生成する。これによって、図２４に示す点線のデプス値が格納された第１層デプスマップＤｍ１が生成される。そして、第２層デプスマップ生成部１３２は、矢印状の第１の物体の裏面側のデプス値を表す太線のデプス値が格納された第２層デプスマップＤｍ２を生成する。第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とは、一対のペアとして被写体９０の再構成に用いられる。
　次に、第１層デプスマップ生成部１３１は、被写体９０の全体を投影点Ｑ２から見た第１層デプスマップＤｍ１を生成する。これによって、図２４に示す点線のデプス値が格納された第１層デプスマップＤｍ１が生成される。そして、第２層デプスマップ生成部１３２は、矩形状の第２の物体の裏面側のデプス値を表す太線のデプス値が格納された第２層デプスマップＤｍ２を生成する。第１層デプスマップＤｍ１と第２層デプスマップＤｍ２とは、一対のペアとして被写体９０の再構成に用いられる。
［４－２．第４の実施形態の効果］
　以上説明したように、第４の実施形態の符号化装置４０ｂ（情報処理装置）において、第１層デプスマップ生成部１３１および第２層デプスマップ生成部１３２（距離取得部）は、異なる投影点Ｑ１，Ｑ２から、被写体９０を分解した各物体に対して、それぞれ、第１の距離ｄ１と第２の距離ｄ２とを取得する。そして、そして、第１の距離ｄ１と第２の距離ｄ２とに基づいて再構成した各物体を合成することによって、被写体９０の像を再構成する。
　これにより、被写体９０が複雑な形状である場合でも、当該被写体９０の像を途切れなく再構成することができる。
（５．本開示の応用例）
［５－１．コンテンツの制作］
　例えば、３Ｄモデル生成部１２で生成された被写体９０の３Ｄモデル９０Ｍと、他のサーバで管理されている３Ｄモデルとを合成して映像コンテンツを制作してもよい。また、例えば、Ｌｉｄａｒ等の撮像装置で背景データが存在している場合、３Ｄモデル生成部１２で生成された被写体９０の３Ｄモデル９０Ｍと背景データとを組み合わせることで、被写体９０が、あたかも背景データで示す場所にいるようなコンテンツを制作することができる。
［５－２．仮想空間での体験］
　例えば、ユーザがアバターとなってコミュニケーションを行う場である仮想空間の中に、３Ｄモデル生成部１２で生成された被写体９０を配置することができる。この場合、ユーザは、アバターとなって仮想空間で実写の被写体９０を視聴することが可能となる。
［５－３．遠隔地とのコミュニケーションへの応用］
　例えば、３Ｄモデル生成部１２で生成された被写体９０の３Ｄモデル９０Ｍを、送信部１４から遠隔地に送信することにより、遠隔地にある再生装置を通じて遠隔地のユーザが被写体９０の３Ｄモデル９０Ｍを視聴することができる。例えば、この被写体９０の３Ｄモデル９０Ｍをリアルタイムに伝送することにより、被写体９０と遠隔地のユーザとがリアルタイムにコミュニケーションをとることができる。例えば、被写体９０が先生であり、ユーザが生徒である場合や、被写体９０が医者であり、ユーザが患者である場合等が想定できる。
［５－４．その他］
　例えば、３Ｄモデル生成部１２で生成された複数の被写体９０の３Ｄモデル９０Ｍに基づいて、スポーツ等の自由視点映像を生成することもできる。また、個人が３Ｄモデル生成部１２で生成された自分を配信プラットフォームに配信することもできる。このように、本明細書に記載した実施形態における内容は、種々の技術やサービスに応用することができる。
　以上、本開示について、いくつかの実施形態を用いて説明したが、これらの実施形態は、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能ブロックを有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。更に、１つのステップに複数の処理が含まれる場合、その複数の処理を１つの装置が実行するようにしてのよいし、複数の装置が分担して実行するようにしてもよい。換言すると、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。更に、プログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよいし、他のプログラムの処理と組み合わせて実行されるようにしてもよい。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を適用して実施することもできる。例えば、いずれかの実施形態において説明した本技術の一部または全部を、他の実施形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本明細書に記載された効果は、あくまで例示であって限定されるものではなく、他の効果があってもよい。また、本開示の実施形態は、上述した実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、以下のような構成もとることができる。
　（１）
　被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部を備える、
　情報処理装置。
　（２）
　前記距離取得部は、
　前記第１の点が存在しない場合には、前記第１の距離として、所定の第１の距離値を取得して、
　前記第２の点が存在しない場合には、前記第２の距離として、前記第１の距離値よりも小さい、所定の第２の距離値を取得する、
　前記（１）に記載の情報処理装置。
　（３）
　前記距離取得部は、
　前記第１の距離値と前記第２の距離値とを、等しい値に設定する、
　前記（２）に記載の情報処理装置。
　（４）
　前記距離取得部が取得した前記第１の距離と前記第２の距離とを関連付けて、前記被写体の３次元形状を再構成する復号装置に送信する送信部を更に備える、
　前記（１）乃至（３）のいずれか１つに記載の情報処理装置。
　（５）
　前記被写体を複数の投影点から見たテクスチャ情報と、当該テクスチャ情報を取得したのと同じ複数の投影点から見た前記第１の距離と、を関連付けて取得する色・距離取得部を更に備える、
　前記（１）乃至（４）のいずれか１つに記載の情報処理装置。
　（６）
　前記距離取得部は、同じ前記投影点から、前記被写体を分解した各物体に対して、それぞれ、前記第１の距離と前記第２の距離とを取得する、
　前記（１）乃至（５）のいずれか１つに記載の情報処理装置。
　（７）
　前記距離取得部は、異なる前記投影点から、前記被写体を分解した各物体に対して、それぞれ、前記第１の距離と前記第２の距離とを取得する、
　前記（１）乃至（５）のいずれか１つに記載の情報処理装置。
　（８）
　被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離、または、前記第１の点が存在しない場合に、前記第１の距離として所定の第１の距離値を取得して、
　前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離、または、前記第２の点が存在しない場合に、前記第２の距離として、前記第１の距離値よりも小さい所定の第２の距離値を取得して、
　前記第１の距離と前記第２の距離との大小関係に基づいて、前記被写体の領域を特定する領域判定部を備える、
　情報処理装置。
　（９）
　前記投影点に係る複数の前記第１の距離に基づく、前記被写体の前記投影点から見た前面側の端部と、前記投影点に係る複数の前記第２の距離に基づく、前記被写体の前記投影点から見た背面側の端部とを接続する閉空間生成部を更に備える、
　前記（８）に記載の情報処理装置。
　（１０）
　前記閉空間生成部は、
　三角形状に隣接する３点の前記第１の距離のうち、２点の前記第１の距離が前記被写体の前面を表して、残り１点の前記第１の距離が前記被写体の前面を表さない場合に、
　前記残り１点を、前記３点に対応する前記第２の距離のうち、前記被写体の背面を表す２点のいずれか一方に代入して、
　前記３点に対応する前記第２の距離のうち、前記被写体の背面を表さない１点を、前記被写体の前面を表す２点のうち、前記残り１点を代入したのとは反対側の１点に代入する、
　前記（９）に記載の情報処理装置。
　（１１）
　前記被写体を複数の投影点から見たテクスチャ情報と、当該テクスチャ情報を取得したのと同じ複数の投影点から見た前記第１の距離と、を関連付けて取得する色・距離取得部と、
　前記色・距離取得部が取得した情報に基づいて、前記投影点から見た前記第１の距離に応じた第１の点の３次元位置と、前記投影点とは異なる投影点から見た前記第１の点の方向に対応する第１の距離に応じた３次元位置とが一致しない場合に、前記投影点から見た前記第１の点が、当該投影点とは異なる投影点からは見えないと判定する可視性確認部と、を更に備える、
　前記（８）に記載の情報処理装置。
　（１２）
　被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得して、前記投影点の位置と、前記第１の距離と、前記第２の距離とを関連付けることによって、前記被写体の３Ｄモデルを生成する、
　３Ｄモデルの生成方法。
　（１３）
　コンピュータを、
　被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部、
　として機能させるプログラム。
　１０ａ，１０ｂ…情報処理システム、１１…データ取得部、１２…３Ｄモデル生成部、１３ａ，１３ｂ…符号化部、１４…送信部、１５…受信部、１６ａ，１６ｂ…復号部、１７ａ，１７ｂ…レンダリング部、１８…表示部、４０ａ，４０ｂ…符号化装置（情報処理装置）、５０ａ，５０ｂ…復号装置（情報処理装置）、７０（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ｅ）…撮像装置、９０…被写体、９０Ｍ…３Ｄモデル、１３１…第１層デプスマップ生成部（距離取得部）、１３２…第２層デプスマップ生成部（距離取得部）、１３３…色情報パッキング部、１３４ａ，１３４ｂ…タイリング処理部（色・距離取得部）、１３５…画像圧縮処理部、１６１…画像伸長処理部、１６２…デプス有効領域判定部（領域判定部）、１６３…三角形パッチ生成部（閉空間生成部）、１６４…色情報テクスチャ切り出し部、１６５…デプスマップ切り出し部、１７１…デプスマップ生成部、１７２…可視性確認部、１７３…描画部、Ｃ…色情報テクスチャデータ（テクスチャ情報）、Ｄ１，Ｄ２…量子化デプス値（デプス値）、Ｄｍ１，Ｄ…第１層デプスマップ、Ｄｍ２…第２層デプスマップ、ｄ１…第１の距離、ｄ２…第２の距離、Ｎ…有効点数、Ｐ１…第１の点、Ｐ２…第２の点、Ｑ，Ｑ１，Ｑ２，Ｑａ，Ｑｂ…投影点、Ｒ，Ｒａ，Ｒｂ…投影面、Ｔ１，Ｔ２…タイリング画像、ｆａｒ…距離（第１の距離値）、ｎｅａｒ…距離（第２の距離値）

Claims (13)

  1. 　被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部を備える、
    　情報処理装置。
  2. 　前記距離取得部は、
    　前記第１の点が存在しない場合には、前記第１の距離として、所定の第１の距離値を取得して、
    　前記第２の点が存在しない場合には、前記第２の距離として、前記第１の距離値よりも小さい所定の第２の距離値を取得する、
    　請求項１に記載の情報処理装置。
  3. 　前記距離取得部は、
    　前記第１の距離値と前記第２の距離値とを、等しい値に設定する、
    　請求項２に記載の情報処理装置。
  4. 　前記距離取得部が取得した前記第１の距離と前記第２の距離とを関連付けて、前記被写体の３次元形状を再構成する復号装置に送信する送信部を更に備える、
    　請求項１に記載の情報処理装置。
  5. 　前記被写体を複数の投影点から見たテクスチャ情報と、当該テクスチャ情報を取得したのと同じ複数の投影点から見た前記第１の距離と、を関連付けて取得する色・距離取得部を更に備える、
    　請求項１に記載の情報処理装置。
  6. 　前記距離取得部は、同じ前記投影点から、前記被写体を分解した各物体に対して、それぞれ、前記第１の距離と前記第２の距離とを取得する、
    　請求項１に記載の情報処理装置。
  7. 　前記距離取得部は、異なる前記投影点から、前記被写体を分解した各物体に対して、それぞれ、前記第１の距離と前記第２の距離とを取得する、
    　請求項１に記載の情報処理装置。
  8. 　被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離、または、前記第１の点が存在しない場合に、前記第１の距離として所定の第１の距離値を取得して、
    　前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離、または、前記第２の点が存在しない場合に、前記第２の距離として、前記第１の距離値よりも小さい所定の第２の距離値を取得して、
    　前記第１の距離と前記第２の距離との大小関係に基づいて、前記被写体の領域を特定する領域判定部を備える、
    　情報処理装置。
  9. 　前記投影点に係る複数の前記第１の距離に基づく、前記被写体の前記投影点から見た前面側の端部と、前記投影点に係る複数の前記第２の距離に基づく、前記被写体の前記投影点から見た背面側の端部とを接続する閉空間生成部を更に備える、
    　請求項８に記載の情報処理装置。
  10. 　前記閉空間生成部は、
    　三角形状に隣接する３点の前記第１の距離のうち、２点の前記第１の距離が前記被写体の前面を表して、残り１点の前記第１の距離が前記被写体の前面を表さない場合に、
    　前記残り１点を、前記３点に対応する前記第２の距離のうち、前記被写体の背面を表す２点のいずれか一方に代入して、
    　前記３点に対応する前記第２の距離のうち、前記被写体の背面を表さない１点を、前記被写体の前面を表す２点のうち、前記残り１点を代入したのとは反対側の１点に代入する、
    　請求項９に記載の情報処理装置。
  11. 　前記被写体を複数の投影点から見たテクスチャ情報と、当該テクスチャ情報を取得したのと同じ複数の投影点から見た前記第１の距離と、を関連付けて取得する色・距離取得部と、
    　前記色・距離取得部が取得した情報に基づいて、前記投影点から見た前記第１の距離に応じた第１の点の３次元位置と、前記投影点とは異なる投影点から見た前記第１の点の方向に対応する第１の距離に応じた３次元位置とが一致しない場合に、前記投影点から見た前記第１の点が、当該投影点とは異なる投影点からは見えないと判定する可視性確認部と、を更に備える、
    　請求項８に記載の情報処理装置。
  12. 　被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得して、前記投影点の位置と、前記第１の距離と、前記第２の距離とを関連付けることによって、前記被写体の３Ｄモデルを生成する、
    　３Ｄモデルの生成方法。
  13. 　コンピュータを、
    　被写体の表面の３Ｄ形状に基づいて、投影点から前記被写体に至る直線が前記被写体と接触する第１の点と前記投影点との第１の距離と、前記第１の点から前記被写体の内部に進入した前記直線が前記被写体から外部に貫通する第２の点と前記投影点との第２の距離と、を取得する距離取得部、
    　として機能させるプログラム。
PCT/JP2021/010470 2020-03-26 2021-03-16 情報処理装置、３ｄモデル生成方法およびプログラム WO2021193213A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022509962A JPWO2021193213A1 (ja) 2020-03-26 2021-03-16
US17/801,403 US20230084376A1 (en) 2020-03-26 2021-03-16 Information processing device, 3d model generation method, and program
CN202180022318.8A CN115398180A (zh) 2020-03-26 2021-03-16 信息处理设备、3d模型生成方法及程序
DE112021001867.1T DE112021001867T5 (de) 2020-03-26 2021-03-16 Informationsverarbeitungsvorrichtung, 3d-modellerzeugungsverfahren und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-056899 2020-03-26
JP2020056899 2020-03-26

Publications (1)

Publication Number Publication Date
WO2021193213A1 true WO2021193213A1 (ja) 2021-09-30

Family

ID=77892108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010470 WO2021193213A1 (ja) 2020-03-26 2021-03-16 情報処理装置、３ｄモデル生成方法およびプログラム

Country Status (5)

Country Link
US (1) US20230084376A1 (ja)
JP (1) JPWO2021193213A1 (ja)
CN (1) CN115398180A (ja)
DE (1) DE112021001867T5 (ja)
WO (1) WO2021193213A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054156A1 (ja) 2021-09-29 2023-04-06 ソニーグループ株式会社 情報処理装置および方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817875B (zh) * 2022-12-23 2023-10-01 宏碁股份有限公司 基於多執行緒產生三維影像的電子裝置和方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074252A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074252A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOMIYAMA, KIMIHIRO ET AL.: "A 3D modeling method supported by the regional surface feature and its real-time rendering system", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 61, no. 4, 1 April 2007 (2007-04-01), pages 471 - 481, XP055861421 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054156A1 (ja) 2021-09-29 2023-04-06 ソニーグループ株式会社 情報処理装置および方法

Also Published As

Publication number Publication date
JPWO2021193213A1 (ja) 2021-09-30
US20230084376A1 (en) 2023-03-16
CN115398180A (zh) 2022-11-25
DE112021001867T5 (de) 2023-01-12

Similar Documents

Publication Publication Date Title
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
EP3669333B1 (en) Sequential encoding and decoding of volymetric video
JP5654138B2 (ja) ３ｄヒューマンマシンインターフェースのためのハイブリッドリアリティ
TWI724626B (zh) 用於全視差壓縮光場三維成像系統之方法
US20230068178A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
KR100806201B1 (ko) 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
WO2021193213A1 (ja) 情報処理装置、３ｄモデル生成方法およびプログラム
US10827161B2 (en) Depth codec for 3D-video recording and streaming applications
JP2011501496A (ja) 奥行きマップを処理する方法及び装置
JPH09289638A (ja) ３次元画像符号化復号方式
CN111937382A (zh) 图像处理装置、图像处理方法、程序和图像传输***
Kim et al. Three-dimensional natural video system based on layered representation of depth maps
JP2022533754A (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
CN102301712A (zh) 对亮度和色度彩色空间图像使用棋盘形马赛克的图像压缩
WO2022269944A1 (ja) 情報処理装置および方法
WO2014041355A1 (en) Multi-view high dynamic range imaging
CN116075860A (zh) 信息处理装置、信息处理方法、视频分发方法和信息处理***
US20220084282A1 (en) Image processing device, image generation method, and image processing method
KR101285811B1 (ko) 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법
Dumic et al. Projection based dynamic point cloud compression using 3DTK toolkit and H. 265/HEVC
DE112021003828T5 (de) Informationsverarbeitungsvorrichtung und Bilddatenerzeugungsverfahren
KR20060056558A (ko) 영상의 인코딩 및 디코딩 방법
CN116018619A (zh) 信息处理装置、信息处理方法和程序
Wegner et al. Omnidirectional view synthesis and test images
US20230196653A1 (en) Information processing device, generation method, and rendering method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775013

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509962

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21775013

Country of ref document: EP

Kind code of ref document: A1