WO2017217296A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- WO2017217296A1 WO2017217296A1 PCT/JP2017/021115 JP2017021115W WO2017217296A1 WO 2017217296 A1 WO2017217296 A1 WO 2017217296A1 JP 2017021115 W JP2017021115 W JP 2017021115W WO 2017217296 A1 WO2017217296 A1 WO 2017217296A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- distance
- virtual object
- color
- subject portion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
Definitions
- the present invention relates to an image processing apparatus, an image processing method, a program, and an information storage medium that generate an image obtained by synthesizing a virtual object with a photographed image of a camera.
- a technique for synthesizing a virtual object with a photographed image obtained by a camera is known. By using such a technique, it is possible to present an image to a user as if a virtual object that does not actually exist is present in real space.
- the color of the virtual object should change or the shadow will be caused by lighting such as ambient ambient light.
- lighting such as ambient ambient light
- the present invention has been made in consideration of the above circumstances, and one of its purposes is to provide a realistic lighting effect when a virtual object is synthesized with a landscape image representing a scenery in a real space.
- An image processing apparatus, an image processing method, a program, and an information storage medium are provided.
- An image processing apparatus is a distance image including information indicating a distance to a subject in real space, and each of one or a plurality of regions in the distance image is a subject reflected in the region.
- a distance image acquisition unit for acquiring a distance image including information on a distance to a part and a color component of the subject part, and a composition for generating a composite image in which a virtual object is arranged on a landscape image representing a scenery in a real space
- Another image processing apparatus is a distance image including information indicating a distance to a subject in real space, and each of one or a plurality of regions in the distance image is included in the region.
- a distance image acquisition unit for acquiring a distance image including information on a distance to a captured subject portion, and a composite image generation unit for generating a composite image in which a virtual object is arranged on a landscape image representing a landscape in real space;
- the composite image generation unit calculates the amount of change in color of the subject portion due to light from the virtual object based on the position of the subject portion in real space and the display color of the virtual object.
- the color of the pixel in the landscape image corresponding to the subject portion is changed according to the calculated change amount.
- the image processing method is a distance image including information indicating a distance to a subject, and for each of one or a plurality of regions in the distance image, the distance to the subject portion reflected in the region.
- a distance image acquisition step for acquiring a distance image including information on the color component of the subject portion
- a composite image generation step for generating a composite image in which a virtual object is arranged on a landscape image representing a landscape in real space;
- the display color of the virtual object is determined based on the distance to the subject portion and the color component shown in the distance image.
- the program according to the present invention is a distance image including information indicating a distance to a subject in real space, and for each of one or a plurality of regions in the distance image, up to a subject portion reflected in the region.
- a distance image acquisition unit for acquiring a distance image including information on the distance and the color component of the subject portion, and a composite image for generating a composite image in which a virtual object is arranged on a landscape image representing a landscape in real space
- This program may be provided by being stored in a computer-readable non-transitory information storage medium.
- FIG. 1 is a configuration block diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention. It is a functional block diagram which shows the function of the image processing apparatus which concerns on embodiment of this invention. It is a figure which shows an example of the scenery image showing the scenery in real space. It is a figure which shows an example of the distance image corresponding to the scenery image of FIG. It is a figure which shows a mode that the detection point from which the distance was detected in the distance image was plotted in virtual space. It is a figure which shows an example of the light source image in this embodiment. It is a figure which shows an example of the synthesized image by which the virtual object is arrange
- FIG. 1 is a diagram showing a state in which an image processing apparatus 1 according to an embodiment of the present invention is used.
- FIG. 2 is a configuration block diagram showing the configuration of the image processing apparatus 1.
- the image processing apparatus 1 is, for example, a home game machine, a portable game machine, a personal computer, a smart phone, or the like, and includes a control unit 11, a storage unit 12, and an interface unit 13, as shown in FIG. It is configured to include.
- the image processing apparatus 1 is connected to a display device 14 and a stereo camera 15 as shown in FIG.
- the control unit 11 includes at least one processor, and executes various kinds of information processing by executing programs stored in the storage unit 12. A specific example of processing executed by the control unit 11 in the present embodiment will be described later.
- the storage unit 12 includes at least one memory device such as a RAM, and stores a program executed by the control unit 11 and data processed by the program.
- the interface unit 13 is an interface for the image processing apparatus 1 to exchange various information with the display device 14 and the stereo camera 15.
- the display device 14 is a head mounted display, a home television receiver, a liquid crystal display, or the like, and displays an image corresponding to the video signal output from the image processing device 1 on the screen.
- the stereo camera 15 is composed of a plurality of cameras arranged side by side. Specifically, in the present embodiment, the stereo camera 15 is configured by two cameras, a camera 15a and a camera 15b. By using the parallax of these cameras, it is possible to calculate the distance to the subject in the shooting range of both cameras.
- the captured image captured by each camera is input to the image processing apparatus 1 via the interface unit 13.
- both the display device 14 and the stereo camera 15 may be built in the housing of the image processing device 1 or may be separate devices connected to the image processing device 1 by wire or wirelessly. Further, the stereo camera 15 may be fixed to the display device 14 or may be built in the housing of the display device 14.
- the image processing apparatus 1 functionally includes an image acquisition unit 21, a spatial coordinate calculation unit 22, an object display color determination unit 23, and a composite image generation unit 24. ing. These functions are realized by the control unit 11 operating according to a program stored in the storage unit 12. This program may be provided to the image processing apparatus 1 via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disk.
- the image processing apparatus 1 generates a composite image CI in which a virtual object O is arranged with respect to a landscape image VI representing a real space landscape. The generated composite image CI is displayed on the display device 14.
- the image acquisition unit 21 acquires a distance image (depth map) DM obtained by the stereo camera 15 shooting a real space.
- the distance image DM is an image including information on the distance D and the color component C for each of a plurality of unit regions in the image.
- the unit area may be an individual pixel in the image, or a pixel block including a plurality of adjacent pixels.
- the distance D is the distance to the portion of the subject (hereinafter referred to as the detection point P) that is reflected in the corresponding unit area.
- the image acquisition unit 21 calculates the distance D to the detection point P from the position shift due to the parallax of the same detection point P between the captured image of the camera 15a and the captured image of the camera 15b.
- the color component C is information representing the color of the corresponding unit area, and is composed of one or a plurality of numerical values.
- the color component C may be a numerical value representing the luminance of each of the basic colors of R (red), G (green), and B (blue).
- the image acquisition unit 21 acquires the pixel value of the unit area in the captured image of either the camera 15a or the camera 15b as the color component C. Note that when the captured images of the camera 15a and the camera 15b are monochrome images, the color component C may be one type of numerical value representing the luminance and brightness of the unit area.
- FIG. 4 shows an example of a landscape image VI representing a scene in the real space, which is photographed by one of the cameras constituting the stereo camera 15.
- FIG. 5 shows an example of a distance image DM corresponding to the scenery image VI.
- the distance D is not specified in all unit regions in the distance image DM.
- the dot pattern in the figure indicates a unit region in which the distance D to the subject portion shown at that position is specified.
- the area where the dot pattern is not arranged is an area where the distance D cannot be specified.
- the distance D is not calculated for a location where the correspondence between the two captured images obtained by the stereo camera 15 cannot be specified.
- the detection point P has a one-to-one correspondence with the unit area in which the distance D is specified in the distance image DM. That is, when an object having a certain size is captured across a plurality of unit areas in the distance image DM, a plurality of detection points P exist on the surface of the object.
- the spatial coordinate calculation unit 22 calculates the position coordinates (spatial coordinates) X of each detection point P in the real space based on the position of each unit area included in the distance image DM and the information on the distance D. calculate.
- the position coordinates in the distance image DM of the unit area of interest are represented by (u, v) here.
- This coordinate value represents the direction to the detection point P with the position of the stereo camera 15 as a reference.
- the value of the position coordinate X of the detection point P in the spatial coordinate system with the position of the stereo camera 15 as the origin can be calculated.
- the color component C of each unit area represents the color of the subject portion at the position of the detection point P. That is, information on the position coordinate X and the color component C is obtained for each of the plurality of detection points P in the real space.
- the distance D and the color component C are specified for N unit regions in the distance image DM.
- i is an integer from 1 to N
- the position coordinates in the distance image DM of the i-th unit region are represented as (ui, vi), and the distance to the subject in the unit region is represented as Di.
- the color component of the unit area is represented by three luminance values of Cri, Cgi, and Cbi.
- the position coordinate Xi of the detection point Pi corresponding to the i-th unit region is calculated from three numerical values of ui, vi, and Di.
- the position coordinate Xi is represented by a coordinate value (xi, yi, zi) in a three-dimensional space.
- the color component C at the detection point Pi is represented by three luminance values (Cri, Cgi, Cbi).
- the coordinate value (xi, yi, zi) of the position coordinate X and the luminance value (Cri, Cgi, Cbi) of the color component C are specified.
- FIG. 6 shows a state in which a plurality of detection points P are plotted in the virtual space corresponding to the real space.
- the position of each detection point P in this figure corresponds to the position in the real space represented by the position coordinate X.
- a straight line extending from the shooting position of the stereo camera 15 indicates the shooting range of the stereo camera 15.
- the object display color determination unit 23 arranges the virtual object O in the virtual space corresponding to the real space. Information such as the shape of the virtual object O and the texture of the surface is stored in the storage unit 12 in advance.
- the object display color determination unit 23 determines the display color of the virtual object O based on the position coordinates X of each detection point P calculated by the space coordinate calculation unit 22 and the information of the color component C. More specifically, the object display color determination unit 23 reflects the influence (lighting effect) of ambient light on the original color of the virtual object O surface, so that the surface of the virtual object O in actual display is displayed. The color component of is determined. When determining this lighting effect, the position coordinate X of each detection point P and the information of the color component C are used as a light source. This is a technique similar to a known technique called image-based lighting that uses an image as a light source.
- the distance image DM is actually acquired using the stereo camera 15, and the position coordinate X and the color component C information of each detection point P calculated based on the distance image DM are used as the light source. Use as Therefore, compared with image-based lighting, the influence of the ambient light on the virtual object O can be reproduced in a form closer to reality.
- the object display color determination unit 23 converts the position coordinate X of each detection point P into a coordinate value of a polar coordinate system (spherical coordinate system) with the placement position of the virtual object O as the origin.
- the coordinate value of the polar coordinate system includes two angle values ⁇ and ⁇ representing the direction of each detection point P viewed from the virtual object O, and a distance r from the origin to the detection point P.
- ⁇ is a value from 0 degrees to 360 degrees representing the orientation of the detection point P viewed from the virtual object O.
- ⁇ represents the elevation angle or depression angle of the detection point P viewed from the virtual object O, and takes a value from ⁇ 90 degrees (directly downward direction) to 90 degrees (directly upward direction) with the horizontal direction being 0 degrees.
- FIG. 7 shows a state in which some detection points P are arranged on the ( ⁇ , ⁇ ) plane of this polar coordinate system, and the positions of a plurality of detection points P including three detection points P1 to P3 as samples are shown. It is shown.
- a planar image formed by arranging the detection points P on the ( ⁇ , ⁇ ) plane in this way is used for determining the lighting effect on the virtual object O, similarly to the light source image in the image-based lighting.
- a planar image obtained by arranging the detection point P on the ( ⁇ , ⁇ ) plane is referred to as a light source image LM.
- the light source image LM is an image in which information on the color component C and the distance r is set for each of a plurality of unit regions obtained by dividing the interior of the light source image LM.
- the color component C and the distance r corresponding to the detection point P are set.
- the color component C represents the color of the object existing at the detection point P
- the distance r represents the distance from the virtual object O to the detection point P.
- the color component C of the detection point P may be the color component C itself of the unit area corresponding to the detection point P in the distance image DM, or the color of the detection point P and the surrounding detection points P.
- the average value of component C may be used.
- the detection points P do not correspond to all unit areas, and there are unit areas that do not correspond to the detection points P. For example, with respect to a portion that is hidden behind another object as viewed from the stereo camera 15, it is impossible to specify what object is present using the distance image DM. Therefore, even if any object exists at such a blind spot, the detection point P representing the object is not included in the light source image LM. Further, as described above, since the distance D cannot be specified for all unit areas in the distance image DM, a subject in a unit area for which the distance D cannot be specified corresponds to the subject. The detection point P cannot be arranged in the light source image LM.
- a unit area (hereinafter referred to as a blank area) that does not correspond to the detection point P in the light source image LM.
- This blank area may be ignored when determining the lighting effect, but the color component C and the distance r of the blank area are determined by executing an interpolation process using information on the known detection point P. May be. A specific example of this interpolation processing will be described later.
- the object display color determination unit 23 sets each unit area in which the color component C is set in the light source image LM (that is, the unit area corresponding to the detection point P and the interpolation process). Using the unit region in which the color component C is calculated as a light source, the display color of the virtual object O when the light from the light source is irradiated is determined. This can be realized by a process similar to image-based lighting. However, in the present embodiment, not only the color component C but also the distance r from the virtual object O is set for each unit region in the light source image LM.
- a unit region having a smaller distance r that is, a unit region where it is assumed that an object is located near the virtual object O
- a unit region having a smaller distance r that is, a unit region where it is assumed that an object is located near the virtual object O
- the luminance value included in the color component C is corrected so that the luminance is larger than actual for a unit region having a small distance r, and is smaller than actual for a unit region having a large distance r.
- the color represented by the corrected color component C of each unit area is projected onto the surface of the virtual object O using the same calculation formula as that for image-based lighting.
- the object display color determination unit 23 may calculate a change in the color of the surrounding object caused by arranging the virtual object O. Specifically, the object display color determination unit 23 calculates the lighting effect similar to that performed for the virtual object O described above for each detection point P around the position where the virtual object O is arranged in the virtual space. To calculate the amount of change in color due to light from the virtual object O. However, since the influence of the light from the other detection points P should be reflected in the scenery image VI actually captured in the real space, the object display color determination unit 23 moves to the detection point P by the color component on the surface of the virtual object O. Only the effects of Further, it is not necessary to reflect the influence of light from the virtual object O for all detection points P.
- the object display color determination unit 23 calculates the amount of color change caused by the virtual object O only for the detection point P whose distance from the virtual object O is a predetermined value or less. A specific example of the calculation of the lighting effect by the virtual object O will be described later.
- the composite image generation unit 24 generates a composite image CI formed by arranging the virtual object O on the landscape image VI.
- the virtual object O arranged so as to overlap the landscape image VI has a shape viewed from the position in the virtual space corresponding to the stereo camera 15 and the display color determined by the object display color determination unit 23. Is displayed.
- the composite image generation unit 24 causes a color change due to the influence of the virtual object O to the area around the virtual object O in the landscape image VI. Specifically, the composite image generation unit 24 reflects the amount of color change due to light from the virtual object O for each detection point P, calculated by the above-described processing, on the pixel corresponding to the detection point P in the landscape image VI. Let Further, the pixel value may be changed not only for the pixel corresponding to the detection point P but also for the surrounding pixels. As a result, when the virtual object O actually exists, a lighting effect that is assumed to be generated by the light can be generated in the landscape image VI.
- FIG. 8 is a diagram showing an example of the composite image CI, and shows a state in which the virtual object O is arranged in the landscape image VI shown in FIG.
- the composite image CI generated in this way is displayed on the screen of the display device 14.
- the object display color determination unit 23 determines the color component C and the distance r of the blank area in the light source image LM.
- the light source image LM is divided into a plurality of meshes (polygonal regions) by connecting a plurality of detection points P in the light source image LM.
- a value obtained by weighted averaging of the color component C of the detection point P constituting the vertex of the mesh is set as the color component C of the blank area.
- the weight to be multiplied by the color component C of each detection point P may be determined according to the distance between the blank area and each detection point P. For example, in FIG. 7, for the blank area W surrounded by the detection points P1, P2, and P3, the red luminance value Crw is calculated by the following calculation formula.
- Crw (w1, Crp1 + w2, Crp2 + w3, Crp3) / (w1 + w2 + w3)
- Crp1, Crp2, and Crp3 are the red luminance values of the detection points P1, P2, and P3, respectively.
- w1, w2, and w3 are weights determined according to the distance between each detection point P and the blank area W. This weight is determined so as to increase as the distance between the detection point P and the blank area W is shorter.
- the luminance values of other basic colors are calculated in the same manner. Further, the distance r may be calculated in the same manner.
- the calculation of the color component C of the blank area by such interpolation can also be realized in hardware by a GPU (Graphics (Processing Unit).
- the GPU has a function of calculating the color components of texels surrounded by a plurality of vertices from the color components of surrounding vertices by interpolation when executing texture mapping or the like. By using such a function, the object display color determination unit 23 can calculate the color component C of each blank area at high speed.
- the object display color determination unit 23 may set the same color component C for all blank areas surrounded by a plurality of detection points P.
- the color component C set in the blank area may be a representative value (average value or the like) of the color components C of the plurality of detection points P surrounding the blank area.
- the same color component C is set for all blank areas in a triangle formed by connecting the detection points P1, P2, and P3 in FIG. Note that the same value calculated in the same manner may be set for the distance r.
- the object display color determination unit 23 calculates the distance from the target detection point P to one or more reference points on the surface of the virtual object O for the target detection point P for which the influence of the virtual object O is calculated.
- the reference point set on the surface of the virtual object O may be a texture texel mapped on the surface of the virtual object O, or may be an area composed of a plurality of texels.
- the vertex of the polygon which comprises the virtual object O may be sufficient.
- the object display color determination unit 23 uses the information on the color components of each reference point on the surface of the virtual object O to calculate the color change amount (lighting effect) of the attention detection point P due to light from the reference point.
- the color change amount ⁇ Cp1 of a certain target detection point P1 due to the influence of one reference point O1 on the surface of the virtual object O may be calculated by the following calculation formula.
- ⁇ Cp1 (A ⁇ Co1) / r
- Co1 is the value of the color component of the reference point O1
- r is the distance between the reference point O1 and the target detection point P1.
- A is a predetermined constant.
- the amount of change is calculated using the above-described calculation formula for each.
- this calculation formula is used, as the distance r increases, the influence of the color of the virtual object O decreases exponentially. Whatever calculation formula is used, it is desirable that the larger the distance r, the smaller the influence of the color of the virtual object O.
- the object display color determination unit 23 calculates the amount of change for each reference point using the calculation formula described above. Then, the amount of change calculated for each reference point is summed to calculate the total amount of change. This total change amount is the color change amount ⁇ Cp due to the influence of the virtual object O on the color component C of the target detection point P.
- the object display color determination unit 23 calculates the color change amount ⁇ Cp by calculation as described above for each of the plurality of attention detection points P around the virtual object O, and sets the color component C of the original attention detection point P as the color component C. Add to. Thereby, the lighting effect to the area
- the color change amount ⁇ Cp can be calculated only for the detection point P where the position coordinate X in the real space can be specified.
- the change amount ⁇ Cp may be determined by interpolation processing.
- the interpolation processing in this case may be processing similar to that performed for the blank area of the light source image LM. That is, for the attention area to be subjected to interpolation processing, the color change amount ⁇ Cp of the attention area is calculated by weighted averaging or the like using the color change amounts ⁇ Cp of the plurality of detection points P around the attention area. To do.
- the object display color determination unit 23 may directly use the color change amount ⁇ Cp of the detection point P closest to the attention area as the value of the color change amount ⁇ Cp of the attention area.
- the object display color determination unit 23 specifies the position of the light source existing in the real space based on the distance image DM, and uses the specified light source position to determine the virtual object.
- the lighting effect on the surroundings due to O may be calculated.
- the position coordinates of the light source position in the real space are calculated using the distance image DM.
- the object display color determination unit 23 determines that the detection point P in which the value of the color component C is greater than a predetermined value (that is, the luminance and brightness are high) in the distance image DM is a light source.
- the center position of these detection points P may be determined as the light source.
- the object display color determination unit 23 can specify the three-dimensional position coordinate Lx of the light source in the real space.
- the object display color determination unit 23 calculates the amount of color change ⁇ Cp that occurs at another detection point P when the light from the light source is reflected by the surface of the virtual object O.
- the lighting effect due to the reflection of light from the light source can be calculated by a known method using information such as the color component C of the light source, the position coordinates Lx of the light source, and the normal direction of the surface of the virtual object O.
- lighting effects that occur at locations other than the detection point P can also be calculated by interpolation processing similar to the above-described example.
- the object display color determination unit 23 may express the shadow of the virtual object O caused by the light from the light source using the position coordinates Lx of the light source and the position coordinates of the virtual object O. Specifically, when the three-dimensional position coordinate of the attention detection point P1 around the virtual object O is X1, the object display color determination unit 23 indicates that the straight line connecting the position coordinate X1 and the light source position coordinate Lx is virtual. It is determined whether or not the object O is passed. If it is determined that the object passes, the shadow of the virtual object O is generated at the attention detection point P1, and thus the correction of darkening the color of the attention detection point P1 is performed.
- interpolation processing is performed using the determination result of the surrounding detection points P for an area where the distance D is not specified. As a result, it is possible to express a shadow generated in the composite image CI due to the presence of the virtual object O.
- the object display color determination unit 23 generates a reflection / shadow map texture including information on the lighting effect (color change amount) by the virtual object O for each unit area included in the landscape image VI.
- the composite image generation unit 24 superimposes the texture on the landscape image VI to generate a composite image CI that reflects the lighting effect caused by the virtual object O reflecting or blocking light from the light source existing in the real space. Can be generated.
- the image acquisition unit 21 acquires two captured images captured by the stereo camera 15 (step S1).
- a photographed image photographed by the camera 15a is used as the scenery image VI.
- the image acquisition unit 21 generates a distance image DM using the two captured images acquired in step S1 (step S2).
- the spatial coordinate calculation unit 22 determines the position coordinate X and the color component C of the detection point P using the information of each unit area in the distance image DM generated in step S2 (step S3).
- the position coordinates X are calculated for the same number of detection points P as the unit areas in which the distance D is specified in the distance image DM.
- the object display color determination unit 23 determines the arrangement position of the virtual object O in the real space (step S4).
- the object display color determination unit 23 may determine the placement position of the virtual object O in accordance with, for example, a user instruction.
- the arrangement position of the virtual object O may be determined based on the result of analyzing the landscape image VI.
- the object display color determination unit 23 converts the position coordinate X of each detection point P calculated in step S3 into a coordinate value of a polar coordinate system having the placement position of the virtual object O determined in step S4 as the origin. Thereby, the light source image LM is generated (step S5). Thereafter, the object display color determination unit 23 uses the information on the position, distance r, and color component C of the detection point P calculated in step S5 in the light source image LM to perform interpolation processing on the blank area in the light source image LM. Is executed (step S6).
- the object display color determination unit 23 determines the display color of the virtual object O using the light source image LM in which the distance r and the color component C are determined for each unit region in steps S5 and S6 (Ste S7). Further, the object display color determination unit 23 uses the display color information of the virtual object O determined in step S7, and the detection point P around the virtual object O has a color assumed to be generated by the influence of the virtual object O. The change is calculated (step S8).
- the composite image generation unit 24 combines the virtual object O with the landscape image VI obtained in step S1 to generate a composite image CI (step S9).
- the composite image generation unit 24 uses the color determined in step S7 as the display color of the virtual object O.
- the color change determined in step S8 is reflected on the pixels around the virtual object O in the landscape image VI.
- the composite image generation unit 24 displays the generated composite image CI on the screen of the display device 14 (step S10).
- the image processing apparatus 1 repeatedly executes the processing described above at time intervals according to the frame rate of the display device 14, for example.
- the image processing apparatus 1 can display a moving image in which the surrounding situation is reflected in the display color of the virtual object O in real time, such as when the display color of the virtual object O becomes dark when hidden by a human shadow. it can.
- the embodiments of the present invention are not limited to those described above.
- the captured image used for generating the distance image DM is used as it is as the scenery image VI.
- the present invention is not limited to this, and the image processing apparatus 1 may acquire the landscape image VI separately from the captured image used to generate the distance image DM.
- the image processing apparatus 1 uses an image shot under a predetermined shooting condition as the scenery image VI.
- the distance image DM is generated using an image photographed under a photographing condition different from the photographing condition for photographing the landscape image VI.
- the shooting conditions in this case include shutter speed, exposure, sensitivity, and the like. By changing the shooting conditions in this way, shooting can be performed under conditions that make it easy to specify the distance D.
- the information on the color component C of each unit area included in the distance image DM may be determined with reference to the scenery image VI. Further, when shooting a captured image used for generating the distance image DM, the distance image DM in which the distance D is specified only in a bright unit region can be obtained by increasing the shutter speed. If such a distance image DM is used, only the high-intensity detection point P that is assumed to have a large influence is ignored, ignoring the low-intensity detection point P that is assumed to have little influence on the virtual object O.
- the display color of the virtual object O can be determined using Instead of changing the shooting conditions of the stereo camera 15, the lighting effect may be calculated using information on unit areas in which the value of the color component C in the distance image DM is equal to or greater than a predetermined value.
- the lighting effect on the virtual object O is determined by using only one distance image DM obtained by photographing with one stereo camera 15, but the present invention is not limited to this, and the lighting effects are arranged at different positions.
- the display color of the virtual object O may be determined using a plurality of distance images DM obtained using the plurality of stereo cameras 15. In this example, it is assumed that the image processing apparatus 1 has acquired information regarding the positional relationship of each stereo camera 15 in advance.
- the spatial coordinate calculation unit 22 calculates the position coordinate X of the detection point P using the distance image DM obtained by photographing with each stereo camera 15.
- the object display color determining unit 23 generates a light source image LM by arranging a plurality of detection points P obtained from the plurality of distance images DM in one light source image LM.
- the detection point P obtained from each stereo camera 15 exists within a predetermined distance range in the real space, only one of the data may be used, or both data are reflected in the light source image LM. You may let them.
- the display color of the virtual object O using the light source image LM obtained in this way, information such as a blind spot area that cannot be captured by only one distance image DM is reflected in the display color of the virtual object O. Can do.
- a stereo camera 15 is installed at both a low position and a high position such as a ceiling, and a distance image DM is generated using a captured image obtained from the stereo camera 15, so that detection that cannot be specified only by a single distance image DM is performed.
- the display color of the virtual object O can be determined using the information of the point P.
- the image processing apparatus 1 may determine the display color of the virtual object O by using a plurality of distance images DM obtained by performing a plurality of shootings with the same stereo camera 15 taking time. In particular, it is possible to acquire more information about the detection points P by performing shooting a plurality of times while changing the shooting conditions, shooting direction, and shooting position of the stereo camera 15.
- the shooting range of the stereo camera 15 changes according to the movement of the user's face.
- the camera that captures the landscape image VI may be a camera different from the stereo camera 15 that captures the distance image DM.
- the image processing apparatus 1 has previously acquired positional relationship information of each camera, as in the case of using a plurality of stereo cameras 15. If the positional relationship between the position of each detection point P obtained from the distance image DM in the real space and the shooting range of the landscape image VI is known, the image processing apparatus 1 uses the information on the detection point P as information. It is possible to determine the display color of the virtual object O arranged so as to overlap the scenery image VI.
- the distance image DM is generated using a plurality of captured images obtained by the stereo camera 15.
- the present invention is not limited to this, and the distance image DM may be generated by any method as long as it includes information on the distance D to the subject for each unit region within the distance image DM.
- the image processing apparatus 1 may determine the display color of the virtual object O using a distance image DM generated by, for example, a pattern irradiation method or a TOF method.
- the image processing apparatus 1 is installed at a place where the scenery image VI and the distance image DM are taken, and is directly connected to the stereo camera 15.
- the embodiment of the present invention is as described above. Not limited to anything.
- the image processing apparatus 1 may be a server apparatus installed at a location away from the shooting location. In this case, the image processing apparatus 1 may acquire the distance image DM generated by another computer via a network, instead of generating the distance image DM by itself.
- 1 image processing device 11 control unit, 12 storage unit, 13 interface unit, 14 display device, 15 stereo camera, 21 image acquisition unit, 22 spatial coordinate calculation unit, 23 object display color determination unit, 24 composite image generation unit.
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得し、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する画像処理装置であって、距離画像に写っている被写体部分までの距離、及び色成分に基づいて、仮想オブジェクトの表示色を決定する画像処理装置である。
Description
本発明は、カメラの撮影画像に仮想オブジェクトを合成した画像を生成する画像処理装置、画像処理方法、プログラム、及び情報記憶媒体に関する。
カメラによって得られる撮影画像に対して、仮想オブジェクトを合成する技術が知られている。このような技術を用いることにより、現実には存在しない仮想オブジェクトがあたかも実空間に存在するかのような画像をユーザーに提示することができる。
もし仮想オブジェクトが実空間に実際に存在したとすると、周囲の環境光などのライティングによって、仮想オブジェクトの色が変化したり、陰影が生じたりするはずである。しかしながら、上記従来例の技術では、このようなライティングによる効果を表現することが困難であった。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、実空間の景色を表す景色画像に仮想オブジェクトを合成する際に、リアリティのあるライティング効果をもたらすことのできる画像処理装置、画像処理方法、プログラム、及び情報記憶媒体を提供することにある。
本発明に係る画像処理装置は、実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得部と、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部と、を含み、前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定することを特徴とする。
また、本発明に係る別の画像処理装置は、実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離の情報を含んだ距離画像を取得する距離画像取得部と、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部と、を含み、前記合成画像生成部は、前記被写体部分の実空間内における位置、及び前記仮想オブジェクトの表示色に基づいて、前記仮想オブジェクトからの光による前記被写体部分の色の変化量を算出し、当該算出した変化量に応じて、当該被写体部分に対応する前記景色画像内の画素の色を変化させることを特徴とする。
本発明に係る画像処理方法は、被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得ステップと、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成ステップと、を含み、前記合成画像生成ステップでは、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定することを特徴とする。
本発明に係るプログラムは、実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得部、及び、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部、としてコンピュータを機能させるためのプログラムであって、前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定するプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
以下、本発明の実施形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る画像処理装置1を使用する様子を示す図である。また、図2は画像処理装置1の構成を示す構成ブロック図である。画像処理装置1は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ、スマートホン等であって、図2に示すように、制御部11と、記憶部12と、インタフェース部13と、を含んで構成されている。また、画像処理装置1は、図2に示すように、表示装置14、及びステレオカメラ15と接続されている。
制御部11は少なくとも一つのプロセッサーを含んで構成され、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部13は、画像処理装置1が表示装置14、及びステレオカメラ15との間で各種の情報を授受するためのインタフェースである。
表示装置14は、ヘッドマウントディスプレイや家庭用テレビ受像機、液晶ディスプレイ等であって、画像処理装置1が出力する映像信号に応じた画像を画面上に表示する。
ステレオカメラ15は、左右に並んで配置された複数のカメラから構成されている。本実施形態では具体的に、ステレオカメラ15はカメラ15aとカメラ15bの2台のカメラから構成されているものとする。これらのカメラの視差を利用することで、2台のカメラ双方の撮影範囲内に写っている被写体までの距離を算出することができる。各カメラによって撮影された撮影画像は、インタフェース部13経由で画像処理装置1に入力される。
なお、表示装置14、及びステレオカメラ15は、いずれも画像処理装置1の筐体内に内蔵されてもよいし、画像処理装置1と有線又は無線により接続される別個の装置であってもよい。また、ステレオカメラ15は表示装置14に固定されてもよいし、表示装置14の筐体に内蔵されてもよい。
以下、画像処理装置1が実現する機能について、図3を用いて説明する。図3に示すように、画像処理装置1は、機能的に、画像取得部21と、空間座標算出部22と、オブジェクト表示色決定部23と、合成画像生成部24と、を含んで構成されている。これらの機能は、制御部11が記憶部12に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して画像処理装置1に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。本実施形態において画像処理装置1は、実空間の景色を表す景色画像VIに対して仮想オブジェクトOを配置してなる合成画像CIを生成する。生成された合成画像CIは、表示装置14に表示される。
画像取得部21は、ステレオカメラ15が実空間を撮影することで得られる距離画像(デプスマップ)DMを取得する。本実施形態において距離画像DMは、画像内の複数の単位領域ごとに、距離Dと色成分Cの情報を含んだ画像である。ここで単位領域は、画像内の一つ一つの画素であってもよいし、互いに隣接する複数の画素からなる画素ブロックであってもよい。距離Dは、対応する単位領域に写っている被写体の部分(以下、検出点Pという)までの距離である。画像取得部21は、カメラ15aの撮影画像とカメラ15bの撮影画像の間における同じ検出点Pの視差による位置のずれから、当該検出点Pまでの距離Dを算出する。色成分Cは、対応する単位領域の色を表す情報であって、一又は複数の数値によって構成される。例えば色成分Cは、R(赤)、G(緑)、B(青)の基本色それぞれの輝度を表す数値であってよい。画像取得部21は、カメラ15a及びカメラ15bのいずれかの撮影画像内における、当該単位領域の画素値を、色成分Cとして取得する。なお、カメラ15a及びカメラ15bの撮影画像がモノクロ画像の場合、色成分Cは当該単位領域の輝度や明度を表す一種類の数値であってもよい。
図4は、ステレオカメラ15を構成するカメラの一つによって撮影された、実空間内の景色を表す景色画像VIの一例を示している。また、図5は、この景色画像VIに対応する距離画像DMの一例を示している。この図の例では、距離画像DM内の全ての単位領域において距離Dが特定できているわけではない。具体的に、図中のドットパターンが、その位置に写っている被写体部分までの距離Dが特定された単位領域を示している。これに対してドットパターンが配置されていない領域は、距離Dが特定できていない領域である。ステレオカメラ15によって得られる2つの撮影画像の間で対応関係が特定できない箇所については、距離Dが算出されないことになる。検出点Pは、距離画像DM内において距離Dが特定された単位領域と一対一で対応している。つまり、ある大きさを持った物体が距離画像DM内において複数の単位領域にまたがって写っている場合、その物体の表面に複数の検出点Pが存在することになる。
空間座標算出部22は、上述した距離画像DMに含まれる各単位領域の画像内における位置、及び距離Dの情報に基づいて、各検出点Pの実空間内における位置座標(空間座標)Xを算出する。具体的に、ここでは注目する単位領域の距離画像DM内における位置座標を(u,v)で表すこととする。この座標値は、ステレオカメラ15の位置を基準とした検出点Pまでの方向を表している。この座標値(u,v)と距離Dの情報を用いることで、ステレオカメラ15の位置を原点とした空間座標系における検出点Pの位置座標Xの値を算出できる。なお、各単位領域の色成分Cは、この検出点Pの位置にある被写体部分の色を表している。つまり、実空間内の複数の検出点Pのそれぞれに対して、位置座標Xと色成分Cの情報が得られることになる。
一例として、距離画像DM内のN個の単位領域について、距離Dと色成分Cとが特定されているとする。ここで、iを1からNまでの整数として、i番目の単位領域の距離画像DM内の位置座標を(ui,vi)、当該単位領域に写っている被写体までの距離をDiと表記する。また、当該単位領域の色成分がCri,Cgi,Cbiの3つの輝度値によって表現されるものとする。このとき、i番目の単位領域に対応する検出点Piの位置座標Xiは、ui,vi,Diの3つの数値から算出される。位置座標Xiは、3次元空間の座標値(xi,yi,zi)によって表される。また、検出点Piの色成分Cは3つの輝度値(Cri,Cgi,Cbi)によって表される。このようにして、N個の検出点Pのそれぞれについて、その位置座標Xの座標値(xi,yi,zi)と色成分Cの輝度値(Cri,Cgi,Cbi)が特定される。
図6は、実空間に対応する仮想空間内に複数の検出点Pをプロットした様子を示している。この図における各検出点Pの位置は、位置座標Xによって表される実空間内の位置に対応している。また、図中においてステレオカメラ15の撮影位置から延びている直線は、ステレオカメラ15の撮影範囲を示している。このように、距離画像DMを用いることによって、ステレオカメラ15の撮影範囲内に存在する物体の位置や色が特定されることになる。
オブジェクト表示色決定部23は、実空間に対応する仮想空間内に仮想オブジェクトOを配置する。なお、仮想オブジェクトOの形状や表面のテクスチャー等の情報は、予め記憶部12に格納されているものとする。
さらにオブジェクト表示色決定部23は、仮想オブジェクトOの表示色を、空間座標算出部22によって算出された各検出点Pの位置座標X、及び色成分Cの情報に基づいて決定する。より具体的に、オブジェクト表示色決定部23は、仮想オブジェクトO表面の本来の色に対して、周囲の光による影響(ライティング効果)を反映させることによって、実際に表示する際の仮想オブジェクトO表面の色成分を決定する。このライティング効果を決定する際に、各検出点Pの位置座標X、及び色成分Cの情報を光源として利用する。これは、イメージベースドライティングと呼ばれる、画像を光源として利用する公知の手法に類似した手法である。ただし、イメージベースドライティングでは予め用意された画像が光源として用いられるため、実空間内の時間変化をリアルタイムに仮想オブジェクトOに反映させることは難しい。また、イメージベースドライティングでは仮想オブジェクトOから十分離れた位置に光源が存在すると仮定するため、仮想オブジェクトOの位置の変化による光源の影響の変化を再現することができず、仮想オブジェクトOの配置位置によらず仮想オブジェクトOに対するライティング効果は同じものになる。これに対して本実施形態では、実際にステレオカメラ15を用いて距離画像DMを取得し、その距離画像DMに基づいて算出される各検出点Pの位置座標X及び色成分Cの情報を光源として利用する。そのため、イメージベースドライティングと比較して、周囲の光による仮想オブジェクトOへの影響をより現実に近い形で再現することができる。
以下、オブジェクト表示色決定部23が検出点Pの情報を用いて仮想オブジェクトOの表示色を決定する処理の具体例について、説明する。まずオブジェクト表示色決定部23は、各検出点Pの位置座標Xを、仮想オブジェクトOの配置位置を原点とした極座標系(球面座標系)の座標値に変換する。この極座標系の座標値は、仮想オブジェクトOから見た各検出点Pの方向を表す2個の角度値θ,φと、原点から検出点Pまでの距離rからなる。ここで、θは仮想オブジェクトOから見た検出点Pの方位を表す0度から360度までの値である。φは仮想オブジェクトOから見た検出点Pの仰角または俯角を表し、水平方向を0度として-90度(真下方向)から90度(真上方向)までの値をとる。
図7は、この極座標系の(θ,φ)平面に一部の検出点Pを配置した様子を示しており、サンプルとして検出点P1~P3の3点を含む複数の検出点Pの位置が示されている。このように(θ,φ)平面に検出点Pを配置してなる平面画像が、イメージベースドライティングにおける光源画像と同様に、仮想オブジェクトOに対するライティング効果の決定のために用いられる。以下では、(θ,φ)平面上に検出点Pを配置して得られる平面画像を光源画像LMという。光源画像LMは、その内部を分割して得られる複数の単位領域のそれぞれに対して、色成分C及び距離rの情報が設定された画像である。検出点Pに対応する単位領域については、この検出点Pに応じた色成分C及び距離rが設定される。色成分Cはその検出点Pに存在する物体の色を表し、距離rは仮想オブジェクトOから検出点Pまでの距離を表している。なお、検出点Pの色成分Cは、距離画像DM内の当該検出点Pに対応する単位領域の色成分Cそのものであってもよいし、当該検出点P及びその周囲の検出点Pの色成分Cの平均値等であってもよい。
この光源画像LMは、全ての単位領域に検出点Pが対応しているわけではなく、検出点Pが対応しない単位領域も存在する。例えば、ステレオカメラ15から見て他の物体の陰に隠れて死角になっている箇所については、そこにどのような物体が存在するのか距離画像DMを用いて特定することができない。そのため、そのような死角に何らかの物体が存在している場合であっても、光源画像LM内にその物体を表す検出点Pは含まれないことになる。また、前述したように、距離画像DM内の全ての単位領域について距離Dが特定できるとは限らないため、距離Dが特定できていない単位領域に写っている被写体については、その被写体に対応する検出点Pを光源画像LM内に配置することができない。また、そもそもステレオカメラ15の撮影範囲外に存在する物体の情報は、光源画像LMに反映されない。このような理由により、光源画像LM内には検出点Pが対応しない単位領域(以下、空白領域という)が存在することになる。この空白領域については、ライティング効果を決定する際に無視してもよいが、既知の検出点Pの情報を用いて補間処理を実行することによって、空白領域の色成分C及び距離rを決定してもよい。この補間処理の具体例については、後述する。
必要に応じて補間処理を実行した後、オブジェクト表示色決定部23は、この光源画像LM内で色成分Cが設定された各単位領域(すなわち、検出点Pに対応する単位領域、及び補間処理によって色成分Cが算出された単位領域)を光源として、その光源からの光が照射された際の仮想オブジェクトOの表示色を決定する。これは、イメージベースドライティングと類似の処理によって実現できる。ただし、本実施形態では光源画像LM内の各単位領域に対して、色成分Cだけでなく仮想オブジェクトOからの距離rが設定されている。そのため、仮想オブジェクトOの表示色を決定する際に、距離rが小さい単位領域(すなわち、仮想オブジェクトOに近い位置に物体があると想定される単位領域)ほど、その単位領域による仮想オブジェクトOへのライティング効果が強くなるようにする。具体的には、例えば距離rが小さい単位領域については輝度が実際よりも大きく、また距離rが大きな単位領域については輝度が実際よりも小さくなるように色成分Cに含まれる輝度値を補正する。そして、イメージベースドライティングと同様の計算式で各単位領域の補正後の色成分Cが表す色を仮想オブジェクトOの表面に投影する。これにより、各検出点Pの現実の位置と仮想オブジェクトOとの位置関係を反映した、よりリアリティがあるライティング効果を実現することができる。なお、光源画像LMによる仮想オブジェクトOへのライティング効果を算出する際には、距離rだけではなく、仮想オブジェクトO表面の材質(仮想オブジェクトOが周囲の光を反射しやすい物質か、反射しにくい物質かなど)に関する設定や、単位領域からの光の仮想オブジェクトO表面に対する入射角などの情報を用いてもよい。
さらにオブジェクト表示色決定部23は、仮想オブジェクトOを配置することによって生じる周囲の物体の色の変化を算出してもよい。具体的にオブジェクト表示色決定部23は、仮想空間内において仮想オブジェクトOが配置される位置の周囲の各検出点Pに対して、前述した仮想オブジェクトOについて行ったのと同様のライティング効果の演算を行って、仮想オブジェクトOからの光による色の変化量を算出する。ただし、他の検出点Pによる光の影響は、実空間を実際に撮影した景色画像VIに反映されているはずなので、オブジェクト表示色決定部23は仮想オブジェクトO表面の色成分による検出点Pへの影響だけを計算すればよい。また、全ての検出点Pについて、仮想オブジェクトOからの光の影響を反映する必要はない。例えばオブジェクト表示色決定部23は、仮想オブジェクトOからの距離が所定値以下の検出点Pについてのみ、仮想オブジェクトOによって生じる色の変化量を算出する。仮想オブジェクトOによるライティング効果の計算の具体例については、後述する。
合成画像生成部24は、景色画像VIに仮想オブジェクトOを配置してなる合成画像CIを生成する。ここで、景色画像VIに重ねて配置される仮想オブジェクトOは、ステレオカメラ15に対応する仮想空間内の位置から見た形状であって、かつ、オブジェクト表示色決定部23によって決定された表示色で表示される。
また、合成画像生成部24は、景色画像VI内の仮想オブジェクトOの周囲の領域に対して、仮想オブジェクトOの影響による色の変化を生じさせる。具体的に合成画像生成部24は、前述した処理によって算出された、検出点Pごとの仮想オブジェクトOからの光による色の変化量を、景色画像VI内の検出点Pに対応する画素に反映させる。また、検出点Pに対応する画素だけでなく、その周囲の画素についても同様に画素値を変化させてもよい。これにより、仮想オブジェクトOが現実に存在する場合にその光によって生じると想定されるライティング効果を景色画像VIに発生させることができる。
図8は、合成画像CIの一例を示す図であって、図4で示した景色画像VIに仮想オブジェクトOが配置された様子を示している。このようにして生成された合成画像CIは、表示装置14の画面に表示される。これにより、景色画像VIの中に現実の周囲の景色によるライティング効果を反映して色合いの変化した仮想オブジェクトOが存在する様子を表示することができる。
以下、オブジェクト表示色決定部23が光源画像LM内の空白領域の色成分C及び距離rを決定する補間処理の具体例について、説明する。
まず第1の例として、内挿を用いる例について説明する。この例では、光源画像LM内の複数の検出点Pを結んで光源画像LMを複数のメッシュ(多角形領域)に分割する。そして、各メッシュ内のある空白領域について、メッシュの頂点を構成する検出点Pの色成分Cを重み付き平均して得られる値を、当該空白領域の色成分Cとする。このとき、各検出点Pの色成分Cに乗じられる重みは、当該空白領域と各検出点Pとの間の距離に応じて決定されてよい。例えば図7では検出点P1、P2、及びP3に囲まれた空白領域Wについて、その赤色の輝度値Crwが、以下の計算式で計算される。
Crw=(w1・Crp1+w2・Crp2+w3・Crp3)/(w1+w2+w3)
ここでCrp1、Crp2、及びCrp3はそれぞれ検出点P1、P2、及びP3の赤色の輝度値である。また、w1、w2、w3はそれぞれの検出点Pと空白領域Wとの間の距離に応じて決まる重みである。この重みは、検出点Pと空白領域Wとの間の距離が近いほど大きな値になるよう決定される。その他の基本色の輝度値についても、同様にして算出される。また、距離rについても、同様にして算出されてよい。
Crw=(w1・Crp1+w2・Crp2+w3・Crp3)/(w1+w2+w3)
ここでCrp1、Crp2、及びCrp3はそれぞれ検出点P1、P2、及びP3の赤色の輝度値である。また、w1、w2、w3はそれぞれの検出点Pと空白領域Wとの間の距離に応じて決まる重みである。この重みは、検出点Pと空白領域Wとの間の距離が近いほど大きな値になるよう決定される。その他の基本色の輝度値についても、同様にして算出される。また、距離rについても、同様にして算出されてよい。
なお、このような内挿による空白領域の色成分Cの算出は、GPU(Graphics Processing Unit)によってハードウェア的に実現することもできる。GPUはテクスチャーマッピングなどを実行する際に複数の頂点に囲まれたテクセルの色成分を内挿によって周囲の頂点の色成分から算出する機能を備えている。このような機能を利用することで、オブジェクト表示色決定部23は、各空白領域の色成分Cを高速に算出することができる。
補間処理の第2の例として、オブジェクト表示色決定部23は、複数の検出点Pに囲まれた全ての空白領域に対して、同じ色成分Cを設定してもよい。この場合に空白領域に設定される色成分Cは、空白領域を囲む複数の検出点Pの色成分Cの代表値(平均値等)であってよい。この例では、例えば図7の検出点P1、P2、及びP3を結んでできる三角形内の全ての空白領域に対して、同じ色成分Cが設定される。なお、距離rについても、同様に算出された同じ値が設定されてよい。
次に、仮想オブジェクトOによる周囲の物体へのライティング効果の計算の具体例について、説明する。
まずオブジェクト表示色決定部23は、仮想オブジェクトOによる影響を計算する対象となる注目検出点Pについて、その注目検出点Pから仮想オブジェクトO表面上の1又は複数の基準点までの距離を算出する。ここで、仮想オブジェクトOの表面に設定される基準点は、仮想オブジェクトOの表面にマッピングされるテクスチャーのテクセルであってもよいし、複数のテクセルから構成される領域であってもよい。また、仮想オブジェクトOを構成するポリゴンの頂点であってもよい。
続いてオブジェクト表示色決定部23は、仮想オブジェクトO表面の各基準点の色成分の情報を用いて、その基準点からの光による注目検出点Pの色の変化量(ライティング効果)を計算する。具体例として、仮想オブジェクトO表面の一つの基準点O1の影響による、ある注目検出点P1の色の変化量ΔCp1は、以下の計算式により計算されてよい。
ΔCp1=(A・Co1)/r
ここでCo1は基準点O1の色成分の値であり、rは基準点O1と注目検出点P1との間の距離である。また、Aは予め定められた定数である。なお、色成分が複数種類の数値(複数の基本色の輝度値など)によって構成される場合、そのそれぞれについて上述の計算式によって変化量を算出する。あるいは、変化量ΔCp1は、以下の計算式により計算されてもよい。
ΔCp1=A・Co1・exp(-r)
この計算式を使用した場合、距離rが大きくなると、仮想オブジェクトOの色の影響は指数関数的に小さくなる。どのような計算式を用いる場合であっても、距離rが大きければ大きいほど仮想オブジェクトOの色の影響が小さくなるようにすることが望ましい。
ΔCp1=(A・Co1)/r
ここでCo1は基準点O1の色成分の値であり、rは基準点O1と注目検出点P1との間の距離である。また、Aは予め定められた定数である。なお、色成分が複数種類の数値(複数の基本色の輝度値など)によって構成される場合、そのそれぞれについて上述の計算式によって変化量を算出する。あるいは、変化量ΔCp1は、以下の計算式により計算されてもよい。
ΔCp1=A・Co1・exp(-r)
この計算式を使用した場合、距離rが大きくなると、仮想オブジェクトOの色の影響は指数関数的に小さくなる。どのような計算式を用いる場合であっても、距離rが大きければ大きいほど仮想オブジェクトOの色の影響が小さくなるようにすることが望ましい。
一つの注目検出点Pに対して複数の基準点が影響を与える場合、オブジェクト表示色決定部23は、各基準点について上述したような計算式により変化量を計算する。そして、各基準点について算出された変化量を合計して、総変化量を算出する。この総変化量が、注目検出点Pの色成分Cに対する仮想オブジェクトOの影響による色の変化量ΔCpとなる。
オブジェクト表示色決定部23は、仮想オブジェクトO周囲の複数の注目検出点Pのそれぞれについて、以上説明したような計算により色の変化量ΔCpを算出し、元の注目検出点Pの色成分Cに対して加算する。これにより、合成画像CI内における仮想オブジェクトO周囲の領域へのライティング効果を表現することができる。なお、仮想オブジェクトOによる周囲の物体へのライティング効果を算出するためには、各基準点の色成分として、前述した光源画像LMによるライティング効果を反映した後の色成分を使用することが望ましい。
以上説明した計算式では、仮想オブジェクトOまでの距離rを利用するため、実空間内の位置座標Xが特定できている検出点Pについてのみ、色の変化量ΔCpを計算することができる。合成画像CI内の検出点P以外の位置の色については、補間処理によってその変化量ΔCpを決定してもよい。この場合の補間処理は、光源画像LMの空白領域について行ったものと類似する処理であってよい。すなわち、補間処理の対象となる注目領域に対して、その注目領域の周囲の複数の検出点Pの色の変化量ΔCpを用いて、重み付け平均などにより当該注目領域の色の変化量ΔCpを算出する。あるいは、オブジェクト表示色決定部23は、注目領域に最も近い検出点Pの色の変化量ΔCpを、そのまま当該注目領域の色の変化量ΔCpの値として用いてもよい。
また、以上説明したものとは別の手法として、オブジェクト表示色決定部23は、距離画像DMに基づいて実空間内に存在する光源の位置を特定し、特定された光源位置を用いて仮想オブジェクトOによる周囲へのライティング効果を計算してもよい。この例では、距離画像DMを用いて実空間内における光源位置の位置座標が算出される。例えばオブジェクト表示色決定部23は、距離画像内DMで色成分Cの値が所定値より大きい(すなわち、輝度や明度が高い)検出点Pを、光源と判定する。なお、色成分Cの値が所定値より大きい検出点Pが所定の大きさの範囲内に複数個ある場合、それらの検出点Pの中心位置を光源と判定してもよい。いずれにせよ、距離画像DMに含まれる距離Dの情報を利用することによって、オブジェクト表示色決定部23は、実空間内における光源の3次元的な位置座標Lxを特定できる。
光源の位置座標Lxを特定すると、オブジェクト表示色決定部23は、光源からの光が仮想オブジェクトOの表面で反射することによって他の検出点Pにおいて生じる色の変化量ΔCpを算出する。このような光源からの光の反射によるライティング効果は、光源の色成分C、光源の位置座標Lx、仮想オブジェクトO表面の法線方向などの情報を用いて、公知の手法により計算できる。さらに検出点P以外の箇所で生じるライティング効果も、前述した例と同様の補間処理によって計算できる。
さらに、オブジェクト表示色決定部23は、光源の位置座標Lxと仮想オブジェクトOの位置座標を用いて、光源からの光によって生じる仮想オブジェクトOの影を表現してもよい。具体的に、仮想オブジェクトO周囲のある注目検出点P1の3次元的な位置座標をX1とすると、オブジェクト表示色決定部23は、この位置座標X1と光源の位置座標Lxとを結ぶ直線が仮想オブジェクトOを通るか否か判定する。そして、通ると判定された場合、注目検出点P1に仮想オブジェクトOの影が生じることになるので、注目検出点P1の色を暗くする補正を行う。なお、前述したライティング効果の計算例と同様に、距離Dが特定されていない領域については、周囲の検出点Pの判定結果を利用して補間処理を行う。これにより、仮想オブジェクトOの存在によって合成画像CI内に生じる影を表現することができる。
以上例示したような手法により、オブジェクト表示色決定部23は、景色画像VIに含まれる各単位領域に対する仮想オブジェクトOによるライティング効果(色の変化量)の情報を含んだ反射・陰影マップテクスチャーを生成する。合成画像生成部24は、このテクスチャーを景色画像VIに重ねることによって、実空間に存在する光源からの光を仮想オブジェクトOが反射したり遮ったりすることで生じるライティング効果を反映した合成画像CIを生成することができる。
ここで、画像処理装置1が実行する処理の流れの具体例について、図9のフロー図を用いて説明する。
まず画像取得部21が、ステレオカメラ15によって撮影された2枚の撮影画像を取得する(ステップS1)。ここでは、カメラ15aによって撮影された撮影画像を景色画像VIとして使用するものとする。続いて画像取得部21は、ステップS1で取得した2枚の撮影画像を用いて距離画像DMを生成する(ステップS2)。
次に、空間座標算出部22が、ステップS2で生成された距離画像DM内の各単位領域の情報を用いて、検出点Pの位置座標X及び色成分Cを決定する(ステップS3)。ここでは、距離画像DM内において距離Dが特定されている単位領域と同数の検出点Pについて、位置座標Xが算出される。
次に、オブジェクト表示色決定部23が、仮想オブジェクトOの実空間内における配置位置を決定する(ステップS4)。オブジェクト表示色決定部23は、例えばユーザーの指示に応じて仮想オブジェクトOの配置位置を決定してよい。あるいは、景色画像VIを解析した結果に基づいて仮想オブジェクトOの配置位置を決定してもよい。
さらにオブジェクト表示色決定部23は、ステップS3で算出された各検出点Pの位置座標Xを、ステップS4で決定された仮想オブジェクトOの配置位置を原点とする極座標系の座標値に変換する。これにより、光源画像LMが生成される(ステップS5)。その後、オブジェクト表示色決定部23は、ステップS5で算出された検出点Pの光源画像LM内における位置、距離r、及び色成分Cの情報を用いて、光源画像LM内の空白領域に対する補間処理を実行する(ステップS6)。
次に、オブジェクト表示色決定部23は、ステップS5及びS6によって各単位領域に対して距離r、及び色成分Cが決定された光源画像LMを用いて、仮想オブジェクトOの表示色を決定する(ステップS7)。さらにオブジェクト表示色決定部23は、ステップS7で決定された仮想オブジェクトOの表示色の情報を用いて、仮想オブジェクトO周囲の検出点Pについて、仮想オブジェクトOの影響によって生じると想定される色の変化を算出する(ステップS8)。
次に、合成画像生成部24が、ステップS1で得られた景色画像VIに対して仮想オブジェクトOを合成し、合成画像CIを生成する(ステップS9)。このとき、合成画像生成部24は仮想オブジェクトOの表示色としてステップS7で決定された色を使用する。また、ステップS8で決定された色の変化を、景色画像VI内の仮想オブジェクトO周囲の画素に反映させる。これにより、仮想オブジェクトOがあたかも現実に存在しているかのようなライティング効果を仮想オブジェクトOやその周囲の物体に反映させた合成画像CIを生成することができる。合成画像生成部24は、生成した合成画像CIを表示装置14の画面に表示させる(ステップS10)。
画像処理装置1は、以上説明した処理を、例えば表示装置14のフレームレートに応じた時間間隔で繰り返し実行する。これにより画像処理装置1は、人の影に隠れた際に仮想オブジェクトOの表示色が暗くなるなど、リアルタイムで周囲の状況を仮想オブジェクトOの表示色に反映させた動画像を表示することができる。
なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、距離画像DMの生成に用いる撮影画像をそのまま景色画像VIとしても利用することとした。しかしながらこれに限らず、画像処理装置1は距離画像DMの生成に用いる撮影画像とは別に景色画像VIを取得してもよい。例えば画像処理装置1は、予め定められた撮影条件で撮影された画像を景色画像VIとして使用する。一方、景色画像VIを撮影する際の撮影条件とは異なる撮影条件で撮影した画像を用いて距離画像DMを生成する。この場合の撮影条件としては、シャッタースピードや露出、感度等が挙げられる。このように撮影条件を変化させることで、距離Dを特定しやすい条件で撮影を行うことができる。なお、この場合において、距離画像DMに含まれる各単位領域の色成分Cの情報は、景色画像VIを参照して決定されてもよい。また、距離画像DMの生成に用いる撮影画像を撮影する際に、シャッタースピードを速くすることで、明るい単位領域のみ距離Dが特定された距離画像DMを得ることができる。このような距離画像DMを利用すれば、仮想オブジェクトOに対するライティングの影響が少ないと想定される低輝度の検出点Pを無視して、大きな影響があると想定される高輝度の検出点Pだけを用いて仮想オブジェクトOの表示色を決定することができる。なお、ステレオカメラ15の撮影条件を変更する代わりに、距離画像DM内の色成分Cの値が所定値以上の単位領域の情報を用いてライティング効果の算出を行ってもよい。
また、以上の説明では一つのステレオカメラ15による撮影で得られる1枚の距離画像DMだけを用いて仮想オブジェクトOに対するライティング効果を決定することとしたが、これに限らず、互いに異なる位置に配置された複数のステレオカメラ15を用いて得られる複数の距離画像DMを用いて、仮想オブジェクトOの表示色を決定してもよい。この例では、画像処理装置1は各ステレオカメラ15の位置関係に関する情報を予め取得しているものとする。空間座標算出部22は、それぞれのステレオカメラ15の撮影で得られた距離画像DMを用いて、検出点Pの位置座標Xを算出する。そして、オブジェクト表示色決定部23は、複数の距離画像DMから得られた複数の検出点Pを一つの光源画像LM内に配置して、光源画像LMを生成する。このとき、実空間の所定距離範囲内にそれぞれのステレオカメラ15から得られた検出点Pが存在する場合、そのうち一方のデータだけを使用してもよいし、双方のデータを光源画像LMに反映させてもよい。このようにして得られる光源画像LMを用いて仮想オブジェクトOの表示色を決定することにより、一つの距離画像DMだけでは撮影できない死角の領域などの情報も仮想オブジェクトOの表示色に反映させることができる。例えば、低い位置と天井等の高い位置の双方にステレオカメラ15を設置し、そこから得られた撮影画像を用いて距離画像DMを生成することで、単一の距離画像DMだけでは特定できない検出点Pの情報を用いて仮想オブジェクトOの表示色を決定できる。
また、画像処理装置1は、同じステレオカメラ15で時間をおいて複数回の撮影を行うことで得られる複数の距離画像DMを利用して仮想オブジェクトOの表示色を決定してもよい。特に、ステレオカメラ15の撮影条件や撮影方向、撮影位置を変化させて複数回の撮影を行うことで、より多く検出点Pの情報を取得することができる。特に、表示装置14がヘッドマウントディスプレイであって、ステレオカメラ15がヘッドマウントディスプレイに搭載されている場合、ユーザーの顔の動きに従ってステレオカメラ15の撮影範囲が変化する。この変化の前後で撮影を行って得られる複数の距離画像DMを利用することで、広範囲の検出点Pの情報を用いて仮想オブジェクトOの表示色を決定することができる。
さらに、景色画像VIを撮影するカメラは、距離画像DMを撮影するステレオカメラ15と別のカメラであってもよい。この場合、画像処理装置1は、複数のステレオカメラ15を使用する場合と同様に、各カメラの位置関係の情報を予め取得しているものとする。距離画像DMから得られる各検出点Pの実空間内における位置と、景色画像VIの撮影範囲との間の位置関係が判明していれば、画像処理装置1は、この検出点Pの情報を用いて景色画像VIに重ねて配置される仮想オブジェクトOの表示色を決定することができる。
また、以上の説明では距離画像DMは、ステレオカメラ15によって得られる複数の撮影画像を用いて生成されるものとした。しかしながらこれに限らず、距離画像DMは、その内部の単位領域ごとに被写体までの距離Dの情報を含むものであれば、どのような方式で生成されたものであってもよい。具体的に画像処理装置1は、例えばパターン照射方式やTOF方式などで生成された距離画像DMを用いて仮想オブジェクトOの表示色を決定してもよい。
また、以上の説明では画像処理装置1は景色画像VIや距離画像DMの撮影が行われる場所に設置され、ステレオカメラ15と直接接続されることとしたが、本発明の実施の形態はこのようなものに限られない。例えば画像処理装置1は撮影場所から離れた場所に設置されたサーバ装置等であってもよい。この場合、画像処理装置1は、自身で距離画像DMを生成するのではなく、別のコンピュータで生成された距離画像DMをネットワーク経由で受信したりして取得してもよい。
1 画像処理装置、11 制御部、12 記憶部、13 インタフェース部、14 表示装置、15 ステレオカメラ、21 画像取得部、22 空間座標算出部、23 オブジェクト表示色決定部、24 合成画像生成部。
Claims (13)
- 実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得部と、
実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部と、
を含み、
前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記合成画像生成部は、前記被写体部分からの光による前記仮想オブジェクトに対する影響を、当該被写体部分の実空間内における位置、及び色成分に基づいて算出して、前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
前記合成画像生成部は、前記仮想オブジェクトの配置位置を原点とした極座標系における前記被写体部分の位置座標を算出し、当該算出した位置座標に対応する単位領域に対して当該被写体部分の色成分が関連づけられた光源画像を生成し、当該光源画像を用いて前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記合成画像生成部は、前記光源画像内の前記被写体部分に対応しない単位領域に対して、当該単位領域を囲む、前記被写体部分に対応する複数の単位領域に関連づけられた色成分に応じて算出される色成分を関連づける補間処理を実行してから、前記光源画像を用いて前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記合成画像生成部は、前記補間処理において、前記被写体部分に対応しない単位領域に対して、前記被写体部分に対応する複数の単位領域に関連づけられた色成分の重み付き平均によって算出される色成分を関連づける
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記距離画像取得部は、実空間内の互いに異なる位置を基準とする距離の情報を含んだ複数の距離画像を取得し、
前記合成画像生成部は、前記複数の距離画像のそれぞれに写っている1又は複数の被写体部分の情報に基づいて、前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記合成画像生成部は、前記被写体部分の実空間内における位置、及び前記仮想オブジェクトの表示色に基づいて、前記仮想オブジェクトからの光による前記被写体部分の色の変化量を算出し、当該算出した変化量に応じて、当該被写体部分に対応する前記景色画像内の画素の色を変化させる
ことを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置において、
前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定してから、当該決定した表示色に基づいて、前記被写体部分の色の変化量を算出する
ことを特徴とする画像処理装置。 - 実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離の情報を含んだ距離画像を取得する距離画像取得部と、
実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部と、
を含み、
前記合成画像生成部は、前記被写体部分の実空間内における位置、及び前記仮想オブジェクトの表示色に基づいて、前記仮想オブジェクトからの光による前記被写体部分の色の変化量を算出し、当該算出した変化量に応じて、当該被写体部分に対応する前記景色画像内の画素の色を変化させる
ことを特徴とする画像処理装置。 - 請求項1から9のいずれか一項に記載の画像処理装置において、
前記画像処理装置は、ユーザーが頭部に装着して使用する表示装置と接続され、
前記距離画像取得部は、前記表示装置に搭載されたステレオカメラによって撮影された撮影画像に基づいて生成された距離画像を取得し、
前記合成画像生成部が生成した合成画像は、前記表示装置に表示される
ことを特徴とする画像処理装置。 - 被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得ステップと、
実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成ステップと、
を含み、
前記合成画像生成ステップでは、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理方法。 - 実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の1又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得部、及び、
実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部、
としてコンピュータを機能させるためのプログラムであって、
前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定する
プログラム。 - 請求項12に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018523688A JP6625745B2 (ja) | 2016-06-16 | 2017-06-07 | 画像処理装置 |
EP17813194.2A EP3474236A4 (en) | 2016-06-16 | 2017-06-07 | IMAGING DEVICE |
US16/305,970 US10950039B2 (en) | 2016-06-16 | 2017-06-07 | Image processing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016119896 | 2016-06-16 | ||
JP2016-119896 | 2016-06-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017217296A1 true WO2017217296A1 (ja) | 2017-12-21 |
Family
ID=60664158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/021115 WO2017217296A1 (ja) | 2016-06-16 | 2017-06-07 | 画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10950039B2 (ja) |
EP (1) | EP3474236A4 (ja) |
JP (2) | JP6625745B2 (ja) |
WO (1) | WO2017217296A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019185070A (ja) * | 2018-03-30 | 2019-10-24 | 東京ガスiネット株式会社 | 情報処理システム及びプログラム |
JP2019185071A (ja) * | 2018-03-30 | 2019-10-24 | 東京ガスiネット株式会社 | 情報処理システム及びプログラム |
JP2019205055A (ja) * | 2018-05-23 | 2019-11-28 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、及び、プログラム |
JP2020035396A (ja) * | 2018-08-31 | 2020-03-05 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム |
JPWO2020261688A1 (ja) * | 2019-06-27 | 2020-12-30 | ||
US10885340B2 (en) | 2018-07-25 | 2021-01-05 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10850838B2 (en) | 2016-09-30 | 2020-12-01 | Sony Interactive Entertainment Inc. | UAV battery form factor and insertion/ejection methodologies |
US10679511B2 (en) | 2016-09-30 | 2020-06-09 | Sony Interactive Entertainment Inc. | Collision detection and avoidance |
US10410320B2 (en) | 2016-09-30 | 2019-09-10 | Sony Interactive Entertainment Inc. | Course profiling and sharing |
US11125561B2 (en) | 2016-09-30 | 2021-09-21 | Sony Interactive Entertainment Inc. | Steering assist |
JP7113375B2 (ja) * | 2018-07-11 | 2022-08-05 | パナソニックIpマネジメント株式会社 | 表示装置、画像処理装置及び制御方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010170316A (ja) * | 2009-01-22 | 2010-08-05 | Konami Digital Entertainment Co Ltd | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
JP2013127774A (ja) * | 2011-11-16 | 2013-06-27 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2015176450A (ja) * | 2014-03-17 | 2015-10-05 | 富士フイルム株式会社 | 拡張現実感提供システム、方法及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006507585A (ja) | 2002-11-15 | 2006-03-02 | ワーナー・ブロス・エンターテイメント・インコーポレーテッド | デジタルモデリング用のリバースレンダリング法 |
US7538766B2 (en) * | 2005-06-08 | 2009-05-26 | Microsoft Corporation | Pre-computed shadow fields |
US8405680B1 (en) * | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
US8587583B2 (en) * | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
KR101845231B1 (ko) * | 2011-06-14 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US9578226B2 (en) * | 2012-04-12 | 2017-02-21 | Qualcomm Incorporated | Photometric registration from arbitrary geometry for augmented reality |
JP6230239B2 (ja) * | 2013-02-14 | 2017-11-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP2015099545A (ja) | 2013-11-20 | 2015-05-28 | 株式会社東芝 | 画像生成システム及び画像生成プログラム |
WO2016059781A1 (en) * | 2014-10-15 | 2016-04-21 | Seiko Epson Corporation | Head-mounted display device, method of controlling head-mounted display device, and computer program |
US20170289515A1 (en) * | 2016-04-01 | 2017-10-05 | Intel Corporation | High dynamic range depth generation for 3d imaging systems |
-
2017
- 2017-06-07 US US16/305,970 patent/US10950039B2/en active Active
- 2017-06-07 WO PCT/JP2017/021115 patent/WO2017217296A1/ja active Application Filing
- 2017-06-07 EP EP17813194.2A patent/EP3474236A4/en active Pending
- 2017-06-07 JP JP2018523688A patent/JP6625745B2/ja active Active
-
2019
- 2019-11-27 JP JP2019214340A patent/JP7007348B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010170316A (ja) * | 2009-01-22 | 2010-08-05 | Konami Digital Entertainment Co Ltd | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
JP2013127774A (ja) * | 2011-11-16 | 2013-06-27 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2015176450A (ja) * | 2014-03-17 | 2015-10-05 | 富士フイルム株式会社 | 拡張現実感提供システム、方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3474236A4 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019185070A (ja) * | 2018-03-30 | 2019-10-24 | 東京ガスiネット株式会社 | 情報処理システム及びプログラム |
JP2019185071A (ja) * | 2018-03-30 | 2019-10-24 | 東京ガスiネット株式会社 | 情報処理システム及びプログラム |
JP7188902B2 (ja) | 2018-03-30 | 2022-12-13 | 東京ガスiネット株式会社 | 情報処理システム及びプログラム |
JP2019205055A (ja) * | 2018-05-23 | 2019-11-28 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、及び、プログラム |
JP7114335B2 (ja) | 2018-05-23 | 2022-08-08 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、及び、プログラム |
US10885340B2 (en) | 2018-07-25 | 2021-01-05 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program |
US11328507B2 (en) | 2018-07-25 | 2022-05-10 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program |
JP2020035396A (ja) * | 2018-08-31 | 2020-03-05 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム |
CN110871441A (zh) * | 2018-08-31 | 2020-03-10 | 发那科株式会社 | 感测***、作业***、增强现实图像的显示方法、以及存储有程序的存储介质 |
US11049287B2 (en) | 2018-08-31 | 2021-06-29 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, and program |
JPWO2020261688A1 (ja) * | 2019-06-27 | 2020-12-30 | ||
JP7293355B2 (ja) | 2019-06-27 | 2023-06-19 | テルモ株式会社 | 心機能測定システム、体外循環装置および心機能測定プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3474236A1 (en) | 2019-04-24 |
US10950039B2 (en) | 2021-03-16 |
JP7007348B2 (ja) | 2022-02-10 |
EP3474236A4 (en) | 2019-12-11 |
JPWO2017217296A1 (ja) | 2018-11-08 |
JP6625745B2 (ja) | 2019-12-25 |
JP2020030864A (ja) | 2020-02-27 |
US20190156563A1 (en) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7007348B2 (ja) | 画像処理装置 | |
US20240106971A1 (en) | Method and system for generating at least one image of a real environment | |
US10893259B2 (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
AU2018225269B2 (en) | Method, system and apparatus for visual effects | |
WO2023207452A1 (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
JPH11175762A (ja) | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 | |
US11941729B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
JP7408298B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7500512B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11430178B2 (en) | Three-dimensional video processing | |
US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
JP2002117413A (ja) | 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法 | |
CN109461116B (zh) | 一种基于opengl的720全景展开监控方法 | |
US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
JP7366563B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
US10902669B2 (en) | Method for estimating light for augmented reality and electronic device thereof | |
JP2014164497A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR102132388B1 (ko) | 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템 | |
WO2020049619A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR20240106369A (ko) | 3d 버츄얼 이미지에 대한 앰비언트 백그라운드 효과 측정 방법 및 장치 | |
CN118196135A (zh) | 图像处理方法、装置、存储介质、设备及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2018523688 Country of ref document: JP |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17813194 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017813194 Country of ref document: EP Effective date: 20190116 |