WO2021200143A1 - 画像処理装置、画像処理方法、および、3dモデルデータ生成方法 - Google Patents
画像処理装置、画像処理方法、および、3dモデルデータ生成方法 Download PDFInfo
- Publication number
- WO2021200143A1 WO2021200143A1 PCT/JP2021/010754 JP2021010754W WO2021200143A1 WO 2021200143 A1 WO2021200143 A1 WO 2021200143A1 JP 2021010754 W JP2021010754 W JP 2021010754W WO 2021200143 A1 WO2021200143 A1 WO 2021200143A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- shooting
- image processing
- shooting environment
- subject
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Definitions
- the present disclosure relates to an image processing apparatus, an image processing method, and a 3D model data generation method, and in particular, an image processing apparatus, an image processing method, and a 3D model data that enable easy adjustment of a shooting environment. Regarding the generation method.
- volumetric capture it is possible to generate a 3D model for each object such as a person, and generate a virtual viewpoint image including a plurality of objects generated at different timings. In such a case, there is a demand to match each shooting environment when creating a plurality of objects.
- This disclosure was made in view of such a situation, and makes it possible to easily adjust the shooting environment.
- the image processing device of one aspect of the present disclosure sets camera parameters based on the comparison result between a reference image based on images of a predetermined subject taken at different timings and a captured image of the same subject taken in the current environment. It is provided with an adjustment unit for adjustment.
- the image processing method of one aspect of the present disclosure sets camera parameters based on a comparison result between a reference image based on images of a predetermined subject taken at different timings and a shot image of the same subject taken in the current environment. adjust.
- the 3D model data generation method of one aspect of the present disclosure compares a reference image based on images of the first subject taken at different timings with a first shot image of the first subject taken in the current environment.
- the second subject is generated by generating a 3D model of the second subject from a plurality of second captured images obtained by capturing the second subject with a plurality of imaging devices using camera parameters adjusted based on the results.
- a virtual viewpoint image of a 3D model of a subject viewed from a predetermined viewpoint is generated.
- camera parameters are adjusted based on a comparison result between a reference image based on images of a predetermined subject taken at different timings and a shot image of the same subject taken in the current environment. ..
- the image processing device of one aspect of the present disclosure can be realized by causing a computer to execute a program.
- a program to be executed by a computer in order to realize an image processing apparatus can be provided by transmitting via a transmission medium or by recording on a recording medium.
- the image processing device may be an independent device or an internal block constituting one device.
- step S2 of FIG. It is a detailed flowchart of the initial shooting environment setting process of step S2 of FIG. It is a detailed flowchart of the shooting environment adjustment process of step S3 of FIG. It is a detailed flowchart of the camera parameter adjustment process of step S63 of FIG. It is a detailed flowchart of the shooting environment registration process of step S4 of FIG.
- the image processing system of the present disclosure generates a 3D model of a subject from a moving image taken from multiple viewpoints, and generates a virtual viewpoint image of the 3D model according to an arbitrary viewing position to create a free viewpoint image (free).
- a viewpoint image a viewpoint image that provides a viewpoint image.
- a plurality of captured images can be obtained by photographing a predetermined photographing space in which a subject such as a person is arranged with a plurality of photographing devices from the outer periphery thereof.
- the captured image is composed of, for example, a moving image.
- three photographing devices CAM1 to CAM3 are arranged so as to surround the subject # Ob1, but the number of photographing devices CAM is not limited to three and is arbitrary. Since the number of imaging devices CAM at the time of imaging is the known number of viewpoints when generating a free-viewpoint image, the larger the number, the more accurately the free-viewpoint image can be expressed.
- Subject # Ob1 is considered to be a person performing a predetermined action.
- a 3D object MO1 that is a 3D model of the subject # Ob1 to be displayed in the imaging space is generated (3D modeling).
- the 3D object MO1 is generated by using a method such as Visual Hull that cuts out the three-dimensional shape of the subject using images taken in different directions.
- FIG. 1 shows an example in which the viewing device is a display D1 or a head-mounted display (HMD) D2.
- HMD head-mounted display
- the playback side can request only the 3D object to be viewed from among one or more 3D objects existing in the shooting space and display it on the viewing device.
- the playback side assumes a virtual camera in which the viewing range of the viewer is the shooting range, and requests only the 3D object captured by the virtual camera among a large number of 3D objects existing in the shooting space for viewing. Display on the device.
- the viewpoint (virtual viewpoint) of the virtual camera can be set to an arbitrary position so that the viewer can see the subject from an arbitrary viewpoint in the real world.
- a background image representing a predetermined space can be appropriately combined with the 3D object.
- FIG. 2 shows an example of a data format of general 3D model data.
- 3D model data is generally represented by 3D shape data representing the 3D shape (geometry information) of the subject and texture data representing the color information of the subject.
- the 3D shape data is, for example, a point cloud format in which the three-dimensional position of the subject is represented by a set of points, a 3D mesh format in which the vertices (Vertex) called a polygon mesh and the connections between the vertices are represented, and a cube called a voxel. It is expressed in a voxel format represented by a set of.
- the texture data includes, for example, a multi-texture format held by the captured image (two-dimensional texture image) captured by each imaging device CAM, or a two-dimensional texture image pasted on each point or each polygon mesh which is 3D shape data.
- a UV mapping format that is expressed and held in the UV coordinate system.
- the format for describing the 3D model data in the 3D shape data and the multi-texture format held by the plurality of captured images P1 to P8 captured by each imaging device CAM is a virtual viewpoint (virtual camera). It is a ViewDependent format in which the color information can change depending on the position of.
- the format for describing the 3D model data in the 3D shape data and the UV mapping format in which the texture information of the subject is mapped to the UV coordinate system is a virtual viewpoint (virtual camera). It is a View Independent format in which the color information is the same depending on the position).
- the 3D model (3D object) of the subject generated by the procedure as referred to FIG. 1 can be displayed (reproduced) by arranging a plurality of 3D models generated at different timings in the same space. It is also possible to display (reproduce) only one 3D model among a plurality of 3D models shot and generated at the same time in the same shooting space.
- the image processing system of the present disclosure makes it possible to easily adjust the shooting environment so that a plurality of shooting environments shot at different timings can be arranged in the shooting when the 3D model is generated. It is a system.
- FIG. 4 is a block diagram showing a first embodiment of an image processing system to which the present disclosure is applied.
- the image processing system 10 of FIG. 4 includes N units (N> 2) of imaging devices 11-1 to 11-N, M units (M> 0) of lighting devices 12-1 to 12-M, and an image processing device. It is composed of 13.
- the image processing device 13, the photographing devices 11-1 to 11-N, and the lighting devices 12-1 to 12-M are connected by, for example, a predetermined communication cable or a network such as a LAN (Local Area Network). Further, each device is not limited to wired communication, and may be connected by wireless communication.
- N units of imaging devices 11-1 to 11-N are not particularly distinguished, they are simply referred to as imaging devices 11, and when M units of lighting devices 12-1 to 12-M are not particularly distinguished, they are simply referred to as imaging devices 11. , Is referred to as a lighting device 12. Numbers are assigned to the N photographing devices 11 in a predetermined order.
- the N shooting devices 11-1 to 11-N are arranged in a predetermined shooting space so as to surround the subject so that the shooting is performed from different directions with respect to the subject.
- the photographing device 11 takes a picture for generating a 3D model (3D object) of the subject.
- the start and end timings of shooting are controlled by the image processing device 13, and image data of a still image or a moving image obtained by shooting is also supplied to the image processing device 13.
- the M lighting devices 12-1 to 12-M are arranged in a predetermined shooting space so as to surround the subject so as to irradiate the subject with light from different directions.
- the lighting device 12 irradiates the subject with light when the subject is photographed.
- the irradiation timing and lighting conditions of the lighting device 12 are controlled by the image processing device 13.
- the subject is placed in the center of the shooting space surrounded by N shooting devices 11 and M lighting devices 12.
- N shooting devices 11 and M lighting devices 12 As a subject for matching the current shooting environment with the past shooting environment, for example, an object such as a mannequin whose conditions do not change is used.
- the image processing device 13 has a reference camera image DB 21, a reference shooting environment selection unit 22, an initial shooting environment setting unit 23, a shooting environment adjustment unit 24, and a shooting environment registration unit 25.
- the shooting space for shooting this time and the past shooting space for which the shooting environment is to be matched are the same, and the number of shooting devices 11 and (x, y, z)
- the configuration corresponding to the case where the three-dimensional position of the photographing device 11 specified by) and the roll of the postures of the photographing device 11 specified by (yaw, pitch, roll) have not changed is shown. There is.
- the image processing device 13 executes a process of adjusting the shooting environment at the time of shooting to generate a 3D model (3D object) of the subject. Specifically, the image processing device 13 describes the three-dimensional position (x, y, z) and orientation (yaw, pitch, roll) of the photographing device 11 and the focus at the time of photographing (for each photographing device 11). The focus position), shutter speed, and gain are adjusted, and for each illuminating device 12, the illuminance and color temperature at the time of illumination are adjusted.
- the parameters that can be set numerically are the shutter speed and gain of the photographing device 11, and the illuminance and color temperature of the lighting device 12.
- the three-dimensional position (x, y, z) and roll of the photographing device 11 have not been changed from the past photographing to be matched.
- the reference camera image DB 21 includes data that specifies a shooting environment (hereinafter, also referred to as shooting environment data) when the shooting of 3D model generation is performed in the past, for example, the above-mentioned shooting device 11 controlled by the image processing device 13.
- shooting environment data a shooting environment
- Each parameter of the lighting device 12 and the like are stored, and are supplied to each part in the device as needed.
- FIG. 5 shows an example of shooting environment data stored in the reference camera image DB 21.
- the reference camera image DB 21 includes the shooting environment ID, the shooting date, the illuminance of the lighting device 12, the color temperature of the lighting device 12, the shooting device arrangement ID, the number of shooting devices 11, and the parameters and cameras of the shooting devices 11 for each number. The image is stored for each photographing device 11.
- the shooting environment ID is identification information that identifies each shooting environment data stored in the reference camera image DB 21.
- the shooting date is information indicating the date and time when the shooting was performed.
- the illuminance of the illuminating device and the color temperature of the illuminating device represent the set values of the illuminance and the color temperature of the illuminating device 12 at the time of shooting. Illuminance and color temperature constitute the lighting parameters of the lighting device 12.
- the photographing device arrangement ID is information that identifies the arrangement method of the photographing device 11.
- the arrangement method is determined by the value of the ID, such as the arrangement method in which a total of 16 photographing devices 11 are arranged.
- the number of photographing devices represents the number of photographing devices 11 used for photographing.
- the shutter speed, gain, internal parameters, and external parameters are stored.
- the internal parameters are the optical center coordinates (cx, cy) and focal length (fx, fy) of the photographing device 11, and the external parameters are the three-dimensional position (x, y, z) and orientation (yaw, pitch,). roll).
- the camera image is an image in which the subject is photographed by the photographing device 11 when the image is photographed in the past, and is an image that can be compared as a reference image in the later photographing.
- the camera image is a still image, but may be a moving image.
- the reference camera image DB 21 stores the camera parameters, the lighting parameters, and the camera images that have taken a predetermined subject in the past (at different timings).
- the reference shooting environment selection unit 22 acquires a shooting environment list which is a list of shooting environment data stored in the reference camera image DB 21, displays it on a display, and presents it to the user. Then, the reference shooting environment selection unit 22 causes the user to select a predetermined shooting environment in the shooting environment list by causing the user to select a desired shooting environment ID.
- the shooting environment ID selected by the user is supplied to the initial shooting environment setting unit 23 as the shooting environment IDr referred to in the current shooting.
- the initial shooting environment setting unit 23 acquires the environment parameters of the shooting environment IDr from the reference camera image DB 21 based on the shooting environment IDr supplied from the reference shooting environment selection unit 22.
- the environmental parameters correspond to the camera parameters of the photographing device 11 and the illuminance parameters of the lighting device 12 in the photographing environment data.
- the initial shooting environment setting unit 23 sets each parameter of the shooting device 11 and the lighting device 12 so as to be the same as the environment parameters acquired from the reference camera image DB 21. That is, the initial shooting environment setting unit 23 sets the same shooting environment as the shooting environment IDr as the initial shooting environment.
- the initial shooting environment setting unit 23 secures a new recording area for registering the shooting environment data of the current shooting environment in the reference camera image DB 21, and sets the shooting environment ID as the shooting environment IDx.
- the initial shooting environment setting unit 23 supplies the shooting environment IDr to the shooting environment adjusting unit 24.
- the shooting environment adjustment unit 24 uses the camera images of all the shooting devices 11 stored in the shooting environment IDr as reference images based on the shooting environment IDr supplied from the initial shooting environment setting unit 23, and uses the reference camera image DB 21 as a reference image. Get from.
- the shooting environment adjustment unit 24 shoots a subject with each shooting device 11, compares the shot image obtained as a result with the camera image acquired as the reference image from the reference camera image DB 21, and the camera of the shooting device 11. The parameters are adjusted for the number of imaging devices 11.
- the shooting environment adjustment unit 24 supplies the shooting environment IDr to the shooting environment registration unit 25.
- the shooting environment registration unit 25 acquires (registers) the camera parameters and the shooting image in the final state after the shooting environment adjustment unit 24 makes adjustments in the reference camera image DB 21. Specifically, the shooting environment registration unit 25 estimates the internal parameters and external parameters of the shooting device 11 in the final state after the adjustment, shoots the subject, and acquires the shot image. Then, the shooting environment registration unit 25 stores the camera parameters and the shooting image in the recording area of the shooting environment IDx in the reference camera image DB 21 reserved for the shooting environment data of the current shooting environment. The captured image of the subject is stored as a reference camera image.
- the image processing system 10 of the first embodiment is configured as described above.
- FIG. 6 is a diagram simply showing the flow of the adjustment process of the shooting environment executed by the image processing device 13 in the first embodiment.
- the image processing device 13 first includes the lighting parameters of the lighting device 12, which are numerically configurable parameters among the environmental parameters of the shooting environment IDr selected by the user, and the shutter speed and gain of the shooting device 11. After setting, the first shooting is performed and the shot image is acquired.
- the image processing device 13 detects and adjusts (controls) the deviation of the posture of the photographing device 11 by using the first photographed image, and then performs the second imaged image to acquire the photographed image.
- the posture shift here corresponds to the shift between yaw and pitch because it is assumed that the roll has not changed.
- the captured image obtained in the second shooting is in the correct posture of the shooting device 11, but is still out of focus.
- the image processing device 13 detects and adjusts (controls) the out-of-focus of the photographing device 11 by using the second captured image, and then performs the third imaging to acquire the captured image.
- the third shot image is equivalent to the camera image at the same shooting position of the shooting environment IDr.
- the shooting environment adjustment unit 24 of the image processing device 13 compares the same subject with the shot image taken in the current environment by using the camera image shot of a predetermined subject in the past at different timings as a reference image. Adjust the camera parameters based on the comparison results.
- FIG. 7 is a flowchart showing the processing of the entire image processing system 10 according to the first embodiment. This process is started, for example, when an operation for instructing the start of adjustment of the shooting environment is performed in an operation unit (not shown) of the image processing device 13.
- step S1 the reference shooting environment selection unit 22 causes the user to select the past shooting environment referred to in the current shooting from the shooting environment list stored in the reference camera image DB 21. To execute.
- FIG. 8 is a flowchart showing details of the reference shooting environment selection process executed in step S1 of FIG. 7.
- the reference shooting environment selection unit 22 acquires a shooting environment list, which is a list of shooting environment data, from the reference camera image DB 21, displays it on the display, and selects it for the user. Let me. For example, the user performs an operation of specifying the shooting environment ID of the shooting environment to be matched in the current shooting.
- step S22 the reference shooting environment selection unit 22 acquires the shooting environment ID selected by the user, and sets the shooting environment ID as the shooting environment IDr referred to in the current shooting.
- step S23 the reference shooting environment selection unit 22 supplies the shooting environment IDr to the initial shooting environment setting unit 23.
- step S2 of FIG. 7 the initial shooting environment setting unit 23 executes the initial shooting environment setting process of setting the same shooting environment as the shooting environment IDr supplied from the reference shooting environment selection unit 22 as the initial shooting environment.
- FIG. 9 is a flowchart showing details of the initial shooting environment setting process executed in step S2 of FIG. 7.
- step S41 the initial shooting environment setting unit 23 secures a new recording area for registering the shooting environment data of the current shooting environment in the reference camera image DB 21, and shoots the new recording area.
- the environment ID be the shooting environment IDx.
- step S42 the initial shooting environment setting unit 23 acquires the shooting environment data of the shooting environment IDr from the reference camera image DB 21 and copies it to the recording area of the shooting environment IDx.
- the current date is recorded on the shooting date of the shooting environment IDx.
- step S43 the initial shooting environment setting unit 23 sets the illuminance and color temperature of the lighting device 12 based on the shooting environment data of the shooting environment IDr acquired from the reference shooting environment selection unit 22, and all the shooting devices 11 The shutter speed and gain are set for.
- step S44 the initial shooting environment setting unit 23 executes camera calibration and determines (estimates) the internal parameters and external parameters of all the shooting devices 11.
- Camera calibration is a process of photographing a known calibration pattern such as a chess board and determining (estimating) internal parameters and external parameters from the photographed image.
- step S45 the initial shooting environment setting unit 23 supplies the shooting environment IDr to the shooting environment adjusting unit 24.
- step S3 of FIG. 7 the shooting environment adjustment unit 24 compares the shot image taken by each shooting device 11 with the camera image of the shooting environment IDr as a reference image to determine the camera parameters of each shooting device 11. Execute the shooting environment adjustment process to be adjusted.
- FIG. 10 is a flowchart showing details of the shooting environment adjustment process executed in step S3 of FIG. 7.
- step S61 the shooting environment adjusting unit 24 transfers all the shooting devices 11 stored in the shooting environment IDr based on the shooting environment IDr supplied from the initial shooting environment setting unit 23.
- the camera image of the above is acquired from the reference camera image DB 21 as a reference image.
- step S62 the shooting environment adjustment unit 24 sets 1 as an initial value in the variable i that specifies the predetermined shooting device 11 among the N shooting devices 11.
- step S63 the shooting environment adjustment unit 24 compares the shot image shot by the i-th shooting device 11 with the corresponding camera image acquired as a reference image from the shooting environment IDr, and thereby the i-th shooting device.
- the camera parameter adjustment process for adjusting the postures (yaw and pitch) of 11 and the focus is executed.
- FIG. 11 is a flowchart showing details of the camera parameter adjustment process executed in step S63 of FIG.
- step S81 the shooting environment adjustment unit 24 shoots a subject with the i-th shooting device 11 and acquires a shot image.
- the subject photographed here is an object such as a mannequin whose conditions do not change, and is the same object as the subject captured in the camera image of the photographing environment IDr.
- step S82 the shooting environment adjustment unit 24 compares the acquired shot image with the camera image which is the i-th reference image, and calculates the deviation of the subject in the two-dimensional image. For example, the shooting environment adjustment unit 24 calculates an optical flow for searching where the corresponding points (predetermined points of the subject) of the two images have moved from where to where, and the deviation of the subject is determined by the size of the vector. Is calculated.
- step S83 the shooting environment adjustment unit 24 determines whether the calculated deviation of the subject is within the predetermined threshold Th1.
- step S83 If it is determined in step S83 that the calculated deviation of the subject is not within the predetermined threshold Th1 (greater than the predetermined threshold Th1), the process proceeds to step S84, and the shooting environment adjustment unit 24 determines the calculated subject.
- the posture of the i-th imaging device 11 is adjusted based on the deviation of the image. For example, a control command for correcting the deviation between yaw and pitch of the i-th photographing device 11 is transmitted to the i-th photographing device 11.
- step S84 the process returns to step S81, and steps S81 to S83 described above are executed again.
- step S83 determines whether the calculated deviation of the subject is within the predetermined threshold value Th1 or not. If it is determined in step S83 that the calculated deviation of the subject is within the predetermined threshold value Th1, the process proceeds to step S85, and the shooting environment adjustment unit 24 shoots the subject with the i-th shooting device 11. And get the captured image.
- step S86 the shooting environment adjustment unit 24 compares the shot image with the camera image which is the i-th reference image, and calculates the degree of focus (focus position) deviation.
- the shooting environment adjustment unit 24 calculates the difference in the frequency components of the two images as the degree of focus shift, and the difference between the differential images of the two images as the degree of focus shift. It would be good if the degree of focus shift could be quantified and compared in some way.
- step S87 the shooting environment adjustment unit 24 determines whether the calculated degree of focus shift is within the predetermined threshold value Th2.
- step S87 If it is determined in step S87 that the calculated degree of focus shift is not within the predetermined threshold value Th2 (greater than the predetermined threshold value Th2), the process proceeds to step S88, and the shooting environment adjustment unit 24 calculates. Adjust the focus based on the degree of focus shift. For example, a control command for correcting the focus position of the i-th photographing device 11 is transmitted to the i-th photographing device 11.
- step S87 if it is determined in step S87 that the calculated degree of focus shift is within the predetermined threshold value Th2, the camera parameter adjustment process ends, and the process returns to FIG. 10 and proceeds to step S64.
- step S64 the shooting environment adjustment unit 24 determines whether the camera parameter adjustment processing has been performed on all the shooting devices 11, that is, the N shooting devices 11.
- step S64 If it is determined in step S64 that the camera parameter adjustment processing has not yet been performed for all the shooting devices 11, the processing proceeds to step S65, and the shooting environment adjustment unit 24 increments the variable i by 1. , The process returns to step S63. As a result, the camera parameter adjustment process for the next photographing device 11 is executed.
- step S64 if it is determined in step S64 that the camera parameter adjustment processing has been performed on all the shooting devices 11, the shooting environment adjustment processing is completed, and the processing returns to FIG. 7 and proceeds to step S4.
- step S4 of FIG. 7 the shooting environment registration unit 25 executes the shooting environment registration process of registering the shooting environment data in the final state after the shooting environment adjustment unit 24 has adjusted in the reference camera image DB 21.
- FIG. 12 is a flowchart showing details of the shooting environment registration process executed in step S4 of FIG. 7.
- step S101 the shooting environment registration unit 25 executes camera calibration and determines (estimates) the internal parameters and external parameters of all the shooting devices 11. This process is the same as the process executed in step S44 of the initial shooting environment setting process of FIG.
- step S102 the shooting environment registration unit 25 shoots the subject with all the shooting devices 11 and acquires the shot image.
- step S103 the shooting environment registration unit 25 stores the internal parameters and external parameters of all the shooting devices 11 and the shot image in the recording area of the shooting environment IDx in the reference camera image DB 21.
- the illuminance and color temperature of the other lighting devices 12, the imaging device arrangement ID, the number of imaging devices 11, the shutter speed, and the gain are already stored by the process of step S42 in the initial imaging environment setting process of FIG.
- the image processing device 13 is the lighting device 12 under the condition that the three-dimensional position and the roll of the photographing device 11 are not changed. Lighting parameters (illumination and color temperature), posture (yaw and pitch), focus (focus position), shutter speed, and gain of each imaging device 11 can be automatically adjusted to the past imaging environment. .. As a result, the shooting environment can be easily adjusted and the operating cost can be reduced as compared with the conventional method in which the user manually adjusts while viewing the shot image.
- FIG. 13 is a block diagram showing a second embodiment of the image processing system to which the present disclosure is applied.
- the image processing system 10 of FIG. 13 is composed of N photographing devices 11-1 to 11-N, M lighting devices 12-1 to 12-M, and an image processing device 13.
- the current shooting environment is adjusted to the past shooting environment.
- the embodiment shows a configuration corresponding to a case where the three-dimensional position and roll of the photographing device 11 are also changed. For example, it is conceivable that the arrangement of N shooting devices 11-1 to 11-N is changed, or the shooting studio (shooting space) is different.
- the image processing device 13 includes a reference camera image DB 21, a reference shooting environment selection unit 22, an initial shooting environment setting unit 23, a reference virtual viewpoint image generation unit 51, a shooting environment adjustment unit 24A, and a shooting environment registration unit 25.
- the reference virtual viewpoint image generation unit 51 is newly added, and the shooting environment adjusting unit 24 is changed to the shooting environment adjusting unit 24A. Has been changed to.
- Other configurations of the image processing device 13 are the same as those of the first embodiment.
- the reference virtual viewpoint image generation unit 51 acquires the shooting environment IDr from the initial shooting environment setting unit 23. Then, the reference virtual viewpoint image generation unit 51 generates a 3D model of the subject by using the internal parameters and external parameters of each of the photographing devices 1 to N stored in the photographing environment IDr and the camera image. Further, the reference virtual viewpoint image generation unit 51 generates a virtual viewpoint image obtained by viewing the generated 3D model of the subject from the same viewpoint as each of the shooting devices 11 this time as a reference virtual viewpoint image, and the shooting environment together with the shooting environment IDr. It is supplied to the adjusting unit 24A.
- the shooting environment adjustment unit 24A acquires the lighting parameters (illuminance and color temperature) stored in the shooting environment IDr from the reference camera image DB 21 based on the shooting environment IDr supplied from the reference virtual viewpoint image generation unit 51. .. Then, the shooting environment adjustment unit 24A adjusts the set value of the lighting device 12 to the illuminance and the color temperature of the shooting environment IDr. Further, the shooting environment adjustment unit 24A compares the reference virtual viewpoint image corresponding to each of the shooting devices 11 supplied from the reference virtual viewpoint image generation unit 51 with the shot image shot by the shooting device 11, and compares the shot image taken by the shooting device 11 with the shooting device 11. Adjust camera parameters.
- the image processing system 10 in the second embodiment is configured as described above.
- FIG. 14 is a diagram illustrating a shooting environment adjustment process executed by the shooting environment adjustment unit 24A in the second embodiment.
- the reference virtual viewpoint image generation unit 51 generates and generates a 3D model of the subject from the internal parameters and external parameters of each of the shooting devices 1 to N of the shooting environment IDr acquired from the reference camera image DB 21 and the camera image.
- a 3D model is generated as a reference image by generating a virtual viewpoint image viewed from the viewpoint of each of the photographing devices 11 in the current environment.
- the generated virtual viewpoint image becomes an image from the same viewpoint as any of the shooting devices 11 this time, so that the shooting environment adjustment unit 24A determines the generated virtual viewpoint image and the shooting device 11 having the same viewpoint. Can compare the captured image of the subject and adjust the camera parameters based on the comparison result.
- the photographing environment adjusting unit 24A since it is assumed that the brightness also differs due to the difference in the arrangement of the photographing device 11, the photographing environment adjusting unit 24A also adjusts the lighting parameters. Other adjustments of the shooting environment adjusting unit 24A are the same as those of the shooting environment adjusting unit 24 of the first embodiment.
- FIG. 15 is a flowchart showing the processing of the entire image processing system 10 according to the second embodiment. This process is started, for example, when an operation for instructing the start of adjustment of the shooting environment is performed in an operation unit (not shown) of the image processing device 13.
- the reference shooting environment selection unit 22 causes the user to select a past shooting environment referred to in the current shooting from the shooting environment list stored in the reference camera image DB 21.
- Reference shooting environment selection process To execute. The details of this process are the same as the process described in the flowchart of FIG.
- step S152 the initial shooting environment setting unit 23 executes the initial shooting environment setting process for setting the same shooting environment as the shooting environment IDr supplied from the reference shooting environment selection unit 22 as the initial shooting environment.
- the details of this process are the same as the process described in the flowchart of FIG.
- step S153 the reference virtual viewpoint image generation unit 51 generates a 3D model from the shooting environment data stored in the shooting environment IDr, and the generated 3D model is viewed from the viewpoint of each of the shooting devices 11 this time.
- the reference virtual viewpoint image generation process for generating an image as a reference virtual viewpoint image is executed. Details of this process will be described later with reference to FIG.
- step S154 the shooting environment adjustment unit 24A adjusts the camera parameters of each shooting device 11 by comparing the shot image shot by each shooting device 11 with the reference virtual viewpoint image as the reference image. Execute the adjustment process. Details of this process will be described later with reference to FIGS. 17 and 18.
- step S155 the shooting environment registration unit 25 executes a shooting environment registration process for registering the shooting environment data in the final state after the shooting environment adjustment unit 24 has adjusted in the reference camera image DB 21.
- FIG. 16 is a flowchart showing details of the reference virtual viewpoint image generation process executed in step S153 of FIG.
- the reference virtual viewpoint image generation unit 51 sets the internal parameters and external parameters of each of the imaging devices 1 to N stored in the imaging environment IDr supplied from the initial imaging environment setting unit 23 and the camera image. Use to generate a 3D model of the subject.
- step S172 the reference virtual viewpoint image generation unit 51 generates a virtual viewpoint image of the generated 3D model of the subject as viewed from each viewpoint of the photographing device 11 this time as a reference virtual viewpoint image, and shoots the image together with the photographing environment IDr. Supply to the environment adjustment unit 24A.
- FIG. 17 is a flowchart showing details of the shooting environment adjustment process executed in step S154 of FIG.
- step S191 the shooting environment adjustment unit 24A receives the lighting parameters (illuminance) stored in the shooting environment IDr from the reference camera image DB 21 based on the shooting environment IDr supplied from the reference virtual viewpoint image generation unit 51. And the color temperature), and the set value of the lighting device 12 is adjusted to the illuminance and the color temperature of the shooting environment IDr.
- step S192 the shooting environment adjustment unit 24A sets 1 as an initial value in the variable i that specifies the predetermined shooting device 11 among the N shooting devices 11.
- step S193 the shooting environment adjustment unit 24A compares the shot image shot by the i-th shooting device 11 with the corresponding reference virtual viewpoint image generated by the reference virtual viewpoint image generation unit 51, thereby i.
- the camera parameter adjustment process for adjusting the camera parameter of the second image pickup device 11 is executed. Details of this process will be described later with reference to FIG.
- step S194 the shooting environment adjustment unit 24A determines whether the camera parameter adjustment processing has been performed on all the shooting devices 11, that is, N shooting devices 11.
- step S194 If it is determined in step S194 that the camera parameter adjustment processing has not been performed on all the photographing devices 11, the processing proceeds to step S195, and the photographing environment adjusting unit 24A increments the variable i by 1 and then proceeds to the process. The process returns to step S193. As a result, the camera parameter adjustment process for the next photographing device 11 is executed.
- step S194 if it is determined in step S194 that the camera parameter adjustment processing has been performed on all the shooting devices 11, the shooting environment adjustment processing is completed, and the processing returns to FIG. 15 and proceeds to step S155.
- FIG. 18 is a flowchart showing details of the camera parameter adjustment process executed in step S193 of FIG.
- step S211 the shooting environment adjustment unit 24A shoots a subject with the i-th shooting device 11 and acquires a shot image.
- the subject photographed here is an object such as a mannequin whose conditions do not change, and is the same object as the subject captured in the camera image of the photographing environment IDr.
- step S212 the shooting environment adjustment unit 24A compares the acquired shot image with the corresponding reference virtual viewpoint image, and calculates the difference in brightness of the subject in the two-dimensional image. For example, the shooting environment adjustment unit 24A calculates the difference in the brightness value converted from the RGB values of the corresponding points (predetermined points of the subject) of the two images as the difference in brightness.
- step S213 the shooting environment adjustment unit 24A determines whether the calculated brightness deviation of the subject is within the predetermined threshold value Th3.
- step S213 If it is determined in step S213 that the calculated brightness deviation of the subject is not within the predetermined threshold value Th3 (greater than the predetermined threshold value Th3), the process proceeds to step S214, and the shooting environment adjustment unit 24A calculates. At least one of the shutter speed and the gain of the i-th photographing device 11 is adjusted based on the difference in the brightness of the subject. For example, a control command for changing the gain of the i-th photographing device 11 is transmitted to the i-th photographing device 11.
- step S214 the process returns to step S211 and steps S211 to S213 described above are executed again.
- step S213 if it is determined in step S213 that the calculated brightness deviation of the subject is within the predetermined threshold value Th3, the process proceeds to step S215, and the shooting environment adjustment unit 24A is the i-th shooting device 11. Take a picture of the subject and acquire the shot image.
- step S216 the shooting environment adjustment unit 24A compares the acquired shot image with the corresponding reference virtual viewpoint image, and calculates the degree of focus (focus position) deviation. This process is the same as step S86 of FIG. 11 in the first embodiment.
- step S217 the shooting environment adjustment unit 24A determines whether the calculated degree of focus shift is within the predetermined threshold value Th4.
- step S217 If it is determined in step S217 that the calculated focus shift is not within the predetermined threshold Th4, the process proceeds to step S218, and the shooting environment adjustment unit 24A is based on the calculated focus shift. , Adjust the focus. This process is the same as step S88 of FIG. 11 in the first embodiment.
- step S217 if it is determined in step S217 that the calculated degree of focus shift is within the predetermined threshold value Th4, the camera parameter adjustment process ends, and the process returns to FIG. 17 and proceeds to step S194.
- the processing of the image processing system 10 according to the second embodiment is executed as described above.
- the image processing device 13 determines the lighting parameters (illumination and color) of each lighting device 12.
- the temperature), the focus (focus position), the shutter speed, and the gain of each imaging device 11 can be automatically adjusted to the past imaging environment.
- the shooting environment can be easily adjusted and the operating cost can be reduced as compared with the conventional method in which the user manually adjusts while viewing the shot image.
- the image processing device 13 includes both the configuration of the first embodiment and the configuration of the second embodiment described above, and whether or not the three-dimensional position of the current imaging device 11 is the same as the past imaging environment to be matched. By specifying, etc., one of the adjustment processes can be selected and executed.
- the image processing device 13 of the image processing system 10 not only adjusts the shooting environment, but also controls the shooting device 11 and the lighting device 12 after the shooting environment is adjusted to generate a 3D model that is not for adjustment.
- FIG. 19 is a block diagram showing a configuration example when the image processing device 13 executes a function as a 3D model reproduction display device.
- the image processing device 13 includes an image acquisition unit 71, a 3D model generation unit 72, a 3D model DB 73, a rendering unit 74, and a reference camera image DB 21.
- the image acquisition unit 71 acquires a photographed image (moving image) of the subject, which is supplied from each of the N photographing devices 11-1 to 11-N, and supplies the photographed image (moving image) to the 3D model generation unit 72.
- the 3D model generation unit 72 acquires the camera parameters of the shooting devices 1 to N in the current shooting environment from the reference camera image DB 21.
- Camera parameters include at least external and internal parameters.
- the 3D model generation unit 72 generates a 3D model of the subject based on the captured images captured by N photographing devices 11-1 to 11-N and the camera parameters, and the generated moving image data of the 3D model. (3D model data) is stored in the 3D model DB73.
- the 3D model DB 73 stores the 3D model data generated by the 3D model generation unit 72, and supplies the 3D model data from the rendering unit 74 to the rendering unit 74 in response to a request.
- the 3D model DB 73 and the reference camera image DB 21 may be the same storage medium or may be different storage media.
- the rendering unit 74 acquires the moving image data (3D model data) of the 3D model specified by the viewer who views the reproduced image of the 3D model from the 3D model DB73. Then, the rendering unit 74 generates (reproduces) a two-dimensional image of the 3D model from the viewing position of the viewer supplied from the operation unit (not shown), and supplies it to the display device 81.
- the rendering unit 74 assumes a virtual camera in which the viewing range of the viewer is the shooting range, generates a two-dimensional image of a 3D object captured by the virtual camera, and displays it on the display device 81.
- the display device 81 includes a display D1 as shown in FIG. 1, a head-mounted display (HMD) D2, and the like.
- the series of processes described above can be executed by hardware or software.
- the programs constituting the software are installed on the computer.
- the computer includes a microcomputer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
- FIG. 20 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
- a CPU Central Processing Unit
- ROM ReadOnly Memory
- RAM RandomAccessMemory
- An input / output interface 105 is further connected to the bus 104.
- An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
- the input unit 106 includes a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
- the output unit 107 includes a display, a speaker, an output terminal, and the like.
- the storage unit 108 includes a hard disk, a RAM disk, a non-volatile memory, and the like.
- the communication unit 109 includes a network interface and the like.
- the drive 110 drives a removable recording medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 101 loads the program stored in the storage unit 108 into the RAM 103 via the input / output interface 105 and the bus 104 and executes the above-described series. Is processed.
- the RAM 103 also appropriately stores data and the like necessary for the CPU 101 to execute various processes.
- the program executed by the computer can be recorded and provided on the removable recording medium 111 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
- the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
- each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
- one step includes a plurality of processes
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- the present disclosure may have the following structure.
- An image processing device including an adjustment unit that adjusts camera parameters based on a comparison result between a reference image based on images of a predetermined subject taken at different timings and a shot image of the same subject taken in the current environment.
- the adjusting unit compares an image of a predetermined subject taken at different timings with the taken image as a reference image, and adjusts the camera parameters.
- a 3D model of the subject is generated from a plurality of images of a predetermined subject taken at different timings, and the generated 3D model is generated as a virtual viewpoint image viewed from the viewpoint of the current environment as the reference image.
- the image processing device according to (1) or (2), wherein the adjusting unit compares the virtual viewpoint image as the reference image with the captured image and adjusts the camera parameters.
- a storage unit that stores images of a predetermined subject taken at different timings for one or more environments, and a storage unit. Further provided with a selection unit that allows the user to select a predetermined one or more of the one or more environments stored in the storage unit. The adjusting unit adjusts the camera parameters based on the comparison result between the reference image based on the image of the environment selected by the user and the captured image.
- the image processing apparatus described.
- the image processing apparatus according to any one of (1) to (4) above, wherein the adjusting unit adjusts at least the shutter speed and the gain as the camera parameters.
- a 3D model of the second subject is generated from a plurality of second captured images of the second subject taken by the photographing device, and the generated 3D model of the second subject is viewed from a predetermined viewpoint.
- a 3D model data generation method that generates a viewpoint image.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本開示は、撮影環境の調整を容易に行うことができるようにする画像処理装置、画像処理方法、および、3Dモデルデータ生成方法に関する。 画像処理装置は、異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する調整部を備える。本開示は、例えば、3Dモデル生成のための撮影を行う画像処理システム等に適用できる。
Description
本開示は、画像処理装置、画像処理方法、および、3Dモデルデータ生成方法に関し、特に、撮影環境の調整を容易に行うことができるようにした画像処理装置、画像処理方法、および、3Dモデルデータ生成方法に関する。
多視点で撮影された動画像から被写体の3Dモデルを生成し、任意の視聴位置に応じた3Dモデルの仮想視点画像を生成することで自由な視点の画像を提供する技術がある。この技術は、ボリューメトリックキャプチャなどとも呼ばれている。
ボリューメトリックキャプチャでは、例えば人物などのオブジェクト単位で3Dモデルを生成し、異なるタイミングで生成した複数のオブジェクトを含む仮想視点画像を生成することが可能である。このような場合、複数のオブジェクトを生成する際のそれぞれの撮影環境を合わせたいという要求がある。
例えば、過去に屋外で背景画像を撮影した時の照明状況を、前景画像の撮影時に再現できるように制御するシステムが提案されている(例えば、特許文献1参照)。
3Dモデル生成時の撮影では、多数の撮影装置を用いて異なる視点から被写体を撮影するため、撮影環境を合わせる作業が大変である。
本開示は、このような状況に鑑みてなされたものであり、撮影環境の調整を容易に行うことができるようにするものである。
本開示の一側面の画像処理装置は、異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する調整部を備える。
本開示の一側面の画像処理方法は、異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する。
本開示の一側面の3Dモデルデータ生成方法は、異なるタイミングで第1の被写体を撮影した画像に基づく参照画像と、前記第1の被写体を現在の環境で撮影した第1の撮影画像との比較結果に基づいて調整したカメラパラメータを用いた複数の撮影装置で第2の被写体を撮影した複数の第2の撮影画像から、前記第2の被写体の3Dモデルを生成し、生成した前記第2の被写体の3Dモデルを、所定の視点から見た仮想視点画像を生成する。
本開示の一側面においては、異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータが調整される。
なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
画像処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
以下、添付図面を参照しながら、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
1.ボリューメトリックキャプチャの概要
2.撮影環境の調整について
3.画像処理システムの第1実施の形態
4.第1実施の形態に係る画像処理システムによる処理
5.画像処理システムの第2実施の形態
6.第2実施の形態に係る画像処理システムによる処理
7.3Dモデル再生表示装置としての構成
8.コンピュータ構成例
1.ボリューメトリックキャプチャの概要
2.撮影環境の調整について
3.画像処理システムの第1実施の形態
4.第1実施の形態に係る画像処理システムによる処理
5.画像処理システムの第2実施の形態
6.第2実施の形態に係る画像処理システムによる処理
7.3Dモデル再生表示装置としての構成
8.コンピュータ構成例
<1.ボリューメトリックキャプチャの概要>
本開示の画像処理システムは、多視点で撮影された動画像から被写体の3Dモデルを生成し、任意の視聴位置に応じた3Dモデルの仮想視点画像を生成することで自由な視点の画像(自由視点画像)を提供するボリューメトリックキャプチャに関する。
本開示の画像処理システムは、多視点で撮影された動画像から被写体の3Dモデルを生成し、任意の視聴位置に応じた3Dモデルの仮想視点画像を生成することで自由な視点の画像(自由視点画像)を提供するボリューメトリックキャプチャに関する。
そこで、初めに、図1を参照して、被写体の3Dモデルの生成と、3Dモデルを用いた自由視点画像の表示について簡単に説明する。
例えば、人物等の被写体を配置した所定の撮影空間を、その外周から複数の撮影装置で撮像を行うことにより複数の撮影画像が得られる。撮影画像は、例えば、動画像で構成される。図1の例では、被写体#Ob1を取り囲むように3台の撮影装置CAM1乃至CAM3が配置されているが、撮影装置CAMの台数は3台に限らず、任意である。撮影時の撮影装置CAMの台数は、自由視点画像を生成する際の既知の視点数となるため、多ければ多いほど、自由視点画像を高精度に表現することができる。被写体#Ob1は、所定の動作をとっている人物とされている。
異なる方向の複数の撮影装置CAMから得られた撮影画像を用いて、撮影空間において表示対象となる被写体#Ob1の3Dモデルである3DオブジェクトMO1が生成される(3Dモデリング)。例えば、異なる方向の撮影画像を用いて被写体の3次元形状の削り出しを行うVisual Hull等の手法を用いて、3DオブジェクトMO1が生成される。
そして、撮影空間に存在する1以上の3Dオブジェクトのうち、1以上の3Dオブジェクトのデータ(以下、3Dモデルデータとも称する。)が、再生側の装置に伝送され、再生される。すなわち、再生側の装置において、取得した3Dオブジェクトのデータに基づいて、3Dオブジェクトのレンダリングを行うことにより、視聴者の視聴デバイスに3D形状映像が表示される。図1においては、視聴デバイスが、ディスプレイD1や、ヘッドマウントディスプレイ(HMD)D2である例を示している。
再生側は、撮影空間に存在する1以上の3Dオブジェクトのうち、視聴対象の3Dオブジェクトだけを要求して、視聴デバイスに表示させることが可能である。例えば、再生側は、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、撮影空間に存在する多数の3Dオブジェクトのうち、仮想カメラで捉えられる3Dオブジェクトのみを要求して、視聴デバイスに表示させる。実世界において視聴者が任意の視点から被写体を見ることができるように、仮想カメラの視点(仮想視点)は任意の位置に設定することができる。3Dオブジェクトには、適宜、所定の空間を表す背景の映像を合成することができる。
図2は、一般的な3Dモデルデータのデータフォーマットの例を示している。
3Dモデルデータは、一般的には、被写体の3D形状(ジオメトリ情報)を表した3D形状データと、被写体の色情報を表したテクスチャデータとで表現される。
3D形状データは、例えば、被写体の3次元位置を点の集合で表したポイントクラウド形式、ポリゴンメッシュと呼ばれる頂点(Vertex)と頂点間のつながりで表した3Dメッシュ形式、ボクセル(voxel)と呼ばれる立方体の集合で表したボクセル形式などで表現される。
テクスチャデータは、例えば、各撮影装置CAMが撮影した撮影画像(2次元テクスチャ画像)で保有するマルチテクスチャ形式や、3D形状データである各ポイントまたは各ポリゴンメッシュに貼り付けられる2次元テクスチャ画像を、UV座標系で表現して保有するUVマッピング形式などがある。
図2の上段のように、3D形状データと、各撮影装置CAMが撮影した複数の撮影画像P1乃至P8で保有するマルチテクスチャ形式とで、3Dモデルデータを記述する形式は、仮想視点(仮想カメラの位置)によって、色情報が変化し得るViewDependentな形式である。
これに対して、図2の下段のように、3D形状データと、被写体のテクスチャ情報をUV座標系にマッピングしたUVマッピング形式とで、3Dモデルデータを記述する形式は、仮想視点(仮想カメラの位置)によって、色情報が同一となるViewIndependentな形式である。
<2.撮影環境の調整について>
図1を参照したような手順で生成される被写体の3Dモデル(3Dオブジェクト)は、異なるタイミングで生成された複数の3Dモデルを同一空間上に配置して表示(再生)することもできるし、同一撮影空間で同時に撮影および生成した複数の3Dモデルのなかの一つの3Dモデルのみを表示(再生)することもできる。
図1を参照したような手順で生成される被写体の3Dモデル(3Dオブジェクト)は、異なるタイミングで生成された複数の3Dモデルを同一空間上に配置して表示(再生)することもできるし、同一撮影空間で同時に撮影および生成した複数の3Dモデルのなかの一つの3Dモデルのみを表示(再生)することもできる。
例えば、図3に示されるように、1回目の撮影において、人物A、B,Cの3人を撮影し、それぞれの3DオブジェクトMO11乃至MO13を生成したとする。そして、人物Bの服装を変更したい場合や、人物Bを人物Dに変更したい場合には、人物A、B,Cの3人を再度集めて再撮影する必要はなく、服装を変更した人物Bのみを再撮影したり、人物Dのみを再撮影すればよい。
しかしながら、1回目の撮影時と、服装を変更した人物Bの再撮影時、または、人物Dのみの再撮影時とで、明るさが合っていなかったり、フォーカスなどの設定に違いがあると、3Dオブジェクトの差し替え前後で、コンテンツのクオリティが変わってしまう。
そのため、1回目の撮影時の撮影環境と、再撮影時の撮影環境とをできるだけ揃える必要があるが、3Dモデル生成時の撮影では、多数の撮影装置を用いて異なる視点から被写体を撮影するため、撮影環境を合わせる作業が大変である。
そこで、本開示の画像処理システムは、3Dモデル生成時の撮影において、異なるタイミングで撮影された複数の撮影環境を揃えることができるように、撮影環境の調整を容易に行うことができるようにしたシステムである。
以下、本開示の画像処理システムの詳細構成について説明する。
<3.画像処理システムの第1実施の形態>
図4は、本開示を適用した画像処理システムの第1実施の形態を示すブロック図である。
図4は、本開示を適用した画像処理システムの第1実施の形態を示すブロック図である。
図4の画像処理システム10は、N台(N>2)の撮影装置11-1乃至11-N、M台(M>0)の照明装置12-1乃至12-M、および、画像処理装置13とで構成される。画像処理装置13と、撮影装置11-1乃至11-Nおよび照明装置12-1乃至12-Mとは、例えば、所定の通信ケーブルまたはLAN(Local Area Network)などのネットワークで接続されている。また、各装置は、有線通信に限らず、無線通信により接続されてもよい。
なお、以下において、N台の撮影装置11-1乃至11-Nそれぞれを特に区別しない場合、単に撮影装置11と称し、M台の照明装置12-1乃至12-Mを特に区別しない場合、単に、照明装置12と称する。N台の撮影装置11には、所定の順番で番号が割り当てられている。
N台の撮影装置11-1乃至11-Nは、被写体に対して異なる方向からの撮影となるように、被写体を囲むように所定の撮影空間に配置される。撮影装置11は、被写体の3Dモデル(3Dオブジェクト)を生成するための撮影を行う。撮影の開始および終了のタイミングは、画像処理装置13によって制御され、撮影により得られた静止画または動画像の画像データも、画像処理装置13に供給される。
M台の照明装置12-1乃至12-Mは、被写体に対して異なる方向から光を照射するように、被写体を囲むように所定の撮影空間に配置される。照明装置12は、被写体の撮影を行う際に、被写体に光を照射する。照明装置12の照射のタイミングや照明条件は、画像処理装置13によって制御される。
N台の撮影装置11およびM台の照明装置12で囲まれた撮影空間の中心には、被写体が配置される。現在の撮影環境と、過去の撮影環境とを合わせるための被写体としては、例えば、マネキンなどの条件が変わらない物体が使用される。
画像処理装置13は、参照カメラ画像DB21、参照撮影環境選択部22、初期撮影環境設定部23、撮影環境調整部24、および、撮影環境登録部25を有する。
なお、第1実施の形態の画像処理装置13は、今回撮影を行う撮影空間と、撮影環境を合わせたい過去の撮影空間とが同一であり、撮影装置11の台数と、(x,y,z)で特定される撮影装置11の3次元位置と、(yaw,pitch,roll)で特定される撮影装置11の姿勢のうちのrollが、変化していないとした場合に対応した構成を示している。
画像処理装置13は、被写体の3Dモデル(3Dオブジェクト)を生成するための撮影時の撮影環境を調整する処理を実行する。具体的には、画像処理装置13は、各撮影装置11については、撮影装置11の3次元上の位置(x,y,z)および姿勢(yaw,pitch,roll)と、撮影時のフォーカス(ピント位置)、シャッタスピード、および、ゲインとを調整し、各照明装置12については、照明時の照度および色温度を調整する。ここで、数値的に設定可能なパラメータは、撮影装置11のシャッタスピードおよびゲインと、照明装置12の照度および色温度である。ただし、前提により、撮影装置11の3次元上の位置(x,y,z)およびrollは、合わせたい過去の撮影時と変更されていない。
参照カメラ画像DB21は、3Dモデル生成の撮影を過去に行ったときの撮影環境を特定するデータ(以下、撮影環境データとも称する。)、例えば、画像処理装置13が制御する上記の撮影装置11と照明装置12の各パラメータ等を記憶しており、必要に応じて、装置内の各部に供給する。
図5は、参照カメラ画像DB21に記憶されている撮影環境データの例を示している。
参照カメラ画像DB21には、撮影環境ID、撮影日、照明装置12の照度、照明装置12の色温度、撮影装置配置ID、撮影装置11の台数、および、台数分の撮影装置11のパラメータとカメラ画像が、撮影装置11ごとに記憶されている。
撮影環境IDは、参照カメラ画像DB21に記憶されている各撮影環境データを識別する識別情報である。撮影日は、撮影が行われた日時を示す情報である。
照明装置照度および照明装置色温度は、撮影が行われた時の照明装置12の照度および色温度の設定値を表す。照度および色温度は、照明装置12の照明パラメータを構成する。
撮影装置配置IDは、撮影装置11の配置方法を識別する情報である。例えば、ID=1は、4台の撮影装置11を四隅に配置した配置方法、ID=2は、水平方向の周囲に8台、斜め上方の周囲に4台、斜め下方の周囲に4台の計16台の撮影装置11を配置した配置方法、などのように、IDの値によって配置方法が決定されている。
撮影装置台数は、撮影に使用された撮影装置11の台数を表す。
撮影装置11のパラメータ(カメラパラメータ)としては、シャッタスピード、ゲイン、内部パラメータ、および、外部パラメータが、記憶されている。内部パラメータは、撮影装置11の光学中心座標(cx,cy)と焦点距離(fx,fy)であり、外部パラメータは、3次元上の位置(x,y,z)および姿勢(yaw,pitch,roll)である。
カメラ画像は、過去に撮影を行った時に、その撮影装置11で被写体を撮影した画像であり、のちの撮影において参照画像として比較され得る画像である。カメラ画像は、静止画とするが、動画像でもよい。
以上のように、参照カメラ画像DB21は、過去に(異なるタイミングで)所定の被写体を撮影したカメラパラメータと照明パラメータおよびカメラ画像を記憶している。図4の説明に戻る。
参照撮影環境選択部22は、参照カメラ画像DB21に記憶されている撮影環境データのリストである撮影環境リストを取得し、ディスプレイに表示するなどして、ユーザに提示する。そして、参照撮影環境選択部22は、ユーザに所望の撮影環境IDを選択させることにより、撮影環境リストのなかの所定の1つの撮影環境をユーザに選択させる。ユーザによって選択された撮影環境IDが、今回の撮影において参照される撮影環境IDrとして、初期撮影環境設定部23に供給される。
初期撮影環境設定部23は、参照撮影環境選択部22から供給される撮影環境IDrに基づいて、撮影環境IDrの環境パラメータを、参照カメラ画像DB21から取得する。環境パラメータは、撮影環境データのうちの、撮影装置11のカメラパラメータと照明装置12の照度パラメータに相当する。
そして、初期撮影環境設定部23は、参照カメラ画像DB21から取得した環境パラメータと同じになるように、撮影装置11および照明装置12の各パラメータを設定する。すなわち、初期撮影環境設定部23は、撮影環境IDrと同じ撮影環境を初期撮影環境として設定する。
また、初期撮影環境設定部23は、今回の撮影環境の撮影環境データを参照カメラ画像DB21に登録するための新規の記録領域を確保し、その撮影環境IDを撮影環境IDxとする。初期撮影環境設定部23は、撮影環境IDrを、撮影環境調整部24に供給する。
撮影環境調整部24は、初期撮影環境設定部23から供給される撮影環境IDrに基づいて、撮影環境IDrに記憶されている全ての撮影装置11のカメラ画像を、参照画像として、参照カメラ画像DB21から取得する。
そして、撮影環境調整部24は、各撮影装置11で被写体を撮影し、その結果得られた撮影画像と、参照カメラ画像DB21から参照画像として取得したカメラ画像とを比較し、撮影装置11のカメラパラメータを、撮影装置11の台数分調整する。撮影環境調整部24は、撮影環境IDrを、撮影環境登録部25に供給する。
撮影環境登録部25は、撮影環境調整部24が調整を行った後の最終状態のカメラパラメータと撮影画像を取得し、参照カメラ画像DB21に記憶させる(登録する)。具体的には、撮影環境登録部25は、調整を行った後の最終状態で、撮影装置11の内部パラメータおよび外部パラメータを推定するとともに、被写体を撮影して、撮影画像を取得する。そして、撮影環境登録部25は、現在の撮影環境の撮影環境データ用に確保された参照カメラ画像DB21内の撮影環境IDxの記録領域に、カメラパラメータと撮影画像を記憶する。被写体を撮影した撮影画像は、参照用のカメラ画像として記憶される。
第1実施の形態の画像処理システム10は、以上のように構成される。
図6は、第1実施の形態において、画像処理装置13が実行する撮影環境の調整処理の流れを簡単に示した図である。
画像処理装置13は、初めに、ユーザによって選択された撮影環境IDrの環境パラメータのうち、数値的に設定可能なパラメータである、照明装置12の照明パラメータ、並びに、撮影装置11のシャッタスピードおよびゲインを設定した後、1回目の撮影を行い、撮影画像を取得する。
1回目の撮影で得られた撮影画像を、撮影環境IDrの同じ撮影位置のカメラ画像と比較すると、撮影装置11の姿勢と、フォーカスがずれた状態となっている。
そこで、画像処理装置13は、1回目の撮影画像を用いて、撮影装置11の姿勢のずれを検出して調整(制御)した後、2回目の撮影を行い、撮影画像を取得する。ここでの姿勢のずれとは、rollは変化していない前提としているので、yawとpitchのずれに相当する。
2回目の撮影で得られた撮影画像は、撮影装置11の姿勢は合っているが、まだフォーカスがずれた状態となっている。
そこで、画像処理装置13は、2回目の撮影画像を用いて、撮影装置11のフォーカスのずれを検出して調整(制御)した後、3回目の撮影を行い、撮影画像を取得する。3回目の撮影画像は、撮影環境IDrの同じ撮影位置のカメラ画像と同等となる。
以上のように、画像処理装置13の撮影環境調整部24は、異なるタイミングである過去に所定の被写体を撮影したカメラ画像を参照画像として、同一の被写体を現在の環境で撮影した撮影画像と比較した比較結果に基づいて、カメラパラメータを調整する。
<4.第1実施の形態に係る画像処理システムによる処理>
図7は、第1実施の形態に係る画像処理システム10全体の処理を示すフローチャートである。この処理は、例えば、画像処理装置13の図示せぬ操作部において、撮影環境の調整開始を指示する操作が行われたとき開始される。
図7は、第1実施の形態に係る画像処理システム10全体の処理を示すフローチャートである。この処理は、例えば、画像処理装置13の図示せぬ操作部において、撮影環境の調整開始を指示する操作が行われたとき開始される。
初めに、ステップS1において、参照撮影環境選択部22は、参照カメラ画像DB21に記憶されている撮影環境リストから、今回の撮影において参照される過去の撮影環境をユーザに選択させる参照撮影環境選択処理を実行する。
図8は、図7のステップS1において実行される参照撮影環境選択処理の詳細を示すフローチャートである。
参照撮影環境選択処理では、初めに、ステップS21において、参照撮影環境選択部22は、撮影環境データのリストである撮影環境リストを、参照カメラ画像DB21から取得してディスプレイに表示し、ユーザに選択させる。例えば、ユーザは、今回の撮影において合わせたい撮影環境の撮影環境IDを指定する操作を行う。
ステップS22において、参照撮影環境選択部22は、ユーザによって選択された撮影環境IDを取得し、その撮影環境IDを、今回の撮影において参照される撮影環境IDrとする。
ステップS23において、参照撮影環境選択部22は、撮影環境IDrを、初期撮影環境設定部23に供給する。
以上で参照撮影環境選択処理が終了し、処理は、図7に戻って、ステップS2に進む。
図7のステップS2において、初期撮影環境設定部23は、参照撮影環境選択部22から供給された撮影環境IDrと同じ撮影環境を、初期撮影環境として設定する初期撮影環境設定処理を実行する。
図9は、図7のステップS2において実行される初期撮影環境設定処理の詳細を示すフローチャートである。
初期撮影環境設定処理では、初めに、ステップS41において、初期撮影環境設定部23は、今回の撮影環境の撮影環境データを参照カメラ画像DB21に登録するための新規の記録領域を確保し、その撮影環境IDを撮影環境IDxとする。
ステップS42において、初期撮影環境設定部23は、参照カメラ画像DB21から撮影環境IDrの撮影環境データを取得し、撮影環境IDxの記録領域にコピーする。なお、撮影環境IDxの撮影日には、現在の日付が記録される。
ステップS43において、初期撮影環境設定部23は、参照撮影環境選択部22から取得した撮影環境IDrの撮影環境データに基づいて、照明装置12の照度および色温度を設定するとともに、全ての撮影装置11に対して、シャッタスピードとゲインを設定する。
ステップS44において、初期撮影環境設定部23は、カメラキャリブレーションを実行し、全ての撮影装置11の内部パラメータと外部パラメータを決定(推定)する。カメラキャリブレーションは、例えば、チェスボードなどの既知のキャリブレーションパターンを撮影し、その撮影画像から、内部パラメータと外部パラメータを決定(推定)する処理である。
ステップS45において、初期撮影環境設定部23は、撮影環境IDrを、撮影環境調整部24に供給する。
以上で初期撮影環境設定処理が終了し、処理は、図7に戻って、ステップS3に進む。
図7のステップS3において、撮影環境調整部24は、各撮影装置11が被写体を撮影した撮影画像を、参照画像としての撮影環境IDrのカメラ画像と比較することにより各撮影装置11のカメラパラメータを調整する撮影環境調整処理を実行する。
図10は、図7のステップS3において実行される撮影環境調整処理の詳細を示すフローチャートである。
撮影環境調整処理では、初めに、ステップS61において、撮影環境調整部24は、初期撮影環境設定部23から供給された撮影環境IDrに基づいて、撮影環境IDrに記憶されている全ての撮影装置11のカメラ画像を、参照画像として、参照カメラ画像DB21から取得する。
ステップS62において、撮影環境調整部24は、N台の撮影装置11のうちの所定の撮影装置11を特定する変数iに、初期値として1を設定する。
ステップS63において、撮影環境調整部24は、i番目の撮影装置11で撮影した撮影画像と、撮影環境IDrから参照画像として取得した、対応するカメラ画像とを比較することで、i番目の撮影装置11の姿勢(yawおよびpitch)と、フォーカスを調整するカメラパラメータ調整処理を実行する。
図11は、図10のステップS63において実行されるカメラパラメータ調整処理の詳細を示すフローチャートである。
カメラパラメータ調整処理では、初めに、ステップS81において、撮影環境調整部24は、i番目の撮影装置11で被写体を撮影し、撮影画像を取得する。ここで撮影される被写体は、マネキンなど条件が変わらない物体であり、かつ、撮影環境IDrのカメラ画像に写る被写体と同じ物体である。
続いて、ステップS82において、撮影環境調整部24は、取得した撮影画像を、i番目の参照画像であるカメラ画像と比較し、2次元画像内の被写体のずれを算出する。例えば、撮影環境調整部24は、2枚の画像の対応する点(被写体の所定箇所)が、どこからどこへ移動したかを探索するオプティカルフローを算出し、そのベクトルの大きさにより、被写体のずれを算出する。
ステップS83において、撮影環境調整部24は、算出された被写体のずれが所定の閾値Th1以内であるかを判定する。
ステップS83で、算出された被写体のずれが所定の閾値Th1以内ではない(所定の閾値Th1より大きい)と判定された場合、処理はステップS84に進み、撮影環境調整部24は、算出された被写体のずれを基に、i番目の撮影装置11の姿勢を調整する。例えば、i番目の撮影装置11のyawとpitchのずれを補正する制御コマンドが、i番目の撮影装置11に送信される。
ステップS84の後、処理はステップS81に戻り、上述したステップS81乃至S83が再度実行される。
一方、ステップS83で、算出された被写体のずれが所定の閾値Th1以内であると判定された場合、処理はステップS85に進み、撮影環境調整部24は、i番目の撮影装置11で被写体を撮影し、撮影画像を取得する。
続いて、ステップS86において、撮影環境調整部24は、撮影画像を、i番目の参照画像であるカメラ画像と比較し、フォーカス(ピント位置)のずれ具合を算出する。例えば、撮影環境調整部24は、2枚の画像それぞれの周波数成分の差を、フォーカスのずれ具合として算出したり、2枚の画像それぞれの微分画像の差を、フォーカスのずれ具合として算出する。フォーカスのずれ具合を何らかの方法で数値化し、比較できればよい。
ステップS87において、撮影環境調整部24は、算出されたフォーカスのずれ具合が、所定の閾値Th2以内であるかを判定する。
ステップS87で、算出されたフォーカスのずれ具合が、所定の閾値Th2以内ではない(所定の閾値Th2より大きい)と判定された場合、処理はステップS88に進み、撮影環境調整部24は、算出されたフォーカスのずれ具合を基に、フォーカスを調整する。例えば、i番目の撮影装置11のフォーカス位置を補正する制御コマンドが、i番目の撮影装置11に送信される。
一方、ステップS87で、算出されたフォーカスのずれ具合が、所定の閾値Th2以内であると判定された場合、カメラパラメータ調整処理が終了し、処理は、図10に戻って、ステップS64に進む。
ステップS64において、撮影環境調整部24は、全ての撮影装置11、即ちN台の撮影装置11に対してカメラパラメータ調整処理を行ったかを判定する。
ステップS64で、全ての撮影装置11に対してカメラパラメータ調整処理をまだ行っていないと判定された場合、処理はステップS65に進み、撮影環境調整部24は、変数iを1だけインクリメントさせた後、処理をステップS63に戻す。これにより、次の撮影装置11に対するカメラパラメータ調整処理が実行される。
一方、ステップS64で、全ての撮影装置11に対してカメラパラメータ調整処理を行ったと判定された場合、撮影環境調整処理が終了し、処理は、図7に戻って、ステップS4に進む。
図7のステップS4において、撮影環境登録部25は、撮影環境調整部24が調整を行った後の最終状態の撮影環境データを、参照カメラ画像DB21に登録する撮影環境登録処理を実行する。
図12は、図7のステップS4において実行される撮影環境登録処理の詳細を示すフローチャートである。
撮影環境登録処理では、初めに、ステップS101において、撮影環境登録部25は、カメラキャリブレーションを実行し、全ての撮影装置11の内部パラメータと外部パラメータを決定(推定)する。この処理は、図9の初期撮影環境設定処理のステップS44で実行した処理と同様である。
続いて、ステップS102において、撮影環境登録部25は、全ての撮影装置11で被写体を撮影し、撮影画像を取得する。
ステップS103において、撮影環境登録部25は、参照カメラ画像DB21内の撮影環境IDxの記録領域に、全ての撮影装置11の内部パラメータおよび外部パラメータと撮影画像を記憶させる。その他の照明装置12の照度および色温度、撮影装置配置ID、撮影装置11の台数、シャッタスピードおよびゲインは、図9の初期撮影環境設定処理におけるステップS42の処理により、既に記憶されている。
以上で撮影環境登録処理が終了して図7に戻り、図7の処理自体も終了する。
以上の調整処理を実行する画像処理システム10の第1実施の形態によれば、撮影装置11の3次元位置とrollが変化していないという条件下において、画像処理装置13が、各照明装置12の照明パラメータ(照度および色温度)と、各撮影装置11の姿勢(yawおよびpitch)、フォーカス(ピント位置)、シャッタスピード、および、ゲインを、過去の撮影環境に自動で合わせることが可能となる。これにより、ユーザが撮影画像を見ながら手動で合わせる従来の手法と比較して、撮影環境の調整を容易に行うことができ、運用コストを削減することができる。
<5.画像処理システムの第2実施の形態>
図13は、本開示を適用した画像処理システムの第2実施の形態を示すブロック図である。
図13は、本開示を適用した画像処理システムの第2実施の形態を示すブロック図である。
図13の第2実施の形態において、図4に示した第1実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。
図13の画像処理システム10は、N台の撮影装置11-1乃至11-N、M台の照明装置12-1乃至12-M、および、画像処理装置13とで構成される。
上述した第1実施の形態では、今回の撮影装置11の3次元位置とrollが変化していない場合に、今回の撮影環境を、過去の撮影環境に合わせる場合の構成であったが、第2実施の形態は、撮影装置11の3次元位置とrollも変化している場合に対応した構成を示している。例えば、N台の撮影装置11-1乃至11-Nの配置を変更した場合や、撮影スタジオ(撮影空間)が異なる場合などが考えられる。
画像処理装置13は、参照カメラ画像DB21、参照撮影環境選択部22、初期撮影環境設定部23、参照仮想視点画像生成部51、撮影環境調整部24A、および、撮影環境登録部25を有する。
したがって、第2実施の形態の画像処理装置13は、第1実施の形態と比較すると、参照仮想視点画像生成部51が新たに追加されるとともに、撮影環境調整部24が、撮影環境調整部24Aに変更されている。画像処理装置13のその他の構成は、第1実施の形態と同様である。
参照仮想視点画像生成部51は、撮影環境IDrを、初期撮影環境設定部23から取得する。そして、参照仮想視点画像生成部51は、撮影環境IDrに記憶されている各撮影装置1乃至Nの内部パラメータおよび外部パラメータとカメラ画像を使用して、被写体の3Dモデルを生成する。さらに、参照仮想視点画像生成部51は、生成した被写体の3Dモデルを、今回の撮影装置11それぞれと同じ視点から見た仮想視点画像を、参照仮想視点画像として生成し、撮影環境IDrとともに撮影環境調整部24Aに供給する。
撮影環境調整部24Aは、参照仮想視点画像生成部51から供給される撮影環境IDrに基づいて、参照カメラ画像DB21から、撮影環境IDrに記憶されている照明パラメータ(照度および色温度)を取得する。そして、撮影環境調整部24Aは、照明装置12の設定値を、撮影環境IDrの照度および色温度に調整する。また、撮影環境調整部24Aは、参照仮想視点画像生成部51から供給される撮影装置11それぞれに対応する参照仮想視点画像と、撮影装置11が撮影した撮影画像とを比較し、撮影装置11のカメラパラメータを調整する。
第2実施の形態における画像処理システム10は、以上のように構成される。
図14は、第2実施の形態において撮影環境調整部24Aが実行する撮影環境調整処理を説明する図である。
第2実施の形態では、撮影装置11の配置が、過去の撮影時の配置と異なることを想定しているため、参照カメラ画像DB21から取得した撮影環境IDrのカメラ画像の視点と、撮影装置11の視点が異なることが想定される。したがって、まず、参照画像の視点と、撮影装置11の視点を合わせる必要がある。
そこで、参照仮想視点画像生成部51は、参照カメラ画像DB21から取得した撮影環境IDrの各撮影装置1乃至Nの内部パラメータおよび外部パラメータとカメラ画像とから、被写体の3Dモデルを生成し、生成した3Dモデルを、現在の環境である撮影装置11それぞれの視点から見た仮想視点画像を参照画像として生成する。これにより、生成された仮想視点画像は、今回の撮影装置11のいずれかと同じ視点からの画像となるので、撮影環境調整部24Aが、生成された仮想視点画像と、それと同じ視点の撮影装置11が被写体を撮影した撮影画像とを比較し、比較結果に基づいて、カメラパラメータを調整することができる。
また、第2実施の形態では、撮影装置11の配置の違いにより明るさにも違いがあることが想定されるため、撮影環境調整部24Aは、照明パラメータも調整する。撮影環境調整部24Aのその他の調整は、第1実施の形態の撮影環境調整部24と同様である。
<6.第2実施の形態に係る画像処理システムによる処理>
図15は、第2実施の形態に係る画像処理システム10全体の処理を示すフローチャートである。この処理は、例えば、画像処理装置13の図示せぬ操作部において、撮影環境の調整開始を指示する操作が行われたとき開始される。
図15は、第2実施の形態に係る画像処理システム10全体の処理を示すフローチャートである。この処理は、例えば、画像処理装置13の図示せぬ操作部において、撮影環境の調整開始を指示する操作が行われたとき開始される。
初めに、ステップS151において、参照撮影環境選択部22は、参照カメラ画像DB21に記憶されている撮影環境リストから、今回の撮影において参照される過去の撮影環境をユーザに選択させる参照撮影環境選択処理を実行する。この処理の詳細は、図8のフローチャートで説明した処理と同様である。
ステップS152において、初期撮影環境設定部23は、参照撮影環境選択部22から供給された撮影環境IDrと同じ撮影環境を、初期撮影環境として設定する初期撮影環境設定処理を実行する。この処理の詳細は、図9のフローチャートで説明した処理と同様である。
ステップS153において、参照仮想視点画像生成部51は、撮影環境IDrに記憶されている撮影環境データから3Dモデルを生成し、生成した3Dモデルを、今回の撮影装置11それぞれの視点から見た仮想視点画像を、参照仮想視点画像として生成する参照仮想視点画像生成処理を実行する。この処理の詳細は、図16を参照して後述する。
ステップS154において、撮影環境調整部24Aは、各撮影装置11が被写体を撮影した撮影画像を、参照画像としての参照仮想視点画像と比較することにより、各撮影装置11のカメラパラメータを調整する撮影環境調整処理を実行する。この処理の詳細は、図17および図18を参照して後述する。
ステップS155において、撮影環境登録部25は、撮影環境調整部24が調整を行った後の最終状態の撮影環境データを、参照カメラ画像DB21に登録する撮影環境登録処理を実行する。
図16は、図15のステップS153において実行される参照仮想視点画像生成処理の詳細を示すフローチャートである。
初めに、ステップS171において、参照仮想視点画像生成部51は、初期撮影環境設定部23から供給された撮影環境IDrに記憶されている各撮影装置1乃至Nの内部パラメータおよび外部パラメータとカメラ画像を使用して、被写体の3Dモデルを生成する。
ステップS172において、参照仮想視点画像生成部51は、生成した被写体の3Dモデルを、今回の撮影装置11それぞれの視点から見た仮想視点画像を、参照仮想視点画像として生成し、撮影環境IDrとともに撮影環境調整部24Aに供給する。
以上で参照仮想視点画像生成処理が終了し、処理は、図15に戻って、ステップS154に進む。
図17は、図15のステップS154において実行される撮影環境調整処理の詳細を示すフローチャートである。
初めに、ステップS191において、撮影環境調整部24Aは、参照仮想視点画像生成部51から供給された撮影環境IDrに基づいて、参照カメラ画像DB21から、撮影環境IDrに記憶されている照明パラメータ(照度および色温度)を取得し、照明装置12の設定値を、撮影環境IDrの照度および色温度に調整する。
ステップS192において、撮影環境調整部24Aは、N台の撮影装置11のうちの所定の撮影装置11を特定する変数iに、初期値として1を設定する。
ステップS193において、撮影環境調整部24Aは、i番目の撮影装置11で撮影した撮影画像と、参照仮想視点画像生成部51で生成された、対応する参照仮想視点画像とを比較することで、i番目の撮影装置11のカメラパラメータを調整するカメラパラメータ調整処理を実行する。この処理の詳細は、図18を参照して後述する。
ステップS194において、撮影環境調整部24Aは、全ての撮影装置11、即ちN台の撮影装置11に対してカメラパラメータ調整処理を行ったかを判定する。
ステップS194で、全ての撮影装置11に対してカメラパラメータ調整処理を行っていないと判定された場合、処理はステップS195に進み、撮影環境調整部24Aは、変数iを1だけインクリメントさせた後、処理をステップS193に戻す。これにより、次の撮影装置11に対するカメラパラメータ調整処理が実行される。
一方、ステップS194で、全ての撮影装置11に対してカメラパラメータ調整処理を行ったと判定された場合、撮影環境調整処理が終了し、処理は、図15に戻って、ステップS155に進む。
図18は、図17のステップS193において実行されるカメラパラメータ調整処理の詳細を示すフローチャートである。
カメラパラメータ調整処理では、初めに、ステップS211において、撮影環境調整部24Aは、i番目の撮影装置11で被写体を撮影し、撮影画像を取得する。ここで撮影される被写体は、マネキンなど条件が変わらない物体であり、かつ、撮影環境IDrのカメラ画像に写る被写体と同じ物体である。
続いて、ステップS212において、撮影環境調整部24Aは、取得した撮影画像を、対応する参照仮想視点画像と比較し、2次元画像内の被写体の明るさのずれを算出する。例えば、撮影環境調整部24Aは、2枚の画像の対応する点(被写体の所定箇所)のRGB値から変換した輝度値の差を、明るさのずれとして算出する。
ステップS213において、撮影環境調整部24Aは、算出された被写体の明るさのずれが所定の閾値Th3以内であるかを判定する。
ステップS213で、算出された被写体の明るさのずれが所定の閾値Th3以内ではない(所定の閾値Th3より大きい)と判定された場合、処理はステップS214に進み、撮影環境調整部24Aは、算出された被写体の明るさのずれを基に、i番目の撮影装置11のシャッタスピードおよびゲインの少なくとも一方を調整する。例えば、i番目の撮影装置11のゲインを変更する制御コマンドが、i番目の撮影装置11に送信される。
ステップS214の後、処理はステップS211に戻り、上述したステップS211乃至S213が再度実行される。
一方、ステップS213で、算出された被写体の明るさのずれが所定の閾値Th3以内であると判定された場合、処理はステップS215に進み、撮影環境調整部24Aは、i番目の撮影装置11で被写体を撮影し、撮影画像を取得する。
続いて、ステップS216において、撮影環境調整部24Aは、取得した撮影画像を、対応する参照仮想視点画像と比較し、フォーカス(ピント位置)のずれ具合を算出する。この処理は、第1実施の形態にける図11のステップS86と同様である。
ステップS217において、撮影環境調整部24Aは、算出されたフォーカスのずれ具合が、所定の閾値Th4以内であるかを判定する。
ステップS217で、算出されたフォーカスのずれ具合が、所定の閾値Th4以内ではないと判定された場合、処理はステップS218に進み、撮影環境調整部24Aは、算出されたフォーカスのずれ具合を基に、フォーカスを調整する。この処理は、第1実施の形態にける図11のステップS88と同様である。
一方、ステップS217で、算出されたフォーカスのずれ具合が、所定の閾値Th4以内であると判定された場合、カメラパラメータ調整処理が終了し、処理は、図17に戻って、ステップS194に進む。
第2実施の形態に係る画像処理システム10の処理は以上のように実行される。
画像処理システム10の第2実施の形態によれば、例えば、撮影装置11の3次元位置が変更されたような場合においても、画像処理装置13が、各照明装置12の照明パラメータ(照度および色温度)と、各撮影装置11のフォーカス(ピント位置)、シャッタスピード、および、ゲインを、過去の撮影環境に自動で合わせることが可能となる。これにより、ユーザが撮影画像を見ながら手動で合わせる従来の手法と比較して、撮影環境の調整を容易に行うことができ、運用コストを削減することができる。
画像処理装置13は、上述した第1実施の形態の構成と第2実施の形態の構成の両方を備え、現在の撮影装置11の3次元位置が、合わせたい過去の撮影環境と同じか否か等を指定することによって、いずれか一方の調整処理を選択して実行することができる。
<7.3Dモデル再生表示装置としての構成>
画像処理システム10の画像処理装置13は、撮影環境を調整する処理だけではなく、撮影環境が調整された後に、撮影装置11と照明装置12を制御して、調整用ではない3Dモデル生成対象の被写体を撮影して動画像データを取得し、3Dモデルを生成する処理と、生成された3Dモデルを任意の仮想視点から見た仮想視点画像を生成し、所定の表示装置に表示させる表示処理を行う3Dモデル再生表示装置としての機能も備える。
画像処理システム10の画像処理装置13は、撮影環境を調整する処理だけではなく、撮影環境が調整された後に、撮影装置11と照明装置12を制御して、調整用ではない3Dモデル生成対象の被写体を撮影して動画像データを取得し、3Dモデルを生成する処理と、生成された3Dモデルを任意の仮想視点から見た仮想視点画像を生成し、所定の表示装置に表示させる表示処理を行う3Dモデル再生表示装置としての機能も備える。
図19は、画像処理装置13が3Dモデル再生表示装置としての機能を実行する場合の構成例を示すブロック図である。
画像処理装置13は、画像取得部71、3Dモデル生成部72、3DモデルDB73、レンダリング部74、および、参照カメラ画像DB21を備える。
画像取得部71は、N台の撮影装置11-1乃至11-Nそれぞれから供給される、被写体を撮影した撮影画像(動画像)を取得し、3Dモデル生成部72に供給する。
3Dモデル生成部72は、参照カメラ画像DB21から、現在の撮影環境の撮影装置1乃至Nのカメラパラメータを取得する。カメラパラメータには、外部パラメータおよび内部パラメータが少なくとも含まれる。
3Dモデル生成部72は、N台の撮影装置11-1乃至11-Nで撮影された撮影画像と、カメラパラメータとに基づいて、被写体の3Dモデルを生成し、生成した3Dモデルの動画像データ(3Dモデルデータ)を、3DモデルDB73に記憶させる。
3DモデルDB73は、3Dモデル生成部72で生成された3Dモデルデータを記憶し、レンダリング部74から要求に応じて、レンダリング部74に供給する。3DモデルDB73と参照カメラ画像DB21は、同一の記憶媒体であってもよいし、別々の記憶媒体であってもよい。
レンダリング部74は、3Dモデルの再生画像を視聴する視聴者が指定する3Dモデルの動画像データ(3Dモデルデータ)を3DモデルDB73から取得する。そして、レンダリング部74は、図示せぬ操作部から供給される視聴者の視聴位置から、3Dモデルを見た2次元画像を生成(再生)し、表示装置81に供給する。レンダリング部74は、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、仮想カメラで捉えられる3Dオブジェクトの2次元画像を生成して、表示装置81に表示させる。表示装置81は、図1に示したようなディスプレイD1や、ヘッドマウントディスプレイ(HMD)D2などで構成される。
<8.コンピュータ構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図20は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及びドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部107は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部108は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体111を駆動する。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本開示は、以下の構成を取ることができる。
(1)
異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する調整部を備える
画像処理装置。
(2)
前記調整部は、前記異なるタイミングで所定の被写体を撮影した画像を前記参照画像として前記撮影画像と比較し、前記カメラパラメータを調整する
前記(1)に記載の画像処理装置。
(3)
前記異なるタイミングで所定の被写体を撮影した複数の前記画像から前記被写体の3Dモデルを生成し、生成した前記3Dモデルを、前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成する参照画像生成部をさらに備え、
前記調整部は、前記参照画像としての前記仮想視点画像と、前記撮影画像とを比較し、前記カメラパラメータを調整する
前記(1)または(2)に記載の画像処理装置。
(4)
前記異なるタイミングで所定の被写体を撮影した画像を、1以上の環境について記憶する記憶部と、
前記記憶部に記憶されている1以上の環境のなかの所定の1つをユーザに選択させる選択部と
をさらに備え、
前記調整部は、前記ユーザによって選択された前記環境の前記画像に基づく参照画像と、前記撮影画像との比較結果に基づいて、カメラパラメータを調整する
前記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)
前記調整部は、前記カメラパラメータとして、シャッタスピードとゲインを少なくとも調整する
前記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)
前記調整部は、前記カメラパラメータとして、撮影装置の内部パラメータと外部パラメータを少なくとも調整する
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記調整部は、前記カメラパラメータに加えて、照明装置のパラメータも調整する
前記(1)乃至(6)のいずれかに記載の画像処理装置。
(8)
前記照明装置のパラメータは、照度と色温度である
前記(7)に記載の画像処理装置。
(9)
異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する
画像処理方法。
(10)
異なるタイミングで第1の被写体を撮影した画像に基づく参照画像と、前記第1の被写体を現在の環境で撮影した第1の撮影画像との比較結果に基づいて調整したカメラパラメータを用いた複数の撮影装置で第2の被写体を撮影した複数の第2の撮影画像から、前記第2の被写体の3Dモデルを生成し、生成した前記第2の被写体の3Dモデルを、所定の視点から見た仮想視点画像を生成する
3Dモデルデータ生成方法。
(1)
異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する調整部を備える
画像処理装置。
(2)
前記調整部は、前記異なるタイミングで所定の被写体を撮影した画像を前記参照画像として前記撮影画像と比較し、前記カメラパラメータを調整する
前記(1)に記載の画像処理装置。
(3)
前記異なるタイミングで所定の被写体を撮影した複数の前記画像から前記被写体の3Dモデルを生成し、生成した前記3Dモデルを、前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成する参照画像生成部をさらに備え、
前記調整部は、前記参照画像としての前記仮想視点画像と、前記撮影画像とを比較し、前記カメラパラメータを調整する
前記(1)または(2)に記載の画像処理装置。
(4)
前記異なるタイミングで所定の被写体を撮影した画像を、1以上の環境について記憶する記憶部と、
前記記憶部に記憶されている1以上の環境のなかの所定の1つをユーザに選択させる選択部と
をさらに備え、
前記調整部は、前記ユーザによって選択された前記環境の前記画像に基づく参照画像と、前記撮影画像との比較結果に基づいて、カメラパラメータを調整する
前記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)
前記調整部は、前記カメラパラメータとして、シャッタスピードとゲインを少なくとも調整する
前記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)
前記調整部は、前記カメラパラメータとして、撮影装置の内部パラメータと外部パラメータを少なくとも調整する
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記調整部は、前記カメラパラメータに加えて、照明装置のパラメータも調整する
前記(1)乃至(6)のいずれかに記載の画像処理装置。
(8)
前記照明装置のパラメータは、照度と色温度である
前記(7)に記載の画像処理装置。
(9)
異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する
画像処理方法。
(10)
異なるタイミングで第1の被写体を撮影した画像に基づく参照画像と、前記第1の被写体を現在の環境で撮影した第1の撮影画像との比較結果に基づいて調整したカメラパラメータを用いた複数の撮影装置で第2の被写体を撮影した複数の第2の撮影画像から、前記第2の被写体の3Dモデルを生成し、生成した前記第2の被写体の3Dモデルを、所定の視点から見た仮想視点画像を生成する
3Dモデルデータ生成方法。
10 画像処理システム, 11-1乃至11-N 撮影装置, 12-1乃至12-M 照明装置, 13 画像処理装置, 21 参照カメラ画像DB, 22 参照撮影環境選択部, 23 初期撮影環境設定部, 24,24A 撮影環境調整部, 25 撮影環境登録部, 51 参照仮想視点画像生成部, 71 画像取得部, 72 3Dモデル生成部, 73 3DモデルDB, 74 レンダリング部, 81 表示装置, 101 CPU, 102 ROM, 103 RAM, 106 入力部, 107 出力部, 108 記憶部, 109 通信部, 110 ドライブ
Claims (10)
- 異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する調整部を備える
画像処理装置。 - 前記調整部は、前記異なるタイミングで所定の被写体を撮影した画像を前記参照画像として前記撮影画像と比較し、前記カメラパラメータを調整する
請求項1に記載の画像処理装置。 - 前記異なるタイミングで所定の被写体を撮影した複数の前記画像から前記被写体の3Dモデルを生成し、生成した前記3Dモデルを、前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成する参照画像生成部をさらに備え、
前記調整部は、前記参照画像としての前記仮想視点画像と、前記撮影画像とを比較し、前記カメラパラメータを調整する
請求項1に記載の画像処理装置。 - 前記異なるタイミングで所定の被写体を撮影した画像を、1以上の環境について記憶する記憶部と、
前記記憶部に記憶されている1以上の環境のなかの所定の1つをユーザに選択させる選択部と
をさらに備え、
前記調整部は、前記ユーザによって選択された前記環境の前記画像に基づく参照画像と、前記撮影画像との比較結果に基づいて、カメラパラメータを調整する
請求項1に記載の画像処理装置。 - 前記調整部は、前記カメラパラメータとして、シャッタスピードとゲインを少なくとも調整する
請求項1に記載の画像処理装置。 - 前記調整部は、前記カメラパラメータとして、撮影装置の内部パラメータと外部パラメータを少なくとも調整する
請求項1に記載の画像処理装置。 - 前記調整部は、前記カメラパラメータに加えて、照明装置のパラメータも調整する
請求項1に記載の画像処理装置。 - 前記照明装置のパラメータは、照度と色温度である
請求項7に記載の画像処理装置。 - 異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する
画像処理方法。 - 異なるタイミングで第1の被写体を撮影した画像に基づく参照画像と、前記第1の被写体を現在の環境で撮影した第1の撮影画像との比較結果に基づいて調整したカメラパラメータを用いた複数の撮影装置で第2の被写体を撮影した複数の第2の撮影画像から、前記第2の被写体の3Dモデルを生成し、生成した前記第2の被写体の3Dモデルを、所定の視点から見た仮想視点画像を生成する
3Dモデルデータ生成方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/802,809 US20230087663A1 (en) | 2020-03-30 | 2021-03-17 | Image processing apparatus, image processing method, and 3d model data generation method |
JP2022511835A JP7517410B2 (ja) | 2020-03-30 | 2021-03-17 | 画像処理装置、画像処理方法、および、3dモデルデータ生成方法 |
DE112021002004.8T DE112021002004T5 (de) | 2020-03-30 | 2021-03-17 | Bildverarbeitungseinrichtung, Bildverarbeitungsverfahren und Generierungsverfahren von 3D-Modell-Daten |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-060384 | 2020-03-30 | ||
JP2020060384 | 2020-03-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021200143A1 true WO2021200143A1 (ja) | 2021-10-07 |
Family
ID=77929310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/010754 WO2021200143A1 (ja) | 2020-03-30 | 2021-03-17 | 画像処理装置、画像処理方法、および、3dモデルデータ生成方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230087663A1 (ja) |
JP (1) | JP7517410B2 (ja) |
DE (1) | DE112021002004T5 (ja) |
WO (1) | WO2021200143A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230164436A1 (en) * | 2020-06-04 | 2023-05-25 | Sony Group Corporation | Imaging device, image processing method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004201722A (ja) * | 2002-12-20 | 2004-07-22 | Ge Medical Systems Global Technology Co Llc | 超音波診断装置 |
JP2008054031A (ja) * | 2006-08-24 | 2008-03-06 | Fujifilm Corp | デジタルカメラ及び表示制御方法 |
JP2012195760A (ja) * | 2011-03-16 | 2012-10-11 | Canon Inc | 撮影設定調整システム、情報処理装置、およびその制御方法、並びに制御プログラム |
JP2012194349A (ja) * | 2011-03-16 | 2012-10-11 | Canon Inc | 撮影制御装置、その制御方法、および制御プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7844109B2 (en) * | 2003-09-24 | 2010-11-30 | Canon Kabushiki Kaisha | Image processing method and apparatus |
JP2012175128A (ja) | 2011-02-17 | 2012-09-10 | Canon Inc | 情報処理装置、照明を設定するための情報を生成する方法およびプログラム |
WO2017131071A1 (ja) * | 2016-01-28 | 2017-08-03 | 日本電信電話株式会社 | 仮想環境構築装置、映像提示装置、モデル学習装置、最適奥行き決定装置、それらの方法、およびプログラム |
CN110892455A (zh) * | 2017-07-14 | 2020-03-17 | 索尼公司 | 图像处理装置、用于图像处理装置的图像处理方法和程序 |
-
2021
- 2021-03-17 JP JP2022511835A patent/JP7517410B2/ja active Active
- 2021-03-17 WO PCT/JP2021/010754 patent/WO2021200143A1/ja active Application Filing
- 2021-03-17 US US17/802,809 patent/US20230087663A1/en active Pending
- 2021-03-17 DE DE112021002004.8T patent/DE112021002004T5/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004201722A (ja) * | 2002-12-20 | 2004-07-22 | Ge Medical Systems Global Technology Co Llc | 超音波診断装置 |
JP2008054031A (ja) * | 2006-08-24 | 2008-03-06 | Fujifilm Corp | デジタルカメラ及び表示制御方法 |
JP2012195760A (ja) * | 2011-03-16 | 2012-10-11 | Canon Inc | 撮影設定調整システム、情報処理装置、およびその制御方法、並びに制御プログラム |
JP2012194349A (ja) * | 2011-03-16 | 2012-10-11 | Canon Inc | 撮影制御装置、その制御方法、および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7517410B2 (ja) | 2024-07-17 |
US20230087663A1 (en) | 2023-03-23 |
JPWO2021200143A1 (ja) | 2021-10-07 |
DE112021002004T5 (de) | 2023-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11410320B2 (en) | Image processing method, apparatus, and storage medium | |
CN108718373A (zh) | 影像装置 | |
JP2019516295A (ja) | 3次元360度バーチャルリアリティカメラの露出制御 | |
US20180225882A1 (en) | Method and device for editing a facial image | |
KR101853269B1 (ko) | 스테레오 이미지들에 관한 깊이 맵 스티칭 장치 | |
US11158104B1 (en) | Systems and methods for building a pseudo-muscle topology of a live actor in computer animation | |
CN114979689B (zh) | 多机位直播导播方法、设备以及介质 | |
JP2008113176A (ja) | 映像表示システムの調整システム | |
WO2021200143A1 (ja) | 画像処理装置、画像処理方法、および、3dモデルデータ生成方法 | |
WO2020209108A1 (ja) | 画像処理装置、3dモデル生成方法、およびプログラム | |
CA3184384A1 (en) | Automatic detection of a calibration object for modifying image parameters | |
JP2008204318A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US20230121860A1 (en) | Interactive image generation | |
WO2021171982A1 (ja) | 画像処理装置、3dモデルの生成方法、学習方法およびプログラム | |
JP4141090B2 (ja) | 画像認識装置、陰影除去装置、陰影除去方法及び記録媒体 | |
CN112866507B (zh) | 智能化的全景视频合成方法、***、电子设备及介质 | |
Morioka et al. | NHK meta studio: A compact volumetric TV studio for 3-D reconstruction | |
KR101012758B1 (ko) | 3차원 인체 계측 시스템 및 그 방법 | |
JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20120105208A (ko) | 영상 처리 장치 | |
CN117459663B (zh) | 一种投射光自校正拟合与多色彩重定位方法及装置 | |
JP7197211B2 (ja) | 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム | |
US20230031464A1 (en) | Image processing apparatus and virtual illumination system | |
WO2023238660A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2024042893A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21781957 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022511835 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21781957 Country of ref document: EP Kind code of ref document: A1 |