WO2021059669A1 - 情報処理装置、映像の生成方法及びプログラム - Google Patents
情報処理装置、映像の生成方法及びプログラム Download PDFInfo
- Publication number
- WO2021059669A1 WO2021059669A1 PCT/JP2020/026809 JP2020026809W WO2021059669A1 WO 2021059669 A1 WO2021059669 A1 WO 2021059669A1 JP 2020026809 W JP2020026809 W JP 2020026809W WO 2021059669 A1 WO2021059669 A1 WO 2021059669A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- camera
- image quality
- virtual
- information processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Definitions
- the present disclosure relates to an information processing device, an image generation method and a program, and in particular, an information processing device and an image capable of predicting the image quality of a virtual image obtained when a 3D object is imaged from an arbitrary direction by a virtual camera. Regarding the generation method and program of.
- Patent Document 1 it was not possible to predict the image quality of a virtual image captured from an arbitrary direction.
- the present disclosure proposes an information processing device, an image generation method, and a program capable of predicting the image quality of a virtual image when a 3D object is imaged from a virtual viewpoint.
- the information processing apparatus of one form according to the present disclosure views the 3D object from the position of the virtual viewpoint for viewing the 3D object and the position of the virtual viewpoint with respect to the 3D object. It is an information processing device including an image quality prediction unit that predicts the relationship between the image quality of a virtual image obtained at the time and the image quality.
- FIG. 2 is a second diagram showing an example of a user interface when predicting a camera path. It is a flowchart which shows an example of the flow of processing performed by a camera path generator.
- First Embodiment 1-1 Explanation of prerequisites-3D model generation 1-2. Explanation of prerequisites-Generation of virtual viewpoint video of a single 3D model 1-3. Explanation of hardware configuration of information processing device 1-4. Explanation of the functional configuration of the information processing device 1-5. Explanation of how to calculate the image quality score 1-6. Explanation of how to generate a score map 1-7. Explanation of how to generate a camera path 1-8. Explanation of camera path generation assistance method 1-9. Explanation of the processing flow performed by the camera path generator 1-10. Effect of the first embodiment 2. Second embodiment 3. Third embodiment 4. Fourth embodiment 5. Fifth Embodiment
- the information processing device 10a is a device that generates a camera path that can obtain high image quality when 3D models of a plurality of subjects are simultaneously imaged.
- FIG. 1 is a block diagram showing an example of a basic configuration of the information processing apparatus of the first embodiment.
- the information processing device 10a includes a 3D model generation device 20 and a camera path generation device 30.
- the 3D model generation device 20 separately generates 3D models of a plurality of subjects.
- the camera path generator 30 can maintain, for example, an image quality of a predetermined value or more, that is, a virtual camera path. Generate a movement trajectory of the viewpoint.
- FIG. 2 is a diagram showing an outline of a flow in which a 3D model generator generates a 3D model.
- a process of capturing the subject 90 by a plurality of imaging devices 70 (70a, 70b, 70c) and generating a 3D model 90M having 3D information of the subject 90 by 3D modeling is performed. And are included.
- the plurality of imaging devices 70 are arranged inwardly on the outside of the subject 90 so as to surround the subject 90 existing in the real world.
- FIG. 2 shows an example in which the number of image pickup devices is three, and the image pickup devices 70a, 70b, and 70c are arranged around the subject 90.
- the subject 90 is a person who performs a predetermined operation.
- the number of image pickup devices 70 is not limited to three, and a larger number of image pickup devices may be provided.
- 3D modeling is performed using a plurality of viewpoint images synchronously photographed by three image pickup devices 70a, 70b, 70c, and the video frame units of the three image pickup devices 70a, 70b, 70c are performed. Generates a 3D model 90M of the subject 90.
- the 3D model 90M is a model having 3D information of the subject 90.
- the 3D model 90M is an example of a 3D object in the present disclosure.
- the 3D model 90M includes mesh data that expresses the geometry information of the subject 90 by connecting vertices (Vertex) and vertices called a polygon mesh, and texture information and depth information (distance information) corresponding to each polygon mesh.
- the information possessed by the 3D model 90M is not limited to these, and may include other information.
- the depth information of the subject 90 is calculated based on, for example, the parallax of the same region of the subject 90 detected from the images captured by the adjacent imaging devices. Depth information may be obtained by installing a sensor provided with a distance measuring mechanism in the vicinity of the imaging device and measuring the distance to the subject 90 by the sensor.
- the 3D model 90M is subjected to so-called texture mapping, in which a texture representing the color, pattern or texture of the mesh is pasted according to the mesh position.
- texture mapping in order to improve the reality of the 3D model 90M, it is desirable to paste a texture according to the viewpoint position (View Dependent).
- viewpoint position View Dependent
- the texture changes according to the viewpoint position, so that a higher quality virtual image can be obtained (see FIG. 4).
- a texture that does not depend on the line-of-sight position may be pasted on the 3D model 90M.
- the read content data including the 3D model 90M is transmitted to the playback device and played back.
- the content data including the 3D model 90M is reproduced, and the 3D model 90M is rendered to display the 3D shape image on the viewer's viewing device.
- a mobile terminal 80 such as a smartphone or a tablet terminal is used as a viewing device. That is, an image including the 3D model 90M is displayed on the display screen 84 of the mobile terminal 80.
- FIG. 3 is a diagram illustrating a method in which a camera path generator generates a virtual image obtained by capturing a single 3D model from a virtual viewpoint.
- the image pickup device 70 (70a, 70b, 70c) is an image pickup device used when creating a 3D model 90M of the subject 90.
- the image pickup apparatus 70 (70a, 70b, 70c) will be referred to as an actual camera 70.
- the actual camera 70 is an example of the imaging means in the present disclosure.
- it is desirable that the generated 3D model 90M can be imaged from various directions. Therefore, a technique for generating an image (virtual image) obtained by capturing a 3D model 90M from a position (virtual viewpoint) different from that of the actual camera 70 has been developed.
- the virtual camera 72a placed at the virtual viewpoint V1 generates a virtual image J1 (not shown) obtained when the 3D model 90M is imaged.
- the virtual image J1 can be generated by interpolating the images of the 3D model 90M captured by the real camera 70a and the real camera 70c placed in the vicinity of the virtual camera 72a. That is, the depth information of the subject 90 is calculated by associating the image of the 3D model 90M captured by the real camera 70a with the image of the 3D model 90M captured by the real camera 70c. Then, by projecting the texture of the region corresponding to the calculated depth information onto the virtual camera 72a, the virtual image J1 of the 3D model 90M (subject 90) viewed from the virtual camera 72a can be generated.
- the virtual image J2 (not shown) of the 3D model 90M viewed from the virtual camera 72b placed at the virtual viewpoint V2 in the vicinity of the real camera 70b and the real camera 70c is the 3D model 90M imaged by the real camera 70b. It can be generated by interpolating the image of 3D model 90M captured by the actual camera 70c.
- the virtual cameras 72a and 72b will be collectively referred to as the virtual camera 72.
- the virtual viewpoints V1 and V2 are collectively referred to as a virtual viewpoint V
- the virtual images J1 and J2 are collectively referred to as a virtual image J (not shown).
- the virtual image J thus obtained is an image generated by interpolation, the image quality is deteriorated as compared with the image of the 3D model 90M captured by the actual camera 70.
- the image quality of the virtual image J obtained when the virtual camera 72 is rotated once so as to surround the 3D model 90M is captured under the same conditions as the real camera 70 by placing the virtual camera 72 at the same position as the real camera 70. If so, it will be the best.
- the image quality of the virtual image J generated when the virtual camera 72 is placed at a position away from the real camera 70 is lower than the image quality of the image captured by the real camera 70.
- the degree of deterioration of the image quality is determined by the arrangement position and the optical parameter of the virtual camera 72 and the arrangement position and the optical parameter of the actual camera 70. Generally, the larger the difference between the two, the greater the deterioration of the image quality.
- FIG. 4 is a diagram illustrating an example of generating a virtual image in which a camera path generator captures a single 3D model from a virtual viewpoint.
- image candidates to be used when generating a virtual image are selected. Specifically, it is determined whether or not the polygon P is reflected in each of the images Ia to Ig. Judgment as to whether or not the polygon P is reflected is determined by determining whether or not occlusal occurs, and determining whether or not the depth information of the area corresponding to the polygon P of each image matches the actual depth. It may be done based on. In the example of FIG. 4, it is assumed that the polygon P is shown on six images Ib, Ic, Ie, If, Ih, and Ii. On the other hand, it is assumed that the polygon P is not shown in the images Ia, Id, and Ig.
- the position of the real camera 70 that captured the image candidates used when generating the virtual image is compared with the position of the virtual camera 72a, and the real camera 70 is sorted in order from the virtual camera 72a.
- Various scales can be used to determine the proximity of the real camera 70 and the virtual camera 72a. For example, the smaller the angle between the line segment connecting the polygon P in the image captured by each real camera 70 and the polygon P of the 3D model 90M and the vector B described above, the smaller the angle between the real camera 70 and the virtual camera 72a. May be determined to be close.
- the user himself / herself may select the real camera 70 which is close to the virtual camera 72a.
- weights are given to the real camera 70 in order from the virtual camera 72a, and the texture blended based on the given weights is mapped to the virtual image J and rendered.
- the virtual image J of the polygon P as seen from the virtual camera 72a is generated.
- a virtual image J of the 3D model 90M viewed from the virtual camera 72a can be generated.
- FIG. 5 is a flowchart showing an example of a procedure in which the camera path generator generates a virtual image.
- the virtual viewpoint V for capturing the 3D model 90M is set (step S11).
- step S12 the positional relationship between the 3D model 90M and the virtual viewpoint V is calculated.
- step S13 the actual camera 70 to be used for rendering is selected.
- step S13 the real cameras 70 selected in step S13 are sorted in order from the virtual viewpoint V (step S14).
- the rendering process is performed by weighting in order from the real camera 70 closest to the virtual viewpoint V (step S15).
- FIG. 6 is a hardware block diagram showing an example of the hardware configuration of the information processing apparatus of the first embodiment.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 40 expands and executes the control program P1 stored in the storage unit 43 and various data files such as camera parameters stored in the ROM 41 on the RAM 42, thereby performing the entire information processing apparatus 10a. Control the operation. That is, the information processing device 10a has a general computer configuration operated by the control program P1.
- the control program P1 may be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. Further, the information processing apparatus 10a may execute a series of processes by hardware.
- the control program P1 executed by the CPU 40 may be a program in which processing is performed in chronological order according to the order described in the present disclosure, or at necessary timings such as in parallel or when calls are made. It may be a program that is processed by.
- the storage unit 43 stores, for example, a control program P1 composed of a flash memory and executed by the CPU 40, and a 3D model 90M. Since the 3D model 90M generally has a large capacity, it may be downloaded from an external server (not shown) connected to the information processing device 10a via the Internet or the like as necessary and stored in the storage unit 43. ..
- the storage unit 43 further stores the score map M ( ⁇ , ⁇ ) and the camera path Cp.
- the score map M ( ⁇ , ⁇ ) is a map in which parameters related to the image quality of the virtual image J obtained by capturing the 3D model 90M with the virtual camera 72 are quantified.
- the score map M ( ⁇ , ⁇ ) is generated for each 3D model 90M.
- the score map M ( ⁇ , ⁇ ) will be described in detail later.
- the score map M ( ⁇ , ⁇ ) is an example of the map in the present disclosure.
- the camera path Cp is, for example, a camera path Cp that is a movement locus of a virtual viewpoint when the virtual camera 72 is moved while maintaining an image quality equal to or higher than a predetermined value, which is generated based on a score map M ( ⁇ , ⁇ ).
- a camera path Cp will be described in detail later.
- the input / output controller 44 acquires the operation information of the touch panel 50 stacked on the liquid crystal display 54 that displays the information related to the information processing device 10a via the touch panel interface 46. Further, the input / output controller 44 displays image information on the liquid crystal display 54 via the display interface 47. Further, the input / output controller 44 controls the operation of the actual camera 70 via the camera interface 48.
- the input / output controller 44 communicates with an external server or the like (not shown) by wireless communication or wired communication.
- the information processing apparatus 10a receives, for example, the 3D model 90M created at another location.
- FIG. 7 is a functional block diagram showing an example of the functional configuration of the information processing apparatus of the first embodiment.
- the CPU 40 of the information processing apparatus 10a realizes each functional unit shown in FIG. 7 by deploying the control program P1 on the RAM 42 and operating it.
- the CPU 40 of the information processing device 10a realizes the image pickup control unit 81, the 3D model generation unit 82, and the score map generation unit 83 as the 3D model generation device 20.
- the image pickup control unit 81 takes an image of the subject 90 by controlling the operation of the actual camera 70.
- the 3D model generation unit 82 generates a 3D model 90M of the subject 90 based on the image of the subject 90 captured by the image pickup control unit 81.
- the score map generation unit 83 determines the position of the virtual viewpoint for viewing the 3D model 90M and the image quality of the virtual image J obtained when the 3D model 90M is viewed from the position of the virtual viewpoint with respect to the 3D model 90M. Predict relationships. Then, the score map generation unit 83 generates a score map M ( ⁇ , ⁇ ) that visualizes the image quality of the estimated virtual image J.
- the score map generation unit 83 is an example of the image quality prediction unit in the present disclosure. The specific method of generating the score map M ( ⁇ , ⁇ ) will be described later.
- the CPU 40 of the information processing device 10a is a camera path generation device 30, which includes a 3D model arrangement designation unit 91, a camera path generation unit 92, a camera path display unit 93, a camera path selection unit 94, and a rendering processing unit 95. And realize.
- the 3D model arrangement designation unit 91 specifies the arrangement positions of a plurality of 3D models 90M in the same space. Specifically, the operation control unit 98 specifies the arrangement position in the three-dimensional space.
- the camera path generation unit 92 has a score map M ( ⁇ , ⁇ , which is generated by the score map generation unit 83 for each of the arrangement positions of the plurality of 3D models 90M designated by the 3D model arrangement designation unit 91 and the 3D model 90M. Based on ⁇ ), the camera path Cp, which is the movement locus of the virtual viewpoint V, is generated. Various conditions can be considered for generating the camera path Cp. For example, a camera path Cp that can maintain an image quality of a predetermined value or higher as much as possible may be generated. Further, the camera path Cp may be generated so as to avoid a virtual viewpoint having a coarse image quality, or the camera path set by the user may be changed to a camera path Cp that can obtain a higher image quality.
- the camera path generation unit 92 is an example of the movement locus generation unit in the present disclosure. The specific method of generating the camera path Cp will be described later.
- the camera path display unit 93 displays the camera path Cp generated by the camera path generation unit 92 on the liquid crystal display 54.
- the camera path selection unit 94 selects the camera path Cp specified by the operator from the plurality of camera path Cps generated by the camera path generation unit 92.
- the rendering processing unit 95 renders a plurality of 3D models 90M viewed from the virtual viewpoint V while moving the virtual viewpoint V along the camera path Cp selected by the camera path selection unit 94, and generates a virtual image J. To do.
- the CPU 40 of the information processing device 10a realizes the operation control unit 98 as a function of performing operation control when operating the 3D model generation device 20 and the camera path generation device 30.
- the display control unit 99 is realized as a function of performing display control for displaying information related to the 3D model generation device 20 and the camera path generation device 30.
- the operation control unit 98 acquires the operation instructions related to the 3D model generation device 20 and the camera path generation device 30 of the operator and delivers them to the related function units.
- the display control unit 99 displays according to the display instructions of various information from the 3D model generation device 20 and the camera path generation device 30.
- the score map M ( ⁇ , ⁇ ) used by the information processing apparatus 10a of the present embodiment will be described.
- the score map M ( ⁇ , ⁇ ) numerically indicates the image quality of the virtual image J that looks at the 3D model 90M for each direction in which the subject 90 is viewed, which is generated at the same time when the 3D model generator 20 creates the 3D model 90M. It is a converted map.
- FIG. 8 is a diagram illustrating a layout of an actual camera that captures a subject.
- a plurality of real cameras 70 are arranged so as to surround the subject 90.
- each actual camera 70 differs in the optical parameters of the camera (lens focal length, number of pixels, sensor size, etc.) and the format of the image to be captured (HD (High Definition), full HD, 4K, 8K, etc.). ing.
- five actual cameras 70 (70a, 70b, 70c, 70d, 70e) are arranged around the subject 90.
- the direction of the actual camera 70 on the XY plane is represented by an angle ⁇ .
- the direction of the actual camera 70 on the XZ plane is represented by an angle ⁇ . That is, the arrangement position of the actual camera 70 is specified by the coordinates ( ⁇ , ⁇ ).
- the actual camera 70a is arranged on the XY plane in the front direction of the subject 90 and facing the front of the subject 90.
- the actual camera 70b is arranged so as to face the front of the subject 90 from slightly above the subject 90.
- the angle of view of the camera is represented by the apex angle of an isosceles triangle, and the actual camera 70b is equipped with a wide-angle lens, indicating that the angle of view is wider than that of other actual cameras.
- the actual camera 70c is arranged in a direction of looking down on the front of the subject 90 from above the subject 90.
- the actual camera 70d is arranged on the back side of the subject 90 so as to face the back side of the subject 90.
- the actual camera 70e is arranged so that the subject 90 is out of the field of view. It is assumed that the actual camera 70a to the actual camera 70d are arranged at positions substantially equidistant from the subject 90, and the actual camera 70e is arranged farther away.
- the camera path generator 10 generates a score map M ( ⁇ , ⁇ ) that visualizes the image quality of the image of the subject 90 captured by each actual camera 70.
- a method for quantifying the image quality of an image and a procedure for generating a score map M ( ⁇ , ⁇ ) will be described in order.
- the information processing device 10a predicts the image quality score Iq of the images captured by the respective actual cameras 70a to 70e.
- the image quality score Iq is calculated by, for example, the equation (2).
- E in equation (2) is the resolution (number of pixels) of the actual camera 70.
- e 1920 (horizontal) ⁇ 1080 (vertical) pixels.
- e 3840 (horizontal) ⁇ 2160 (vertical) pixels.
- p in the formula (2) is the image size of the subject 90 calculated by the above formula (1).
- s is the size of the image sensor included in the actual camera 70.
- the information processing apparatus 10a has the optical parameters of the real camera 70 (imaging means) used when generating the 3D model 90M (3D object) and the distance D between the real camera 70 and the 3D model 90M. Based on this, the image quality of the virtual image J is predicted.
- the Visibility of the equation (2) is information indicating whether or not the subject 90 (3D model 90M) is captured in the image, that is, whether or not the actual camera 70 captures the subject 90.
- the subject 90 1
- the subject 90 0.
- weight is an arbitrarily set weight.
- the weight is set to 1.0, and in other cases, the weight is set to 0.5 or the like.
- the formula for calculating the image quality score Iq is not limited to the formula (2), and other parameters may be taken into consideration. For example, when the subject 90 is blurred, the image quality score Iq may be subtracted according to the degree of blurring.
- the image quality score Iq calculated by the equation (2) is larger when the actual camera 70 takes a large picture of the subject 90 (3D model 90M) from the front, that is, when the subject 90 is imaged so as to fill the screen from the front. Become a value.
- the 3D model generator 20 views the 3D model 90M (3D object) by arranging the image quality score Iq calculated by the equation (2) in the space ( ⁇ , ⁇ ) corresponding to the arrangement position of the actual camera 70.
- a score map M ( ⁇ , ⁇ ) is generated for each direction. Details will be described later (see FIG. 11).
- FIG. 9 is a diagram illustrating an example of calculating an image quality score.
- the number of pixels e and the size s of the image sensor are values in the vertical direction corresponding to the height direction of the subject 90, respectively.
- the image quality score Iq is set to 0. Further, the captured image is evaluated for focus with a maximum of 100 points at the time of focusing. Then, for example, when the evaluation point is 50 points, the image quality score Iq is multiplied by 0.5.
- the actual cameras 70a, 70b, and 70c have different resolutions and imaging conditions, but by using the equations (1) and (2), the image quality of the captured images is the same. It can be compared on the ground.
- FIG. 10 is a diagram showing an example of the layout of the actual camera.
- FIG. 11 is a diagram illustrating an example of generating a score map.
- the 3D model 90M faces the actual cameras 70a and 70b. That is, the actual cameras 70a and 70b image the 3D model 90M from the front direction.
- the actual camera 70c is arranged so as to face the back side of the 3D model 90M.
- the actual camera 70a is provided with a lens having a longer focal length f than the actual cameras 70b and 70c.
- the 3D model 90M When the image quality of the image captured by the real camera 70 at the position of the angle ⁇ and the distance D from the 3D model 90M is good, when the virtual camera 72a is brought closer to the 3D model 90M while maintaining the angle ⁇ , the 3D model 90M The image quality of the image captured by the actual camera 70a is maintained even when the 3D model 90M is close to a position where the image can be captured to fill the screen. Then, when the virtual camera 72a is recently brought closer to the 3D model 90M beyond the contact point 74a (see FIG. 10), the 3D model 90M is framed out, so that the 3D model 90M cannot be imaged, that is, the actual camera 70a. The image quality of the image captured by is not maintained.
- the virtual camera 72a is moved away from the position of the real camera 70a while maintaining the angle ⁇ , assuming that the focal length f of the virtual camera 72a and the focal length f of the real camera 70a are the same, the 3D model. Since only 90M is captured in a small size, the image quality of the image captured by the actual camera 70a is maintained.
- the image quality of the image of the 3D model 90M captured by the actual cameras 70b and 70c is maintained at a distance from the recent contacts 74b and 74c shown in FIG.
- the specific positions of the contacts 74a, 74b, 74c can be calculated based on the imaging conditions of the actual cameras 70a, 70b, 70c, specifically, the imaging magnification of the 3D model 90M.
- the score map generation unit 83 displays a score map M ( ⁇ , ⁇ ) that visualizes the image quality score IQ of the images captured by the actual cameras 70a, 70b, 70c arranged in such a positional relationship. It is created according to the flowchart shown in FIG.
- the score map generation unit 83 first calculates the image quality score Iq for each of the actual cameras 70a, 70b, and 70c (step S21).
- the procedure for calculating the image quality score IQ is as described above.
- the score map generation unit 83 plots the calculated image quality score Iq on the ( ⁇ , ⁇ ) plane (step S22).
- An example of actually plotting the image quality score Iq is shown in the upper part of FIG.
- the image quality score Iq values are located at the coordinates ( ⁇ 1, ⁇ 1), ( ⁇ 2, ⁇ 2), and ( ⁇ 3, ⁇ 3) corresponding to the placement positions of the actual cameras 70a, 70b, and 70c. Are plotted respectively.
- the score map generation unit 83 generates a score map for each actual camera 70 by diffusing the value of the image quality score Iq plotted on the ( ⁇ , ⁇ ) plane around the ( ⁇ , ⁇ ) plane. (Step S23).
- the virtual camera 72 When the virtual camera 72 is arranged near the real camera 70, the angle difference between the virtual camera 72 and the real camera 70 is small, and the virtual camera 72 captures the 3D model 90M in the image. It can be considered that the values of the image quality scores Iq are almost equal. Therefore, in the score map for each real camera 70, even if there is a slight angle difference between the real camera 70 and the virtual camera 72, the plotted image quality score Iq is diffused to the surroundings so as to allow it.
- the image quality score Iq may be diffused to the surroundings on the ( ⁇ , ⁇ ) plane by performing a smoothing operation.
- a smoothing operation for example, a known Gaussian filter may be used.
- a chevron-shaped score distribution centered on the arrangement position of each actual camera 70 can be obtained.
- FIG. 11 is drawn as if discrete values were distributed for easy viewing, in reality, a monomodal distribution in which continuous values are stored is formed. That is, the image quality score Iq has a distribution that becomes the highest at the installation position of the actual camera 70 and decreases monotonically as the distance from the installation position of the actual camera 70 increases.
- the size of the filter that acts when performing the smoothing calculation may be changed according to the value of the image quality score Iq. That is, when the image quality score Iq is high, it is considered that high image quality can be maintained even if the angle difference between the real camera 70 and the virtual camera 72 becomes slightly large, so that a smoothing filter having a large filter size is applied. Is desirable. In this case, the smoothed image quality score Iq forms a gentle monomodal distribution.
- the smoothed image quality score Iq forms a steep, monomodal distribution.
- the score map generation unit 83 integrates the score maps for each of the actual cameras 70a, 70b, and 70c into one score map M ( ⁇ , ⁇ ) (step S24).
- the score map M ( ⁇ , ⁇ ) is displayed. , Store their maximum value.
- the score map M ( ⁇ , ⁇ ) is not limited to the one plotted on the ( ⁇ , ⁇ ) plane described above. That is, the image quality score Iq according to the distance between the actual camera 70 and the 3D model 90M may be plotted. Further, the image quality score Iq corresponding to the focal length f of the actual camera 70 may be plotted. Further, the image quality score Iq corresponding to the resolution of the actual camera 70 may be plotted. Further, the image quality score Iq corresponding to the size of the 3D model 90M captured by the actual camera 70 may be plotted.
- the score map generation unit 83 may further generate a map that stores the distance between the recent contacts 74a, 74b, 74c and the 3D model 90M described above.
- FIG. 12 is a diagram illustrating a method of generating a camera path.
- the camera path generation unit 92 moves the virtual viewpoint V so as to maintain the image quality of, for example, a predetermined value or more as much as possible when the plurality of 3D models 90M are imaged.
- a camera path Cp which is a locus, is generated.
- FIG. 12 is a top view showing a state in which two 3D models 90Ma (subject 90a) and 90Mb (subject 90b) are arranged in the same space.
- the camera path generation unit 92 refers to the score maps Ma ( ⁇ , ⁇ ) and Mb ( ⁇ , ⁇ ), which are the prediction results of the image quality, and the virtual camera 72 uses the 3D models 90Ma and 90Mb with high image quality, respectively.
- the area estimated to be imageable is reconstructed into a three-dimensional space.
- the region having particularly high image quality extends from the position of the 3D model 90Ma in the direction of the angle ⁇ 1 and is reconstructed as a conical region having an expansion of the angle range ⁇ a.
- the region presumed to have high image quality extends from the position of the 3D model 90Ma in the direction of the angle ⁇ 1 and is reconstructed as a conical region having an extension of the angle range ⁇ b.
- the region estimated to have high image quality can be reconstructed into a three-dimensional space in the same manner.
- the conical region is reconstructed in the three-dimensional space in consideration of the ⁇ direction, but for the sake of simplicity, the explanation will be given only in the ⁇ direction.
- the camera path generation unit 92 generates the camera path Cp by referring to the reconstruction result shown in FIG. 12 on the condition that the camera path Cp passes through the region having high image quality as long as possible. As a constraint condition, the camera path generation unit 92 considers that the camera path generation unit 92 cannot be brought closer to the position closer than the recent contact point.
- the camera path Cp can be generated infinitely, it is desirable to first specify the start point of the camera path Cp or the start point and end point of the camera path Cp.
- FIG. 12 is an example in which the camera path Cp is generated when the start point 110 and the end point 112 of the camera path Cp are specified. It is desirable that the camera path Cp passes through a region where it is estimated that a plurality of 3D models 90Ma (subject 90a) and 90Mb (subject 90b) can both be imaged with high image quality. Therefore, as shown in FIG. 12, the start point 110 and the end point 112 are set in regions where it is estimated that both of the plurality of 3D models 90Ma and 90Mb can be imaged with high image quality.
- the start point 110 and the end point 112 may be set by the operator of the information processing device 10a using the touch panel 50 while observing the reconstruction result of the high image quality region displayed on the liquid crystal display 54.
- the camera path generation unit 92 searches for the camera path Cp from the set start point 110 to the end point 112 by tracing the position where the image quality score Iq is as high as possible.
- the camera path generation unit 92 also sets the orientation of the virtual camera 72 at each point through which the camera path Cp passes.
- the orientation of the virtual camera 72 is set so that all 3D models 90Ma and 90Mb can be imaged together. If all the 3D models 90Ma and 90Mb cannot be imaged together, only a part of the subject 90a may be captured as in the virtual camera 72c of FIG.
- the camera path generation unit 92 generates a camera path Cp in which the virtual camera 72a installed at the start point 110 moves in the order of the virtual camera 72b and the virtual camera 72c to reach the virtual camera 72d installed at the end point 112. To do.
- a known dynamic programming method can be applied. That is, the candidates of a plurality of camera paths Cp searched in a minute region may be weighted to generate a camera path Cp that minimizes the sum of the weights of the camera paths Cp from the start point 110 to the end point 112. ..
- the camera path generation unit 92 may further set the moving speed of the virtual camera 72. Specifically, when the virtual camera 72 is placed in an area with high image quality, it may be moved slowly, and when it is placed in an area with low image quality, it may be moved quickly.
- the camera path generation unit 92 may be set so that the virtual camera 72 does not face the direction of the 3D model 90M when the camera path Cp has no choice but to pass through the region where the image quality score Iq is low.
- the score map M ( ⁇ , ⁇ ) may be adjusted so that the camera path Cp is easily generated.
- the score map M ( ⁇ , ⁇ ) may be weighted to correct the image quality score Iq of the 3D model 90M of the subject 90 of interest in the higher direction. As a result, it is possible to generate a camera path Cp that preferentially passes through a region where the 3D model 90M can be imaged with higher image quality.
- the image quality score Iq when the image is taken by the real camera 70 having a high resolution may be corrected in the higher direction in consideration of the resolution of the real camera 70.
- the image captured by the lens having a long focal length f and the image captured at a high resolution have the same image quality score Iq, the actual camera captured at a higher resolution when searching for the camera path Cp. It is possible to preferentially search the high image quality region of 70.
- the plurality of 3D models 90M may overlap when viewed from the virtual camera 72. Since it is not preferable for the camera path Cp to pass through such a position, the camera path Cp may be searched with the installation position of the virtual camera 72 where the shielding occurs removed. The installation position of the virtual camera 72 where the shielding occurs can be obtained by calculation from the installation position of each 3D model 90M.
- the virtual camera 72 can maintain high image quality as it is moved away from the 3D model 90M in the same angle ⁇ direction, but in order to improve the efficiency of the search for the camera path Cp, the 3D model 90M and the virtual camera 72 are used.
- An upper limit may be set for the distance of.
- the camera path display unit 93 causes the display control unit 99 to display the camera path Cp generated by the camera path generation unit 92 on the liquid crystal display 54.
- the display form of the camera path Cp does not matter.
- the generated camera path Cp may be drawn in a three-dimensional space in which a plurality of 3D models 90M are arranged, or the camera path Cp may be drawn in the form of a three-view drawing.
- the camera path generation unit 92 may generate a plurality of camera paths Cp.
- the generated plurality of camera paths Cp are displayed on the liquid crystal display 54 by the action of the camera path display unit 93 and the display control unit 99.
- the operator of the information processing device 10a selects one camera path Cp by the action of the camera path selection unit 94 (see FIG. 7).
- one camera path Cp is selected by the touch panel 50 by the action of the camera path selection unit 94 from a plurality of camera path Cps displayed on the liquid crystal display 54 by changing the display form such as color.
- one camera path Cp is selected by the action of the operation control unit 98 that has detected the selection operation.
- FIG. 13 is a first diagram showing an example of a user interface when generating a camera path.
- FIG. 13 is a first diagram showing an example of a user interface when predicting a camera path.
- FIG. 14 is a second diagram showing an example of a user interface when predicting a camera path.
- FIG. 13 is an example in which the arrangement state of the plurality of subjects 90a and 90b, the arrangement state of the actual cameras 70, and the imaging range 120 of each actual camera 70 are displayed on the liquid crystal display 54.
- the imaging range 120 includes the installation position 121 of the actual camera, the range 122 where high image quality can be obtained (for example, corresponding to the angle range ⁇ a shown in FIG. 12), and the focal length 123 of the actual camera 70. Information having and.
- the operator of the information processing device 10a can specify the camera path Cp by tracing the positions of the actual cameras 70 in order with respect to the liquid crystal display 54 on which the information shown in FIG. 13 is displayed.
- FIG. 13 shows an example in which the camera path Cp is set by tracing the installation position 121b, the installation position 121c, the installation position 121d, and the installation position 121e in this order from the installation position 121a.
- FIG. 14 is an example in which the arrangement state of the plurality of subjects 90a and 90b, the arrangement state of the actual cameras 70, and the imaging range 120 of each actual camera 70 are displayed on the liquid crystal display 54.
- the difference from FIG. 13 is that the imaging range of the actual camera 70 is provided with information indicating which subject was used to image the actual camera.
- the 3D model of the subject 90a was generated by five actual cameras 70 that image the imaging ranges 120a1, 120a2, 120a3, 120a4, 120a5, respectively. Further, it is shown that the 3D model of the subject 90b was generated by six actual cameras 70 that image the imaging ranges 120b1, 120b2, 120b3, 120b4, 120b5, 120b6, respectively.
- the operator of the information processing device 10a can specify the camera path Cp by tracing the positions of the actual cameras 70 in order with respect to the liquid crystal display 54 on which the information shown in FIG. 14 is displayed. At that time, either one of the subject 90a or the subject 90b, that is, the camera path Cp focusing on a specific subject can be specified.
- the camera path Cp specified by the method shown in FIG. 13 or 14 is passed to the camera path generation unit 92, and the camera path generation unit 92 uses the designated camera path Cp as a virtual image J having a higher image quality. It may be recalculated so that the obtained camera path Cp is obtained.
- the camera path Cp generated by the camera path generation unit 92 or the camera path Cp specified by the method shown in FIGS. 13 and 14 is passed to the rendering processing unit 95.
- the rendering processing unit 95 renders a plurality of subjects 90 while moving the virtual viewpoint V along the camera path Cp to generate a virtual image J.
- the rendered virtual image J is displayed on the liquid crystal display 54 by the action of the display control unit 99.
- FIG. 15 is a flowchart showing an example of the flow of processing performed by the camera path generator.
- the 3D model arrangement designation unit 91 designates the arrangement positions of the plurality of subjects 90 (step S31).
- the camera path generation unit 92 acquires the score map M ( ⁇ , ⁇ ) of each subject 90 from the 3D model generation device 20 (step S32).
- the camera path generation unit 92 generates a camera path Cp, which is a movement locus of the virtual viewpoint V, which can maintain an image quality of a predetermined value or higher as much as possible (step S33).
- the specific method for generating the camera path Cp is as described above.
- the camera path generation unit 92 may generate a camera path Cp so as to avoid a virtual viewpoint having a coarse image quality, in addition to generating a camera path Cp capable of maintaining a (high) image quality equal to or higher than a predetermined value.
- the camera path set by may be changed to a camera path Cp that can obtain higher image quality.
- the camera path display unit 93 causes the display control unit 99 to display the camera path Cp on the liquid crystal display 54 (step S34).
- the rendering processing unit 95 performs rendering processing of the subject 90 while moving the virtual viewpoint of the virtual camera 72 along the camera path Cp (step S35).
- the rendering processing unit 95 further causes the display control unit 99 to display the result of the rendering processing on the liquid crystal display 54 (step S36).
- the score map generation unit 83 (image quality prediction unit) included in the information processing device 10a is 3D with respect to the 3D model 90M (3D object).
- the relationship between the position of the virtual viewpoint V for viewing the model 90M and the image quality of the virtual image J obtained when the 3D model 90M is viewed from the position of the virtual viewpoint V is predicted.
- the camera path generation unit 92 refers to the arrangement positions of the plurality of 3D model 90Ms (3D objects) and each of the 3D model 90Ms. Then, the camera path Cp, which is the movement locus of the virtual viewpoint V, is generated based on the image quality of the virtual image J predicted by the score map generation unit 83 (image quality prediction unit).
- the plurality of 3D models 90M when a plurality of 3D models 90M generated under different conditions are arranged in the same space, the plurality of 3D models 90M can be simultaneously imaged, and a virtual image J having the highest possible image quality can be generated.
- a possible camera path Cp can be generated.
- the score map generation unit 83 is the optics of the actual camera 70 (imaging means) used when generating the 3D model 90M (3D object).
- the image quality of the virtual image J is predicted based on the parameters (number of pixels e, image sensor size s, focal length f) and the distance D between the actual camera 70 and the 3D model 90M.
- the optical parameter is a parameter related to the ratio of the 3D model 90M (3D object) to the image captured by the actual camera 70 (imaging means).
- the direction of viewing the 3D model 90M (3D object) includes information indicating whether or not the actual camera 70 (imaging means) captures the 3D model 90M, and 3D. It includes at least one of information indicating whether or not the model 90M is viewed from the front.
- the score map generation unit 83 (image quality prediction unit) has an image quality of an image obtained by capturing the 3D model 90M in each direction of viewing the 3D model 90M (3D object).
- a score map M ( ⁇ , ⁇ ) (map) that quantifies the parameters related to is generated.
- the score map generation unit 83 (image quality prediction unit) sets a parameter related to the image quality of the digitized virtual image J to the imaging position of the virtual image J.
- a score map M ( ⁇ , ⁇ ) (map) is generated by plotting at a corresponding position and spreading parameters related to the image quality of the plotted virtual image J from the plotted position to the surroundings.
- the score map generation unit 83 (image quality prediction unit) smoothes the image quality of the virtual image J plotted on the score map M ( ⁇ , ⁇ ) (map). It is diffused to the surroundings by performing a conversion calculation.
- the magnitude of the deviation between the position of the real camera 70 and the position of the virtual camera 72 can be determined by a simple calculation.
- the 3D model 90M (3D object) has texture information according to the viewpoint position.
- the texture of the virtual image J changes according to the viewpoint position, so that the virtual image J can be rendered with higher image quality.
- the 3D model generation device 20 separately generates 3D models 90M (3D objects) of a plurality of subjects 90.
- the information processing device 10b according to the second embodiment of the present disclosure is based on the score map M ( ⁇ , ⁇ ) for the 3D model 90M of the subject 90 generated by the 3D model generation device 20 described in the first embodiment. This is an example of the information processing apparatus 10b that evaluates the generation conditions of the 3D model 90M.
- FIG. 16 is a block diagram showing an example of the basic configuration of the information processing apparatus of the second embodiment.
- the information processing device 10b includes a 3D model generation device 20 and a mobile terminal 32b.
- the 3D model generator 20 has the same functions as described in the first embodiment. It should be noted that the 3D model generation device 20 described here includes a plurality of 3D model generation devices 20a, 20b, .... This assumes that different 3D model generators 20a, 20b, ... Are placed in a plurality of different locations. Each of the 3D model generators 20a, 20b, ... Generates a 3D model 90M of the subject 90 and a score map M ( ⁇ , ⁇ ). Then, a plurality of 3D models 90M and score maps M ( ⁇ , ⁇ ) generated at different locations are connected by a communication line and transmitted to the mobile terminal 32b.
- the mobile terminal 32b acquires the score map M ( ⁇ , ⁇ ) generated by the 3D model generators 20a, 20b, .... Then, the mobile terminal 32b evaluates the installation position of the actual camera 70 when the 3D model 90M is generated by analyzing the score map M ( ⁇ , ⁇ ). Then, the mobile terminal 32b outputs the evaluation result.
- the mobile terminal 32b is, for example, a smartphone, a mobile PC, or the like.
- the hardware configuration of the 3D model generator 20 is as described in the first embodiment. Further, the mobile terminal 32b has a general computer configuration.
- FIG. 17 is a functional block diagram showing an example of the functional configuration of the mobile terminal of the second embodiment.
- the mobile terminal 32b includes a score map acquisition unit 33, a score map analysis unit 34, and an actual camera position proposal unit 35.
- the score map acquisition unit 33 acquires the score map M ( ⁇ , ⁇ ) from each of the 3D model generators 20a, 20b, ....
- the score map analysis unit 34 used the actual camera 70 (3D object) to generate the 3D model 90M (3D object) based on the score maps M ( ⁇ , ⁇ ) acquired from the 3D model generation devices 20a, 20b, ....
- the score map analysis unit 34 which evaluates the arrangement conditions of the imaging means), is an example of the arrangement evaluation unit in the present disclosure.
- the actual camera position proposal unit 35 transmits the analysis result of the score map analysis unit 34 to the corresponding 3D model generation devices 20a, 20b, ...
- FIG. 18 is a diagram illustrating the operation of the mobile terminal of the second embodiment.
- the mobile terminal 32b acquires the score map M ( ⁇ , ⁇ ) shown in FIG. 18 from the 3D model generation device 20 (to be exact, any one of the 3D model generation devices 20a, 20b, ).
- the score map M ( ⁇ , ⁇ ) represents the image quality of the 3D model 90M generated in a state where two actual cameras 70a and 70b are arranged with respect to the subject 90.
- the score map analysis unit 34 refers to the score map M ( ⁇ , ⁇ ), and there is no area where information is missing (that is, an area not covered by the actual camera 70) in the angle ⁇ direction and the angle ⁇ direction. Or analyze whether there is a region with low image quality. In the example of FIG. 18, the score map analysis unit 34 determines that there is a region w1 in which information is missing in the angle ⁇ direction. That is, as shown in FIG. 18, by installing a new real camera 70c in the missing area w1 and updating the 3D model 90M, it is possible to generate a 3D model 90M that covers a wider range.
- the actual camera position proposing unit 35 transmits the above-mentioned analysis result to any of the 3D model generators 20a, 20b, ... That have transmitted the score map M ( ⁇ , ⁇ ).
- the operator of the 3D model generator that has received the analysis result updates the 3D model 90M according to the reception result.
- the score map analysis unit 34 (arrangement evaluation unit) is based on the score map M ( ⁇ , ⁇ ) (map), and the score map analysis unit 34 (arrangement evaluation unit) is based on the score map M ( ⁇ , ⁇ ) (map).
- the arrangement conditions of the actual camera 70 (imaging means) used when generating the 3D object) are evaluated.
- the installation position of the actual camera 70 when generating the 3D model 90M can be easily and surely evaluated by visualizing it with the score map M ( ⁇ , ⁇ ).
- the information processing device 10c (not shown) according to the third embodiment of the present disclosure includes a mobile terminal 32c (not shown) in place of the mobile terminal 32b in the information processing device 10b described in the second embodiment.
- the hardware configuration of the information processing device 10c is the same as that of the information processing device 10b.
- the mobile terminal 32c included in the information processing device 10c receives the 3D model 90M of the subject 90 generated by the 3D model generation device 20 described in the first embodiment. Then, the mobile terminal 32c performs rendering processing of the 3D model 90M from the direction specified by the operator, and presents the reconstructed 3D model 90M. At that time, the mobile terminal 32c refers to the score map M ( ⁇ , ⁇ ) and controls the display state so as to avoid browsing from a direction in which the image quality is low or a direction in which information is missing.
- FIG. 19 is a functional block diagram showing an example of the functional configuration of the mobile terminal of the third embodiment.
- the mobile terminal 32c includes a score map acquisition unit 33, a virtual camera installation prohibited area calculation unit 60, an observation direction detection unit 61, a virtual image generation unit 62, a virtual image display unit 63, and a prohibited area video processing unit 64. And.
- the score map acquisition unit 33 acquires the score map M ( ⁇ , ⁇ ) from each of the 3D model generators 20a, 20b, ....
- the virtual camera installation prohibited area calculation unit 60 calculates the position (direction indicated by the coordinates ( ⁇ , ⁇ )) in which the virtual viewpoint V is not installed from the score map M ( ⁇ , ⁇ ).
- the position where the virtual viewpoint V is not installed is, for example, an area where information is missing (that is, an area not covered by the actual camera 70) or an area where the image quality is low.
- the virtual camera installation prohibited area calculation unit 60 is an example of the viewing prohibited area calculation unit in the present disclosure.
- the observation direction detection unit 61 detects the rendering result, that is, the observation direction of the virtual image J, instructed by the operator of the mobile terminal 32c. Specifically, although it differs depending on the operation system of the mobile terminal 32c, for example, when the observation direction is changed by changing the direction of the mobile terminal 32c, the observation direction detection unit 61 includes the mobile terminal 32c, for example.
- the observation direction is detected by monitoring the output of the gyro sensor.
- the observation direction detection unit 61 detects the observation direction by monitoring the executed swipe operation.
- the virtual image generation unit 62 generates a virtual image J viewed from the observation direction instructed by the operator of the mobile terminal 32c.
- the mobile terminal 32c performs a rendering process on the generated virtual image J.
- the virtual image display unit 63 displays the virtual image J generated by the virtual image generation unit 62 on the display unit of the mobile terminal 32c.
- the image processing unit 64 for the prohibited area has the observation direction detected by the observation direction detection unit 61 and the virtual viewpoint V calculated by the virtual camera installation prohibited area calculation unit 60, that is, the position where the virtual camera 72 is not installed (coordinates ( ⁇ , ⁇ ,).
- the virtual image J of the 3D model 90M (3D object) is not generated.
- the virtual image J is prevented from being generated by fading out the display of the mobile terminal 32c, blurring the display of the mobile terminal 32c, applying an effect to the display of the mobile terminal 32c, or the like.
- the prohibited area video processing unit 64 is an example of the video processing unit in the present disclosure.
- FIG. 20 is a diagram illustrating the operation of the mobile terminal of the third embodiment. It is assumed that the score map M ( ⁇ , ⁇ ) shown in FIG. 20 is obtained when the 3D model 90M of the subject 90 is created by the actual cameras 70a and 70b. At this time, the virtual camera installation prohibited area calculation unit 60 analyzes the score map M ( ⁇ , ⁇ ) to set the position where the virtual camera 72 is not installed (the direction indicated by the coordinates ( ⁇ , ⁇ )) as the virtual camera. Calculate the installation prohibited area. That is, the installation position of the virtual camera 72 is limited to the range of the region w2 shown in the score map M ( ⁇ , ⁇ ) (that is, the range from the angle ⁇ min to the angle ⁇ max).
- the area w2 shown in FIG. 20 is limited to the installation position of the virtual camera 72, that is, the virtual viewpoint V.
- the virtual camera installation prohibited area calculation unit 60 (viewing prohibited area calculation unit) is based on the score map M ( ⁇ , ⁇ ) (map).
- the score map M ( ⁇ , ⁇ ) (map).
- the virtual viewpoint V of the 3D model 90M matches the position of the virtual viewpoint V calculated by the virtual camera installation prohibited area calculation unit 60
- the video processing unit 64 (video processing unit) for the prohibited area corresponds to the virtual viewpoint V.
- the virtual image J of the 3D model 90M is not generated from the position of V.
- the information processing device 10d (not shown) according to the fourth embodiment of the present disclosure includes a mobile terminal 32d (not shown) in place of the mobile terminal 32b in the information processing device 10b described in the second embodiment.
- the hardware configuration of the information processing device 10d is the same as that of the information processing device 10b.
- the mobile terminal 32d included in the information processing device 10d receives the 3D model 90M of the subject 90 generated by the 3D model generation device 20 described in the first embodiment. Then, the mobile terminal 32d generates a virtual image J in which the 3D model 90M is viewed from the virtual viewpoint V. When further arranging the CG object on the virtual image J generated in this way, the mobile terminal 32d refers to the score map M ( ⁇ , ⁇ ) and arranges the CG object mainly in the region with low image quality. ..
- FIG. 21 is a functional block diagram showing an example of the functional configuration of the mobile terminal according to the fourth embodiment.
- the mobile terminal 32d includes a score map acquisition unit 33, a CG object acquisition unit 65, a CG object arrangement area calculation unit 66, and a rendering processing unit 95.
- the score map acquisition unit 33 acquires the score map M ( ⁇ , ⁇ ) from each of the 3D model generators 20a, 20b, ....
- the CG object acquisition unit 65 acquires a CG object to be placed in the virtual image J from a server device or the like (not shown).
- the CG object placement area calculation unit 66 calculates an area suitable for arranging the CG object by referring to the score map M ( ⁇ , ⁇ ).
- the area suitable for arranging the CG object is, for example, an area where information is missing (that is, an area not covered by the actual camera 70) or an area where the image quality is low.
- the CG object placement area calculation unit 66 is an example of the placement position calculation unit in the present disclosure.
- the rendering processing unit 95 renders the 3D model 90M viewed from the virtual viewpoint V and generates a virtual image J. Further, the rendering processing unit 95 arranges a CG object on the virtual image J.
- the CG object placement area calculation unit 66 (placement position calculation unit) is generated based on the score map M ( ⁇ , ⁇ ) (map). The arrangement position when arranging another image on the virtual image J is calculated.
- the 3D model 90M displayed in a good image quality is not disturbed by arranging the virtual image J mainly in the low image quality area. Can be.
- the information processing device 10e (not shown) according to the fourth embodiment of the present disclosure is the information processing device 10b described in the second embodiment in which another function is added to the 3D model generation device 20. ..
- the 3D model 90M has a (View Dependent) texture according to the viewpoint position, it is necessary to transmit a plurality of images captured by the actual camera 70 to the rendering device. At that time, it is an issue to reduce the amount of data to be transmitted as much as possible.
- the 3D model generation device 20 included in the information processing device 10e transmits a plurality of images of the subject 90 captured by the actual camera 70 to the mobile terminal 32b, the packing image in which the plurality of images are stored in one image is stored.
- the efficiency of transmission is improved by generating and transmitting the packing image.
- the 3D model generator 20 in the present disclosure packs a high-quality image into a larger size based on the score map M ( ⁇ , ⁇ ) generated by the 3D model generator 20.
- FIG. 22 is a functional block diagram showing an example of the functional configuration of the 3D model generator according to the fifth embodiment.
- the 3D model generation device 20 includes a score map generation unit 67, a packing image generation unit 68, and a packing image transmission unit 69.
- the score map generation unit 67 generates the score map M ( ⁇ , ⁇ ) of the generated 3D model 90M.
- the packing image generation unit 68 has high image quality based on the score map M ( ⁇ , ⁇ ) when generating a packing image in which a plurality of images of the subject 90 captured by the actual camera 70 are stored in one image. Pack images with higher resolution.
- the packing image generation unit 68 is an example of the image generation unit in the present disclosure.
- the packing image transmission unit 69 transmits the packing image generated by the packing image generation unit 68 to the mobile terminal 32b.
- FIG. 23 is a diagram illustrating the operation of the 3D model generator according to the fifth embodiment. It is assumed that the score map M ( ⁇ , ⁇ ) shown in the upper part of FIG. 23 is obtained by predicting the image quality of the images captured by the plurality of real cameras 70.
- the packing image generation unit 68 packs the images captured in the regions of the clusters C1, C2, and C3 with high resolution when generating the packing image.
- the image 130a captured in the region of the cluster C1 the image 130b captured in the region of the cluster C2, and the image 130c captured in the region of the cluster C3.
- Pack with high resolution the size of the image is increased in order to pack the image in a high resolution state.
- the images (130d to 130i) other than these three images are packed with low resolution, that is, reduced in size.
- the mobile terminal 32b that has received such a packing image 130 generates a virtual image J having a high image quality in the region of the clusters C1, C2, and C3 having a high image quality, and performs a rendering process. Further, in areas other than the clusters C1, C2, and C3, a virtual image J having an image quality corresponding to the image stored in the received packing image 130 is generated and rendering processing is performed.
- the packing image generation unit 68 captures a plurality of images of the 3D model 90M (3D object) into one image.
- the packing image 130 stored in the higher the image quality, the larger the size, that is, the higher the resolution, based on the score map M ( ⁇ , ⁇ ) (map).
- the present disclosure may have the following structure.
- An image quality prediction unit that predicts the relationship between the position of the virtual viewpoint for viewing the 3D object and the image quality of the virtual image obtained when the 3D object is viewed from the position of the virtual viewpoint with respect to the 3D object.
- Information processing device equipped with (2) Further, a movement locus generation unit that generates a movement locus of the virtual viewpoint based on the arrangement positions of a plurality of 3D objects and the image quality of the virtual image predicted by the image quality prediction unit for each of the 3D objects. Prepare, prepare The information processing device according to (1) above.
- (3) The image quality prediction unit The image quality is predicted based on the optical parameters of the imaging means used when generating the 3D object and the distance between the imaging means and the 3D object.
- the information processing device is a parameter related to the ratio of the 3D object to the image captured by the imaging means.
- the direction of viewing the 3D object includes at least one of information indicating whether or not the imaging means captures the 3D object and information indicating whether or not the 3D object is captured from the front.
- the information processing device according to (3) or (4) above.
- the image quality prediction unit For the 3D object, a map in which parameters related to the image quality of the image obtained by capturing the 3D object are quantified is generated for each direction in which the 3D object is viewed.
- the information processing device according to any one of (1) to (5) above.
- the image quality prediction unit The numerical parameters related to the image quality of the image are plotted at the positions corresponding to the imaging positions of the images, and the parameters are plotted.
- the map is generated by diffusing parameters related to the quality of the plotted image from the plotted position to the surroundings.
- the information processing device according to any one of (1) to (6) above.
- the image quality prediction unit diffuses the image quality of the image plotted on the map to the surroundings by performing a smoothing operation.
- the 3D object has texture information according to the viewpoint position.
- a placement evaluation unit for evaluating the placement conditions of the imaging means used when generating the 3D object based on the map is further provided.
- a viewing prohibited area calculation unit that calculates a position where a virtual viewpoint is not set when a virtual image is generated from the 3D object based on the map.
- a video processing unit that does not generate a virtual image of the 3D object from the position of the virtual viewpoint when the virtual viewpoint of the 3D object matches the position of the virtual viewpoint calculated by the viewing prohibited area calculation unit. Further prepare, The information processing device according to any one of (6) to (9) above.
- an arrangement position calculation unit for calculating an arrangement position when another image is arranged in the generated virtual image based on the map is provided. The information processing device according to any one of (6) to (9) above.
- an image generation unit that packs an image having a higher image quality with a higher resolution based on the map is further provided.
- the information processing device according to any one of (6) to (9) above.
- the plurality of 3D objects are generated separately.
- (15) For a 3D object the relationship between the position of the virtual viewpoint for viewing the 3D object and the image quality of the virtual image obtained when the 3D object is viewed from the position of the virtual viewpoint is predicted. An image is generated based on the movement locus of the virtual viewpoint generated by utilizing the relationship between the arrangement position of the 3D object and the image quality of the virtual image.
- An image quality prediction unit that predicts the relationship between the position of the virtual viewpoint at which the 3D object is viewed and the image quality of the virtual image obtained when the computer views the 3D object from the position of the virtual viewpoint with respect to the 3D object.
- a program that functions as.
- 10a Information processing device, 20 ... 3D model generator, 30 ... Camera path generator, 32b ... Mobile terminal, 34 ... Score map analysis unit (arrangement evaluation unit), 60 ... Virtual camera installation prohibited area calculation unit (viewing prohibited area) Calculation unit), 64 ... Video processing unit for prohibited area (image processing unit), 66 ... CG object placement area calculation unit (placement position calculation unit), 70, 70a, 70b, 70c, 70d, 70e ... Real camera (imaging means) , Imaging device), 72, 72a, 72b, 72c, 72d ... Virtual camera, 83 ... Score map generator (image quality prediction unit), 90, 90a, 90b ... Subject, 90M, 90Ma, 90Mb ...
- 3D model (3D object) , 91 ... 3D model arrangement designation unit, 92 ... camera path generation unit (movement locus generation unit), 93 ... camera path display unit, Cp ... camera path, D ... distance, e ... number of pixels, f ... focal length, h ... Subject size, Iq ... Image quality score, J, J1, J2 ... Virtual image, M ( ⁇ , ⁇ ) ... Score map (map), p ... Image size, s ... Image sensor size, V, V1, V2 ... Virtual viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
情報処理装置(10a)が備えるスコアマップ生成部(83)(画質予測部)は、3Dモデル(90M)(3Dオブジェクト)に対して、当該3Dモデル(90M)を見る仮想視点(V)の位置と、当該仮想視点(V)の位置から3Dモデル(90M)を見た際に得られる仮想画像(J)の画質と、の関係を予測する。
Description
本開示は、情報処理装置、映像の生成方法及びプログラムに関し、特に、3Dオブジェクトを、仮想カメラで任意の方向から撮像した際に得られる仮想画像の画質を予測することができる情報処理装置、映像の生成方法及びプログラムに関する。
従来、現実の3D空間をセンシングした情報、例えば異なる視点から被写体を撮像した多視点映像を用いて、視聴空間内に3Dオブジェクトを生成し、そのオブジェクトが視聴空間内に存在しているかのように見える映像を生成する技術が提案されている。そして、更に、当該オブジェクトを任意の視点位置から撮像した際に得られる仮想映像を合成する技術が提案されている(例えば、特許文献1)。
しかしながら、特許文献1では、任意の方向から撮像される仮想画像の画質を予測することはできなかった。
本開示では、3Dオブジェクトを仮想視点から撮像した際の仮想画像の画質を予測することが可能な情報処理装置、映像の生成方法及びプログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測する画質予測部、を備える情報処理装置である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
1.第1の実施形態
1-1.前提事項の説明-3Dモデルの生成
1-2.前提事項の説明-単体3Dモデルの仮想視点映像の生成
1-3.情報処理装置のハードウエア構成の説明
1-4.情報処理装置の機能構成の説明
1-5.画質スコアの算出方法の説明
1-6.スコアマップの生成方法の説明
1-7.カメラパスの生成方法の説明
1-8.カメラパスの生成補助方法の説明
1-9.カメラパス生成装置が行う処理の流れの説明
1-10.第1の実施形態の効果
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
5.第5の実施形態
1.第1の実施形態
1-1.前提事項の説明-3Dモデルの生成
1-2.前提事項の説明-単体3Dモデルの仮想視点映像の生成
1-3.情報処理装置のハードウエア構成の説明
1-4.情報処理装置の機能構成の説明
1-5.画質スコアの算出方法の説明
1-6.スコアマップの生成方法の説明
1-7.カメラパスの生成方法の説明
1-8.カメラパスの生成補助方法の説明
1-9.カメラパス生成装置が行う処理の流れの説明
1-10.第1の実施形態の効果
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
5.第5の実施形態
(1.第1の実施形態)
本開示の第1の実施形態である情報処理装置10aは、複数の被写体の3Dモデルを同時に撮像した際に、高い画質が得られるカメラパスを生成する装置である。図1は、第1の実施形態の情報処理装置の基本構成の一例を示すブロック図である。情報処理装置10aは、3Dモデル生成装置20と、カメラパス生成装置30とを備える。
本開示の第1の実施形態である情報処理装置10aは、複数の被写体の3Dモデルを同時に撮像した際に、高い画質が得られるカメラパスを生成する装置である。図1は、第1の実施形態の情報処理装置の基本構成の一例を示すブロック図である。情報処理装置10aは、3Dモデル生成装置20と、カメラパス生成装置30とを備える。
3Dモデル生成装置20は、複数の被写体の3Dモデルを別々に生成する。
カメラパス生成装置30は、複数の被写体の3Dモデルを同じ空間に配置して、これら複数の被写体の3Dモデルを同時に撮像した際に、例えば、所定値以上の画質を維持できるカメラパス、即ち仮想視点の移動軌跡を生成する。
以下、当該情報処理装置10aの詳細を説明する前に、必要な前提事項を説明する。
[1-1.前提事項の説明-3Dモデルの生成]
図2は、3Dモデル生成装置が3Dモデルを生成する流れの概要を示す図である。
図2は、3Dモデル生成装置が3Dモデルを生成する流れの概要を示す図である。
図2に示すように、3Dモデルの生成には、複数の撮像装置70(70a,70b,70c)による被写体90の撮像と、3Dモデリングにより被写体90の3D情報を有する3Dモデル90Mを生成する処理とが含まれる。
具体的には、複数の撮像装置70は、図2に示すように、現実世界に存在する被写体90を取り囲むように、被写体90の外側に、内側向きに配置される。図2は、撮像装置の台数が3台の例を示しており、撮像装置70a,70b,70cが被写体90の周りに配置されている。なお、図2においては、所定の動作を行う人物が被写体90とされている。また、撮像装置70の台数は3台に限定されるものではなく、より多くの台数の撮像装置を備えてもよい。
異なる視点から、3台の撮像装置70a,70b,70cによって、同期してVolumetric撮影された複数の視点画像を用いて3Dモデリングが行われ、3台の撮像装置70a,70b,70cの映像フレーム単位で被写体90の3Dモデル90Mが生成される。
3Dモデル90Mは、被写体90の3D情報を有するモデルである。なお、3Dモデル90Mは、本開示における3Dオブジェクトの一例である。3Dモデル90Mは、被写体90のジオメトリ情報を、ポリゴンメッシュと呼ばれる、頂点(Vertex)と頂点との繋がりで表現したメッシュデータと、各ポリゴンメッシュに対応した、テクスチャ情報とデプス情報(距離情報)とを有する。なお、3Dモデル90Mが有する情報はこれらに限定されるものではなく、その他の情報を有してもよい。なお、被写体90のデプス情報は、例えば、隣接する撮像装置で撮像された画像から検出した、被写体90の同じ領域の視差に基づいて算出する。なお、撮像装置の近傍に測距機構を備えるセンサを設置して、当該センサによって被写体90までの距離を測定することによってデプス情報を得てもよい。
3Dモデル90Mには、メッシュ位置に応じて、当該メッシュの色や模様や質感を表すテクスチャを貼り付ける、いわゆるテクスチャマッピングが施される。テクスチャマッピングは、3Dモデル90Mのリアリティを向上させるために、視点位置に応じた(View Dependent)テクスチャを貼り付けるのが望ましい。これにより、3Dモデル90Mを任意の仮想視点から撮像した際に、視点位置に応じてテクスチャが変化するため、より高画質の仮想画像が得られる(図4参照)。しかし、計算量が増大するため、3Dモデル90Mには、視線位置に依存しない(View Independent)テクスチャを貼り付けてもよい。
読み出された3Dモデル90Mを含むコンテンツデータは、再生側の装置に伝送されて再生される。3Dモデル90Mを含むコンテンツデータが再生されて、当該3Dモデル90Mのレンダリングが行われることにより、視聴者の視聴デバイスに3D形状映像が表示される。
図2の例では、スマートフォンやタブレット端末等の携帯端末80が視聴デバイスとして用いられる。すなわち、携帯端末80の表示画面84に、3Dモデル90Mを含む画像が表示される。
[1-2.前提事項の説明-単体3Dモデルの仮想視点映像の生成]
図3は、カメラパス生成装置が、単体の3Dモデルを仮想視点から撮像した仮想画像を生成する方法を説明する図である。図3において、撮像装置70(70a,70b,70c)は、被写体90の3Dモデル90Mを作成する際に使用した撮像装置である。以降、撮像装置70(70a,70b,70c)を、実カメラ70と呼ぶ。なお、実カメラ70は、本開示における撮像手段の一例である。3Dモデル90Mを使用する各種アプリケーションでは、生成した3Dモデル90Mを様々な方向から撮像できるのが望ましい。そのため、3Dモデル90Mを実カメラ70とは異なる位置(仮想視点)から撮像した画像(仮想画像)を生成する技術が開発されている。
図3は、カメラパス生成装置が、単体の3Dモデルを仮想視点から撮像した仮想画像を生成する方法を説明する図である。図3において、撮像装置70(70a,70b,70c)は、被写体90の3Dモデル90Mを作成する際に使用した撮像装置である。以降、撮像装置70(70a,70b,70c)を、実カメラ70と呼ぶ。なお、実カメラ70は、本開示における撮像手段の一例である。3Dモデル90Mを使用する各種アプリケーションでは、生成した3Dモデル90Mを様々な方向から撮像できるのが望ましい。そのため、3Dモデル90Mを実カメラ70とは異なる位置(仮想視点)から撮像した画像(仮想画像)を生成する技術が開発されている。
例えば、図3において、仮想視点V1に置かれた仮想カメラ72aが3Dモデル90Mを撮像した際に得られる仮想画像J1(非図示)を生成する場合を想定する。仮想画像J1は、仮想カメラ72aの近傍に置かれた実カメラ70aと実カメラ70cとがそれぞれ撮像した3Dモデル90Mの画像を補間することによって生成することができる。すなわち、実カメラ70aが撮像した3Dモデル90Mの画像と、実カメラ70cが撮像した3Dモデル90Mの画像との対応付けを行って、被写体90のデプス情報を算出する。そして、算出されたデプス情報に対応する領域のテクスチャを仮想カメラ72aに投影することによって、仮想カメラ72aから見た3Dモデル90M(被写体90)の仮想画像J1を生成することができる。
同様にして、実カメラ70bと実カメラ70cとの近傍の仮想視点V2に置かれた仮想カメラ72bから見た3Dモデル90Mの仮想画像J2(非図示)は、実カメラ70bが撮像した3Dモデル90Mの画像と、実カメラ70cが撮像した3Dモデル90Mの画像とを補間することによって生成することができる。なお、以降、仮想カメラ72a,72bを総称して仮想カメラ72と呼ぶ。また、仮想視点V1,V2を総称して仮想視点Vと呼び、仮想画像J1,J2を総称して仮想画像J(非図示)と呼ぶ。
このようにして得られた仮想画像Jは、補間によって生成された画像であるため、実カメラ70が撮像した3Dモデル90Mの画像と比較すると、画質が劣化する。
すなわち、3Dモデル90Mを取り囲むように仮想カメラ72を1周させた場合に得られる仮想画像Jの画質は、仮想カメラ72を実カメラ70と同じ位置に置いて、実カメラ70と同じ条件で撮像するとした場合に、最も良くなる。一方、仮想カメラ72を実カメラ70から離れた位置に置いた場合に生成される仮想画像Jの画質は、実カメラ70が撮像した画像の画質に比べて低下したものになる。
その際、画質の低下度合は、仮想カメラ72の配置位置及び光学パラメータと、実カメラ70の配置位置及び光学パラメータとによって決まり、一般には、両者の差が大きいほど画質の低下が大きくなる。
次に、図4を用いて、仮想画像Jの生成例を説明する。図4は、カメラパス生成装置が、単体の3Dモデルを仮想視点から撮像した仮想画像の生成例を説明する図である。
被写体90を、異なる方向から9台の実カメラ70で撮像して、3Dモデル90Mを生成したとする。その結果、各々の実カメラ70によって、図4に示す9枚の画像Ia乃至Igがそれぞれ撮像されたとする。このとき、図4に示す位置に置いた仮想カメラ72aによって撮像される、3Dモデル90Mの仮想画像Jaを生成する方法を説明する。
説明を簡単にするために、3Dモデル90MのポリゴンPの仮想画像を生成する場合を例にあげて説明する。なお、3Dモデル90Mは、任意に設定したワールド座標系XYZの既知の位置に置かれているとする。
まず、3Dモデル90Mと仮想カメラ72aとの位置関係を求める。なお、仮想カメラ72aの配置位置(Xv,Yv,Zv)、すなわち仮想視点は既知であるとする。3Dモデル90MのポリゴンPのワールド座標系XYZにおける位置は既知であるから、ポリゴンPと仮想カメラ72aとの位置関係、すなわち図4に示すベクトルBは一意に定まる。
次に、9枚の画像Ia乃至Igの各々について、仮想画像の生成を行う際に使用する画像の候補を選択する。具体的には、各々の画像Ia乃至IgにポリゴンPが写っているかを判定する。ポリゴンPが写っているか否かの判定は、オクル―ジョンが発生しているかの判定と、各画像のポリゴンPに対応する領域のデプス情報が、実際のデプスと一致しているかの判定と、に基づいて行えばよい。図4の例では、画像Ib,Ic,Ie,If,Ih,Iiの6枚にポリゴンPが写っているものとする。一方、画像Ia,Id,Igには、ポリゴンPが写っていないものとする。
次に、仮想画像の生成を行う際に使用する画像の候補を撮像した実カメラ70の位置と仮想カメラ72aの位置とを比較して、実カメラ70を、仮想カメラ72aから近い順にソートする。
実カメラ70と仮想カメラ72aの近さの判定には、様々な尺度を使用することができる。例えば、各々の実カメラ70が撮像した画像に写ったポリゴンPと3Dモデル90MのポリゴンPとを結ぶ線分と、前記したベクトルBとのなす角度が小さいほど、実カメラ70と仮想カメラ72aとが近いと判定してもよい。
また、実カメラ70と仮想カメラ72aとの距離が小さいほど、実カメラ70と仮想カメラ72aとが近いと判定してもよい。
さらに、ポリゴンPの撮像倍率が近いほど、実カメラ70と仮想カメラ72aとが近いと判定してもよい。具体的には、被写体90の被写体サイズhと、カメラから被写体90までの距離Dと、撮像に用いるレンズの焦点距離fとから式(1)によって算出される被写体90の像サイズpが近いほど、実カメラ70と仮想カメラ72aとが近いと判定してもよい。
p=h*(f/D) ・・・(1)
また、ユーザ自身が、仮想カメラ72aに近い実カメラ70を選択してもよい。
次に、仮想カメラ72aから近い順に、実カメラ70に重みを付与して、付与された重みに基づいてブレンディングされたテクスチャを、仮想画像Jにマッピングしてレンダリングする。これによって、仮想カメラ72aから見た、ポリゴンPの仮想画像Jが生成される。なお、同様の処理を3Dモデル90Mの複数のポリゴンに対して行うことによって、仮想カメラ72aから見た3Dモデル90Mの仮想画像Jを生成することができる。
以下、図5を用いて、前記した仮想画像Jの作成方法を、フローチャートを用いて説明する。図5は、カメラパス生成装置が仮想画像を生成する手順の一例を示すフローチャートである。
まず、3Dモデル90Mを撮像する仮想視点Vを設定する(ステップS11)。
次に、3Dモデル90Mと仮想視点Vとの位置関係を算出する(ステップS12)。
さらに、レンダリングに使用する実カメラ70を選択する(ステップS13)。
次に、仮想視点Vから近い順に、ステップS13で選択された実カメラ70をソートする(ステップS14)。
そして、仮想視点Vに最も近い実カメラ70から順に、重みを付けてレンダリング処理を行う(ステップS15)。
[1-3.情報処理装置のハードウエア構成の説明]
図6は、第1の実施形態の情報処理装置のハードウエア構成の一例を示すハードウエアブロック図である。情報処理装置10aは、CPU(Central Processing Unit)40と、ROM(Read Only Memory)41と、RAM(Random Access Memory)42と、記憶部43と、入出力コントローラ44と、が内部バス45で接続された構成を有する。
図6は、第1の実施形態の情報処理装置のハードウエア構成の一例を示すハードウエアブロック図である。情報処理装置10aは、CPU(Central Processing Unit)40と、ROM(Read Only Memory)41と、RAM(Random Access Memory)42と、記憶部43と、入出力コントローラ44と、が内部バス45で接続された構成を有する。
CPU40は、記憶部43に格納されている制御プログラムP1と、ROM41に格納されている、カメラパラメータ等の各種データファイルとをRAM42上に展開して実行することによって、情報処理装置10aの全体の動作を制御する。すなわち、情報処理装置10aは、制御プログラムP1によって動作する一般的なコンピュータの構成を有する。なお、制御プログラムP1は、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供されてもよい。また、情報処理装置10aは、一連の処理をハードウエアによって実行してもよい。なお、CPU40が実行する制御プログラムP1は、本開示で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
記憶部43は、例えばフラッシュメモリにより構成されて、CPU40が実行する制御プログラムP1と、3Dモデル90Mと、を記憶する。なお、3Dモデル90Mは一般に大容量であるため、情報処理装置10aとインターネット等で接続された非図示の外部サーバから、必要に応じてダウンロードして、記憶部43に記憶するようにしてもよい。
記憶部43は、更に、スコアマップM(θ,φ)と、カメラパスCpとを記憶する。スコアマップM(θ,φ)は、3Dモデル90Mを仮想カメラ72で撮像した仮想画像Jの画質に関連したパラメータを数値化したマップである。スコアマップM(θ,φ)は、3Dモデル90M毎に生成される。スコアマップM(θ,φ)について、詳しくは後述する。なお、スコアマップM(θ,φ)は、本開示におけるマップの一例である。カメラパスCpは、例えば、スコアマップM(θ,φ)に基づいて生成された、所定値以上の画質を維持しながら仮想カメラ72を移動した際の、仮想視点の移動軌跡であるカメラパスCpを記憶する。カメラパスCpについて、詳しくは後述する。
入出力コントローラ44は、タッチパネルインタフェース46を介して、情報処理装置10aに係る情報を表示する液晶ディスプレイ54に積層されたタッチパネル50の操作情報を取得する。また、入出力コントローラ44は、ディスプレイインタフェース47を介して、液晶ディスプレイ54に画像情報を表示する。また、入出力コントローラ44は、カメラインタフェース48を介して、実カメラ70の動作を制御する。
さらに、図6には示さないが、入出力コントローラ44は、無線通信又は有線通信によって、非図示の外部サーバ等との間で通信を行う。これによって、情報処理装置10aは、例えば、別の場所で作成された3Dモデル90Mを受信する。
[1-4.情報処理装置の機能構成の説明]
図7は、第1の実施形態の情報処理装置の機能構成の一例を示す機能ブロック図である。情報処理装置10aのCPU40は、制御プログラムP1をRAM42上に展開して動作させることによって、図7に示す各機能部を実現する。
図7は、第1の実施形態の情報処理装置の機能構成の一例を示す機能ブロック図である。情報処理装置10aのCPU40は、制御プログラムP1をRAM42上に展開して動作させることによって、図7に示す各機能部を実現する。
すなわち、情報処理装置10aのCPU40は、3Dモデル生成装置20として、撮像制御部81と、3Dモデル生成部82と、スコアマップ生成部83とを実現する。
撮像制御部81は、実カメラ70の動作を制御することによって、被写体90の撮像を行う。
3Dモデル生成部82は、撮像制御部81が撮像した被写体90の画像に基づいて、当該被写体90の3Dモデル90Mを生成する。
スコアマップ生成部83は、3Dモデル90Mに対して、当該3Dモデル90Mを見る仮想視点の位置と、当該仮想視点の位置から3Dモデル90Mを見た際に得られる仮想画像Jの画質と、の関係を予測する。そして、スコアマップ生成部83は、推定した仮想画像Jの画質を可視化したスコアマップM(θ,φ)を生成する。なお、スコアマップ生成部83は、本開示における画質予測部の一例である。スコアマップM(θ,φ)の具体的な生成方法については後述する。
また、情報処理装置10aのCPU40は、カメラパス生成装置30として、3Dモデル配置指定部91と、カメラパス生成部92と、カメラパス表示部93と、カメラパス選択部94と、レンダリング処理部95とを実現する。
3Dモデル配置指定部91は、同一空間における複数の3Dモデル90Mの配置位置を指定する。具体的には、操作制御部98によって、3次元空間における配置位置を指定する。
カメラパス生成部92は、3Dモデル配置指定部91が指定した複数の3Dモデル90Mの配置位置と、当該3Dモデル90Mの各々に対して、スコアマップ生成部83が生成したスコアマップM(θ,φ)とに基づいて、仮想視点Vの移動軌跡であるカメラパスCpを生成する。なお、カメラパスCpの生成条件には、様々なものが考えられる。例えば、できるだけ所定値以上の画質を維持できるようなカメラパスCpを生成してもよい。また、画質が粗い仮想視点を避けるようにカメラパスCpを生成してもよいし、ユーザが設定したカメラパスを、より高い画質が得られるカメラパスCpに変更してもよい。なお、カメラパス生成部92は、本開示における移動軌跡生成部の一例である。カメラパスCpの具体的な生成方法については後述する。
カメラパス表示部93は、カメラパス生成部92が生成したカメラパスCpを液晶ディスプレイ54に表示させる。
カメラパス選択部94は、カメラパス生成部92が生成した複数のカメラパスCpの中から、操作者に指定されたカメラパスCpを選択する。
レンダリング処理部95は、カメラパス選択部94によって選択されたカメラパスCpに沿って仮想視点Vを移動させながら、仮想視点Vから見た複数の3Dモデル90Mのレンダリングを行い、仮想画像Jを生成する。
更に、情報処理装置10aのCPU40は、3Dモデル生成装置20及びカメラパス生成装置30を操作する際の操作制御を行う機能として操作制御部98を実現する。また、3Dモデル生成装置20及びカメラパス生成装置30に係る情報を表示する表示制御を行う機能として表示制御部99を実現する。
操作制御部98は、タッチパネル50を制御することによって、操作者の3Dモデル生成装置20及びカメラパス生成装置30に係る操作指示を取得して、関連する機能部に受け渡す。
表示制御部99は、液晶ディスプレイ54を制御することによって、3Dモデル生成装置20及びカメラパス生成装置30からの各種情報の表示指示に従って表示を行う。
[1-5.画質スコアの算出方法の説明]
次に、本実施形態の情報処理装置10aが使用するスコアマップM(θ,φ)について説明する。スコアマップM(θ,φ)は、3Dモデル生成装置20が3Dモデル90Mを作成する際に同時に生成する、被写体90を見る方向毎に、当該3Dモデル90Mを見た仮想画像Jの画質を数値化したマップである。
次に、本実施形態の情報処理装置10aが使用するスコアマップM(θ,φ)について説明する。スコアマップM(θ,φ)は、3Dモデル生成装置20が3Dモデル90Mを作成する際に同時に生成する、被写体90を見る方向毎に、当該3Dモデル90Mを見た仮想画像Jの画質を数値化したマップである。
図8は、被写体を撮像する実カメラのレイアウトを説明する図である。被写体90の3Dモデル90Mを作成する際には、複数の実カメラ70が、被写体90を取り囲むように配置される。各々の実カメラ70は、一般にカメラの光学パラメータ(レンズ焦点距離、画素数、センササイズ等)と、撮像する映像のフォーマット(HD(High Definition),フルHD,4K,8K等)とがそれぞれ異なっている。
図8の例では、5台の実カメラ70(70a,70b,70c,70d,70e)を、被写体90の周りに配置している。なお、実カメラ70のXY平面上における方向を角度θで表す。また、実カメラ70のXZ平面上における方向を角度φで表す。すなわち、実カメラ70の配置位置は、座標(θ,φ)で特定される。
実カメラ70aは、XY平面上に、被写体90の正面方向に、被写体90の正面を向いて配置されている。実カメラ70bは、被写体90のやや上方から被写体90の正面を向いて配置されている。なお、図8では、カメラの画角を、二等辺三角形の頂角で表しており、実カメラ70bは広角レンズを装着しており、他の実カメラに比べて画角が広いことを表している。実カメラ70cは、被写体90の上方から被写体90の正面を見下ろす方向に配置されている。
さらに、実カメラ70dは、被写体90の背面側に、被写体90の背面を向いて配置される。実カメラ70eは、被写体90が視野外となる向きに配置されている。なお、実カメラ70aから実カメラ70dは、被写体90から略等距離の位置に配置されており、実カメラ70eは、より遠方に配置されているとする。
カメラパス生成装置10は、各々の実カメラ70が撮像する被写体90の画像の画質を可視化したスコアマップM(θ,φ)を生成する。以下、画像の画質を定量化する方法と、スコアマップM(θ,φ)の生成手順を順に説明する。
まず、情報処理装置10aは、各々の実カメラ70a乃至70eが撮像する画像の画質スコアIqを予測する。画質スコアIqは、例えば式(2)によって算出されるものとする。
Iq=e*(p/s)*visibility*weight ・・・(2)
式(2)のeは、実カメラ70の解像度(画素数)である。例えばフルHD画質の実カメラ70の場合、e=1920(横)×1080(縦)画素である。また、4K画質の実カメラ70の場合、e=3840(横)×2160(縦)画素である。また、式(2)のpは、前記した式(1)で算出される被写体90の像サイズである。また、sは、実カメラ70が備えるイメージセンサのサイズである。例えば、フルサイズのイメージセンサの場合、s=36.0(横)×24.0(縦)mm、APS-Cサイズのイメージセンサの場合、s=23.6(横)×15.8(縦)mmになる。即ち、式(2)における(p/s)は、実カメラ70が撮像した画像の中で、被写体90が占める割合を示す。そして、式(2)におけるe*(p/s)は、被写体90が何画素の像として撮像されるかを表す。即ち、e*(p/s)の値が大きいほど、画質スコアIqは高くなる。このように、情報処理装置10aは、3Dモデル90M(3Dオブジェクト)を生成する際に使用する実カメラ70(撮像手段)の光学パラメータと、実カメラ70と3Dモデル90Mとの距離Dと、に基づいて、仮想画像Jの画質を予測する。
式(2)のVisibilityは、画像に被写体90(3Dモデル90M)が写っているか否か、即ち実カメラ70が被写体90を捉えているか否かを表す情報である。例えば、被写体90が写っている場合は、Visibility=1であり、被写体90が写っていない場合は、Visibility=0である。weightは、任意に設定した重みである。例えば、実カメラ70が被写体90の正面に位置する場合、即ち被写体90を正面から捉えている場合にweight=1.0、それ以外の場合はweight=0.5等に設定される。なお、画質スコアIqの算出式は、式(2)に限定されるものではなく、その他のパラメータを考慮してもよい。例えば、被写体90がぼけている場合は、ぼけの程度に応じて、画質スコアIqの減算を行ってもよい。
式(2)によって算出される画質スコアIqは、実カメラ70が、被写体90(3Dモデル90M)を正面から大写しした場合ほど、即ち被写体90を正面から画面一杯に映るように撮像した場合ほど大きい値になる。
3Dモデル生成装置20は、式(2)によって算出された画質スコアIqを、実カメラ70の配置位置に対応する空間(θ,φ)に配置することによって、3Dモデル90M(3Dオブジェクト)を見る方向毎にスコアマップM(θ,φ)を生成する。詳しくは後述する(図11参照)。
次に、図9を用いて、具体的な画質スコアIqの算出例を説明する。図9は、画質スコアの算出例を説明する図である。特に、図9は、被写体90の高さをh=1.5mとして、前記した式(1)、式(2)によって、画質スコアIqを算出した例である。なお、画素数e及びイメージセンサのサイズsは、それぞれ、被写体90の高さ方向に対応する縦方向の値である。
なお、実カメラ70が撮像した画像の中に被写体90の顔が写っていない場合、画質スコアIqは0とする。更に、撮像した画像に対して、合焦時を100点満点とするフォーカスの評価を行う。そして、例えば評価点が50点の場合、画質スコアIqを0.5倍するものとする。
図9に示すように、実カメラ70a,70b,70cは、それぞれ、解像度や撮像条件が異なっているが、式(1),式(2)を用いることによって、撮像された画像の画質を同じ土俵で比較することができる。
[1-6.スコアマップの生成方法の説明]
次に、図10,図11を用いて、画質スコアIqを可視化したスコアマップM(θ,φ)の生成手順を説明する。図10は、実カメラのレイアウトの一例を示す図である。図11は、スコアマップの生成例を説明する図である。
次に、図10,図11を用いて、画質スコアIqを可視化したスコアマップM(θ,φ)の生成手順を説明する。図10は、実カメラのレイアウトの一例を示す図である。図11は、スコアマップの生成例を説明する図である。
一例として、図10に示すように、3台の実カメラ70a,70b,70cを、3Dモデル90M(被写体90)の周りに配置した場合を想定する。具体的には、上面視において、角度θの基準方向に対して、実カメラ70aは、θ=θ1の方向に配置されている。実カメラ70bは、θ=θ2の方向に配置されている。そして、実カメラ70cは、θ=θ3の方向に配置されている。なお、3Dモデル90Mは、実カメラ70a,70bの方向を向いている。即ち、実カメラ70a,70bは、3Dモデル90Mを正面方向から撮像する。一方、実カメラ70cは、3Dモデル90Mの背面側を向いて配置されている。なお、実カメラ70aは、実カメラ70b,70cに対して、焦点距離fの長いレンズを備えている。
また、実カメラ70a,70b,70cは、それぞれ、図10に示すように3Dモデル90M(被写体90)を斜め上方から見下ろす位置に配置されているとする。具体的には、側面視において、角度φの基準方向に対して、実カメラ70aは、φ=φ1の方向に配置されている。実カメラ70bは、φ=φ2の方向に配置されている。そして、実カメラ70cは、φ=φ3の方向に配置されている。
3Dモデル90Mから、角度θ、距離Dの位置にある実カメラ70で撮像した画像の画質がよい場合、角度θを保った状態で、仮想カメラ72aを3Dモデル90Mに近づけた場合、3Dモデル90Mをより拡大して撮像した状態になるため、3Dモデル90Mが画面一杯に撮像できる位置まで近接しても、実カメラ70aが撮像した画像の画質が維持される。そして、仮想カメラ72aを、最近接点74a(図10参照)を超えて3Dモデル90Mに近づけると、3Dモデル90Mがフレームアウトしてしまうため、3Dモデル90Mが撮像できない状態になる、即ち実カメラ70aが撮像した画像の画質は維持されない。一方、仮想カメラ72aを実カメラ70aの位置から角度θを保った状態で遠ざけた場合は、当該仮想カメラ72aの焦点距離fと実カメラ70aの焦点距離fとが同じであるとすると、3Dモデル90Mが小さく撮像されるだけであるので、実カメラ70aが撮像した画像の画質は維持される。
同様にして、実カメラ70b,70cが撮像した3Dモデル90Mの画像の画質は、図10に示した最近接点74b,74cから遠方において維持される。なお、最近接点74a,74b,74cの具体的な位置は、実カメラ70a,70b,70cの撮像条件、具体的には3Dモデル90Mの撮像倍率に基づいて算出することができる。
スコアマップ生成部83(図7参照)は、このような位置関係で配置された実カメラ70a,70b,70cで撮像された画像の画質スコアIqを可視化したスコアマップM(θ,φ)を、図11に示すフローチャートに従って作成する。
スコアマップ生成部83は、まず、実カメラ70a,70b,70cそれぞれについて画質スコアIqを算出する(ステップS21)。なお、画質スコアIqの算出手順は前記した通りである。
次に、スコアマップ生成部83は、算出された画質スコアIqを(θ,φ)平面にプロットする(ステップS22)。画質スコアIqを実際にプロットした例を図11の上段に示す。(θ,φ)平面には、実カメラ70a,70b,70cの配置位置に対応する座標(θ1,φ1),(θ2,φ2),(θ3,φ3)の各位置に、画質スコアIqの値がそれぞれプロットされる。
次に、スコアマップ生成部83は、(θ,φ)平面にプロットされた画質スコアIqの値を、(θ,φ)平面の周囲に拡散させることによって、各実カメラ70に対するスコアマップを生成する(ステップS23)。
仮想カメラ72を実カメラ70の近傍に配置した場合、仮想カメラ72と実カメラ70との角度差が小さく、尚且つ、仮想カメラ72が3Dモデル90Mを画像内に捕捉している場合には、画質スコアIqの値はほぼ等しいと見做すことができる。したがって、各実カメラ70に対するスコアマップにおいて、実カメラ70と仮想カメラ72との間に多少の角度差があっても、それを許容するように、プロットされた画質スコアIqを周囲に拡散させる。
具体的には、平滑化演算を行うことによって、画質スコアIqを(θ,φ)平面で周囲に拡散させればよい。平滑化演算は、例えば、公知のガウシアンフィルタを用いればよい。画質スコアIqを周囲に拡散させることによって、図11の中段に示すように、各実カメラ70の配置位置を中心とする山形のスコア分布が得られる。なお、図11は、見やすくするために離散値が分布したように描いているが、実際は、連続値が格納された単峰性の分布を形成する。すなわち、画質スコアIqは、実カメラ70の設置位置において最も高くなり、実カメラ70の設置位置から離れるにしたがって単調に減少する分布をなす。
なお、平滑化演算を行う際に作用させるフィルタのサイズは、画質スコアIqの値に応じて変更してもよい。すなわち、画質スコアIqが高い場合は、実カメラ70と仮想カメラ72との間の角度差が多少大きくなっても、高い画質を維持できると考えられるため、フィルタサイズの大きい平滑化フィルタを作用させるのが望ましい。この場合、平滑化された画質スコアIqは、緩やかな単峰性の分布を形成する。
逆に、画質スコアIqが低い場合は、実カメラ70と仮想カメラ72との間の角度差が大きくなると、画質が急激に低下することが予想される。したがって、フィルタサイズの小さい平滑化フィルタを作用させるのが望ましい。この場合、平滑化された画質スコアIqは、急峻な単峰性の分布を形成する。
そして、スコアマップ生成部83は、各実カメラ70a,70b,70cに対するスコアマップを1枚のスコアマップM(θ,φ)に統合する(ステップS24)。なお、各実カメラ70a,70b,70cのスコアマップを統合する際、同じ座標(θ,φ)において、複数の実カメラ70が画質スコアIqを有する場合、スコアマップM(θ,φ)には、それらの最大値を格納する。
なお、スコアマップM(θ,φ)は、前記した(θ,φ)平面にプロットしたものに限定されない。すなわち、実カメラ70と3Dモデル90Mとの距離に応じた画質スコアIqをプロットしたものであってもよい。また、実カメラ70の焦点距離fに応じた画質スコアIqをプロットしたものであってもよい。また、実カメラ70の解像度に応じた画質スコアIqをプロットしたものであってもよい。さらに、実カメラ70に写った3Dモデル90Mの大きさに応じた画質スコアIqをプロットしたものであってもよい。
また、スコアマップ生成部83は、更に、前記した最近接点74a,74b,74cと3Dモデル90Mとの距離を記憶したマップを生成してもよい。
[1-7.カメラパスの生成方法の説明]
次に、図12を用いて、カメラパスCpの生成方法を説明する。図12は、カメラパスの生成方法を説明する図である。
次に、図12を用いて、カメラパスCpの生成方法を説明する。図12は、カメラパスの生成方法を説明する図である。
カメラパス生成部92は、同一空間に複数の3Dモデル90Mを配置した場合に、それら複数の3Dモデル90Mを撮像した際に、例えば、できるだけ所定値以上の画質を維持できる、仮想視点Vの移動軌跡であるカメラパスCpを生成する。
図12は、2つの3Dモデル90Ma(被写体90a),90Mb(被写体90b)を同一空間に配置した状態を示す上面図である。
なお、各3Dモデル90Ma,90Mbに対するスコアマップMa(θ,φ),Mb(θ,φ)は、図12に示すように、既に生成済であるとする。
カメラパス生成部92は、まず、画質の予測結果であるスコアマップMa(θ,φ),Mb(θ,φ)を参照して、仮想カメラ72が、各3Dモデル90Ma,90Mbを高画質で撮像できると推定される領域を、3次元空間に再構成する。
例えば、3Dモデル90Maに対するスコアマップMa(θ,φ)において、高い画質を得られると予測されたクラスタC1に着目する。クラスタC1において、特に画質が高い領域は、角度θ=θ1を中心とする角度範囲θaに分布する。また、画質が高いと推定される領域は、角度θ=θ1を中心とする角度範囲θbに分布する。
すなわち、特に画質が高い領域は、3Dモデル90Maの位置から、角度θ1の方向に延びて、角度範囲θaの広がりを持つ円錐領域として再構成される。同様に、画質が高いと推定される領域は、3Dモデル90Maの位置から、角度θ1の方向に延びて、角度範囲θbの広がりを持つ円錐領域として再構成される。
スコアマップMa(θ,φ)、Mb(θ,φ)における他のクラスタについても、同様にして画質が高いと推定される領域を3次元空間に再構成することができる。なお、実際には、φ方向も加味して、3次元空間に円錐領域を再構成するが、ここでは簡単のため、θ方向のみで説明を進める。
カメラパス生成部92は、図12に示す再構成結果を参照することによって、なるべく画質の高い領域を長く通過することを条件にしてカメラパスCpを生成する。なお、カメラパス生成部92は、制約条件として、前記した最近接点よりも近い位置には近づけないことを考慮する。
なお、カメラパスCpは無限に生成することができるため、最初に、カメラパスCpの始点、又はカメラパスCpの始点と終点を指示するのが望ましい。
図12は、カメラパスCpの始点110と終点112を指定した場合に、カメラパスCpを生成した例である。カメラパスCpは、複数の3Dモデル90Ma(被写体90a),90Mb(被写体90b)がともに高画質で撮像できると推定された領域を通過するのが望ましい。そのため、始点110と終点112は、図12に示すように、複数の3Dモデル90Ma,90Mbがともに高画質で撮像できると推定された領域に設定される。なお、始点110及び終点112の設定は、情報処理装置10aの操作者が、液晶ディスプレイ54に表示された、高画質領域の再構成結果を見ながら、タッチパネル50を用いて行えばよい。
そして、カメラパス生成部92は、設定された始点110から、画質スコアIqができるだけ高い位置を辿って、終点112に至るカメラパスCpを探索する。なお、カメラパス生成部92は、カメラパスCpが通過する各点において、併せて仮想カメラ72の向きを設定する。仮想カメラ72の向きは、全ての3Dモデル90Ma,90Mbがともに撮像できるように設定される。もし、全ての3Dモデル90Ma,90Mbがともに撮像できない場合は、図12の仮想カメラ72cのように、一部の被写体90aのみを捉えるようにしてもよい。
このようにして、カメラパス生成部92は、始点110に設置した仮想カメラ72aが、仮想カメラ72b,仮想カメラ72cの順に移動して、終点112に設置した仮想カメラ72dに至るカメラパスCpを生成する。
なお、カメラパスCpを探索する際には、例えば、公知の動的計画法を適用することができる。即ち、微小な領域で探索した複数のカメラパスCpの候補にそれぞれ重みを付けて、始点110から終点112に至るカメラパスCpの重みの総和が最小になるようなカメラパスCpを生成すればよい。
カメラパス生成部92は、さらに、仮想カメラ72の移動速度を設定してもよい。具体的には、仮想カメラ72が画質の高い領域に置かれた場合はゆっくり移動させて、画質が低い領域に置かれた場合は、速く移動させるようにしてもよい。
また、カメラパス生成部92は、カメラパスCpが画質スコアIqの低い領域を通過せざるを得ない場合は、仮想カメラ72が、3Dモデル90Mの方向を向かないように設定してもよい。
また、カメラパスCpを生成する際に、カメラパスCpが生成されやすくなるように、スコアマップM(θ,φ)に調整を加えてもよい。例えば、スコアマップM(θ,φ)に重みを加えて、注目したい被写体90の3Dモデル90Mの画質スコアIqを高い方向に補正してもよい。これにより、3Dモデル90Mをより高い画質で撮像できる領域を優先的に通るカメラパスCpを生成することができる。
さらに、実カメラ70の解像度を考慮に入れて、解像度が高い実カメラ70で撮像した際の画質スコアIqを高い方向に補正してもよい。これにより、焦点距離fが長いレンズで撮像した画像と、高い解像度で撮像した画像とが同じ画質スコアIqであった場合に、カメラパスCpを探索する際に、より高い解像度で撮像した実カメラ70の高画質領域を優先的に探索することができる。
また、複数の3Dモデル90Mの配置状態によっては、仮想カメラ72から見た場合に、複数の3Dモデル90Mが重なってしまう場合がある。カメラパスCpがこのような位置を通過するのは好ましくないため、遮蔽が発生する仮想カメラ72の設置位置を取り除いた状態でカメラパスCpを探索するようにしてもよい。なお、遮蔽が発生する仮想カメラ72の設置位置は、各3Dモデル90Mの設置位置から計算によって求めることができる。
また、仮想カメラ72は、同じ角度θ方向に3Dモデル90Mから遠ざける分には高い画質を維持できると説明したが、カメラパスCpの探索の効率を上げるために、3Dモデル90Mと仮想カメラ72との距離に上限値を設定してもよい。
カメラパス表示部93(図7参照)は、表示制御部99に対して、カメラパス生成部92が生成したカメラパスCpを液晶ディスプレイ54に表示させる。なお、カメラパスCpの表示形態は問わない。例えば、複数の3Dモデル90Mが配置された3次元空間に、生成したカメラパスCpを描画してもよいし、3面図の形態でカメラパスCpを描画してもよい。
また、カメラパス生成部92は、複数のカメラパスCpを生成してもよい。生成された複数のカメラパスCpは、カメラパス表示部93と表示制御部99の作用によって液晶ディスプレイ54に表示される。そして、情報処理装置10aの操作者は、カメラパス選択部94(図7参照)の作用によって、1つのカメラパスCpを選択する。具体的には、液晶ディスプレイ54に、色等の表示形態を変更して表示された複数のカメラパスCpの中から、カメラパス選択部94の作用によって、タッチパネル50で1つのカメラパスCpが選択されると、当該選択操作を検出した操作制御部98の作用によって、1つのカメラパスCpが選択される。
[1-8.カメラパスの生成補助方法の説明]
次に、図13を用いて、カメラパスCpの生成を補助する方法を説明する。図13は、カメラパスを生成する際のユーザインタフェースの一例を示す第1の図である。
次に、図13を用いて、カメラパスCpの生成を補助する方法を説明する。図13は、カメラパスを生成する際のユーザインタフェースの一例を示す第1の図である。
前記したように、カメラパスCpは無限に生成することができるため、効率よくカメラパスCpを生成するためには、何らかの制約条件を課すのが望ましい。以下、図13,図14を用いて、カメラパスCpを効率よく生成するためのユーザインタフェースを説明する。図13は、カメラパスを予測する際のユーザインタフェースの一例を示す第1の図である。図14は、カメラパスを予測する際のユーザインタフェースの一例を示す第2の図である。
図13は、複数の被写体90a,90bの配置状態と、実カメラ70の配置状態、及び各実カメラ70の撮像範囲120を、液晶ディスプレイ54に表示した例である。
図13に示すように、撮像範囲120は、実カメラの設置位置121と、高い画質を得られる範囲122(例えば、図12に示した角度範囲θaに相当)と、実カメラ70の焦点距離123とを有する情報である。
情報処理装置10aの操作者は、図13に示す情報が表示された液晶ディスプレイ54に対して、実カメラ70の位置を順になぞることによって、カメラパスCpを指定することができる。図13は、設置位置121aから、設置位置121b,設置位置121c,設置位置121d,設置位置121eを順になぞることによって、カメラパスCpを設定した例である。このような方法を用いることによって、実カメラ70の配置が明確に可視化されるため、直観的にカメラパスCpを生成しやすい。
なお、実カメラ70の位置は前後に移動することもできるため、図13において、実カメラ70を被写体90a,90bに近づける、又は遠ざける方向になぞることも可能である。
図14は、複数の被写体90a,90bの配置状態と、実カメラ70の配置状態、及び各実カメラ70の撮像範囲120を、液晶ディスプレイ54に表示した例である。図13と異なる点は、実カメラ70の撮像範囲に、いずれの被写体を撮像するのに用いられた実カメラであるかを示す情報を付与している点である。
具体的には、図14において、被写体90aの3Dモデルは、撮像範囲120a1,120a2,120a3,120a4,120a5をそれぞれ撮像する5台の実カメラ70によって生成されたことを示す。また、被写体90bの3Dモデルは、撮像範囲120b1,120b2,120b3,120b4,120b5,120b6をそれぞれ撮像する6台の実カメラ70によって生成されたことを示す。
情報処理装置10aの操作者は、図14に示す情報が表示された液晶ディスプレイ54に対して、実カメラ70の位置を順になぞることによって、カメラパスCpを指定することができる。その際、被写体90a又は被写体90bのいずれか一方、すなわち、特定の被写体に着目したカメラパスCpを指定することができる。
なお、図13又は図14に示す方法で指定されたカメラパスCpをカメラパス生成部92に渡して、カメラパス生成部92において、指定されたカメラパスCpを、より画質の高い仮想画像Jが得られるカメラパスCpになるように再計算させてもよい。
そして、カメラパス生成部92が生成したカメラパスCp、又は図13,図14に示す方法で指定されたカメラパスCpは、レンダリング処理部95に渡される。そして、レンダリング処理部95は、カメラパスCpに沿って仮想視点Vを移動させながら、複数の被写体90のレンダリングを行い、仮想画像Jを生成する。そして、レンダリング処理された仮想画像Jは、表示制御部99の作用によって、液晶ディスプレイ54に表示される。
[1-9.カメラパス生成装置が行う処理の流れの説明]
次に、図15を用いて、カメラパス生成装置30が行う処理の流れを説明する。図15は、カメラパス生成装置が行う処理の流れの一例を示すフローチャートである。
次に、図15を用いて、カメラパス生成装置30が行う処理の流れを説明する。図15は、カメラパス生成装置が行う処理の流れの一例を示すフローチャートである。
3Dモデル配置指定部91は、複数の被写体90の配置位置を指定する(ステップS31)。
カメラパス生成部92は、3Dモデル生成装置20から、各被写体90のスコアマップM(θ,φ)を取得する(ステップS32)。
カメラパス生成部92は、できるだけ所定値以上の画質を維持できる、仮想視点Vの移動軌跡であるカメラパスCpを生成する(ステップS33)。具体的なカメラパスCpの生成方法は、前記した通りである。なお、カメラパス生成部92は、所定値以上の(高い)画質を維持できるカメラパスCpを生成する以外に、画質が粗い仮想視点を避けるようにカメラパスCpを生成してもよいし、ユーザが設定したカメラパスを、より高い画質が得られるカメラパスCpに変更してもよい。
カメラパス表示部93は、表示制御部99に対して、カメラパスCpを液晶ディスプレイ54に表示させる(ステップS34)。
レンダリング処理部95は、仮想カメラ72の仮想視点をカメラパスCpに沿って移動させながら、被写体90のレンダリング処理を行う(ステップS35)。
レンダリング処理部95は、更に、表示制御部99に対して、レンダリング処理の結果を液晶ディスプレイ54に表示させる(ステップS36)。
以上説明したように、第1の実施形態の情報処理装置10aによると、情報処理装置10aが備えるスコアマップ生成部83(画質予測部)は、3Dモデル90M(3Dオブジェクト)に対して、当該3Dモデル90Mを見る仮想視点Vの位置と、当該仮想視点Vの位置から3Dモデル90Mを見た際に得られる仮想画像Jの画質と、の関係を予測する。
これにより、3Dモデル90Mを任意の方向から撮像した際に得られる仮想画像Jの画質を推定して可視化することができる。
また、第1の実施形態の情報処理装置10aによると、カメラパス生成部92(移動軌跡生成部)は、複数の3Dモデル90M(3Dオブジェクト)の配置位置と、当該3Dモデル90Mの各々に対して、スコアマップ生成部83(画質予測部)が予測した仮想画像Jの画質とに基づいて、仮想視点Vの移動軌跡であるカメラパスCpを生成する。
これにより、異なる条件で生成された複数の3Dモデル90Mを同一空間に配置した際に、これら複数の3Dモデル90Mを同時に撮像することができるとともに、できるだけ高い画質の仮想画像Jを生成することが可能なカメラパスCpを生成することができる。
また、第1の実施形態の情報処理装置10aによると、スコアマップ生成部83(画質予測部)は、3Dモデル90M(3Dオブジェクト)を生成する際に使用する実カメラ70(撮像手段)の光学パラメータ(画素数e、イメージセンサのサイズs、焦点距離f)と、当該実カメラ70と3Dモデル90Mとの距離Dと、に基づいて仮想画像Jの画質を予測する。
これにより、簡便な演算によって、画質を予測することができる。
また、第1の実施形態の情報処理装置10aによると、光学パラメータは、実カメラ70(撮像手段)が撮像した画像に占める3Dモデル90M(3Dオブジェクト)の割合に係るパラメータである。
これにより、3Dモデル90Mを生成した際に使用する実カメラ70の信号形式が異なる場合であっても、画質を同じ尺度で比較することができる。
また、第1の実施形態の情報処理装置10aによると、3Dモデル90M(3Dオブジェクト)を見る方向は、実カメラ70(撮像手段)が3Dモデル90Mを捉えているか否かを示す情報と、3Dモデル90Mを正面から捉えているか否かを示す情報と、の少なくとも一方を含む。
これにより、3Dモデル90Mの向きを考慮して画質を予測することができる。
また、第1の実施形態の情報処理装置10aによると、スコアマップ生成部83(画質予測部)は、3Dモデル90M(3Dオブジェクト)を見る方向毎に、当該3Dモデル90Mを撮像した画像の画質に関連したパラメータを数値化したスコアマップM(θ,φ)(マップ)を生成する。
これにより、3Dモデル90Mの撮像方向を考慮した画質を可視化することができる。
また、第1の実施形態の情報処理装置10aによると、スコアマップ生成部83(画質予測部)は、数値化された仮想画像Jの画質に関連したパラメータを、当該仮想画像Jの撮像位置に応じた位置にプロットするとともに、プロットされた仮想画像Jの画質に関連したパラメータを、プロットされた位置から周囲に拡散することによって、スコアマップM(θ,φ)(マップ)を生成する。
これにより、仮想画像Jの画質を予測する際に、実カメラ70の位置と仮想カメラ72の位置とのずれを許容することができる。
また、第1の実施形態の情報処理装置10aによると、スコアマップ生成部83(画質予測部)は、スコアマップM(θ,φ)(マップ)にプロットされた仮想画像Jの画質を、平滑化演算することによって周囲に拡散させる。
これにより、簡単な演算で、実カメラ70の位置と仮想カメラ72の位置とのずれの大きさを決めることができる。
また、第1の実施形態の情報処理装置10aにおいて、3Dモデル90M(3Dオブジェクト)は、視点位置に応じたテクスチャ情報を有する。
これにより、仮想画像Jは、視点位置に応じてテクスチャが変化するため、より高画質でレンダリングすることができる。
また、第1の実施形態の情報処理装置10aにおいて、3Dモデル生成装置20は、複数の被写体90の3Dモデル90M(3Dオブジェクト)を別々に生成する。
これにより、複数の被写体90が存在する状態において、当該複数の被写体90をともに高画質で撮像することができる仮想カメラ72のカメラパスCpを設定することができる。
(2.第2の実施形態)
前記したスコアマップM(θ,φ)には、カメラパスCpを生成する場合の他にも、効果的な使用方法がある。以下、スコアマップM(θ,φ)のその他の用途について説明する。
前記したスコアマップM(θ,φ)には、カメラパスCpを生成する場合の他にも、効果的な使用方法がある。以下、スコアマップM(θ,φ)のその他の用途について説明する。
本開示の第2の実施形態である情報処理装置10bは、第1の実施形態で説明した3Dモデル生成装置20が生成した被写体90の3Dモデル90Mについて、スコアマップM(θ,φ)に基づいて、3Dモデル90Mの生成条件を評価する情報処理装置10bの例である。
図16は、第2の実施形態の情報処理装置の基本構成の一例を示すブロック図である。情報処理装置10bは、3Dモデル生成装置20と、携帯端末32bとを備える。
3Dモデル生成装置20は、第1の実施形態で説明したのと同じ機能を有する。なお、ここで説明する3Dモデル生成装置20は、複数の3Dモデル生成装置20a,20b,…を備えるものとする。これは、複数の異なる場所に異なる3Dモデル生成装置20a,20b,…が置かれている場合を想定している。各3Dモデル生成装置20a,20b,…は被写体90の3Dモデル90Mと、スコアマップM(θ,φ)を生成する。そして、異なる場所で生成された複数の3Dモデル90MとスコアマップM(θ,φ)が、通信回線で接続されて、携帯端末32bに送信される。
携帯端末32bは、3Dモデル生成装置20a,20b,…が生成したスコアマップM(θ,φ)を取得する。そして、携帯端末32bは、スコアマップM(θ,φ)を分析することによって、3Dモデル90Mを生成した際の実カメラ70の設置位置を評価する。そして、携帯端末32bは、評価結果を出力する。なお、携帯端末32bは、例えばスマートフォンやモバイルPC等である。
なお、3Dモデル生成装置20のハードウエア構成は第1の実施形態で説明した通りである。また、携帯端末32bは、一般的なコンピュータの構成を有する。
図17は、第2の実施形態の携帯端末の機能構成の一例を示す機能ブロック図である。携帯端末32bは、スコアマップ取得部33と、スコアマップ分析部34と、実カメラ位置提案部35とを備える。
スコアマップ取得部33は、各3Dモデル生成装置20a,20b,…から、スコアマップM(θ,φ)を取得する。
スコアマップ分析部34は、各3Dモデル生成装置20a,20b,…から取得したスコアマップM(θ,φ)に基づいて、3Dモデル90M(3Dオブジェクト)を生成する際に使用した実カメラ70(撮像手段)の配置条件を評価する、なお、スコアマップ分析部34は、本開示における配置評価部の一例である。
実カメラ位置提案部35は、スコアマップ分析部34の分析結果を、該当する3Dモデル生成装置20a,20b,…に送信する。
図18は、第2の実施形態の携帯端末の作用を説明する図である。携帯端末32bは、3Dモデル生成装置20(正確には、3Dモデル生成装置20a,20b,…のいずれか)から、図18に示すスコアマップM(θ,φ)を取得する。このスコアマップM(θ,φ)は、図18に示すように、被写体90に対して2台の実カメラ70a,70bを配置した状態で生成した3Dモデル90Mの画質を表すものである。
スコアマップ分析部34は、このスコアマップM(θ,φ)を参照して、角度θ方向及び角度φ方向について、情報が欠落した領域(即ち、実カメラ70が網羅していない領域)がないか、画質が低い領域がないか等を分析する。図18の例では、スコアマップ分析部34は、角度θ方向に情報が欠落した領域w1があると判断する。すなわち、図18に示すように、欠落した領域w1に新たな実カメラ70cを設置して3Dモデル90Mを更新することによって、より広範囲が網羅された3Dモデル90Mを生成することができる。
そして、実カメラ位置提案部35は、スコアマップM(θ,φ)を送信した3Dモデル生成装置20a,20b,…のいずれかに対して、前記した分析結果を送信する。ぞして、分析結果を受信した3Dモデル生成装置の操作者は、受信結果に応じて、3Dモデル90Mを更新する。
以上説明したように、第2の実施形態の情報処理装置10bによると、スコアマップ分析部34(配置評価部)は、スコアマップM(θ,φ)(マップ)に基づいて、3Dモデル90M(3Dオブジェクト)を生成する際に使用した実カメラ70(撮像手段)の配置条件を評価する。
これにより、3Dモデル90Mを生成する際の実カメラ70の設置位置を、スコアマップM(θ,φ)によって可視化することによって、容易かつ確実に評価することができる。
(3.第3の実施形態)
本開示の第3の実施形態である情報処理装置10c(非図示)は、第2の実施形態で説明した情報処理装置10bにおいて、携帯端末32bの代わりに携帯端末32c(非図示)を備える。なお、情報処理装置10cのハードウエア構成は、情報処理装置10bと変わらない。
本開示の第3の実施形態である情報処理装置10c(非図示)は、第2の実施形態で説明した情報処理装置10bにおいて、携帯端末32bの代わりに携帯端末32c(非図示)を備える。なお、情報処理装置10cのハードウエア構成は、情報処理装置10bと変わらない。
情報処理装置10cが備える携帯端末32cは、第1の実施形態で説明した3Dモデル生成装置20が生成した被写体90の3Dモデル90Mを受信する。そして、携帯端末32cは、操作者が指定した方向から、3Dモデル90Mのレンダリング処理を行って、再構成された3Dモデル90Mを提示する。その際、携帯端末32cは、スコアマップM(θ,φ)を参照して、画質が低い方向、又は情報が欠落している方向からの閲覧を避けるように、表示状態を制御する。
図19は、第3の実施形態の携帯端末の機能構成の一例を示す機能ブロック図である。携帯端末32cは、スコアマップ取得部33と、仮想カメラ設置禁止領域算出部60と、観測方向検出部61と、仮想画像生成部62と、仮想画像表示部63と、禁止領域用映像処理部64とを備える。
スコアマップ取得部33は、各3Dモデル生成装置20a,20b,…から、スコアマップM(θ,φ)を取得する。
仮想カメラ設置禁止領域算出部60は、スコアマップM(θ,φ)の中から、仮想視点Vを設置しない位置(座標(θ,φ)で示される方向)を算出する。なお、仮想視点Vを設置しない位置とは、例えば、情報が欠落した領域(即ち、実カメラ70が網羅していない領域)や、画質が低い領域である。なお、仮想カメラ設置禁止領域算出部60は、本開示における閲覧禁止領域算出部の一例である。
観測方向検出部61は、携帯端末32cの操作者が指示した、レンダリング結果、即ち仮想画像Jの観測方向を検出する。具体的には、携帯端末32cが有する操作系によっても異なるが、例えば、携帯端末32cの向きを変えることによって観測方向を変更する場合は、観測方向検出部61は、携帯端末32cが備える、例えばジャイロセンサの出力をモニタすることによって、観測方向を検出する。また、携帯端末32cの画面をスワイプ操作することによって観測方向を変更する場合は、観測方向検出部61は、実行されたスワイプ操作をモニタすることによって、観測方向を検出する。
仮想画像生成部62は、携帯端末32cの操作者が指示した観測方向から見た仮想画像Jを生成する。なお、携帯端末32cは、生成された仮想画像Jにレンダリング処理を行う。
仮想画像表示部63は、仮想画像生成部62が生成した仮想画像Jを携帯端末32cの表示部に表示する。
禁止領域用映像処理部64は、観測方向検出部61が検出した観測方向と、仮想カメラ設置禁止領域算出部60が算出した、仮想視点V、即ち仮想カメラ72を設置しない位置(座標(θ,φ)で示される方向)とが一致した場合に、3Dモデル90M(3Dオブジェクト)の仮想画像Jの生成を行わない。具体的には、携帯端末32cの表示をフェードアウトする、携帯端末32cの表示をぼかす、携帯端末32cの表示にエフェクトをかける等によって、仮想画像Jの生成を行わないようにする。このような映像を提示することによって、良好な仮想画像Jが生成される仮想視点Vを設定できる観測方向に、操作者を誘導する。なお、禁止領域用映像処理部64は、本開示における映像処理部の一例である。
図20は、第3の実施形態の携帯端末の作用を説明する図である。実カメラ70a,70bによって被写体90の3Dモデル90Mを作成した際に、図20に示すスコアマップM(θ,φ)が得られたとする。このとき、仮想カメラ設置禁止領域算出部60は、スコアマップM(θ,φ)を分析することによって、仮想カメラ72を設置しない位置(座標(θ,φ)で示される方向)として、仮想カメラ設置禁止領域を算出する。すなわち、仮想カメラ72の設置位置は、スコアマップM(θ,φ)に示す領域w2の範囲(即ち、角度θminから角度θmaxの範囲)に限定される。
これらの情報を実空間に再構成すると、図20に示す領域w2が、仮想カメラ72、即ち仮想視点Vの設置位置に限定される。
以上説明したように、第3の実施形態の情報処理装置10cによると、仮想カメラ設置禁止領域算出部60(閲覧禁止領域算出部)は、スコアマップM(θ,φ)(マップ)に基づいて、3Dモデル90M(3Dオブジェクト)から仮想画像Jを生成する際に、仮想視点Vを設置しない位置を算出する。そして、禁止領域用映像処理部64(映像処理部)は、3Dモデル90Mの仮想視点Vが、仮想カメラ設置禁止領域算出部60が算出した仮想視点Vの位置と一致した場合に、当該仮想視点Vの位置からの3Dモデル90Mの仮想画像Jの生成を行わない。
これにより、仮想画像Jが生成できない、又は生成される仮想画像Jの画質が低い位置に仮想視点Vを設定するのを避けることができる。
(4.第4の実施形態)
本開示の第4の実施形態である情報処理装置10d(非図示)は、第2の実施形態で説明した情報処理装置10bにおいて、携帯端末32bの代わりに携帯端末32d(非図示)を備える。なお、情報処理装置10dのハードウエア構成は、情報処理装置10bと変わらない。
本開示の第4の実施形態である情報処理装置10d(非図示)は、第2の実施形態で説明した情報処理装置10bにおいて、携帯端末32bの代わりに携帯端末32d(非図示)を備える。なお、情報処理装置10dのハードウエア構成は、情報処理装置10bと変わらない。
情報処理装置10dが備える携帯端末32dは、第1の実施形態で説明した3Dモデル生成装置20が生成した被写体90の3Dモデル90Mを受信する。そして、携帯端末32dは、3Dモデル90Mを仮想視点Vから見た仮想画像Jを生成する。こうして生成された仮想画像Jに、更にCGオブジェクトを配置する際に、携帯端末32dは、スコアマップM(θ,φ)を参照して、画質の低い領域に、重点的にCGオブジェクトを配置する。
図21は、第4の実施形態の携帯端末の機能構成の一例を示す機能ブロック図である。携帯端末32dは、スコアマップ取得部33と、CGオブジェクト取得部65と、CGオブジェクト配置領域算出部66と、レンダリング処理部95とを備える。
スコアマップ取得部33は、各3Dモデル生成装置20a,20b,…から、スコアマップM(θ,φ)を取得する。
CGオブジェクト取得部65は、非図示のサーバ装置等から、仮想画像Jに配置するCGオブジェクトを取得する。
CGオブジェクト配置領域算出部66は、スコアマップM(θ,φ)を参照することによって、CGオブジェクトを配置するのに適した領域を算出する。CGオブジェクトを配置するのに適した領域とは、例えば、情報が欠落した領域(即ち、実カメラ70が網羅していない領域)や、画質が低い領域である。なお、CGオブジェクト配置領域算出部66は、本開示における配置位置算出部の一例である。
レンダリング処理部95は、仮想視点Vから見た3Dモデル90Mのレンダリングを行い、仮想画像Jを生成する。また、レンダリング処理部95は、仮想画像JにCGオブジェクトを配置する。
以上説明したように、第4の実施形態の情報処理装置10dによると、CGオブジェクト配置領域算出部66(配置位置算出部)は、スコアマップM(θ,φ)(マップ)に基づいて、生成された仮想画像Jの上に別の画像を配置する際の配置位置を算出する。
これにより、仮想画像Jの上に別の画像を配置する場合に、仮想画像Jの画質の低い領域に重点的に配置することによって、画質がよい状態で表示された3Dモデル90Mを邪魔しないようにすることができる。
(5.第5の実施形態)
本開示の第4の実施形態である情報処理装置10e(非図示)は、第2の実施形態で説明した情報処理装置10bにおいて、3Dモデル生成装置20に、別の機能を付加したものである。
本開示の第4の実施形態である情報処理装置10e(非図示)は、第2の実施形態で説明した情報処理装置10bにおいて、3Dモデル生成装置20に、別の機能を付加したものである。
3Dモデル90Mが、視点位置に応じた(View Dependent)テクスチャを有する場合、実カメラ70が撮像した複数の画像を、レンダリングを行う装置に送信する必要がある。その際に、送信するデータ量をできるだけ低減させることが課題になっている。
情報処理装置10eが備える3Dモデル生成装置20は、実カメラ70が撮像した被写体90の複数の画像を携帯端末32bに送信する際に、当該複数の画像を1枚の画像に格納したパッキング画像を生成して、当該パッキング画像を送信することによって送信の効率をあげるものである。特に、本開示における3Dモデル生成装置20は、当該3Dモデル生成装置20が生成したスコアマップM(θ,φ)に基づいて、画質の高い画像をより大きいサイズでパッキングするものである。
図22は、第5の実施形態の3Dモデル生成装置の機能構成の一例を示す機能ブロック図である。3Dモデル生成装置20は、スコアマップ生成部67と、パッキング画像生成部68と、パッキング画像送信部69とを備える。
スコアマップ生成部67は、生成された3Dモデル90MのスコアマップM(θ,φ)を生成する。
パッキング画像生成部68は、実カメラ70が撮像した被写体90の複数の画像を1枚の画像に格納したパッキング画像を生成する際に、スコアマップM(θ,φ)に基づいて、画質が高い画像ほど高い解像度でパッキングする。なお、パッキング画像生成部68は、本開示における画像生成部の一例である。
パッキング画像送信部69は、パッキング画像生成部68が生成したパッキング画像を携帯端末32bに送信する。
図23は、第5の実施形態の3Dモデル生成装置の作用を説明する図である。複数の実カメラ70が撮像した画像の画質を予測して、図23の上部に示すスコアマップM(θ,φ)が得られたとする。
M(θ,φ)において、画質が高いと予測されたクラスタC1,C2,C3が得られることがわかる。このような場合、パッキング画像生成部68は、パッキング画像を生成する際に、クラスタC1,C2,C3の領域で撮像された画像は高い解像度でパッキングする。
具体的には、図23に示すパッキング画像130のように、クラスタC1の領域で撮像された画像130aと、クラスタC2の領域で撮像された画像130bと、クラスタC3の領域で撮像された画像130cは、高い解像度でパッキングする。なお、解像度が高い状態でパッキングするために、本実施の形態では、画像のサイズを大きくしている。そして、これら3枚以外の画像(130d~130i)は低い解像度、すなわちサイズを小さくしてパッキングする。
このようなパッキング画像130を受信した携帯端末32bは、画質の高いクラスタC1,C2,C3の領域では、高い画質の仮想画像Jを生成してレンダリング処理を行う。また、クラスタC1,C2,C3以外の領域では、受信したパッキング画像130に格納された画像に応じた画質の仮想画像Jを生成してレンダリング処理を行う。
以上説明したように、第5の実施形態の3Dモデル生成装置20によると、パッキング画像生成部68(画像生成部)は、3Dモデル90M(3Dオブジェクト)を撮像した複数の画像を1枚の画像に格納したパッキング画像130を生成する際に、スコアマップM(θ,φ)(マップ)に基づいて、画質が高い画像ほど大きいサイズ、即ち高い解像度でパッキングする。
これにより、視点位置に応じたテクスチャを有する3Dモデル90Mの伝送効率を向上させることができる。
なお、本明細書に記載された効果は、あくまで例示であって限定されるものではなく、他の効果があってもよい。また、本開示の実施形態は、上述した実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、以下のような構成もとることができる。
(1)
3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測する画質予測部、
を備える情報処理装置。
(2)
複数の3Dオブジェクトの配置位置と、当該3Dオブジェクトの各々に対して、前記画質予測部が予測した前記仮想画像の画質とに基づいて、前記仮想視点の移動軌跡を生成する移動軌跡生成部を更に備える、
前記(1)に記載の情報処理装置。
(3)
前記画質予測部は、
前記3Dオブジェクトを生成する際に使用する撮像手段の光学パラメータと、当該撮像手段と前記3Dオブジェクトとの距離と、に基づいて前記画質を予測する、
前記(1)又は(2)に記載の情報処理装置。
(4)
前記光学パラメータは、前記撮像手段が撮像した画像に占める前記3Dオブジェクトの割合に係るパラメータである、
前記(3)に記載の情報処理装置。
(5)
前記3Dオブジェクトを見る方向は、前記撮像手段が前記3Dオブジェクトを捉えているか否かを示す情報と、前記3Dオブジェクトを正面から捉えているか否かを示す情報と、の少なくとも一方を含む、
前記(3)又は(4)に記載の情報処理装置。
(6)
前記画質予測部は、
前記3Dオブジェクトに対して、当該3Dオブジェクトを見る方向毎に、前記3Dオブジェクトを撮像した画像の画質に関連したパラメータを数値化したマップを生成する、
前記(1)乃至(5)のいずれか1項に記載の情報処理装置。
(7)
前記画質予測部は、
数値化された前記画像の画質に関連したパラメータを、当該画像の撮像位置に応じた位置にプロットするとともに、
プロットされた前記画像の画質に関連したパラメータを、プロットされた位置から周囲に拡散することによって、前記マップを生成する、
前記(1)乃至(6)のいずれか1項に記載の情報処理装置。
(8)
前記画質予測部は、前記マップにプロットされた前記画像の画質を、平滑化演算することによって周囲に拡散させる、
前記(7)に記載の情報処理装置。
(9)
前記3Dオブジェクトは、視点位置に応じたテクスチャ情報を有する、
前記(1)乃至(8)のいずれか1項に記載の情報処理装置。
(10)
前記マップに基づいて、前記3Dオブジェクトを生成する際に使用した撮像手段の配置条件を評価する配置評価部を更に備える、
前記(6)乃至(9)のいずれか1項に記載の情報処理装置。
(11)
前記マップに基づいて、前記3Dオブジェクトから仮想画像を生成する際に、仮想視点を設定しない位置を算出する閲覧禁止領域算出部と、
前記3Dオブジェクトの仮想視点が、前記閲覧禁止領域算出部が算出した仮想視点の位置と一致した場合に、当該仮想視点の位置からの前記3Dオブジェクトの仮想画像の生成を行わない映像処理部と、を更に備える、
前記(6)乃至(9)のいずれか1項に記載の情報処理装置。
(12)
前記マップに基づいて、生成された前記仮想画像の中に別の画像を配置する際の配置位置を算出する配置位置算出部を更に備える、
前記(6)乃至(9)のいずれか1項に記載の情報処理装置。
(13)
前記3Dオブジェクトを撮像した複数の画像を1枚の画像にパッキングしたパッキング画像を生成する際に、前記マップに基づいて、画質が高い画像ほど高い解像度でパッキングする画像生成部を更に備える、
前記(6)乃至(9)のいずれか1項に記載の情報処理装置。
(14)
前記複数の3Dオブジェクトは、それぞれ別々に生成されている、
前記(2)乃至(13)のいずれか1項に記載の情報処理装置。
(15)
3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測し、
前記3Dオブジェクトの配置位置と、前記仮想画像の画質との関係を利用して生成された前記仮想視点の移動軌跡に基づいて映像を生成する、
映像の生成方法。
(16)
コンピュータを、3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測する画質予測部、
として機能させるプログラム。
(1)
3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測する画質予測部、
を備える情報処理装置。
(2)
複数の3Dオブジェクトの配置位置と、当該3Dオブジェクトの各々に対して、前記画質予測部が予測した前記仮想画像の画質とに基づいて、前記仮想視点の移動軌跡を生成する移動軌跡生成部を更に備える、
前記(1)に記載の情報処理装置。
(3)
前記画質予測部は、
前記3Dオブジェクトを生成する際に使用する撮像手段の光学パラメータと、当該撮像手段と前記3Dオブジェクトとの距離と、に基づいて前記画質を予測する、
前記(1)又は(2)に記載の情報処理装置。
(4)
前記光学パラメータは、前記撮像手段が撮像した画像に占める前記3Dオブジェクトの割合に係るパラメータである、
前記(3)に記載の情報処理装置。
(5)
前記3Dオブジェクトを見る方向は、前記撮像手段が前記3Dオブジェクトを捉えているか否かを示す情報と、前記3Dオブジェクトを正面から捉えているか否かを示す情報と、の少なくとも一方を含む、
前記(3)又は(4)に記載の情報処理装置。
(6)
前記画質予測部は、
前記3Dオブジェクトに対して、当該3Dオブジェクトを見る方向毎に、前記3Dオブジェクトを撮像した画像の画質に関連したパラメータを数値化したマップを生成する、
前記(1)乃至(5)のいずれか1項に記載の情報処理装置。
(7)
前記画質予測部は、
数値化された前記画像の画質に関連したパラメータを、当該画像の撮像位置に応じた位置にプロットするとともに、
プロットされた前記画像の画質に関連したパラメータを、プロットされた位置から周囲に拡散することによって、前記マップを生成する、
前記(1)乃至(6)のいずれか1項に記載の情報処理装置。
(8)
前記画質予測部は、前記マップにプロットされた前記画像の画質を、平滑化演算することによって周囲に拡散させる、
前記(7)に記載の情報処理装置。
(9)
前記3Dオブジェクトは、視点位置に応じたテクスチャ情報を有する、
前記(1)乃至(8)のいずれか1項に記載の情報処理装置。
(10)
前記マップに基づいて、前記3Dオブジェクトを生成する際に使用した撮像手段の配置条件を評価する配置評価部を更に備える、
前記(6)乃至(9)のいずれか1項に記載の情報処理装置。
(11)
前記マップに基づいて、前記3Dオブジェクトから仮想画像を生成する際に、仮想視点を設定しない位置を算出する閲覧禁止領域算出部と、
前記3Dオブジェクトの仮想視点が、前記閲覧禁止領域算出部が算出した仮想視点の位置と一致した場合に、当該仮想視点の位置からの前記3Dオブジェクトの仮想画像の生成を行わない映像処理部と、を更に備える、
前記(6)乃至(9)のいずれか1項に記載の情報処理装置。
(12)
前記マップに基づいて、生成された前記仮想画像の中に別の画像を配置する際の配置位置を算出する配置位置算出部を更に備える、
前記(6)乃至(9)のいずれか1項に記載の情報処理装置。
(13)
前記3Dオブジェクトを撮像した複数の画像を1枚の画像にパッキングしたパッキング画像を生成する際に、前記マップに基づいて、画質が高い画像ほど高い解像度でパッキングする画像生成部を更に備える、
前記(6)乃至(9)のいずれか1項に記載の情報処理装置。
(14)
前記複数の3Dオブジェクトは、それぞれ別々に生成されている、
前記(2)乃至(13)のいずれか1項に記載の情報処理装置。
(15)
3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測し、
前記3Dオブジェクトの配置位置と、前記仮想画像の画質との関係を利用して生成された前記仮想視点の移動軌跡に基づいて映像を生成する、
映像の生成方法。
(16)
コンピュータを、3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測する画質予測部、
として機能させるプログラム。
10a…情報処理装置、20…3Dモデル生成装置、30…カメラパス生成装置、32b…携帯端末、34…スコアマップ分析部(配置評価部)、60…仮想カメラ設置禁止領域算出部(閲覧禁止領域算出部)、64…禁止領域用映像処理部(映像処理部)、66…CGオブジェクト配置領域算出部(配置位置算出部)、70,70a,70b,70c,70d,70e…実カメラ(撮像手段、撮像装置)、72,72a,72b、72c、72d…仮想カメラ、83…スコアマップ生成部(画質予測部)、90,90a,90b…被写体、90M,90Ma,90Mb…3Dモデル(3Dオブジェクト)、91…3Dモデル配置指定部、92…カメラパス生成部(移動軌跡生成部)、93…カメラパス表示部、Cp…カメラパス、D…距離、e…画素数、f…焦点距離、h…被写体サイズ、Iq…画質スコア、J,J1,J2…仮想画像、M(θ,φ)…スコアマップ(マップ)、p…像サイズ、s…イメージセンサのサイズ、V,V1,V2…仮想視点
Claims (16)
- 3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測する画質予測部、
を備える情報処理装置。 - 複数の3Dオブジェクトの配置位置と、当該3Dオブジェクトの各々に対して、前記画質予測部が予測した前記仮想画像の画質とに基づいて、前記仮想視点の移動軌跡を生成する移動軌跡生成部を更に備える、
請求項1に記載の情報処理装置。 - 前記画質予測部は、
前記3Dオブジェクトを生成する際に使用する撮像手段の光学パラメータと、当該撮像手段と前記3Dオブジェクトとの距離と、に基づいて前記画質を予測する、
請求項1に記載の情報処理装置。 - 前記光学パラメータは、前記撮像手段が撮像した画像に占める前記3Dオブジェクトの割合に係るパラメータである、
請求項3に記載の情報処理装置。 - 前記3Dオブジェクトを見る方向は、前記撮像手段が前記3Dオブジェクトを捉えているか否かを示す情報と、前記3Dオブジェクトを正面から捉えているか否かを示す情報と、の少なくとも一方を含む、
請求項3に記載の情報処理装置。 - 前記画質予測部は、
前記3Dオブジェクトに対して、当該3Dオブジェクトを見る方向毎に、前記3Dオブジェクトを撮像した画像の画質に関連したパラメータを数値化したマップを生成する、
請求項1に記載の情報処理装置。 - 前記画質予測部は、
数値化された前記画像の画質に関連したパラメータを、当該画像の撮像位置に応じた位置にプロットするとともに、
プロットされた前記画像の画質に関連したパラメータを、プロットされた位置から周囲に拡散することによって、前記マップを生成する、
請求項6に記載の情報処理装置。 - 前記画質予測部は、前記マップにプロットされた前記画像の画質を、平滑化演算することによって周囲に拡散させる、
請求項7に記載の情報処理装置。 - 前記3Dオブジェクトは、視点位置に応じたテクスチャ情報を有する、
請求項1に記載の情報処理装置。 - 前記マップに基づいて、前記3Dオブジェクトを生成する際に使用した撮像手段の配置条件を評価する配置評価部を更に備える、
請求項6に記載の情報処理装置。 - 前記マップに基づいて、前記3Dオブジェクトから仮想画像を生成する際に、仮想視点を設定しない位置を算出する閲覧禁止領域算出部と、
前記3Dオブジェクトの仮想視点が、前記閲覧禁止領域算出部が算出した仮想視点の位置と一致した場合に、当該仮想視点の位置からの前記3Dオブジェクトの仮想画像の生成を行わない映像処理部と、を更に備える、
請求項6に記載の情報処理装置。 - 前記マップに基づいて、生成された前記仮想画像の中に別の画像を配置する際の配置位置を算出する配置位置算出部を更に備える、
請求項6に記載の情報処理装置。 - 前記3Dオブジェクトを撮像した複数の画像を1枚の画像に格納したパッキング画像を生成する際に、前記マップに基づいて、画質が高い画像ほど高い解像度でパッキングする画像生成部を更に備える、
請求項6に記載の情報処理装置。 - 前記複数の3Dオブジェクトは、それぞれ別々に生成されている、
請求項2に記載の情報処理装置。 - 3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測し、
前記3Dオブジェクトの配置位置と、前記仮想画像の画質との関係を利用して生成された前記仮想視点の移動軌跡に基づいて映像を生成する、
映像の生成方法。 - コンピュータを、
3Dオブジェクトに対して、当該3Dオブジェクトを見る仮想視点の位置と、当該仮想視点の位置から前記3Dオブジェクトを見た際に得られる仮想画像の画質と、の関係を予測する画質予測部、
として機能させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20868476.1A EP4012664A4 (en) | 2019-09-25 | 2020-07-09 | INFORMATION PROCESSING DEVICE, VIDEO GENERATION METHOD AND PROGRAM |
CN202080065628.3A CN114450713A (zh) | 2019-09-25 | 2020-07-09 | 信息处理装置、视频生成方法和程序 |
JP2021548361A JP7444172B2 (ja) | 2019-09-25 | 2020-07-09 | 情報処理装置、映像の生成方法及びプログラム |
US17/639,492 US20220329770A1 (en) | 2019-09-25 | 2020-07-09 | Information processing apparatus, video generation method and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174769 | 2019-09-25 | ||
JP2019-174769 | 2019-09-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021059669A1 true WO2021059669A1 (ja) | 2021-04-01 |
Family
ID=75165686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/026809 WO2021059669A1 (ja) | 2019-09-25 | 2020-07-09 | 情報処理装置、映像の生成方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220329770A1 (ja) |
EP (1) | EP4012664A4 (ja) |
JP (1) | JP7444172B2 (ja) |
CN (1) | CN114450713A (ja) |
WO (1) | WO2021059669A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113101612A (zh) * | 2021-04-06 | 2021-07-13 | 合肥工业大学 | 一种沉浸式上肢康复*** |
WO2023199583A1 (ja) * | 2022-04-15 | 2023-10-19 | パナソニックIpマネジメント株式会社 | ビューワ制御方法及び情報処理装置 |
EP4372692A1 (en) * | 2022-11-15 | 2024-05-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11917117B2 (en) * | 2020-09-17 | 2024-02-27 | Canon Kabushiki Kaisha | Processing system, processing method and non-transitory computer-readable storage medium |
US12020363B2 (en) * | 2021-03-29 | 2024-06-25 | Tetavi Ltd. | Surface texturing from multiple cameras |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4671873B2 (ja) | 2006-01-23 | 2011-04-20 | シャープ株式会社 | 合成映像生成システム |
JP2013038602A (ja) * | 2011-08-08 | 2013-02-21 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2019102907A (ja) * | 2017-11-30 | 2019-06-24 | キヤノン株式会社 | 設定装置、設定方法、及びプログラム |
JP2019145894A (ja) * | 2018-02-16 | 2019-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2019191915A (ja) * | 2018-04-25 | 2019-10-31 | キヤノン株式会社 | 映像生成装置、映像生成装置の制御方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014037603A1 (en) * | 2012-09-06 | 2014-03-13 | Nokia Corporation | An apparatus, a method and a computer program for image processing |
JP2018007793A (ja) | 2016-07-12 | 2018-01-18 | 株式会社大一商会 | 遊技機 |
JP7042561B2 (ja) * | 2017-06-02 | 2022-03-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
-
2020
- 2020-07-09 EP EP20868476.1A patent/EP4012664A4/en active Pending
- 2020-07-09 CN CN202080065628.3A patent/CN114450713A/zh active Pending
- 2020-07-09 US US17/639,492 patent/US20220329770A1/en active Pending
- 2020-07-09 JP JP2021548361A patent/JP7444172B2/ja active Active
- 2020-07-09 WO PCT/JP2020/026809 patent/WO2021059669A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4671873B2 (ja) | 2006-01-23 | 2011-04-20 | シャープ株式会社 | 合成映像生成システム |
JP2013038602A (ja) * | 2011-08-08 | 2013-02-21 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2019102907A (ja) * | 2017-11-30 | 2019-06-24 | キヤノン株式会社 | 設定装置、設定方法、及びプログラム |
JP2019145894A (ja) * | 2018-02-16 | 2019-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2019191915A (ja) * | 2018-04-25 | 2019-10-31 | キヤノン株式会社 | 映像生成装置、映像生成装置の制御方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP4012664A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113101612A (zh) * | 2021-04-06 | 2021-07-13 | 合肥工业大学 | 一种沉浸式上肢康复*** |
WO2023199583A1 (ja) * | 2022-04-15 | 2023-10-19 | パナソニックIpマネジメント株式会社 | ビューワ制御方法及び情報処理装置 |
EP4372692A1 (en) * | 2022-11-15 | 2024-05-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP7444172B2 (ja) | 2024-03-06 |
CN114450713A (zh) | 2022-05-06 |
EP4012664A4 (en) | 2022-10-12 |
US20220329770A1 (en) | 2022-10-13 |
JPWO2021059669A1 (ja) | 2021-04-01 |
EP4012664A1 (en) | 2022-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021059669A1 (ja) | 情報処理装置、映像の生成方法及びプログラム | |
EP0680019B1 (en) | Image processing method and apparatus | |
US11734876B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
JP7007348B2 (ja) | 画像処理装置 | |
EP0930585B1 (en) | Image processing apparatus | |
US20200068188A1 (en) | Generating apparatus, generating method, and storage medium | |
EP2352078B1 (en) | Information processing apparatus, information processing method, information recording medium, and program | |
JP7042561B2 (ja) | 情報処理装置、情報処理方法 | |
US6445807B1 (en) | Image processing method and apparatus | |
JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
EP3435670A1 (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
JP5252703B2 (ja) | 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム | |
CN112291550A (zh) | 自由视点图像生成方法、装置、***及可读存储介质 | |
KR101082545B1 (ko) | 영상 변환 기능을 구비한 이동통신 단말기 | |
KR100908084B1 (ko) | 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체 | |
JP5906033B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
US7064767B2 (en) | Image solution processing method, processing apparatus, and program | |
WO2021149509A1 (ja) | 撮像装置、撮像方法、及び、プログラム | |
US20230306676A1 (en) | Image generation device and image generation method | |
JP2019144958A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022029730A (ja) | 3dモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム | |
JPH09288735A (ja) | 画像処理装置 | |
JP2024084183A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2009258862A (ja) | 映像表示装置及び映像表示方法 | |
CN108198131B (zh) | 一种基于多图像融合的空间目标抖动及运动模糊仿真方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20868476 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021548361 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 2020868476 Country of ref document: EP Effective date: 20220310 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |