WO2024058062A1 - 画像生成装置、画像生成方法およびプログラム - Google Patents

画像生成装置、画像生成方法およびプログラム Download PDF

Info

Publication number
WO2024058062A1
WO2024058062A1 PCT/JP2023/032777 JP2023032777W WO2024058062A1 WO 2024058062 A1 WO2024058062 A1 WO 2024058062A1 JP 2023032777 W JP2023032777 W JP 2023032777W WO 2024058062 A1 WO2024058062 A1 WO 2024058062A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image generation
data
generation unit
dimensional
Prior art date
Application number
PCT/JP2023/032777
Other languages
English (en)
French (fr)
Inventor
隆幸 菅原
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2024058062A1 publication Critical patent/WO2024058062A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an image generation device, an image generation method, and a program.
  • a stereo camera generates a three-dimensional image based on an image captured by one camera and an image captured by the other camera.
  • a pixel block that has a correlation with a pixel block in an image captured by one camera is identified in an image captured by the other camera, and photogrammetry technology is applied based on the parallax, which is the relative amount of shift between the two images.
  • Depth information is calculated using Examples of three-dimensional measurement techniques include those described in Patent Document 1 listed below.
  • a stereo camera generates a three-dimensional image from multiple different images with parallax.
  • new effective use of three-dimensional images generated from multiple images with parallax will be desired.
  • the present disclosure has been made in view of the above, and aims to effectively utilize image data acquired by a photographing device.
  • an image generation device includes a data acquisition unit that acquires a plurality of image data having parallax, and a data acquisition unit that acquires a plurality of specific image data based on the plurality of image data. a first image generation unit that generates a plurality of three-dimensional images for each region; and a second image generation unit that generates a spatial swimming image according to a specific movement trajectory using data of the plurality of three-dimensional images. Be prepared.
  • An image generation method includes the steps of: acquiring a plurality of image data having parallax; generating a plurality of three-dimensional images for each of a plurality of specific regions based on the plurality of image data; The method includes the step of generating a spatial swimming image according to a specific movement trajectory using the data of the three-dimensional image.
  • a program includes a step of acquiring a plurality of image data having parallax, a step of generating a plurality of three-dimensional images for each of a plurality of specific regions based on the plurality of image data, and a step of generating a plurality of three-dimensional images for each of a plurality of specific regions based on the plurality of image data.
  • a computer operating as an image generation device is caused to perform a step of generating a spatial swimming image according to a specific movement trajectory using data of the dimensional image.
  • FIG. 1 is a schematic configuration diagram showing a display system according to this embodiment.
  • FIG. 2 is a schematic diagram showing the camera device.
  • FIG. 3 is a schematic diagram for explaining the concept of a spatial swimming image.
  • FIG. 4 is a schematic diagram showing a method for generating a three-dimensional image.
  • FIG. 5 is a flowchart illustrating the image generation method.
  • FIG. 6 is a block diagram showing a specific configuration of the first image generation section.
  • FIG. 7 is an explanatory diagram showing the positional relationship between two images to which the photogrammetry principle is applied.
  • FIG. 8 is an explanatory diagram showing the positional relationship between two images.
  • FIG. 1 is a conceptual diagram showing a photographing system according to this embodiment.
  • the display system 10 acquires a plurality of surrounding image data from a plurality of cameras arranged at different positions.
  • the plurality of image data is a plurality of image data having parallax.
  • the display system 10 generates a three-dimensional image for each specific area based on a plurality of image data having parallax. In this case, by generating one three-dimensional image for a specific one of the surrounding areas, a plurality of three-dimensional images will be generated for a plurality of surrounding areas.
  • the display system 10 When the display system 10 receives an instruction from a user to display an image of a desired movement trajectory while floating in a specific space, the display system 10 generates a spatial swimming image according to the instructed movement trajectory using data of a plurality of three-dimensional images. and display it.
  • the display system 10 includes a camera device 11, an image generation device 12, a storage section 13, an operation section 14, a display control section 15, and a display section 16.
  • the camera device 11 includes a plurality of cameras 21, 22, 23, 24, 25, 26, etc. attached to the outer periphery of a regular polyhedron (Platonic solid).
  • the regular polyhedron include a regular tetrahedron, a regular hexahedron, a regular octahedron, a regular dodecahedron, and a regular icosahedron.
  • the regular polyhedron will be described as a regular dodecahedron.
  • the cameras 21, 22, 23, 24, 25, 26, . . . are attached to each face of a regular pentagon in the icosahedron. Details of the camera device 11 will be described later.
  • the camera device 11 (cameras 21, 22, 23, 24, 25, 26, . . . ) is connected to the image generation device 12.
  • the image generation device 12 receives a plurality of image data captured by the camera device 11 as input.
  • the image generation device 12 generates a three-dimensional image based on a plurality of input image data.
  • the image generation device 12 generates a spatial swimming image according to a specific movement trajectory based on the generated three-dimensional image. Details of the image generation device 12 will be described later.
  • the image generation device 12 is configured by, for example, an arithmetic circuit such as a CPU (Central Processing Unit).
  • the storage unit 13 is connected to the image generation device 12.
  • the storage unit 13 stores three-dimensional image data generated by the image generation device 12.
  • the image generation device 12 divides space into a plurality of regions and generates three-dimensional images for each of the plurality of regions. Therefore, the storage unit 13 stores data of a plurality of three-dimensional images generated by the image generation device 12.
  • the storage unit 13 is, for example, an external storage device such as an HDD (Hard Disk Drive), a memory, or the like.
  • the operation unit 14 is connected to the image generation device 12.
  • the operation unit 14 can be operated by a user.
  • the operation unit 14 can output a command signal to the image generation device 12.
  • the operation unit 14 can output a command signal for an image to be displayed on the display unit 16 to the image generation device 12.
  • the user uses the operation unit 14 to input movement locus data of movement in a predetermined space.
  • the image generation device 12 generates a spatial swimming image according to the movement trajectory data input from the operation unit 14.
  • the operation unit 14 can start and end the display on the display unit 16.
  • the operation unit 14 can switch the display content on the display unit 16.
  • the operation unit 14 includes a keyboard, a mouse, a touch panel, buttons, switches, and the like.
  • the display control unit 15 is connected to the image generation device 12.
  • the display control unit 15 performs display control of the spatial swimming image generated by the image generation device 12. That is, the display control unit 15 displays the spatial swimming image generated by the image generation device 12 on the display unit 16.
  • the display control unit 15 is configured by, for example, an arithmetic circuit such as a CPU (Central Processing Unit).
  • the display section 16 is connected to the display control section 15.
  • the display section 16 can be display-controlled by the display control section 15.
  • the display unit 16 displays the spatial swimming image input from the display control unit 15.
  • the display unit 16 is, for example, a display.
  • the display section 16 is not limited to this configuration, and may be, for example, a touch panel display in which the operation section 14 and the display section 16 are integrated.
  • the image generation device 12 includes a data acquisition section 31, a first image generation section 32, and a second image generation section 33.
  • the data acquisition unit 31 acquires a plurality of image data acquired by the plurality of cameras 21, 22, 23, 24, 25, 26, . . . that constitute the camera device 11.
  • the plurality of cameras 21, 22, 23, 24, 25, 26, . . . are capable of photographing the entire periphery of a specific space. Therefore, the data acquisition unit 31 acquires image data of the entire surroundings in a specific space by acquiring a plurality of image data from a plurality of cameras 21, 22, 23, 24, 25, 26... become.
  • the first image generation unit 32 generates a three-dimensional image (three-dimensional model) based on the plurality of image data acquired by the data acquisition unit 31.
  • the first image generation unit 32 generates a three-dimensional image (three-dimensional model) based on two image data (stereo images) having parallax taken by the cameras 21 and 22. In this case, a part of the field of view of the camera 21 and a part of the field of view of the camera 22 overlap.
  • the first image generation unit 32 generates a three-dimensional image (three-dimensional model ) is generated.
  • a three-dimensional image is one in which three-dimensional (three-dimensional) digital data having length, width, and height information is arranged according to a specific rule.
  • parallax refers to the difference in the direction in which a target point is seen due to the difference in the position of the observation point between two points, or the angular difference thereof.
  • the three-dimensional image generated by the first image generation unit 32 is a three-dimensional image in a specific area.
  • the cameras 21, 22 (23) have a set field of view.
  • the image data acquired by the first image generation unit 32 from the cameras 21, 22 (23) becomes image data in the photographic field of view of the cameras 21, 22 (23). Therefore, the three-dimensional image generated by the first image generation unit 32 is a three-dimensional image in the field of view of the cameras 21, 22 (23).
  • the first image generation unit 32 generates a plurality of images based on a plurality of image data taken by two or more cameras adjacent to each other among the plurality of cameras 21, 22, 23, 24, 25, 26... One three-dimensional image of a region within the field of view of the plurality of cameras is generated.
  • the first image generation unit 32 changes the combination of adjacent cameras for a specific space, and calculates the image within the field of view of the multiple cameras based on the multiple image data captured by the multiple cameras of different combinations. Generate one 3D image of the area.
  • the first image generation unit 32 generates one three-dimensional image based on a plurality of image data for one region (field of view of a plurality of cameras). As a result, the first image generation unit 32 generates a plurality of three-dimensional images for each of a plurality of specific regions based on a plurality of image data acquired from a plurality of cameras 21, 22, 23, 24, 25, 26... generate.
  • the second image generation unit 33 generates a spatial swimming image according to a specific movement trajectory using the data of the plurality of three-dimensional images generated by the first image generation unit 32.
  • the user inputs the specific movement trajectory to the second image generation section 33 using the operation section 14 .
  • the movement trajectory is composed of a plurality of consecutive point data consisting of spatial coordinates in a specific space and movement directions in the spatial coordinates.
  • the three-dimensional image generated by the first image generation unit 32 is generated based on a plurality of image data taken from the positions of the camera device 11 (cameras 21, 22, 23, 24, 25, 26...) It is.
  • the spatial coordinates of the point data may be any point within the field of view of the camera device 11.
  • the moving direction of the point data may be different from the photographing direction of the camera device 11.
  • the second image generation unit 33 performs perspective transformation on the three-dimensional image generated by the first image generation unit 32 to generate a two-dimensional image of the space according to the point data.
  • Perspective transformation is a transformation from a three-dimensional normal coordinate system to a two-dimensional perspective coordinate system. In this case, it is necessary to set the viewpoint of the two-dimensional image, and the second image generation unit 33 perspectively transforms the three-dimensional image of the space visible from the position of the camera device 11, and sets the viewpoint to the position specified by the user (point data ).
  • the second image generation unit 33 Since the movement trajectory is composed of a plurality of consecutive point data, the second image generation unit 33 generates a spatial swimming image by making two-dimensional images of the plurality of point data consecutive.
  • first image generation unit 32 and the second image generation unit 33 may be the same hardware, and do not need to exist individually as hardware. Further, as described above, the image generation device 12 is configured by an arithmetic circuit such as a CPU, and the first image generation unit 32 and the second image generation unit 33 are also configured by an arithmetic circuit such as a CPU. Good too.
  • the image generation device 12 may include an image interpolation section.
  • the image interpolation unit performs image data interpolation on the two-dimensional image according to the point data generated by the second image generation unit 33.
  • the image interpolation unit estimates and interpolates images of areas that the data acquisition unit 31 could not acquire when the second image generation unit 33 generates a two-dimensional spatial image.
  • interpolation means to compensate for an occlusion part.
  • Occlusion refers to an area in which depth information is lost, which occurs when an object in the foreground hides an object in the back and cannot be seen, and is related not only to the vertical and horizontal directions but also to the front and back directions.
  • the image interpolation unit adds missing images in the area of point data to eliminate occlusion.
  • the image interpolation unit adds the image of the missing area by, for example, extending the lines and colors of the image (texture) adjacent to the missing area. Furthermore, the image interpolation unit photographs the missing area by, for example, moving the camera device 11 or arranging a plurality of camera devices 11, and adds the image of the missing area from the captured image. do. Further, the image interpolation unit adds an image of the missing area by, for example, recognizing the overall shape and color of the space and predicting an image of the missing area. Further, the image interpolation unit adds images of missing areas by, for example, machine learning.
  • FIG. 2 is a schematic diagram showing the camera device.
  • the camera device 11 includes a regular dodecahedral support 41, cameras 21, 22, 23, 24, 25, 26, . . . , a support rod 42, and a support stand 43.
  • the support body 41 has 12 regular pentagonal surfaces 41a, 41b, 41c, 41d, 41e, 41f... Cameras 21, 22, 23, 24, 25, 26, . . . are attached to surfaces 41a, 41b, 41c, 41d, 41e, 41f, .
  • the cameras 21, 22, 23, 24, 25, 26, . . . have their center lines set outside in the normal direction of the surfaces 41a, 41b, 41c, 41d, 41e, 41f, . Further, it is preferable that the cameras 21, 22, 23, 24, 25, 26, .
  • a support stand 43 is connected to the lower part of the support body 41 via a support rod 42.
  • the camera device 11 is placed in a specific space by installing the support stand 43 on a predetermined floor surface.
  • FIG. 3 is a schematic diagram for explaining the concept of a spatial swimming image
  • FIG. 4 is a schematic diagram illustrating a method for generating a three-dimensional image.
  • the camera device 11 is placed in a specific space 51.
  • the specific space 51 may be, for example, a room in a building or a predetermined point outdoors.
  • a plurality of cameras 21, 22, 23, 24, 25, 26, . . . can photograph the entire circumference (360 degrees) of the space 51. At this time, the photographing fields of the adjacent cameras 21, 22, 23, 24, 25, 26, etc. partially overlap.
  • two adjacent cameras 21 and 22 acquire image data 21a and 22a each having a predetermined field of view.
  • the cameras 21 and 22 have a parallax (angular difference) ⁇ 1, and their photographic fields of view partially overlap. That is, the image data 21a and 22a are image data in which some of the image data overlap.
  • the image data 21a and 22a include at least image data of the photographing range (angle) ⁇ 1 with respect to the target object B. Therefore, the first image generation unit 32 can generate a three-dimensional image in the photographing range ⁇ 1 including the target object B based on the image data 21a and 22a having parallax photographed by the cameras 21 and 22. It is desirable that the first image generation unit 32 generates a three-dimensional image in the photographing range ⁇ 1 including the target object B using image data of all cameras capable of photographing the target object B.
  • the first image generation unit 32 generates images of targets A, C, D, E based on a plurality of image data having parallax taken by a plurality of cameras 21, 22, 23, 24, 25, 26... , F, and G are respectively generated. That is, the first image generation unit 32 generates a plurality of three-dimensional images corresponding to a plurality of regions including the target objects A, B, C, D, E, F, and G in the specific space 51. In this case, it is preferable that some of the three-dimensional images corresponding to the plurality of regions generated by the first image generation unit 32 overlap.
  • the user inputs a specific movement trajectory to the second image generation unit 33 using the operation unit 14.
  • the movement trajectory is, for example, point data consisting of spatial coordinates (X, Y, Z) of the targets A, B, C, D, E, F, G and a movement direction in the spatial coordinates (X, Y, Z).
  • a plurality of Aa, Ba, Ca, Da, Ea, Fa, and Ga are successively formed. That is, the movement trajectory is a trajectory in which point data Aa, Ba, Ca, Da, Ea, Fa, and Ga are continuous.
  • the second image generation unit 33 generates a spatial swimming image according to a movement trajectory in which point data Aa, Ba, Ca, Da, Ea, Fa, and Ga are continuous.
  • the spatial swimming image is an image in which two-dimensional images at point data Aa, Ba, Ca, Da, Ea, Fa, and Ga are continuous.
  • the movement trajectory is not limited to a trajectory in which the point data Aa, Ba, Ca, Da, Ea, Fa, and Ga are continuous, and can be appropriately set by the user using the operation unit 14.
  • the first image generation unit 32 generates a plurality of three-dimensional images corresponding to a plurality of regions including the target objects A, B, C, D, E, F, and G in the specific space 51.
  • the second image generation unit 33 generates a movement trajectory that is composed of spatial coordinates (X, Y, Z) and a movement direction specified by the user based on the plurality of three-dimensional images generated by the first image generation unit 32.
  • a spatial swimming image is generated according to the point data Aa, Ba, Ca, Da, Ea, Fa, and Ga.
  • the movement trajectory indicated by the user may be specified in advance, or the spatial swimming image may be automatically generated when the previously specified object is recognized.
  • the storage unit 13 stores in advance information linking the object and the movement trajectory.
  • the first image generation unit 32 acquires information linking the object and the movement trajectory from the storage unit 13.
  • the first image generation unit 32 includes a plurality of image data captured by the plurality of cameras 21, 22, 23, 24, 25, 26, etc., in which the object is captured in information that links the object and the movement trajectory. Determine whether or not the To determine whether a target object is included in the image, various known techniques such as image recognition using pattern matching may be used.
  • the first image generation unit 32 determines that the object is included in the image data, it sets the movement trajectory of information that associates the object and the movement trajectory as the movement trajectory instructed by the user.
  • the first image generation unit 32 may determine that the target object is depicted when the target object is depicted in a predetermined number of image data, or may determine that the target object is depicted in all of the plurality of image data. It may be determined that the target object is captured in the image.
  • the spatial coordinates (X, Y, Z) may be the midpoint or center of gravity of the object from which a plurality of images are derived.
  • the direction of movement is not limited to circular movement around the camera device 11, and may be set as appropriate. If there is an object or surrounding objects on the movement trajectory, the movement trajectory may be corrected to avoid the object or surrounding objects.
  • the movement trajectory instructed by the user may be changed as necessary.
  • the objects are people or objects (furniture, etc.).
  • the spatial swimming images are made different.
  • the movement trajectory be a circular movement oblique to the horizontal with the object as the center.
  • the movement trajectory be a horizontal circular movement centered on the object.
  • the storage unit 13 stores in advance information associating objects and movement trajectories, each of which has a different movement trajectory for each object.
  • the movement trajectory may be changed depending on the spatial coordinates of the object.
  • the angles are different depending on whether the object is at a high position or at a low position. Therefore, by changing the height of the movement trajectory according to the spatial coordinates of the object, it is possible to generate a spatial swimming image that does not give an unnatural feeling.
  • the storage unit 13 stores the spatial coordinate threshold in advance.
  • the first image generation unit 32 acquires the spatial coordinate threshold from the storage unit 13. If the first image generation unit 32 determines that the image data includes a target object, the first image generation unit 32 generates a movement of information linking spatial coordinates (X, Y, Z) based on the target object and a movement trajectory of the target object.
  • the first image generation unit 32 It is determined whether the point data Aa, Ba, Ca, Da, Ea, Fa, Ga, etc. consisting of the moving direction of the trajectory is within the threshold value of the spatial coordinates. If it is determined that the spatial coordinates are not within the threshold, the first image generation unit 32 generates a movement trajectory that is changed to fall within the spatial coordinate threshold, and uses this as the movement trajectory instructed by the user.
  • FIG. 5 is a flowchart illustrating the image generation method.
  • the first image generation unit 32 generates a three-dimensional image based on the plurality of image data acquired by the data acquisition unit 31.
  • the three-dimensional image generated by the first image generation unit 52 includes, for example, a plurality of three-dimensional images corresponding to a plurality of regions including target objects A, B, C, D, E, F, and G, respectively, for a specific space 51. It is a three-dimensional image.
  • step S13 the plurality of three-dimensional images generated by the first image generation section 32 are stored in the storage section 13.
  • the plurality of three-dimensional images stored in the storage unit 13 are, for example, a plurality of three-dimensional images corresponding to a plurality of regions including target objects A, B, C, D, E, F, and G, respectively, for a specific space 51. It is a dimensional image.
  • step S14 the second image generation unit 33 determines whether a specific movement trajectory has been input from the operation unit 14. Here, if the second image generation section 33 determines that the specific movement trajectory has not been input from the operation section 14 (No), it remains on standby.
  • step S15 the second image generation unit 33 analyzes the movement trajectory (point data Aa, Ba, Ca, Da, Ea, Fa, Ga) for the plurality of three-dimensional images generated by the first image generation unit 32.
  • a plurality of two-dimensional images are generated according to the point data Aa, Ba, Ca, Da, Ea, Fa, and Ga by performing perspective transformation (viewpoint transformation) according to the point data. Note that if the first image generation unit generates or corrects the movement trajectory, it may be determined that a specific movement trajectory has been input from the operation unit 14.
  • step S16 the second image generation unit 33 generates a spatial swimming image by consecutively combining a plurality of two-dimensional images according to the point data Aa, Ba, Ca, Da, Ea, Fa, and Ga. Then, in step S17, the second image generation section 33 outputs the generated spatial swimming image to the display control section 15, and then the display control section 15 displays the spatial swimming image on the display section 16.
  • step S14 if it is determined in step S14 that a different movement trajectory has been input, a plurality of two-dimensional images are generated according to the newly input movement trajectory, and the plurality of two-dimensional images are consecutively generated. Display the spatial swimming image.
  • FIG. 6 is a block diagram showing the specific configuration of the first image generation unit
  • FIG. 7 is an explanatory diagram showing the positional relationship between two images to which the photogrammetry principle is applied
  • FIG. 8 is a block diagram showing the position of the two images. It is an explanatory diagram showing a relationship.
  • the first image generation unit 32 includes an epipolar line direction calculator 61, an epipolar line orthogonal direction calculator 62, a search range determiner 63, a corresponding point detector 64, and a distance calculator 65. and has.
  • the epipolar line direction calculator 61 calculates the distance between the corresponding pixel points of the plurality of image data for the area including the target object A based on the plurality of (for example, two) pieces of image data acquired by the data acquisition unit 31. Calculate the direction of the connecting epipolar line.
  • the epipolar line direction calculator 61 sends the calculated direction of the epipolar line to the epipolar line orthogonal direction calculator 62 .
  • the epipolar line orthogonal direction calculator 62 calculates the orthogonal direction orthogonal to the epipolar line.
  • the orthogonal direction to the epipolar line calculated by the epipolar line orthogonal direction calculator 62 is output to the search range determiner 63.
  • the search range determiner 63 determines a two-dimensional search range on the screen so as to include a plurality of pixel points corresponding to the direction of the epipolar line and the orthogonal direction of the epipolar line.
  • the search range determiner 63 outputs the determined two-dimensional search range to the corresponding point detector 64.
  • the corresponding point detector 64 searches for corresponding points and obtains a parallax vector based on the plurality of image data acquired by the data acquisition unit 31 and within the determined two-dimensional search range.
  • the corresponding point detector 64 sends the obtained parallax vector to the distance calculator 65.
  • the distance calculator 65 performs mapping of the parallax vector onto an epipolar line to obtain an epipolar line direction component of the disparity vector, and calculates the distance to the target object T based on the obtained epipolar line direction component.
  • the distance calculator 65 sends the calculated distance to the target object T to the second image generation unit 53.
  • the data acquisition unit 31 acquires a set of two image data obtained by photographing an area including the target object A from the cameras 21 and 22. By triangulating this set of image data, a three-dimensional point cloud is found, and by collecting these points, the relative positions and images of the point cloud are expanded. In addition, the texture of the portion corresponding to this image data is managed in memory in association with each other for later mapping.
  • the corresponding point detector 64 searches for corresponding points of the feature points based on the two sets of image data.
  • the corresponding point detector 64 for example, performs correspondence for each pixel and searches for a position where the difference is minimized.
  • a parallax vector corresponding to the angular difference for each pixel is calculated.
  • the distance calculator 65 calculates the distance in proportion to the magnitude of the parallax using the perspective method. Assuming that the cameras 21 and 22 move only approximately horizontally, by arranging the cameras 21 and 22 so that their optical axes Ol and Or are included on the same XZ coordinate plane, corresponding points can be It is only necessary to search for the epipolar lines Epl and Epr on the scanning lines.
  • the distance calculator 65 generates a three-dimensional image of the object T using the two image data of the object T and the respective distances from the cameras 21 and 22 to the object T.
  • the parallax vector at point Ql (Xl, Yl) is Vp(Xl-Xr, Yl- Yr).
  • the two points Ql and Qr are on the same scanning line (epipolar line)
  • Yl Yr
  • the parallax vector is expressed as Vp (Xl-Xr, 0).
  • the epipolar line direction calculator 61 obtains such parallax vectors Vp for all pixel points on the image and creates a group of parallax vectors to obtain information in the depth direction of the image.
  • the search width in the epipolar line direction is ⁇ E
  • the search width in the direction F perpendicular to the epipolar line is ⁇ F.
  • the minimum rectangle ABCD that is not tilted and includes the minimum tilted rectangle ABCD becomes the area to be sought.
  • the first image generation unit 32 calculates a parallax vector from corresponding points of the feature points of the plurality of cameras 21 and 22 under an epipolar constraint condition, obtains information on the depth direction of each point, and A three-dimensional image is generated by mapping the texture on the surface of a dimensional shape.
  • the model of the part in the image data used for calculation can reproduce the spatial image seen from the front side hemisphere, that is, the three-dimensional image seen from the camera device 11.
  • the first image generation section 32 sends the generated three-dimensional image to the second image generation section 33.
  • the second image generation unit 33 generates a three-dimensional image using a transparent transformation according to the point data of the input movement trajectory, and generates a two-dimensional image according to the point data using the same method as the first image generation unit 32. can be converted and reconfigured.
  • the second image generation unit 33 can generate a spatial swimming image according to the movement trajectory by consecutively generating a plurality of generated two-dimensional images.
  • the camera device 11 is arranged at the center of the specific space 51 is classified, but the arrangement is not limited to this.
  • the camera device 11 may be placed around an object located in a specific space. In this case, it is preferable to arrange a plurality of camera devices 11 around the object.
  • the image generation device of this embodiment includes a data acquisition unit 31 that acquires a plurality of image data having parallax, and a first image that generates a plurality of three-dimensional images for each of a plurality of specific regions based on the plurality of image data. It includes a generation unit 32 and a second image generation unit 33 that generates a spatial swimming image according to a specific movement trajectory using data of a plurality of three-dimensional images.
  • multiple 3D images are generated for each specific region based on multiple image data with parallax, and a spatial swimming image according to a specific movement trajectory is generated using the data of the multiple 3D images. do. Therefore, images of the space viewed from a place where the user is not present can be continuously viewed, and image data acquired by the camera device (photographing device) 11 can be effectively used.
  • the movement locus is composed of a plurality of consecutive point data each consisting of a movement direction in a specific spatial coordinate
  • the second image generation unit 33 generates a two-dimensional image at the plurality of point data.
  • a spatial swimming image is generated by making them consecutive. Therefore, the user can easily view a swimming image of the space seen from a location where the user is not present.
  • the first image generation unit 32 determines whether or not a pre-specified target object is included in the plurality of image data, and if the target object is included, the first image generation unit 32 links the plurality of image data with the target object.
  • Each component of the illustrated image generation device is functionally conceptual, and does not necessarily have to be physically configured as illustrated.
  • the specific form of each device is not limited to what is shown in the diagram, and all or part of it may be functionally or physically distributed or integrated into arbitrary units depending on the processing load and usage status of each device. You can.
  • the configuration of the image generation device is realized by, for example, a program loaded into a memory as software.
  • the above embodiments have been described as functional blocks realized by cooperation of these hardware or software. That is, these functional blocks can be implemented in various forms using only hardware, only software, or a combination thereof.
  • the image generation device, image generation method, and program of the present disclosure can be applied to, for example, a photographing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

視差を有する複数の画像データを取得するデータ取得部（３１）と、複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する第１画像生成部（３２）と、複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する第２画像生成部（３３）と、を備える。

Description

画像生成装置、画像生成方法およびプログラム
　本開示は、画像生成装置、画像生成方法およびプログラムに関する。
　近年、ステレオカメラを用いた三次元計測が注目されている。ステレオカメラは、一方のカメラで撮像された画像と他方のカメラで撮像された画像に基づいて３次元画像を生成する。すなわち、一方のカメラで撮像された画像の画素ブロックと相関を有する画素ブロックを、他方のカメで撮像された画像において特定し、２つの画像における相対的なずれ量である視差からフォトグラメトリー技術を用いて奥行き情報を算出する。三次元計測技術としては、例えば、下記特許文献１に記載されたものがある。
特開２００１－２８５６９２号公報
　ステレオカメラは、視差を有する複数の異なる画像から３次元画像を生成するものである。今後、視差を有する複数の画像から生成され３次元画像の新たな有効利用が望まれている。
　本開示は、上記に鑑みてなされたものであって、撮影装置により取得した画像データの有効利用を図ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る画像生成装置は、視差を有する複数の画像データを取得するデータ取得部と、前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する第１画像生成部と、前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する第２画像生成部と、を備える。
　本開示に係る画像生成方法は、視差を有する複数の画像データを取得する工程と、前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する工程と、前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する工程と、を含む。
　本開示に係るプログラムは、視差を有する複数の画像データを取得する工程と、前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する工程と、前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する工程と、を画像生成装置として動作するコンピュータに実行させる。
　本開示によれば、撮影装置により取得した画像データの有効利用を図ることができるという効果を奏する。
図１は、本実施形態に係る表示システムを表す概略構成図である。 図２は、カメラ装置を表す概略図である。 図３は、空間遊泳画像の概念を説明するための概略図である。 図４は、３次元画像の生成方法を表す概略図である。 図５は、画像生成方法を表すフローチャートである。 図６は、第１画像生成部の具体的な構成を表すブロック図である。 図７は、フォトグラメトリー原理を適用する２つの画像の位置関係を表す説明図である。 図８は、２つの画像の位置関係を表す説明図である。
　以下に添付図面を参照して、本開示に係る画像生成装置、画像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
＜表示システムの構成＞
　図１は、本実施形態に係る撮影システムを表す概念図である。
　図１に示すように、表示システム１０は、異なる位置に配置される複数のカメラから周囲の複数の画像データを取得する。複数の画像データは、視差を有する複数の画像データである。表示システム１０は、視差を有する複数の画像データに基づいて特定の領域ごとの３次元画像を生成する。この場合、周囲の領域のうちの特定の１つの領域に対して１つの３次元画像を生成することで、周囲の複数の領域に対して複数の３次元画像を生成することとなる。
　表示システム１０は、ユーザから特定の空間を浮遊する所望の移動軌跡の画像表示の指示があったとき、複数の３次元画像のデータを用いて指示された移動軌跡に応じた空間遊泳画像を生成して表示する。
　表示システム１０は、カメラ装置１１と、画像生成装置１２と、記憶部１３と、操作部１４と、表示制御部１５と、表示部１６とを備える。
　カメラ装置１１は、正多面体（プラトン立体）の外周部に複数のカメラ２１，２２，２３，２４，２５，２６・・・が装着されて構成される。正多面体は、例えば、正四面体、正六面体、正八面体、正十二面体、正二十面体などである。本実施形態では、正多面体を正十二面体として説明する。カメラ２１，２２，２３，２４，２５，２６・・・は、正二十面体における正五角形の各面に装着される。カメラ装置１１の詳細については、後述する。
　画像生成装置１２は、カメラ装置１１（カメラ２１，２２，２３，２４，２５，２６・・・）が接続される。画像生成装置１２は、カメラ装置１１が撮影した複数の画像データが入力される。画像生成装置１２は、入力した複数の画像データに基づいて３次元画像を生成する。画像生成装置１２は、生成した３次元画像に基づいて、特定の移動軌跡に応じた空間遊泳画像を生成する。画像生成装置１２の詳細については、後述する。なお、画像生成装置１２、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算回路によって構成される。
　記憶部１３は、画像生成装置１２に接続される。記憶部１３は、画像生成装置１２が生成した３次元画像のデータを記憶する。後述するが、画像生成装置１２は、空間を複数の領域に分割し、複数の領域ごとの３次元画像を生成する。そのため、記憶部１３は、画像生成装置１２が生成した複数の３次元画像のデータを記憶する。記憶部１３は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの外部記憶装置やメモリなどである。
　操作部１４は、画像生成装置１２に接続される。操作部１４は、ユーザが操作可能である。操作部１４は、画像生成装置１２に対して指令信号を出力可能である。操作部１４は、画像生成装置１２に対して、表示部１６に表示させる画像の指令信号を出力可能である。具体的に、ユーザは、操作部１４を用いて、所定の空間を移動する移動軌跡データを入力する。すると、画像生成装置１２は、操作部１４から入力された移動軌跡データに応じた空間遊泳画像を生成する。
　また、操作部１４は、表示部１６の表示の開始および終了を行うことができる。操作部１４は、表示部１６の表示内容を切り替えることができる。なお、操作部１４は、キーボード、マウス、タッチパネル、ボタン、スイッチなどである。
　表示制御部１５は、画像生成装置１２に接続される。表示制御部１５は、画像生成装置１２が生成した空間遊泳画像の表示制御を行う。すなわち、表示制御部１５は、画像生成装置１２が生成した空間遊泳画像を表示部１６に表示する。なお、表示制御部１５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算回路によって構成される。
　表示部１６は、表示制御部１５に接続される。表示部１６は、表示制御部１５により表示制御可能である。表示部１６は、表示制御部１５から入力される空間遊泳画像を表示する。表示部１６は、例えば、例えば、ディスプレイである。但し、表示部１６は、は、この構成に限定されるものではなく、例えば、操作部１４と表示部１６などが一体に構成されたタッチパネル式のディスプレイであってもよい。
＜画像生成装置＞
　画像生成装置１２は、データ取得部３１と、第１画像生成部３２と、第２画像生成部３３とを有する。
　データ取得部３１は、カメラ装置１１を構成する複数のカメラ２１，２２，２３，２４，２５，２６・・・が取得した複数の画像データを取得する。複数のカメラ２１，２２，２３，２４，２５，２６・・・は、特定の空間における全周囲を撮影可能である。そのため、データ取得部３１は、複数のカメラ２１，２２，２３，２４，２５，２６・・・から複数の画像データを取得することで、特定の空間における全周囲の画像データを取得することとなる。
　第１画像生成部３２は、データ取得部３１が取得した複数の画像データに基づいて３次元画像（３次元モデル）を生成する。カメラ装置１１は、複数のカメラ２１，２２，２３，２４，２５，２６・・・のうち、隣接する２つのカメラは、位置が相違することで視差を有し、撮影視野の一部が重複する。例えば、隣接する２つのカメラ２１，２２は、カメラ装置１１に配置される位置が相違することから、視差を有する。第１画像生成部３２は、カメラ２１，２２が撮影した視差を有する２つの画像データ（ステレオ画像）に基づいて３次元画像（３次元モデル）を生成する。この場合、カメラ２１の撮影視野の一部とカメラ２２の撮影視野の一部が重なっている。また、第１画像生成部３２は、カメラ２１，２２に加えてカメラ２１，２２に隣接するカメラ２３が撮影した視差を有する３つの画像データ（ステレオ画像）に基づいて３次元画像（３次元モデル）を生成する。
　ここで、３次元画像とは、縦横高さの情報を持つ立体（３次元）のデジタルデータが特定のルールで配列されているものである。また、視差とは、二地点での観測地点の位置の違いにより対象点の見える方向が異なること、または、その角度差のことである。
　第１画像生成部３２が生成した３次元画像は、特定の領域における３次元画像である。つまり、カメラ２１，２２（２３）は、撮影視野が設定されている。すると、第１画像生成部３２がカメラ２１，２２（２３）から取得した画像データは、カメラ２１，２２（２３）の撮影視野における画像データとなる。そのため、第１画像生成部３２が生成した３次元画像は、カメラ２１，２２（２３）の撮影視野の領域における３次元画像である。
　第１画像生成部３２は、複数のカメラ２１，２２，２３，２４，２５，２６・・・のうち、互いに隣接する２つまたは３つ以上のカメラが撮影した複数の画像データに基づいて、複数のカメラの撮影視野内の領域の１つの３次元画像を生成する。第１画像生成部３２は、特定の空間に対して、隣接する複数のカメラの組合せを変更し、異なる組合せの複数のカメラが撮影した複数の画像データに基づいて、複数のカメラの撮影視野内の領域の１つの３次元画像を生成する。
　第１画像生成部３２は、１つの領域（複数のカメラの視野）に対する複数の画像データに基づいて１つの３次元画像を生成する。その結果、第１画像生成部３２は、複数のカメラ２１，２２，２３，２４，２５，２６・・・から取得した複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する。
　第２画像生成部３３は、第１画像生成部３２が生成した複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する。特定の移動軌跡は、ユーザが操作部１４を用いて第２画像生成部３３に入力される。ここで、移動軌跡とは、特定の空間における空間座標と、空間座標における移動方向とからなる地点データが複数連続して構成されたものである。
　第１画像生成部３２が生成した３次元画像は、カメラ装置１１（カメラ２１，２２，２３，２４，２５，２６・・・）の位置から撮影した複数の画像データに基づいて生成されたものである。一方、地点データの空間座標は、カメラ装置１１の撮影視野内であれば、どの地点であってもよい。また、地点データの移動方向は、カメラ装置１１の撮影方向とは異なる方向であってもよい。第２画像生成部３３は、第１画像生成部３２が生成した３次元画像に対して、透視変換することで、地点データに応じた空間の２次元画像を生成する。透視変換とは、３次元正規座標系から２次元透視座標系への変換である。この場合、２次元画像の視点を設定する必要があり、第２画像生成部３３は、カメラ装置１１の位置から見える空間の３次元画像を透視変換し、視点をユーザが指示した位置（地点データ）とする。
　移動軌跡は、複数の地点データが連続して構成されたものであることから、第２画像生成部３３は、複数の地点データにおける２次元画像を連続させることで、空間遊泳画像を生成する。
　なお、第１画像生成部３２と第２画像生成部３３とは、ハードウェアとして同一でもよいものであり、それぞれハードウェアとして個別に存在していなくてもよい。また、画像生成装置１２は、前述したように、ＣＰＵなどの演算回路によって構成されるものであり、第１画像生成部３２および第２画像生成部３３も、ＣＰＵなどの演算回路によって構成されてもよい。
　なお、画像生成装置１２は、画像補間部を有していてもよい。画像補間部は、第２画像生成部３３が生成した地点データに応じた２次元画像に対して、画像データの補間を行う。画像補間部は、第２画像生成部３３が空間の２次元画像を生成するときにデータ取得部３１が取得することができなかった領域の画像を推定して補間する。ここで、補間とは、オクルージョン部分を補うことである。オクルージョンとは、上下方向や左右方向の他に前後方向に関係があり、手前にある物体が背後にある物体を隠して見えない状態により発生する奥行き情報の欠損した領域のことである。
　すなわち、カメラ装置１１の位置と地点データの位置とが相違することから、カメラ装置１１から見える領域と、地点データの領域とが相違する。そのため、第２画像生成部３３が２次元画像を生成するとき、地点データでの領域の画像が不足し、オクルージョンが発生することがある。そのため、画像補間部は、地点データでの領域における不足している画像を追加し、オクルージョンをなくす。
　画像補間部は、例えば、不足している領域に隣接する画像（テクスチャ）の線や色などを延長することで、不足している領域の画像を追加する。また、画像補間部は、例えば、カメラ装置１１を移動させたり、カメラ装置１１を複数配置したりすることで、不足している領域を撮影し、撮影画像から不足している領域の画像を追加する。また、画像補間部は、例えば、空間の全体の形状や色などを認識し、不足している領域の画像を予測することで、不足している領域の画像を追加する。また、画像補間部は、例えば、機械学習により不足している領域の画像を追加する。
＜カメラ装置＞
　図２は、カメラ装置を表す概略図である。
　カメラ装置１１は、正十二面体の支持体４１と、カメラ２１，２２，２３，２４，２５，２６・・・と、支持ロッド４２と、支持台４３とを有する。
　支持体４１は、正五角形をなす１２個の面４１ａ，４１ｂ，４１ｃ，４１ｄ，４１ｅ，４１ｆ・・・を有する。支持体４１は、面４１ａ，４１ｂ，４１ｃ，４１ｄ，４１ｅ，４１ｆ・・・にカメラ２１，２２，２３，２４，２５，２６・・・が装着される。カメラ２１，２２，２３，２４，２５，２６・・・は、面４１ａ，４１ｂ，４１ｃ，４１ｄ，４１ｅ，４１ｆ・・・の法線方向の外方に撮影視野の中心線が設定される。また、カメラ２１，２２，２３，２４，２５，２６・・・は、周囲に１８０度、つまり、法線に対して９０度の撮影視野を有することが好ましい。
　支持体４１は、下部に支持ロッド４２を介して支持台４３が連結される。カメラ装置１１は、支持台４３が所定の床面に設置されることで、特定の空間に配置される。
＜空間遊泳画像＞
　図３は、空間遊泳画像の概念を説明するための概略図、図４は、３次元画像の生成方法を表す概略図である。
　図３および図４に示すように、特定の空間５１に対してカメラ装置１１が配置される。特定の空間５１は、例えば、建物の部屋であってもよいし、屋外における所定の地点などであってもよい。カメラ装置１１は、複数のカメラ２１，２２，２３，２４，２５，２６・・・が空間５１の全周囲（３６０度）を撮影可能である。このとき、隣接するカメラ２１，２２，２３，２４，２５，２６・・・は、撮影視野の一部が重なる。
　例えば、隣接する２つのカメラ２１，２２は、それぞれ所定の撮影視野を有する画像データ２１ａ，２２ａを取得する。カメラ２１，２２は、視差（角度差）α１を有し、互いの撮影視野が一部重なる。すなわち、画像データ２１ａ，２２ａは、一部の画像データが重複する画像データである。また、例えば、カメラ２１，２２の撮影視野内に目標物Ｂがあるとき、画像データ２１ａ，２２ａは、少なくとも、目標物Ｂに対する撮影範囲（角度）β１の画像データを含む。そのため、第１画像生成部３２は、カメラ２１，２２が撮影した視差を有する画像データ２１ａ，２２ａに基づいて目標物Ｂを含む撮影範囲β１における３次元画像を生成することができる。第１画像生成部３２は、目標物Ｂを撮影可能な全てのカメラの画像データを用いて目標物Ｂを含む撮影範囲β１における３次元画像を生成することが望ましい。
　同様に、第１画像生成部３２は、複数のカメラ２１，２２，２３，２４，２５，２６・・・が撮影した視差を有する複数の画像データに基づいて目標物Ａ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇを含む撮影範囲における複数の３次元画像をそれぞれ生成する。すなわち、第１画像生成部３２は、特定の空間５１に対して、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇを含む複数の領域に対応する複数の３次元画像を生成する。この場合、第１画像生成部３２が生成した複数の領域に対応する複数の３次元画像は、一部の画像が重複することが好ましい。
　ユーザは、操作部１４を用いて特定の移動軌跡を第２画像生成部３３に入力する。移動軌跡は、例えば、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇにおける空間座標（Ｘ，Ｙ，Ｚ）と、空間座標（Ｘ，Ｙ，Ｚ）における移動方向とからなる地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａが複数連続して構成される。すなわち、移動軌跡は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａが連続する軌道である。第２画像生成部３３は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａが連続する移動軌跡に応じた空間遊泳画像を生成する。空間遊泳画像は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａでの２次元画像が連続する画像である。なお、移動軌跡は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａが連続する軌道に限るものではなく、ユーザが操作部１４を用いて適宜設定することができる。
　なお、上述の説明では、特定の空間５１を一方側から見た場合について説明したが、空間５１は、３次元空間である。
　すなわち、第１画像生成部３２は、特定の空間５１にて、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇを含む複数の領域に対応する複数の３次元画像を生成する。第２画像生成部３３は、第１画像生成部３２が生成した複数の３次元画像に基づいて、ユーザから指示された移動軌跡としての空間座標（Ｘ，Ｙ，Ｚ）と移動方向とからなる地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａに応じた空間遊泳画像を生成する。
　この場合、ユーザが指示する移動軌跡は、事前に特定しておいてもよいし、事前に特定した対象物を認識したら自動的に空間遊泳画像を生成するようにしてもよい。そして、記憶部１３は、予め、対象物と移動軌跡とを紐づけた情報を記憶する。次に、第１画像生成部３２は、記憶部１３から対象物と移動軌跡とを紐づけた情報を取得する。第１画像生成部３２は、複数のカメラ２１，２２，２３，２４，２５，２６・・・が撮影した複数の画像データに、対象物と移動軌跡とを紐づけた情報の対象物が写っているか否かを判定する。対象物が写っているか否かを判定には、パターンマッチングによる画像認識等の種々の公知技術を利用すればよい。第１画像生成部３２は、画像データに対象物が写っていると判定した場合、対象物と移動軌跡とを紐づけた情報の移動軌跡を、ユーザから指示された移動軌跡とする。なお、第１画像生成部３２は、所定数の画像データに対象物が写っている場合に、対象物が写っていると判定としてもよく、複数の画像データ全てに対象物が写っている場合に、対象物が写っていると判定としてもよい。また、空間座標（Ｘ，Ｙ，Ｚ）は、複数の映像が導き出される対象物の中点や重心位置であってもよい。移動方向は、カメラ装置１１を中心とした円運動に限るものではなく、適宜設定すればよいものである。移動軌跡上に対象物や周辺物があった場合、対象物や周辺物などを回避するような移動軌跡に補正してもよい。
　また、ユーザが指示した移動軌跡を必要に応じて適宜変更してもよい。対象物（目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ）は、人または物体（家具など）である。この場合、対象物ごとに見たい位置が異なることから、空間遊泳画像を異ならせる。例えば、画像認識により対象物が物体であると判定した場合、例えば、移動軌跡は、物体を中心とした水平に対して斜めの円運動とすることが好ましい。また、画像認識により対象物が人であると判定した場合、例えば、移動軌跡は、物体を中心とした水平な円運動とすることが好ましい。具体的には、記憶部１３は、予め、対象物ごとに移動軌跡が異なる、対象物と移動軌跡とを紐づけた情報を記憶する。
　また、対象物の空間座標に応じて移動軌跡を変更してもよい。この場合、対象物が高い位置にあるものと低い位置にあるものとでアングルが異なる。そのため、対象物の空間座標に応じて、移動軌跡の高さを変更することで、違和感のない空間遊泳画像を生成することができる。この場合、記憶部１３は、予め、空間座標の閾値を記憶する。第１画像生成部３２は、記憶部１３から空間座標の閾値を取得する。第１画像生成部３２は、画像データに対象物が写っていると判定した場合、対象物に基づく空間座標（Ｘ，Ｙ，Ｚ）と、対象物と移動軌跡とを紐づけた情報の移動軌跡の移動方向とからなる地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａなどが、空間座標の閾値内であるか否かを判定する。第１画像生成部３２は、空間座標の閾値内ではないと判定した場合に、空間座標の閾値内へと変更した移動軌跡を生成し、ユーザから指示された移動軌跡とする。
＜画像生成方法＞
　図５は、画像生成方法を表すフローチャートである。
　図１および図３、図５に示すように、ステップＳ１１にて、データ取得部３１は、カメラ装置１１における複数のカメラ２１，２２，２３，２４，２５，２６・・・が取得した複数の画像データを取得する。ステップＳ１２にて、第１画像生成部３２は、データ取得部３１が取得した複数の画像データに基づいて３次元画像を生成する。第１画像生成部５２が生成した３次元画像は、例えば、特定の空間５１に対して、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇをそれぞれ含む複数の領域に対応する複数の３次元画像である。
　ステップＳ１３にて、第１画像生成部３２が生成した複数の３次元画像を記憶部１３に記憶する。記憶部１３に記憶する複数の３次元画像は、例えば、特定の空間５１に対して、目標物Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇをそれぞれ含む複数の領域に対応する複数の３次元画像である。ステップＳ１４にて、第２画像生成部３３は、操作部１４から特定の移動軌跡が入力したか否かを判定する。ここで、第２画像生成部３３は、操作部１４から特定の移動軌跡が入力していないと判定（Ｎｏ）すると、このまま待機する。
　一方、第２画像生成部３３は、操作部１４から特定の移動軌跡が入力したと判定（Ｙｅｓ）すると、ステップＳ１５に移行する。ステップＳ１５にて、第２画像生成部３３は、第１画像生成部３２が生成した複数の３次元画像に対して、移動軌跡（地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａ）に応じた透視変換（視点変換）をすることで、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａに応じた複数の２次元画像を生成する。なお、第１画像生成部が、移動軌跡を生成又は補正した場合は、操作部１４から特定の移動軌跡が入力したと判定してもよい。
　ステップＳ１６にて、第２画像生成部３３は、地点データＡａ，Ｂａ，Ｃａ，Ｄａ，Ｅａ，Ｆａ，Ｇａに応じた複数の２次元画像を連続させることで、空間遊泳画像を生成する。そして、ステップＳ１７にて、第２画像生成部３３は、生成した空間遊泳画像を表示制御部１５に出力すると、表示制御部１５は、表示部１６に空間遊泳画像を表示する。
　なお、ステップＳ１４にて、異なる移動軌跡の入力があったと判定されると、新たに入力された移動軌跡に応じた複数の２次元画像を生成し、複数の２次元画像を連続させることで生成した空間遊泳画像を表示する。
＜空間遊泳画像の生成方向の具体例＞
　図６は、第１画像生成部の具体的な構成を表すブロック図、図７は、フォトグラメトリー原理を適用する２つの画像の位置関係を表す説明図、図８は、２つの画像の位置関係を表す説明図である。
　図６に示すように、第１画像生成部３２は、エピポーラ線方向計算器６１と、エピポーラ線直交方向計算器６２と、探索範囲決定器６３と、対応点検出器６４と、距離計算器６５とを有する。
　エピポーラ線方向計算器６１は、データ取得部３１が取得した複数（例えば、２つ）の画像データに基づいて、目標物Ａを含む領域に対する複数の画像データの相対応する複数の画素点間を結ぶエピポーラ線の方向を計算する。エピポーラ線方向計算器６１は、算出したエピポーラ線の方向をエピポーラ線直交方向計算器６２に送出する。
　エピポーラ線直交方向計算器６２は、エピポーラ線に対して直交する直交方向を計算する。エピポーラ線直交方向計算器６２が算出したエピポーラ線に対する直交方向を探索範囲決定器６３に出力する。
　探索範囲決定器６３は、エピポーラ線の方向とエピポーラ線の直交方向に相対応する複数の画素点を含むように画面上の２次元探索範囲を決定する。探索範囲決定器６３は、決定した２次元探索範囲を対応点検出器６４に出力する。
　対応点検出器６４は、データ取得部３１が取得した複数の画像データと、決定された２次元探索範囲内に基づいて、対応点探索を行って視差ベクトルを求める。対応点検出器６４は、求めた視差ベクトルを距離計算器６５に送出する。
　距離計算器６５は、視差ベクトルに対して、エピポーラ線への写像を行って視差ベクトルのエピポーラ線方向成分を求め、求められたエピポーラ線方向成分に基づいて対象物Ｔまでの距離を計算する。距離計算器６５は、算出した対象物Ｔまでの距離を第２画像生成部５３に送出する。
　以下、第１画像生成部３２による３次元画像（３次元モデル）の生成方法において具体的に説明する。ここでは、２つの画像データから３次元画像を生成する場合について説明する。
　データ取得部３１は、カメラ２１，２２から目標物Ａを含む領域を撮影した２つの画像データを１組として取得する。この１組となる画像データを三角測量することで３次元点群が求まり、これらを集めていくことで相対的な位置と点群の画像を広げていく。また、この画像データに対応する部分のテクスチャをあとでマッピングするために対応付けてメモリに管理する。
　まず、目標物Ａに対してカメラ２１およびカメラ２２によって２組セット画像データを得る。次に、対応点検出器６４は、２組セットの画像データに基づいて特徴点の対応点探索を行う。対応点検出器６４は、例えば、画素毎の対応付けを行い、差が最小になる位置を探す。ここで、図６および図７に示すように、２視点に同時に存在しているとする第２カメラ２６，２７は、光軸Ｏｌ，Ｏｒが同一のＸ－Ｚ座標平面上に含まれるように、Ｙｌ＝Ｙｒの関係に配置されているものとする。対応点検出器６４により探索された対応点を用いて画素毎の角度の差に相当する視差ベクトルを計算する。
　距離計算器６５は、得られた視差ベクトルが奥行き方向のカメラ２１，２２からの距離に相当するので、遠近法により視差の大きさに比例させて距離計算を行う。カメラ２１，２２がほぼ水平にしか移動しないと仮定すれば、カメラ２１，２２をその光軸Ｏｌ，Ｏｒが同一のＸ－Ｚ座標平面上に含まれるように配置しておくことにより、対応点の探索はエピポーラ線Ｅｐｌ，Ｅｐｒである走査線上のみで行えばよいことになる。距離計算器６５は、対象物Ｔの２つの画像データと、カメラ２１，２２から対象物Ｔまでのそれぞれの距離を用いて対象物Ｔの３次元画像を生成する。
　一方、左画像上の点Ｑｌ（Ｘｌ，Ｙｌ）と右画像上の点Ｑｒ（Ｘｒ，Ｙｒ）とが対応する場合、点Ｑｌ（Ｘｌ，Ｙｌ）における視差ベクトルはＶｐ（Ｘｌ－Ｘｒ，Ｙｌ－Ｙｒ）である。ここで、２つの点Ｑｌ，Ｑｒは同じ走査線（エピポーラ線）上にあるので、Ｙｌ＝Ｙｒであり、視差ベクトルは、Ｖｐ（Ｘｌ－Ｘｒ，０）と表されることになる。エピポーラ線方向計算器６１は、このような視差ベクトルＶｐを、画像上の全ての画素点について求め、視差ベクトル群を作成することで画像の奥行き方向の情報を得る。ところで、エピポーラ線が水平ではないセットに関しては、片方のカメラ位置の高さが違っている（確率は低い）ことがある。この場合、エピポーラ線直交方向計算器６２は、大きな探索範囲を、対応点マッチングを意識することなく大きな２次元領域で対応点探索をする場合に比べ、エピポーラ線方向と、エピポーラ線に対し直交方向でその水平からのずれ具合程度の長方形内で探索することで、最低限の長方形の計算量は少なくなり合理的になる。そして、探索範囲決定器６３は、図８に示すように、最低限の長方形に関するエピポーラ線方向探索範囲をａ～ｂ＝ｃ～ｄとし、直交方向探索範囲をｂ～ｃ＝ｄ～ａとした場合の探索範囲を示す。この場合、エピポーラ線方向の探索幅は、ΔＥ、エピポーラ線と直交する方向Ｆの探索幅はΔＦとする。最低限の傾斜した長方形ａｂｃｄを含む傾斜しない最小の長方形ＡＢＣＤが求める領域となる。
　図６に示すように、第１画像生成部３２は、複数のカメラ２１，２２の特徴点の対応点からエピポーラ拘束条件にて視差ベクトルを求め、各点の奥行き方向の情報を得て、３次元形状の表面上のテクスチャをマッピングして、３次元画像を生成する。これにより、計算に使用する画像データにある部分のモデルは、その前面側半球からの見る空間画像、つまり、カメラ装置１１から見た３次元画像を再現することができる。第１画像生成部３２は、生成した３次元画像を第２画像生成部３３に送出する。
　第２画像生成部３３は、入力された移動軌跡の地点データに応じた透過変換を用い、第１画像生成部３２と同様の手法を用いて３次元画像を、地点データに応じた２次元画像に変換し、再構成することができる。第２画像生成部３３は、生成した複数の２次元画像を連続させることで、移動軌跡に応じた空間遊泳画像を生成することができる。
　なお、上述の説明では、特定の空間５１の中心位置にカメラ装置１１を配置した場合について接類したが、このような配置に限定されるものではない。例えば、特定の空間に位置する対象物の周囲にカメラ装置１１を配置してもよい。この場合、対象物の周囲に複数のカメラ装置１１を配置することが好ましい。
［本実施形態の作用効果］
　本実施形態の画像生成装置は、視差を有する複数の画像データを取得するデータ取得部３１と、複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する第１画像生成部３２と、複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する第２画像生成部３３とを備える。
　そのため、視差を有する複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成し、複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する。そのため、ユーザがいない場所から見た空間の画像を連続して見ることができ、カメラ装置（撮影装置）１１により取得した画像データ有効利用を図ることができる。
　本実施形態の画像生成装置は、移動軌跡は、特定の空間座標における移動方向とからなる地点データが複数連続して構成され、第２画像生成部３３は、複数の地点データにおける２次元画像を連続させることで空間遊泳画像を生成する。そのため、ユーザは、自身がいない場所から見た空間の遊泳画像を容易に見ることができる。
　本実施形態の画像生成装置は、第１画像生成部３２は、複数の画像データに事前に特定した対象物が写っているか否かを判定し、写っている場合には対象物と紐づけた移動軌跡を、特定の移動軌跡とする。そのため、ユーザは、自身がいない場所から見た空間の遊泳画像を容易に見ることができる。
　これまで本開示に係る画像生成装置について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。
　図示した画像生成装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
　画像生成装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
　上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
　本開示の画像生成装置、画像生成方法およびプログラムは、例えば、撮影システムに適用することができる。
　１０　表示システム
　１１　カメラ装置
　１２　画像生成装置
　１３　記憶部
　１４　操作部
　１５　表示制御部
　１６　表示部
　２１，２２，２３，２４，２５　カメラ
　３１　データ取得部
　３２　第１画像生成部
　３３　第２画像生成部
　４１　支持体
　４２　支持ロッド
　４３　支持台
　５１　空間
　６１　エピポーラ線方向計算器
　６２　エピポーラ線直交方向計算器
　６３　探索範囲決定器
　６４　対応点検出器
　６５　距離計算器
　Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ　目標物

Claims (5)

  1. 　視差を有する複数の画像データを取得するデータ取得部と、
    　前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する第１画像生成部と、
    　前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する第２画像生成部と、
    　を備える画像生成装置。
  2. 　前記移動軌跡は、特定の空間座標における移動方向とからなる地点データが複数連続して構成され、
    　前記第２画像生成部は、複数の前記地点データにおける２次元画像を連続させることで前記空間遊泳画像を生成する、
    　請求項１に記載の画像生成装置。
  3. 　前記第１画像生成部は、前記複数の画像データに事前に特定した対象物が写っているか否かを判定し、写っている場合には対象物と紐づけた移動軌跡を、特定の移動軌跡とする、
    　請求項１または請求項２に記載の画像生成装置。
  4. 　視差を有する複数の画像データを取得する工程と、
    　前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する工程と、
    　前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する工程と、
    　を含む画像生成方法。
  5. 　視差を有する複数の画像データを取得する工程と、
    　前記複数の画像データに基づいて複数の特定の領域ごとの複数の３次元画像を生成する工程と、
    　前記複数の３次元画像のデータを用いて特定の移動軌跡に応じた空間遊泳画像を生成する工程と、
    　を画像生成装置として動作するコンピュータに実行させるプログラム。
PCT/JP2023/032777 2022-09-15 2023-09-08 画像生成装置、画像生成方法およびプログラム WO2024058062A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022147320A JP2024042540A (ja) 2022-09-15 2022-09-15 画像生成装置、画像生成方法およびプログラム
JP2022-147320 2022-09-15

Publications (1)

Publication Number Publication Date
WO2024058062A1 true WO2024058062A1 (ja) 2024-03-21

Family

ID=90274908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032777 WO2024058062A1 (ja) 2022-09-15 2023-09-08 画像生成装置、画像生成方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2024042540A (ja)
WO (1) WO2024058062A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018030206A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018030206A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置

Also Published As

Publication number Publication date
JP2024042540A (ja) 2024-03-28

Similar Documents

Publication Publication Date Title
JP4804256B2 (ja) 情報処理方法
JP5966256B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6340017B2 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
WO2013175700A1 (ja) 情報処理装置および情報処理方法
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
JP7182976B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
US20200267369A1 (en) Point cloud data communication system, point cloud data transmitting apparatus, and point cloud data transmission method
JP2013120556A (ja) 被写体姿勢推定装置および映像描画装置
EP3935602A1 (en) Processing of depth maps for images
US11847735B2 (en) Information processing apparatus, information processing method, and recording medium
JP6396982B2 (ja) 空間モデル処理装置
JP7403967B2 (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP6027952B2 (ja) 拡張現実画像生成システム、３次元形状データ生成装置、拡張現実提示装置、拡張現実画像生成方法、及びプログラム
WO2024058062A1 (ja) 画像生成装置、画像生成方法およびプログラム
JP2004030408A (ja) 三次元画像表示装置及び表示方法
JP2010238134A (ja) 画像処理装置及びプログラム
JP2008204318A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2002032744A (ja) ３次元モデリング及び３次元画像作成のための装置及び方法
JP2007109126A (ja) 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム
TW201928761A (zh) 影像擷取之設備及方法
JP2021047468A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
WO2021166751A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23865417

Country of ref document: EP

Kind code of ref document: A1