WO2024075475A1 - 情報処理装置、システム、情報処理方法、およびプログラム - Google Patents
情報処理装置、システム、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2024075475A1 WO2024075475A1 PCT/JP2023/033194 JP2023033194W WO2024075475A1 WO 2024075475 A1 WO2024075475 A1 WO 2024075475A1 JP 2023033194 W JP2023033194 W JP 2023033194W WO 2024075475 A1 WO2024075475 A1 WO 2024075475A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- movable
- markers
- camera
- map data
- information processing
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 90
- 239000003550 marker Substances 0.000 claims description 109
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000005286 illumination Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 239000000463 material Substances 0.000 claims description 10
- 238000000034 method Methods 0.000 description 47
- 238000003860 storage Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 25
- 238000009826 distribution Methods 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 14
- 230000004397 blinking Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000002020 sage Nutrition 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Definitions
- This disclosure relates to an information processing device, a system, an information processing method, and a program.
- results of SfM processing may be used to estimate the position and orientation of the camera. If a group of movable markers whose positions change are used in the SfM processing estimation, calibration is required every time the group of movable markers moves, which raises concerns about increased processing time.
- an information processing device including a processing unit that rewrites a first position and orientation of the camera estimated based on an image captured by a camera and first map data including position information of a plurality of fixed markers arranged on a non-movable body, and a second position and orientation of the camera estimated based on the image and second map data including position information of a plurality of movable markers arranged on a movable rigid body.
- an information processing method including a processor rewriting the second map data based on a first position and orientation of the camera estimated based on an image captured by a camera and first map data including position information of a plurality of fixed markers arranged on a non-movable body, and a second position and orientation of the camera estimated based on the image and second map data including position information of a plurality of movable markers arranged on a movable rigid body.
- a program that causes a computer to function as an information processing device that includes a processing unit that rewrites a first position and orientation of the camera that is estimated based on an image captured by a camera and first map data including position information of a plurality of fixed markers arranged on a non-movable body, and a second position and orientation of the camera that is estimated based on the image and second map data including position information of a plurality of movable markers arranged on a movable rigid body.
- FIG. 1 is a diagram for explaining a configuration example of a system 1 according to a first embodiment of the present disclosure.
- FIG. 2 is a block diagram for illustrating an example of a functional configuration of an information processing device 10 according to the embodiment.
- FIG. 4A and 4B are diagrams for explaining first map data and second map data according to the embodiment; 11 is a flowchart showing an example of a processing flow by the system 1 according to the embodiment.
- 13 is a diagram showing an example of a user interface for separating a fixed marker 45 and a movable marker 55 according to the embodiment.
- FIG. 13 is a diagram for explaining the arrangement of the camera 30 in the re-calibration phase according to the embodiment.
- FIG. 10 is a flowchart showing a flow of a re-calibration process according to the embodiment.
- 11A to 11C are diagrams for explaining calculation of the amount of movement of the movable rigid body 50 according to the embodiment and rewriting of the second map data.
- 13 is a diagram for explaining an irradiation marker 65 according to a second embodiment of the present disclosure.
- FIG. 13 is a diagram showing an example of an appropriate distribution of irradiation markers 65 according to the embodiment.
- FIG. 13 is a diagram showing an example of an inappropriate distribution of the irradiation markers 65 according to the embodiment.
- FIG. FIG. 2 is a block diagram showing an example of the configuration of a system 2 according to the embodiment. 13 is a diagram for explaining evaluation using a grid according to the embodiment.
- FIG. 13 is a diagram for explaining evaluation using a grid according to the embodiment.
- FIG. 13 is a flowchart showing a setup procedure when using retroreflective markers.
- 13 is a flowchart showing a setup procedure when using an irradiation marker 65 according to a second embodiment of the present disclosure.
- 13 is a diagram for explaining an example of control of an irradiation pattern when the irradiation device 60 according to the embodiment performs LiDAR.
- FIG. 13 is a flowchart showing a setup procedure when the illumination device 60 according to the embodiment performs LiDAR. The control of the blinking pattern of the irradiation marker 65 in the LiDAR according to the embodiment will be described.
- FIG. 2 is a block diagram showing an example hardware configuration of an information processing device 90 according to an embodiment of the present disclosure.
- One method for achieving real-time tracking of the position and orientation of a camera as described above is, for example, to determine the position and orientation of the IR camera by placing multiple markers such as retroreflective materials in the shooting space and tracking these markers using an IR (InfraRed) camera.
- IR InfraRed
- the IR camera in order to calibrate the markers, it is necessary to move the IR camera so as to capture all markers placed in the shooting space.
- the shooting space generally contains shooting equipment and props, the free movement of the IR camera is restricted, and it can be difficult to capture sufficient images required for marker calibration.
- the technical concept of the first embodiment of the present disclosure was conceived with a focus on the above points, and significantly improves the calibration efficiency of the movable markers placed on the movable rigid body.
- FIG. 1 is a diagram for explaining a configuration example of the system 1 according to the first embodiment of the present disclosure.
- the system 1 includes an information processing device 10, a display device 20, a camera 30, a non-movable body 40, a plurality of fixed markers 45 arranged on the non-movable body 40, a movable rigid body 50, and a plurality of movable markers 55 arranged on the movable rigid body 50.
- the information processing device 10 is a computer that performs calibration related to the movable marker 55. A detailed configuration of the information processing device 10 according to this embodiment will be described separately.
- the display device 20 displays various types of information under the control of the information processing device 10 .
- the camera 30 according to this embodiment is, for example, a piece of photographic equipment used in virtual production, and is a target of real-time tracking.
- the camera 30 is equipped with an element capable of capturing infrared light.
- the immovable body 40 is an object such as a rigid body that does not move.
- the immovable body 40 is a ceiling in a studio.
- the fixed marker 45 is a marker that does not move, i.e., a marker whose position is fixed, and is disposed on the non-movable body 40. Note that in Fig. 1, the fixed marker 45 is represented by a circle.
- the fixed marker 45 in this embodiment may be, for example, a retroreflective material, a light that can emit infrared light by itself, etc.
- the movable rigid body 50 is a movable rigid body.
- the movable rigid body 50 is provided so as to be movable at least in the vertical direction.
- the movable rigid body 50 in this embodiment may be, for example, a display device such as an LED panel used in virtual production.
- the movable marker 55 is a marker that is disposed on the movable rigid body 50 and whose position changes with the movement of the movable rigid body 50. Note that in Fig. 1, the movable marker 55 is represented by using a square.
- Another feature of the multiple movable markers 55 in this embodiment is that their relative positions remain unchanged regardless of the movement of the movable rigid body 50.
- the system 1 may include a plurality of movable rigid bodies 50 and a group of a plurality of movable markers 55 arranged for each movable rigid body 50.
- FIG. 1 shows a case in which the movable rigid body 50 moves in the vertical direction
- the movable rigid body 50 may move in the horizontal direction or change angle.
- the movable rigid body 50 does not necessarily have to be a display device such as an LED panel.
- the movable rigid body 50 can be any type of object that has a strength such that the relative positions of the multiple movable markers 55 placed on it do not change when the movable rigid body 50 moves.
- the movable rigid body 50 does not have to be placed above the space.
- the movable rigid body 50 can be placed anywhere in the space, such as to the side or below.
- FIG. 2 is a block diagram for explaining an example of the functional configuration of the information processing device 10 according to this embodiment.
- the information processing device 10 includes at least a processing unit 110 and a memory unit 120.
- One of the features of the processing unit 110 is that it rewrites the second map data based on a first position and orientation of the camera 30 estimated based on an image captured by the camera 30 and the first map data, and a second position and orientation of the camera 30 estimated based on an image captured by the camera 30 and the second map data.
- the first map data includes position information of multiple fixed markers 45 placed on the non-movable body 40.
- the second map data also includes position information of multiple movable markers 55 arranged on the movable rigid body 50.
- the functions of the processing unit 110 according to this embodiment are realized by various processors. Details of the functions of the processing unit 110 according to this embodiment will be explained separately.
- the storage unit 120 stores various types of information used by the system 1 .
- the storage unit 120 in this embodiment stores first map data and second map data.
- FIG. 3 is a diagram for explaining the first map data and the second map data according to this embodiment.
- the map data Xf includes a three-dimensional coordinate array ( Nf x 3 (x, y, z)) for the number Nf of the fixed markers 45.
- map data X m1 to X mN shown in FIG. 3 is an example of the second map data.
- the system 1 may include a plurality of movable rigid bodies 50 and a group of a plurality of movable markers 55 arranged on each of the movable rigid bodies 50.
- the storage unit 120 may store k (1, ..., N) pieces of map data Xmk .
- the map data X mk relates to the k-th group of movable markers 55 and includes a three-dimensional coordinate array (N k ⁇ 3 (x, y, z)) for N k , the number of movable markers 55 .
- FIG. 3 illustrates an example in which multiple map data are managed independently
- the map data in this embodiment may be managed in a single file using columns such as a group ID.
- the storage unit 120 may be provided in a device separate from the information processing device 10.
- the information processing device 10 may further include an operation unit that accepts operations by the user.
- the functional configuration of the information processing device 10 according to this embodiment can be flexibly modified according to the specifications, operation, etc.
- the processing performed by system 1 according to this embodiment is broadly divided into an initial calibration phase and a recalibration phase.
- the zeroth map data is generated (S110), and the first and second map data are generated (S120).
- the 0th map data is map data that includes position information of multiple fixed markers 45 and position information of multiple movable markers 55.
- the generation of the 0th map data in step S110 may be achieved, for example, by a process equivalent to the SfM process disclosed in Non-Patent Document 1.
- step S110 the user uses the camera 30 to capture images of all fixed markers 45 and movable markers 55 in various positions and orientations.
- the processing unit 110 also performs three-dimensional position estimation of each marker from the images captured as described above, and generates the zeroth map data.
- the processing unit 110 also uses the 0th map data to align the three-dimensional position information of each marker to the physical space and perform scale correction, etc.
- the processing unit 110 generates the first map data and the second map data from the zeroth map data.
- the processing unit 110 may, for example, divide the zeroth map data based on the user's division into fixed markers 45 and movable markers 55, and generate first map data and second map data.
- the processing unit 110 may control a user interface that allows the user to distinguish between the fixed marker 45 and the movable marker 55.
- FIG. 5 shows an example of a user interface for separating the fixed marker 45 and the movable marker 55 according to this embodiment.
- the processing unit 110 may, for example, display on the display device 20 an image showing the positional relationship between the markers based on the zeroth map data, and prompt the user to select only the movable marker 55.
- a user who understands the positional relationship between the non-movable body 40 and the movable rigid body 50, the placement pattern of the fixed markers 45, and the placement pattern of the movable markers 55 can easily distinguish between the fixed markers 45 and the movable markers 55 based on the displayed image. Note that as long as the user is able to distinguish between the fixed markers 45 and the movable markers 55, there are no particular restrictions on the placement pattern of the fixed markers 45 and the movable markers 55. In Figure 5, the movable marker 55 selected by the user is shown using a dot pattern.
- the processing unit 110 prompts the user to separate the groups of fixed markers 45 and the groups of multiple movable markers 55.
- the processing unit 110 may ask the user to include at least four markers in each marker group to achieve calibration.
- the number of markers included in each marker group may be determined based on the desired accuracy, and may be, for example, about 10 markers.
- the fixed marker 45 or the movable marker 55, or both the fixed marker 45 and the movable marker 55 are lights that emit infrared light
- the processing unit 110 can automatically generate the first map data and the second map data from the zeroth map data based on the information contained in the infrared light.
- the separation may be achieved by the user labeling each plane detected by the plane detection process.
- the camera 30 is positioned (S210) and a recalibration process (S220) is performed in association with the movement of the movable rigid body 50. Note that the recalibration phase according to this embodiment is performed each time the movable rigid body 50 is moved.
- FIG. 6 is a diagram for explaining the placement of the camera 30 during the recalibration phase in this embodiment.
- step S210 the camera 30 is positioned in a position and orientation that allows it to capture images of at least four fixed markers 45 and at least four movable markers 55 that will be placed on the movable rigid body 50 after movement.
- the angle of view 35 of the camera 30 is shown in FIG. 6.
- the number of each marker to be included in the captured image may be determined based on the desired accuracy, and may be, for example, around 10.
- the position and orientation of the camera 30 can be freely determined, and the camera 30 can be placed in a location where shooting is possible while avoiding equipment and props.
- FIG. 7 is a flowchart showing the flow of the recalibration process according to this embodiment.
- the processing unit 110 may start pose capture based on instructions from the user.
- the processing unit 110 first selects map data corresponding to the group of markers that are the subject of pose capture (S221).
- the processing unit 110 may select map data based on input from the user. Even if there are multiple movable rigid bodies 50 and groups of movable markers 55, the processing unit 110 can automatically complete subsequent processing if information on a moved movable rigid body 50 is input.
- the processing unit 110 selects the map data Xf in step S221.
- the map data Xf is an example of the first map data.
- the processing unit 110 selects the map data X mk in step S221.
- the map data X mk is an example of the second map data.
- the position and orientation of the camera 30 is estimated based on the image captured by the camera 30 placed in step S210 and the map data selected in step S221 (S222).
- the first position and orientation are estimated based on the image captured by the camera 30 and the map data Xf .
- the target marker group is the k-th movable marker group 55
- the second position and orientation are estimated based on the image captured by the camera 30 and the map data Xmk .
- the images used to estimate the first position and orientation and the second position and orientation in step S222 are images captured by the camera 30 in the same position and orientation positioned in step S210.
- the images used for the first position and posture in step S222 are images that include at least a predetermined number of fixed markers 45 and at least a predetermined number of movable markers 55 as subjects.
- estimation of the position and orientation of the camera 30 may be performed by the camera 30 or by the processing unit 110.
- the processing unit 110 calculates the amount of movement of the target movable rigid body 50 (target movable marker 55 group) based on the difference (pose difference) between the first position and posture estimated in step S222 (S223).
- the processing unit 110 may request the user to reposition the camera 30 and redo the recalibration process.
- the processing unit 110 rewrites the target map data Xmk based on the amount of movement of the movable rigid body 50 calculated in step S223 (S224).
- FIG. 8 is a diagram for explaining the calculation of the movement amount of the movable rigid body 50 and the rewriting of the second map data according to this embodiment.
- the first position and orientation Tf estimated using the map data Xf is represented by a triangle with a dotted pattern
- the second position and orientation Tmk estimated using the map data Xmk is represented by a triangle with a checkered pattern.
- a difference occurs between the second position and orientation Tmk estimated using map data Xmk generated before the movement of the movable rigid body 50 (group of movable markers 55) and the first position and orientation Tf estimated using map data Xf that is not affected by the movement of the movable rigid body 50, depending on the amount of movement of the movable rigid body 50 (group of movable markers 55).
- the second map data reflecting the movement of the movable rigid body 50 (the group of movable markers 55) is denoted as X'mk .
- the map data X'mk reflecting the movement of the movable rigid body 50 can be obtained by the formula shown in the lower right of Fig. 8.
- ⁇ X'mk and ⁇ Xmk are homogeneous coordinate expressions of the map data, respectively, and the operator ⁇ connecting both sides represents an equivalence relationship between them.
- TfTmk - 1 in this formula is a rigid body transformation that represents a change in the position and orientation of the movable rigid body 50 with six degrees of freedom.
- the processing unit 110 can rewrite the target map data X mk based on the amount of movement of the movable rigid body 50 .
- the recalibration process can be completed in a few minutes, significantly reducing time and effort.
- This also makes it practical to move the movable rigid body 50, such as an LED panel, depending on the shooting scene, broadening the range of shooting methods.
- the recalibration process is performed with the camera 30 fixed in a certain position and orientation.
- the recalibration process according to this embodiment is not limited to this example.
- the recalibration process according to this embodiment may be performed continuously for each captured frame.
- the processing unit 110 may rewrite the map data Xmk with the estimation result with the smallest error, for example.
- the user can perform the recalibration process by simply swinging the camera 30 around roughly without worrying about the position and orientation of the camera 30.
- the fixed marker 45 and the movable marker 55 are described as being made of retroreflective material, lighting capable of emitting infrared light by themselves, etc.
- the process of applying markers generally takes several hours or more, so it was not practical to reapply the markers depending on the shooting scene or shooting conditions.
- an irradiation marker 65 irradiated by an irradiation device 60 is used for real-time tracking of the position and orientation of the camera 30.
- FIG. 9 is a diagram for explaining the irradiation marker 65 according to the second embodiment of the present disclosure.
- a typical configuration is to use an IR flashlight or the like mounted on the same housing (camera rig, etc.) as the camera 30 to irradiate infrared light in all directions, and then focus the light using the retroreflective material.
- the irradiation device 60 irradiates infrared laser light in a set pattern from an arbitrary installation location. This forms an irradiation marker 65 at the location where the infrared laser light is reflected by the object.
- the irradiation marker 65 of this embodiment eliminates the need for the marker attachment process described above, making it possible to significantly reduce the time required for setup.
- the markers can be easily rearranged, even if the camera 30 is unable to capture a marker due to a set, equipment, etc. blocking the marker, blocking of the marker can be easily avoided.
- the illumination device 60 does not need to be provided in the same housing (camera rig, etc.) as the camera 30, and can be placed anywhere. This makes it possible to reduce the size and weight of the device mounted on the housing such as a camera rig.
- FIG. 10 shows an example of an appropriate distribution of the irradiation markers 65 according to this embodiment.
- the lower part of Fig. 10 shows an example of the irradiation range of the irradiation marker 65 by the irradiation device 60 and the angle of view of the camera 30.
- the upper part of Fig. 10 shows an example of an image 37 captured by the camera 30 in the situation shown in the lower part.
- the illuminated markers 65 are distributed approximately evenly across the entire image area.
- the markers are distributed approximately evenly across the entire image (excluding the state where they are aligned at equal intervals), as shown in FIG. 10.
- FIG. 11 shows an example of an inappropriate distribution of the irradiation markers 65 according to this embodiment.
- the lower part of Fig. 11 shows another example of the irradiation range of the irradiation marker 65 by the irradiation device 60 and the angle of view of the camera 30.
- the upper part of Fig. 11 shows an example of an image 37 captured by the camera 30 in the situation shown in the lower part.
- the irradiation markers 65 are densely packed in only a portion of the image area.
- the scale, display area, etc. of the illuminated markers 65 in the image 37 captured by the camera 30 change depending on the relative positions of the two, which can easily result in a situation where the distribution of the illuminated markers 65 is not appropriate.
- FIG. 12 is a block diagram showing an example configuration of system 2 according to the second embodiment of the present disclosure.
- the system 2 includes an information processing device 10, a display device 20, a camera 30, and an illumination device 60.
- the information processing device 10 includes a processing unit 110 and a storage unit 120 .
- One of the features of the processing unit 110 in this embodiment is that it functions as an irradiation control unit that controls the irradiation of the irradiation marker 65 by the irradiation device 60.
- one of the features of the processing unit 110 is that it functions as an evaluation unit that evaluates the irradiation distribution of the irradiation marker 65 with respect to tracking of the position and orientation of the camera 30 that captures the irradiation marker 65 irradiated by the irradiation device 60.
- processing unit 110 in this embodiment will be described in detail later.
- the processing unit 110 is connected to the display device 20, the camera 30, and the irradiation device 60 via wired or wireless connections.
- the storage unit 120 stores various types of information used by the system 2 .
- the camera 30 according to this embodiment may be substantially identical to the camera 30 according to the first embodiment, but need not be mounted in the same housing as the IR light source.
- the camera 30 may also include an Event-based Vision Sensor (EVS), as described below.
- EVS Event-based Vision Sensor
- the EVS is a vision sensor that detects changes in luminance of each pixel and outputs data on the luminance changes by combining them with coordinate and time information, thereby achieving high-speed, low-latency data output.
- the irradiation device 60 irradiates the irradiation marker 65 under the control of the processing unit 110 .
- the irradiation device 60 may include a diffractive optical element (DOE).
- DOE diffractive optical element
- a DOE is an element that can spatially branch laser light by utilizing the diffraction phenomenon of light.
- the irradiation device 60 may be a galvanometer scanner.
- a galvanometer scanner is a device that irradiates laser light with pinpoint accuracy by adjusting two- or three-axis laser light reflecting mirrors.
- a galvanometer scanner is used as the irradiation device 60, a variety of irradiation patterns can be achieved by controlling the laser light reflector.
- the irradiation device 60 may perform Light Detection and Ranging (LiDAR) under the control of the processing unit 110, as described below.
- LiDAR Light Detection and Ranging
- the configuration of system 2 in this embodiment can be flexibly modified according to specifications, operations, etc.
- the system 2 may include two or more cameras 30 and two or more irradiation devices 60.
- the processing unit 110 functions as an evaluation unit that evaluates the appropriateness of the irradiation distribution of the irradiation markers 65.
- the processing unit 110 may evaluate the irradiation distribution of the irradiation markers 65 based on the density of the irradiation markers 65 in the image 37 captured by the camera 30.
- the processing unit 110 may evaluate the irradiation distribution of the irradiation markers 65 by comparing the density of the irradiation markers 65 in the image 37 with a density standard required by the tracking algorithm employed.
- the processing unit 110 may evaluate the irradiation distribution of the irradiation markers 65 based on areas in the image 37 captured by the camera 30 where the irradiation markers 65 are not present.
- the processing unit 110 may evaluate the irradiation distribution of the irradiation markers 65 by comparing areas in the image 37 where the irradiation markers 65 are not present with a criterion for such areas required by the tracking algorithm employed.
- the processing unit 110 may divide the image 37 captured by the camera 30 into a plurality of M ⁇ N grids, and evaluate the irradiation distribution of the irradiation markers 65 based on the number of irradiation markers 65 in each of the plurality of grids.
- FIGS. 13 and 14 are diagrams for explaining evaluation using a grid according to this embodiment.
- Figures 13 and 14 shows an example in which an image 37 captured by camera 30 is divided into a 6x8 grid.
- illumination markers 65 there are illumination markers 65 in all grids, and the maximum number of illumination markers 65 in a grid is limited to four.
- the processing unit 110 may evaluate the irradiation distribution of the irradiation markers 65 as appropriate.
- the irradiation markers 65 are locally densely packed.
- the processor 110 when the processor 110 according to this embodiment detects that the irradiation markers 65 are concentrated in some grids, it may evaluate that the irradiation distribution of the irradiation markers 65 is not appropriate.
- the evaluation criteria used by the processing unit 110 may be designed appropriately depending on the tracking algorithm used.
- the processing unit 110 may also display the results of the above-mentioned evaluation on the display device 20.
- the user having checked the evaluation results on the display device 20, can adjust the position and orientation of the camera 30, the position and orientation of the irradiation device 60, and the irradiation pattern (irradiation range, scale, etc.) to make the irradiation distribution of the irradiation markers 65 appropriate.
- the user may adjust the irradiation pattern of the irradiation device 60 with the camera 30 positioned near the center of its operating range until the processing unit 110 evaluates the irradiation distribution of the irradiation markers 65 as appropriate.
- adjustment of the irradiation range, scale, etc. of the irradiation device 60 may be performed automatically by the processing unit 110. That is, the processing unit 110 according to this embodiment may control the irradiation pattern of the irradiation marker 65 by the irradiation device 60 based on an evaluation of the irradiation distribution of the irradiation marker 65.
- the processing unit 110 may repeatedly change the irradiation pattern of the irradiation marker 65 until the evaluation of the irradiation distribution of the irradiation marker 65 satisfies a predetermined criterion.
- the processing unit 110 may use a search algorithm to search for appropriate parameters such as the irradiation range and scale of the irradiation device 60 in order to obtain an irradiation distribution of the irradiation markers 65 that meets a predetermined standard.
- the camera 30 When evaluation and adjustment are completed for a position and orientation of a certain camera 30, the camera 30 may be moved within its range of motion and multiple evaluations may be performed for multiple positions and orientations. In this case, the irradiation pattern of the irradiation device 60 may be adjusted so as to maximize the multiple evaluations for the multiple positions and orientations.
- Figure 15 is a flowchart showing the setup procedure when using retroreflective markers.
- the setup procedure when using retroreflective markers consists of attaching the retroreflective markers (S901), generating a map (S902), setting the mount offset (S903), and setting the world offset (S904).
- FIG. 16 is a flowchart showing the setup procedure when using the irradiation marker 65 according to this embodiment.
- the setup procedure when using the irradiation marker 65 consists of installing the irradiation device 60, optimizing the irradiation pattern of the irradiation device 60 (S301), generating a map (S302), setting the mount offset (S303), and setting the world offset (S304).
- step S301 The processing in step S301 is as described above.
- the map generation in step S302 is a process for determining the three-dimensional coordinates of each marker, and is the same as the process in step S102 when using retroreflective markers. To generate the map, it is necessary to change the position and orientation of the camera 30 to various positions and capture images of the markers.
- the mount offset setting in step S303 is a process for setting the offset between the camera 30 to be tracked and the cinema camera, and is the same as the process in step S103 when using retroreflective markers.
- the mount offset setting must be reset if the relationship between the positions and orientations of the two cameras is changed.
- the world offset setting in step S304 is a process that aligns the three-dimensional coordinates of the marker to a reference coordinate system, and is the same as the process in step S104 when using retroreflective markers.
- the world offset setting is always performed after map generation is executed.
- the irradiation marker 65 according to this embodiment may be formed by laser light emitted by the LiDAR using the irradiation device 60.
- the processing unit 110 according to this embodiment controls the irradiation of the laser light by the LiDAR using the irradiation device 60.
- LiDAR measurement points are aligned at equal intervals.
- each of the illuminated markers 65 is identified based on the positional relationship between the illuminated markers 65.
- the processing unit 110 may control the LiDAR using the irradiation device 60 so that the intervals between the irradiation markers 65 generated by the laser light are not equal.
- the processing unit 110 may, for example, control the irradiation device 60 so that the intervals between the irradiation markers 65 are random.
- the irradiation device 60 performs LiDAR, it becomes possible for the irradiation device 60 alone to obtain the three-dimensional position of the irradiation marker 65 with its physical scale.
- FIG. 17 is a diagram for explaining an example of controlling the irradiation pattern when the irradiation device 60 according to this embodiment performs LiDAR.
- FIG 17 shows an example of a Graphical User Interface (GUI) controlled by the processing unit 110.
- GUI Graphical User Interface
- the processing unit 110 visualizes and presents to the user an icon I60 indicating the position and orientation of the irradiation device 60 in the shooting space, and an icon I65 indicating the position of the irradiation marker 65 irradiated by the irradiation device 60.
- the user may specify the movable range of the camera 30 using icons I60 and I65 as markers (in FIG. 17, the movable range is indicated by a bold frame). Note that the movable range is a reference value, so it is sufficient to specify it approximately.
- the processing unit 110 in this embodiment divides the specified range of motion into multiple grids and presents them to the user.
- the user may place an icon I30 indicating the position and orientation of the camera 30 on the presented grid, thereby simulating how the illuminated marker 65 appears on the camera 30 in a position and orientation corresponding to the placement.
- the processing unit 110 may also perform calculations for multiple different orientations of the camera 30 to perform an approximate simulation of how the image 37 will appear in the space specified by the user.
- the processing unit 110 may optimize the results of the above-mentioned simulation and automatically search for parameters related to the irradiation pattern of the irradiation device 60 so that the tracking algorithm operates stably at any position.
- FIG. 18 is a flowchart showing the setup procedure when the illumination device 60 according to this embodiment performs LiDAR.
- the setup procedure consists of installing the illumination device 60 and optimizing the illumination pattern of the illumination device 60 (S401), setting the mount offset (S403), and setting the world offset (S404).
- the illumination device 60 performs LiDAR, the three-dimensional position of each illumination marker 65 has already been determined by the processing in step S401, so map generation can be skipped.
- the processing unit 110 may set the three-dimensional coordinates of the irradiated marker 65 measured by the LiDAR as an initial value, and improve the initial value based on the image 37 obtained during tracking, the IMU acquisition value, etc.
- the processing unit 110 may control the scanning of the laser light in the LiDAR so that the blinking patterns of the irradiation markers 65 generated by the laser light are different from each other.
- the processing unit 110 may apply different intensity modulations to the laser light associated with each of the irradiation markers 65.
- the camera 30 equipped with the EVS can detect the unique blinking pattern of each irradiation marker 65, which is generated by laser light that has been subjected to different intensity modulation. Furthermore, it is possible to identify the ID of each irradiation marker 65 based on the detected blinking pattern and the stored combination of the blinking pattern and ID.
- each marker has no characteristics and is identified based on the relative positions of the markers, so multiple markers must be placed randomly.
- the arrangement of the irradiation markers 65 does not need to be random, and they may be arranged at equal intervals.
- EVS requires much less processing power than conventional IR cameras, allowing for high-speed processing even with limited computing resources.
- the position and orientation of the camera 30 equipped with the EVS can be obtained by solving a PnP problem using the positions of the illuminated markers 65 on the image 37 and the positions of the illuminated markers 65 in three-dimensional space.
- the fixed marker 45 and the movable marker 55 are described as being made of a retroreflective material, but the fixed marker 45 and the movable marker 55 may be formed from laser light, as in the second embodiment.
- the position change based on the movement of the movable rigid body 50 of the movable marker 55 formed by the laser light can be accommodated by calculating the position change in advance.
- the processing unit 110 may correct the three-dimensional position of the movable marker 55 based on a prior calculation, or may adjust the irradiation pattern of the movable marker 55 based on a prior calculation.
- FIG. 20 is a block diagram showing a hardware configuration example of the information processing device 90 according to an embodiment of the present disclosure.
- the information processing device 90 may be a device having a hardware configuration equivalent to that of the information processing device 10 according to the first embodiment and the information processing device 10 according to the second embodiment.
- the information processing device 90 has, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, an output device 879, a storage 880, a drive 881, a connection port 882, and a communication device 883.
- a processor 871 for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, an output device 879, a storage 880, a drive 881, a connection port 882, and a communication device 883.
- the hardware configuration shown here is an example, and some of the components may be omitted.
- the information processing device 90 may further include components other than those shown here.
- the processor 871 functions, for example, as an arithmetic processing device or control device, and controls the overall operation or part of the operation of each component based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable storage medium 901.
- the ROM 872 is a means for storing the programs to be read into the processor 871, data to be used for calculations, etc.
- the RAM 873 temporarily or permanently stores, for example, the programs to be read into the processor 871, various parameters that change appropriately when the programs are executed, etc.
- the processor 871, ROM 872, and RAM 873 are connected to one another via, for example, a host bus 874 capable of high-speed data transmission.
- the host bus 874 is connected to an external bus 876 having a relatively low data transmission speed via, for example, a bridge 875.
- the external bus 876 is connected to various components via an interface 877.
- the input device 878 may be, for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, etc. Furthermore, a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used as the input device 878.
- the input device 878 may also include an audio input device such as a microphone.
- the output device 879 is a device capable of visually or audibly notifying the user of acquired information, such as a display device such as a CRT (Cathode Ray Tube), LCD, or organic EL, an audio output device such as a speaker or a headphone, a printer, a mobile phone, a facsimile, etc.
- the output device 879 according to the present disclosure also includes various vibration devices capable of outputting tactile stimuli.
- the storage 880 is a device for storing various types of data.
- a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device is used as the storage 880.
- the drive 881 is a device that reads information recorded on a removable storage medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable storage medium 901 .
- a removable storage medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
- the removable storage medium 901 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, various semiconductor storage media, etc.
- the removable storage medium 901 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, etc.
- connection port 882 is a port for connecting an external device 902, such as a Universal Serial Bus (USB) port, an IEEE 1394 port, a Small Computer System Interface (SCSI), an RS-232C port, or an optical audio terminal.
- USB Universal Serial Bus
- SCSI Small Computer System Interface
- RS-232C Small Computer System Interface
- the external connection device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, or an IC recorder.
- the communication device 883 is a communication device for connecting to a network, such as a wired or wireless LAN, Bluetooth (registered trademark), or a communication card for WUSB (Wireless USB), a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various types of communication.
- a network such as a wired or wireless LAN, Bluetooth (registered trademark), or a communication card for WUSB (Wireless USB), a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various types of communication.
- the information processing device 10 includes a processing unit 110 that rewrites the second map data based on a first position and orientation of the camera 30 estimated based on an image captured by the camera 30 and first map data including position information of a plurality of fixed markers 45 arranged on the non-movable body 40, and a second position and orientation of the camera 30 estimated based on the image and second map data including position information of a plurality of movable markers 55 arranged on the movable rigid body 50.
- the above configuration makes it possible to significantly improve the calibration efficiency of the movable markers placed on the movable rigid body.
- steps relating to the processes described in this disclosure do not necessarily have to be processed chronologically in the order described in the flowchart or sequence diagram.
- steps relating to the processes of each device may be processed in an order different from the order described, or may be processed in parallel.
- each device described in this disclosure may be realized by a program stored in a non-transitory computer readable storage medium.
- Each program is, for example, loaded into a RAM when executed by a computer, and executed by a processor such as a CPU.
- the storage medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, etc.
- the program may be distributed, for example, via a network, without using a storage medium.
- the processing unit calculates a movement amount of the movable rigid body based on the first position and posture and the second position and posture, and rewrites the second map data based on the movement amount.
- the positional relationship between the plurality of movable markers is unchanged regardless of the movement of the movable rigid body.
- the information processing device according to any one of (1) and (2).
- the images used for estimating the first position and orientation and the second position and orientation are captured by the camera in the same position and orientation;
- the information processing device according to any one of (1) to (3).
- the image used for estimating the first position and posture and the second position and posture includes at least four of the fixed markers and at least four of the movable markers as objects;
- the processing unit generates the first map data and the second map data from a zeroth map data including position information of a plurality of the fixed markers and position information of a plurality of the movable markers;
- the information processing device according to any one of (1) to (5).
- the processing unit controls a user interface for separating the fixed marker and the movable marker.
- the movable rigid body includes a display device.
- the movable rigid body moves at least in a vertical direction.
- the fixed marker and the movable marker include a retroreflective material.
- the fixed marker and the movable marker are illuminated by an illumination device.
- the information processing device according to any one of (1) to (9).
- the processor a first position and orientation of the camera estimated based on an image captured by the camera and first map data including position information of a plurality of fixed markers arranged on the non-movable body; a second position and orientation of the camera estimated based on the image and second map data including position information of a plurality of movable markers arranged on the movable rigid body; rewriting the second map data based on the including, Information processing methods.
- Reference Signs List 1 Reference Signs List 1, 2 System 10 Information processing device 110 Processing unit 120 Storage unit 20 Display device 30 Camera 40 Non-movable body 45 Fixed marker 50 Movable rigid body 55 Movable marker 60 Irradiation device 65 Irradiation marker
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】可動剛体に配置される可動マーカーのキャリブレーション効率を大きく改善する。 【解決手段】カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、に基づいて、前記第2のマップデータの書き換えを行う処理部、を備える、情報処理装置が提供される。
Description
本開示は、情報処理装置、システム、情報処理方法、およびプログラムに関する。
所定の被写体を含む複数の2次元画像から当該被写体の3次元構造を推定する技術が知られている。上記技術には、例えば、非特許文献1に記載されるSfM(Structure from motion)と呼ばれる技術が含まれる。
Roger Mohr、外2名、「Relative 3D Reconstruction Using Multiple Uncalibrated Images」、The International Journal of Robotics Research, SAGE Publications, 1995, 14 (6), pp.619-632、1995年12月1日
また、SfMの処理結果は、カメラの位置姿勢の推定に用いられる場合がある。ここで、SfMの処理の推定において位置が変化する可動マーカー群が用いられる場合、可動マーカー群が移動する度にキャリブレーションが求められ、処理時間が増大することが懸念される。
本開示のある観点によれば、カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、に基づいて、前記第2のマップデータの書き換えを行う処理部、を備える、情報処理装置が提供される。
また、本開示の別の観点によれば、プロセッサが、カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、に基づいて、前記第2のマップデータの書き換えを行うこと、を含む、情報処理方法が提供される。
また、本開示の別の観点によれば、コンピュータを、カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、に基づいて、前記第2のマップデータの書き換えを行う処理部、を備える、情報処理装置、として機能させるプログラムが提供される。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.構成例
1.2.詳細
2.第2の実施形態
2.1.構成例
2.2.詳細
3.ハードウェア構成例
4.まとめ
1.第1の実施形態
1.1.構成例
1.2.詳細
2.第2の実施形態
2.1.構成例
2.2.詳細
3.ハードウェア構成例
4.まとめ
<1.第1の実施形態>
<<1.1.構成例>>
上述したように、SfMの処理結果は、カメラの位置姿勢の推定に用いられる場合がある。
<<1.1.構成例>>
上述したように、SfMの処理結果は、カメラの位置姿勢の推定に用いられる場合がある。
一例として、映像制作の現場においては、VFX(Visual Effects)等のために、しばしばカメラの位置姿勢をリアルタイムでトラッキングすることが求められる。
上記のようなカメラの位置姿勢のリアルタイムトラッキングを実現する手法としては、例えば、撮影空間に再帰性反射材等のマーカーを複数配置し、IR(InfraRed)カメラを用いてこれらのマーカーを追跡することにより当該IRカメラの位置姿勢を求める手法が挙げられる。
上記手法は、低コストかつロバストに推定が行える一方、マーカーのキャリブレーションに非常に時間と手間がかかるという課題がある。
例えば、一般的な規模のスタジオの場合、マーカーのキャリブレーションには、1~2時間程度の時間が必要となる場合も珍しくない。
さらには、マーカーのキャリブレーションを行うためには、撮影空間に配置されたすべてのマーカーを網羅するようにIRカメラを動かし撮影を行うことが求められる。しかし、一般的に撮影空間には撮影機材や小道具などが配置されることから、IRカメラの自由な移動が制限され、マーカーのキャリブレーションに求められる十分な画像を撮影することが困難な場合もある。
また、近年においては、Virtual Production制作のために壁や天井等にLEDパネル等の表示装置を配置するスタジオが存在する。このようなスタジオにおいてカメラの位置姿勢のリアルタイムトラッキングを行う場合、LEDパネル上にマーカーが貼付される場合がある。
また、Virtual Production制作の現場では、撮影シーンに応じてライティング調整等のためにLEDパネルを移動したいという要望が上がることがある。しかし、SfMの処理結果を単純に用いるトラッキング手法の場合、LEDパネルを移動させる度に長時間に及ぶマーカーのキャリブレーション処理が必要となる。
一方、長時間に及ぶマーカーのキャリブレーション処理の間、演者や撮影スタッフを待機させることはコストの観点等から困難な場合もあり、結果として、LEDパネルの移動を実施できず、撮影方法の幅が制限されてしまうことも珍しくない。
本開示の第1の実施形態に係る技術思想は上記のような点に着目して発想されたものであり、可動剛体に配置される可動マーカーのキャリブレーション効率を大きく改善するものである。
まず、本開示の第1の実施形態に係るシステム1の構成例について説明する。図1は、本開示の第1の実施形態に係るシステム1の構成例について説明するための図である。
図1に示すように、本実施形態に係るシステム1は、情報処理装置10、表示装置20、カメラ30、非可動体40、非可動体40に配置される複数の固定マーカー45、可動剛体50、可動剛体50に配置される複数の可動マーカー55を備える。
(情報処理装置10)
本実施形態に係る情報処理装置10は、可動マーカー55に係るキャリブレーションを実施するコンピュータである。本実施形態に係る情報処理装置10の詳細な構成については別途説明する。
本実施形態に係る情報処理装置10は、可動マーカー55に係るキャリブレーションを実施するコンピュータである。本実施形態に係る情報処理装置10の詳細な構成については別途説明する。
(表示装置20)
本実施形態に係る表示装置20は、情報処理装置10による制御に従い、各種の情報を表示する。
本実施形態に係る表示装置20は、情報処理装置10による制御に従い、各種の情報を表示する。
(カメラ30)
本実施形態に係るカメラ30は、例えば、Virtual Production制作において用いられる撮影機材であり、リアルタイムトラッキングの対象である。
本実施形態に係るカメラ30は、例えば、Virtual Production制作において用いられる撮影機材であり、リアルタイムトラッキングの対象である。
例えば、固定マーカー45および可動マーカー55が再帰性反射材である場合、カメラ30は赤外線光を撮影可能な素子を備える。
(非可動体40)
本実施形態に係る非可動体40は、可動しない剛体等の物体である。図1に示す一例の場合、非可動体40は、スタジオにおける天井である。
本実施形態に係る非可動体40は、可動しない剛体等の物体である。図1に示す一例の場合、非可動体40は、スタジオにおける天井である。
(固定マーカー45)
本実施形態に係る固定マーカー45は、非可動体40に配置される、稼働しない、すなわち位置が固定されたマーカーである。なお、図1においては、固定マーカー45は、円を用いて表される。
本実施形態に係る固定マーカー45は、非可動体40に配置される、稼働しない、すなわち位置が固定されたマーカーである。なお、図1においては、固定マーカー45は、円を用いて表される。
本実施形態に係る固定マーカー45は、例えば、再帰性反射材、自ら赤外線光を照射可能な照明等であってもよい。
(可動剛体50)
本実施形態に係る可動剛体50は、移動可能な剛体である。図1に示す一例の場合、可動剛体50は、少なくとも鉛直方向に移動可能に設けられる。
本実施形態に係る可動剛体50は、移動可能な剛体である。図1に示す一例の場合、可動剛体50は、少なくとも鉛直方向に移動可能に設けられる。
本実施形態に係る可動剛体50は、例えば、Virtual Production制作に用いられるLEDパネル等の表示装置であってもよい。
(可動マーカー55)
本実施形態に係る可動マーカー55は、可動剛体50に配置される、可動剛体50の移動に伴い位置が変化するマーカーである。なお、図1においては、可動マーカー55は、正方形を用いて表される。
本実施形態に係る可動マーカー55は、可動剛体50に配置される、可動剛体50の移動に伴い位置が変化するマーカーである。なお、図1においては、可動マーカー55は、正方形を用いて表される。
また、本実施形態に係る複数の可動マーカー55は、互いの位置関係が可動剛体50の移動に依らず不変であることを特徴の一つとする。
以上、本実施形態に係るシステム1の構成例について概要を述べた。ただし、図1を参照して説明した上記の構成はあくまで一例であり、本実施形態に係るシステム1の構成はかかる例に限定されない。
例えば、本実施形態に係るシステム1は、複数の可動剛体50、可動剛体50ごとに配置される複数の可動マーカー55群を備えてもよい。
また、例えば、図1では、可動剛体50が鉛直方向に移動する場合を示したが、可動剛体50は、水平方向に移動してもよいし、角度が変化してもよい。
また、例えば、可動剛体50は、必ずしもLEDパネル等の表示装置でなくてもよい。可動剛体50は、その移動により、配置される複数の可動マーカー55の位置関係が変化しない程度の強度を有する各種の物体であり得る。
また、例えば、可動剛体50は、空間の上方に配置されなくてもよい。可動剛体50は、空間の側方、下方等、任意の場所に配置可能である。
次に、本実施形態に係る情報処理装置10の機能構成例について説明する。図2は、本実施形態に係る情報処理装置10の機能構成例について説明するためのブロック図である。
図2に示すように、本実施形態に係る情報処理装置10は、少なくとも処理部110および記憶部120を備える。
(処理部110)
本実施形態に係る処理部110は、カメラ30により撮影された画像および第1のマップデータに基づいて推定された、カメラ30に係る第1の位置姿勢と、カメラ30により撮影された画像および第2のマップデータに基づいて推定された、カメラ30に係る第2の位置姿勢と、に基づいて、第2のマップデータの書き換えを行うことを特徴の一つとする。
本実施形態に係る処理部110は、カメラ30により撮影された画像および第1のマップデータに基づいて推定された、カメラ30に係る第1の位置姿勢と、カメラ30により撮影された画像および第2のマップデータに基づいて推定された、カメラ30に係る第2の位置姿勢と、に基づいて、第2のマップデータの書き換えを行うことを特徴の一つとする。
上記第1のマップデータは、非可動体40に配置される複数の固定マーカー45の位置情報を含むデータである。
また、上記第2のマップデータは、可動剛体50に配置される複数の可動マーカー55の位置情報を含むデータである。
本実施形態に係る処理部110が有する機能は、各種のプロセッサにより実現される。本実施形態に係る処理部110が有する機能の詳細については別途説明する。
(記憶部120)
本実施形態に係る記憶部120は、システム1により用いられる各種の情報を記憶する。
本実施形態に係る記憶部120は、システム1により用いられる各種の情報を記憶する。
例えば、本実施形態に係る記憶部120は、第1のマップデータ、第2のマップデータを記憶する。
図3は、本実施形態に係る第1のマップデータ、第2のマップデータについて説明するための図である。
図3に示されるマップデータXfは、第1のマップデータの一例である。マップデータXfは、固定マーカー45の数Nfぶんの3次元座標配列(Nf×3(x,y,z))を含む。
また、図3に示されるマップデータXm1~XmNは、第2のマップデータの一例である。
上述したように、本実施形態に係るシステム1は、複数の可動剛体50、および各々の可動剛体50に配置される複数の可動マーカー55群を備えてもよい。この場合、記憶部120は、k(1,…,N)個のマップデータXmkを記憶してもよい。
マップデータXmkは、k番目の可動マーカー55群に関し、可動マーカー55の数Nkぶんの3次元座標配列(Nk×3(x,y,z))を含む。
なお、図3においては、複数のマップデータが独立して管理される場合を例示したが、本実施形態に係るマップデータは、例えば、グループID等のカラムを用いて1ファイルで管理されてもよい。
以上、本実施形態に係る情報処理装置10の機能構成例について述べた。ただし、図2を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置10の機能構成はかかる例に限定されない。
例えば、本実施形態に係る記憶部120は、情報処理装置10とは別途の装置に設けられてもよい。
また、例えば、本実施形態に係る情報処理装置10は、ユーザによる操作を受け付ける操作部等をさらに備えてもよい。
本実施形態に係る情報処理装置10の機能構成は、仕様、運用等に応じて柔軟に変形可能である。
<<1.2.詳細>>
次に、本実施形態に係るシステム1が有する機能について詳細に説明する。図4は、本実施形態に係るシステム1による処理の流れの一例を示すフローチャートである。
次に、本実施形態に係るシステム1が有する機能について詳細に説明する。図4は、本実施形態に係るシステム1による処理の流れの一例を示すフローチャートである。
図4に示すように、本実施形態に係るシステム1による処理は、初期キャリブレーションフェーズと再キャリブレーションフェーズに大別される。
初期キャリブレーションフェーズでは、第0のマップデータの生成(S110)、第1のマップデータおよび第2のマップデータの生成(S120)が実施される。
上記第0のマップデータとは、複数の固定マーカー45の位置情報および複数の可動マーカー55の位置情報を含むマップデータである。
ステップS110における第0のマップデータの生成は、例えば、非特許文献1に開示されるSfM処理と同等の処理により実現されてもよい。
ステップS110において、ユーザは、カメラ30を用いて様々な位置姿勢ですべての固定マーカー45および可動マーカー55を網羅するように撮影を行う。
また、処理部110は、上記のように撮影された画像から各マーカーの3次元位置推定を実行し、第0のマップデータを生成する。
また、処理部110は、第0のマップデータを用いて、各マーカーの3次元位置情報を物理空間にアラインし、スケール補正等を行う。
続くステップS120において、処理部110は、第0のマップデータから第1のマップデータおよび第2のマップデータを生成する。
処理部110は、例えば、ユーザによる固定マーカー45と可動マーカー55との切り分けに基づいて、第0のマップデータを分割し、第1のマップデータおよび第2のマップデータを生成してもよい。
このために、本実施形態に係る処理部110は、ユーザが固定マーカー45と可動マーカー55との切り分けを行うためのユーザインタフェースを制御してもよい。
図5は、本実施形態に係る固定マーカー45と可動マーカー55との切り分けを行うためのユーザインタフェースの一例を示す図である。
処理部110は、例えば、第0のマップデータに基づきマーカー間の位置関係を示す画像を表示装置20に表示させ、可動マーカー55のみを選択するようユーザに求めてもよい。
非可動体40と可動剛体50の位置関係、固定マーカー45の配置パターン、可動マーカー55の配置パターンを把握しているユーザであれば、表示される画像に基づき固定マーカー45と可動マーカー55との切り分けを容易に行うことが可能である。なお、ユーザが固定マーカー45と可動マーカー55との切り分けが可能であれば、固定マーカー45および可動マーカー55の配置パターンに特に制約はない。図5においては、ユーザにより選択された可動マーカー55がドット柄を用いて示される。
なお、システム1が複数の可動剛体50および可動マーカー55群を備える場合、処理部110は、固定マーカー45群、複数の可動マーカー55群の切り分けをユーザに求める。
また、処理部110はキャリブレーションの実現のために各マーカー群に関し、少なくとも4つのマーカーを含めるようにユーザに求めてもよい。ただし、各マーカー群に含まれるマーカーの数は、求める精度により決定されてよく、例えば、10個程度であってもよい。
一方、固定マーカー45または可動マーカー55のいずれか、あるいは固定マーカー45または可動マーカー55の両方が赤外線光を発する照明である場合、固定マーカー45と可動マーカー55とを区別可能な情報を赤外線光に載せて送信することも可能である。この場合、ユーザによる固定マーカー45と可動マーカー55との切り分けは必ずしも必要ではなく、処理部110は、上記赤外線光に含まれる情報に基づいて第0のマップデータから第1のマップデータおよび第2のマップデータを自動で生成することも可能である。
また、非可動体40および可動剛体50が平面を有し、固定マーカー45および可動マーカー55がそれぞれの平面に配置される場合、平面検出処理により検出された各平面に、ユーザがラベル付けを行うことで切り分けが実現されてもよい。
再び図4を参照して、本実施形態に係る再キャリブレーションフェーズについて説明する。
図4に示すように、本実施形態に係る再キャリブレーションフェーズでは、カメラ30の配置(S210)、可動剛体50の移動に伴う再キャリブレーション処理(S220)が実施される。なお、本実施形態に係る再キャリブレーションフェーズは、可動剛体50を移動する度に実施される。
図6は、本実施形態に係る再キャリブレーションフェーズにおけるカメラ30の配置について説明するための図である。
ステップS210において、カメラ30は、少なくとも4つの固定マーカー45および移動後の可動剛体50に配置される少なくとも4つの可動マーカー55が撮影可能な位置姿勢で配置される。図6には、カメラ30の画角35が示される。
ただし、撮影される画像に含むべき各マーカーの所定数は、求める精度により決定されてよく、例えば、10個程度であってもよい。
一方、上記所定数が満たされる限り、カメラ30の位置姿勢は自由であってよく、機材や小道具を避けて撮影可能な場所にカメラ30を配置すればよい。
次に、ステップS220における再キャリブレーション処理について説明する。図7は、本実施形態に係る再キャリブレーション処理の流れを示すフローチャートである。
本実施形態に係る再キャリブレーション処理では、非可動体40に配置される固定マーカー45群、可動剛体50に配置される可動マーカー55群ごとにカメラ30のポーズ(位置姿勢)キャプチャが実施される。
処理部110は、例えば、ステップS210においてカメラ30が配置された後、ユーザによる指示に基づきポーズキャプチャを開始してもよい。
ポーズキャプチャにおいて、処理部110は、まず、ポーズキャプチャの対象となるマーカー群に対応するマップデータを選択する(S221)。処理部110は、ユーザによる入力に基づき、マップデータの選択を行ってもよい。複数の可動剛体50、可動マーカー55群が存在する場合であっても、移動した可動剛体50の情報が入力されれば、処理部110は以降の処理を自動で完了することができる。
ポーズキャプチャの対象を固定マーカー45群とする場合、処理部110は、ステップS221においてマップデータXfを選択する。なお、マップデータXfは、第1のマップデータの一例である。
一方、ポーズキャプチャの対象をk番目の可動マーカー55群とする場合、処理部110は、ステップS221においてマップデータXmkを選択する。なお、マップデータXmkは、第2のマップデータの一例である。
次に、ステップS210において配置されたカメラ30により撮影された画像、およびステップS221において選択されたマップデータに基づき、カメラ30の位置姿勢が推定される(S222)。
例えば、対象マーカー群が固定マーカー45群である場合、カメラ30により撮影された画像とマップデータXfとに基づき第1の位置姿勢が推定される。
一方、対象マーカー群がk番目の可動マーカー55群である場合、カメラ30により撮影された画像とマップデータXmkとに基づき第2の位置姿勢が推定される。
ステップS222における第1の位置姿勢および第2の位置姿勢の推定に用いられる画像は、ステップS210において配置された、同一の位置姿勢におけるカメラ30により撮影された画像である。
また、上述したように、ステップS222における第1の位置姿勢および第2の位置姿勢に用いられる画像は、少なくとも所定数の固定マーカー45および少なくとも所定数の可動マーカー55を被写体として含む画像である。
なお、カメラ30の位置姿勢の推定は、カメラ30により実施されてもよいし、処理部110により実施されてもよい。
対象マーカー群ごとのポーズキャプチャが完了した場合、処理部110は、ステップS222において推定された第1の位置姿勢および第2の位置姿勢の差(ポーズ差)に基づき、対象となる可動剛体50(対象となる可動マーカー55群)の移動量を算出する(S223)。
なお、ステップS222におけるカメラ30の位置姿勢の推定が失敗した場合、ステップ223において算出した可動剛体50の移動量が所定の精度を満たさない場合等においては、処理部110は、カメラ30の再配置および再キャリブレーション処理のやり直しをユーザに求めてもよい。
一方、ステップS223において算出した可動剛体の移動量が所定の精度を満たす場合、処理部110は、ステップS223において算出した可動剛体50の移動量に基づき対象となるマップデータXmkの書き換えを行う(S224)。
図8は、本実施形態に係る可動剛体50の移動量の算出および第2のマップデータの書き換えについて説明するための図である。
図8では、マップデータXfを用いて推定された第1の位置姿勢Tfがドット柄の三角形で表される。また、図8では、マップデータXmkを用いて推定された第2の位置姿勢Tmkが格子柄の三角形で表される。
図8に示すように、可動剛体50(可動マーカー55群)の移動前に生成されたマップデータXmkを用いて推定される第2の位置姿勢Tmkと、可動剛体50の移動に影響を受けないマップデータXfを用いて推定される第1の位置姿勢Tfとには、可動剛体50(可動マーカー55群)の移動量に応じた差が生じる。
ここで、可動剛体50(可動マーカー55群)の移動が反映された第2のマップデータをX’mkとする。さらに、カメラ30の位置姿勢が図8の下方左側に示すように、SE3の剛体変換で表される場合、可動剛体50の移動が反映されたマップデータX’mkは、図8の下方右側に示す数式で求めることができる。このとき、~X’mk および ~Xmk はそれぞれマップデータの同次座標表現であり、両辺をつなぐ演算子 ~ はそれらの同値関係を表すものとする。なお、当該数式におけるTfTmk
-1は、可動剛体50の6自由度の位置姿勢の変化を表す剛体変換である。
このように、本実施形態に係る処理部110は、可動剛体50の移動量に基づき対象となるマップデータXmkの書き換えを行うことが可能である。
以上説明した再キャリブレーション処理によれば、すべてのマーカーを撮影するためにスタジオ内を動き回る必要がなく、また、マップデータXmkの書き換えを行った場合であっても物理空間へのアラインが不要となる。
このため、一般的な規模のスタジオであれば、再キャリブレーション処理を数分程度で完了することができ、時間と手間を大幅に低減することが可能となる。また、これにより、LEDパネル等の可動剛体50を撮影シーンに応じて移動させることが現実的となり、撮影方法の幅を広げることができる。
なお、上記では、カメラ30をある位置姿勢で固定して再キャリブレーション処理を行う場合について例示した。しかし、本実施形態に係る再キャリブレーション処理は、かかる例に限定されない。
本実施形態に係る再キャリブレーション処理は、撮影されたフレームごとに連続的に実施されてもよい。処理部110は、例えば、最もエラーの小さい推定結果でマップデータXmkを書き換えることができる。
この場合、ユーザは、カメラ30の位置姿勢を気にすることなく大まかにカメラ30を振り回すだけで再キャリブレーション処理を行うことが可能である。
<2.第2の実施形態>
<<2.1.構成例>>
次に、本開示の第2の実施形態について述べる。
<<2.1.構成例>>
次に、本開示の第2の実施形態について述べる。
第1の実施形態では、固定マーカー45および可動マーカー55が再帰性反射材、自ら赤外線光を照射可能な照明等である場合について述べた。
しかし、マーカーとして上記のような材料または機器を用いる場合、空間内に大量のマーカーを貼付する作業が求められる。
マーカーの貼付作業は、一般的に数時間以上を要することから、撮影シーン、撮影状況等に応じたマーカーの貼り直しは現実的ではなかった。
また、撮影環境では、セット、機材等がマーカーを遮蔽することによりカメラ30が当該マーカーを撮影できなくなった場合、カメラ30の位置姿勢のリアルタイムトラッキングもできなくなってしまう。
そこで、本開示の第2の実施形態では、カメラ30の位置姿勢のリアルタイムトラッキングに、照射装置60により照射される照射マーカー65を用いる。
図9は、本開示の第2の実施形態に係る照射マーカー65について説明するための図である。
再帰性反射材をマーカーとして用いる場合、カメラ30と同一の筐体(カメラリグ等)にマウントされるIRフラッシュライト等を用いて全方位に赤外線光を照射し、再帰性反射材により集光する構成が一般的である。
一方、本実施形態に係る照射装置60は、図9に示すように、任意の設置場所から赤外線レーザー光を設定されたパターンで照射する。これによれば、上記赤外線レーザー光が物体に反射される箇所に照射マーカー65が形成される。
上記のように形成される複数の照射マーカー65をカメラ30で撮影することにより、カメラ30の位置姿勢のリアルタイムトラッキングが可能である。
本実施形態に係る照射マーカー65によれば、上述したようなマーカーの貼付作業が不要となるため、セットアップに要する時間を大幅に短縮可能となる。
また、これまでは現実的ではなかった、撮影シーン、撮影状況等に応じたマーカーの再配置が容易に実現できる。
さらには、マーカーの再配置が容易に実現できることから、セット、機材等がマーカーを遮蔽することによりカメラ30が当該マーカーを撮影できなくなった場合であっても、マーカーの遮蔽を容易に回避可能となる。
また、上述したように、本実施形態に係る照射装置60は、カメラ30と同一の筐体(カメラリグ等)に備えられる必要はなく、任意の場所に配置可能である。このため、カメラリグ等の筐体にマウントするデバイスを小型化・軽量化することが可能となる。
しかし、カメラ30の位置姿勢のリアルタイムトラッキングに照射マーカー65を用いる場合、カメラ30の位置姿勢の推定精度を担保するためには、照射マーカー65の分布を適切とすることが求められる。
図10は、本実施形態に係る照射マーカー65の適切な分布例を示す図である。
図10の下段には、照射装置60による照射マーカー65の照射範囲およびカメラ30の画角の例が示される。また、図10の上段には、下段に示す状況のカメラ30により撮影される画像37の例が示される。
図10に例示する画像37では画像領域の全体に略均等に照射マーカー65が分布している。
カメラ30の位置姿勢のトラッキングを精度高く実現するためには、一般的に、図10に示すようにマーカーが画像全体に略均等に分布している状態(ただし、等間隔で整列している状態を除く)が望ましい。
一方、図11は、本実施形態に係る照射マーカー65の適切ではない分布例を示す図である。
図11の下段には、照射装置60による照射マーカー65の照射範囲およびカメラ30の画角の別例が示される。また、図11の上段には、下段に示す状況のカメラ30により撮影される画像37の例が示される。
図11に例示する画像37では一部の画像領域にのみ照射マーカー65が密集している。
マーカーが密すぎたり疎すぎたりする状態は、トラッキングアルゴリズムにとって望ましくなく、推定精度の低下を招く要因となる。
しかし、本実施形態のように、カメラ30とIR光源が分離される場合、両者の位置関係に応じてカメラ30により撮影される画像37における照射マーカー65のスケール、表示領域等が変化するため、照射マーカー65の分布が適切ではなくなる状況が生じやすい。
本開示の第2の実施形態に係る技術思想は、上記のような点に着目して発想されたものであり、適切なマーカーの照射分布を実現するものである。
以下、本開示の第2の実施形態に係るシステム2の構成例について詳細に説明する。
図12は、本開示の第2の実施形態に係るシステム2の構成例を示すブロック図である。
図12に示すように、第2の実施形態に係るシステム2は、情報処理装置10、表示装置20、カメラ30、および照射装置60を備える。
なお、以下においては、第1の実施形態との差異について主に説明し、第1の実施形態と共通する機能、効果等については詳細な説明を省略する。
(情報処理装置10)
本実施形態に係る情報処理装置10は、処理部110および記憶部120を備える。
本実施形態に係る情報処理装置10は、処理部110および記憶部120を備える。
本実施形態に係る処理部110は、照射装置60による照射マーカー65の照射を制御する照射制御部として機能することを特徴の一つとする。
また、本実施形態に係る処理部110は、照射装置60により照射された照射マーカー65を撮影するカメラ30の位置姿勢のトラッキングに関し、照射マーカー65の照射分布を評価する評価部として機能することを特徴の一つとする。
本実施形態に係る処理部110が有する機能の詳細については後述する。
なお、本実施形態に係る処理部110は、表示装置20、カメラ30、および照射装置60と有線または無線で接続される。
(記憶部120)
本実施形態に係る記憶部120は、システム2により用いられる各種の情報を記憶する。
本実施形態に係る記憶部120は、システム2により用いられる各種の情報を記憶する。
(カメラ30)
本実施形態に係るカメラ30は、第1の実施形態に係るカメラ30と実質的に同一であってもよいが、IR光源と同一の筐体にマウントする必要はない。
本実施形態に係るカメラ30は、第1の実施形態に係るカメラ30と実質的に同一であってもよいが、IR光源と同一の筐体にマウントする必要はない。
また、本実施形態に係るカメラ30は、後述するように、Event-based Vision Sensor(EVS)を備えてもよい。EVSは、各画素の輝度変化を検出し、輝度が変化したデータを座標および時間情報と組み合わせて出力する、高速かつ低遅延なデータ出力を実現するビジョンセンサーである。
(照射装置60)
本実施形態に係る照射装置60は、処理部110による制御に従い、照射マーカー65を照射する。
本実施形態に係る照射装置60は、処理部110による制御に従い、照射マーカー65を照射する。
本実施形態に係る照射装置60は、回折光学素子(Diffractive Optical Element: DOE)を備えてもよい。DOEは、光の回折現象を利用し、レーザー光を空間的に分岐させることができる素子である。
一方、本実施形態に係る照射装置60は、ガルバノスキャナであってもよい。ガルバノスキャナとは、2軸または3軸のレーザー光反射鏡を調節することによってレーザー光をピンポイントで高精度に照射する装置である。
照射装置60としてガルバノスキャナを採用する場合、レーザー光反射鏡を制御することで多様な照射パターンを実現可能である。
また、本実施形態に係る照射装置60は、後述するように、処理部110による制御に従い、Light Detection and Ranging(LiDAR)を実施してもよい。
以上、本実施形態に係るシステム2の構成例について述べた。なお、図12を用いて説明した上記の構成はあくまで一例であり、本実施形態に係るシステム2の構成はかかる例に限定されない。
本実施形態に係るシステム2の構成は、仕様、運用等に応じて柔軟に変形可能である。
例えば、システム2は、カメラ30と照射装置60をそれぞれ2台以上備えてもよい。
<<2.2.詳細>>
次に、本実施形態に係るシステム2が有する機能について詳細に説明する。
次に、本実施形態に係るシステム2が有する機能について詳細に説明する。
上述したように、カメラ30の位置姿勢の推定の精度を担保するためには、照射マーカー65の照射分布を適切とすることが求められる。
上記を実現するために、本実施形態に係る処理部110は、照射マーカー65の照射分布の適切性を評価する評価部として機能する。
例えば、本実施形態に係る処理部110は、カメラ30により撮影された画像37における照射マーカー65の密度に基づき照射マーカー65の照射分布を評価してもよい。
本実施形態に係る処理部110は画像37における照射マーカー65の密度と、採用されるトラッキングアルゴリズムが求める密度の基準とを比較することにより、照射マーカー65の照射分布を評価してもよい。
また、例えば、本実施形態に係る処理部110は、カメラ30により撮影された画像37における照射マーカー65が存在しない領域に基づき照射マーカー65の照射分布を評価してもよい。
本実施形態に係る処理部110は、画像37における照射マーカー65が存在しない領域と、採用されるトラッキングアルゴリズムが求める当該領域の基準とを比較することにより、照射マーカー65の照射分布を評価してもよい。
また、例えば、本実施形態に係る処理部110は、カメラ30により撮影された画像37をM×Nの複数のグリッドに分割し、当該複数のグリッドの各々における照射マーカー65の数に基づき、照射マーカー65の照射分布を評価してもよい。
図13および図14は、本実施形態に係るグリッドを用いた評価について説明するための図である。
図13および図14の左側には、カメラ30により撮影された画像37を6×8のグリッドに分割した例が示される。
また、図13および図14の右側には、各グリッドに存在する照射マーカー65の数をカウントした結果が示される。
図13に示す例では、すべてのグリッドに照射マーカー65が存在し、かつグリッドにおける照射マーカー65の最大数は4に抑えられている。
このように、各グリッドに照射マーカー65が略均等に存在する場合、本実施形態に係る処理部110は、照射マーカー65の照射分布が適切であると評価してもよい。
一方、図14に示す例では、過半数を超えるグリッドに照射マーカー65が存在せず、かつグリッドにおける照射マーカー65の最大数は11である。すなわち、図14に示す例では、照射マーカー65が局所的に密集している。
このように、一部のグリッドへの照射マーカー65の密集を検出した場合、本実施形態に係る処理部110は、照射マーカー65の照射分布が適切ではないと評価してもよい。
なお、処理部110による評価基準は、採用するトラッキングアルゴリズムに応じて適宜設計されてよい。
また、本実施形態に係る処理部110は、上記のような評価の結果を表示装置20に表示させてもよい。
これによれば、表示装置20により評価の結果を確認したユーザが、カメラ30の位置姿勢、照射装置60の位置姿勢、照射パターン(照射範囲、スケール等)を調節することで、照射マーカー65の照射分布を適切なものとすることができる。
例えば、ユーザは、照射装置60を設置後、カメラ30をその動作範囲の中央付近に配置した状態で処理部110により照射マーカー65の照射分布が適切と評価されるまで照射装置60の照射パターンを調節してもよい。
一方、照射装置60の照射範囲、スケール等の調節は、処理部110により自動で実施されてもよい。すなわち、本実施形態に係る処理部110は、照射マーカー65の照射分布の評価に基づき、照射装置60による照射マーカー65の照射パターンを制御してもよい。
例えば、本実施形態に係る処理部110は、照射マーカー65の照射分布の評価が所定の基準を満たすまで、照射マーカー65の照射パターンの変更を繰り返してもよい。
例えば、本実施形態に係る処理部110は、所定の基準を満たす照射マーカー65の照射分布を得るために、探索アルゴリズムを用いて照射装置60の照射範囲、スケール等の適切なパラメータを探索してもよい。
以上説明したように、本実施形態に係る照射マーカー65の照射分布の評価によれば、人手または自動で照射装置60の照射パターンを調整することが可能となる。
なお、あるカメラ30の位置姿勢に関し評価および調整が完了した場合、カメラ30をその可動域内で移動させ複数の位置姿勢に関し複数の評価が行われてもよい。この場合、複数の位置姿勢に関する複数の評価が最大化するよう照射装置60の照射パターンを調整されてもよい。
また、複数の位置姿勢に関し複数の評価を行う場合、三角測量により照射マーカー65のスケール不定3次元位置を求め、照射装置60の照射パターンを調整に活用することも可能である。また、カメラ30が備えるInertial Measurement Unit(IMU)を備える場合、求めたスケール不定3次元位置に物理的なスケールを与えたデータを取得し、当該データを照射装置60の照射パターンを調整に活用することも可能である。
ここで、カメラ30のリアルトラッキングのセットアップ手順に関し、再帰性反射材マーカーを用いる場合と照射マーカー65を用いる場合との差異について説明する。
図15は、再帰性反射材マーカーを用いる場合のセットアップ手順を示すフローチャートである。
再帰性反射材マーカーを用いる場合のセットアップ手順は、再帰性反射材マーカー貼付(S901)、マップ生成(S902)、マウントオフセット設定(S903)、およびワールドオフセット設定(S904)から成る。
一方、図16は、本実施形態に係る照射マーカー65を用いる場合のセットアップ手順を示すフローチャートである。
本実施形態に係る照射マーカー65を用いる場合のセットアップ手順は、照射装置60の設置、および照射装置60の照射パターンの最適化(S301)、マップ生成(S302)、マウントオフセット設定(S303)、およびワールドオフセット設定(S304)から成る。
ステップS301における処理は、上述したとおりである。
ステップS302におけるマップ生成は、各マーカーの3次元座標を求める処理であり、再帰性反射材マーカーを用いる場合のステップS102における処理と同一である。マップ生成のためには、カメラ30を多様な位置姿勢に変更しマーカーを撮影することが求められる。
ステップS303におけるマウントオフセット設定は、トラッキング対象であるカメラ30とシネマカメラ間のオフセットを設定する処理であり、再帰性反射材マーカーを用いる場合のステップS103における処理と同一である。マウントオフセット設定は、両カメラの位置姿勢の関係を変更した場合に再設定が求められる。
ステップS304におけるワールドオフセット設定は、マーカーの3次元座標を基準の座標系にアラインする処理であり、再帰性反射材マーカーを用いる場合のステップS104における処理と同一である。ワールドオフセット設定は、マップ生成を実行した後に必ず実施される。
以上、カメラ30のリアルトラッキングのセットアップ手順に関し、再帰性反射材マーカーを用いる場合と照射マーカー65を用いる場合との差異について説明した。
次に、本実施形態に係る照射装置60が、処理部110による制御に従い、LiDARを実施する場合について説明する。
本実施形態に係る照射マーカー65は、照射装置60によるLiDARにおいて照射されるレーザー光により形成されてもよい。この場合、本実施形態に係る処理部110は、照射装置60によるLiDARにおけるレーザー光の照射を制御する。
一般的にLiDARの測距点は等間隔に整列される。しかし、本実施形態に係るカメラ30のトラッキングにおいては、照射マーカー65同士の位置関係に基づき照射マーカー65の各々が識別される。
このため、本実施形態に係る処理部110は、照射装置60によるLiDARにおいて、レーザー光により生成される照射マーカー65の間隔が等間隔とならないよう制御してもよい。
本実施形態に係る処理部110は、例えば、照射マーカー65の間隔がランダムとなるよう照射装置60を制御してもよい。
上記のような制御によれば、LiDARを用いた精度の高いトラッキングを実現することができる。
また、照射装置60がLiDARを実施する場合、物理スケールを伴う照射マーカー65の3次元位置を照射装置60単独で取得することが可能となる。
続いて、照射装置60がLiDARを実施する場合の照射パターンの制御について述べる。
図17は、本実施形態に係る照射装置60がLiDARを実施する場合の照射パターンの制御例について説明するための図である。
図17には、処理部110が制御するGraphical User Interface(GUI)の一例が示される。
例えば、図17に示すように、本実施形態に係る処理部110は、撮影空間における照射装置60の位置姿勢を示すアイコンI60、および照射装置60により照射される照射マーカー65の位置を示すアイコンI65を可視化してユーザに提示する。
ユーザは、アイコンI60およびアイコンI65を目印として、カメラ30の可動範囲を指定できてよい(図17においては、当該可動範囲を太枠で示す)。なお、当該可動範囲は参考値であるため、おおよその指定でよい。
本実施形態に係る処理部110は、指定された可動範囲を複数のグリッドに分割し、ユーザに提示する。
ユーザは、提示されたグリッドにカメラ30の位置姿勢を示すアイコンI30を配置することで、配置に相当する位置姿勢におけるカメラ30に照射マーカー65がどのように写るのかをシミュレーションできてよい。
また、処理部110は、カメラ30の姿勢を複数パターン変えて計算することで、ユーザが指定した空間内における画像37の見え方のおおよそのシミュレーションを実施してもよい。
さらには、処理部110は、上記のようなシミュレーションの結果を最適化し、どの位置においてもトラッキングアルゴリズムが安定的に動作するように照射装置60の照射パターンに係るパラメータを自動で探索してもよい。
次に、本実施形態に係る照射装置60がLiDARを実施する場合のセットアップ手順について説明する。
図18は、本実施形態に係る照射装置60がLiDARを実施する場合のセットアップ手順を示すフローチャートである。
照射装置60がLiDARを実施する場合、セットアップ手順は、照射装置60の設置、および照射装置60の照射パターンの最適化(S401)、マウントオフセット設定(S403)、およびワールドオフセット設定(S404)から成る。
照射装置60がLiDARを実施する場合、ステップS401における処理により照射マーカー65の各々の三次元位置が求まっているため、マップ生成をスキップ可能である。
また、マップ生成をスキップすることで、撮影空間においてカメラ30を移動させるために動き回る必要がなくなり、トラッキング以外のセットアップ作業と干渉するリスクを低減することができる。
なお、処理部110は、LiDARにより測距した照射マーカー65の3次元座標を初期値とし、トラッキング中に得られた画像37、IMUの取得値等に基づき当該初期値を改善してもよい。
以上、本実施形態に係る照射装置60がLiDARを実施する場合のセットアップ手順について説明した。
次に、図19を参照して、本実施形態に係るLiDARにおける照射マーカー65の点滅パターンの制御について述べる。
本実施形態に係る処理部110は、LiDARにおけるレーザー光の走査に関し、レーザー光により生成される照射マーカー65の各々の点滅パターンが互いに異なるよう制御してもよい。
具体的には、本実施形態に係る処理部110は、照射マーカー65の各々に係るレーザー光に互いに異なる強度変調を施してもよい。
この際、EVSを備えるカメラ30によれば、互いに異なる強度変調が施されたレーザー光により生成される照射マーカー65ごとの独自の点滅パターンを検出することができる。また、また検出された点滅パターンと、記憶された点滅パターン‐IDの組み合わせとに基づいて、照射マーカー65の各々のIDを識別することが可能となる。
上述したように、一般的なトラッキングシステムにおいては、各マーカーに特徴がなく、マーカー同士の位置関係に基づき各マーカーが識別されるため、複数のマーカーをランダムに配置することが求められる。
しかし、本実施形態に係る照射マーカー65の点滅パターンの制御によれば、照射マーカー65の配置はランダムである必要はなく、等間隔で配置されてもよい。
また、EVSは、一般的なIRカメラと比較して圧倒的に処理が軽いため、少ない計算リソースであっても高速に処理が可能である。
なお、EVSを備えるカメラ30の位置姿勢は、LiDAR測距により照射マーカー65の各々の三次元位置が既知であるため、画像37上の照射マーカー65の位置と3次元空間上の照射マーカー65の位置とを用いたPnP問題を解くことにより求めることができる。
以上、本開示の第2の実施形態について説明した。
なお、第1の実施形態においては、固定マーカー45および可動マーカー55が再帰性反射材等である場合について述べたが、固定マーカー45および可動マーカー55は、第2の実施形態と同様にレーザー光により形成されてもよい。
この場合、レーザー光により形成される可動マーカー55の可動剛体50の移動に基づく位置変化を予め計算することで当該位置変化を吸収可能である。
処理部110は、予めの計算に基づき可動マーカー55の3次元位置を修正してもよいし、予めの計算に基づき可動マーカー55の照射パターンを調整してもよい。
<3.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理装置90のハードウェア構成例について説明する。図20は、本開示の一実施形態に係る情報処理装置90のハードウェア構成例を示すブロック図である。情報処理装置90は、第1の実施形態に係る情報処理装置10および第2の実施形態に係る情報処理装置10と同等のハードウェア構成を有する装置であってよい。
次に、本開示の一実施形態に係る情報処理装置90のハードウェア構成例について説明する。図20は、本開示の一実施形態に係る情報処理装置90のハードウェア構成例を示すブロック図である。情報処理装置90は、第1の実施形態に係る情報処理装置10および第2の実施形態に係る情報処理装置10と同等のハードウェア構成を有する装置であってよい。
図20に示すように、情報処理装置90は、例えば、プロセッサ871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(プロセッサ871)
プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記憶媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記憶媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体901に記録された情報を読み出し、又はリムーバブル記憶媒体901に情報を書き込む装置である。
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体901に記録された情報を読み出し、又はリムーバブル記憶媒体901に情報を書き込む装置である。
(リムーバブル記憶媒体901)
リムーバブル記憶媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
リムーバブル記憶媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<4.まとめ>
以上説明したように、本開示の一実施形態に係る情報処理装置10は、カメラ30により撮影された画像と、非可動体40に配置される複数の固定マーカー45の位置情報を含む第1のマップデータと、に基づいて推定された、カメラ30に係る第1の位置姿勢と、上記画像と、可動剛体50に配置される複数の可動マーカー55の位置情報を含む第2のマップデータと、に基づいて推定された、カメラ30に係る第2の位置姿勢と、に基づいて、第2のマップデータの書き換えを行う処理部110を備える。
以上説明したように、本開示の一実施形態に係る情報処理装置10は、カメラ30により撮影された画像と、非可動体40に配置される複数の固定マーカー45の位置情報を含む第1のマップデータと、に基づいて推定された、カメラ30に係る第1の位置姿勢と、上記画像と、可動剛体50に配置される複数の可動マーカー55の位置情報を含む第2のマップデータと、に基づいて推定された、カメラ30に係る第2の位置姿勢と、に基づいて、第2のマップデータの書き換えを行う処理部110を備える。
上記の構成によれば、可動剛体に配置される可動マーカーのキャリブレーション効率を大きく改善することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本開示において説明した処理に係る各ステップは、必ずしもフローチャートやシーケンス図に記載された順序に沿って時系列に処理される必要はない。例えば、各装置の処理に係る各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本開示において説明した各装置による一連の処理は、コンピュータにより読み取り可能な非一過性の記憶媒体(non-transitory computer readable storage medium)に格納されるプログラムにより実現されてもよい。各プログラムは、例えば、コンピュータによる実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行う処理部、
を備える、
情報処理装置。
(2)
前記処理部は、前記第1の位置姿勢と前記第2の位置姿勢に基づいて前記可動剛体の移動量を算出し、当該移動量に基づいて前記第2のマップデータの書き換えを行う、
前記(1)に記載の情報処理装置。
(3)
複数の前記可動マーカーの位置関係は、前記可動剛体の移動に依らず不変である、
前記(1)または(2)のいずか一項に記載の情報処理装置。
(4)
前記第1の位置姿勢および前記第2の位置姿勢の推定に用いられる前記画像は、同一の位置姿勢における前記カメラにより撮影される、
前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
前記第1の位置姿勢および前記第2の位置姿勢の推定に用いられる前記画像は、少なくとも4つの前記固定マーカーおよび少なくとも4つの前記可動マーカーを被写体として含む、
前記(1)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記処理部は、複数の前記固定マーカーの位置情報および複数の前記可動マーカーの位置情報を含む第0のマップデータから、前記第1のマップデータおよび前記第2のマップデータを生成する、
前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記処理部は、前記固定マーカーと前記可動マーカーとの切り分けを行うためのユーザインタフェースを制御する、
前記(6)に記載の情報処理装置。
(8)
前記可動剛体は、表示装置を含む、
前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記可動剛体は、少なくとも鉛直方向に移動する、
前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記固定マーカーおよび前記可動マーカーは、再帰性反射材を含む、
前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記固定マーカーおよび前記可動マーカーは、照射装置により照射される、
前記(1)~(9)のいずれか一項に記載の情報処理装置。
(12)
前記(1)~(11)のいずれかに記載の前記情報処理装置と、
前記カメラと、
複数の前記固定マーカーと、
複数の前記可動マーカーと、
を備える、
システム。
(13)
プロセッサが、
カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行うこと、
を含む、
情報処理方法。
(14)
コンピュータを、
カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行う処理部、
を備える、
情報処理装置、
として機能させるプログラム。
(1)
カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行う処理部、
を備える、
情報処理装置。
(2)
前記処理部は、前記第1の位置姿勢と前記第2の位置姿勢に基づいて前記可動剛体の移動量を算出し、当該移動量に基づいて前記第2のマップデータの書き換えを行う、
前記(1)に記載の情報処理装置。
(3)
複数の前記可動マーカーの位置関係は、前記可動剛体の移動に依らず不変である、
前記(1)または(2)のいずか一項に記載の情報処理装置。
(4)
前記第1の位置姿勢および前記第2の位置姿勢の推定に用いられる前記画像は、同一の位置姿勢における前記カメラにより撮影される、
前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
前記第1の位置姿勢および前記第2の位置姿勢の推定に用いられる前記画像は、少なくとも4つの前記固定マーカーおよび少なくとも4つの前記可動マーカーを被写体として含む、
前記(1)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記処理部は、複数の前記固定マーカーの位置情報および複数の前記可動マーカーの位置情報を含む第0のマップデータから、前記第1のマップデータおよび前記第2のマップデータを生成する、
前記(1)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記処理部は、前記固定マーカーと前記可動マーカーとの切り分けを行うためのユーザインタフェースを制御する、
前記(6)に記載の情報処理装置。
(8)
前記可動剛体は、表示装置を含む、
前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記可動剛体は、少なくとも鉛直方向に移動する、
前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記固定マーカーおよび前記可動マーカーは、再帰性反射材を含む、
前記(1)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記固定マーカーおよび前記可動マーカーは、照射装置により照射される、
前記(1)~(9)のいずれか一項に記載の情報処理装置。
(12)
前記(1)~(11)のいずれかに記載の前記情報処理装置と、
前記カメラと、
複数の前記固定マーカーと、
複数の前記可動マーカーと、
を備える、
システム。
(13)
プロセッサが、
カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行うこと、
を含む、
情報処理方法。
(14)
コンピュータを、
カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行う処理部、
を備える、
情報処理装置、
として機能させるプログラム。
1、2 システム
10 情報処理装置
110 処理部
120 記憶部
20 表示装置
30 カメラ
40 非可動体
45 固定マーカー
50 可動剛体
55 可動マーカー
60 照射装置
65 照射マーカー
10 情報処理装置
110 処理部
120 記憶部
20 表示装置
30 カメラ
40 非可動体
45 固定マーカー
50 可動剛体
55 可動マーカー
60 照射装置
65 照射マーカー
Claims (14)
- カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行う処理部、
を備える、
情報処理装置。 - 前記処理部は、前記第1の位置姿勢と前記第2の位置姿勢に基づいて前記可動剛体の移動量を算出し、当該移動量に基づいて前記第2のマップデータの書き換えを行う、
請求項1に記載の情報処理装置。 - 複数の前記可動マーカーの位置関係は、前記可動剛体の移動に依らず不変である、
請求項1に記載の情報処理装置。 - 前記第1の位置姿勢および前記第2の位置姿勢の推定に用いられる前記画像は、同一の位置姿勢における前記カメラにより撮影される、
請求項1に記載の情報処理装置。 - 前記第1の位置姿勢および前記第2の位置姿勢の推定に用いられる前記画像は、少なくとも4つの前記固定マーカーおよび少なくとも4つの前記可動マーカーを被写体として含む、
請求項1に記載の情報処理装置。 - 前記処理部は、複数の前記固定マーカーの位置情報および複数の前記可動マーカーの位置情報を含む第0のマップデータから、前記第1のマップデータおよび前記第2のマップデータを生成する、
請求項1に記載の情報処理装置。 - 前記処理部は、前記固定マーカーと前記可動マーカーとの切り分けを行うためのユーザインタフェースを制御する、
請求項6に記載の情報処理装置。 - 前記可動剛体は、表示装置を含む、
請求項1に記載の情報処理装置。 - 前記可動剛体は、少なくとも鉛直方向に移動する、
請求項1に記載の情報処理装置。 - 前記固定マーカーおよび前記可動マーカーは、再帰性反射材を含む、
請求項1に記載の情報処理装置。 - 前記固定マーカーおよび前記可動マーカーは、照射装置により照射される、
請求項1に記載の情報処理装置。 - 請求項1に記載の前記情報処理装置と、
前記カメラと、
複数の前記固定マーカーと、
複数の前記可動マーカーと、
を備える、
システム。 - プロセッサが、
カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行うこと、
を含む、
情報処理方法。 - コンピュータを、
カメラにより撮影された画像と、非可動体に配置される複数の固定マーカーの位置情報を含む第1のマップデータと、に基づいて推定された、前記カメラに係る第1の位置姿勢と、
前記画像と、可動剛体に配置される複数の可動マーカーの位置情報を含む第2のマップデータと、に基づいて推定された、前記カメラに係る第2の位置姿勢と、
に基づいて、前記第2のマップデータの書き換えを行う処理部、
を備える、
情報処理装置、
として機能させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-160971 | 2022-10-05 | ||
JP2022160971 | 2022-10-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024075475A1 true WO2024075475A1 (ja) | 2024-04-11 |
Family
ID=90607850
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/033195 WO2024075476A1 (ja) | 2022-10-05 | 2023-09-12 | 情報処理装置、情報処理方法、およびプログラム |
PCT/JP2023/033194 WO2024075475A1 (ja) | 2022-10-05 | 2023-09-12 | 情報処理装置、システム、情報処理方法、およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/033195 WO2024075476A1 (ja) | 2022-10-05 | 2023-09-12 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (2) | WO2024075476A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008070319A (ja) * | 2006-09-15 | 2008-03-27 | Canon Inc | 物体計測装置および方法 |
JP2008224626A (ja) * | 2007-03-15 | 2008-09-25 | Canon Inc | 情報処理装置、情報処理方法、校正治具 |
JP2008275340A (ja) * | 2007-04-25 | 2008-11-13 | Canon Inc | 情報処理装置、情報処理方法 |
WO2020138345A1 (ja) * | 2018-12-27 | 2020-07-02 | 日本電気通信システム株式会社 | 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102822623A (zh) * | 2011-04-05 | 2012-12-12 | 三洋电机株式会社 | 信息取得装置、投射装置及物体检测装置 |
JP2014085282A (ja) * | 2012-10-25 | 2014-05-12 | Sanyo Electric Co Ltd | 情報取得装置および物体検出装置 |
JP6412799B2 (ja) * | 2015-01-07 | 2018-10-24 | 株式会社Nttドコモ | 形状認識装置及び形状認識方法 |
US10839536B2 (en) * | 2018-10-02 | 2020-11-17 | Facebook Technologies, Llc | Depth sensing using grid light patterns |
EP4006485A1 (en) * | 2020-11-25 | 2022-06-01 | Prophesee | Method for automatically adapting a pattern projection rate in an active perception system |
WO2023145556A1 (ja) * | 2022-01-25 | 2023-08-03 | パナソニックIpマネジメント株式会社 | 距離測定装置 |
-
2023
- 2023-09-12 WO PCT/JP2023/033195 patent/WO2024075476A1/ja unknown
- 2023-09-12 WO PCT/JP2023/033194 patent/WO2024075475A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008070319A (ja) * | 2006-09-15 | 2008-03-27 | Canon Inc | 物体計測装置および方法 |
JP2008224626A (ja) * | 2007-03-15 | 2008-09-25 | Canon Inc | 情報処理装置、情報処理方法、校正治具 |
JP2008275340A (ja) * | 2007-04-25 | 2008-11-13 | Canon Inc | 情報処理装置、情報処理方法 |
WO2020138345A1 (ja) * | 2018-12-27 | 2020-07-02 | 日本電気通信システム株式会社 | 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2024075476A1 (ja) | 2024-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9677755B1 (en) | Controlling three-dimensional lighting arrangements | |
US10872467B2 (en) | Method for data collection and model generation of house | |
US10237957B2 (en) | Method for automatically mapping light elements in an assembly of light structures | |
CN110383343B (zh) | 不一致检测***、混合现实***、程序和不一致检测方法 | |
Singh et al. | Bigbird: A large-scale 3d database of object instances | |
US20190122425A1 (en) | Robot motion planning for photogrammetry | |
JP5404428B2 (ja) | コンピュータ制御された照明システム | |
CN109032348B (zh) | 基于增强现实的智能制造方法与设备 | |
AU2019281667A1 (en) | Data collection and model generation method for house | |
JP2023111962A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN106873550A (zh) | 模拟装置以及模拟方法 | |
JP2007036482A (ja) | 情報投影表示装置およびプログラム | |
CN106524922A (zh) | 测距校准方法、装置和电子设备 | |
JP2009217363A (ja) | 環境地図生成装置、方法及びプログラム | |
JP2018005115A (ja) | 投写画像調整システム及び投写画像調整方法 | |
CN111161358B (zh) | 一种用于结构光深度测量的相机标定方法和装置 | |
US20180204387A1 (en) | Image generation device, image generation system, and image generation method | |
JP2015088819A (ja) | 撮像シミュレーション装置 | |
JP2023546739A (ja) | シーンの3次元モデルを生成するための方法、装置、およびシステム | |
WO2024075475A1 (ja) | 情報処理装置、システム、情報処理方法、およびプログラム | |
CN110347007B (zh) | 一种投影灯中激光器的校准方法和装置 | |
KR20150111627A (ko) | 객체 인덱싱을 통한 공연 시설물 컨트롤 장치 및 방법 | |
CN113450414A (zh) | 一种摄像机标定方法、设备、***及存储介质 | |
JP2006098255A (ja) | 撮影方法、撮影システム、複合装置、3次元形状復元方法、プログラム及び情報記録媒体 | |
KR20200089072A (ko) | 조명 공간 정보 획득 장치 및 그 방법과 대상 공간의 조명 환경 평가 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23874604 Country of ref document: EP Kind code of ref document: A1 |