WO2018056206A1 - 変位計測装置、変位計測システム、変位計測方法及びプログラム - Google Patents
変位計測装置、変位計測システム、変位計測方法及びプログラム Download PDFInfo
- Publication number
- WO2018056206A1 WO2018056206A1 PCT/JP2017/033438 JP2017033438W WO2018056206A1 WO 2018056206 A1 WO2018056206 A1 WO 2018056206A1 JP 2017033438 W JP2017033438 W JP 2017033438W WO 2018056206 A1 WO2018056206 A1 WO 2018056206A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- time
- displacement
- image including
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- This disclosure relates to displacement measurement.
- Patent Document 1 discloses a correction method at the time of displacement measurement by subtracting an error due to movement of a camera device.
- Patent Document 2 discloses a method for calculating the displacement of the subject by simultaneously photographing the subject and a fixed point other than the subject.
- Non-Patent Documents 1 and 2 disclose bundle adjustment for restoring the three-dimensional shape of an object from an image.
- Hayato Obama and 5 others "3D shape restoration based on bundle adjustment method using Affine-SIFT algorithm”
- Proceedings of Fire Country Information Symposium 2012, Information Processing Society of Japan, March 2012 Yuki Iwamoto and two others “Implementation and evaluation of bundle adjustment for 3D reconstruction", Information Processing Society of Japan Research Report, Vol.2011-CVIM-175, No.19, Information Processing Society of Japan, January 2011
- Patent Documents 1 and 2 both disclose a method of suppressing the influence of camera movement in displacement measurement using a captured image.
- the methods described in Patent Documents 1 and 2 have a problem that it is difficult to measure the displacement of the measurement object with high accuracy unless the resolution of the camera is sufficiently high.
- An exemplary object of the present disclosure is to provide a technique for measuring a displacement of a measurement object with high accuracy.
- a displacement measuring device including a calculating means for calculating a difference between the second position at the first time and the second position at the second time when the first position is used as a reference. Is done.
- photographing means for photographing an image including a first position and an image including a second position at a first time and a second time, the plurality of acquired images, and the photographing Using the association information calculated based on the configuration information of the means, the second position in the first time and the second time in the second time when the first position is used as a reference
- a displacement measurement system includes calculation means for calculating a difference from the position.
- the image including the first position and the image including the second position which are imaged at the first time by the image capturing unit, and the image captured at the second time by the image capturing unit.
- An image including the first position and an image including the second position are acquired, and the first information is obtained using the acquired plurality of images and association information calculated based on configuration information of the photographing unit.
- the image captured at the first time by the image capturing means on the computer the image including the first position and the image including the second position, and the image captured at the second time by the image capturing means.
- the displacement of the measurement object is measured with high accuracy.
- FIG. 1 is a block diagram illustrating an example of the configuration of the displacement measuring apparatus.
- FIG. 2A is a conceptual diagram for explaining the displacement calculated by the calculation unit.
- FIG. 2B is another conceptual diagram for explaining the displacement calculated by the calculation unit.
- FIG. 3 is a flowchart illustrating an example of a displacement measuring method executed by the displacement measuring apparatus.
- FIG. 4 is a block diagram illustrating an example of the configuration of the displacement measurement system.
- FIG. 5 is a diagram illustrating the positional relationship of the cameras.
- FIG. 6 is a diagram illustrating a measurement object and a shooting position.
- FIG. 7 is an explanatory diagram illustrating an example of a calibration execution method for calculating a homogeneous transformation matrix.
- FIG. 1 is a block diagram illustrating an example of the configuration of the displacement measuring apparatus.
- FIG. 2A is a conceptual diagram for explaining the displacement calculated by the calculation unit.
- FIG. 2B is another conceptual diagram for explaining the displacement calculated by the calculation unit.
- FIG. 8 is a flowchart illustrating an example of a displacement measurement process executed by the displacement measurement apparatus.
- FIG. 9 is a block diagram illustrating another example of the configuration of the displacement measurement system.
- FIG. 10A is a block diagram illustrating another example of the configuration of the displacement measuring apparatus.
- FIG. 10B is a block diagram illustrating still another example of the configuration of the displacement measuring device.
- FIG. 10C is a block diagram illustrating still another example of the configuration of the displacement measuring device.
- FIG. 11 is a block diagram illustrating still another example of the configuration of the displacement measurement system.
- FIG. 12 is a block diagram illustrating still another example of the configuration of the displacement measurement system.
- FIG. 13 is a block diagram illustrating an example of a hardware configuration of the computer apparatus.
- FIG. 1 is a block diagram showing a configuration of a displacement measuring apparatus 100 according to one embodiment.
- the displacement measuring device 100 is a device for measuring the displacement in the measurement object.
- the displacement measuring apparatus 100 includes at least an acquisition unit 110 and a calculation unit 120.
- Measured objects here are, for example, buildings such as buildings and bridges.
- the measurement object is an object that requires highly accurate displacement measurement compared to its size.
- the measurement object is not limited to a specific object as long as displacement measurement by a method described later is possible.
- the displacement of the measurement object can be caused by factors such as time (deterioration, etc.), temperature (thermal expansion, etc.), load (existence of load, etc.), but is not limited to a specific factor.
- the acquisition unit 110 acquires an image photographed by the photographing unit.
- the imaging unit referred to here is, for example, a camera having an image sensor for converting light into image information for each pixel, such as a charge-coupled device (CCD) image sensor or a complementary metal-oxide-semiconductor (CMOS) image sensor. It is configured to include one or more.
- the imaging unit may be mounted on a moving body such as a vehicle or an aircraft.
- the acquisition unit 110 acquires an image by receiving input of image data expressed in a predetermined format, for example.
- the image acquired by the acquisition unit 110 may be a visible image, or may be an image including information on the wavelength of an invisible region such as near infrared light.
- the image acquired by the acquisition unit 110 may be either a monochrome image or a color image, and the number of pixels and the number of gradations (color depth) are not particularly limited.
- the acquisition by the acquisition unit 110 may be acquisition via a communication line, or may be reading from a recording medium included in the own device or another device.
- the acquisition unit 110 acquires an image including the first position and an image including the second position.
- the first position is a position used as a reference in displacement measurement.
- the second position is a position different from the first position and is a position to be subjected to displacement measurement.
- the first position is a position where the displacement does not substantially occur or the displacement is negligibly small compared to the second position.
- the second position is, for example, a position where displacement is likely to occur or a position where displacement can be easily measured.
- the image including the first position is also referred to as “first image”
- the image including the second position is also referred to as “second image”.
- the first position and the second position may be any positions as long as they can be distinguished from other positions.
- the first position and the second position may be positions provided with markers that facilitate optical identification such as so-called markers.
- the first position and the second position may be optically identified by unevenness of the object surface or a minute difference in color.
- the second position is a part of the measurement object.
- the first position may or may not be a part of the measurement object.
- the first position may be a part of another object that is less displaced (or not displaced) than the measurement object. That is, the first position and the second position are not necessarily included in a single object.
- the acquisition unit 110 acquires a first image and a second image taken at the first time, and a first image and a second image taken at the second time.
- the acquisition unit 110 acquires a plurality of first images and second images that are captured at different timings.
- the second time is, for example, a period after the first time and in which the measurement object is displaced (or possibly).
- a plurality of first images and second images may be taken at each of the first period and the second period.
- the first image and the second image are, for example, a pair of images taken at a specific timing.
- the acquisition unit 110 can also acquire a first image and a second image by acquiring a moving image from the photographing unit and extracting a still image at a specific point in time of the acquired moving image.
- the acquisition unit 110 extracts still images captured at the same time from a plurality of moving images captured by a plurality of cameras, and the extracted still images are a first image and a second image, respectively. It may be used as Or the acquisition part 110 may use each of the still image image
- the calculation unit 120 calculates the displacement of the measurement object.
- the calculation unit 120 calculates the displacement of the second position with reference to the first position, using the image acquired by the acquisition unit 110 and the association information calculated based on the configuration information of the photographing unit. .
- the displacement referred to here is a difference in the second position when compared between the first time and the second time.
- the configuration information is information representing, for example, the difference in shooting direction between the first image and the second image, and the shooting magnification of each of the first image and the second image.
- the configuration information may represent shooting conditions of a plurality of cameras.
- the imaging conditions here include, for example, relative positions or angles of a plurality of cameras.
- the configuration information may be stored in advance in the displacement measuring apparatus 100, or may be acquired together with the first image and the second image via the acquisition unit 110.
- the association information is described by, for example, a homogeneous transformation matrix, Euler angle, quaternion, and the like.
- the association information makes it possible to describe the coordinates of the first image and the coordinates of the second image using a common coordinate system.
- the association information may be calculated by the displacement measuring apparatus 100, but may be calculated in advance by an apparatus different from the displacement measuring apparatus 100.
- the association information associates the first image with the second image. More specifically, the association information associates the first image and the second image taken at the same time. It can be said that the association based on the association information is to associate the first position included in the first image with the second position included in the second image.
- the calculation unit 120 can associate a plurality of images whose imaging ranges do not overlap by using the association information.
- FIGS. 2A and 2B are conceptual diagrams for explaining the displacement calculated by the calculation unit 120.
- FIG. In the example shown in FIGS. 2A and 2B, it is assumed that the measurement object 200 is shot separately at the first position 201 and the second position 202 by two cameras. These cameras are assumed to be fixed so that the mutual positional relationship is not changed by a rigid body or the like.
- FIG. 2A illustrates the shooting in the first period.
- FIG. 2B illustrates imaging in the second period.
- the first camera captures the first image 211 in the first period and captures the first image 221 in the second period.
- the first images 211 and 221 are common in that they include the first position 201, but their shooting ranges do not necessarily match.
- the second camera captures the second image 212 at the first time, and captures the second image 222 at the second time.
- the relative positional relationship between the first camera and the second camera does not change between the first time and the second time. Then, when it is assumed that the measurement target object 200 is not deformed, the position where the measurement target object 200 appears in the second image 222 at the second time is second as shown by a two-dot chain line in FIG. 2B. Can be uniquely identified from the first image 221 and the configuration information.
- the calculating unit 120 may calculate the displacement D based on the difference between the actual position of the second position 202 in the second image 222 and the position assumed from the first image 221 and the association information. it can.
- FIG. 3 is a flowchart illustrating a displacement measuring method executed by the displacement measuring apparatus 100.
- the displacement measuring apparatus 100 executes processing according to the example of FIG.
- step S310 the acquisition unit 110 acquires the first image and the second image taken at the first time, and the first image and the second image taken at the second time. Note that the acquisition unit 110 may acquire images taken at the first time and images taken at the second time at the same time, or may be obtained at different times.
- step S320 the calculation unit 120 calculates the displacement of the measurement object using the first image and the second image acquired in step S310 and the association information.
- the displacement measuring apparatus 100 has a configuration for calculating the displacement of the measurement object using the association information calculated based on the configuration information of the imaging unit.
- This configuration enables displacement measurement by local imaging of the measurement object without imaging the entire measurement object. Therefore, according to the displacement measuring apparatus 100, since the resolution per unit area of the image including the measurement target can be improved as compared with the case where the entire measurement target is photographed, the displacement of the measurement target is highly accurate. It is possible to measure. Alternatively, it can be said that the displacement measuring apparatus 100 can measure the displacement of the measurement object with high accuracy without improving the resolution of the image sensor.
- FIG. 4 is a block diagram illustrating a configuration of a displacement measurement system 400 according to another embodiment.
- the displacement measurement system 400 includes a UAV (Unmanned Aerial Vehicle) 410 and a displacement measurement device 420.
- the UAV 410 and the displacement measuring device 420 are configured to be able to communicate data wirelessly.
- the UAV 410 images the measurement object while flying.
- the UAV 410 may be remotely operated by the displacement measuring device 420 or other remote operation device, but may be configured to photograph a specific position of the measurement object by image recognition. Further, the UAV 410 may be configured to continuously capture a specific position of the measurement object for a certain period while hovering.
- the UAV 410 includes a photographing unit 411 and a communication unit 412.
- the photographing unit 411 further includes cameras 411a, 411b, and 411c.
- the imaging unit 411 generates image data representing images captured by the cameras 411a, 411b, and 411c, and supplies the generated image data to the communication unit 412.
- the imaging unit 411 may execute known image processing for facilitating arithmetic processing in the displacement measuring device 420. Further, the photographing unit 411 may photograph a moving image instead of a still image.
- FIG. 5 is a diagram illustrating the positional relationship between the cameras 411a, 411b, and 411c.
- the cameras 411a, 411b, and 411c are fixed so as to maintain a specific positional relationship.
- the cameras 411a, 411b, and 411c are mounted on the UAV 410 in a state in which the shooting directions are different by an angle ⁇ .
- the cameras 411a, 411b, and 411c are firmly fixed by a rigid body or the like so that the positional relationship does not change due to vibration accompanying the flight of the UAV 410.
- the communication unit 412 transmits the image data supplied from the imaging unit 411 to the displacement measuring device 420.
- the communication unit 412 performs processing such as encoding on the image data supplied from the imaging unit 411, and transmits the image data to the displacement measuring device 420 according to a predetermined communication method.
- the displacement measuring device 420 includes a communication unit 421 and a calculation unit 422.
- the communication unit 421 receives image data from the UAV 410.
- the communication unit 421 supplies the image data transmitted via the communication unit 412 to the calculation unit 422.
- the calculation unit 422 further includes a first calculation unit 422a that calculates a homogeneous transformation matrix and a second calculation unit 422b that calculates the displacement of the measurement object.
- the homogeneous transformation matrix corresponds to an example of association information in the first embodiment.
- the second calculation unit 422b calculates the displacement of the measurement object using the image data supplied from the communication unit 421 and the homogeneous transformation matrix calculated by the first calculation unit 422a.
- the communication unit 421 corresponds to an example of the acquisition unit 110 in the displacement measurement apparatus 100 of the first embodiment.
- the calculation unit 422 corresponds to an example of the calculation unit 120 in the displacement measurement device 100 of the first embodiment.
- the displacement measuring device 420 may include a configuration for recording the displacement calculated by the calculation unit 422.
- the displacement measuring device 420 may include a recording device that records the displacement calculated by the calculating unit 422 on a recording medium together with the date and time (shooting date and time).
- the displacement measuring device 420 may include a display device that displays information according to the displacement calculated by the calculating unit 422.
- the displacement measurement system 400 images the measurement object and calculates the displacement of the measurement object under the above configuration. Specifically, the displacement measurement system 400 can calculate the displacement of the measurement object by operating as follows. As an example, in the following, it is assumed that the measurement object is a bridge.
- FIG. 6 is a diagram illustrating a measurement object and a shooting position.
- the displacement measurement system 400 measures the displacement of the bridge 600 as the vehicle travels, in particular, the deflection of the floor slab.
- the positions photographed by the UAV 410 are P1, P2, and P3.
- the positions P1 and P3 are positions that can be regarded as having no displacement accompanying the traveling of the vehicle, such as the vicinity of the pier.
- the positions P1 and P3 are taken by the cameras 411a and 411c.
- the position P2 is a position where the displacement accompanying the traveling of the vehicle is relatively large, such as an intermediate point between the pier and the pier.
- the position P2 is photographed by the camera 411b.
- the positions P1, P2, and P3 are positions where reference points such as feature points can be easily extracted. More specifically, the positions P1, P2, and P3 are positions including a specific pattern or object that can be easily distinguished from other regions. For example, the positions P1, P2, and P3 may be drawn with characters or symbols, or may include a boundary between one member and another member.
- the positions P1 and P3 are also referred to as “reference positions”.
- the reference position corresponds to an example of the first position in the first embodiment.
- the position P2 is also referred to as a “measurement position”.
- the measurement position corresponds to an example of a second position in the first embodiment.
- the reference position and the measurement position are areas having a certain size, and may include a plurality of feature points to be described later.
- the displacement measurement system 400 images the bridge 600 at the timing when the vehicle is traveling and the timing when the vehicle is not traveling, and measures the displacement of the floor slab. In other words, the displacement measurement system 400 measures the displacement of the floor slab at the timing when the load is applied to the bridge 600 and the timing when the load is not applied.
- the displacement measuring device 420 When measuring the displacement, acquires the internal parameters of the cameras 411a, 411b, and 411c in advance.
- the internal parameters are, for example, the optical axis center and focal length.
- the internal parameter may be provided by the camera manufacturer, or may be obtained in advance by calibration for calculating the internal parameter.
- the displacement measuring device 420 acquires in advance parameters indicating the relative positions and angles of the cameras 411a, 411b, and 411c. This parameter corresponds to an example of configuration information in the first embodiment.
- the calculation unit 422 calculates a homogeneous transformation matrix in advance before executing displacement measurement.
- the calculation unit 422 may calculate a homogeneous transformation matrix during execution of displacement measurement (for example, between step S810 and step S820 described later).
- the calculation unit 422 can calculate a homogeneous transformation matrix by executing calibration shown below.
- FIG. 7 is an explanatory diagram showing a calibration execution method for calculating a homogeneous transformation matrix.
- patterns 710, 720, and 730 are a plurality of labels whose relative positional relationships are known.
- the patterns 710, 720, and 730 are provided so as not to move when calibration is performed, for example, by being attached to a wall surface.
- the patterns 710, 720, and 730 are images including a specific pattern, for example, a so-called chessboard pattern (also referred to as a checkerboard pattern).
- the pattern 710 is photographed by the camera 411a.
- the pattern 720 is captured by the camera 411b.
- the pattern 730 is captured by the camera 411c.
- the patterns 710, 720, and 730 are provided at positions where the positioned cameras 411a, 411b, and 411c can simultaneously photograph.
- the calculation unit 422 calculates a homogeneous transformation matrix indicating the relationship between the reference camera and another camera using any one of the cameras 411a, 411b, and 411c as a reference.
- the camera 411a is used as a reference.
- the calculation unit 422 has a 4 ⁇ 4 homogeneous transformation matrix (hereinafter referred to as “M 12 ”) that three-dimensionally shows the relationship between the camera 411a and the camera 411b, and the relationship between the camera 411a and the camera 411c is 3.
- M 12 4 ⁇ 4 homogeneous transformation matrix
- M 13 A four-dimensional and four-dimensional homogeneous transformation matrix shown in dimension is calculated.
- the calculation unit 422 can calculate the homogeneous transformation matrices M 12 and M 13 by using any one of general and well-known methods for calculating the homogeneous transformation matrix.
- FIG. 8 is a flowchart showing a displacement measurement process executed by the displacement measurement device 420.
- the communication unit 421 receives from the UAV 410 first image data corresponding to the first image and second image data corresponding to the second image.
- These image data are images obtained by photographing each of the positions P1, P2 and P3 from a plurality of different photographing directions at a time when a specific load is not applied to the bridge 600 and a time when the load is applied.
- the UAV 410 performs imaging in a period in which the vehicle is traveling on the bridge 600 and a period in which the vehicle is not traveling. These periods correspond to the “first time” and the “second time” in the first embodiment.
- the UAV 410 photographs the positions P1, P2, and P3 at a plurality of photographing positions by moving up and down so that the positions P1, P2, and P3 do not deviate from the photographing range.
- the UAV 410 captures the positions P1, P2, and P3 from a plurality of viewpoints.
- the UAV 410 captures each of the positions P1, P2, and P3 so that distortion due to ascending or descending occurs between the captured images.
- step S810 the communication unit 421 acquires image data for the number of sheets corresponding to the product of the number of cameras and the number of times of shooting.
- the number of cameras included in the UAV 410 is “3”. Accordingly, the total number of the first image and the second image acquired in step S810 is “3M” when the number of photographing is “M”.
- step S820 the calculation unit 422 extracts feature points from each of the first image and the second image represented by the plurality of image data received in step S810. More specifically, the calculation unit 422 extracts feature points from the positions P1, P2, or P3 included in each image.
- the feature quantities that can be used in step S820 are feature quantities that represent local features of the image, such as FAST (Features Accelerated Segment Test) feature amounts and SIFT (Scale-Invariant Feature Transform) feature amounts.
- step S830 the calculation unit 422 associates the first image including the reference position and the second image including the measurement position using the feature points extracted in step S820.
- the calculation unit 422 can associate the first image and the second image three-dimensionally by restoring the three-dimensional shape of the feature points using an algorithm in which bundle adjustment is expanded. .
- the bundle adjustment is a method for restoring (estimating) a three-dimensional shape of a photographed scene based on reference points included in a plurality of images obtained by photographing the same position.
- Bundle adjustment is one of the element technologies of SfM (Structure from Motion). In bundle adjustment, a photographed image is modeled by the following perspective projection (1).
- x and y indicate the position of a certain point in the image, that is, two-dimensional coordinates.
- X, Y, and Z indicate three-dimensional coordinates in the space of this point.
- s and f 0 are arbitrary non-zero proportional coefficients.
- P is a 3 ⁇ 4 matrix called a projection matrix.
- R and unit matrix are I, they are expressed by the following equation (2).
- K is an internal matrix (also referred to as an internal parameter matrix) related to the camera.
- (It) is a matrix in which unit matrices I and t are arranged in the column direction, and in the equation (2), it is a matrix of 3 rows and 4 columns.
- N points (X ⁇ , Y ⁇ , Z ⁇ ) in the scene are photographed M times from different positions, they are observed at the position (x ⁇ , y ⁇ ) of the ⁇ -th image.
- the projection matrix for the ⁇ -th image is P ⁇
- the sum of the sums of squares of the shifts between the positions to be projected and the observation positions for all points is expressed by the following equation (4).
- E expressed by the equation (4) is called a reprojection error.
- I ⁇ is a visualization index.
- the visualization index I ⁇ is “1” when the point (X ⁇ , Y ⁇ , Z ⁇ ) is shown in the ⁇ -th image, and “0” otherwise.
- the deviation on the image is expressed by the following equation (5) when measured by a distance where the proportional coefficient f0 is “1”.
- P ⁇ ij represents an element in the i-th row and j-th column of the projection matrix P ⁇ .
- the point (X ⁇ , Y ⁇ , Z ⁇ ) that minimizes the reprojection error of equation (4) and the projection matrix P ⁇ for one camera are estimated as 3 in the scene. It was a technique to restore the dimensional shape.
- a plurality of cameras are used.
- the SfM of this embodiment is characterized in that a general SfM is extended using a homogeneous transformation matrix M 1 ⁇ ( ⁇ is the number of cameras).
- M 11 is assumed to be a unit matrix.
- the reprojection error E of the present embodiment is expressed as the following equation (7).
- p ⁇ , q ⁇ , and r ⁇ are expressed as the following equation (8).
- P ⁇ ij represents an element in the i-th row and j-th column of the projection matrix P ⁇ .
- the projection matrix P ⁇ is obtained for each image and each camera.
- I ⁇ is a visualization index similar to I ⁇ .
- the calculation unit 422 uses the point (X ⁇ , Y ⁇ , Z ⁇ ) that minimizes the reprojection error of equation (7) and the projection matrix P for the observed (x ⁇ , y ⁇ ). Calculate ⁇ .
- Expression (7) makes it possible to evaluate an image captured by a plurality of cameras using a single reprojection error expression.
- the calculation unit 422 can calculate the point (X ⁇ , Y ⁇ , Z ⁇ ) and the projection matrix P ⁇ by applying a known method described in Non-Patent Document 2.
- step S830 The process of step S830 is as described above.
- the calculation unit 422 calculates the displacement of the measurement position in step S840.
- the calculation unit 422 is extracted by a known robust estimation method such as RANSAC (Random Sample Consensus) at the first time (no load state) and the second time (the load state). Search for point correspondences.
- RANSAC Random Sample Consensus
- the feature points extracted in step S820 may include not only correct correspondence (inlier) but also incorrect correspondence (outlier).
- step S840 the feature points determined to be miscorresponding are excluded from the feature points constituting the photographed scene.
- a feature point that is determined to be a correct correspondence that is, a correspondence relationship is also called a “corresponding point”.
- the calculation unit 422 performs alignment on the feature point extracted in the first period and the three-dimensional shape is estimated, and the feature point extracted in the second period and the three-dimensional shape is estimated. .
- a well-known method such as an ICP (Iterative Closest Point) algorithm can be applied to align these point groups.
- the calculation unit 422 repeatedly calculates a combination of feature points that minimizes the error after alignment.
- the calculation unit 422 assumes that there is no displacement between corresponding points extracted from the first image at the first time and the second time. In other words, the calculation unit 422 determines that the error between the corresponding points extracted from the first image at the first time and the second time is the corresponding points extracted from the second image at these times. It is assumed that it is sufficiently smaller (ie negligible) than the error between the two. Assuming in this way, the displacement of the measurement position can be expressed as an error (that is, residual) remaining after alignment.
- the displacement measurement system 400 has a configuration in which images taken by a plurality of cameras (411a, 411b, 411c) are evaluated by one reprojection error equation.
- This configuration makes it possible to avoid the limitation in general SfM that only one camera is used when restoring a three-dimensional shape from an image. If a plurality of cameras can be used in displacement measurement, it is possible to locally image only the position of the measurement object to be measured. Therefore, according to the displacement measurement system 400, even if the measurement object is a large object such as the bridge 600, the resolution per unit area of the image including the measurement object can be improved. Displacement can be measured with high accuracy.
- FIG. 9 is a block diagram showing a configuration of a displacement measurement system 900 according to still another embodiment.
- the displacement measurement system 900 has the same configuration as the displacement measurement system 400 (see FIG. 4) of the second embodiment except for the configuration of the UAV 910.
- the description of the configuration common to the second embodiment is omitted as appropriate.
- the UAV 910 includes a motion control unit 913 in addition to the imaging unit 911 and the communication unit 912.
- the cameras 911a, 911b, and 911c are different from the cameras 411a, 411b, and 411c of the second embodiment in that the mutual positional relationship is variably configured.
- the motion control unit 913 controls the movement of the cameras 911a, 911b, and 911c.
- the motion control unit 913 can control the positions or shooting directions of the cameras 911a, 911b, and 911c. Under the control of the motion control unit 913, the cameras 911a, 911b, and 911c change relative positions or angles of each other.
- the motion control unit 913 controls the movements of the cameras 911a, 911b, and 911c by driving, for example, a servo motor or a direct acting actuator.
- the control by the motion control unit 913 may be remote control, that is, control by the displacement measuring device 420 or other remote operation device.
- the control by the motion control unit 913 may be control based on images taken by the cameras 911a, 911b, and 911c.
- the motion control unit 913 may control the positions or shooting directions of the cameras 911a, 911b, and 911c so as to continue shooting a specific position of the measurement target.
- the motion control unit 913 supplies the configuration information to the communication unit 912.
- the configuration information of the present embodiment includes information indicating the imaging conditions (relative position, angle, etc.) of the cameras 911a, 911b, and 911c.
- the configuration information includes information indicating the displacement and rotation angle of the cameras 911a, 911b, and 911c from the reference position.
- the motion control unit 913 need not always supply the configuration information to the communication unit 912, and may supply the communication unit 912 only when the configuration information changes.
- the cameras 911a, 911b, and 911c may have an optical zoom function. That is, the cameras 911a, 911b, and 911c may have a mechanism for taking an image by optically enlarging (or reducing) the image.
- the photographing magnifications by the cameras 911a, 911b, and 911c can be set independently (that is, regardless of the photographing magnifications of other cameras).
- the configuration information may include information indicating the shooting magnification of the cameras 911a, 911b, and 911c.
- the communication unit 912 transmits the configuration information supplied from the motion control unit 913 to the displacement measuring device 920 in addition to the image data.
- the configuration information may be embedded in the image data as metadata of the image data.
- the configuration information may be information indicating a difference from the state immediately before the cameras 911a, 911b, and 911c.
- the displacement measuring device 920 includes a communication unit 921 and a calculation unit 922.
- the communication unit 921 is different from the communication unit 421 of the second embodiment in that it receives configuration information in addition to image data.
- the calculation unit 922 is different from the calculation unit 422 of the second embodiment in that the homogeneous conversion matrix is calculated (that is, changed) based on the configuration information received by the communication unit 921.
- the calculation unit 922 performs calibration as illustrated in FIG. 7 a plurality of times in advance for all combinations of the positional relationships of the cameras 911a, 911b, and 911c that can be assumed, and calculates a homogeneous transformation matrix for each combination in advance. Also good. Alternatively, the calculation unit 922 may estimate the changed homogeneous transformation matrix based on a change from the state immediately before the configuration information. The calculation unit 922 can calculate a homogeneous transformation matrix based on, for example, forward kinematics and inverse kinematics of a manipulator in robotics.
- the displacement measurement process executed by the calculation unit 922 is the same as that of the second embodiment except that the homogeneous transformation matrix M 1 ⁇ in the equation (6) can be changed according to the change in the configuration information. 8). That is, the homogeneous transformation matrix of the present embodiment can be changed according to changes in the movement of the cameras 911a, 911b, and 911c by the motion control unit 913.
- the displacement measurement system 900 is configured to control the movements of the cameras 911a, 911b, and 911c and calculate the displacement of the measurement object using the homogeneous transformation matrix according to the movements of the cameras 911a, 911b, and 911c.
- the displacement measurement system 900 can achieve the same effects as the displacement measurement system 400 of the second embodiment.
- the displacement measurement system 900 can calculate the displacement of the measurement object even if the camera 911a, 911b, and 911c are not configured to be fixed so as not to move.
- the present disclosure is not limited to the first to third embodiments described above.
- the present disclosure includes the modifications described below.
- the present disclosure may include a form in which matters described in the present specification are appropriately combined or replaced as necessary.
- the matters described using a specific embodiment can be applied to other embodiments as long as no contradiction arises.
- the present disclosure is not limited to these, and may include embodiments to which modifications or applications that can be understood by those skilled in the art are applied.
- the UAV 410 may have a configuration for measuring angular velocity or acceleration.
- the UAV 410 may include a so-called IMU (Inertial Measurement Unit).
- IMU Inertial Measurement Unit
- the angular velocity and acceleration measured by the IMU can calculate changes in the angle and position of the UAV 410 by integration.
- Equation (7) is an optimization with a relatively large number of unknowns, which determines the point (X ⁇ , Y ⁇ , Z ⁇ ) in the scene and the center position t and rotation matrix R of the lens included in the projection matrix P ⁇ . It is an operation. However, when the IMU is used, the center position t and the rotation matrix R of the lens can be calculated from changes in the angle and position of the UAV 410, and these can be handled as known values.
- Modification 2 In general, the three-dimensional position of the scene obtained by SfM, that is, the point (X ⁇ , Y ⁇ , Z ⁇ ) has scale indefiniteness with the three-dimensional position in the real world.
- the term “indeterminacy” as used herein refers to a property that the proportionality coefficient s in the equation (1) cannot be uniquely specified from the reprojection error E in the equation (4) or (7). Due to this indefiniteness, the displacement calculated by the calculation unit 422 cannot be described in units representing an absolute length such as a meter, and is expressed in a relative ratio to a reference position.
- the calculation unit 422 may calculate the ratio of the camera movement amount and the actual movement amount obtained by SfM in order to express the displacement in a unit representing the absolute length.
- the actual movement amount of the camera can be obtained using, for example, an inertial sensor or an atmospheric pressure sensor.
- the calculation unit 422 records the position of a specific camera (here, camera 411a) among the plurality of cameras.
- the position when the camera 411a captures the ⁇ -th image is “t ⁇ ′”.
- the calculation unit 422 can calculate a displacement in units of meters, for example, by calculating the proportionality coefficient s from the equation (9). Specifically, the calculation unit 422 describes the displacement in units of absolute length by multiplying the displacement obtained by minimizing the reprojection error E of Equation (7) by the proportional coefficient s. It is possible.
- the displacement measuring device 420 may set a reference point (hereinafter referred to as “fixed point”) from among a plurality of corresponding points.
- the fixed point is selected from corresponding points included in the first image, that is, the image including the reference position.
- the displacement measuring device 420 calculates the position of the camera based on this fixed point, and measures the position of a corresponding point (hereinafter referred to as “movable point”) that is not a fixed point based on the calculated position of the camera. Also good.
- the movable point is selected from corresponding points included in the second image, that is, the image including the measurement position.
- the displacement measuring device 420 may calculate the displacement of the measurement object based on the difference between the position of the movable point expected from the position of the fixed point and the position of the actually measured movable point. In this way, the displacement measuring device 420 can calculate the displacement of the movable point in real time.
- f and m are a set of non-overlapping values among the possible values of ⁇ . That is, the sum of the fixed points and the movable points is equal to the total number of fixed points.
- the calculation unit 422 minimizes the reprojection errors E F and E M of the fixed point and the movable point using the following formulas (10) and (11).
- the center position t and the rotation matrix R of each lens are estimated.
- these values are treated as fixed values.
- the center position and rotation matrix with respect to the fixed point and the center position and rotation matrix with respect to the movable point can be obtained.
- the center position and rotation matrix with the fixed point as a reference are denoted as “t F ” and “R F ”, respectively.
- the center position and the rotation matrix with respect to the movable point are denoted as “t M ” and “R M ”, respectively.
- center positions and rotation matrices can be expressed as the following equation (12), where the differences resulting from the displacement of the movable point are ⁇ t and ⁇ R, respectively.
- a fourth row is added to the matrix of 3 rows and 4 columns representing the center position and rotation of the lens (see equation (2)) so that an inverse matrix can be calculated, and a homogeneous transformation matrix representation is obtained. Is.
- ⁇ t and ⁇ R represent displacement of the movable point with respect to the fixed point.
- the calculation unit 422 acquires the position (X ⁇ , Y ⁇ , Z ⁇ ) of the corresponding point in advance, and operates as described above, so that it can move without executing shooting multiple times at the second time. It is possible to calculate the displacement of the point. Therefore, the calculation unit 422 can calculate the displacement of the measurement object only by photographing the measurement object once without changing the photographing position.
- the reference point according to the present disclosure is not limited to the feature point based on the feature amount.
- a method for restoring a three-dimensional shape a method using pixel brightness and color instead of a feature amount is also known.
- the displacement measuring method according to the present disclosure can also be applied to such a method.
- the displacement measurement method according to the present disclosure can also be applied to position estimation using, for example, PTAM (Parallel Tracking and Mapping for Small AR Workspaces) and LSD-SLAM (Large-Scale Direct Monocular Simultaneous Localization and Mapping).
- the reference point according to the present disclosure may be a specific pixel used in such a method.
- a displacement measuring apparatus 100A illustrated in FIG. 10A includes an acquisition unit 1010, a first calculation unit 1020, and a second calculation unit 1030.
- a displacement measuring apparatus 100B illustrated in FIG. 10B includes an acquisition unit 1010, a storage unit 1040, and a calculation unit 1050.
- a displacement measuring apparatus 100C illustrated in FIG. 10C includes a storage unit 1060 and a calculation unit 1050. Note that the acquisition unit 1010 has the same configuration and function as the acquisition unit 110 of the first embodiment.
- the calculation unit 1050 has the same configuration and function as the calculation unit 120 of the first embodiment.
- the first calculation unit 1020 calculates association information.
- the specific calculation method of the association information may be the same as that in the first to third embodiments.
- the second calculation unit 1030 uses the first image and the second image acquired by the acquisition unit 1010 and the association information calculated by the first calculation unit 1020 to determine the second position (measurement position). Calculate the displacement.
- a specific calculation method of the second position may be the same as in the first to third embodiments.
- the storage unit 1040 stores association information.
- the storage unit 1040 stores related information calculated in advance by another device (that is, before photographing the measurement object). Therefore, the displacement measuring apparatus 100B does not need to calculate association information.
- the storage unit 1060 stores all images necessary for displacement measurement and association information.
- the storage unit 1060 stores related information calculated in advance by another device.
- the storage unit 1060 stores an image captured in advance.
- the displacement measuring device 100C does not need to calculate association information, like the displacement measuring device 100B.
- the displacement measurement system according to the present disclosure is not limited to the configuration of the second embodiment or the third embodiment.
- the displacement measurement system according to the present disclosure does not necessarily include a UAV.
- FIG. 11 is a block diagram illustrating another example of the displacement measurement system according to the present disclosure.
- the displacement measurement system 1100 includes an imaging unit 1110 and a calculation unit 1120.
- the imaging unit 1110 and the calculation unit 1120 may be included in a single device.
- the displacement measurement system 1100 includes a movable first device (such as a digital camera) including the photographing unit 1110 and a second device (such as a personal computer) including the calculation unit 1120. It may be constituted by.
- the first device and the second device may be connected by wire instead of wirelessly.
- the photographing unit 1110 photographs the first image including the first position and the second image including the second position at the first time and the second time.
- the calculation unit 1120 uses the first image and the second image and the association information calculated based on the configuration information of the imaging unit 1110 to calculate the displacement of the second position with respect to the first position. calculate.
- FIG. 12 is a block diagram illustrating still another example of the displacement measurement system according to the present disclosure.
- the displacement measurement system 1200 includes a UAV 1210 and a displacement measurement device 1220.
- the UAV 1210 is different from the UAV 410 of the second embodiment in that it includes a writer unit 1211 instead of the communication unit 412.
- the displacement measuring device 1220 is different from the displacement measuring device 420 of the second embodiment in that it includes a reader unit 1221 instead of the communication unit 421. Except for these points, the UAV 1210 and the displacement measuring device 1220 have the same configuration as the UAV 410 and the displacement measuring device 420 of the second embodiment.
- the writer unit 1211 records the image data supplied from the photographing unit 411 on a removable recording medium.
- This recording medium is, for example, a so-called USB (Universal Serial Bus) memory or a memory card.
- the reader unit 1221 reads image data from the recording medium on which the image data is recorded by the writer unit 1211.
- the writer unit 1211 and the reader unit 1221 are, for example, reader / writers for memory cards.
- the UAV 1210 and the displacement measuring device 1220 do not need to transmit / receive image data.
- the user takes out the recording medium on which the image data is recorded from the UAV 1210 and attaches it to the displacement measuring device 1220.
- the displacement measuring device 1220 reads the image data from the recording medium attached by the user and calculates the displacement.
- the specific hardware configuration of the displacement measuring apparatus according to the present disclosure includes various variations and is not limited to a specific configuration.
- the displacement measuring device according to the present disclosure may be realized using software, or may be configured to share various processes using a plurality of hardware.
- FIG. 13 is a block diagram illustrating an example of a hardware configuration of a computer apparatus 1300 that implements the displacement measurement apparatus according to the present disclosure.
- the computer apparatus 1300 includes a CPU (Central Processing Unit) 1301, a ROM (Read Only Memory) 1302, a RAM (Random Access Memory) 1303, a storage device 1304, a drive device 1305, a communication interface 1306, and an input / output interface. 1307.
- the displacement measuring device according to the present disclosure can be realized by the configuration (or part thereof) shown in FIG.
- the CPU 1301 executes the program 1308 using the RAM 1303.
- the program 1308 may be stored in the ROM 1302.
- the program 1308 may be recorded on a recording medium 1309 such as a memory card, read by the drive device 1305, or transmitted from an external device via the network 1310.
- a communication interface 1306 exchanges data with an external device via the network 1310.
- the input / output interface 1307 exchanges data with peripheral devices (such as an input device and a display device).
- the communication interface 1306 and the input / output interface 1307 can function as components for acquiring or outputting data.
- the component of the displacement measuring device according to the present disclosure may be configured by a single circuit (processor or the like) or may be configured by a combination of a plurality of circuits.
- the circuit here may be either dedicated or general purpose.
- a part of the displacement measuring device according to the present disclosure may be realized by a dedicated processor, and the other part may be realized by a general-purpose processor.
- the configuration described as a single device in the above-described embodiment may be distributed among a plurality of devices.
- the displacement measuring device 100, 420, or 920 may be realized by cooperation of a plurality of computer devices using a cloud computing technology or the like.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
計測対象物の変位を高精度に計測する。 変位計測装置100は、第1の時期と第2の時期とに撮影された、第1の位置を含む第1の画像と第2の位置を含む第2の画像とをそれぞれ取得する取得部110と、第1の画像及び第2の画像を撮影する撮影手段の構成情報を用いて、取得された第1の画像及び第2の画像を関連付ける関連付け部120と、取得された第1の画像及び第2の画像と、関連付け部120による関連付けとを用いて、第1の位置を基準とする、第2の時期における第2の位置の第1の時期からの変位を算出する算出部120とを含む。
Description
本開示は、変位計測に関する。
特許文献1は、カメラ装置の移動による誤差分を差し引くことによる変位計測時の補正方法を開示する。また、特許文献2は、被検体と、被検体以外の不動点とを同時に撮影することによって被検体の変位等を算出する方法を開示する。なお、非特許文献1、2は、画像から物体の3次元形状を復元するためのバンドル調整について開示する。
小浜隼人、ほか5名「Affine-SIFTアルゴリズムを用いたバンドル調整法に基づく3次元形状復元」、火の国情報シンポジウム2012論文集、情報処理学会、2012年3月
岩元祐輝、ほか2名「3次元復元のためのバンドル調整の実装と評価」、情報処理学会研究報告、Vol.2011-CVIM-175、No.19、情報処理学会、2011年1月
特許文献1、2は、いずれも、撮影画像を用いた変位計測において、カメラの移動の影響を抑制する方法を開示している。しかし、特許文献1、2に記載された方法には、カメラの解像度が十分に高くないと、計測対象物の変位を高精度に計測することが困難であるという課題が存在する。
本開示の例示的な目的は、計測対象物の変位を高精度に計測するための技術を提供することである。
一の態様において、撮影手段により第1の時期に撮影された、第1の位置を含む画像及び第2の位置を含む画像と、当該撮影手段により第2の時期に撮影された、当該第1の位置を含む画像及び当該第2の位置を含む画像とを取得する取得手段と、前記取得された複数の画像と、前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する算出手段とを含む変位計測装置が提供される。
別の態様において、第1の位置を含む画像と第2の位置を含む画像とを、第1の時期と第2の時期とに撮影する撮影手段と、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する算出手段とを含む変位計測システムが提供される。
さらに別の態様において、撮影手段により第1の時期に撮影された、第1の位置を含む画像及び第2の位置を含む画像と、当該撮影手段により第2の時期に撮影された、当該第1の位置を含む画像及び当該第2の位置を含む画像とを取得し、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する
変位計測方法が提供される。
変位計測方法が提供される。
さらに別の態様において、コンピュータに、撮影手段により第1の時期に撮影された、第1の位置を含む画像及び第2の位置を含む画像と、当該撮影手段により第2の時期に撮影された、当該第1の位置を含む画像及び当該第2の位置を含む画像とを取得する処理と、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する処理とを実行させるためのプログラムが提供される。
本開示によれば、計測対象物の変位が高精度に計測される。
[第1実施形態]
図1は、一の実施形態に係る変位計測装置100の構成を示すブロック図である。変位計測装置100は、計測対象物における変位を計測するための装置である。変位計測装置100は、取得部110と、算出部120とを少なくとも含む。
図1は、一の実施形態に係る変位計測装置100の構成を示すブロック図である。変位計測装置100は、計測対象物における変位を計測するための装置である。変位計測装置100は、取得部110と、算出部120とを少なくとも含む。
ここでいう計測対象物は、例えば、ビル、橋梁等の建造物である。いくつかの態様において、計測対象物は、その大きさに比して高精度な変位計測が要求される物体である。ただし、計測対象物は、後述される方法による変位計測が可能であれば、特定の物体に限定されない。また、計測対象物の変位は、時間(劣化等)、温度(熱膨張等)、負荷(荷重の有無等)などの要因によって生じ得るが、特定の要因に限定されない。
取得部110は、撮影部により撮影された画像を取得する。ここでいう撮影部は、例えば、CCD(Charge-coupled device)イメージセンサ、CMOS(Complementary metal-oxide-semiconductor)イメージセンサなど、光を画素毎の画像情報に変換するための撮像素子を有するカメラを1又は複数含んで構成される。撮影部は、車両、航空機等の移動体に搭載されてもよい。
取得部110は、例えば、所定のフォーマットで表現された画像データの入力を受け付けることによって画像を取得する。取得部110により取得される画像は、可視画像であってもよいが、近赤外光等の不可視領域の波長の情報を含む画像であってもよい。また、取得部110により取得される画像は、モノクロ画像とカラー画像のいずれであってもよく、画素数や階調数(色深度)も特に限定されない。取得部110による取得は、通信回線を介した取得であってもよいし、自装置又は他の装置に含まれる記録媒体からの読み出しであってもよい。
取得部110は、第1の位置を含む画像と、第2の位置を含む画像とを取得する。第1の位置は、変位計測において基準とする位置である。一方、第2の位置は、第1の位置と異なる位置であり、変位計測の対象となる位置である。例えば、第1の位置は、変位が実質的に生じないか、第2の位置と比較して変位が無視できる程度に少ない位置である。第2の位置は、例えば、変位が生じやすい位置や、変位の計測が容易な位置である。以下においては、第1の位置を含む画像を「第1の画像」ともいい、第2の位置を含む画像を「第2の画像」ともいう。
第1の位置及び第2の位置は、他の位置と区別可能であれば、どのような位置であってもよい。第1の位置及び第2の位置は、いわゆるマーカのような光学的な識別を容易にする標識が設けられた位置であってもよい。あるいは、例えば計測対象物に標識を設置することが困難な場合、第1の位置及び第2の位置は、物体表面の凹凸や色の微細な相違によって光学的に識別されてもよい。
第2の位置は、計測対象物の一部である。一方、第1の位置は、計測対象物の一部であってもそうでなくてもよい。例えば、第1の位置は、計測対象物よりも変位が少ない(又は変位しない)別の物体の一部であってもよい。すなわち、第1の位置と第2の位置とは、単一の物体に含まれることを必ずしも要しない。
取得部110は、第1の時期に撮影された第1の画像及び第2の画像と、第2の時期に撮影された第1の画像及び第2の画像とを取得する。換言すれば、取得部110は、撮影されたタイミングが異なる複数の第1の画像及び第2の画像を取得する。第2の時期は、例えば、第1の時期よりも後であり、計測対象物に変位が生じている(又はその可能性がある)期間である。第1の画像及び第2の画像は、第1の時期及び第2の時期のそれぞれに複数枚撮影されてもよい。
第1の画像及び第2の画像は、例えば、特定のタイミングにおいて撮影された画像のペアである。取得部110は、撮影部から動画を取得し、取得された動画の特定の時点の静止画を抽出することで第1の画像及び第2の画像を取得することも可能である。例えば、取得部110は、複数のカメラにより撮影された複数の動画から、同一の時刻に撮影された静止画をそれぞれ抽出し、抽出されたそれぞれの静止画を第1の画像及び第2の画像として用いてもよい。あるいは、取得部110は、同一のタイミングで撮影されるように制御された複数のカメラで撮影された静止画のそれぞれを第1の画像及び第2の画像として用いてもよい。
算出部120は、計測対象物の変位を算出する。算出部120は、取得部110により取得された画像と、撮影部の構成情報に基づいて算出される関連付け情報とを用いて、第1の位置を基準とする第2の位置の変位を算出する。ここでいう変位は、第1の時期と第2の時期とで比較した場合における第2の位置の差である。
ここでいう構成情報は、例えば、第1の画像と第2の画像の撮影方向の違いや、第1の画像と第2の画像のそれぞれの撮影倍率を表す情報である。例えば、第1の画像と第2の画像とが異なるカメラにより撮影される場合、構成情報は、複数のカメラの撮影条件を表してもよい。ここでいう撮影条件は、例えば、複数のカメラの相対的な位置又は角度を含む。構成情報は、変位計測装置100にあらかじめ記憶されていてもよいし、取得部110を介して第1の画像及び第2の画像とともに取得されてもよい。
関連付け情報は、例えば、同次変換行列、オイラー角、クォータニオンなどによって記述される。関連付け情報は、第1の画像の座標と第2の画像の座標とを共通の座標系を用いて記述することを可能にする。関連付け情報は、変位計測装置100で算出されてもよいが、変位計測装置100と異なる装置で事前に算出されてもよい。
関連付け情報は、第1の画像と第2の画像とを関連付ける。より詳細には、関連付け情報は、同一の時期に撮影された第1の画像と第2の画像とを関連付ける。関連付け情報による関連付けは、第1の画像に含まれる第1の位置と第2の画像に含まれる第2の位置とを関連付けることであるともいえる。算出部120は、関連付け情報を用いることにより、撮影範囲が重複していない複数の画像を関連付けることが可能である。
図2A及び図2Bは、算出部120により算出される変位を説明するための概念図である。図2A及び図2Bに示される例において、計測対象物200は、2つのカメラによって第1の位置201と第2の位置202とが別々に撮影されるものとする。これらのカメラは、剛体等によって互いの位置関係が変化しないように固定されているものとする。図2Aは、第1の時期における撮影を例示する。また、図2Bは、第2の時期における撮影を例示する。
第1のカメラは、第1の時期において第1の画像211を撮影し、第2の時期において第1の画像221を撮影する。第1の画像211、221は、第1の位置201を含む点において共通するが、その撮影範囲は必ずしも一致していなくてもよい。また、第2のカメラは、第1の時期において第2の画像212を撮影し、第2の時期において第2の画像222を撮影する。
第1のカメラと第2のカメラの相対的な位置関係は、第1の時期と第2の時期とにおいて変化していない。そうすると、計測対象物200が変形していないと仮定した場合、第2の時期の第2の画像222において計測対象物200が現れる位置は、図2Bにおいて二点鎖線で示されるように、第2の時期の第1の画像221と構成情報とから一意的に特定可能である。
しかし、計測対象物200が実際には変形していたとすると、第2の画像222において計測対象物200が現れる位置は、二点鎖線で示された位置と異なる位置になる。算出部120は、第2の画像222における第2の位置202の実際の位置と、第1の画像221と関連付け情報とから想定される位置との相違に基づいて、変位Dを算出することができる。
図3は、変位計測装置100により実行される変位計測方法を例示するフローチャートである。変位計測装置100は、図3の例に従って処理を実行する。
ステップS310において、取得部110は、第1の時期に撮影された第1の画像及び第2の画像と、第2の時期に撮影された第1の画像及び第2の画像とを取得する。なお、取得部110は、第1の時期に撮影された画像と第2の時期に撮影された画像とを同時に取得してもよいし、異なるタイミングで取得してもよい。ステップS320において、算出部120は、ステップS310において取得された第1の画像及び第2の画像と、関連付け情報とを用いて、計測対象物の変位を算出する。
以上のとおり、変位計測装置100は、撮影部の構成情報に基づいて算出される関連付け情報を用いて計測対象物の変位を算出する構成を有する。この構成は、計測対象物の全体を撮影することなく、計測対象物の局所的な撮影による変位計測を可能にする。したがって、変位計測装置100によれば、計測対象物の全体を撮影する場合に比べ、計測対象物を含む画像の単位面積当たりの解像度を向上させることができるため、計測対象物の変位を高精度に計測することが可能である。あるいは、変位計測装置100は、イメージセンサの解像度を向上させなくても計測対象物の変位を高精度に計測することが可能である、ともいえる。
[第2実施形態]
図4は、別の実施形態に係る変位計測システム400の構成を示すブロック図である。変位計測システム400は、UAV(Unmanned Aerial Vehicle)410と、変位計測装置420とを含む。UAV410と変位計測装置420とは、データを無線で通信できるように構成されている。
図4は、別の実施形態に係る変位計測システム400の構成を示すブロック図である。変位計測システム400は、UAV(Unmanned Aerial Vehicle)410と、変位計測装置420とを含む。UAV410と変位計測装置420とは、データを無線で通信できるように構成されている。
UAV410は、飛行しながら計測対象物を撮影する。UAV410は、変位計測装置420又は他の遠隔操作機器によって遠隔操作されてもよいが、画像認識によって計測対象物の特定の位置を撮影するように構成されてもよい。また、UAV410は、ホバリングしながら計測対象物の特定の位置を一定期間撮影し続けるように構成されてもよい。UAV410は、撮影部411と、通信部412とを有する。
撮影部411は、カメラ411a、411b及び411cをさらに有する。撮影部411は、カメラ411a、411b及び411cにより撮影された画像を表す画像データを生成し、生成された画像データを通信部412に供給する。撮影部411は、変位計測装置420における演算処理を容易にするための周知の画像処理を実行してもよい。また、撮影部411は、静止画ではなく動画を撮影してもよい。
図5は、カメラ411a、411b及び411cの位置関係を例示する図である。カメラ411a、411b及び411cは、特定の位置関係を維持するように固定されている。例えば、図5に示される例において、カメラ411a、411b及び411cは、撮影方向が角度θずつ異なる状態でUAV410に搭載される。カメラ411a、411b及び411cは、UAV410の飛行に伴う振動によって位置関係が変化しないよう、剛体等で堅固に固定される。
通信部412は、撮影部411から供給された画像データを変位計測装置420に送信する。通信部412は、撮影部411から供給された画像データに対して符号化等の処理を実行し、画像データを所定の通信方式に従って変位計測装置420に送信する。
変位計測装置420は、通信部421と、算出部422とを有する。通信部421は、UAV410から画像データを受信する。通信部421は、通信部412を介して送信された画像データを算出部422に供給する。算出部422は、同次変換行列を算出する第1算出部422aと、計測対象物の変位を算出する第2算出部422bとをさらに含む。同次変換行列は、第1実施形態における関連付け情報の一例に相当する。第2算出部422bは、通信部421から供給された画像データと、第1算出部422aにより算出された同次変換行列とを用いて、計測対象物の変位を算出する。
本実施形態において、通信部421は、第1実施形態の変位計測装置100における取得部110の一例に相当する。また、算出部422は、第1実施形態の変位計測装置100における算出部120の一例に相当する。
なお、変位計測装置420は、算出部422により算出された変位を記録する構成を含んでもよい。例えば、変位計測装置420は、算出部422により算出された変位を日時(撮影日時)とともに記録媒体に記録する記録装置を有してもよい。あるいは、変位計測装置420は、算出部422により算出された変位に応じた情報を表示する表示装置を有してもよい。
変位計測システム400は、以上の構成の下、計測対象物を撮影し、計測対象物の変位を算出する。具体的には、変位計測システム400は、次のように動作することで計測対象物の変位を算出することができる。一例として、以下においては、計測対象物が橋梁であるとする。
図6は、計測対象物と撮影位置を例示する図である。この例において、変位計測システム400は、車両の走行に伴う橋梁600の変位、特に床版(しょうばん)の撓みを計測する。橋梁600において、UAV410により撮影される位置は、P1、P2及びP3である。位置P1及びP3は、橋脚の近傍のような、車両の走行に伴う変位がないものとみなせる位置である。位置P1及びP3は、カメラ411a、411cにより撮影される。これに対し、位置P2は、橋脚と橋脚の中間地点のような、車両の走行に伴う変位が比較的大きい位置である。位置P2は、カメラ411bにより撮影される。
いくつかの態様において、位置P1、P2及びP3は、特徴点等の基準点の抽出が容易な位置である。より詳細には、位置P1、P2及びP3は、他の領域との区別が容易な特定の模様又は物体を含む位置である。例えば、位置P1、P2及びP3は、文字や記号が描かれていたり、ある部材と別の部材の境界を含んでいたりしてもよい。
以下においては、位置P1及びP3のことを「基準位置」ともいう。基準位置は、第1実施形態における第1の位置の一例に相当する。また、以下においては、位置P2のことを「計測位置」ともいう。計測位置は、第1実施形態における第2の位置の一例に相当する。基準位置及び計測位置は、ある程度のサイズを有する領域であり、後述される特徴点を複数含み得る。
図6の例において、変位計測システム400は、車両が走行しているタイミングと車両が走行していないタイミングとにおいて橋梁600を撮影し、床版の変位を計測する。換言すれば、変位計測システム400は、橋梁600に対して荷重が与えられているタイミングと与えられていないタイミングとにおける床版の変位を計測する。
変位計測に際し、変位計測装置420は、カメラ411a、411b及び411cの内部パラメータをあらかじめ取得する。内部パラメータは、例えば、光軸中心及び焦点距離である。内部パラメータは、カメラメーカから提供されてもよいが、内部パラメータを計算するためのキャリブレーションによってあらかじめ求められてもよい。また、変位計測装置420は、カメラ411a、411b及び411cの相対的な位置及び角度を示すパラメータをあらかじめ取得する。このパラメータは、第1実施形態における構成情報の一例に相当する。
また、本実施形態において、算出部422は、変位計測を実行する前に、同次変換行列をあらかじめ算出する。なお、算出部422は、変位計測の実行中(例えば、後述のステップS810とステップS820の間)に同次変換行列を算出してもよい。算出部422は、例えば、以下に示されるキャリブレーションを実行することによって同次変換行列を算出することができる。
図7は、同次変換行列を算出するためのキャリブレーションの実行方法を示す説明図である。この例において、パターン710、720及び730は、互いの相対的な位置関係が既知である複数の標識である。パターン710、720及び730は、壁面に貼付されるなどして、キャリブレーションの実行時には動かないように設けられる。パターン710、720及び730は、特定の模様を含む画像であり、例えば、いわゆるチェスボードパターン(チェッカーボードパターンともいう。)である。
パターン710は、カメラ411aによって撮影される。パターン720は、カメラ411bによって撮影される。パターン730は、カメラ411cによって撮影される。パターン710、720及び730は、位置決めされたカメラ411a、411b及び411cが同時に撮影することができる位置に設けられる。
算出部422は、カメラ411a、411b及び411cのいずれかを基準とし、基準のカメラと他のカメラの関係を示す同次変換行列を算出する。ここでは、カメラ411aを基準とする。この場合、算出部422は、カメラ411aとカメラ411bの関係を3次元的に示す4行4列の同次変換行列(以下「M12」という。)と、カメラ411aとカメラ411cの関係を3次元的に示す4行4列の同次変換行列(以下「M13」という。)とをそれぞれ算出する。算出部422は、同次変換行列を算出する一般的かつ周知な手法のいずれかを用いて、同次変換行列M12、M13を算出することができる。
図8は、変位計測装置420が実行する変位計測処理を示すフローチャートである。ステップS810において、通信部421は、第1の画像に対応する第1の画像データと第2の画像に対応する第2の画像データとをUAV410から受信する。これらの画像データは、橋梁600に特定の負荷が与えられていない時期と当該負荷が与えられている時期とにおいて、位置P1、P2及びP3のそれぞれを、複数の異なる撮影方向から撮影した画像を表す。UAV410は、例えば、橋梁600上を車両が走行している期間と車両が走行していない期間とにおいて撮影を実行する。これらの期間は、第1実施形態における「第1の時期」と「第2の時期」とに相当する。
例えば、UAV410は、飛行中、位置P1、P2及びP3のそれぞれが撮影範囲から外れないように上昇又は下降することにより、複数の撮影位置において位置P1、P2及びP3を撮影する。換言すれば、UAV410は、複数の視点から位置P1、P2及びP3を撮影しているともいえる。例えば、UAV410は、撮影された画像の間に上昇又は下降による歪みが生じるように位置P1、P2及びP3のそれぞれを撮影する。
ステップS810において、通信部421は、カメラの数とその撮影回数の積に相当する枚数分の画像データを取得する。例えば、本実施形態の場合、UAV410が有するカメラの数は、「3」である。したがって、ステップS810において取得される第1の画像及び第2の画像の総数は、撮影回数が「M」回であるとすると、「3M」である。
ステップS820において、算出部422は、ステップS810において受信された複数の画像データが表す第1の画像及び第2の画像のそれぞれから特徴点を抽出する。より詳細には、算出部422は、それぞれの画像に含まれる位置P1、P2又はP3から特徴点を抽出する。ステップS820において利用可能な特徴量は、例えば、FAST(Features from Accelerated Segment Test)特徴量、SIFT(Scale-Invariant Feature Transform)特徴量といった、画像の局所的な特徴を表す特徴量である。
ステップS830において、算出部422は、ステップS820において抽出された特徴点を用いて、基準位置を含む第1の画像と計測位置を含む第2の画像とを関連付ける。本実施形態において、算出部422は、バンドル調整を拡張したアルゴリズムを用いて特徴点の3次元形状を復元することにより、第1の画像と第2の画像とを3次元的に関連付けることができる。
バンドル調整は、同一の位置を撮影した複数の画像に含まれる基準点に基づいて、撮影されたシーンの3次元形状を復元(推定)する手法である。バンドル調整は、SfM(Structure from Motion)の要素技術の一つである。バンドル調整において、撮影された映像は、以下の(1)式の透視投影でモデル化される。
(1)式において、x、yは、ある点の画像における位置、すなわち2次元の座標を示す。また、X、Y、Zは、この点の空間における3次元の座標を示す。s、f0は、0でない任意の比例係数である。Pは、投影行列と呼ばれる3行4列の行列である。
投影行列Pは、焦点距離をf、光軸中心を(u0,v0)、ワールド座標系におけるレンズの中心位置をt=(xt,yt,zt)、向きを表す回転行列をR、単位行列をIとしたとき、以下の(2)式によって表される。(2)式において、Kは、カメラに関する内部行列(内部パラメータ行列ともいう。)である。(I-t)は、単位行列Iとtとを列方向に並べた行列であり、(2)式においては、3行4列の行列となる。
ここで、シーン中のN個の点(Xα,Yα,Zα)を互いに異なる位置からM回撮影したとき、これらが第κ画像の位置(xα,yα)において観測されたとする(κ=1,2,・・・,M、α=1,2,・・・,N)。第κ画像に対する投影行列をPκとするとき、各点の投影されるべき位置と観測位置のずれの二乗和を全点について総和したものは、以下の(4)式によって表される。この(4)式で表されるEを再投影誤差という。
ここにおいて、Iακは、可視化指標である。可視化指標Iακは、点(Xα,Yα,Zα)が第κ画像に映っている場合に「1」、そうでない場合に「0」である。また、画像上のずれは、比例係数f0を「1」とする距離で測ると、以下の(5)式によって表される。ここにおいて、Pκ
ijは、投影行列Pκの第i行第j列の要素を表す。
一般的なSfMは、1台のカメラに対して(4)式の再投影誤差を最小化する点(Xα,Yα,Zα)と投影行列Pκとを推定することがシーンの3次元形状を復元する手法であった。これに対し、本実施形態においては、複数のカメラが用いられる。本実施形態のSfMは、複数のカメラが用いられることに鑑み、同次変換行列M1γ(γはカメラの台数)を用いて一般的なSfMを拡張する点に特徴を有する。
具体的には、本実施形態の投影行列Pγ(γ=1,2,・・・,L)は、以下の(6)式のように表される。すなわち、(カメラ毎に異なる)投影行列Pγは、同次変換行列M1γによって互いに関連付けられる。ただし、M11は、単位行列であるとする。
また、本実施形態の再投影誤差Eは、以下の(7)式のように表される。(7)式において、pαγκ、qαγκ、rαγκは、以下の(8)式のように表される。ここにおいて、Pγκ
ijは、投影行列Pγκの第i行第j列の要素を表す。投影行列Pγκは、画像毎及びカメラ毎に求められる。また、Iαγκは、Iακと同様の可視化指標である。
本実施形態において、算出部422は、観測された(xαγκ,yαγκ)に対して(7)式の再投影誤差を最小化する点(Xα,Yα,Zα)と投影行列Pγκとを算出する。(7)式は、複数台のカメラにより撮影された画像を一つの再投影誤差式によって評価することを可能にする。なお、算出部422は、非特許文献2に記載された周知の方法を応用することで点(Xα,Yα,Zα)及び投影行列Pγκを算出することができる。
ステップS830の処理は、以上のとおりである。このようにして第1の画像又は第2
の画像に含まれる特徴点のそれぞれが関連付けられたら、算出部422は、ステップS840において計測位置の変位を算出する。このとき、算出部422は、RANSAC(Random Sample Consensus)などの周知のロバスト推定手法により、第1の時期(負荷がない状態)と第2の時期(負荷がある状態)とにおいて抽出された特徴点の対応関係を検索する。
の画像に含まれる特徴点のそれぞれが関連付けられたら、算出部422は、ステップS840において計測位置の変位を算出する。このとき、算出部422は、RANSAC(Random Sample Consensus)などの周知のロバスト推定手法により、第1の時期(負荷がない状態)と第2の時期(負荷がある状態)とにおいて抽出された特徴点の対応関係を検索する。
なお、ステップS820において抽出された特徴点には、正対応(inlier)だけでなく誤対応(outlier)が含まれていてもよい。誤対応であると判断された特徴点は、ステップS840において、撮影されたシーンを構成する特徴点から除外される。以下においては、正対応、すなわち対応関係が正しいと判断された特徴点を「対応点」ともいう。
算出部422は、第1の時期において抽出されて3次元形状が推定された特徴点と、第2の時期において抽出されて3次元形状が推定された特徴点とに対して位置合わせを実行する。これらの点群同士の位置合わせには、ICP(Iterative Closest Point)アルゴリズムなどの周知の手法が適用可能である。算出部422は、位置合わせ後の誤差を最小化する特徴点の組み合わせを反復的に計算する。
この位置合わせにおいて、算出部422は、第1の時期と第2の時期とにおいて第1の画像から抽出された対応点の間には変位がないものと仮定する。換言すれば、算出部422は、第1の時期と第2の時期とにおいて第1の画像から抽出された対応点の間の誤差が、これらの時期において第2の画像から抽出された対応点の間の誤差よりも十分に(すなわち無視できる程度に)小さいことを前提条件とする。このように仮定すると、計測位置の変位は、位置合わせ後に残る誤差(すなわち残差)として表すことが可能である。
以上のとおり、変位計測システム400は、複数台のカメラ(411a、411b、411c)により撮影された画像を一つの再投影誤差式によって評価する構成を有する。この構成は、画像から3次元形状を復元する際に用いるカメラが1台であるという一般的なSfMにおける制限を回避することを可能にする。変位計測において複数のカメラが利用可能であると、計測対象物の計測したい位置のみを局所的に撮影することが可能である。したがって、変位計測システム400によれば、計測対象物が橋梁600のような大きな物体であっても、計測対象物を含む画像の単位面積当たりの解像度を向上させることができるため、計測対象物の変位を高精度に計測することが可能である。
[第3実施形態]
図9は、さらに別の実施形態に係る変位計測システム900の構成を示すブロック図である。変位計測システム900は、UAV910の構成を除き、第2実施形態の変位計測システム400(図4参照)と同様の構成を有する。本実施形態において、第2実施形態と共通する構成の説明は、適宜省略される。
図9は、さらに別の実施形態に係る変位計測システム900の構成を示すブロック図である。変位計測システム900は、UAV910の構成を除き、第2実施形態の変位計測システム400(図4参照)と同様の構成を有する。本実施形態において、第2実施形態と共通する構成の説明は、適宜省略される。
UAV910は、撮影部911及び通信部912に加え、モーション制御部913を含む。カメラ911a、911b及び911cは、互いの位置関係が可変に構成されている点において、第2実施形態のカメラ411a、411b及び411cと相違する。
モーション制御部913は、カメラ911a、911b及び911cの動きを制御する。モーション制御部913は、カメラ911a、911b及び911cの位置又は撮影方向を制御することができる。モーション制御部913の制御により、カメラ911a、911b及び911cは、互いの相対的な位置又は角度を変化させる。モーション制御部913は、例えば、サーボモータや直動式アクチュエータを駆動することによりカメラ911a、911b及び911cの動きを制御する。
モーション制御部913による制御は、遠隔制御、すなわち変位計測装置420又は他の遠隔操作機器による制御であってもよい。あるいは、モーション制御部913による制御は、カメラ911a、911b及び911cにより撮影された画像に基づく制御であってもよい。例えば、モーション制御部913は、計測対象物の特定の位置を撮影し続けるようにカメラ911a、911b及び911cの位置又は撮影方向を制御してもよい。
モーション制御部913は、構成情報を通信部912に供給する。本実施形態の構成情報は、カメラ911a、911b及び911cの撮影条件(相対的な位置、角度など)を示す情報を含む。例えば、構成情報は、基準とする位置からのカメラ911a、911b及び911cの変位や回転角度を示す情報を含む。モーション制御部913は、構成情報を通信部912に常時供給する必要はなく、構成情報に変化が生じた場合のみに通信部912に供給してもよい。
なお、カメラ911a、911b及び911cは、光学ズーム機能を有してもよい。すなわち、カメラ911a、911b及び911cは、画像を光学的に拡大(又は縮小)して撮影する機構を有してもよい。この場合、カメラ911a、911b及び911cによる撮影倍率は、独立に(すなわち他のカメラの撮影倍率によらずに)設定可能である。この場合、構成情報は、カメラ911a、911b及び911cの撮影倍率を示す情報を含んでもよい。
通信部912は、画像データに加え、モーション制御部913から供給された構成情報を変位計測装置920に送信する。構成情報は、例えば、画像データのメタデータとして画像データに埋め込まれてもよい。構成情報は、カメラ911a、911b及び911cの直前の状態からの差分を示す情報であってもよい。
変位計測装置920は、通信部921と、算出部922とを有する。通信部921は、画像データのほかに構成情報を受信する点において、第2実施形態の通信部421と相違する。算出部922は、通信部921により受信された構成情報に基づいて同次変換行列を算出(すなわち変更)する点において、第2実施形態の算出部422と相違する。
算出部922は、想定され得るカメラ911a、911b及び911cの位置関係の全ての組み合わせに関して、図7のようなキャリブレーションをあらかじめ複数回実行し、当該組み合わせ毎の同次変換行列をあらかじめ算出してもよい。あるいは、算出部922は、構成情報の直前の状態からの変化に基づいて、変更後の同次変換行列を推定してもよい。算出部922は、例えば、ロボット工学におけるマニピュレータの順運動学及び逆運動学に基づいて同次変換行列を算出することが可能である。
なお、算出部922が実行する変位計測処理は、構成情報の変化に応じて(6)式の同次変換行列M1γが変更され得る点のほかは、第2実施形態の変位計測処理(図8参照)と同様である。すなわち、本実施形態の同次変換行列は、モーション制御部913によるカメラ911a、911b及び911cの動きの変化に応じて変更され得る。
以上のとおり、変位計測システム900は、カメラ911a、911b及び911cの動きを制御し、カメラ911a、911b及び911cの動きに応じた同次変換行列を用いて計測対象物の変位を算出する構成を有する。変位計測システム900は、第2実施形態の変位計測システム400と同様の効果を奏することが可能である。加えて、変位計測システム900は、カメラ911a、911b及び911cが動かないように固定された構成でなくても計測対象物の変位を算出することが可能である。
[変形例]
本開示は、上述された第1実施形態~第3実施形態に限定されない。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、又は置換した形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。さらに、本開示は、これらに限らず、いわゆる当業者が把握し得る変形又は応用を適用した実施の形態を含み得る。
本開示は、上述された第1実施形態~第3実施形態に限定されない。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、又は置換した形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。さらに、本開示は、これらに限らず、いわゆる当業者が把握し得る変形又は応用を適用した実施の形態を含み得る。
(変形例1)
UAV410は、角速度又は加速度を計測するための構成を有してもよい。例えば、UAV410は、いわゆるIMU(Inertial Measurement Unit)を含んで構成されてもよい。IMUにより計測される角速度及び加速度は、積分によってUAV410の角度及び
位置の変化を算出可能である。
UAV410は、角速度又は加速度を計測するための構成を有してもよい。例えば、UAV410は、いわゆるIMU(Inertial Measurement Unit)を含んで構成されてもよい。IMUにより計測される角速度及び加速度は、積分によってUAV410の角度及び
位置の変化を算出可能である。
(7)式の計算は、シーン中の点(Xα,Yα,Zα)と投影行列Pγκに含まれるレンズの中心位置t及び回転行列Rとを求める、未知数が比較的多い最適化演算である。しかし、IMUを用いると、UAV410の角度及び位置の変化からレンズの中心位置t及び回転行列Rが算出可能であるため、これらを既知の値として扱うことが可能である。
(変形例2)
一般に、SfMにより求められたシーンの3次元位置、すなわち点(Xα,Yα,Zα)には、実世界の3次元位置とのスケールの不定性が存在する。ここでいう不定性とは、(1)式の比例係数sを(4)式又は(7)式の再投影誤差Eから一意的に特定できない性質をいう。この不定性ゆえに、算出部422により算出された変位は、メートル等の絶対的な長さを表す単位で記述することができず、基準となる位置との相対的な割合で表される。
一般に、SfMにより求められたシーンの3次元位置、すなわち点(Xα,Yα,Zα)には、実世界の3次元位置とのスケールの不定性が存在する。ここでいう不定性とは、(1)式の比例係数sを(4)式又は(7)式の再投影誤差Eから一意的に特定できない性質をいう。この不定性ゆえに、算出部422により算出された変位は、メートル等の絶対的な長さを表す単位で記述することができず、基準となる位置との相対的な割合で表される。
算出部422は、絶対的な長さを表す単位で変位を表現するために、SfMにより求められるカメラの移動量と実際の移動量の比を計算してもよい。カメラの実際の移動量は、例えば、慣性センサや気圧センサを用いて求めることができる。
算出部422は、複数のカメラのうちの特定のカメラ(ここではカメラ411aとする。)の位置を記録する。以下においては、このカメラ411aの第κ画像の撮影時の位置を「tκ’」とする。また、(7)式の再投影誤差Eを最小化することにより求められるレンズの中心位置tκは、第κ画像の撮影時のカメラ411aの位置に相当する。したがって、位置tκ’、中心位置tκ及び比例係数sの間には、以下の(9)式が成り立つ。
算出部422は、(9)式から比例係数sを算出することにより、例えばメートル単位の変位を算出することが可能である。具体的には、算出部422は、(7)式の再投影誤差Eを最小化することにより求められる変位に比例係数sを乗じることによって、変位を絶対的な長さを表す単位によって記述することが可能である。
(変形例3)
変位計測装置420は、複数の対応点の中から基準となる点(以下「不動点」という。)を設定してもよい。不動点は、第1の画像、すなわち基準位置を含む画像に含まれる対応点から選択される。変位計測装置420は、この不動点を基準としたカメラの位置を計算し、計算されたカメラの位置に基づいて、不動点でない対応点(以下「可動点」という。)の位置を計測してもよい。可動点は、第2の画像、すなわち計測位置を含む画像に含まれる対応点から選択される。
変位計測装置420は、複数の対応点の中から基準となる点(以下「不動点」という。)を設定してもよい。不動点は、第1の画像、すなわち基準位置を含む画像に含まれる対応点から選択される。変位計測装置420は、この不動点を基準としたカメラの位置を計算し、計算されたカメラの位置に基づいて、不動点でない対応点(以下「可動点」という。)の位置を計測してもよい。可動点は、第2の画像、すなわち計測位置を含む画像に含まれる対応点から選択される。
変位計測装置420は、不動点の位置から予想される可動点の位置と、実際に計測された可動点の位置との差分に基づいて計測対象物の変位を算出してもよい。このようにすれば、変位計測装置420は、可動点の変位をリアルタイムに算出することが可能である。
変位計測装置420において実行される処理は、具体的には以下のとおりである。まず、算出部422は、第1の時期において撮影された画像に基づいて、あらかじめ対応点の位置(Xα,Yα,Zα)を取得し、それぞれの位置関係を特定する(ただし、α=1,2,・・・,N)。次に、算出部422は、これらの対応点の中から不動点(Xf,Yf,Zf)と可動点(Xm,Ym,Zm)とを設定する。ここにおいて、f及びmは、αがとり得る値のうちの互いに重複しない値の集合である。すなわち、不動点と可動点の総和は、不動点の総数と等しい。
可動点の変位をリアルタイムに算出する場合、算出部422は、以下の(10)式及び(11)式を用いて、不動点及び可動点のそれぞれの再投影誤差EF、EMを最小化し、それぞれのレンズの中心位置t及び回転行列Rを推定する。このとき、対応点の位置(Xα,Yα,Zα)は既知であるため、これらの値は固定値として扱われる。
(10)式及び(11)式の再投影誤差を最小化すると、不動点を基準とした中心位置及び回転行列と可動点を基準とした中心位置及び回転行列とを求めることができる。以下においては、不動点を基準とした中心位置及び回転行列を、それぞれ「tF」、「RF」と表記する。また、可動点を基準とした中心位置及び回転行列を、それぞれ「tM」、「RM」と表記する。
これらの中心位置及び回転行列は、可動点の変位に起因する差分をそれぞれΔt、ΔRとすると、以下の(12)式のように表すことができる。これらの行列は、レンズの中心位置と回転を表す3行4列の行列((2)式参照)に対し、逆行列を計算できるように第4行を追加して同次変換行列表現としたものである。
(12)式に対し、可動点を基準とした中心位置及び回転行列を元とした同次変換行列の逆行列を左から乗じると、以下の(13)式に示されるように、中心位置及び回転行列の差分の同次変換行列を求めることができる。
(13)式のΔt及びΔRは、不動点を基準とした可動点の変位を表している。すなわち、算出部422は、対応点の位置(Xα,Yα,Zα)を事前に取得し、以上のように動作することにより、第2の時期において撮影を複数回実行することなく可動点の変位を算出することが可能である。それゆえ、算出部422は、撮影位置を変えることなく、計測対象物を1回撮影するだけで、計測対象物の変位を算出することが可能である。
(変形例4)
本開示に係る基準点は、特徴量に基づく特徴点に限定されない。例えば、3次元形状を復元する手法には、特徴量ではなく画素の輝度や色を用いる手法も知られている。本開示に係る変位計測方法は、このような手法に対しても適用することが可能である。本開示に係る変位計測方法は、例えば、PTAM(Parallel Tracking and Mapping for Small AR Workspaces)やLSD-SLAM(Large-Scale Direct Monocular Simultaneous Localization and Mapping)を用いた位置推定にも適用可能である。本開示に係る基準点は、このような手法において用いられる特定の画素であってもよい。
本開示に係る基準点は、特徴量に基づく特徴点に限定されない。例えば、3次元形状を復元する手法には、特徴量ではなく画素の輝度や色を用いる手法も知られている。本開示に係る変位計測方法は、このような手法に対しても適用することが可能である。本開示に係る変位計測方法は、例えば、PTAM(Parallel Tracking and Mapping for Small AR Workspaces)やLSD-SLAM(Large-Scale Direct Monocular Simultaneous Localization and Mapping)を用いた位置推定にも適用可能である。本開示に係る基準点は、このような手法において用いられる特定の画素であってもよい。
(変形例5)
図10A、図10B及び図10Cは、第1実施形態に係る変位計測装置100の変形例を示すブロック図である。図10Aに示される変位計測装置100Aは、取得部1010と、第1算出部1020と、第2算出部1030とを含む。図10Bに示される変位計測装置100Bは、取得部1010と、記憶部1040と、算出部1050とを含む。図10Cに示される変位計測装置100Cは、記憶部1060と、算出部1050とを含む。なお、取得部1010は、第1実施形態の取得部110と同様の構成及び機能を有する。また、算出部1050は、第1実施形態の算出部120と同様の構成及び機能を有する。
図10A、図10B及び図10Cは、第1実施形態に係る変位計測装置100の変形例を示すブロック図である。図10Aに示される変位計測装置100Aは、取得部1010と、第1算出部1020と、第2算出部1030とを含む。図10Bに示される変位計測装置100Bは、取得部1010と、記憶部1040と、算出部1050とを含む。図10Cに示される変位計測装置100Cは、記憶部1060と、算出部1050とを含む。なお、取得部1010は、第1実施形態の取得部110と同様の構成及び機能を有する。また、算出部1050は、第1実施形態の算出部120と同様の構成及び機能を有する。
変位計測装置100Aにおいて、第1算出部1020は、関連付け情報を算出する。関連付け情報の具体的な算出方法は、第1実施形態~第3実施形態と同様でよい。第2算出部1030は、取得部1010により取得された第1の画像及び第2の画像と、第1算出部1020により算出された関連付け情報とを用いて、第2の位置(計測位置)の変位を算出する。第2の位置の具体的な算出方法は、第1実施形態~第3実施形態と同様でよい。
変位計測装置100Bにおいて、記憶部1040は、関連付け情報を記憶する。記憶部1040は、他の装置によりあらかじめ(すなわち計測対象物の撮影前に)算出された関連情報を記憶する。したがって、変位計測装置100Bは、関連付け情報を算出する必要がない。
変位計測装置100Cにおいて、記憶部1060は、変位計測に必要な画像の全てと関連付け情報とを記憶する。記憶部1060は、他の装置によりあらかじめ算出された関連情報を記憶する。また、記憶部1060は、事前に撮影された画像を記憶する。変位計測装置100Cは、変位計測装置100Bと同様に、関連付け情報を算出する必要がない。
(変形例6)
本開示に係る変位計測システムは、第2実施形態又は第3実施形態の構成に限定されない。例えば、本開示に係る変位計測システムは、必ずしもUAVを含まなくてもよい。
本開示に係る変位計測システムは、第2実施形態又は第3実施形態の構成に限定されない。例えば、本開示に係る変位計測システムは、必ずしもUAVを含まなくてもよい。
図11は、本開示に係る変位計測システムの別の例を示すブロック図である。変位計測システム1100は、撮影部1110と、算出部1120とを含んで構成される。変位計測システム1100は、撮影部1110及び算出部1120が単一の装置に含まれていてもよい。あるいは、変位計測システム1100は、変位計測システム400と同様に、撮影部1110を含む移動可能な第1の装置(デジタルカメラ等)と、算出部1120を含む第2の装置(パーソナルコンピュータ等)とによって構成されてもよい。第1の装置と第2の装置は、無線ではなく有線で接続されてもよい。
撮影部1110は、第1の位置を含む第1の画像と第2の位置を含む第2の画像とを、第1の時期と第2の時期とに撮影する。算出部1120は、第1の画像及び第2の画像と、撮影部1110の構成情報に基づいて算出される関連付け情報とを用いて、第1の位置を基準とする第2の位置の変位を算出する。
図12は、本開示に係る変位計測システムのさらに別の例を示すブロック図である。変位計測システム1200は、UAV1210と、変位計測装置1220とを含む。UAV1210は、通信部412に代えてライタ部1211を有する点において第2実施形態のUAV410と相違する。変位計測装置1220は、通信部421に代えてリーダ部1221を有する点において第2実施形態の変位計測装置420と相違する。UAV1210及び変位計測装置1220は、これらの点を除き、第2実施形態のUAV410及び変位計測装置420と共通の構成を有する。
ライタ部1211は、撮影部411から供給された画像データを着脱可能な記録媒体に記録する。この記録媒体は、例えば、いわゆるUSB(Universal Serial Bus)メモリやメモリカードである。リーダ部1221は、ライタ部1211により画像データが記録された記録媒体から画像データを読み出す。ライタ部1211及びリーダ部1221は、例えば、メモリカードのリーダライタである。
UAV1210及び変位計測装置1220は、画像データを送受信する必要がない。ユーザは、UAV1210による撮影が終了したら、画像データが記録された記録媒体をUAV1210から取り出し、変位計測装置1220に取り付ける。変位計測装置1220は、ユーザにより取り付けられた記録媒体から画像データを読み出し、変位を算出する。
(変形例7)
本開示に係る変位計測装置の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る変位計測装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。
本開示に係る変位計測装置の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る変位計測装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。
図13は、本開示に係る変位計測装置を実現するコンピュータ装置1300のハードウェア構成の一例を示すブロック図である。コンピュータ装置1300は、CPU(Central Processing Unit)1301と、ROM(Read Only Memory)1302と、RAM(Random Access Memory)1303と、記憶装置1304と、ドライブ装置1305と、通信インタフェース1306と、入出力インタフェース1307とを含んで構成される。本開示に係る変位計測装置は、図13に示される構成(又はその一部)によって実現され得る。
CPU1301は、RAM1303を用いてプログラム1308を実行する。プログラム1308は、ROM1302に記憶されていてもよい。また、プログラム1308は、メモリカード等の記録媒体1309に記録され、ドライブ装置1305によって読み出されてもよいし、外部装置からネットワーク1310を介して送信されてもよい。通信インタフェース1306は、ネットワーク1310を介して外部装置とデータをやり取りする。入出力インタフェース1307は、周辺機器(入力装置、表示装置など)とデータをやり取りする。通信インタフェース1306及び入出力インタフェース1307は、データを取得又は出力するための構成要素として機能することができる。
なお、本開示に係る変位計測装置の構成要素は、単一の回路(プロセッサ等)によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路(circuitry)は、専用又は汎用のいずれであってもよい。例えば、本開示に係る変位計測装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。
上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、変位計測装置100、420又は920は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置の協働によって実現されてもよい。
この出願は、2016年9月21日に出願された日本出願特願2016-184451を基礎とする優先権を主張し、その開示の全てをここに取り込む。
100、420、920、100A、100B、100C、1220 変位計測装置
110、1010 取得部
120、422、922、1050、1120 算出部
400、900、1100、1200 変位計測システム
410、910、1210 UAV
411、911、1110 撮影部
411a、411b、411c、911a、911b、911c カメラ
913 モーション制御部
422a、1020 第1算出部
422b、1030 第2算出部
1300 コンピュータ装置
110、1010 取得部
120、422、922、1050、1120 算出部
400、900、1100、1200 変位計測システム
410、910、1210 UAV
411、911、1110 撮影部
411a、411b、411c、911a、911b、911c カメラ
913 モーション制御部
422a、1020 第1算出部
422b、1030 第2算出部
1300 コンピュータ装置
Claims (11)
- 撮影手段により第1の時期に撮影された、第1の位置を含む画像及び第2の位置を含む画像と、当該撮影手段により第2の時期に撮影された、当該第1の位置を含む画像及び当該第2の位置を含む画像とを取得する取得手段と、
前記取得された複数の画像と、前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する算出手段と
を備える変位計測装置。 - 前記撮影手段は、複数のカメラを含み、
前記構成情報は、前記複数のカメラの撮影条件を示す情報を含む
請求項1に記載の変位計測装置。 - 前記構成情報は、前記複数のカメラの相対的な位置又は角度を示す情報を含む
請求項2に記載の変位計測装置。 - 前記構成情報は、前記複数のカメラの相対的な位置又は角度の変化に応じて変化する
請求項3に記載の変位計測装置。 - 前記第1の取得手段は、前記第1の時期に複数の撮影方向から撮影された前記第1の位置を含む画像及び前記第2の位置を含む画像を取得し、
前記算出手段は、前記関連付け情報を用いて前記第1の位置に含まれる基準点と前記第2の位置に含まれる基準点とを3次元的に関連付け、前記第2の位置の3次元の変位を算出する
請求項1から請求項4までのいずれか1項に記載の変位計測装置。 - 前記基準点は、画像の局所的な特徴に基づいて抽出される特徴点を含む
請求項5に記載の変位計測装置。 - 前記関連付け情報を記憶する記憶手段を備える
請求項1から請求項6までのいずれか1項に記載の変位計測装置。 - 前記算出手段は、
前記構成情報に基づいて前記関連付け情報を算出する第1の算出手段と、
前記取得された複数の画像と、前記算出された関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する第2の算出手段とを備える
請求項1から請求項6までのいずれか1項に記載の変位計測装置。 - 第1の位置を含む画像と第2の位置を含む画像とを、第1の時期と第2の時期とに撮影する撮影手段と、
前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する算出手段と
を備える変位計測システム。 - 撮影手段により第1の時期に撮影された、第1の位置を含む画像及び第2の位置を含む画像と、当該撮影手段により第2の時期に撮影された、当該第1の位置を含む画像及び当該第2の位置を含む画像とを取得し、
前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する
変位計測方法。 - コンピュータに、
撮影手段により第1の時期に撮影された、第1の位置を含む画像及び第2の位置を含む画像と、当該撮影手段により第2の時期に撮影された、当該第1の位置を含む画像及び当該第2の位置を含む画像とを取得する処理と、
前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第1の位置を基準とした場合の前記第1の時期における前記第2の位置と前記第2の時期における前記第2の位置との差を算出する処理と
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018541042A JP7067479B2 (ja) | 2016-09-21 | 2017-09-15 | 変位計測装置、変位計測システム、変位計測方法及びプログラム |
US16/334,496 US20210295540A1 (en) | 2016-09-21 | 2017-09-15 | Displacement measurement device, displacement measurement system, and displacement measurement method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-184451 | 2016-09-21 | ||
JP2016184451 | 2016-09-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018056206A1 true WO2018056206A1 (ja) | 2018-03-29 |
Family
ID=61690460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/033438 WO2018056206A1 (ja) | 2016-09-21 | 2017-09-15 | 変位計測装置、変位計測システム、変位計測方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210295540A1 (ja) |
JP (1) | JP7067479B2 (ja) |
WO (1) | WO2018056206A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102180872B1 (ko) * | 2019-05-17 | 2020-11-19 | 주식회사 누림 | 레이저와 광학 영상을 접목한 3차원 변위측정계 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6954367B2 (ja) * | 2017-11-14 | 2021-10-27 | 日本電気株式会社 | 計測システム、補正処理装置、補正処理方法、及びプログラム |
WO2020255266A1 (ja) * | 2019-06-18 | 2020-12-24 | 日本電信電話株式会社 | 絶対座標取得方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000295602A (ja) * | 1999-04-05 | 2000-10-20 | Nec Corp | 被写体監視方法、被写体追跡方法及び装置 |
JP2007225423A (ja) * | 2006-02-23 | 2007-09-06 | Basic Engineering:Kk | 変位測定装置 |
US20120257792A1 (en) * | 2009-12-16 | 2012-10-11 | Thales | Method for Geo-Referencing An Imaged Area |
US20150294496A1 (en) * | 2014-04-14 | 2015-10-15 | GM Global Technology Operations LLC | Probabilistic person-tracking using multi-view fusion |
JP2015224949A (ja) * | 2014-05-27 | 2015-12-14 | 株式会社アイティーティー | 対象物計測装置及び対象物計測方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK0763406T3 (da) * | 1995-09-15 | 2000-07-24 | Ersue Enis | Fremgangsmåde til bestemmelse af den rumlige position af et legeme og gennemførelse af billedbearbejdnings-manipulationer p |
US7496226B2 (en) * | 2003-09-19 | 2009-02-24 | University Of Miami | Multi-camera inspection of underwater structures |
US20160217588A1 (en) * | 2014-12-11 | 2016-07-28 | Jeffrey R. Hay | Method of Adaptive Array Comparison for the Detection and Characterization of Periodic Motion |
US10796425B1 (en) * | 2016-09-06 | 2020-10-06 | Amazon Technologies, Inc. | Imagery-based member deformation gauge |
-
2017
- 2017-09-15 JP JP2018541042A patent/JP7067479B2/ja active Active
- 2017-09-15 WO PCT/JP2017/033438 patent/WO2018056206A1/ja active Application Filing
- 2017-09-15 US US16/334,496 patent/US20210295540A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000295602A (ja) * | 1999-04-05 | 2000-10-20 | Nec Corp | 被写体監視方法、被写体追跡方法及び装置 |
JP2007225423A (ja) * | 2006-02-23 | 2007-09-06 | Basic Engineering:Kk | 変位測定装置 |
US20120257792A1 (en) * | 2009-12-16 | 2012-10-11 | Thales | Method for Geo-Referencing An Imaged Area |
US20150294496A1 (en) * | 2014-04-14 | 2015-10-15 | GM Global Technology Operations LLC | Probabilistic person-tracking using multi-view fusion |
JP2015224949A (ja) * | 2014-05-27 | 2015-12-14 | 株式会社アイティーティー | 対象物計測装置及び対象物計測方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102180872B1 (ko) * | 2019-05-17 | 2020-11-19 | 주식회사 누림 | 레이저와 광학 영상을 접목한 3차원 변위측정계 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018056206A1 (ja) | 2019-07-04 |
JP7067479B2 (ja) | 2022-05-16 |
US20210295540A1 (en) | 2021-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576945B2 (ja) | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 | |
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
CN110782496B (zh) | 标定方法、装置、航拍设备和存储介质 | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
CN113841384B (zh) | 校准装置,用于校准的图表和校准方法 | |
CN111192235B (zh) | 一种基于单目视觉模型和透视变换的图像测量方法 | |
US20090141043A1 (en) | Image mosaicing apparatus for mitigating curling effect | |
JP6641729B2 (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
JP7067479B2 (ja) | 変位計測装置、変位計測システム、変位計測方法及びプログラム | |
JP2015090298A (ja) | 情報処理装置、情報処理方法 | |
CN107809610A (zh) | 摄像头参数集算出装置、摄像头参数集算出方法以及程序 | |
Liu et al. | Epipolar rectification method for a stereovision system with telecentric cameras | |
CN113330487A (zh) | 参数标定方法及装置 | |
JP4085671B2 (ja) | データ処理方法、データ処理プログラムおよび記録媒体 | |
JP2017059998A (ja) | 画像処理装置およびその方法、並びに、撮像装置 | |
KR101634283B1 (ko) | 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법 | |
WO2020175621A1 (ja) | カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体 | |
KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
CN113052974A (zh) | 物体三维表面的重建方法和装置 | |
JP7033294B2 (ja) | 撮像システム、撮像方法 | |
JP4006296B2 (ja) | 写真測量による変位計測方法及び変位計測装置 | |
JP6198104B2 (ja) | 3次元物体認識装置及び3次元物体認識方法 | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
CN118119972A (zh) | 生成用于相机校准的相机模型的方法和*** | |
JP4775541B2 (ja) | 撮影画像における歪曲収差補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17852979 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018541042 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17852979 Country of ref document: EP Kind code of ref document: A1 |