WO2018056206A1 - 変位計測装置、変位計測システム、変位計測方法及びプログラム - Google Patents

変位計測装置、変位計測システム、変位計測方法及びプログラム Download PDF

Info

Publication number
WO2018056206A1
WO2018056206A1 PCT/JP2017/033438 JP2017033438W WO2018056206A1 WO 2018056206 A1 WO2018056206 A1 WO 2018056206A1 JP 2017033438 W JP2017033438 W JP 2017033438W WO 2018056206 A1 WO2018056206 A1 WO 2018056206A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
time
displacement
image including
unit
Prior art date
Application number
PCT/JP2017/033438
Other languages
English (en)
French (fr)
Inventor
佐藤　慶明
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018541042A priority Critical patent/JP7067479B2/ja
Priority to US16/334,496 priority patent/US20210295540A1/en
Publication of WO2018056206A1 publication Critical patent/WO2018056206A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • This disclosure relates to displacement measurement.
  • Patent Document 1 discloses a correction method at the time of displacement measurement by subtracting an error due to movement of a camera device.
  • Patent Document 2 discloses a method for calculating the displacement of the subject by simultaneously photographing the subject and a fixed point other than the subject.
  • Non-Patent Documents 1 and 2 disclose bundle adjustment for restoring the three-dimensional shape of an object from an image.
  • Hayato Obama and 5 others "3D shape restoration based on bundle adjustment method using Affine-SIFT algorithm”
  • Proceedings of Fire Country Information Symposium 2012, Information Processing Society of Japan, March 2012 Yuki Iwamoto and two others “Implementation and evaluation of bundle adjustment for 3D reconstruction", Information Processing Society of Japan Research Report, Vol.2011-CVIM-175, No.19, Information Processing Society of Japan, January 2011
  • Patent Documents 1 and 2 both disclose a method of suppressing the influence of camera movement in displacement measurement using a captured image.
  • the methods described in Patent Documents 1 and 2 have a problem that it is difficult to measure the displacement of the measurement object with high accuracy unless the resolution of the camera is sufficiently high.
  • An exemplary object of the present disclosure is to provide a technique for measuring a displacement of a measurement object with high accuracy.
  • a displacement measuring device including a calculating means for calculating a difference between the second position at the first time and the second position at the second time when the first position is used as a reference. Is done.
  • photographing means for photographing an image including a first position and an image including a second position at a first time and a second time, the plurality of acquired images, and the photographing Using the association information calculated based on the configuration information of the means, the second position in the first time and the second time in the second time when the first position is used as a reference
  • a displacement measurement system includes calculation means for calculating a difference from the position.
  • the image including the first position and the image including the second position which are imaged at the first time by the image capturing unit, and the image captured at the second time by the image capturing unit.
  • An image including the first position and an image including the second position are acquired, and the first information is obtained using the acquired plurality of images and association information calculated based on configuration information of the photographing unit.
  • the image captured at the first time by the image capturing means on the computer the image including the first position and the image including the second position, and the image captured at the second time by the image capturing means.
  • the displacement of the measurement object is measured with high accuracy.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the displacement measuring apparatus.
  • FIG. 2A is a conceptual diagram for explaining the displacement calculated by the calculation unit.
  • FIG. 2B is another conceptual diagram for explaining the displacement calculated by the calculation unit.
  • FIG. 3 is a flowchart illustrating an example of a displacement measuring method executed by the displacement measuring apparatus.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the displacement measurement system.
  • FIG. 5 is a diagram illustrating the positional relationship of the cameras.
  • FIG. 6 is a diagram illustrating a measurement object and a shooting position.
  • FIG. 7 is an explanatory diagram illustrating an example of a calibration execution method for calculating a homogeneous transformation matrix.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the displacement measuring apparatus.
  • FIG. 2A is a conceptual diagram for explaining the displacement calculated by the calculation unit.
  • FIG. 2B is another conceptual diagram for explaining the displacement calculated by the calculation unit.
  • FIG. 8 is a flowchart illustrating an example of a displacement measurement process executed by the displacement measurement apparatus.
  • FIG. 9 is a block diagram illustrating another example of the configuration of the displacement measurement system.
  • FIG. 10A is a block diagram illustrating another example of the configuration of the displacement measuring apparatus.
  • FIG. 10B is a block diagram illustrating still another example of the configuration of the displacement measuring device.
  • FIG. 10C is a block diagram illustrating still another example of the configuration of the displacement measuring device.
  • FIG. 11 is a block diagram illustrating still another example of the configuration of the displacement measurement system.
  • FIG. 12 is a block diagram illustrating still another example of the configuration of the displacement measurement system.
  • FIG. 13 is a block diagram illustrating an example of a hardware configuration of the computer apparatus.
  • FIG. 1 is a block diagram showing a configuration of a displacement measuring apparatus 100 according to one embodiment.
  • the displacement measuring device 100 is a device for measuring the displacement in the measurement object.
  • the displacement measuring apparatus 100 includes at least an acquisition unit 110 and a calculation unit 120.
  • Measured objects here are, for example, buildings such as buildings and bridges.
  • the measurement object is an object that requires highly accurate displacement measurement compared to its size.
  • the measurement object is not limited to a specific object as long as displacement measurement by a method described later is possible.
  • the displacement of the measurement object can be caused by factors such as time (deterioration, etc.), temperature (thermal expansion, etc.), load (existence of load, etc.), but is not limited to a specific factor.
  • the acquisition unit 110 acquires an image photographed by the photographing unit.
  • the imaging unit referred to here is, for example, a camera having an image sensor for converting light into image information for each pixel, such as a charge-coupled device (CCD) image sensor or a complementary metal-oxide-semiconductor (CMOS) image sensor. It is configured to include one or more.
  • the imaging unit may be mounted on a moving body such as a vehicle or an aircraft.
  • the acquisition unit 110 acquires an image by receiving input of image data expressed in a predetermined format, for example.
  • the image acquired by the acquisition unit 110 may be a visible image, or may be an image including information on the wavelength of an invisible region such as near infrared light.
  • the image acquired by the acquisition unit 110 may be either a monochrome image or a color image, and the number of pixels and the number of gradations (color depth) are not particularly limited.
  • the acquisition by the acquisition unit 110 may be acquisition via a communication line, or may be reading from a recording medium included in the own device or another device.
  • the acquisition unit 110 acquires an image including the first position and an image including the second position.
  • the first position is a position used as a reference in displacement measurement.
  • the second position is a position different from the first position and is a position to be subjected to displacement measurement.
  • the first position is a position where the displacement does not substantially occur or the displacement is negligibly small compared to the second position.
  • the second position is, for example, a position where displacement is likely to occur or a position where displacement can be easily measured.
  • the image including the first position is also referred to as “first image”
  • the image including the second position is also referred to as “second image”.
  • the first position and the second position may be any positions as long as they can be distinguished from other positions.
  • the first position and the second position may be positions provided with markers that facilitate optical identification such as so-called markers.
  • the first position and the second position may be optically identified by unevenness of the object surface or a minute difference in color.
  • the second position is a part of the measurement object.
  • the first position may or may not be a part of the measurement object.
  • the first position may be a part of another object that is less displaced (or not displaced) than the measurement object. That is, the first position and the second position are not necessarily included in a single object.
  • the acquisition unit 110 acquires a first image and a second image taken at the first time, and a first image and a second image taken at the second time.
  • the acquisition unit 110 acquires a plurality of first images and second images that are captured at different timings.
  • the second time is, for example, a period after the first time and in which the measurement object is displaced (or possibly).
  • a plurality of first images and second images may be taken at each of the first period and the second period.
  • the first image and the second image are, for example, a pair of images taken at a specific timing.
  • the acquisition unit 110 can also acquire a first image and a second image by acquiring a moving image from the photographing unit and extracting a still image at a specific point in time of the acquired moving image.
  • the acquisition unit 110 extracts still images captured at the same time from a plurality of moving images captured by a plurality of cameras, and the extracted still images are a first image and a second image, respectively. It may be used as Or the acquisition part 110 may use each of the still image image
  • the calculation unit 120 calculates the displacement of the measurement object.
  • the calculation unit 120 calculates the displacement of the second position with reference to the first position, using the image acquired by the acquisition unit 110 and the association information calculated based on the configuration information of the photographing unit. .
  • the displacement referred to here is a difference in the second position when compared between the first time and the second time.
  • the configuration information is information representing, for example, the difference in shooting direction between the first image and the second image, and the shooting magnification of each of the first image and the second image.
  • the configuration information may represent shooting conditions of a plurality of cameras.
  • the imaging conditions here include, for example, relative positions or angles of a plurality of cameras.
  • the configuration information may be stored in advance in the displacement measuring apparatus 100, or may be acquired together with the first image and the second image via the acquisition unit 110.
  • the association information is described by, for example, a homogeneous transformation matrix, Euler angle, quaternion, and the like.
  • the association information makes it possible to describe the coordinates of the first image and the coordinates of the second image using a common coordinate system.
  • the association information may be calculated by the displacement measuring apparatus 100, but may be calculated in advance by an apparatus different from the displacement measuring apparatus 100.
  • the association information associates the first image with the second image. More specifically, the association information associates the first image and the second image taken at the same time. It can be said that the association based on the association information is to associate the first position included in the first image with the second position included in the second image.
  • the calculation unit 120 can associate a plurality of images whose imaging ranges do not overlap by using the association information.
  • FIGS. 2A and 2B are conceptual diagrams for explaining the displacement calculated by the calculation unit 120.
  • FIG. In the example shown in FIGS. 2A and 2B, it is assumed that the measurement object 200 is shot separately at the first position 201 and the second position 202 by two cameras. These cameras are assumed to be fixed so that the mutual positional relationship is not changed by a rigid body or the like.
  • FIG. 2A illustrates the shooting in the first period.
  • FIG. 2B illustrates imaging in the second period.
  • the first camera captures the first image 211 in the first period and captures the first image 221 in the second period.
  • the first images 211 and 221 are common in that they include the first position 201, but their shooting ranges do not necessarily match.
  • the second camera captures the second image 212 at the first time, and captures the second image 222 at the second time.
  • the relative positional relationship between the first camera and the second camera does not change between the first time and the second time. Then, when it is assumed that the measurement target object 200 is not deformed, the position where the measurement target object 200 appears in the second image 222 at the second time is second as shown by a two-dot chain line in FIG. 2B. Can be uniquely identified from the first image 221 and the configuration information.
  • the calculating unit 120 may calculate the displacement D based on the difference between the actual position of the second position 202 in the second image 222 and the position assumed from the first image 221 and the association information. it can.
  • FIG. 3 is a flowchart illustrating a displacement measuring method executed by the displacement measuring apparatus 100.
  • the displacement measuring apparatus 100 executes processing according to the example of FIG.
  • step S310 the acquisition unit 110 acquires the first image and the second image taken at the first time, and the first image and the second image taken at the second time. Note that the acquisition unit 110 may acquire images taken at the first time and images taken at the second time at the same time, or may be obtained at different times.
  • step S320 the calculation unit 120 calculates the displacement of the measurement object using the first image and the second image acquired in step S310 and the association information.
  • the displacement measuring apparatus 100 has a configuration for calculating the displacement of the measurement object using the association information calculated based on the configuration information of the imaging unit.
  • This configuration enables displacement measurement by local imaging of the measurement object without imaging the entire measurement object. Therefore, according to the displacement measuring apparatus 100, since the resolution per unit area of the image including the measurement target can be improved as compared with the case where the entire measurement target is photographed, the displacement of the measurement target is highly accurate. It is possible to measure. Alternatively, it can be said that the displacement measuring apparatus 100 can measure the displacement of the measurement object with high accuracy without improving the resolution of the image sensor.
  • FIG. 4 is a block diagram illustrating a configuration of a displacement measurement system 400 according to another embodiment.
  • the displacement measurement system 400 includes a UAV (Unmanned Aerial Vehicle) 410 and a displacement measurement device 420.
  • the UAV 410 and the displacement measuring device 420 are configured to be able to communicate data wirelessly.
  • the UAV 410 images the measurement object while flying.
  • the UAV 410 may be remotely operated by the displacement measuring device 420 or other remote operation device, but may be configured to photograph a specific position of the measurement object by image recognition. Further, the UAV 410 may be configured to continuously capture a specific position of the measurement object for a certain period while hovering.
  • the UAV 410 includes a photographing unit 411 and a communication unit 412.
  • the photographing unit 411 further includes cameras 411a, 411b, and 411c.
  • the imaging unit 411 generates image data representing images captured by the cameras 411a, 411b, and 411c, and supplies the generated image data to the communication unit 412.
  • the imaging unit 411 may execute known image processing for facilitating arithmetic processing in the displacement measuring device 420. Further, the photographing unit 411 may photograph a moving image instead of a still image.
  • FIG. 5 is a diagram illustrating the positional relationship between the cameras 411a, 411b, and 411c.
  • the cameras 411a, 411b, and 411c are fixed so as to maintain a specific positional relationship.
  • the cameras 411a, 411b, and 411c are mounted on the UAV 410 in a state in which the shooting directions are different by an angle ⁇ .
  • the cameras 411a, 411b, and 411c are firmly fixed by a rigid body or the like so that the positional relationship does not change due to vibration accompanying the flight of the UAV 410.
  • the communication unit 412 transmits the image data supplied from the imaging unit 411 to the displacement measuring device 420.
  • the communication unit 412 performs processing such as encoding on the image data supplied from the imaging unit 411, and transmits the image data to the displacement measuring device 420 according to a predetermined communication method.
  • the displacement measuring device 420 includes a communication unit 421 and a calculation unit 422.
  • the communication unit 421 receives image data from the UAV 410.
  • the communication unit 421 supplies the image data transmitted via the communication unit 412 to the calculation unit 422.
  • the calculation unit 422 further includes a first calculation unit 422a that calculates a homogeneous transformation matrix and a second calculation unit 422b that calculates the displacement of the measurement object.
  • the homogeneous transformation matrix corresponds to an example of association information in the first embodiment.
  • the second calculation unit 422b calculates the displacement of the measurement object using the image data supplied from the communication unit 421 and the homogeneous transformation matrix calculated by the first calculation unit 422a.
  • the communication unit 421 corresponds to an example of the acquisition unit 110 in the displacement measurement apparatus 100 of the first embodiment.
  • the calculation unit 422 corresponds to an example of the calculation unit 120 in the displacement measurement device 100 of the first embodiment.
  • the displacement measuring device 420 may include a configuration for recording the displacement calculated by the calculation unit 422.
  • the displacement measuring device 420 may include a recording device that records the displacement calculated by the calculating unit 422 on a recording medium together with the date and time (shooting date and time).
  • the displacement measuring device 420 may include a display device that displays information according to the displacement calculated by the calculating unit 422.
  • the displacement measurement system 400 images the measurement object and calculates the displacement of the measurement object under the above configuration. Specifically, the displacement measurement system 400 can calculate the displacement of the measurement object by operating as follows. As an example, in the following, it is assumed that the measurement object is a bridge.
  • FIG. 6 is a diagram illustrating a measurement object and a shooting position.
  • the displacement measurement system 400 measures the displacement of the bridge 600 as the vehicle travels, in particular, the deflection of the floor slab.
  • the positions photographed by the UAV 410 are P1, P2, and P3.
  • the positions P1 and P3 are positions that can be regarded as having no displacement accompanying the traveling of the vehicle, such as the vicinity of the pier.
  • the positions P1 and P3 are taken by the cameras 411a and 411c.
  • the position P2 is a position where the displacement accompanying the traveling of the vehicle is relatively large, such as an intermediate point between the pier and the pier.
  • the position P2 is photographed by the camera 411b.
  • the positions P1, P2, and P3 are positions where reference points such as feature points can be easily extracted. More specifically, the positions P1, P2, and P3 are positions including a specific pattern or object that can be easily distinguished from other regions. For example, the positions P1, P2, and P3 may be drawn with characters or symbols, or may include a boundary between one member and another member.
  • the positions P1 and P3 are also referred to as “reference positions”.
  • the reference position corresponds to an example of the first position in the first embodiment.
  • the position P2 is also referred to as a “measurement position”.
  • the measurement position corresponds to an example of a second position in the first embodiment.
  • the reference position and the measurement position are areas having a certain size, and may include a plurality of feature points to be described later.
  • the displacement measurement system 400 images the bridge 600 at the timing when the vehicle is traveling and the timing when the vehicle is not traveling, and measures the displacement of the floor slab. In other words, the displacement measurement system 400 measures the displacement of the floor slab at the timing when the load is applied to the bridge 600 and the timing when the load is not applied.
  • the displacement measuring device 420 When measuring the displacement, acquires the internal parameters of the cameras 411a, 411b, and 411c in advance.
  • the internal parameters are, for example, the optical axis center and focal length.
  • the internal parameter may be provided by the camera manufacturer, or may be obtained in advance by calibration for calculating the internal parameter.
  • the displacement measuring device 420 acquires in advance parameters indicating the relative positions and angles of the cameras 411a, 411b, and 411c. This parameter corresponds to an example of configuration information in the first embodiment.
  • the calculation unit 422 calculates a homogeneous transformation matrix in advance before executing displacement measurement.
  • the calculation unit 422 may calculate a homogeneous transformation matrix during execution of displacement measurement (for example, between step S810 and step S820 described later).
  • the calculation unit 422 can calculate a homogeneous transformation matrix by executing calibration shown below.
  • FIG. 7 is an explanatory diagram showing a calibration execution method for calculating a homogeneous transformation matrix.
  • patterns 710, 720, and 730 are a plurality of labels whose relative positional relationships are known.
  • the patterns 710, 720, and 730 are provided so as not to move when calibration is performed, for example, by being attached to a wall surface.
  • the patterns 710, 720, and 730 are images including a specific pattern, for example, a so-called chessboard pattern (also referred to as a checkerboard pattern).
  • the pattern 710 is photographed by the camera 411a.
  • the pattern 720 is captured by the camera 411b.
  • the pattern 730 is captured by the camera 411c.
  • the patterns 710, 720, and 730 are provided at positions where the positioned cameras 411a, 411b, and 411c can simultaneously photograph.
  • the calculation unit 422 calculates a homogeneous transformation matrix indicating the relationship between the reference camera and another camera using any one of the cameras 411a, 411b, and 411c as a reference.
  • the camera 411a is used as a reference.
  • the calculation unit 422 has a 4 ⁇ 4 homogeneous transformation matrix (hereinafter referred to as “M 12 ”) that three-dimensionally shows the relationship between the camera 411a and the camera 411b, and the relationship between the camera 411a and the camera 411c is 3.
  • M 12 4 ⁇ 4 homogeneous transformation matrix
  • M 13 A four-dimensional and four-dimensional homogeneous transformation matrix shown in dimension is calculated.
  • the calculation unit 422 can calculate the homogeneous transformation matrices M 12 and M 13 by using any one of general and well-known methods for calculating the homogeneous transformation matrix.
  • FIG. 8 is a flowchart showing a displacement measurement process executed by the displacement measurement device 420.
  • the communication unit 421 receives from the UAV 410 first image data corresponding to the first image and second image data corresponding to the second image.
  • These image data are images obtained by photographing each of the positions P1, P2 and P3 from a plurality of different photographing directions at a time when a specific load is not applied to the bridge 600 and a time when the load is applied.
  • the UAV 410 performs imaging in a period in which the vehicle is traveling on the bridge 600 and a period in which the vehicle is not traveling. These periods correspond to the “first time” and the “second time” in the first embodiment.
  • the UAV 410 photographs the positions P1, P2, and P3 at a plurality of photographing positions by moving up and down so that the positions P1, P2, and P3 do not deviate from the photographing range.
  • the UAV 410 captures the positions P1, P2, and P3 from a plurality of viewpoints.
  • the UAV 410 captures each of the positions P1, P2, and P3 so that distortion due to ascending or descending occurs between the captured images.
  • step S810 the communication unit 421 acquires image data for the number of sheets corresponding to the product of the number of cameras and the number of times of shooting.
  • the number of cameras included in the UAV 410 is “3”. Accordingly, the total number of the first image and the second image acquired in step S810 is “3M” when the number of photographing is “M”.
  • step S820 the calculation unit 422 extracts feature points from each of the first image and the second image represented by the plurality of image data received in step S810. More specifically, the calculation unit 422 extracts feature points from the positions P1, P2, or P3 included in each image.
  • the feature quantities that can be used in step S820 are feature quantities that represent local features of the image, such as FAST (Features Accelerated Segment Test) feature amounts and SIFT (Scale-Invariant Feature Transform) feature amounts.
  • step S830 the calculation unit 422 associates the first image including the reference position and the second image including the measurement position using the feature points extracted in step S820.
  • the calculation unit 422 can associate the first image and the second image three-dimensionally by restoring the three-dimensional shape of the feature points using an algorithm in which bundle adjustment is expanded. .
  • the bundle adjustment is a method for restoring (estimating) a three-dimensional shape of a photographed scene based on reference points included in a plurality of images obtained by photographing the same position.
  • Bundle adjustment is one of the element technologies of SfM (Structure from Motion). In bundle adjustment, a photographed image is modeled by the following perspective projection (1).
  • x and y indicate the position of a certain point in the image, that is, two-dimensional coordinates.
  • X, Y, and Z indicate three-dimensional coordinates in the space of this point.
  • s and f 0 are arbitrary non-zero proportional coefficients.
  • P is a 3 ⁇ 4 matrix called a projection matrix.
  • R and unit matrix are I, they are expressed by the following equation (2).
  • K is an internal matrix (also referred to as an internal parameter matrix) related to the camera.
  • (It) is a matrix in which unit matrices I and t are arranged in the column direction, and in the equation (2), it is a matrix of 3 rows and 4 columns.
  • N points (X ⁇ , Y ⁇ , Z ⁇ ) in the scene are photographed M times from different positions, they are observed at the position (x ⁇ , y ⁇ ) of the ⁇ -th image.
  • the projection matrix for the ⁇ -th image is P ⁇
  • the sum of the sums of squares of the shifts between the positions to be projected and the observation positions for all points is expressed by the following equation (4).
  • E expressed by the equation (4) is called a reprojection error.
  • I ⁇ is a visualization index.
  • the visualization index I ⁇ is “1” when the point (X ⁇ , Y ⁇ , Z ⁇ ) is shown in the ⁇ -th image, and “0” otherwise.
  • the deviation on the image is expressed by the following equation (5) when measured by a distance where the proportional coefficient f0 is “1”.
  • P ⁇ ij represents an element in the i-th row and j-th column of the projection matrix P ⁇ .
  • the point (X ⁇ , Y ⁇ , Z ⁇ ) that minimizes the reprojection error of equation (4) and the projection matrix P ⁇ for one camera are estimated as 3 in the scene. It was a technique to restore the dimensional shape.
  • a plurality of cameras are used.
  • the SfM of this embodiment is characterized in that a general SfM is extended using a homogeneous transformation matrix M 1 ⁇ ( ⁇ is the number of cameras).
  • M 11 is assumed to be a unit matrix.
  • the reprojection error E of the present embodiment is expressed as the following equation (7).
  • p ⁇ , q ⁇ , and r ⁇ are expressed as the following equation (8).
  • P ⁇ ij represents an element in the i-th row and j-th column of the projection matrix P ⁇ .
  • the projection matrix P ⁇ is obtained for each image and each camera.
  • I ⁇ is a visualization index similar to I ⁇ .
  • the calculation unit 422 uses the point (X ⁇ , Y ⁇ , Z ⁇ ) that minimizes the reprojection error of equation (7) and the projection matrix P for the observed (x ⁇ , y ⁇ ). Calculate ⁇ .
  • Expression (7) makes it possible to evaluate an image captured by a plurality of cameras using a single reprojection error expression.
  • the calculation unit 422 can calculate the point (X ⁇ , Y ⁇ , Z ⁇ ) and the projection matrix P ⁇ by applying a known method described in Non-Patent Document 2.
  • step S830 The process of step S830 is as described above.
  • the calculation unit 422 calculates the displacement of the measurement position in step S840.
  • the calculation unit 422 is extracted by a known robust estimation method such as RANSAC (Random Sample Consensus) at the first time (no load state) and the second time (the load state). Search for point correspondences.
  • RANSAC Random Sample Consensus
  • the feature points extracted in step S820 may include not only correct correspondence (inlier) but also incorrect correspondence (outlier).
  • step S840 the feature points determined to be miscorresponding are excluded from the feature points constituting the photographed scene.
  • a feature point that is determined to be a correct correspondence that is, a correspondence relationship is also called a “corresponding point”.
  • the calculation unit 422 performs alignment on the feature point extracted in the first period and the three-dimensional shape is estimated, and the feature point extracted in the second period and the three-dimensional shape is estimated. .
  • a well-known method such as an ICP (Iterative Closest Point) algorithm can be applied to align these point groups.
  • the calculation unit 422 repeatedly calculates a combination of feature points that minimizes the error after alignment.
  • the calculation unit 422 assumes that there is no displacement between corresponding points extracted from the first image at the first time and the second time. In other words, the calculation unit 422 determines that the error between the corresponding points extracted from the first image at the first time and the second time is the corresponding points extracted from the second image at these times. It is assumed that it is sufficiently smaller (ie negligible) than the error between the two. Assuming in this way, the displacement of the measurement position can be expressed as an error (that is, residual) remaining after alignment.
  • the displacement measurement system 400 has a configuration in which images taken by a plurality of cameras (411a, 411b, 411c) are evaluated by one reprojection error equation.
  • This configuration makes it possible to avoid the limitation in general SfM that only one camera is used when restoring a three-dimensional shape from an image. If a plurality of cameras can be used in displacement measurement, it is possible to locally image only the position of the measurement object to be measured. Therefore, according to the displacement measurement system 400, even if the measurement object is a large object such as the bridge 600, the resolution per unit area of the image including the measurement object can be improved. Displacement can be measured with high accuracy.
  • FIG. 9 is a block diagram showing a configuration of a displacement measurement system 900 according to still another embodiment.
  • the displacement measurement system 900 has the same configuration as the displacement measurement system 400 (see FIG. 4) of the second embodiment except for the configuration of the UAV 910.
  • the description of the configuration common to the second embodiment is omitted as appropriate.
  • the UAV 910 includes a motion control unit 913 in addition to the imaging unit 911 and the communication unit 912.
  • the cameras 911a, 911b, and 911c are different from the cameras 411a, 411b, and 411c of the second embodiment in that the mutual positional relationship is variably configured.
  • the motion control unit 913 controls the movement of the cameras 911a, 911b, and 911c.
  • the motion control unit 913 can control the positions or shooting directions of the cameras 911a, 911b, and 911c. Under the control of the motion control unit 913, the cameras 911a, 911b, and 911c change relative positions or angles of each other.
  • the motion control unit 913 controls the movements of the cameras 911a, 911b, and 911c by driving, for example, a servo motor or a direct acting actuator.
  • the control by the motion control unit 913 may be remote control, that is, control by the displacement measuring device 420 or other remote operation device.
  • the control by the motion control unit 913 may be control based on images taken by the cameras 911a, 911b, and 911c.
  • the motion control unit 913 may control the positions or shooting directions of the cameras 911a, 911b, and 911c so as to continue shooting a specific position of the measurement target.
  • the motion control unit 913 supplies the configuration information to the communication unit 912.
  • the configuration information of the present embodiment includes information indicating the imaging conditions (relative position, angle, etc.) of the cameras 911a, 911b, and 911c.
  • the configuration information includes information indicating the displacement and rotation angle of the cameras 911a, 911b, and 911c from the reference position.
  • the motion control unit 913 need not always supply the configuration information to the communication unit 912, and may supply the communication unit 912 only when the configuration information changes.
  • the cameras 911a, 911b, and 911c may have an optical zoom function. That is, the cameras 911a, 911b, and 911c may have a mechanism for taking an image by optically enlarging (or reducing) the image.
  • the photographing magnifications by the cameras 911a, 911b, and 911c can be set independently (that is, regardless of the photographing magnifications of other cameras).
  • the configuration information may include information indicating the shooting magnification of the cameras 911a, 911b, and 911c.
  • the communication unit 912 transmits the configuration information supplied from the motion control unit 913 to the displacement measuring device 920 in addition to the image data.
  • the configuration information may be embedded in the image data as metadata of the image data.
  • the configuration information may be information indicating a difference from the state immediately before the cameras 911a, 911b, and 911c.
  • the displacement measuring device 920 includes a communication unit 921 and a calculation unit 922.
  • the communication unit 921 is different from the communication unit 421 of the second embodiment in that it receives configuration information in addition to image data.
  • the calculation unit 922 is different from the calculation unit 422 of the second embodiment in that the homogeneous conversion matrix is calculated (that is, changed) based on the configuration information received by the communication unit 921.
  • the calculation unit 922 performs calibration as illustrated in FIG. 7 a plurality of times in advance for all combinations of the positional relationships of the cameras 911a, 911b, and 911c that can be assumed, and calculates a homogeneous transformation matrix for each combination in advance. Also good. Alternatively, the calculation unit 922 may estimate the changed homogeneous transformation matrix based on a change from the state immediately before the configuration information. The calculation unit 922 can calculate a homogeneous transformation matrix based on, for example, forward kinematics and inverse kinematics of a manipulator in robotics.
  • the displacement measurement process executed by the calculation unit 922 is the same as that of the second embodiment except that the homogeneous transformation matrix M 1 ⁇ in the equation (6) can be changed according to the change in the configuration information. 8). That is, the homogeneous transformation matrix of the present embodiment can be changed according to changes in the movement of the cameras 911a, 911b, and 911c by the motion control unit 913.
  • the displacement measurement system 900 is configured to control the movements of the cameras 911a, 911b, and 911c and calculate the displacement of the measurement object using the homogeneous transformation matrix according to the movements of the cameras 911a, 911b, and 911c.
  • the displacement measurement system 900 can achieve the same effects as the displacement measurement system 400 of the second embodiment.
  • the displacement measurement system 900 can calculate the displacement of the measurement object even if the camera 911a, 911b, and 911c are not configured to be fixed so as not to move.
  • the present disclosure is not limited to the first to third embodiments described above.
  • the present disclosure includes the modifications described below.
  • the present disclosure may include a form in which matters described in the present specification are appropriately combined or replaced as necessary.
  • the matters described using a specific embodiment can be applied to other embodiments as long as no contradiction arises.
  • the present disclosure is not limited to these, and may include embodiments to which modifications or applications that can be understood by those skilled in the art are applied.
  • the UAV 410 may have a configuration for measuring angular velocity or acceleration.
  • the UAV 410 may include a so-called IMU (Inertial Measurement Unit).
  • IMU Inertial Measurement Unit
  • the angular velocity and acceleration measured by the IMU can calculate changes in the angle and position of the UAV 410 by integration.
  • Equation (7) is an optimization with a relatively large number of unknowns, which determines the point (X ⁇ , Y ⁇ , Z ⁇ ) in the scene and the center position t and rotation matrix R of the lens included in the projection matrix P ⁇ . It is an operation. However, when the IMU is used, the center position t and the rotation matrix R of the lens can be calculated from changes in the angle and position of the UAV 410, and these can be handled as known values.
  • Modification 2 In general, the three-dimensional position of the scene obtained by SfM, that is, the point (X ⁇ , Y ⁇ , Z ⁇ ) has scale indefiniteness with the three-dimensional position in the real world.
  • the term “indeterminacy” as used herein refers to a property that the proportionality coefficient s in the equation (1) cannot be uniquely specified from the reprojection error E in the equation (4) or (7). Due to this indefiniteness, the displacement calculated by the calculation unit 422 cannot be described in units representing an absolute length such as a meter, and is expressed in a relative ratio to a reference position.
  • the calculation unit 422 may calculate the ratio of the camera movement amount and the actual movement amount obtained by SfM in order to express the displacement in a unit representing the absolute length.
  • the actual movement amount of the camera can be obtained using, for example, an inertial sensor or an atmospheric pressure sensor.
  • the calculation unit 422 records the position of a specific camera (here, camera 411a) among the plurality of cameras.
  • the position when the camera 411a captures the ⁇ -th image is “t ⁇ ′”.
  • the calculation unit 422 can calculate a displacement in units of meters, for example, by calculating the proportionality coefficient s from the equation (9). Specifically, the calculation unit 422 describes the displacement in units of absolute length by multiplying the displacement obtained by minimizing the reprojection error E of Equation (7) by the proportional coefficient s. It is possible.
  • the displacement measuring device 420 may set a reference point (hereinafter referred to as “fixed point”) from among a plurality of corresponding points.
  • the fixed point is selected from corresponding points included in the first image, that is, the image including the reference position.
  • the displacement measuring device 420 calculates the position of the camera based on this fixed point, and measures the position of a corresponding point (hereinafter referred to as “movable point”) that is not a fixed point based on the calculated position of the camera. Also good.
  • the movable point is selected from corresponding points included in the second image, that is, the image including the measurement position.
  • the displacement measuring device 420 may calculate the displacement of the measurement object based on the difference between the position of the movable point expected from the position of the fixed point and the position of the actually measured movable point. In this way, the displacement measuring device 420 can calculate the displacement of the movable point in real time.
  • f and m are a set of non-overlapping values among the possible values of ⁇ . That is, the sum of the fixed points and the movable points is equal to the total number of fixed points.
  • the calculation unit 422 minimizes the reprojection errors E F and E M of the fixed point and the movable point using the following formulas (10) and (11).
  • the center position t and the rotation matrix R of each lens are estimated.
  • these values are treated as fixed values.
  • the center position and rotation matrix with respect to the fixed point and the center position and rotation matrix with respect to the movable point can be obtained.
  • the center position and rotation matrix with the fixed point as a reference are denoted as “t F ” and “R F ”, respectively.
  • the center position and the rotation matrix with respect to the movable point are denoted as “t M ” and “R M ”, respectively.
  • center positions and rotation matrices can be expressed as the following equation (12), where the differences resulting from the displacement of the movable point are ⁇ t and ⁇ R, respectively.
  • a fourth row is added to the matrix of 3 rows and 4 columns representing the center position and rotation of the lens (see equation (2)) so that an inverse matrix can be calculated, and a homogeneous transformation matrix representation is obtained. Is.
  • ⁇ t and ⁇ R represent displacement of the movable point with respect to the fixed point.
  • the calculation unit 422 acquires the position (X ⁇ , Y ⁇ , Z ⁇ ) of the corresponding point in advance, and operates as described above, so that it can move without executing shooting multiple times at the second time. It is possible to calculate the displacement of the point. Therefore, the calculation unit 422 can calculate the displacement of the measurement object only by photographing the measurement object once without changing the photographing position.
  • the reference point according to the present disclosure is not limited to the feature point based on the feature amount.
  • a method for restoring a three-dimensional shape a method using pixel brightness and color instead of a feature amount is also known.
  • the displacement measuring method according to the present disclosure can also be applied to such a method.
  • the displacement measurement method according to the present disclosure can also be applied to position estimation using, for example, PTAM (Parallel Tracking and Mapping for Small AR Workspaces) and LSD-SLAM (Large-Scale Direct Monocular Simultaneous Localization and Mapping).
  • the reference point according to the present disclosure may be a specific pixel used in such a method.
  • a displacement measuring apparatus 100A illustrated in FIG. 10A includes an acquisition unit 1010, a first calculation unit 1020, and a second calculation unit 1030.
  • a displacement measuring apparatus 100B illustrated in FIG. 10B includes an acquisition unit 1010, a storage unit 1040, and a calculation unit 1050.
  • a displacement measuring apparatus 100C illustrated in FIG. 10C includes a storage unit 1060 and a calculation unit 1050. Note that the acquisition unit 1010 has the same configuration and function as the acquisition unit 110 of the first embodiment.
  • the calculation unit 1050 has the same configuration and function as the calculation unit 120 of the first embodiment.
  • the first calculation unit 1020 calculates association information.
  • the specific calculation method of the association information may be the same as that in the first to third embodiments.
  • the second calculation unit 1030 uses the first image and the second image acquired by the acquisition unit 1010 and the association information calculated by the first calculation unit 1020 to determine the second position (measurement position). Calculate the displacement.
  • a specific calculation method of the second position may be the same as in the first to third embodiments.
  • the storage unit 1040 stores association information.
  • the storage unit 1040 stores related information calculated in advance by another device (that is, before photographing the measurement object). Therefore, the displacement measuring apparatus 100B does not need to calculate association information.
  • the storage unit 1060 stores all images necessary for displacement measurement and association information.
  • the storage unit 1060 stores related information calculated in advance by another device.
  • the storage unit 1060 stores an image captured in advance.
  • the displacement measuring device 100C does not need to calculate association information, like the displacement measuring device 100B.
  • the displacement measurement system according to the present disclosure is not limited to the configuration of the second embodiment or the third embodiment.
  • the displacement measurement system according to the present disclosure does not necessarily include a UAV.
  • FIG. 11 is a block diagram illustrating another example of the displacement measurement system according to the present disclosure.
  • the displacement measurement system 1100 includes an imaging unit 1110 and a calculation unit 1120.
  • the imaging unit 1110 and the calculation unit 1120 may be included in a single device.
  • the displacement measurement system 1100 includes a movable first device (such as a digital camera) including the photographing unit 1110 and a second device (such as a personal computer) including the calculation unit 1120. It may be constituted by.
  • the first device and the second device may be connected by wire instead of wirelessly.
  • the photographing unit 1110 photographs the first image including the first position and the second image including the second position at the first time and the second time.
  • the calculation unit 1120 uses the first image and the second image and the association information calculated based on the configuration information of the imaging unit 1110 to calculate the displacement of the second position with respect to the first position. calculate.
  • FIG. 12 is a block diagram illustrating still another example of the displacement measurement system according to the present disclosure.
  • the displacement measurement system 1200 includes a UAV 1210 and a displacement measurement device 1220.
  • the UAV 1210 is different from the UAV 410 of the second embodiment in that it includes a writer unit 1211 instead of the communication unit 412.
  • the displacement measuring device 1220 is different from the displacement measuring device 420 of the second embodiment in that it includes a reader unit 1221 instead of the communication unit 421. Except for these points, the UAV 1210 and the displacement measuring device 1220 have the same configuration as the UAV 410 and the displacement measuring device 420 of the second embodiment.
  • the writer unit 1211 records the image data supplied from the photographing unit 411 on a removable recording medium.
  • This recording medium is, for example, a so-called USB (Universal Serial Bus) memory or a memory card.
  • the reader unit 1221 reads image data from the recording medium on which the image data is recorded by the writer unit 1211.
  • the writer unit 1211 and the reader unit 1221 are, for example, reader / writers for memory cards.
  • the UAV 1210 and the displacement measuring device 1220 do not need to transmit / receive image data.
  • the user takes out the recording medium on which the image data is recorded from the UAV 1210 and attaches it to the displacement measuring device 1220.
  • the displacement measuring device 1220 reads the image data from the recording medium attached by the user and calculates the displacement.
  • the specific hardware configuration of the displacement measuring apparatus according to the present disclosure includes various variations and is not limited to a specific configuration.
  • the displacement measuring device according to the present disclosure may be realized using software, or may be configured to share various processes using a plurality of hardware.
  • FIG. 13 is a block diagram illustrating an example of a hardware configuration of a computer apparatus 1300 that implements the displacement measurement apparatus according to the present disclosure.
  • the computer apparatus 1300 includes a CPU (Central Processing Unit) 1301, a ROM (Read Only Memory) 1302, a RAM (Random Access Memory) 1303, a storage device 1304, a drive device 1305, a communication interface 1306, and an input / output interface. 1307.
  • the displacement measuring device according to the present disclosure can be realized by the configuration (or part thereof) shown in FIG.
  • the CPU 1301 executes the program 1308 using the RAM 1303.
  • the program 1308 may be stored in the ROM 1302.
  • the program 1308 may be recorded on a recording medium 1309 such as a memory card, read by the drive device 1305, or transmitted from an external device via the network 1310.
  • a communication interface 1306 exchanges data with an external device via the network 1310.
  • the input / output interface 1307 exchanges data with peripheral devices (such as an input device and a display device).
  • the communication interface 1306 and the input / output interface 1307 can function as components for acquiring or outputting data.
  • the component of the displacement measuring device according to the present disclosure may be configured by a single circuit (processor or the like) or may be configured by a combination of a plurality of circuits.
  • the circuit here may be either dedicated or general purpose.
  • a part of the displacement measuring device according to the present disclosure may be realized by a dedicated processor, and the other part may be realized by a general-purpose processor.
  • the configuration described as a single device in the above-described embodiment may be distributed among a plurality of devices.
  • the displacement measuring device 100, 420, or 920 may be realized by cooperation of a plurality of computer devices using a cloud computing technology or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

計測対象物の変位を高精度に計測する。　変位計測装置１００は、第１の時期と第２の時期とに撮影された、第１の位置を含む第１の画像と第２の位置を含む第２の画像とをそれぞれ取得する取得部１１０と、第１の画像及び第２の画像を撮影する撮影手段の構成情報を用いて、取得された第１の画像及び第２の画像を関連付ける関連付け部１２０と、取得された第１の画像及び第２の画像と、関連付け部１２０による関連付けとを用いて、第１の位置を基準とする、第２の時期における第２の位置の第１の時期からの変位を算出する算出部１２０とを含む。

Description

変位計測装置、変位計測システム、変位計測方法及びプログラム
　本開示は、変位計測に関する。
　特許文献１は、カメラ装置の移動による誤差分を差し引くことによる変位計測時の補正方法を開示する。また、特許文献２は、被検体と、被検体以外の不動点とを同時に撮影することによって被検体の変位等を算出する方法を開示する。なお、非特許文献１、２は、画像から物体の３次元形状を復元するためのバンドル調整について開示する。
特開２００７－２４０２１８号公報 特開２００７－３２２４０７号公報
小浜隼人、ほか５名「Affine-SIFTアルゴリズムを用いたバンドル調整法に基づく３次元形状復元」、火の国情報シンポジウム２０１２論文集、情報処理学会、２０１２年３月 岩元祐輝、ほか２名「３次元復元のためのバンドル調整の実装と評価」、情報処理学会研究報告、Vol.2011-CVIM-175、No.19、情報処理学会、２０１１年１月
　特許文献１、２は、いずれも、撮影画像を用いた変位計測において、カメラの移動の影響を抑制する方法を開示している。しかし、特許文献１、２に記載された方法には、カメラの解像度が十分に高くないと、計測対象物の変位を高精度に計測することが困難であるという課題が存在する。
　本開示の例示的な目的は、計測対象物の変位を高精度に計測するための技術を提供することである。
　一の態様において、撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得する取得手段と、前記取得された複数の画像と、前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する算出手段とを含む変位計測装置が提供される。
　別の態様において、第１の位置を含む画像と第２の位置を含む画像とを、第１の時期と第２の時期とに撮影する撮影手段と、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する算出手段とを含む変位計測システムが提供される。
　さらに別の態様において、撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得し、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する
変位計測方法が提供される。
　さらに別の態様において、コンピュータに、撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得する処理と、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する処理とを実行させるためのプログラムが提供される。
　本開示によれば、計測対象物の変位が高精度に計測される。
図１は、変位計測装置の構成の一例を示すブロック図である。 図２Ａは、算出部により算出される変位を説明するための概念図である。 図２Ｂは、算出部により算出される変位を説明するための別の概念図である。 図３は、変位計測装置により実行される変位計測方法の一例を示すフローチャートである。 図４は、変位計測システムの構成の一例を示すブロック図である。 図５は、カメラの位置関係を例示する図である。 図６は、計測対象物と撮影位置を例示する図である。 図７は、同次変換行列を算出するためのキャリブレーションの実行方法の一例を示す説明図である。 図８は、変位計測装置が実行する変位計測処理の一例を示すフローチャートである。 図９は、変位計測システムの構成の別の例を示すブロック図である。 図１０Ａは、変位計測装置の構成の別の例を示すブロック図である。 図１０Ｂは、変位計測装置の構成のさらに別の例を示すブロック図である。 図１０Ｃは、変位計測装置の構成のさらに別の例を示すブロック図である。 図１１は、変位計測システムの構成のさらに別の例を示すブロック図である。 図１２は、変位計測システムの構成のさらに別の例を示すブロック図である。 図１３は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。
　［第１実施形態］
　図１は、一の実施形態に係る変位計測装置１００の構成を示すブロック図である。変位計測装置１００は、計測対象物における変位を計測するための装置である。変位計測装置１００は、取得部１１０と、算出部１２０とを少なくとも含む。
　ここでいう計測対象物は、例えば、ビル、橋梁等の建造物である。いくつかの態様において、計測対象物は、その大きさに比して高精度な変位計測が要求される物体である。ただし、計測対象物は、後述される方法による変位計測が可能であれば、特定の物体に限定されない。また、計測対象物の変位は、時間（劣化等）、温度（熱膨張等）、負荷（荷重の有無等）などの要因によって生じ得るが、特定の要因に限定されない。
　取得部１１０は、撮影部により撮影された画像を取得する。ここでいう撮影部は、例えば、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary metal-oxide-semiconductor）イメージセンサなど、光を画素毎の画像情報に変換するための撮像素子を有するカメラを１又は複数含んで構成される。撮影部は、車両、航空機等の移動体に搭載されてもよい。
　取得部１１０は、例えば、所定のフォーマットで表現された画像データの入力を受け付けることによって画像を取得する。取得部１１０により取得される画像は、可視画像であってもよいが、近赤外光等の不可視領域の波長の情報を含む画像であってもよい。また、取得部１１０により取得される画像は、モノクロ画像とカラー画像のいずれであってもよく、画素数や階調数（色深度）も特に限定されない。取得部１１０による取得は、通信回線を介した取得であってもよいし、自装置又は他の装置に含まれる記録媒体からの読み出しであってもよい。
　取得部１１０は、第１の位置を含む画像と、第２の位置を含む画像とを取得する。第１の位置は、変位計測において基準とする位置である。一方、第２の位置は、第１の位置と異なる位置であり、変位計測の対象となる位置である。例えば、第１の位置は、変位が実質的に生じないか、第２の位置と比較して変位が無視できる程度に少ない位置である。第２の位置は、例えば、変位が生じやすい位置や、変位の計測が容易な位置である。以下においては、第１の位置を含む画像を「第１の画像」ともいい、第２の位置を含む画像を「第２の画像」ともいう。
　第１の位置及び第２の位置は、他の位置と区別可能であれば、どのような位置であってもよい。第１の位置及び第２の位置は、いわゆるマーカのような光学的な識別を容易にする標識が設けられた位置であってもよい。あるいは、例えば計測対象物に標識を設置することが困難な場合、第１の位置及び第２の位置は、物体表面の凹凸や色の微細な相違によって光学的に識別されてもよい。
　第２の位置は、計測対象物の一部である。一方、第１の位置は、計測対象物の一部であってもそうでなくてもよい。例えば、第１の位置は、計測対象物よりも変位が少ない（又は変位しない）別の物体の一部であってもよい。すなわち、第１の位置と第２の位置とは、単一の物体に含まれることを必ずしも要しない。
　取得部１１０は、第１の時期に撮影された第１の画像及び第２の画像と、第２の時期に撮影された第１の画像及び第２の画像とを取得する。換言すれば、取得部１１０は、撮影されたタイミングが異なる複数の第１の画像及び第２の画像を取得する。第２の時期は、例えば、第１の時期よりも後であり、計測対象物に変位が生じている（又はその可能性がある）期間である。第１の画像及び第２の画像は、第１の時期及び第２の時期のそれぞれに複数枚撮影されてもよい。
　第１の画像及び第２の画像は、例えば、特定のタイミングにおいて撮影された画像のペアである。取得部１１０は、撮影部から動画を取得し、取得された動画の特定の時点の静止画を抽出することで第１の画像及び第２の画像を取得することも可能である。例えば、取得部１１０は、複数のカメラにより撮影された複数の動画から、同一の時刻に撮影された静止画をそれぞれ抽出し、抽出されたそれぞれの静止画を第１の画像及び第２の画像として用いてもよい。あるいは、取得部１１０は、同一のタイミングで撮影されるように制御された複数のカメラで撮影された静止画のそれぞれを第１の画像及び第２の画像として用いてもよい。
　算出部１２０は、計測対象物の変位を算出する。算出部１２０は、取得部１１０により取得された画像と、撮影部の構成情報に基づいて算出される関連付け情報とを用いて、第１の位置を基準とする第２の位置の変位を算出する。ここでいう変位は、第１の時期と第２の時期とで比較した場合における第２の位置の差である。
　ここでいう構成情報は、例えば、第１の画像と第２の画像の撮影方向の違いや、第１の画像と第２の画像のそれぞれの撮影倍率を表す情報である。例えば、第１の画像と第２の画像とが異なるカメラにより撮影される場合、構成情報は、複数のカメラの撮影条件を表してもよい。ここでいう撮影条件は、例えば、複数のカメラの相対的な位置又は角度を含む。構成情報は、変位計測装置１００にあらかじめ記憶されていてもよいし、取得部１１０を介して第１の画像及び第２の画像とともに取得されてもよい。
　関連付け情報は、例えば、同次変換行列、オイラー角、クォータニオンなどによって記述される。関連付け情報は、第１の画像の座標と第２の画像の座標とを共通の座標系を用いて記述することを可能にする。関連付け情報は、変位計測装置１００で算出されてもよいが、変位計測装置１００と異なる装置で事前に算出されてもよい。
　関連付け情報は、第１の画像と第２の画像とを関連付ける。より詳細には、関連付け情報は、同一の時期に撮影された第１の画像と第２の画像とを関連付ける。関連付け情報による関連付けは、第１の画像に含まれる第１の位置と第２の画像に含まれる第２の位置とを関連付けることであるともいえる。算出部１２０は、関連付け情報を用いることにより、撮影範囲が重複していない複数の画像を関連付けることが可能である。
　図２Ａ及び図２Ｂは、算出部１２０により算出される変位を説明するための概念図である。図２Ａ及び図２Ｂに示される例において、計測対象物２００は、２つのカメラによって第１の位置２０１と第２の位置２０２とが別々に撮影されるものとする。これらのカメラは、剛体等によって互いの位置関係が変化しないように固定されているものとする。図２Ａは、第１の時期における撮影を例示する。また、図２Ｂは、第２の時期における撮影を例示する。
　第１のカメラは、第１の時期において第１の画像２１１を撮影し、第２の時期において第１の画像２２１を撮影する。第１の画像２１１、２２１は、第１の位置２０１を含む点において共通するが、その撮影範囲は必ずしも一致していなくてもよい。また、第２のカメラは、第１の時期において第２の画像２１２を撮影し、第２の時期において第２の画像２２２を撮影する。
　第１のカメラと第２のカメラの相対的な位置関係は、第１の時期と第２の時期とにおいて変化していない。そうすると、計測対象物２００が変形していないと仮定した場合、第２の時期の第２の画像２２２において計測対象物２００が現れる位置は、図２Ｂにおいて二点鎖線で示されるように、第２の時期の第１の画像２２１と構成情報とから一意的に特定可能である。
　しかし、計測対象物２００が実際には変形していたとすると、第２の画像２２２において計測対象物２００が現れる位置は、二点鎖線で示された位置と異なる位置になる。算出部１２０は、第２の画像２２２における第２の位置２０２の実際の位置と、第１の画像２２１と関連付け情報とから想定される位置との相違に基づいて、変位Ｄを算出することができる。
　図３は、変位計測装置１００により実行される変位計測方法を例示するフローチャートである。変位計測装置１００は、図３の例に従って処理を実行する。
　ステップＳ３１０において、取得部１１０は、第１の時期に撮影された第１の画像及び第２の画像と、第２の時期に撮影された第１の画像及び第２の画像とを取得する。なお、取得部１１０は、第１の時期に撮影された画像と第２の時期に撮影された画像とを同時に取得してもよいし、異なるタイミングで取得してもよい。ステップＳ３２０において、算出部１２０は、ステップＳ３１０において取得された第１の画像及び第２の画像と、関連付け情報とを用いて、計測対象物の変位を算出する。
　以上のとおり、変位計測装置１００は、撮影部の構成情報に基づいて算出される関連付け情報を用いて計測対象物の変位を算出する構成を有する。この構成は、計測対象物の全体を撮影することなく、計測対象物の局所的な撮影による変位計測を可能にする。したがって、変位計測装置１００によれば、計測対象物の全体を撮影する場合に比べ、計測対象物を含む画像の単位面積当たりの解像度を向上させることができるため、計測対象物の変位を高精度に計測することが可能である。あるいは、変位計測装置１００は、イメージセンサの解像度を向上させなくても計測対象物の変位を高精度に計測することが可能である、ともいえる。
　［第２実施形態］
　図４は、別の実施形態に係る変位計測システム４００の構成を示すブロック図である。変位計測システム４００は、ＵＡＶ（Unmanned Aerial Vehicle）４１０と、変位計測装置４２０とを含む。ＵＡＶ４１０と変位計測装置４２０とは、データを無線で通信できるように構成されている。
　ＵＡＶ４１０は、飛行しながら計測対象物を撮影する。ＵＡＶ４１０は、変位計測装置４２０又は他の遠隔操作機器によって遠隔操作されてもよいが、画像認識によって計測対象物の特定の位置を撮影するように構成されてもよい。また、ＵＡＶ４１０は、ホバリングしながら計測対象物の特定の位置を一定期間撮影し続けるように構成されてもよい。ＵＡＶ４１０は、撮影部４１１と、通信部４１２とを有する。
　撮影部４１１は、カメラ４１１ａ、４１１ｂ及び４１１ｃをさらに有する。撮影部４１１は、カメラ４１１ａ、４１１ｂ及び４１１ｃにより撮影された画像を表す画像データを生成し、生成された画像データを通信部４１２に供給する。撮影部４１１は、変位計測装置４２０における演算処理を容易にするための周知の画像処理を実行してもよい。また、撮影部４１１は、静止画ではなく動画を撮影してもよい。
　図５は、カメラ４１１ａ、４１１ｂ及び４１１ｃの位置関係を例示する図である。カメラ４１１ａ、４１１ｂ及び４１１ｃは、特定の位置関係を維持するように固定されている。例えば、図５に示される例において、カメラ４１１ａ、４１１ｂ及び４１１ｃは、撮影方向が角度θずつ異なる状態でＵＡＶ４１０に搭載される。カメラ４１１ａ、４１１ｂ及び４１１ｃは、ＵＡＶ４１０の飛行に伴う振動によって位置関係が変化しないよう、剛体等で堅固に固定される。
　通信部４１２は、撮影部４１１から供給された画像データを変位計測装置４２０に送信する。通信部４１２は、撮影部４１１から供給された画像データに対して符号化等の処理を実行し、画像データを所定の通信方式に従って変位計測装置４２０に送信する。
　変位計測装置４２０は、通信部４２１と、算出部４２２とを有する。通信部４２１は、ＵＡＶ４１０から画像データを受信する。通信部４２１は、通信部４１２を介して送信された画像データを算出部４２２に供給する。算出部４２２は、同次変換行列を算出する第１算出部４２２ａと、計測対象物の変位を算出する第２算出部４２２ｂとをさらに含む。同次変換行列は、第１実施形態における関連付け情報の一例に相当する。第２算出部４２２ｂは、通信部４２１から供給された画像データと、第１算出部４２２ａにより算出された同次変換行列とを用いて、計測対象物の変位を算出する。
　本実施形態において、通信部４２１は、第１実施形態の変位計測装置１００における取得部１１０の一例に相当する。また、算出部４２２は、第１実施形態の変位計測装置１００における算出部１２０の一例に相当する。
　なお、変位計測装置４２０は、算出部４２２により算出された変位を記録する構成を含んでもよい。例えば、変位計測装置４２０は、算出部４２２により算出された変位を日時（撮影日時）とともに記録媒体に記録する記録装置を有してもよい。あるいは、変位計測装置４２０は、算出部４２２により算出された変位に応じた情報を表示する表示装置を有してもよい。
　変位計測システム４００は、以上の構成の下、計測対象物を撮影し、計測対象物の変位を算出する。具体的には、変位計測システム４００は、次のように動作することで計測対象物の変位を算出することができる。一例として、以下においては、計測対象物が橋梁であるとする。
　図６は、計測対象物と撮影位置を例示する図である。この例において、変位計測システム４００は、車両の走行に伴う橋梁６００の変位、特に床版（しょうばん）の撓みを計測する。橋梁６００において、ＵＡＶ４１０により撮影される位置は、Ｐ１、Ｐ２及びＰ３である。位置Ｐ１及びＰ３は、橋脚の近傍のような、車両の走行に伴う変位がないものとみなせる位置である。位置Ｐ１及びＰ３は、カメラ４１１ａ、４１１ｃにより撮影される。これに対し、位置Ｐ２は、橋脚と橋脚の中間地点のような、車両の走行に伴う変位が比較的大きい位置である。位置Ｐ２は、カメラ４１１ｂにより撮影される。
　いくつかの態様において、位置Ｐ１、Ｐ２及びＰ３は、特徴点等の基準点の抽出が容易な位置である。より詳細には、位置Ｐ１、Ｐ２及びＰ３は、他の領域との区別が容易な特定の模様又は物体を含む位置である。例えば、位置Ｐ１、Ｐ２及びＰ３は、文字や記号が描かれていたり、ある部材と別の部材の境界を含んでいたりしてもよい。
　以下においては、位置Ｐ１及びＰ３のことを「基準位置」ともいう。基準位置は、第１実施形態における第１の位置の一例に相当する。また、以下においては、位置Ｐ２のことを「計測位置」ともいう。計測位置は、第１実施形態における第２の位置の一例に相当する。基準位置及び計測位置は、ある程度のサイズを有する領域であり、後述される特徴点を複数含み得る。
　図６の例において、変位計測システム４００は、車両が走行しているタイミングと車両が走行していないタイミングとにおいて橋梁６００を撮影し、床版の変位を計測する。換言すれば、変位計測システム４００は、橋梁６００に対して荷重が与えられているタイミングと与えられていないタイミングとにおける床版の変位を計測する。
　変位計測に際し、変位計測装置４２０は、カメラ４１１ａ、４１１ｂ及び４１１ｃの内部パラメータをあらかじめ取得する。内部パラメータは、例えば、光軸中心及び焦点距離である。内部パラメータは、カメラメーカから提供されてもよいが、内部パラメータを計算するためのキャリブレーションによってあらかじめ求められてもよい。また、変位計測装置４２０は、カメラ４１１ａ、４１１ｂ及び４１１ｃの相対的な位置及び角度を示すパラメータをあらかじめ取得する。このパラメータは、第１実施形態における構成情報の一例に相当する。
　また、本実施形態において、算出部４２２は、変位計測を実行する前に、同次変換行列をあらかじめ算出する。なお、算出部４２２は、変位計測の実行中（例えば、後述のステップＳ８１０とステップＳ８２０の間）に同次変換行列を算出してもよい。算出部４２２は、例えば、以下に示されるキャリブレーションを実行することによって同次変換行列を算出することができる。
　図７は、同次変換行列を算出するためのキャリブレーションの実行方法を示す説明図である。この例において、パターン７１０、７２０及び７３０は、互いの相対的な位置関係が既知である複数の標識である。パターン７１０、７２０及び７３０は、壁面に貼付されるなどして、キャリブレーションの実行時には動かないように設けられる。パターン７１０、７２０及び７３０は、特定の模様を含む画像であり、例えば、いわゆるチェスボードパターン（チェッカーボードパターンともいう。）である。
　パターン７１０は、カメラ４１１ａによって撮影される。パターン７２０は、カメラ４１１ｂによって撮影される。パターン７３０は、カメラ４１１ｃによって撮影される。パターン７１０、７２０及び７３０は、位置決めされたカメラ４１１ａ、４１１ｂ及び４１１ｃが同時に撮影することができる位置に設けられる。
　算出部４２２は、カメラ４１１ａ、４１１ｂ及び４１１ｃのいずれかを基準とし、基準のカメラと他のカメラの関係を示す同次変換行列を算出する。ここでは、カメラ４１１ａを基準とする。この場合、算出部４２２は、カメラ４１１ａとカメラ４１１ｂの関係を３次元的に示す４行４列の同次変換行列（以下「Ｍ１２」という。）と、カメラ４１１ａとカメラ４１１ｃの関係を３次元的に示す４行４列の同次変換行列（以下「Ｍ１３」という。）とをそれぞれ算出する。算出部４２２は、同次変換行列を算出する一般的かつ周知な手法のいずれかを用いて、同次変換行列Ｍ１２、Ｍ１３を算出することができる。
　図８は、変位計測装置４２０が実行する変位計測処理を示すフローチャートである。ステップＳ８１０において、通信部４２１は、第１の画像に対応する第１の画像データと第２の画像に対応する第２の画像データとをＵＡＶ４１０から受信する。これらの画像データは、橋梁６００に特定の負荷が与えられていない時期と当該負荷が与えられている時期とにおいて、位置Ｐ１、Ｐ２及びＰ３のそれぞれを、複数の異なる撮影方向から撮影した画像を表す。ＵＡＶ４１０は、例えば、橋梁６００上を車両が走行している期間と車両が走行していない期間とにおいて撮影を実行する。これらの期間は、第１実施形態における「第１の時期」と「第２の時期」とに相当する。
　例えば、ＵＡＶ４１０は、飛行中、位置Ｐ１、Ｐ２及びＰ３のそれぞれが撮影範囲から外れないように上昇又は下降することにより、複数の撮影位置において位置Ｐ１、Ｐ２及びＰ３を撮影する。換言すれば、ＵＡＶ４１０は、複数の視点から位置Ｐ１、Ｐ２及びＰ３を撮影しているともいえる。例えば、ＵＡＶ４１０は、撮影された画像の間に上昇又は下降による歪みが生じるように位置Ｐ１、Ｐ２及びＰ３のそれぞれを撮影する。
　ステップＳ８１０において、通信部４２１は、カメラの数とその撮影回数の積に相当する枚数分の画像データを取得する。例えば、本実施形態の場合、ＵＡＶ４１０が有するカメラの数は、「３」である。したがって、ステップＳ８１０において取得される第１の画像及び第２の画像の総数は、撮影回数が「Ｍ」回であるとすると、「３Ｍ」である。
　ステップＳ８２０において、算出部４２２は、ステップＳ８１０において受信された複数の画像データが表す第１の画像及び第２の画像のそれぞれから特徴点を抽出する。より詳細には、算出部４２２は、それぞれの画像に含まれる位置Ｐ１、Ｐ２又はＰ３から特徴点を抽出する。ステップＳ８２０において利用可能な特徴量は、例えば、ＦＡＳＴ（Features from Accelerated Segment Test）特徴量、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量といった、画像の局所的な特徴を表す特徴量である。
　ステップＳ８３０において、算出部４２２は、ステップＳ８２０において抽出された特徴点を用いて、基準位置を含む第１の画像と計測位置を含む第２の画像とを関連付ける。本実施形態において、算出部４２２は、バンドル調整を拡張したアルゴリズムを用いて特徴点の３次元形状を復元することにより、第１の画像と第２の画像とを３次元的に関連付けることができる。
　バンドル調整は、同一の位置を撮影した複数の画像に含まれる基準点に基づいて、撮影されたシーンの３次元形状を復元（推定）する手法である。バンドル調整は、ＳｆＭ（Structure from Motion）の要素技術の一つである。バンドル調整において、撮影された映像は、以下の（１）式の透視投影でモデル化される。
Figure JPOXMLDOC01-appb-I000001
　（１）式において、ｘ、ｙは、ある点の画像における位置、すなわち２次元の座標を示す。また、Ｘ、Ｙ、Ｚは、この点の空間における３次元の座標を示す。ｓ、ｆ0は、０でない任意の比例係数である。Ｐは、投影行列と呼ばれる３行４列の行列である。
　投影行列Ｐは、焦点距離をｆ、光軸中心を（ｕ0，ｖ0）、ワールド座標系におけるレンズの中心位置をｔ＝（ｘt，ｙt，ｚt）、向きを表す回転行列をＲ、単位行列をＩとしたとき、以下の（２）式によって表される。（２）式において、Ｋは、カメラに関する内部行列（内部パラメータ行列ともいう。）である。（Ｉ－ｔ）は、単位行列Ｉとｔとを列方向に並べた行列であり、（２）式においては、３行４列の行列となる。
Figure JPOXMLDOC01-appb-I000002
　投影行列Ｐの第ｉ行第ｊ列の要素をｐijと表記すると、ｘ、ｙは、以下の（３）式によってそれぞれ表される。
Figure JPOXMLDOC01-appb-I000003
　ここで、シーン中のＮ個の点（Ｘα，Ｙα，Ｚα）を互いに異なる位置からＭ回撮影したとき、これらが第κ画像の位置（ｘα，ｙα）において観測されたとする（κ＝１，２，・・・，Ｍ、α＝１，２，・・・，Ｎ）。第κ画像に対する投影行列をＰκとするとき、各点の投影されるべき位置と観測位置のずれの二乗和を全点について総和したものは、以下の（４）式によって表される。この（４）式で表されるＥを再投影誤差という。
Figure JPOXMLDOC01-appb-I000004
　ここにおいて、Ｉακは、可視化指標である。可視化指標Ｉακは、点（Ｘα，Ｙα，Ｚα）が第κ画像に映っている場合に「１」、そうでない場合に「０」である。また、画像上のずれは、比例係数ｆ0を「１」とする距離で測ると、以下の（５）式によって表される。ここにおいて、Ｐκ ijは、投影行列Ｐκの第ｉ行第ｊ列の要素を表す。
Figure JPOXMLDOC01-appb-I000005
　一般的なＳｆＭは、１台のカメラに対して（４）式の再投影誤差を最小化する点（Ｘα，Ｙα，Ｚα）と投影行列Ｐκとを推定することがシーンの３次元形状を復元する手法であった。これに対し、本実施形態においては、複数のカメラが用いられる。本実施形態のＳｆＭは、複数のカメラが用いられることに鑑み、同次変換行列Ｍ１γ（γはカメラの台数）を用いて一般的なＳｆＭを拡張する点に特徴を有する。
　具体的には、本実施形態の投影行列Ｐγ（γ＝１，２，・・・，Ｌ）は、以下の（６）式のように表される。すなわち、（カメラ毎に異なる）投影行列Ｐγは、同次変換行列Ｍ１γによって互いに関連付けられる。ただし、Ｍ１１は、単位行列であるとする。
Figure JPOXMLDOC01-appb-I000006
　また、本実施形態の再投影誤差Ｅは、以下の（７）式のように表される。（７）式において、ｐαγκ、ｑαγκ、ｒαγκは、以下の（８）式のように表される。ここにおいて、Ｐγκ ijは、投影行列Ｐγκの第ｉ行第ｊ列の要素を表す。投影行列Ｐγκは、画像毎及びカメラ毎に求められる。また、Ｉαγκは、Ｉακと同様の可視化指標である。
Figure JPOXMLDOC01-appb-I000007

Figure JPOXMLDOC01-appb-I000008
　本実施形態において、算出部４２２は、観測された（ｘαγκ，ｙαγκ）に対して（７）式の再投影誤差を最小化する点（Ｘα，Ｙα，Ｚα）と投影行列Ｐγκとを算出する。（７）式は、複数台のカメラにより撮影された画像を一つの再投影誤差式によって評価することを可能にする。なお、算出部４２２は、非特許文献２に記載された周知の方法を応用することで点（Ｘα，Ｙα，Ｚα）及び投影行列Ｐγκを算出することができる。
　ステップＳ８３０の処理は、以上のとおりである。このようにして第１の画像又は第２
の画像に含まれる特徴点のそれぞれが関連付けられたら、算出部４２２は、ステップＳ８４０において計測位置の変位を算出する。このとき、算出部４２２は、ＲＡＮＳＡＣ（Random Sample Consensus）などの周知のロバスト推定手法により、第１の時期（負荷がない状態）と第２の時期（負荷がある状態）とにおいて抽出された特徴点の対応関係を検索する。
　なお、ステップＳ８２０において抽出された特徴点には、正対応（inlier）だけでなく誤対応（outlier）が含まれていてもよい。誤対応であると判断された特徴点は、ステップＳ８４０において、撮影されたシーンを構成する特徴点から除外される。以下においては、正対応、すなわち対応関係が正しいと判断された特徴点を「対応点」ともいう。
　算出部４２２は、第１の時期において抽出されて３次元形状が推定された特徴点と、第２の時期において抽出されて３次元形状が推定された特徴点とに対して位置合わせを実行する。これらの点群同士の位置合わせには、ＩＣＰ（Iterative Closest Point）アルゴリズムなどの周知の手法が適用可能である。算出部４２２は、位置合わせ後の誤差を最小化する特徴点の組み合わせを反復的に計算する。
　この位置合わせにおいて、算出部４２２は、第１の時期と第２の時期とにおいて第１の画像から抽出された対応点の間には変位がないものと仮定する。換言すれば、算出部４２２は、第１の時期と第２の時期とにおいて第１の画像から抽出された対応点の間の誤差が、これらの時期において第２の画像から抽出された対応点の間の誤差よりも十分に（すなわち無視できる程度に）小さいことを前提条件とする。このように仮定すると、計測位置の変位は、位置合わせ後に残る誤差（すなわち残差）として表すことが可能である。
　以上のとおり、変位計測システム４００は、複数台のカメラ（４１１ａ、４１１ｂ、４１１ｃ）により撮影された画像を一つの再投影誤差式によって評価する構成を有する。この構成は、画像から３次元形状を復元する際に用いるカメラが１台であるという一般的なＳｆＭにおける制限を回避することを可能にする。変位計測において複数のカメラが利用可能であると、計測対象物の計測したい位置のみを局所的に撮影することが可能である。したがって、変位計測システム４００によれば、計測対象物が橋梁６００のような大きな物体であっても、計測対象物を含む画像の単位面積当たりの解像度を向上させることができるため、計測対象物の変位を高精度に計測することが可能である。
　［第３実施形態］
　図９は、さらに別の実施形態に係る変位計測システム９００の構成を示すブロック図である。変位計測システム９００は、ＵＡＶ９１０の構成を除き、第２実施形態の変位計測システム４００（図４参照）と同様の構成を有する。本実施形態において、第２実施形態と共通する構成の説明は、適宜省略される。
　ＵＡＶ９１０は、撮影部９１１及び通信部９１２に加え、モーション制御部９１３を含む。カメラ９１１ａ、９１１ｂ及び９１１ｃは、互いの位置関係が可変に構成されている点において、第２実施形態のカメラ４１１ａ、４１１ｂ及び４１１ｃと相違する。
　モーション制御部９１３は、カメラ９１１ａ、９１１ｂ及び９１１ｃの動きを制御する。モーション制御部９１３は、カメラ９１１ａ、９１１ｂ及び９１１ｃの位置又は撮影方向を制御することができる。モーション制御部９１３の制御により、カメラ９１１ａ、９１１ｂ及び９１１ｃは、互いの相対的な位置又は角度を変化させる。モーション制御部９１３は、例えば、サーボモータや直動式アクチュエータを駆動することによりカメラ９１１ａ、９１１ｂ及び９１１ｃの動きを制御する。
　モーション制御部９１３による制御は、遠隔制御、すなわち変位計測装置４２０又は他の遠隔操作機器による制御であってもよい。あるいは、モーション制御部９１３による制御は、カメラ９１１ａ、９１１ｂ及び９１１ｃにより撮影された画像に基づく制御であってもよい。例えば、モーション制御部９１３は、計測対象物の特定の位置を撮影し続けるようにカメラ９１１ａ、９１１ｂ及び９１１ｃの位置又は撮影方向を制御してもよい。
　モーション制御部９１３は、構成情報を通信部９１２に供給する。本実施形態の構成情報は、カメラ９１１ａ、９１１ｂ及び９１１ｃの撮影条件（相対的な位置、角度など）を示す情報を含む。例えば、構成情報は、基準とする位置からのカメラ９１１ａ、９１１ｂ及び９１１ｃの変位や回転角度を示す情報を含む。モーション制御部９１３は、構成情報を通信部９１２に常時供給する必要はなく、構成情報に変化が生じた場合のみに通信部９１２に供給してもよい。
　なお、カメラ９１１ａ、９１１ｂ及び９１１ｃは、光学ズーム機能を有してもよい。すなわち、カメラ９１１ａ、９１１ｂ及び９１１ｃは、画像を光学的に拡大（又は縮小）して撮影する機構を有してもよい。この場合、カメラ９１１ａ、９１１ｂ及び９１１ｃによる撮影倍率は、独立に（すなわち他のカメラの撮影倍率によらずに）設定可能である。この場合、構成情報は、カメラ９１１ａ、９１１ｂ及び９１１ｃの撮影倍率を示す情報を含んでもよい。
　通信部９１２は、画像データに加え、モーション制御部９１３から供給された構成情報を変位計測装置９２０に送信する。構成情報は、例えば、画像データのメタデータとして画像データに埋め込まれてもよい。構成情報は、カメラ９１１ａ、９１１ｂ及び９１１ｃの直前の状態からの差分を示す情報であってもよい。
　変位計測装置９２０は、通信部９２１と、算出部９２２とを有する。通信部９２１は、画像データのほかに構成情報を受信する点において、第２実施形態の通信部４２１と相違する。算出部９２２は、通信部９２１により受信された構成情報に基づいて同次変換行列を算出（すなわち変更）する点において、第２実施形態の算出部４２２と相違する。
　算出部９２２は、想定され得るカメラ９１１ａ、９１１ｂ及び９１１ｃの位置関係の全ての組み合わせに関して、図７のようなキャリブレーションをあらかじめ複数回実行し、当該組み合わせ毎の同次変換行列をあらかじめ算出してもよい。あるいは、算出部９２２は、構成情報の直前の状態からの変化に基づいて、変更後の同次変換行列を推定してもよい。算出部９２２は、例えば、ロボット工学におけるマニピュレータの順運動学及び逆運動学に基づいて同次変換行列を算出することが可能である。
　なお、算出部９２２が実行する変位計測処理は、構成情報の変化に応じて（６）式の同次変換行列Ｍ1γが変更され得る点のほかは、第２実施形態の変位計測処理（図８参照）と同様である。すなわち、本実施形態の同次変換行列は、モーション制御部９１３によるカメラ９１１ａ、９１１ｂ及び９１１ｃの動きの変化に応じて変更され得る。
　以上のとおり、変位計測システム９００は、カメラ９１１ａ、９１１ｂ及び９１１ｃの動きを制御し、カメラ９１１ａ、９１１ｂ及び９１１ｃの動きに応じた同次変換行列を用いて計測対象物の変位を算出する構成を有する。変位計測システム９００は、第２実施形態の変位計測システム４００と同様の効果を奏することが可能である。加えて、変位計測システム９００は、カメラ９１１ａ、９１１ｂ及び９１１ｃが動かないように固定された構成でなくても計測対象物の変位を算出することが可能である。
　［変形例］
　本開示は、上述された第１実施形態～第３実施形態に限定されない。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、又は置換した形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。さらに、本開示は、これらに限らず、いわゆる当業者が把握し得る変形又は応用を適用した実施の形態を含み得る。
　（変形例１）
　ＵＡＶ４１０は、角速度又は加速度を計測するための構成を有してもよい。例えば、ＵＡＶ４１０は、いわゆるＩＭＵ（Inertial Measurement Unit）を含んで構成されてもよい。ＩＭＵにより計測される角速度及び加速度は、積分によってＵＡＶ４１０の角度及び
位置の変化を算出可能である。
　（７）式の計算は、シーン中の点（Ｘα，Ｙα，Ｚα）と投影行列Ｐγκに含まれるレンズの中心位置ｔ及び回転行列Ｒとを求める、未知数が比較的多い最適化演算である。しかし、ＩＭＵを用いると、ＵＡＶ４１０の角度及び位置の変化からレンズの中心位置ｔ及び回転行列Ｒが算出可能であるため、これらを既知の値として扱うことが可能である。
　（変形例２）
　一般に、ＳｆＭにより求められたシーンの３次元位置、すなわち点（Ｘα，Ｙα，Ｚα）には、実世界の３次元位置とのスケールの不定性が存在する。ここでいう不定性とは、（１）式の比例係数ｓを（４）式又は（７）式の再投影誤差Ｅから一意的に特定できない性質をいう。この不定性ゆえに、算出部４２２により算出された変位は、メートル等の絶対的な長さを表す単位で記述することができず、基準となる位置との相対的な割合で表される。
　算出部４２２は、絶対的な長さを表す単位で変位を表現するために、ＳｆＭにより求められるカメラの移動量と実際の移動量の比を計算してもよい。カメラの実際の移動量は、例えば、慣性センサや気圧センサを用いて求めることができる。
　算出部４２２は、複数のカメラのうちの特定のカメラ（ここではカメラ４１１ａとする。）の位置を記録する。以下においては、このカメラ４１１ａの第κ画像の撮影時の位置を「ｔκ’」とする。また、（７）式の再投影誤差Ｅを最小化することにより求められるレンズの中心位置ｔκは、第κ画像の撮影時のカメラ４１１ａの位置に相当する。したがって、位置ｔκ’、中心位置ｔκ及び比例係数ｓの間には、以下の（９）式が成り立つ。
Figure JPOXMLDOC01-appb-I000009
　算出部４２２は、（９）式から比例係数ｓを算出することにより、例えばメートル単位の変位を算出することが可能である。具体的には、算出部４２２は、（７）式の再投影誤差Ｅを最小化することにより求められる変位に比例係数ｓを乗じることによって、変位を絶対的な長さを表す単位によって記述することが可能である。
　（変形例３）
　変位計測装置４２０は、複数の対応点の中から基準となる点（以下「不動点」という。）を設定してもよい。不動点は、第１の画像、すなわち基準位置を含む画像に含まれる対応点から選択される。変位計測装置４２０は、この不動点を基準としたカメラの位置を計算し、計算されたカメラの位置に基づいて、不動点でない対応点（以下「可動点」という。）の位置を計測してもよい。可動点は、第２の画像、すなわち計測位置を含む画像に含まれる対応点から選択される。
　変位計測装置４２０は、不動点の位置から予想される可動点の位置と、実際に計測された可動点の位置との差分に基づいて計測対象物の変位を算出してもよい。このようにすれば、変位計測装置４２０は、可動点の変位をリアルタイムに算出することが可能である。
　変位計測装置４２０において実行される処理は、具体的には以下のとおりである。まず、算出部４２２は、第１の時期において撮影された画像に基づいて、あらかじめ対応点の位置（Ｘα，Ｙα，Ｚα）を取得し、それぞれの位置関係を特定する（ただし、α＝１，２，・・・，Ｎ）。次に、算出部４２２は、これらの対応点の中から不動点（Ｘｆ，Ｙｆ，Ｚｆ）と可動点（Ｘｍ，Ｙｍ，Ｚｍ）とを設定する。ここにおいて、ｆ及びｍは、αがとり得る値のうちの互いに重複しない値の集合である。すなわち、不動点と可動点の総和は、不動点の総数と等しい。
　可動点の変位をリアルタイムに算出する場合、算出部４２２は、以下の（１０）式及び（１１）式を用いて、不動点及び可動点のそれぞれの再投影誤差ＥＦ、ＥＭを最小化し、それぞれのレンズの中心位置ｔ及び回転行列Ｒを推定する。このとき、対応点の位置（Ｘα，Ｙα，Ｚα）は既知であるため、これらの値は固定値として扱われる。
Figure JPOXMLDOC01-appb-I000010

Figure JPOXMLDOC01-appb-I000011
　（１０）式及び（１１）式の再投影誤差を最小化すると、不動点を基準とした中心位置及び回転行列と可動点を基準とした中心位置及び回転行列とを求めることができる。以下においては、不動点を基準とした中心位置及び回転行列を、それぞれ「ｔＦ」、「ＲＦ」と表記する。また、可動点を基準とした中心位置及び回転行列を、それぞれ「ｔＭ」、「ＲＭ」と表記する。
　これらの中心位置及び回転行列は、可動点の変位に起因する差分をそれぞれΔｔ、ΔＲとすると、以下の（１２）式のように表すことができる。これらの行列は、レンズの中心位置と回転を表す３行４列の行列（（２）式参照）に対し、逆行列を計算できるように第４行を追加して同次変換行列表現としたものである。
Figure JPOXMLDOC01-appb-I000012
　（１２）式に対し、可動点を基準とした中心位置及び回転行列を元とした同次変換行列の逆行列を左から乗じると、以下の（１３）式に示されるように、中心位置及び回転行列の差分の同次変換行列を求めることができる。
Figure JPOXMLDOC01-appb-I000013
　（１３）式のΔｔ及びΔＲは、不動点を基準とした可動点の変位を表している。すなわち、算出部４２２は、対応点の位置（Ｘα，Ｙα，Ｚα）を事前に取得し、以上のように動作することにより、第２の時期において撮影を複数回実行することなく可動点の変位を算出することが可能である。それゆえ、算出部４２２は、撮影位置を変えることなく、計測対象物を１回撮影するだけで、計測対象物の変位を算出することが可能である。
　（変形例４）
　本開示に係る基準点は、特徴量に基づく特徴点に限定されない。例えば、３次元形状を復元する手法には、特徴量ではなく画素の輝度や色を用いる手法も知られている。本開示に係る変位計測方法は、このような手法に対しても適用することが可能である。本開示に係る変位計測方法は、例えば、ＰＴＡＭ（Parallel Tracking and Mapping for Small AR Workspaces）やＬＳＤ－ＳＬＡＭ（Large-Scale Direct Monocular Simultaneous Localization and Mapping）を用いた位置推定にも適用可能である。本開示に係る基準点は、このような手法において用いられる特定の画素であってもよい。
　（変形例５）
　図１０Ａ、図１０Ｂ及び図１０Ｃは、第１実施形態に係る変位計測装置１００の変形例を示すブロック図である。図１０Ａに示される変位計測装置１００Ａは、取得部１０１０と、第１算出部１０２０と、第２算出部１０３０とを含む。図１０Ｂに示される変位計測装置１００Ｂは、取得部１０１０と、記憶部１０４０と、算出部１０５０とを含む。図１０Ｃに示される変位計測装置１００Ｃは、記憶部１０６０と、算出部１０５０とを含む。なお、取得部１０１０は、第１実施形態の取得部１１０と同様の構成及び機能を有する。また、算出部１０５０は、第１実施形態の算出部１２０と同様の構成及び機能を有する。
　変位計測装置１００Ａにおいて、第１算出部１０２０は、関連付け情報を算出する。関連付け情報の具体的な算出方法は、第１実施形態～第３実施形態と同様でよい。第２算出部１０３０は、取得部１０１０により取得された第１の画像及び第２の画像と、第１算出部１０２０により算出された関連付け情報とを用いて、第２の位置（計測位置）の変位を算出する。第２の位置の具体的な算出方法は、第１実施形態～第３実施形態と同様でよい。
　変位計測装置１００Ｂにおいて、記憶部１０４０は、関連付け情報を記憶する。記憶部１０４０は、他の装置によりあらかじめ（すなわち計測対象物の撮影前に）算出された関連情報を記憶する。したがって、変位計測装置１００Ｂは、関連付け情報を算出する必要がない。
　変位計測装置１００Ｃにおいて、記憶部１０６０は、変位計測に必要な画像の全てと関連付け情報とを記憶する。記憶部１０６０は、他の装置によりあらかじめ算出された関連情報を記憶する。また、記憶部１０６０は、事前に撮影された画像を記憶する。変位計測装置１００Ｃは、変位計測装置１００Ｂと同様に、関連付け情報を算出する必要がない。
　（変形例６）
　本開示に係る変位計測システムは、第２実施形態又は第３実施形態の構成に限定されない。例えば、本開示に係る変位計測システムは、必ずしもＵＡＶを含まなくてもよい。
　図１１は、本開示に係る変位計測システムの別の例を示すブロック図である。変位計測システム１１００は、撮影部１１１０と、算出部１１２０とを含んで構成される。変位計測システム１１００は、撮影部１１１０及び算出部１１２０が単一の装置に含まれていてもよい。あるいは、変位計測システム１１００は、変位計測システム４００と同様に、撮影部１１１０を含む移動可能な第１の装置（デジタルカメラ等）と、算出部１１２０を含む第２の装置（パーソナルコンピュータ等）とによって構成されてもよい。第１の装置と第２の装置は、無線ではなく有線で接続されてもよい。
　撮影部１１１０は、第１の位置を含む第１の画像と第２の位置を含む第２の画像とを、第１の時期と第２の時期とに撮影する。算出部１１２０は、第１の画像及び第２の画像と、撮影部１１１０の構成情報に基づいて算出される関連付け情報とを用いて、第１の位置を基準とする第２の位置の変位を算出する。
　図１２は、本開示に係る変位計測システムのさらに別の例を示すブロック図である。変位計測システム１２００は、ＵＡＶ１２１０と、変位計測装置１２２０とを含む。ＵＡＶ１２１０は、通信部４１２に代えてライタ部１２１１を有する点において第２実施形態のＵＡＶ４１０と相違する。変位計測装置１２２０は、通信部４２１に代えてリーダ部１２２１を有する点において第２実施形態の変位計測装置４２０と相違する。ＵＡＶ１２１０及び変位計測装置１２２０は、これらの点を除き、第２実施形態のＵＡＶ４１０及び変位計測装置４２０と共通の構成を有する。
　ライタ部１２１１は、撮影部４１１から供給された画像データを着脱可能な記録媒体に記録する。この記録媒体は、例えば、いわゆるＵＳＢ（Universal Serial Bus）メモリやメモリカードである。リーダ部１２２１は、ライタ部１２１１により画像データが記録された記録媒体から画像データを読み出す。ライタ部１２１１及びリーダ部１２２１は、例えば、メモリカードのリーダライタである。
　ＵＡＶ１２１０及び変位計測装置１２２０は、画像データを送受信する必要がない。ユーザは、ＵＡＶ１２１０による撮影が終了したら、画像データが記録された記録媒体をＵＡＶ１２１０から取り出し、変位計測装置１２２０に取り付ける。変位計測装置１２２０は、ユーザにより取り付けられた記録媒体から画像データを読み出し、変位を算出する。
　（変形例７）
　本開示に係る変位計測装置の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る変位計測装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。
　図１３は、本開示に係る変位計測装置を実現するコンピュータ装置１３００のハードウェア構成の一例を示すブロック図である。コンピュータ装置１３００は、ＣＰＵ（Central Processing Unit）１３０１と、ＲＯＭ（Read Only Memory）１３０２と、ＲＡＭ（Random Access Memory）１３０３と、記憶装置１３０４と、ドライブ装置１３０５と、通信インタフェース１３０６と、入出力インタフェース１３０７とを含んで構成される。本開示に係る変位計測装置は、図１３に示される構成（又はその一部）によって実現され得る。
　ＣＰＵ１３０１は、ＲＡＭ１３０３を用いてプログラム１３０８を実行する。プログラム１３０８は、ＲＯＭ１３０２に記憶されていてもよい。また、プログラム１３０８は、メモリカード等の記録媒体１３０９に記録され、ドライブ装置１３０５によって読み出されてもよいし、外部装置からネットワーク１３１０を介して送信されてもよい。通信インタフェース１３０６は、ネットワーク１３１０を介して外部装置とデータをやり取りする。入出力インタフェース１３０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース１３０６及び入出力インタフェース１３０７は、データを取得又は出力するための構成要素として機能することができる。
　なお、本開示に係る変位計測装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。例えば、本開示に係る変位計測装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。
　上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、変位計測装置１００、４２０又は９２０は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置の協働によって実現されてもよい。
　この出願は、２０１６年９月２１日に出願された日本出願特願２０１６－１８４４５１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１００、４２０、９２０、１００Ａ、１００Ｂ、１００Ｃ、１２２０　　変位計測装置
　１１０、１０１０　　取得部
　１２０、４２２、９２２、１０５０、１１２０　　算出部
　４００、９００、１１００、１２００　　変位計測システム
　４１０、９１０、１２１０　　ＵＡＶ
　４１１、９１１、１１１０　　撮影部
　４１１ａ、４１１ｂ、４１１ｃ、９１１ａ、９１１ｂ、９１１ｃ　　カメラ
　９１３　　モーション制御部
　４２２ａ、１０２０　　第１算出部
　４２２ｂ、１０３０　　第２算出部
　１３００　　コンピュータ装置

Claims (11)

  1. 　撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得する取得手段と、
    　前記取得された複数の画像と、前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する算出手段と
    　を備える変位計測装置。
  2. 　前記撮影手段は、複数のカメラを含み、
    　前記構成情報は、前記複数のカメラの撮影条件を示す情報を含む
    　請求項１に記載の変位計測装置。
  3. 　前記構成情報は、前記複数のカメラの相対的な位置又は角度を示す情報を含む
    　請求項２に記載の変位計測装置。
  4. 　前記構成情報は、前記複数のカメラの相対的な位置又は角度の変化に応じて変化する
    　請求項３に記載の変位計測装置。
  5. 　前記第１の取得手段は、前記第１の時期に複数の撮影方向から撮影された前記第１の位置を含む画像及び前記第２の位置を含む画像を取得し、
    　前記算出手段は、前記関連付け情報を用いて前記第１の位置に含まれる基準点と前記第２の位置に含まれる基準点とを３次元的に関連付け、前記第２の位置の３次元の変位を算出する
    　請求項１から請求項４までのいずれか１項に記載の変位計測装置。
  6. 　前記基準点は、画像の局所的な特徴に基づいて抽出される特徴点を含む
    　請求項５に記載の変位計測装置。
  7. 　前記関連付け情報を記憶する記憶手段を備える
    　請求項１から請求項６までのいずれか１項に記載の変位計測装置。
  8. 　前記算出手段は、
    　前記構成情報に基づいて前記関連付け情報を算出する第１の算出手段と、
    　前記取得された複数の画像と、前記算出された関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する第２の算出手段とを備える
    　請求項１から請求項６までのいずれか１項に記載の変位計測装置。
  9. 　第１の位置を含む画像と第２の位置を含む画像とを、第１の時期と第２の時期とに撮影する撮影手段と、
    　前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する算出手段と
    　を備える変位計測システム。
  10. 　撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得し、
    　前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する
    　変位計測方法。
  11. 　コンピュータに、
    　撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得する処理と、
    　前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する処理と
    　を実行させるためのプログラム。
PCT/JP2017/033438 2016-09-21 2017-09-15 変位計測装置、変位計測システム、変位計測方法及びプログラム WO2018056206A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018541042A JP7067479B2 (ja) 2016-09-21 2017-09-15 変位計測装置、変位計測システム、変位計測方法及びプログラム
US16/334,496 US20210295540A1 (en) 2016-09-21 2017-09-15 Displacement measurement device, displacement measurement system, and displacement measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-184451 2016-09-21
JP2016184451 2016-09-21

Publications (1)

Publication Number Publication Date
WO2018056206A1 true WO2018056206A1 (ja) 2018-03-29

Family

ID=61690460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033438 WO2018056206A1 (ja) 2016-09-21 2017-09-15 変位計測装置、変位計測システム、変位計測方法及びプログラム

Country Status (3)

Country Link
US (1) US20210295540A1 (ja)
JP (1) JP7067479B2 (ja)
WO (1) WO2018056206A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102180872B1 (ko) * 2019-05-17 2020-11-19 주식회사 누림 레이저와 광학 영상을 접목한 3차원 변위측정계

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6954367B2 (ja) * 2017-11-14 2021-10-27 日本電気株式会社 計測システム、補正処理装置、補正処理方法、及びプログラム
WO2020255266A1 (ja) * 2019-06-18 2020-12-24 日本電信電話株式会社 絶対座標取得方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295602A (ja) * 1999-04-05 2000-10-20 Nec Corp 被写体監視方法、被写体追跡方法及び装置
JP2007225423A (ja) * 2006-02-23 2007-09-06 Basic Engineering:Kk 変位測定装置
US20120257792A1 (en) * 2009-12-16 2012-10-11 Thales Method for Geo-Referencing An Imaged Area
US20150294496A1 (en) * 2014-04-14 2015-10-15 GM Global Technology Operations LLC Probabilistic person-tracking using multi-view fusion
JP2015224949A (ja) * 2014-05-27 2015-12-14 株式会社アイティーティー 対象物計測装置及び対象物計測方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK0763406T3 (da) * 1995-09-15 2000-07-24 Ersue Enis Fremgangsmåde til bestemmelse af den rumlige position af et legeme og gennemførelse af billedbearbejdnings-manipulationer p
US7496226B2 (en) * 2003-09-19 2009-02-24 University Of Miami Multi-camera inspection of underwater structures
US20160217588A1 (en) * 2014-12-11 2016-07-28 Jeffrey R. Hay Method of Adaptive Array Comparison for the Detection and Characterization of Periodic Motion
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295602A (ja) * 1999-04-05 2000-10-20 Nec Corp 被写体監視方法、被写体追跡方法及び装置
JP2007225423A (ja) * 2006-02-23 2007-09-06 Basic Engineering:Kk 変位測定装置
US20120257792A1 (en) * 2009-12-16 2012-10-11 Thales Method for Geo-Referencing An Imaged Area
US20150294496A1 (en) * 2014-04-14 2015-10-15 GM Global Technology Operations LLC Probabilistic person-tracking using multi-view fusion
JP2015224949A (ja) * 2014-05-27 2015-12-14 株式会社アイティーティー 対象物計測装置及び対象物計測方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102180872B1 (ko) * 2019-05-17 2020-11-19 주식회사 누림 레이저와 광학 영상을 접목한 3차원 변위측정계

Also Published As

Publication number Publication date
JPWO2018056206A1 (ja) 2019-07-04
JP7067479B2 (ja) 2022-05-16
US20210295540A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP6576945B2 (ja) 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
CN110782496B (zh) 标定方法、装置、航拍设备和存储介质
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
US20090141043A1 (en) Image mosaicing apparatus for mitigating curling effect
JP6641729B2 (ja) ラインセンサカメラのキャリブレーション装置及び方法
JP7067479B2 (ja) 変位計測装置、変位計測システム、変位計測方法及びプログラム
JP2015090298A (ja) 情報処理装置、情報処理方法
CN107809610A (zh) 摄像头参数集算出装置、摄像头参数集算出方法以及程序
Liu et al. Epipolar rectification method for a stereovision system with telecentric cameras
CN113330487A (zh) 参数标定方法及装置
JP4085671B2 (ja) データ処理方法、データ処理プログラムおよび記録媒体
JP2017059998A (ja) 画像処理装置およびその方法、並びに、撮像装置
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
WO2020175621A1 (ja) カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN113052974A (zh) 物体三维表面的重建方法和装置
JP7033294B2 (ja) 撮像システム、撮像方法
JP4006296B2 (ja) 写真測量による変位計測方法及び変位計測装置
JP6198104B2 (ja) ３次元物体認識装置及び３次元物体認識方法
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
CN118119972A (zh) 生成用于相机校准的相机模型的方法和***
JP4775541B2 (ja) 撮影画像における歪曲収差補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17852979

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018541042

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17852979

Country of ref document: EP

Kind code of ref document: A1