WO2020166424A1 - 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム - Google Patents

位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム Download PDF

Info

Publication number
WO2020166424A1
WO2020166424A1 PCT/JP2020/004035 JP2020004035W WO2020166424A1 WO 2020166424 A1 WO2020166424 A1 WO 2020166424A1 JP 2020004035 W JP2020004035 W JP 2020004035W WO 2020166424 A1 WO2020166424 A1 WO 2020166424A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
equipment
image
size
camera
Prior art date
Application number
PCT/JP2020/004035
Other languages
English (en)
French (fr)
Inventor
隼也 大平
幸弘 五藤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/431,200 priority Critical patent/US12002237B2/en
Publication of WO2020166424A1 publication Critical patent/WO2020166424A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present disclosure relates to a position coordinate deriving method for deriving position coordinates of an object imaged by a camera and a position coordinate deriving device for executing the position coordinate deriving method.
  • a stereo camera uses two cameras and positions them at a known distance to simultaneously image a feature.
  • the position of a feature imaged by each camera changes depending on the position of the camera. It is possible to measure the distance to the feature by utilizing the fact that the amount of change in this position changes depending on the position of each camera.
  • the scale for the distance in the photograph is known, the size of the feature can be measured from the distance.
  • the same thing can be achieved by using one camera and using two continuously photographed pictures after horizontally moving a certain distance.
  • 3D point cloud data is acquired using a 3D laser scanner-equipped vehicle (MMS) used in surveying, etc., and equipment is automatically detected and 3D modeled using the obtained 3D point cloud data, and the tilt and deflection of utility poles
  • MMS 3D laser scanner-equipped vehicle
  • a structural deterioration determination system capable of measuring the structural state such as with high accuracy (for example, refer to Patent Documents 2 and 3).
  • the structural deterioration determination system can also accurately display the coordinates of the utility pole and the size (height) of the utility pole. Furthermore, by knowing the exact position coordinates of the utility pole, the public-private division of the utility pole can be grasped, and it is expected that the occupation efficiency will be improved.
  • the equipment cannot be modeled in 3D, accurate position coordinates cannot be obtained.
  • the point cloud data may be lost due to the point cloud missing, etc., and the equipment may not be able to be modeled in 3D.
  • a stereo camera can be used as a method for grasping the position from the camera to the object, but it has the following problems. (1) When using two cameras, it is necessary to shoot with two cameras. When using one camera, (2) it is necessary to use continuous photographs when moving horizontally. (3) When measuring the dimension of a feature from a distance, there is a problem that the magnification for the distance between the camera and the feature must be known in advance.
  • JP-A-7-35546 Japanese Unexamined Patent Publication No. 2005-078849 JP, 2017-156179, A
  • An object of the present disclosure is to make it possible to grasp facility coordinates without using two cameras or continuous photographs that have moved horizontally, even if the magnification for the distance between the camera and the feature is not known in advance. To do.
  • the present disclosure obtains the position coordinates and size of equipment such as a utility pole from model information of a structural deterioration determination system, and uses two or more images to calculate the position coordinates of a camera to a target object.
  • the coordinates of the object are acquired by calculating the distance and calculating the coordinates of the object from the distance and the camera position coordinates.
  • a processor acquires two or more imaged images of the equipment and the object, The processor acquires the position coordinates of the equipment and the size of the actual object, and the size of the object from the database, The processor uses the relationship between the distance from each camera that has captured the two or more images to the equipment and the magnification of the equipment on the two or more images with respect to the actual size of the two or more images. Calculate the distance from each camera that captured the image to the object, The processor derives the position coordinate of the object using the calculated distance.
  • the two or more images are a first image and a second image
  • the processor measures the size of the equipment on the first image and the size of the equipment on the second image; Using the first distance from the first camera that captured the first image to the equipment, the actual size of the equipment, and the size of the equipment on the first image, the Determining the relationship between the size of the object in the first image and the distance from the first camera, Using the second distance from the second camera that has captured the second image to the equipment, the actual size of the equipment, and the size of the equipment on the second image, Determining the relationship between the size of the object in the second image and the distance from the second camera, Using the relationship between the size of the object in the first image and the distance from the first camera and the relationship between the size of the object in the second image and the distance from the second camera, A third distance from the first camera to the object corresponding to the size of the object on one image, and the size of the object on the second image. It includes a mode of
  • the focal lengths of the first camera and the second camera are equal
  • the processor is A first point defined by the first distance and the size of the equipment on the first image; a second point defined by the second distance and the size of the equipment on the second image; A first curve through two points, and a third point defined by the focal length doubled and the actual size of the equipment, It includes a mode of obtaining the third distance and the fourth distance by using the first curve.
  • a second curve obtained by moving the first curve so as to pass through a fourth point defined by twice the focal length and the size of the object is obtained,
  • the distance on the second curve defined by the size of the object on the first image is obtained as the third distance, It includes a mode in which a distance on the second curve defined by the size of the object on the second image is obtained as the fourth distance.
  • the processor selects one of the two points where the third distance centered on the position coordinate of the first camera and the fourth distance centered on the position coordinate of the second camera intersect.
  • a position coordinate of one point that matches the arrangement of the equipment and the object in the one image and the second image is derived as the position coordinate of the object.
  • the system according to the present disclosure is A system for detecting the state of equipment to be managed using three-dimensional point cloud data representing the three-dimensional coordinates of points on the surface of an outdoor structure acquired by a 3D mapping system, A position coordinate derivation device according to the present disclosure, And a database that stores the size and position coordinates of the equipment, When there is a facility whose position coordinates are unknown in the facilities to be managed, the position coordinate deriving device derives the position coordinates using the facility as the object.
  • the position coordinate derivation device may store the derived position coordinate of the object in the database as the position coordinate of the facility whose position coordinate is unknown.
  • the position coordinate derivation method is A processor acquires two or more imaged images of the equipment and the object, The processor acquires the position coordinates of the equipment and the size of the actual object, and the size of the object from the database, The processor uses the relationship between the distance from each camera that has captured the two or more images to the equipment and the magnification of the equipment on the two or more images with respect to the actual size of the two or more images. Calculate the distance from each camera that captured the image to the object, The processor derives the position coordinate of the object using the calculated distance.
  • the position coordinate derivation program according to the present disclosure causes a computer to realize each function provided in the position coordinate derivation device according to the present disclosure.
  • the position coordinate derivation program according to the present disclosure causes a computer to execute each procedure included in the position coordinate derivation method executed by the position coordinate derivation device according to the present disclosure.
  • the position coordinate derivation program according to the present disclosure may be recorded in a recording medium or can be provided through a network.
  • the magnification for the distance between the camera and the feature is not known in advance, it is possible to grasp the facility coordinates without using two cameras or continuous photographs that have moved horizontally.
  • FIG. 1 shows an example of a system configuration according to this embodiment.
  • the structural example of a position coordinate derivation apparatus and a structural deterioration determination system is shown.
  • An example of the position coordinate derivation method according to the present embodiment will be described. It is an example of a first image. It is an example of a second image.
  • An example of the 3D telephone pole model obtained by the structural deterioration determination system is shown.
  • An example of image analysis is shown.
  • An example of the distance between a 1st camera and a 2nd camera and a telephone pole is shown.
  • An example of the graph which determines the magnification with respect to a distance is shown.
  • An example of deriving the distance between the first camera and the second camera and the object using the estimation curve is shown.
  • An example of the distance between the first camera and the second camera and the object is shown.
  • An example of deriving the position coordinates of the object using the distance between the first camera and the second camera and the object is shown.
  • FIG. 1 shows an example of a system configuration according to this embodiment.
  • the system according to this embodiment includes a plurality of cameras 81 and 82, a structural deterioration determination system 92, and a position coordinate derivation device 91.
  • the cameras 81 and 82 image the utility pole A and the object P.
  • the camera 81 functions as a first camera and picks up the image P1 that is the first image.
  • the camera 82 functions as a second camera and captures the image P2 that is the second image.
  • the images P1 and P2 are images captured by arbitrary cameras with the focal length f set to the same value.
  • the cameras 81 and 82 can be cameras that can acquire 3D point cloud data used in the structural deterioration determination system 92.
  • the cameras 81 and 82 may be cameras imaged by arbitrary cameras installed on the road.
  • the images P1 and P2 are not limited to still images and may be moving images.
  • the present disclosure may include one or more cameras.
  • the camera 82 may be the camera that has moved to the position coordinate C82 (xc2, yc2) at the position coordinate C81 (xc1, yc1) at the time t1.
  • the cameras 81 and 82 may be different or the same.
  • the system of the present disclosure may use more than two cameras.
  • FIG. 2 shows a configuration example of the position coordinate derivation device 91 and the structural deterioration determination system 92.
  • the position coordinate deriving device 91 according to the present embodiment includes a processor 11 and a memory 12.
  • the memory 12 stores a position coordinate derivation program.
  • the position coordinate deriving device 91 can be configured by the processor 11 executing the position coordinate deriving program.
  • the structural deterioration determination system 92 includes a facility management database 21, a measurement base function unit 22 that corrects the position of the point cloud data, a data analysis function unit 23 that analyzes the point cloud data and quantitatively determines the structural deterioration, and a local diagnosis.
  • the measurement result display function unit 24 is provided to support narrowing down to material deterioration diagnosis.
  • the position coordinate derivation device 91 of this embodiment acquires the images P1 and P2.
  • the position coordinate derivation device 91 of the present embodiment is connected to the structural deterioration determination system 92, and from the structural deterioration determination system 92, the physical height hA of the utility pole A, the position coordinate CA (xA, yA), and the physical height of the object P. Get hP.
  • the processor 11 of the position coordinate deriving device 91 derives the position coordinate CP(xP, yP) of the object P using the images P1 and P2 and the information obtained from the structural deterioration determination system 92.
  • the measurement base function unit 22 takes in equipment information from the equipment management database 21, extracts a model, performs automatic matching and correction, and stores it in the equipment management database 21.
  • a diagnosis support of the measurement result display function unit 24 for example, a diagnosis menu, a progress display, a superimposition with a photo model, an omnidirectional camera image display, a position or a space using a geographic information system (GIS) are related. Information display, list display of diagnosis results, and manual model extraction are visualized and displayed to the operator of the diagnosis base terminal.
  • GIS geographic information system
  • the position coordinate derivation device 91 derives the position coordinate by using the facility as the object and stores it in the facility management database 21. ..
  • the storage location of the position coordinates derived by the position coordinate deriving device 91 is not limited to the structural deterioration determination system 92.
  • the present disclosure has the following features. -These distances are calculated from the position coordinates of the cameras 81 and 82 and the position coordinates of the telephone pole A.
  • the position coordinates of the utility pole A and the actual size of the utility pole A are acquired from the model information of the structural deterioration determination system 92.
  • the size includes height and width.
  • the distance from the position coordinates of the cameras 81 and 82 to the object P is calculated using two or more images P1 and P2, and the coordinates of the object P are derived from the distance and the position coordinates of the cameras 81 and 82.
  • the position coordinates CA (xA, yA) of the utility pole A and the actual object height hA are necessary for measurement, and one of the features is that these pieces of information are acquired from the structural deterioration determination system 92. ..
  • FIG. 3 shows an example of the position coordinate deriving method according to the present embodiment.
  • the processor 11 of the position coordinate deriving device 91 executes the following steps S101 to S109.
  • steps S101 to S109 In this embodiment, for simplification, only two dimensions of x and y will be described.
  • the position coordinates of the object P are calculated in three dimensions of x, y, and z, the number of images should be three.
  • Step S101 The processor 11 acquires images P1 and P2 in which the object P and one electric pole (electric pole A) are taken from different viewpoints.
  • FIG. 4 is an example of the image P1
  • FIG. 5 is an example of the image P2.
  • the electric pole A and the object P are imaged in both images.
  • Procedure S102 The processor 11 measures the height h1 of the utility pole A and the height h1 of the object P in the image P1. Further, the processor 11 measures the height h of the utility pole A and the height h of the object P in the image P2.
  • Step S103 The processor 11 acquires the position coordinates C81 (xc1, yc1) of the camera 81 that has captured the image P1 and the focal length f. Further, the processor 11 acquires the position coordinates C82 (xc2, yc2) of the camera 82 that has captured the image P2 and the focal length f. For example, the position coordinates and focal length of the camera 81 are acquired from the attribute information of the image P1, and the position coordinates and focal length of the camera 82 are acquired from the attribute information of the image P2.
  • Step S104 The processor 11 acquires the physical height hA of the electric pole A and the position coordinate CA (xA, yA) from the facility management database 21.
  • the facility management database 21 is a database in which the position coordinates and physical height of each utility pole are stored in advance, and is provided in the structural deterioration determination system 92.
  • FIG. 6 shows an example of a 3D telephone pole model obtained by the structural deterioration determination system 92.
  • the equipment management database 21 manages the 3D point cloud image in which the electric pole of the identification information “Pole_124” is captured, the position coordinates of the electric pole of the identification information “Pole_124”, and the actual height. ing.
  • Step S105 The processor 11 acquires the physical height hP of the object P from the facility management database 21.
  • the processor 11 identifies the type of the object P using image analysis, and acquires the physical height hP of the object P from the facility management database 21 using the type of the object P as an argument.
  • the database for storing the physical height hP is not limited to the facility management database 21, and any database connected by a communication network can be used.
  • Fig. 7 shows an example of image analysis.
  • the traffic signal is imaged.
  • the processor 11 determines the type of traffic light, and acquires the physical height hP corresponding to the type of traffic light from the facility management database 21.
  • Step S106 Using the position coordinates of the electric pole A and the position coordinates of the cameras 81 and 82, the distances LA1 and LA2 between the cameras 81 and 82 and the electric pole A are calculated.
  • the distance LA1 indicates the first distance in the present disclosure
  • the distance LA2 indicates the second distance in the present disclosure.
  • the position coordinates of the camera 81 at the time of shooting the image P1 are C81 (xc1, yc1) and the position coordinates of the camera 82 at the time of shooting the image P2 are C82 (xc2, yc2)
  • the distances LA1 and LA2 from the position coordinate CA (xA, yA) of the power pole A and the position coordinates C81 (xc1, yc1) and C82 (xc2, yc2) of the cameras 81 and 82 to the power pole A are obtained using the following. You can
  • Step S107 Using the actual height hA of the utility pole A, the height hA1 of the utility pole A on the image P1, the height hA2 of the utility pole A on the image P2, and the focal lengths f, LA1, and LA2. Then, the graph as shown in FIG. 9 is created, and the magnification with respect to the distance in the images P1 and P2 is calculated.
  • the object height on the image is plotted against the distance from the camera.
  • PL1 indicates a first point specified by a height h A1 with respect to the distance LA1
  • PL2 indicates a second point specified by a height h A2 with respect to the distance LA2.
  • the focal lengths of the cameras 81 and 82 are both f. Therefore, the magnification on the image with respect to the distance from the cameras 81 and 82 can be obtained using the points PL1 and PL2.
  • the focal lengths of the cameras 81 and 82 are equal. Therefore, the third point specified by the physical height hA for the distance twice the focal length f is plotted as the point PL0. Thereby, the curve FLA passing through the three points can be obtained. Curve FLA shows the first curve in this disclosure.
  • Step S108 Plot the point PLP specified by the physical distance h of the object P and the distance twice the focal length f as the fourth point on the graph shown in FIG. A curve obtained by translating the curve FLA so as to pass through this point PLP is obtained. As a result, an estimated curve FLP representing the relationship between the object height on the image of the object P and the distance from the camera as shown in FIG. 10 is obtained. The estimated curve FLP represents the second curve in this disclosure.
  • the distances LP1 and LP2 are calculated.
  • the position coordinates of the camera 81 at the time of shooting the image P1 are C81 (xc1, yc1) and the position coordinates of the camera 82 at the time of shooting the image P2 are C82 (xc2, yc2), as shown in FIG.
  • the distances LP1 and LP2 correspond to the position coordinates CP (xP, yP) of the object P and the position coordinates C81 (xc1, yc1) and C82 (xc2, yc2) of the cameras 81 and 82.
  • the distance LP1 indicates the third distance in the present disclosure
  • the distance LP2 indicates the fourth distance in the present disclosure.
  • Step S109 Create two circles C1 and C2 having radiuses LP1 and LP2 as radii as shown in FIG. 12, centered on the position coordinates C81 (xc1, yc1) and C82 (xc2, yc2) of the cameras 81 and 82.
  • the position coordinate CP(xP, yP) of the object P is calculated from the intersection of the two circles C1 and C2. It should be noted that although there are a maximum of two position coordinate candidates, either one of the points can be specified from the positional relationship between the utility pole A and the object P in the images P1 and P2.
  • the position coordinate derivation device 91 executes steps S101 to S109. Accordingly, the present disclosure obtains the distances LP1 and LP2 from the cameras 81 and 82 using the estimation curves shown in FIGS. 9 and 10 (S108), and uses the distances LP1 and LP2 to determine the position coordinates of the object P. CP(xP, yP) is calculated (S109). When obtaining the estimated curve FLP, it is sufficient if there are two images P1 and P2 in which the electric pole A capable of acquiring the position coordinates and the height and the object P capable of acquiring the height are imaged (S101-). S107). The order of steps S102 to S105 is arbitrary, and these steps may be performed simultaneously.
  • the present disclosure has the following features. -No need to use two cameras. -It is not necessary that the two images are taken at the horizontal movement position, and two images taken from any place may be used. ⁇ It is not necessary to know the scale of the shooting camera in advance. Therefore, according to the present disclosure, it is possible to grasp arbitrary facility coordinates that can be the object P.
  • the curve FLA determined by the object height on the image with respect to the distance from the camera is obtained, and the distances LP1 and LP2 are obtained by using this curve as the estimation curve.
  • the present disclosure discloses the utility pole A in the image P1.
  • the distances LP1 and LP2 can be obtained by an arbitrary method that satisfies the contrast relation of the magnification of, the distance LA1, the magnification of the electric pole A in the image P2, and the distance LA2.
  • the height of the telephone pole A is used to derive the relationship between the distance and the magnification in the image, but the present disclosure is not limited to this.
  • any size such as width can be used.
  • step S107 a distance twice the focal length f and a point PL0 specified by the physical height hA are plotted for plotting the third point, but the present disclosure is not limited to this.
  • a third image having the same focal length f may be used.
  • the facility for reading the actual height from the facility management database 21 is a telephone pole
  • the present disclosure can use any facility that can be read by the structural deterioration determination system 92.
  • Examples of such equipment include streetlights, telephone poles, and cable closures.
  • the present disclosure can be applied to the information and communication industry.
  • Processor 12 Memory 21: Facility management database 22: Measurement base function unit 23: Data analysis function unit 24: Measurement result display function unit 81, 82: Camera 91: Position coordinate derivation device 92: Structural deterioration determination system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本開示は、設備座標の把握を可能にすることを目的とする。 プロセッサが、設備及び対象物の撮像された２以上の画像を取得し（Ｓ１０１）、設備の位置座標及び現物の大きさ、並びに対象物の大きさをデータベースから取得し（Ｓ１０４）、プロセッサが、２以上の画像を撮像した各カメラから設備のまでの距離と２以上の画像上の設備の現物の大きさに対する倍率との関係を用いて、２以上の画像を撮像した各カメラから対象物までの距離を算出し（Ｓ１０８）、プロセッサが、算出した距離を用いて、対象物の位置座標を導出する（Ｓ１０９）。

Description

位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム
　本開示は、カメラで撮像された対象物の位置座標を導出する位置座標導出方法及びこれを実行する位置座標導出装置に関する。
　地物の測量を行う方法として、写真測量法があり、代表的な技術として、ステレオカメラがある（例えば、特許文献１及び非特許文献１参照。）。ステレオカメラは、２つのカメラを用いて、それら２つのカメラを既知の距離に配置して、同時に地物を撮影する。それぞれのカメラで撮影された地物は、カメラの位置に応じて、写真に写る位置が変化する。この位置の変化量はそれぞれのカメラの位置によって変化することを利用し、地物までの距離を測定することができる。さらに、写真の距離に対する縮尺がわかっていれば、距離から地物の大きさを測定することができる。さらに、１つのカメラを用いて、水平に一定距離移動後の連続撮影した２枚の写真を用いても同じことが実現できる。
　測量などで利用されている３Ｄレーザスキャナ搭載自動車（ＭＭＳ）を用いて３Ｄ点群データを取得し、得られた３Ｄ点群データを用いて設備を自動検出・３Ｄモデル化し、電柱の傾き及びたわみなどの構造状態を高精度で計測できる、構造劣化判定システムが用いられている（例えば、特許文献２及び３参照。）。構造劣化判定システムは、電柱の座標や電柱の大きさ（高さ）も精度よく表示できる。さらに、電柱の正確な位置座標が分かることで電柱の官民区分が把握可能となり、占用業務効率化が期待される。
　しかし設備の３Ｄモデル化が出来なければ、正確な位置座標を得ることが出来ない。例えばＭＭＳ車体揺らぎの程度によっては、点群欠け等で点群データの欠損が生じ、設備の３Ｄモデル化が出来ないことがある。また、現状の構造劣化判定システムでは、点群データを用いた位置情報推定は困難であり、今後の対象設備拡大を行う上では点群データ以外を用いた検討が必要となる。
　そこで点群以外にＭＭＳ走行時に取得可能な情報である画像から、カメラから対象設備間の距離を測定し、設備座標を把握する検討が必要となる。現在、カメラから物体までの位置を把握する方法として、ステレオカメラが挙げられるが、以下に示すような問題がある。（１）２つのカメラを利用する場合、２つのカメラで撮影する必要がある。１つのカメラを利用する場合、（２）水平距離移動した場合の連続写真を用いる必要がある。（３）距離から地物の寸法を計測する場合はカメラと地物との距離に対する倍率が事前に分からないといけない問題がある。
特開平７－３５５４６号公報 特開２０１５－０７８８４９号公報 特開２０１７－１５６１７９号公報
自動車向け画像認識技術とステレオカメラによる距離計測：ｈｔｔｐｓ：／／ａｎｎｅｘ．ｊｓａｐ．ｏｒ．ｊｐ／ｐｈｏｔｏｎｉｃｓ／ｋｏｇａｋｕ／ｐｕｂｌｉｃ／４１－０５－ｋａｉｓｅｔｓｕ５．ｐｄｆ
　本開示は、カメラと地物との距離に対する倍率が事前に分からない場合であっても、２つのカメラや水平距離移動した連続写真を用いることなく、設備座標を把握可能にすることを目的とする。
　上記目的を達成するために、本開示は、電柱などの設備の位置座標と大きさを構造劣化判定システムのモデル情報から取得し、２枚以上の画像を用いてカメラ位置座標から対象物までの距離を算出し、それら距離とカメラ位置座標から対象物の座標を算出することで、対象物の座標を取得する。
　具体的には、本開示に係る位置座標導出装置は、
　プロセッサが、設備及び対象物の撮像された２以上の画像を取得し、
　前記プロセッサが、前記設備の位置座標及び現物の大きさ、並びに前記対象物の大きさをデータベースから取得し、
　前記プロセッサが、前記２以上の画像を撮像した各カメラから前記設備のまでの距離と前記２以上の画像上の前記設備の現物の大きさに対する倍率との関係を用いて、前記２以上の画像を撮像した各カメラから前記対象物までの距離を算出し、
　前記プロセッサが、算出した距離を用いて、前記対象物の位置座標を導出する。
　本開示に係る位置座標導出装置では、
　前記２以上の画像は、第１の画像及び第２の画像であり、
　前記プロセッサが、前記第１の画像上での前記設備の大きさ及び前記第２の画像上での前記設備の大きさを測定し、
　前記第１の画像を撮像した第１のカメラから前記設備までの第１の距離、前記設備の現物の大きさ、及び前記第１の画像上での前記設備の大きさ、を用いて、前記第１の画像における物体の大きさと前記第１のカメラからの距離との関係を求め、
　前記第２の画像を撮像した第２のカメラから前記設備までの第２の距離、前記設備の現物の大きさ、及び前記第２の画像上での前記設備の大きさ、を用いて、前記第２の画像における物体の大きさと前記第２のカメラからの距離との関係を求め、
　前記第１の画像における物体の大きさと前記第１のカメラからの距離との関係、及び前記第２の画像における物体の大きさと前記第２のカメラからの距離との関係を用いて、前記第１の画像上での前記対象物の大きさに対応する前記第１のカメラから前記対象物までの第３の距離、及び前記第２の画像上での前記対象物の大きさに対応する前記第２のカメラから前記対象物までの第４の距離を算出する態様を含む。
　本開示に係る位置座標導出装置では、
　前記第１のカメラ及び前記第２のカメラの焦点距離は等しく、
　前記プロセッサは、
　前記第１の距離及び前記第１の画像上での前記設備の大きさで定められる第１の点、前記第２の距離及び前記第２の画像上での前記設備の大きさで定められる第２の点、並びに２倍の前記焦点距離及び前記設備の現物の大きさ、で定められる第３の点、を通る第１の曲線を求め、
　前記第１の曲線を用いて前記第３の距離及び前記第４の距離を求める態様を含む。
　本開示に係る位置座標導出装置では、
　２倍の前記焦点距離及び前記対象物の大きさで定められる第４の点を通るように前記第１の曲線を移動させた第２の曲線を求め、
　前記第１の画像上での前記対象物の大きさで定められる前記第２の曲線上の距離を前記第３の距離として求め、
　前記第２の画像上での前記対象物の大きさで定められる前記第２の曲線上の距離を前記第４の距離として求める態様を含む。
　本開示に係る位置座標導出装置では、
　前記プロセッサが、前記第１のカメラの位置座標を中心とする前記第３の距離、及び前記第２のカメラの位置座標を中心とする前記第４の距離の交わる２点のなかから、前記第１の画像及び前記第２の画像における前記設備及び前記対象物の配置に整合する１点の位置座標を、前記対象物の位置座標として導出する態様を含む。
　本開示に係るシステムは、
　３Ｄマッピングシステムで取得した屋外構造物の表面上の点の３次元座標を表す３次元点群データを用いて管理対象の設備の状態を検出するシステムであって、
　本開示に係る位置座標導出装置と、
　前記設備の大きさ及び位置座標を格納する前記データベースと、を備え、
　管理対象の設備のなかに位置座標の不明な設備が存在する場合、前記位置座標導出装置が当該設備を前記対象物として位置座標を導出する。
　前記位置座標導出装置は、導出した前記対象物の位置座標を、位置座標が不明であった前記設備の位置座標として、前記データベースに格納してもよい。
　本開示に係る位置座標導出方法は、
　プロセッサが、設備及び対象物の撮像された２以上の画像を取得し、
　前記プロセッサが、前記設備の位置座標及び現物の大きさ、並びに前記対象物の大きさをデータベースから取得し、
　前記プロセッサが、前記２以上の画像を撮像した各カメラから前記設備のまでの距離と前記２以上の画像上の前記設備の現物の大きさに対する倍率との関係を用いて、前記２以上の画像を撮像した各カメラから前記対象物までの距離を算出し、
　前記プロセッサが、算出した距離を用いて、前記対象物の位置座標を導出する。
　本開示に係る位置座標導出プログラムは、本開示に係る位置座標導出装置に備わる各機能をコンピュータに実現させる。また本開示に係る位置座標導出プログラムは、本開示に係る位置座標導出装置の実行する位置座標導出方法に備わる各手順をコンピュータに実行させる。本開示に係る位置座標導出プログラムは、記録媒体に記録されていてもよく、ネットワークを通して提供することも可能である。
　なお、上記各開示は、可能な限り組み合わせることができる。
　本開示によれば、カメラと地物との距離に対する倍率が事前に分からない場合であっても、２つのカメラや水平距離移動した連続写真を用いることなく、設備座標の把握が可能になる。
本実施形態に係るシステム構成の一例を示す。 位置座標導出装置及び構造劣化判定システムの構成例を示す。 本実施形態に係る位置座標導出方法の一例を示す。 第１の画像の一例である。 第２の画像の一例である。 構造劣化判定システムで得られた３Ｄ電柱モデルの一例を示す。 画像解析の一例を示す。 第１のカメラ及び第２のカメラと電柱の距離の一例を示す。 距離に対する倍率の定めるグラフの一例を示す。 推定曲線を用いた第１のカメラ及び第２のカメラと対象物の距離の導出例を示す。 第１のカメラ及び第２のカメラと対象物の距離の一例を示す。 第１のカメラ及び第２のカメラと対象物の距離を用いた対象物の位置座標の導出例を示す。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
　図１に、本実施形態に係るシステム構成の一例を示す。本実施形態に係るシステムは、複数のカメラ８１及び８２と、構造劣化判定システム９２と、位置座標導出装置９１と、を備える。カメラ８１及び８２は、電柱Ａ及び対象物Ｐを撮像する。
　カメラ８１は、第１のカメラとして機能し、第１の画像である画像Ｐ１を撮像する。カメラ８２は、第２のカメラとして機能し、第２の画像である画像Ｐ２を撮像する。画像Ｐ１及びＰ２は、焦点距離ｆが同じ値に設定された、任意のカメラで撮像された画像である。例えば、カメラ８１及び８２は、構造劣化判定システム９２で用いられる３Ｄ点群データを取得可能なカメラを用いることができる。また、カメラ８１及び８２は、道路に設置された任意のカメラで撮像されたカメラであってもよい。また画像Ｐ１及びＰ２は、静止画に限らず動画であってもよい。
　本実施形態では８１及び８２の２台のカメラを備える例を示すが、本開示はカメラが１台以上でありうる。例えば、カメラ８２は、時刻ｔ１に位置座標Ｃ８１（ｘｃ１，ｙｃ１）でカメラ８１が位置座標Ｃ８２（ｘｃ２，ｙｃ２）に移動したものであってもよい。このように、カメラ８１及び８２は、異なっていてもよいし、同一であってもよい。さらに、本開示のシステムは、３以上のカメラを用いてもよい。
　図２に、位置座標導出装置９１及び構造劣化判定システム９２の構成例を示す。本実施形態に係る位置座標導出装置９１は、プロセッサ１１、メモリ１２、を備える。メモリ１２は、位置座標導出プログラムを格納する。プロセッサ１１が位置座標導出プログラムを実行することで、位置座標導出装置９１を構成しうる。構造劣化判定システム９２は、設備管理データベース２１、点群データの位置補正を行う計測拠点機能部２２、点群データを解析し、構造劣化を定量的に判定するデータ解析機能部２３、現地診断の材質劣化診断への絞り込みを支援する計測結果表示機能部２４を具備する。
　本実施形態の位置座標導出装置９１は、画像Ｐ１及びＰ２を取得する。本実施形態の位置座標導出装置９１は、構造劣化判定システム９２と接続され、構造劣化判定システム９２から電柱Ａの現物高さｈＡ、および位置座標ＣＡ（ｘＡ，ｙＡ）、対象物Ｐの現物高さｈＰを取得する。位置座標導出装置９１のプロセッサ１１は、画像Ｐ１及びＰ２、並びに構造劣化判定システム９２から取得したこれらの情報を用いて、対象物Ｐの位置座標ＣＰ（ｘＰ，ｙＰ）を導出する。
　計測拠点機能部２２は、設備管理データベース２１から設備情報を取り込み、モデルを抽出し、自動突合及び修正を行い、設備管理データベース２１に格納する。計測結果表示機能部２４の診断支援としては、例えば、診断メニュー、進捗表示、写真モデルとの重畳、全方位カメラ画像の表示、地理情報システム（Ｇｅｏｇｒａｐｈｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ；ＧＩＳ）を用いた位置又は空間に関する情報表示、診断結果のリスト表示、手動でのモデル抽出を、可視化して診断拠点端末のオペレータに表示する。
　構造劣化判定システム９２の管理対象の設備のなかに位置座標の不明な設備が存在する場合、位置座標導出装置９１が当該設備を前記対象物として位置座標を導出し、設備管理データベース２１に格納する。なお、位置座標導出装置９１が導出した位置座標の格納先は構造劣化判定システム９２に限らない。
　本開示は、以下の特徴を備える。
・カメラ８１及び８２の位置座標と電柱Ａの位置座標からこれらの距離を算出する。
・電柱Ａの位置座標と電柱Ａの現物の大きさを構造劣化判定システム９２のモデル情報から取得する。ここで、大きさは、高さ、幅を含む。
・距離と画像Ｐ１、Ｐ２に写る大きさの関係（倍率・焦点距離）を利用する。
・２枚以上の画像Ｐ１、Ｐ２を用いてカメラ８１及び８２の位置座標から対象物Ｐまでの距離を算出し、それら距離とカメラ８１及び８２の位置座標から対象物Ｐの座標を導出する。
　特に、本開示では、測定のため電柱Ａの位置座標ＣＡ（ｘＡ，ｙＡ）および現物高さｈＡが必要であるが、構造劣化判定システム９２からこれら情報を取得することが特徴の一つである。
（測定方法）
　図３に、本実施形態に係る位置座標導出方法の一例を示す。本実施形態に係る位置座標導出方法は、位置座標導出装置９１のプロセッサ１１が、以下の手順Ｓ１０１～Ｓ１０９を実行する。本実施形態では、簡略のため、ｘ，ｙの二次元のみで説明する。なお、ｘ，ｙ，ｚの３次元で対象物Ｐの位置座標を算出する場合は、画像を３枚にすればよい。
　手順Ｓ１０１：プロセッサ１１は、対象物Ｐ及び電柱１本（電柱Ａ）が別視点から撮影された画像Ｐ１及びＰ２を取得する。図４は画像Ｐ１の一例であり、図５は画像Ｐ２の一例であり、両画像に電柱Ａと対象物Ｐが撮像されている。
　手順Ｓ１０２：プロセッサ１１は、画像Ｐ１における電柱Ａの高さｈカＡ１および対象物Ｐの高さｈカＰ１を測定する。また、プロセッサ１１は、画像Ｐ２における電柱Ａの高さｈカＡ２および対象物Ｐの高さｈカＰ２を測定する。
　手順Ｓ１０３：プロセッサ１１は、画像Ｐ１を撮像したカメラ８１の位置座標Ｃ８１（ｘｃ１，ｙｃ１）及び焦点距離ｆを取得する。またプロセッサ１１は、画像Ｐ２を撮像したカメラ８２の位置座標Ｃ８２（ｘｃ２，ｙｃ２）及び焦点距離ｆを取得する。例えば、画像Ｐ１の属性情報からカメラ８１の位置座標及び焦点距離を取得し、画像Ｐ２の属性情報からカメラ８２の位置座標及び焦点距離を取得する。
　手順Ｓ１０４：プロセッサ１１は、設備管理データベース２１から、電柱Ａの現物高さｈＡ、および位置座標ＣＡ（ｘＡ，ｙＡ）を取得する。ここで、設備管理データベース２１は、各電柱の位置座標及び現物高さが予め格納されたデータベースであり、構造劣化判定システム９２に備わる。
　図６に、構造劣化判定システム９２で得られた３Ｄ電柱モデルの一例を示す。構造劣化判定システム９２を参照することで、構造劣化判定システム９２で管理されている構造物の情報を取得することができる。例えば、構造劣化判定システム９２では、識別情報「Ｐｏｌｅ＿１２４」の電柱が撮像されている３Ｄ点群画像と、識別情報「Ｐｏｌｅ＿１２４」の電柱の位置座標、現物高さ、が設備管理データベース２１に管理されている。
　手順Ｓ１０５：プロセッサ１１は、設備管理データベース２１から、対象物Ｐの現物高さｈＰを取得する。例えば、プロセッサ１１は、画像解析を用いて対象物Ｐの種類を識別し、対象物Ｐの種類を引数として設備管理データベース２１から対象物Ｐの現物高さｈＰを取得する。ここで、現物高さｈＰを格納するデータベースは設備管理データベース２１に限らず、通信ネットワークで接続されている任意のデータベースを用いることができる。
　図７に、画像解析の一例を示す。図７では、信号機が撮像されている。プロセッサ１１は、信号機の種類を判定し、設備管理データベース２１から信号機の種類に応じた現物高さｈＰを取得する。
　手順Ｓ１０６：電柱Ａの位置座標、カメラ８１及び８２の位置座標を用いて、カメラ８１及び８２と電柱Ａの距離ＬＡ１，ＬＡ２を計算する。距離ＬＡ１が本開示における第１の距離を示し、距離ＬＡ２が本開示における第２の距離を示す。
　例えば、図８に示すように、画像Ｐ１撮影時のカメラ８１の位置座標がＣ８１（ｘｃ１，ｙｃ１）であり、画像Ｐ２撮影時のカメラ８２の位置座標がＣ８２（ｘｃ２，ｙｃ２）である場合、電柱Ａの位置座標ＣＡ（ｘＡ，ｙＡ）およびカメラ８１及び８２の位置座標Ｃ８１（ｘｃ１，ｙｃ１）及びＣ８２（ｘｃ２，ｙｃ２）から、電柱Ａまでの距離ＬＡ１，ＬＡ２は、以下を用いて求めることができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　手順Ｓ１０７：電柱Ａの現物高さｈＡ、画像Ｐ１上での電柱Ａの高さｈカＡ１、画像Ｐ２上での電柱Ａの高さｈカＡ２、ならびに、焦点距離ｆ、ＬＡ１、ＬＡ２を用いて、図９のようなグラフを作成し、画像Ｐ１及びＰ２における距離に対する倍率を算出する。
　図９では、カメラからの距離に対する画像上の物体高さをプロットしている。ＰＬ１は距離ＬＡ１に対する高さｈカＡ１で特定される第１の点、ＰＬ２は距離ＬＡ２に対する高さｈカＡ２で特定される第２の点、を示す。本開示では、カメラ８１及び８２の焦点距離はいずれもｆである。そのため、点ＰＬ１及び点ＰＬ２を用いて、カメラ８１及び８２からの距離に対する画像上での倍率を求めることができる。
　また、本開示では、カメラ８１及び８２の焦点距離は等しい。そこで、焦点距離ｆの２倍の距離に対する現物高さｈＡで特定される第３の点を点ＰＬ０としてプロットしている。これにより、３点を通る曲線ＦＬＡを求めることができる。曲線ＦＬＡが本開示における第１の曲線を示す。
　手順Ｓ１０８：図９に示すグラフ上に、焦点距離ｆの２倍の距離と、対象物Ｐの現物高さｈＰで特定される点ＰＬＰを第４の点としてプロットする。この点ＰＬＰを通るように、曲線ＦＬＡを平行移動させた曲線を求める。これにより、図１０に示すような、対象物Ｐに対する画像上での物体高さとカメラからの距離との関係を表す推定曲線ＦＬＰが得られる。推定曲線ＦＬＰが本開示における第２の曲線を示す。
　そして、図１０に示す推定曲線ＦＬＰを用いて、画像Ｐ１上での対象物Ｐの高さｈカＰ１に対応する、画像Ｐ２上での対象物Ａの高さｈカＰ２における対象物Ｐの距離ＬＰ１、ＬＰ２を算出する。このＬＰ１及びＬＰ２は、図１１に示すような、画像Ｐ１撮影時のカメラ８１の位置座標がＣ８１（ｘｃ１，ｙｃ１）であり、画像Ｐ２撮影時のカメラ８２の位置座標がＣ８２（ｘｃ２，ｙｃ２）である場合の、対象物Ｐの位置座標ＣＰ（ｘＰ，ｙＰ）から各カメラ８１、８２の位置座標Ｃ８１（ｘｃ１，ｙｃ１）及びＣ８２（ｘｃ２，ｙｃ２）までの距離ＬＰ１，ＬＰ２に相当する。距離ＬＰ１が本開示における第３の距離を示し、距離ＬＰ２が本開示における第４の距離を示す。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　手順Ｓ１０９：カメラ８１及び８２の位置座標Ｃ８１（ｘｃ１，ｙｃ１）及びＣ８２（ｘｃ２，ｙｃ２）を中心に、図１２のように距離ＬＰ１及びＬＰ２をそれぞれ半径とする２つの円Ｃ１及びＣ２を作成し、２つの円Ｃ１及びＣ２の交点から対象物Ｐの位置座標ＣＰ（ｘＰ，ｙＰ）を算出する。なお、位置座標の候補は最大２点存在するが、画像Ｐ１及びＰ２におけるの電柱Ａと対象物Ｐとの位置関係から、どちらか一方の点を特定することができる。
　以上説明したように、本開示は位置座標導出装置９１が手順Ｓ１０１～Ｓ１０９を実行する。これにより、本開示は、図９及び図１０に示す推定曲線を用いてカメラ８１、８２からの距離ＬＰ１及びＬＰ２を求め（Ｓ１０８）、これらの距離ＬＰ１及びＬＰ２を用いて対象物Ｐの位置座標ＣＰ（ｘＰ，ｙＰ）を求める（Ｓ１０９）。推定曲線ＦＬＰを求める際には、位置座標及び高さを取得可能な電柱Ａと、高さを取得可能な対象物Ｐと、が撮像された２つの画像Ｐ１及びＰ２があればよい（Ｓ１０１～Ｓ１０７）。なお、手順Ｓ１０２～Ｓ１０５の順序は任意であり、はこれらの手順を同時に行ってもよい。
　このように、本開示は、以下の特徴がある。
・２つのカメラを用いる必要がない。
・水平移動位置で撮影された２枚の画像である必要がなく、任意の場所から撮影された２枚の画像を用いればよい。
・事前に撮影カメラの縮尺を把握する必要がない。
　したがって、本開示は、対象物Ｐとなりうる任意の設備座標の把握を行うことができる。
　なお、本実施形態では、カメラからの距離に対する画像上の物体高さで定められる曲線ＦＬＡを求め、これを推定曲線に用いて距離ＬＰ１及びＬＰ２を求めたが、本開示は画像Ｐ１における電柱Ａの倍率、距離ＬＡ１、画像Ｐ２における電柱Ａの倍率、及び距離ＬＡ２、の対比関係を満たす、任意の方法で距離ＬＰ１及びＬＰ２を求めることができる。
　また、本実施形態では、電柱Ａの高さを用いて画像における距離と倍率の関係を導出したが、本開示はこれに限定されない。例えば、高さに代えて、幅などの任意の大きさを用いることができる。
　また、手順Ｓ１０７において、第３の点のプロットのために、焦点距離ｆの２倍の距離と、現物高さｈＡで特定される点ＰＬ０をプロットしたが、本開示はこれに限定されない。例えば、焦点距離ｆの等しい第３の画像を用いてもよい。
　本実施形態では、設備管理データベース２１から現物高さを読み出す設備が電柱である例を示したが、本開示は、構造劣化判定システム９２から読み出し可能な任意の設備を用いることができる。そのような設備としては、例えば、街灯、電柱に加え、ケーブル・クロージャが例示できる。
　本開示は情報通信産業に適用することができる。
１１：プロセッサ
１２：メモリ
２１：設備管理データベース
２２：計測拠点機能部
２３：データ解析機能部
２４：計測結果表示機能部
８１、８２：カメラ
９１：位置座標導出装置
９２：構造劣化判定システム

Claims (9)

  1. 　プロセッサが、設備及び対象物の撮像された２以上の画像を取得し、
    　前記プロセッサが、前記設備の位置座標及び現物の大きさ、並びに前記対象物の大きさをデータベースから取得し、
    　前記プロセッサが、前記２以上の画像を撮像した各カメラから前記設備のまでの距離と前記２以上の画像上の前記設備の現物の大きさに対する倍率との関係を用いて、前記２以上の画像を撮像した各カメラから前記対象物までの距離を算出し、
    　前記プロセッサが、算出した距離を用いて、前記対象物の位置座標を導出する、
    　位置座標導出装置。
  2. 　前記２以上の画像は、第１の画像及び第２の画像であり、
    　前記プロセッサが、前記第１の画像上での前記設備の大きさ及び前記第２の画像上での前記設備の大きさを測定し、
    　前記第１の画像を撮像した第１のカメラから前記設備までの第１の距離、前記設備の現物の大きさ、及び前記第１の画像上での前記設備の大きさ、を用いて、前記第１の画像における物体の大きさと前記第１のカメラからの距離との関係を求め、
    　前記第２の画像を撮像した第２のカメラから前記設備までの第２の距離、前記設備の現物の大きさ、及び前記第２の画像上での前記設備の大きさ、を用いて、前記第２の画像における物体の大きさと前記第２のカメラからの距離との関係を求め、
    　前記第１の画像における物体の大きさと前記第１のカメラからの距離との関係、及び前記第２の画像における物体の大きさと前記第２のカメラからの距離との関係を用いて、前記第１の画像上での前記対象物の大きさに対応する前記第１のカメラから前記対象物までの第３の距離、及び前記第２の画像上での前記対象物の大きさに対応する前記第２のカメラから前記対象物までの第４の距離を算出する、
    　請求項１に記載の位置座標導出装置。
  3. 　前記第１のカメラ及び前記第２のカメラの焦点距離は等しく、
    　前記プロセッサは、
    　前記第１の距離及び前記第１の画像上での前記設備の大きさで定められる第１の点、前記第２の距離及び前記第２の画像上での前記設備の大きさで定められる第２の点、並びに２倍の前記焦点距離及び前記設備の現物の大きさ、で定められる第３の点、を通る第１の曲線を求め、
    　前記第１の曲線を用いて前記第３の距離及び前記第４の距離を求める、
    　請求項２に記載の位置座標導出装置。
  4. 　２倍の前記焦点距離及び前記対象物の大きさで定められる第４の点を通るように前記第１の曲線を移動させた第２の曲線を求め、
    　前記第１の画像上での前記対象物の大きさで定められる前記第２の曲線上の距離を前記第３の距離として求め、
    　前記第２の画像上での前記対象物の大きさで定められる前記第２の曲線上の距離を前記第４の距離として求める、
    　請求項３に記載の位置座標導出装置。
  5. 　前記プロセッサが、前記第１のカメラの位置座標を中心とする前記第３の距離、及び前記第２のカメラの位置座標を中心とする前記第４の距離の交わる２点のなかから、前記第１の画像及び前記第２の画像における前記設備及び前記対象物の配置に整合する１点の位置座標を、前記対象物の位置座標として導出する、
    　請求項２から４のいずれかに記載の位置座標導出装置。
  6. 　３Ｄマッピングシステムで取得した屋外構造物の表面上の点の３次元座標を表す３次元点群データを用いて管理対象の設備の状態を検出するシステムであって、
    　請求項１から５のいずれかに記載の位置座標導出装置と、
    　前記設備の大きさ及び位置座標を格納する前記データベースと、を備え、
    　管理対象の設備のなかに位置座標の不明な設備が存在する場合、前記位置座標導出装置が当該設備を前記対象物として位置座標を導出する、
    　システム。
  7. 　前記位置座標導出装置は、導出した前記対象物の位置座標を、位置座標が不明であった前記設備の位置座標として、前記データベースに格納する、
    　請求項６に記載のシステム。
  8. 　プロセッサが、設備及び対象物の撮像された２以上の画像を取得し、
    　前記プロセッサが、前記設備の位置座標及び現物の大きさ、並びに前記対象物の大きさをデータベースから取得し、
    　前記プロセッサが、前記２以上の画像を撮像した各カメラから前記設備のまでの距離と前記２以上の画像上の前記設備の現物の大きさに対する倍率との関係を用いて、前記２以上の画像を撮像した各カメラから前記対象物までの距離を算出し、
    　前記プロセッサが、算出した距離を用いて、前記対象物の位置座標を導出する、
    　位置座標導出方法。
  9. 　請求項１から５のいずれかの位置座標導出装置に備わる各機能をコンピュータに実現させる、
    　位置座標導出プログラム。
PCT/JP2020/004035 2019-02-15 2020-02-04 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム WO2020166424A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/431,200 US12002237B2 (en) 2019-02-15 2020-02-04 Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-025258 2019-02-15
JP2019025258A JP7159900B2 (ja) 2019-02-15 2019-02-15 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム

Publications (1)

Publication Number Publication Date
WO2020166424A1 true WO2020166424A1 (ja) 2020-08-20

Family

ID=72045504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004035 WO2020166424A1 (ja) 2019-02-15 2020-02-04 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム

Country Status (3)

Country Link
US (1) US12002237B2 (ja)
JP (1) JP7159900B2 (ja)
WO (1) WO2020166424A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157939A1 (ja) * 2021-01-22 2022-07-28 日本電信電話株式会社 劣化評価装置、劣化評価方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022235453A1 (en) * 2021-05-07 2022-11-10 X Development Llc Identifying electrical phases of electric grid wires
CN113496528B (zh) * 2021-09-07 2021-12-14 湖南众天云科技有限公司 固定交通路侧场景下视觉检测目标位置标定方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099915A1 (ja) * 2007-02-16 2008-08-21 Mitsubishi Electric Corporation 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2009229182A (ja) * 2008-03-21 2009-10-08 Acreeg Corp 画像上地物計測方法および表示法並びに計測装置
WO2011043275A1 (ja) * 2009-10-06 2011-04-14 株式会社 トプコン ３次元データ作成方法及び３次元データ作成装置
JP2015001791A (ja) * 2013-06-14 2015-01-05 株式会社ジオ技術研究所 画像解析装置
WO2017141414A1 (ja) * 2016-02-19 2017-08-24 パイオニア株式会社 地物データ構造、制御装置、記憶装置、制御方法、プログラム及び記憶媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0735546A (ja) 1993-07-19 1995-02-07 Nippon Telegr & Teleph Corp <Ntt> 屋外設備位置測量方法
US20150016666A1 (en) * 2012-11-02 2015-01-15 Google Inc. Method and Apparatus for Determining Geolocation of Image Contents
JP6161071B2 (ja) 2013-10-15 2017-07-12 日本電信電話株式会社 設備状態検出方法およびその装置
JP6531051B2 (ja) 2016-02-29 2019-06-12 日本電信電話株式会社 設備状態検出方法および装置
WO2018031678A1 (en) * 2016-08-09 2018-02-15 Nauto Global Limited System and method for precision localization and mapping
CN108253940B (zh) * 2016-12-29 2020-09-22 东莞前沿技术研究院 定位方法及装置
US10217240B2 (en) * 2017-01-23 2019-02-26 Autonomous Fusion, Inc. Method and system to determine distance to an object in an image
US11080877B2 (en) * 2018-08-02 2021-08-03 Matthew B. Schoen Systems and methods of measuring an object in a scene of a captured image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099915A1 (ja) * 2007-02-16 2008-08-21 Mitsubishi Electric Corporation 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2009229182A (ja) * 2008-03-21 2009-10-08 Acreeg Corp 画像上地物計測方法および表示法並びに計測装置
WO2011043275A1 (ja) * 2009-10-06 2011-04-14 株式会社 トプコン ３次元データ作成方法及び３次元データ作成装置
JP2015001791A (ja) * 2013-06-14 2015-01-05 株式会社ジオ技術研究所 画像解析装置
WO2017141414A1 (ja) * 2016-02-19 2017-08-24 パイオニア株式会社 地物データ構造、制御装置、記憶装置、制御方法、プログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157939A1 (ja) * 2021-01-22 2022-07-28 日本電信電話株式会社 劣化評価装置、劣化評価方法及びプログラム

Also Published As

Publication number Publication date
JP7159900B2 (ja) 2022-10-25
JP2020134220A (ja) 2020-08-31
US12002237B2 (en) 2024-06-04
US20220148216A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
WO2020166424A1 (ja) 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN108759669B (zh) 一种室内自定位三维扫描方法及***
KR101926953B1 (ko) 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
WO2023046211A1 (zh) 摄影测量方法、装置、设备及存储介质
CN110567441B (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN108362205B (zh) 基于条纹投影的空间测距方法
JP4701848B2 (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
JP2019032218A (ja) 位置情報記録方法および装置
JP2021106025A5 (ja)
KR101234917B1 (ko) 가중치 적용된 임계값에 의한 영상 보정을 이용하는 3차원 공간 데이터 생성 방법 및 시스템
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
JP6065670B2 (ja) ３次元計測システム、プログラム及び方法。
KR101996226B1 (ko) 피사체의 3차원 위치 측정 장치 및 그 방법
KR20140102831A (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
CN114140659B (zh) 一种基于无人机视角下人体检测的社交距离监控方法
TW202020732A (zh) 物體辨識方法及其裝置
JP2005084012A (ja) 肌形状計測方法及び肌形状計測装置
JP3910844B2 (ja) 新旧写真画像を用いた標定方法及び修正図化方法
CN110332938B (zh) 一种基于手机的室内单目自定位方法
CN113884025A (zh) 增材制造结构光回环检测方法、装置、电子设备和存储介质
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
Huang et al. An Innovative Approach of Evaluating the Accuracy of Point Cloud Generated by Photogrammetry-Based 3D Reconstruction
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20756445

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20756445

Country of ref document: EP

Kind code of ref document: A1