CN113984019A - 测量***、测量方法以及测量用程序 - Google Patents

测量***、测量方法以及测量用程序 Download PDF

Info

Publication number
CN113984019A
CN113984019A CN202110850440.6A CN202110850440A CN113984019A CN 113984019 A CN113984019 A CN 113984019A CN 202110850440 A CN202110850440 A CN 202110850440A CN 113984019 A CN113984019 A CN 113984019A
Authority
CN
China
Prior art keywords
camera
uav
laser scanning
image
surveying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110850440.6A
Other languages
English (en)
Inventor
伊藤忠之
佐佐木刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Publication of CN113984019A publication Critical patent/CN113984019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/02—Means for marking measuring points
    • G01C15/06—Surveyors' staffs; Movable markers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/021—Special mounting in general
    • G01N2201/0214—Airborne

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

在使用了UAV的检查或监视中，能够进行UAV相对于对象的适当的航线的设定及从适当位置的UAV的拍摄。测量***由将外部标定要素的关系已知的第一摄像头、激光扫描仪及全站仪复合化的测量装置（200）、搭载第二摄像头且能够自主飞行的UAV（300）、处理装置（400）构成，处理装置（400）具备：图像数据接收单元，接收第一摄像头及第二摄像头拍摄的图像的图像数据；激光扫描数据接收单元，接收由所述激光扫描仪获得的激光扫描数据；指定部分接收单元，接收所述第一摄像头拍摄的图像中的特别指定的部分的指定；飞行计划设定单元，基于所述激光扫描数据设定包含将所述指定部分纳入视野的视点的位置的所述UAV（300）的飞行路径；摄像头的朝向设定部，基于所述激光扫描数据设定沿着所述飞行路径的所述UAV的飞行中的所述第二摄像头的朝向。

Description

测量***、测量方法以及测量用程序
技术领域
本发明涉及利用激光扫描仪获得的信息的技术。
背景技术
在日本特开2019-117127号公报中记载有使用激光测距技术进行UAV的飞行控制的技术。
例如，存在使用UAV（Unmanned Aerial Vehicle：无人航空载具）进行桥梁的目视检查的技术。在该技术中，UAV的飞行路径的设定非常重要。需要使UAV飞行至UAV不与桥墩或支柱等接触且这些不会成为拍摄的障碍并且容易拍摄所要求的部位的位置。
在日本特开2019-117127号公报的技术中记载有UAV不与桥梁接触的这一点。但是，关于适于从UAV进行拍摄的航线的设定，在日本特开2019-117127号公报中没有记载并且也没有暗示。
发明内容
在这样的背景下，本发明的目的在于提供一种技术，能够在使用了UAV的检查或监视中有效地利用从UAV拍摄到的图像。
本发明提供一种测量***，对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载第二摄像头且能够自主飞行的UAV所获取的测量数据进行处理，其中，具备：图像数据接收单元，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；激光扫描数据接收单元，接收由所述激光扫描仪获得的激光扫描数据；指定部分接收单元，接收所述第一摄像头拍摄到的图像之中的特别指定的部分的指定；飞行计划设定单元，基于所述激光扫描数据，设定包含将所述指定部分纳入视野的视点的位置的所述UAV的飞行路径；以及摄像头的朝向设定单元，基于所述激光扫描数据，设定沿着所述飞行路径的所述UAV的飞行中的所述第二摄像头的朝向。
根据本发明，基于来自测量装置的激光扫描的结果，设定UAV的飞行路径和飞行中的UAV搭载的摄像头的朝向。因此，能够防止UAV与激光扫描对象的干扰、设定UAV的最佳的拍摄位置、设定适于飞行中的拍摄的UAV搭载的摄像头的朝向。
在本发明中，优选如下方式，利用所述UAV进行所述特别指定的部分的拍摄，所述视点的位置是从正面观察所述特别指定的部分的位置。通过采取从正面观察的视点，从而能够获得适于对象物的检查以及劣化诊断的图像。
在本发明中，优选如下方式，基于所述激光扫描数据，计算所述特别指定的部分的法线，所述视点的位置基于所述法线计算。通过在特别指定的部分的法线上取得视点，从而获得从正面观察该特别指定的部分的视点。
在本发明中，举出如下方式，即，具备：第一3D模型制作部，基于利用所述激光扫描所获得的激光扫描数据，制作所述激光扫描的对象的第一3D模型；以及第二3D模型制作部，基于所述第二摄像头拍摄到的图像，利用立体照片测量的原理，制作被拍摄对象的第二3D模型。
在本发明中，举出如下方式，即，在所述UAV的飞行中，所述测量装置进行由所述全站仪进行的所述UAV的定位，所述第二3D模型是基于由所述全站仪进行的所述UAV的定位的结果在与所述第一3D模型相同的坐标系上被制作的。
根据该方式，使用了针对该对象物的UAV搭载的第二摄像头的SFM（Structurefrom Motion：多视点立体照片测量）中的摄像头的位置和姿势在由测量装置所利用的坐标系上被定义。由此，第二3D模型在与第一3D模型相同的坐标系中被定义。因此，不进行复杂的后处理，就能够进行第一3D模型和第二3D模型的比较以及整合。
另外，使用测量装置的全站仪功能进行UAV的定位，由此，不需要UAV中的来自GNSS的信号的接收。因此，不利用误差大的UAV搭载的GNSS就可。也能够利用不搭载GNSS的UAV。另外，即使在不能利用GNSS的桥梁之下或在GNSS的利用中容易产生障碍的山区或高层大楼群等市区，也能够进行高精度的测量。
在本发明中，举出如下方式，即，具备：映射处理部，基于由所述全站仪进行的所述UAV的定位的结果，将所述第二摄像头拍摄到的图像映射到所述第一3D模型。
根据SFM的原理，求得第二摄像头的位置和第二摄像头拍摄到的图像中的多个特征点的相对位置的关系，获得相对的3D模型（相互标定）。在此，进行由所述全站仪进行的所述UAV的定位，由此，搭载于UAV的第二摄像头的位置被特别指定。由此，对该相对的3D模型赋予比例尺（绝对标定），在所利用的测量装置中使用的坐标系上，特别指定第二摄像头拍摄到的图像中的特征点的位置。即，在定义第一3D模型的坐标系中，特别指定第二摄像头拍摄到的图像中的特征点的位置。
其结果是，判明第一3D模型与第二摄像头拍摄到的图像的关系即第一3D模型的哪个部分与第二摄像头拍摄到的哪个图像对应。由此，能够使由第二摄像头拍摄到的对象物的详细图像与第一3D模型相关联，能够将由第二摄像头拍摄到的对象物的详细图像映射到第一3D模型。例如，能够将第二摄像头获得的更详细的纹理粘贴到第一3D模型。
在本发明中，举出如下方式，即，作为所述映射，进行所述第二摄像头拍摄到的图像向所述第一3D模型的嵌入或重叠。作为映射，也能够进行粘贴、在数据上的相关联、在使用了气球或引线的画面显示上的相关联等。
在本发明中，举出如下方式，即，具备：映射处理部，基于由所述全站仪进行的所述UAV的定位的结果，将所述第二摄像头拍摄到的图像映射到所述第一摄像头拍摄到的图像。作为所述映射，举出进行所述第二摄像头拍摄到的图像向所述第一摄像头拍摄到的图像的嵌入或重叠的方式。
在本发明中，举出如下方式，即，进行由所述激光扫描仪进行的针对测量对象物的激光扫描，所述第二摄像头检测在所述激光扫描中被投射了激光扫描光的所述测量对象物中的激光扫描光的亮点，基于所述亮点，计算所述第二摄像头的姿势。
例如，在第二摄像头拍摄到的图像中特别指定激光扫描光的亮点的1个点。在此，如果判明该图像中的该亮点的位置（在图像中的二维位置）、第二摄像头的焦点距离、拍摄对象的3D位置，则能够求得第二摄像头的姿势。另外，通过特别指定该亮点的2个点以上，从而能够求得第二摄像头的位置和姿势。
另外，在由第二摄像头进行的多视点立体照片测量中的三维测量中，进行相互标定、绝对标定、捆绑调整计算。在该捆绑调整计算时，使用上述的亮点作为约束点，由此，能够降低计算时的负担，此外，能够提高计算的精度。
本发明也能够作为测量方法来把握，所述测量方法对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载第二摄像头且能够自主飞行的UAV所获取的测量数据进行处理，其中，具有：图像数据接收步骤，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；激光扫描数据接收步骤，接收由所述激光扫描仪获得的激光扫描数据；指定部分接收步骤，接收所述第一摄像头拍摄到的图像中的特别指定的部分的指定；飞行计划设定步骤，基于所述激光扫描数据，设定包含将所述指定部分纳入视野的视点的位置的所述UAV的飞行路径；以及摄像头的朝向设定步骤，基于所述激光扫描数据，设定沿着所述飞行路径的所述UAV的飞行中的所述第二摄像头的朝向。
本发明也能够作为测量用程序来把握，所述测量用程序是用于对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载第二摄像头且能够自主飞行的UAV所获取的测量数据进行处理的程序，其中，所述测量用程序使计算机执行如下步骤：图像数据接收步骤，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；激光扫描数据接收步骤，接收由所述激光扫描仪获得的激光扫描数据；指定部分接收步骤，接收所述第一摄像头拍摄到的图像中的特别指定的部分的指定；飞行计划设定步骤，基于所述激光扫描数据，设定包含将所述指定部分纳入视野的视点的位置的所述UAV的飞行路径；以及摄像头的朝向设定步骤，基于所述激光扫描数据，设定沿着所述飞行路径的所述UAV的飞行中的所述第二摄像头的朝向。
本发明也能够作为测量***来把握，所述测量***对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载了第二摄像头的UAV所获取的测量数据进行处理，其中，具备：图像数据接收单元，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；激光扫描数据接收单元，接收由所述激光扫描仪获得的激光扫描数据；第一3D模型制作部，基于利用所述激光扫描获得的激光扫描数据，制作所述激光扫描的对象的第一3D模型；以及映射处理部，在所述UAV的飞行中，所述测量装置进行由所述全站仪进行的所述UAV的定位，所述映射处理部基于由所述全站仪进行的所述UAV的定位的结果，将所述第二摄像头拍摄到的图像映射到所述第一3D模型。
本发明也能够作为测量***来把握，所述测量***对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载了第二摄像头的UAV所获取的测量数据进行处理，其中，具备：图像数据接收单元，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；激光扫描数据接收单元，接收由所述激光扫描仪获得的激光扫描数据；第一3D模型制作部，基于利用所述激光扫描获得的激光扫描数据制作所述激光扫描的对象的3D模型；以及映射处理部，在所述UAV的飞行中，所述测量装置进行由所述全站仪进行的所述UAV的定位，所述映射处理部基于由所述全站仪进行的所述UAV的定位的结果，将所述第二摄像头拍摄到的图像映射到所述第一摄像头拍摄到的图像。
在本发明的映射中，优选如下方式，即，所述第二摄像头在所述UAV飞行的状态下对所述激光扫描的对象进行多次照片拍摄，基于利用所述多次照片拍摄所获得的多个图像中的多个特征点和所述第二摄像头的位置的关系以及由所述全站仪得到的所述UAV的定位数据，求得所述多个图像各自中的所述第二摄像头的位置和姿势，基于所述激光扫描数据和所述第二摄像头的位置和姿势的关系进行所述映射。
根据本发明，获得在使用了从UAV的拍摄的检查或监视中能够有效地利用从UAV拍摄的图像的技术。
附图说明
图1是实施方式的概要图。
图2是测量装置的框图（A）和UAV的框图（B）。
图3是处理装置的框图。
图4是示出处理的顺序的一例的流程图。
图5是示出处理的顺序的一例的流程图。
具体实施方式
（概要）
在图1中示出利用了发明的***的概要。在图1中示出桥梁100、测量装置200、UAV300以及处理装置400。桥梁100是成为目视维护的对象的基础设施的一例。测量装置200具有将全站仪和激光扫描仪复合化的结构。UAV300进行用于进行桥梁100的详细图像的拍摄的飞行。
处理装置400基于测量装置200获得的测量数据，制作UAV300的飞行计划。在该飞行计划中包含飞行路线和从飞行中的UAV300起的拍摄方向（摄像头301的朝向）的计划。另外，处理装置400将测量装置200获得的桥梁100的图像以及3D模型和从UAV300拍摄到的桥梁100的详细图像整合并进行处理。摄像头301的朝向（姿势）根据飞行的UAV300的朝向求得。因此，通过确定飞行中的UAV300的姿势，从而能够确定摄像头301的朝向。此外，UAV300的朝向由IMU测量。
处理装置400使用市售的PC（个人电脑）构成，利用无线LAN等适当的通信单元与测量装置200进行数据的交换。测量装置200将激光扫描数据、内置的摄像头拍摄到的图像数据以及以UAV300为对象进行的定位数据发送到处理装置400。另外，UAV300拍摄到的拍摄数据以及飞行日志的数据被发送到处理装置400。
（测量装置）
在图1中示出测量装置200的外观，在图2（A）中示出测量装置200的框图。测量装置200具有将全站仪和激光扫描仪复合化的结构。作为该方式的测量装置，日本特开2019-117127号公报、日本特开2019-100915号公报、日本特开2019-90653号公报所记载的装置是公知的。
如图2（A）所示，测量装置200具备摄像头201（第一摄像头）、激光扫描仪部202、全站仪部203。如图1所示，测量装置200具备：固定于三脚架210的上部的底座部211、以能够进行水平旋转的状态与底座部211结合的水平旋转部212、以能够进行在垂直面内的旋转（向仰角以及俯角方向的旋转）的状态与水平旋转部212结合的垂直旋转部213、固定于水平旋转部212的上部的激光扫描仪部202。
摄像头201被收纳在垂直旋转部213的内部。摄像头201的光学***与后述的望远镜214分开配置。摄像头201的朝向朝向与望远镜214相同的方向，拍摄以望远镜214的光轴中心（全站仪部203的光轴中心）为中心的广角图像。摄像头201的拍摄部由CCD或CMOS图像传感器构成。
垂直旋转部213具备作为光学***的望远镜214。望远镜214也被用作全站仪部203的光学***。用户能够经由望远镜214进行全站仪部203的瞄准作业。在该例中，摄像头201的光学***与望远镜214分开准备，但也能够是经由望远镜214进行利用摄像头201的拍摄的方式。在该情况下，在摄像头201、望远镜214以及全站仪部203中局部共用光学***。
激光扫描仪部202进行包含望远镜214的光轴的垂直面内的激光扫描。激光扫描仪部202具备以水平方向为旋转轴进行旋转的镜，一边使该镜旋转，一边利用该镜反射来自发光部的连续脉冲光，由此，进行上述的垂直面内的激光扫描光的辐射。另外，从反射物反射来的扫描脉冲光入射于上述的镜，由受光部接收。一边使水平旋转部212旋转一边进行上述的激光扫描，由此，进行整周扫描或针对特别指定的对象物的激光扫描。
全站仪部203具备：发出测距激光的发光部、引导来自发光部的光的分支光的基准光路、接收从定位对象物反射的测距激光以及在基准光路中传播的基准光的受光部、基于测距光与基准光的接收定时的差（相位差）进行测距的测距部。另外，水平旋转部212的水平旋转角和垂直旋转部213的垂直旋转角利用编码器被精密地测量，基于其测量值和测距值，进行利用全站仪部203进行的定位对象物的定位。
激光扫描仪部202的基本结构以及激光扫描点云的获取的原理及全站仪部203的基本结构以及定位的原理与日本特开2019-117127号公报、日本特开2019-100915号公报、日本特开2019-90653号公报所记载的将全站仪和激光扫描仪复合化的测量装置基本相同。
摄像头201、激光扫描仪部202以及全站仪部203的外部标定要素（位置和姿势）的关系被预先获取，是已知的。在测量装置200中，摄像头201的摄像头坐标系的原点（摄像头201的投影原点）被设定为机械原点。在以该机械原点为原点的本地坐标系中，描述激光扫描仪部202获得的激光扫描点云以及由全站仪部203定位的点的三维坐标。
（UAV）
在图2（B）中示出UAV300的框图。UAV300具备：摄像头301、GNSS位置测定装置302、IMU303、飞行控制装置304、飞行计划存储部305、摄像头的朝向控制部306、飞行日志存储部307以及图像数据存储部308。另外，UAV300具备飞行所需要的推进器、驱动该推进器的马达、向该马达供给电力的电池以及无线通信装置。UAV300的基本结构与通常的UAV相同。
摄像头301能够进行静止图像以及动态图像的拍摄。摄像头301相对于UAV300的机体主体的外部标定要素（位置和姿势）被预先求得，是已知的。另外，摄像头301和后述的反射棱镜309的位置关系（偏移位置关系）也被预先求得，是已知的。
在该例中，通过改变UAV300的机体的姿势，从而控制摄像头301的朝向。也能够是相对于UAV300的机体，利用马达等驱动机构使摄像头301的朝向（姿势）可变的结构。
GNSS位置测定装置302进行基于来自以GPS卫星为代表的导航卫星的导航信号的定位。定位利用绝对定位或相对定位来进行。IMU303是惯性测量装置，检测对UAV300施加的加速度以及UAV300的姿势的变化。
飞行计划存储部305对在飞行之前设定的飞行计划进行存储。在飞行计划中包含UAV300的飞行路径以及沿着该飞行路径的所述UAV的飞行中的UAV300的姿势（摄像头301的姿势）。UAV300的飞行路径和姿势以将测量装置200的机械原点作为原点的本地坐标系描述。作为坐标系，也能够使用绝对坐标系。绝对坐标系是在GNSS中利用的坐标系，例如利用纬度、经度、海拔来描述三维位置。也可以在飞行计划中加入时间信息。
飞行控制装置304进行按照存储于飞行计划存储部305的预定飞行路线飞行的UAV300的飞行控制。UAV300能够进行按照飞行计划的自主飞行。当然，也能够进行利用操作员所进行的手动操作的飞行。
摄像头的朝向控制部306按照存储于飞行计划存储部305的确定了飞行路线和摄像头的朝向的关系的飞行计划，进行摄像头301的朝向的控制。也能够利用操作员进行的手动操作控制摄像头301的朝向。
飞行日志存储部307存储飞行的记录的数据，具体而言，存储时刻和飞行位置以及机体的姿势的关系。在图像数据存储部308中存储有摄像头301拍摄到的图像的图像数据。图像数据与拍摄时刻、拍摄时的摄像头301的位置以及拍摄时的摄像头301的朝向相关联地存储于图像数据存储部308。
UAV300具备平衡环架机构，在其上具备摄像头301以及反射棱镜309。UAV300的反射棱镜309的位置、以及反射棱镜309与摄像头301的位置的关系是已知的。因此，利用测量装置200的全站仪部203对反射棱镜309的位置进行定位，由此，能够求得UAV300的位置以及摄像头301的位置。将反射棱镜309作为目标并利用测量装置200的全站仪部203进行UAV300的追踪和定位的技术在例如日本特开2019-45425号公报、日本特开2019-138842号公报中有记载。
（处理装置）
在图3中示出处理装置400的框图。在该例中，处理装置400使用市售的PC（个人电脑）构成。利用的PC具有：CPU、存储器、硬盘装置、液晶显示装置等显示器、键盘或鼠标等各种用户接口、各种输入输出接口、其它通常的PC所具备的装置或功能。
在该PC中安装有用于实现图3所示的功能部的应用软件程序，图3所示的处理装置400以软件的方式实现。也能够利用专用的电子电路构成处理装置400的功能部的一部分或全部。例如，也能够使用FPGA构成处理装置400的功能部的一部分或全部。另外，也能够使用与因特网线路连接的数据处理服务器构成处理装置400的功能部的一部分或全部。
处理装置400具有：图像数据接收部401、激光扫描数据接收部402、基于激光扫描数据的3D模型制作部403、指定部分接收部404、指定的位置的三维坐标的获取部405、飞行计划设定部406、摄像头的朝向设定部407、利用全站仪的定位数据接收部408、基于从UAV300拍摄到的图像的3D模型制作部409、UAV获取图像向测量装置获取图像的嵌入（重叠）处理部410、以及UAV获取图像向测量装置获得的3D模型的嵌入（重叠）处理部411。
图像数据接收部401接收测量装置200的摄像头201拍摄到的图像的图像数据、以及UAV300的摄像头301拍摄到的图像的图像数据。摄像头301拍摄到的图像的数据与拍摄时刻、拍摄时的摄像头301的朝向、测量装置200定位的UAV300的位置、以及IMU303测量出的UAV300的姿势的数据相关联地存储于处理装置400内的适当的存储区域。激光扫描数据接收部402接收测量装置200的激光扫描仪部202获得的激光扫描数据（激光扫描点云的数据）。
基于激光扫描数据的3D模型制作部403基于激光扫描仪部202获得的激光扫描数据，制作激光扫描对象的3D模型（测量装置200视点（本地坐标系）3D模型）。在该例中，基于激光扫描仪部202获得的激光扫描数据，制作桥梁100的3D模型。
关于基于激光扫描数据的3D模型的制作，在例如国际公开编号WO2011/070927号公报、日本特开2012-230594号公报、日本特开2014-35702号公报中有记载。也能够将由激光扫描点构成的点云数据（激光扫描点云）作为3D模型进行处理。
指定部分接收部404接收由用户从测量装置200所获取的图像中指定的指定位置的信息。在该例中，在构成处理装置400的PC的显示器上显示摄像头201拍摄到的桥梁100的图像。对其进行观察，用户利用该PC的输入接口，指定测量装置200所获取的图像中的特别指定的位置。该指定的图像中的特别指定的位置的信息（画面坐标值）被指定部分接收部404接收。
例如，通过上述的指定，用户期望详细图像的桥梁100的特别指定的部分被指定。接收该指定，如后述那样，基于利用激光扫描获得的3D模型来制作用于获得上述详细图像的飞行路径。然后，利用UAV300进行上述被指定的部位的详细图像的拍摄。
指定的位置的三维坐标的获取部405获取由指定部分接收部404接收到的特别指定的位置的三维坐标。摄像头201与激光扫描仪部202的外部标定要素的关系是已知的，将激光扫描仪部202所获取的激光扫描数据（激光扫描点云）重叠在摄像头201拍摄到的图像中，能够获得图像和点云的合成图像。在指定了该合成图像中的特别指定的位置的情况下，获取最接近该指定位置的激光扫描点的三维坐标作为该指定位置的三维坐标。该处理由指定的位置的三维坐标的获取部405进行。
用户进行的位置的指定不限定于1个点，也可以是多个点。另外，也能够指定具有宽度的区域（area）。
飞行计划设定部406设定UAV300的飞行计划。在该飞行计划中包含UAV300的飞行预定路线和该飞行预定路线中的摄像头301的朝向的设定。
飞行路线的设定如以下那样进行。首先，指定的位置的三维坐标的获取部405获取用户所指定的特别指定的位置的三维坐标。接着，计算适于该被指定的位置的拍摄的UAV300的位置（摄像头301的位置）作为拍摄位置。
也能够以规定的区域为对象进行飞行路线的设定。例如，在将桥梁100的特别指定的区域指定为拍摄对象的情况下，能够进行能够充分地拍摄该指定的区域的飞行路线的设定。另外，例如也能够是指定对象的特别指定的部位（例如，桥梁的腿部）并设定对该特别指定的部位进行拍摄的飞行路线的方式。
用于进行拍摄的UAV300的位置的精度大体上良好。这是因为，UAV300的搭载的反射棱镜309的位置由全站仪部203精密地持续定位，根据该位置将摄像头301的光学位置根据偏移参数进行计算。当然，也可以以高的精度确定用于进行拍摄的UAV300的位置。
例如，将在正面观察所指定的位置的视点的位置作为拍摄位置进行计算。此时，飞行的UAV300不与桥梁100相干扰，并且，将获得预先确定的分辨率的详细图像的UAV300的位置（摄像头301的位置）作为拍摄位置进行计算。在此，拍摄位置设为摄像头301的光学原点的位置。
详细图像是用于掌握混凝土表面的腐蚀、剥落、破裂这样的现象的图像，如果与测量装置200拍摄到的图像相比，那么成为特写图像。作为摄像头301进行的拍摄的拍摄距离的标准，选择5m～10m左右。当然，可以更接近，也可以远离。
当设定摄像头301的朝向时，求得从正面观察所指定的位置的拍摄位置（视点的位置）。具体而言，基于3D模型来求得所指定的位置的法线，在该法线上确定拍摄位置，该3D模型是基于激光扫描数据的3D模型制作部403所制作的3D模型。此外，在与桥梁100的干扰成为问题的情况下，将干扰不成为问题且尽可能接近上述法线的位置确定为拍摄位置。
例如，3D模型是通过根据激光扫描数据来计算面以及TIN而制作的。上述的法线通过如下的方式获得：计算上述3D模型的面的法线或者与以TIN表现的对象拟合的面，求得该面的法线。
然后，将通过算出的UAV300的拍摄位置的飞行路线设定为预定飞行路线。在存在多个拍摄位置的情况下，将其连接来设定飞行路线。以上的处理由飞行计划设定部406进行。
另外，飞行计划设定部406还进行UAV300的飞行中的摄像头301的朝向的设定。该处理由摄像头的朝向设定部407进行。
在摄像头的朝向设定部407中，首先，计算预定飞行路线上的点和从该点观察的桥梁100的方向。此时，留意使得指定部分接收部404接收到的位置进入拍摄范围。
预定飞行路线的坐标和桥梁100的3D模型的坐标在同一坐标系（在该例中，将测量装置200作为原点的本地坐标系）上描述。因此，从UAV300（准确地说，摄像头301）观察到的桥梁100的方向能够通过求得以UAV300（摄像头301）为起点且以拍摄对象位置为终点的矢量而在数学上进行计算。通过该处理，设定飞行的UAV300在飞行中将摄像头301朝向哪个方向即可。
利用全站仪的定位数据接收部408接收全站仪部203定位的UAV300的定位数据。在该例中，在UAV300的飞行中，全站仪部203追踪UAV300具备的反射棱镜309并且持续定位。该定位数据作为飞行中的UAV300的位置，由利用全站仪的定位数据接收部408接收。
基于从UAV拍摄到的图像的3D模型制作部409基于SFM（Structure from Motion：多视点立体照片测量）或照片测量的原理，进行基于摄像头301拍摄到的图像的拍摄对象的3D模型的制作。
在根据从UAV300获得的图像制作3D模型的情况下，设定拍摄间隔，使得获得立体照片图像。具体而言，在时间轴上相邻或接近的图像中，以具有重复的拍摄部分的方式设定拍摄的间隔。这与通常的航空照片测量中的拍摄的方法相同。此外，也能够拍摄动态图像并将该动态图像的帧图像用作静止图像。此外，在不进行立体照片测量而仅进行来自UAV300的拍摄的情况下，以在拍摄点按下快门的方式设定拍摄的定时。
在上述的连续照片图像中，选择在时间轴上相邻或接近的多个图像（基本上是两个图像）作为立体照片图像。然后，根据该立体照片图像制作正射影像，进行从设为正射影像的立体照片图像的特征点的提取、该立体照片图像间的特征点的对应关系的特别指定。另外，进行使用了交会法的上述对应点的三维坐标的计算、利用三维坐标被特别指定了的对应点的3D模型的制作。该处理由“基于从UAV拍摄到的图像的3D模型制作部409”进行。
在上述的前方交会法中，作为摄像头301的位置，使用利用全站仪的定位数据接收部408接收到的反射棱镜309的定位数据，作为摄像头301的姿势（朝向）的数据，使用搭载于UAV300的IMU303的数据。
以下，关于由“基于从UAV拍摄到的图像的3D模型制作部409”进行的处理，说明其详细的一例。首先，从所获得的图像组中提取实施了透镜变形等的校正的立体照片图像。接着，从该立体照片图像中提取特征点，进一步在立体照片图像间进行所提取的特征点的对应关系的特别指定。立体照片图像的组存在多个，对这些全部进行同样的处理。
而且，进行特别指定摄像头301的位置（视点位置）和各特征点的位置的相对位置关系的相互标定。利用相互标定，获得由摄像头301的位置和各特征点构成的相对3D模型。通常，UAV300在飞行中移动，因此，与各图像对应地，摄像头301的位置存在多个。向该摄像头301的多个位置的每一个输入全站仪部203定位的UAV300的定位数据（反射棱镜309的定位数据）。此时，摄像头301与反射棱镜309的位置关系是已知的，因此，将该关系作为偏移参数编入计算式。
通过上述的处理，对利用相互标定而获得的相对3D模型赋予比例尺（实际尺寸），相对3D模型成为具有尺寸的3D模型。其结果是，获得赋予了摄像头301的多个位置和各特征点的坐标值的3D模型。该处理为绝对标定。
利用该绝对标定赋予的摄像头位置的坐标值是全站仪部203定位的UAV300的定位数据（反射棱镜309的定位数据），其使用测量装置200处理的坐标系（将测量装置200的机械原点作为原点的本地坐标系）。因此，赋予了上述的摄像头301的多个位置和各特征点的坐标值的3D模型由测量装置200处理的坐标系即将测量装置200的机械原点作为原点的本地坐标系描述。
另外，利用该绝对标定，确定各图像的拍摄时的该坐标系（将测量装置200的机械原点作为原点的本地坐标系）中的摄像头301的外部标定要素（位置和姿势）。在绝对标定后，进行捆绑调整计算，进行参数的优化。
然后，基于位置被特别指定了的多个特征点，制作UAV300视点的3D模型。该UAV300视点的3D模型由将测量装置200的机械原点作为原点的本地坐标系描述。
关于根据立体照片图像制作拍摄对象的3D模型的技术，在例如日本特开2013-186816号公报中有记载。另外，关于使用全站仪对搭载有摄像头的UAV进行定位并且进行利用了从该UAV拍摄到的图像的SFM（Structure from Motion：多视点立体照片测量）的技术，在日本特开2019-45425和日本特开2019-138842号公报中有记载。位置被特别指定了的多个特征点被称为点云数据，但也能够将该点云数据作为UAV300视点的3D模型进行处理。
此外，如果预先特别指定设置状态下的测量装置200的绝对坐标系中的位置，则上述的UAV300视点的3D模型由绝对坐标系描述。另外，本地坐标系的原点也有时不是测量装置200的机械原点。
如上述那样，UAV视点的3D模型在与基于激光扫描仪部202获得的激光扫描数据的3D模型（测量装置视点3D模型）相同的坐标系上进行描述。因此，在比较这两个3D模型时，不需要坐标系的对位的后处理。但是，为了UAV300视点的3D模型和测量装置200视点3D模型的匹配性的精度提高，能够进行微调整。
UAV获取图像向测量装置获取图像的嵌入（重叠）处理部410进行将UAV300的摄像头301拍摄到的图像映射到测量装置200的摄像头201拍摄到的图像的处理。在此，进行将UAV获取图像嵌入到测量装置获取图像的处理和/或将UAV获取图像重叠于测量装置获取图像的处理。
以下，对上述的映射的原理进行说明。在此，摄像头301（第二摄像头）在UAV300飞行的状态下，对激光扫描仪部202进行的激光扫描的对象即桥梁100进行多次照片拍摄。在此，进行使用了由该多次照片拍摄所获得的多个图像的多视点立体照片测量，由此，确定该多个图像中的多个特征点与摄像头301的位置以及姿势的相对关系（相互标定）。然后，对该相对关系赋予由全站仪部203得到的UAV300的定位数据（绝对标定），由此，求得上述多个图像的每一个中的摄像头301的位置和姿势。然后，基于该摄像头301的位置以及姿势与利用上述激光扫描所获得的激光扫描数据的关系来进行映射。就其原理而言，UAV获取图像向后述的基于测量装置200获得的数据的3D模型的映射也相同。
例如，着眼于特别指定的某个UAV获取图像。拍摄该UAV获取图像时的摄像头301的光轴的方向根据拍摄该图像时的摄像头301的外部标定要素判定。在此，该外部标定要素通过对摄像头301拍摄到的立体照片图像中的多个特征点与摄像头301的相对位置关系赋予全站仪部203定位的UAV300的位置的数据而被求得。
另外，根据激光扫描仪部202获得的激光扫描数据判定摄像头201拍摄到的测量装置获取图像中的对象的三维位置。因此，能够求得摄像头301的光轴与摄像头201拍摄到的测量装置获取图像的交点的位置。由此，判定上述UAV获取图像位于测量装置获取图像的哪个部分。利用该情况，能够将UAV获取图像映射到测量装置获取图像。
进行UAV获取图像向测量装置获取图像的嵌入，由此，例如，在测量装置获取图像的显示画面中，若用户指定测量装置获取图像的特别指定的部分，则将该部分的UAV获取图像作为详细图像或放大图像进行显示。通过利用该显示方式，从而能够高效且有效地进行使用了放大图像的桥梁100的目视检查。
UAV获取图像向测量装置获得的3D模型的嵌入（重叠）处理部411进行UAV获取图像向基于激光扫描仪部202获得的激光扫描数据的3D模型（测量装置200视点3D模型）的映射。在此，作为映射，进行UAV获取图像向测量装置200视点3D模型的嵌入和/或重叠。
以下，说明具体的一例。例如，着眼于特别指定的某个UAV获取图像。拍摄该UAV获取图像时的摄像头301的光轴的方向根据使用了UAV获取图像的SFM（Structure fromMotion：多视点立体照片测量）或照片测量中的处理的过程中获得的摄像头301的外部标定要素来判定。即，该外部标定要素通过对摄像头301拍摄到的立体照片图像中的多个特征点与摄像头301的相对位置关系赋予全站仪部203定位的UAV300的位置的数据而被求得。
在此，能够求得摄像头301的光轴与基于激光扫描仪部202获得的激光扫描数据的3D模型（测量装置200视点3D模型）的交点。由此，判定UAV获取图像与测量装置200视点3D模型的哪个部分对应。利用该情况，能够将UAV获取图像映射到测量装置获取图像。
作为UAV获取图像向测量装置200视点3D模型的映射，举出：（1）在数据上相关联，通过操作UI（用户界面），从而能够与测量装置视点3D模型相关联地显示UAV获取图像的方式；（2）在测量装置视点3D模型的显示画面的各部分设置气球或引线，使UAV获取图像与其相关地显示的方式；（3）在测量装置视点3D模型的显示画面上的光标的部分显示与该部分对应的UAV获取图像的方式（当移动光标时，依次显示对应的UAV获取图像）等。
（处理的一例）
在此，关于桥梁的维护，对在根据图像通过目视进行检查或劣化诊断的情况下应用本发明的例子进行说明。在该例中，最终从UAV拍摄桥梁细节的详细图像，用户（负责维护的作业者）通过目视确认该图像，由此，进行桥梁的目视检查。
在图1中记载有进行处理的状况的一例。首先，利用测量装置200，进行利用桥梁100的激光扫描以及拍摄所得的图像的获取。接着，测量装置200获得的桥梁100的激光扫描数据以及图像数据由处理装置400进行处理，在处理装置400中，进行UAV300的飞行路线的设定以及从UAV300拍摄桥梁100所需要的各种设定。基于该设定，UAV300进行飞行，进行桥梁100的维护所需要的详细图像（放大图像）的获取。然后，在处理装置400中，进行基于从UAV300拍摄到的图像的3D模型的制作；进行该3D模型与基于测量装置200获得的激光扫描数据的3D模型的对应关系的特别指定；进一步进行从UAV300拍摄到的图像向从测量装置200拍摄到的图像的映射；进一步进行从UAV300拍摄到的图像向基于测量装置200获得的桥梁100的激光扫描数据的3D模型的映射。
（直到拍摄详细图像为止的处理）
以下，说明直到从UAV300拍摄桥梁100的详细图像为止的处理的概要。图4是示出从测量装置200进行的桥梁100的激光扫描到获取由UAV300所得的桥梁100的详细图像为止的处理的流程的流程图。
此外，用于执行在处理装置400中进行的处理的程序被存储于适当的存储区域或存储介质中，由处理装置400的CPU执行。这对于图4以外的流程图也相同。
首先，在能纵览桥梁100的场所设置测量装置200。然后，使用测量装置200的激光扫描功能进行针对桥梁100的激光扫描。通过该处理，获得桥梁100的激光扫描数据（激光扫描点云）。这里获得的激光扫描数据的三维坐标由将测量装置200的机械原点作为原点的本地坐标系描述。当然，如果绝对坐标系（全球坐标系）中的测量装置200的外部标定要素已知，则也能够以绝对坐标系描述上述激光扫描点云。
由测量装置200获得的激光扫描数据被发送到处理装置400，由处理装置400的激光扫描数据接收部402接收（步骤S101）。
接着，用户（维护实施负责者）对测量装置200进行操作，使用其望远镜214瞄准桥梁100的要进行目视维护的场所，进行利用摄像头201的拍摄。
摄像头201获得的图像数据被发送到处理装置400，由处理装置400的图像数据接收部401获取（步骤S102）。
接着，处理装置400基于在步骤S101中获得的激光扫描数据，制作桥梁100的3D模型（步骤S103）。该处理由基于激光扫描数据的3D模型制作部403进行。
另外，处理装置400获得将在步骤S102中获得的图像和在步骤S101中获得的激光扫描数据重叠了的合成数据，特别指定两者的对应关系（步骤S104）。由此，能够根据激光扫描数据中所含的点的三维坐标值知晓摄像头201拍摄到的图像中的画面坐标（画面中的二维位置）的三维位置。
在步骤S102中获得的图像被显示于处理装置400的显示器或适当的显示器上。用户观察该被显示的图像，指定要获得详细图像的部分。例如，使用光标或触控笔，指定上述的被显示的桥梁100的图像的特别指定的部分。该指定的信息由构成处理装置400的PC的UI（用户界面）读取，由处理装置400的指定部分接收部404接收（步骤S105）。被用户指定的位置可以是一处，也可以是多处。另外，也能够是指定具有连续的宽度的区域的方式。
接收到用户要求的详细图像的位置的指定的处理装置400基于该指定的位置的信息，进行UAV300的飞行计划的设定。在飞行计划的设定中，进行飞行路线的设定（步骤S106）和飞行中的摄像头201的朝向的设定（步骤S107）。
在步骤S106中，进行将拍摄由用户指定的桥梁100的特别指定的位置的视点（摄像头位置）的点设为通穿过点或到达点的UAV300的预定飞行路线的设定。该处理由飞行计划设定部406进行。
在步骤S107中，与在步骤S106中设定的预定飞行路线相关联地进行UAV300的摄像头301的朝向（拍摄方向）的设定。即，进行关于在飞行中将摄像头301朝向哪个方向即可的设定。该处理由摄像头的朝向设定部407进行。
若UAV300的预定飞行路线以及飞行中的摄像头301的朝向（拍摄方向）的设定结束，则按照该设定使UAV300飞行（步骤S108）。在该飞行中，使摄像头301朝向所设定的方向，以特别指定的间隔连续地进行静止图像的拍摄。飞行中的摄像头301的拍摄动作也能够由用户操作。
在该例中，UAV300一边飞行，一边利用摄像头301以桥梁100为对象、以0.5秒间隔或1秒间隔这样的特别指定的间隔反复进行静止图像的拍摄。拍摄的定时被设定为拍进在时间轴上相邻或接近的图像中重复的部分。这与通常的航空照片测量的拍摄的方法相同。
也能够是利用摄像头301拍摄动态图像的方式。例如，一边使UAV300飞行，一边使用摄像头301进行30帧/秒或60帧/秒的动态图像的拍摄。在该情况下，从时间轴上以适当的间隔提取多个帧图像，利用该提取的多个帧图像，制作立体图像。
（与3D数据相关的处理）
以下，对与测量装置200获得的3D数据和从UAV300拍摄到的图像获得的3D数据相关的处理进行说明。图5是示出处理的顺序的一例的流程图。
首先，处理装置400获取UAV300的摄像头301拍摄到的图像的图像数据（步骤S201）。该处理由图像数据接收部401进行。该图像数据的获取在UAV300的飞行结束后进行。也能够是从飞行中的UAV300以无线的方式传送该图像数据的方式。
如果获取到来自摄像头301的图像数据，则基于该图像数据，利用SFM（Structurefrom Motion：多视点立体照片测量）或照片测量，制作作为拍摄对象的桥梁100的3D模型（步骤S202）。该处理由基于从UAV300拍摄到的图像的3D模型制作部409进行。也能够利用使用了动态图像的SFM来制作3D模型。在该情况下，利用构成动态图像的多个帧图像进行SFM。
通过进行步骤S202，从而制作桥梁100的3D模型。在此，成为该3D模型的图像是接近桥梁100拍摄到的图像，制作的3D模型成为桥梁100的局部的3D模型。
另外，在此，获得桥梁100的部分一点一点地错开的多个3D模型。而且，通过将这些相连，从而获得沿着UAV300的飞行路径的、桥梁100的带状区域的3D模型。该3D模型成为UAV300视点的3D模型。
UAV300视点的3D模型由与在步骤S103中制作的3D模型（以下，称作测量装置200视点3D模型）相同的坐标系描述。这是因为，UAV300（摄像头301的位置）的定位由测量装置200进行，对其进行使用，来进行利用SFM的UAV300视点的3D模型的制作。两个3D模型在相同的坐标系上被定义，因此，在特别指定了与测量装置200视点3D模型的对应关系的状态下获得UAV300视点的3D模型。另外，通过制作UAV300视点的3D模型，从而自动地获得整合了UAV300视点的3D模型和测量装置200视点3D模型的模型。
因此，与这两个3D模型之间的对应关系的特别指定相关的处理不特别需要。此外，作为选项，也可以进行利用误差大的点等的删除等的微调整，提高两个3D模型的对应关系的精度。
接着，进行将从UAV300拍摄到的桥梁100的图像（UAV获取图像）向从测量装置200拍摄到的桥梁100的图像嵌入的处理（步骤S203）。该处理利用“UAV获取图像向测量装置获取图像的嵌入（重叠）处理部410”进行。也能够不是嵌入而是进行重叠的处理。
如前述那样，不进行特殊的后处理，能够特别指定从测量装置200拍摄到的桥梁100的图像（测量装置获取图像）与从UAV300拍摄到的桥梁100的图像（UAV获取图像）的对应关系。
通常，前者的图像（测量装置获取图像）是从相对远的距离拍摄桥梁100的宽图像（广角图像），后者的图像（UAV获取图像）是从相对接近的位置拍摄桥梁100的放大图像。因此，利用上述的对应关系，将后者的放大图像嵌入到前者的宽图像。在步骤S203中进行该处理。
此外，也能够是进行从测量装置200拍摄到的桥梁100的图像与从UAV300拍摄到的桥梁100的图像的对应关系的微调整而进一步提高其精度的处理。
获得该详细嵌入图像，由此，能够实现如下的UI（用户界面）：例如，在用户指定了从设置于地上的测量装置200拍摄到的图像中的特别指定的部分的情况下，将其放大图像（UAV获取图像）显示在PC画面上。通过利用该UI，从而能够高效且准确地进行桥梁100的目视检查。
另外，使用在步骤S203中获得的图像，由此，也能够实现如下的UI：如果在显示测量装置获取图像的状态下增大特别指定的部分的放大倍率，则从某阶段切换为UAV获取图像。
在步骤S203后，进行UAV获取图像向利用由测量装置200进行的激光扫描所获得的3D模型（测量装置200视点3D模型）的嵌入（或重叠）（步骤S204）。在该处理中，获得使该3D模型各部和与其对应的UAV获取图像相关联的数据。该处理在“UAV获取图像向测量装置获得的3D模型的嵌入（重叠）处理部411”中进行。也能够进行UAV获取图像向该3D模型的粘贴。
例如，设为获得将UAV获取图像嵌入到测量装置200获得的3D模型的数据。在该情况下，能够实现如下的UI：在画面中显示该3D模型的状态下，当由用户指定该3D模型的特别指定的场所时，显示该场所的UAV获取图像。
（应用对象）
能够利用本发明的对象不限定于桥梁，可举出建筑物、高架桥、工厂设备、利用混凝土加强的悬崖或坡面、坝、高速公路、铁路、娱乐设备、运动相关联设备（各种体育场或球场）、其它各种基础设施等。
（激光扫描光的利用方式）
能够在进行使用测量装置200的全站仪功能的UAV300的追踪以及定位的同时，执行测量装置200的激光扫描功能。在此，对将该激光扫描光的亮点（对象物的扫描激光的反射点）用于在UAV300上所搭载的摄像头301的位置和姿势的计算的例子进行说明。
例如，在摄像头301的快门速度为1/100秒并且激光扫描的扫描频率为1kHz的情况下，在摄像头301拍摄到的一张拍摄图像中最大能够拍摄10个点的激光扫描点（根据拍摄范围与扫描速度的关系，有时也可为10个点以下）。
此外，该方式限定于由激光扫描仪部202进行的激光扫描的范围与摄像头301的拍摄范围重合的情况。另外，摄像头301需要能够检测来自测量装置200的激光扫描光的波长且能够在图像中捕捉作为短脉冲光的该激光扫描光的亮点的功能。
具体而言，进行以下的处理。首先，根据UAV获取图像的拍摄时刻，获得该拍摄时的打开快门的时间（曝光的时间）的激光扫描点的信息。根据该信息，特别指定UAV获取图像中拍摄的激光扫描点的亮点的信息。即，特别指定UAV获取图像中拍摄的激光扫描点的位置信息。然后，将激光扫描点作为基准点，求得摄像头301的位置和姿势。
另外，也能够将激光扫描点利用于测量装置获取图像与UAV获取图像之间的对应关系的特别指定。首先，测量装置获取图像是摄像头201拍摄到的图像，判明与激光扫描仪部202获取的激光扫描点云的关系。因此，能够经由摄像头301拍摄到的UAV获取图像中拍摄的激光扫描点的亮点，求得测量装置获取图像与UAV获取图像的关系。
作为激光扫描点的其它的利用方式，举出如下方式，即，在拍摄图像中亮点没有拍摄为1列的情况下，判定快门速度不充分、UAV的移动速度快等的可能性。
这样，能够是将测量装置200的激光扫描仪利用于点云数据的获取以外的用途的方式。
（其它）
也可以在UAV300上搭载激光扫描仪。通过在UAV300上搭载激光扫描仪，从而能够从UAV300获得激光扫描点云。
（优势）
基于从设置于地上的测量装置200获得的激光扫描数据，获得目视检查的对象即桥梁100的3D模型，基于该3D模型设定UAV300的飞行路线，由此，能够使UAV300进行不与桥梁100相干扰的飞行。另外，基于上述3D模型，设定飞行中的UAV300搭载的摄像头301的朝向，由此，能够高效地获得桥梁100的细节的详细图像。
另外，将UAV300获得的详细图像映射到测量装置200获得的桥梁100的图像（或3D模型），由此，能够高效且有效地进行使用了桥梁100的图像的目视检查。
根据以上说明的技术，在将测量装置200作为基准的坐标系上，能够进行（1）UAV300的飞行路线以及飞行时的摄像头301的朝向的设定、（2）基于从UAV300拍摄到的图像的3D模型的制作。而且，能够进行（3）从UAV300拍摄到的图像向从测量装置200拍摄到的图像的映射、（4）从UAV300拍摄到的图像向测量装置200获得的3D模型的映射。
在以上说明的技术中，不需要根据来自测量装置200的测量数据所制作的3D数据和基于从UAV300获得的数据所制作的3D数据的对位（登记）的作业。不同的坐标系间的登记繁琐，负担大，另外，还存在错误登记的问题。通过不需要该作业，从而能够追求作业效率和精度。
例如，对于没有设计数据的建筑物的检查、劣化诊断，不需要后处理中的对象物数据和UAV飞行时的坐标系的登记作业，能够进行效率良好的缺陷检查、测定。
本发明能够利用于将全站仪的功能和激光扫描仪的功能复合化的测量装置和使用了UAV的基础设施的维护以及测量。

Claims (15)

1.一种测量***，对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载第二摄像头且能够自主飞行的UAV所获取的测量数据进行处理，其中，具备：
图像数据接收单元，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；
激光扫描数据接收单元，接收由所述激光扫描仪获得的激光扫描数据；
指定部分接收单元，接收所述第一摄像头拍摄到的图像之中的特别指定的部分的指定；
飞行计划设定单元，基于所述激光扫描数据，设定包含将所述指定部分纳入视野的视点的位置的所述UAV的飞行路径；以及
摄像头的朝向设定单元，基于所述激光扫描数据，设定沿着所述飞行路径的所述UAV的飞行中的所述第二摄像头的朝向。
2.根据权利要求1所述的测量***，其中，
利用所述UAV进行所述特别指定的部分的拍摄，
所述视点的位置是从正面观察所述特别指定的部分的位置。
3.根据权利要求1所述的测量***，其中，
基于所述激光扫描数据，计算所述特别指定的部分的法线，
所述视点的位置基于所述法线计算。
4.根据权利要求1～3中任一项所述的测量***，其中，具备：
第一3D模型制作部，基于利用所述激光扫描所获得的激光扫描数据，制作所述激光扫描的对象的3D模型；以及
第二3D模型制作部，基于所述第二摄像头拍摄到的图像，利用立体照片测量的原理，制作被拍摄对象的3D模型。
5.根据权利要求4所述的测量***，其中，
在所述UAV的飞行中，
所述测量装置进行由所述全站仪进行的所述UAV的定位，
所述第二3D模型制作部制作的3D模型是基于由所述全站仪进行的所述UAV的定位的结果在与所述第一3D模型制作部制作的3D模型相同的坐标系上被制作的。
6.根据权利要求4所述的测量***，其中，
具备：映射处理部，基于由所述全站仪进行的所述UAV的定位的结果，将所述第二摄像头拍摄到的图像映射到所述第一3D模型制作部制作的3D模型。
7.根据权利要求6所述的测量***，其中，
作为所述映射，进行所述第二摄像头拍摄到的图像向所述第一3D模型制作部制作的3D模型的嵌入或重叠。
8.根据权利要求4所述的测量***，其中，
具备：映射处理部，基于由所述全站仪进行的所述UAV的定位的结果，将所述第二摄像头拍摄到的图像映射到所述第一摄像头拍摄到的图像。
9.根据权利要求8所述的测量***，其中，
作为所述映射，进行所述第二摄像头拍摄到的图像向所述第一摄像头拍摄到的图像的嵌入或重叠。
10.根据权利要求4所述的测量***，其中，
进行由所述激光扫描仪进行的针对测量对象物的激光扫描，
所述第二摄像头检测在所述激光扫描中被投射了激光扫描光的所述测量对象物中的激光扫描光的亮点，
基于所述亮点，进行所述第二摄像头的姿势的计算。
11.一种测量方法，对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载第二摄像头且能够自主飞行的UAV所获取的测量数据进行处理，其中，具有：
图像数据接收步骤，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；
激光扫描数据接收步骤，接收由所述激光扫描仪获得的激光扫描数据；
指定部分接收步骤，接收所述第一摄像头拍摄到的图像中的特别指定的部分的指定；
飞行计划设定步骤，基于所述激光扫描数据，设定包含将所述指定部分纳入视野的视点的位置的所述UAV的飞行路径；以及
摄像头的朝向设定步骤，基于所述激光扫描数据，设定沿着所述飞行路径的所述UAV的飞行中的所述第二摄像头的朝向。
12.一种测量用程序，所述测量用程序是用于对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载第二摄像头且能够自主飞行的UAV所获取的测量数据进行处理的程序，其中，所述测量用程序使计算机执行如下步骤：
图像数据接收步骤，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；
激光扫描数据接收步骤，接收由所述激光扫描仪获得的激光扫描数据；
指定部分接收步骤，接收所述第一摄像头拍摄到的图像中的特别指定的部分的指定；
飞行计划设定步骤，基于所述激光扫描数据，设定包含将所述指定部分纳入视野的视点的位置的所述UAV的飞行路径；以及
摄像头的朝向设定步骤，基于所述激光扫描数据，设定沿着所述飞行路径的所述UAV的飞行中的所述第二摄像头的朝向。
13.一种测量***，对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载了第二摄像头的UAV所获取的测量数据进行处理，其中，具备：
图像数据接收单元，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；
激光扫描数据接收单元，接收由所述激光扫描仪获得的激光扫描数据；
第一3D模型制作单元，基于利用所述激光扫描获得的激光扫描数据，制作所述激光扫描的对象的3D模型；以及
映射处理单元，
在所述UAV的飞行中，
所述测量装置进行由所述全站仪进行的所述UAV的定位，
所述映射处理单元基于由所述全站仪进行的所述UAV的定位的结果，将所述第二摄像头拍摄到的图像映射到所述第一3D模型制作部制作的3D模型。
14.一种测量***，对将各个外部标定要素的关系已知的第一摄像头、激光扫描仪以及全站仪复合化的测量装置所获取的测量数据以及搭载了第二摄像头的UAV所获取的测量数据进行处理，其中，具备：
图像数据接收单元，接收所述第一摄像头以及所述第二摄像头拍摄到的图像的图像数据；
激光扫描数据接收单元，接收由所述激光扫描仪获得的激光扫描数据；
第一3D模型制作单元，基于利用所述激光扫描获得的激光扫描数据制作所述激光扫描的对象的3D模型；以及
映射处理单元，
在所述UAV的飞行中，
所述测量装置进行由所述全站仪进行的所述UAV的定位，
所述映射处理单元基于由所述全站仪进行的所述UAV的定位的结果，将所述第二摄像头拍摄到的图像映射到所述第一摄像头拍摄到的图像。
15.根据权利要求6～9、13、14中任一项所述的测量***，其中，
所述第二摄像头在所述UAV飞行的状态下对所述激光扫描的对象进行多次照片拍摄，
基于利用所述多次照片拍摄所获得的多个图像中的多个特征点和所述第二摄像头的位置的关系以及由所述全站仪得到的所述UAV的定位数据，求得所述多个图像各自中的所述第二摄像头的位置和姿势，
基于所述激光扫描数据和所述第二摄像头的位置和姿势的关系进行所述映射。
CN202110850440.6A 2020-07-27 2021-07-27 测量***、测量方法以及测量用程序 Pending CN113984019A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-126634 2020-07-27
JP2020126634A JP2022023592A (ja) 2020-07-27 2020-07-27 測量システム、測量方法および測量用プログラム

Publications (1)

Publication Number Publication Date
CN113984019A true CN113984019A (zh) 2022-01-28

Family

ID=76971694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110850440.6A Pending CN113984019A (zh) 2020-07-27 2021-07-27 测量***、测量方法以及测量用程序

Country Status (4)

Country Link
US (1) US20220026208A1 (zh)
EP (2) EP4008997A1 (zh)
JP (1) JP2022023592A (zh)
CN (1) CN113984019A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7161298B2 (ja) * 2018-03-26 2022-10-26 株式会社トプコン ターゲット装置、測量システム
CA3093948A1 (en) * 2019-09-24 2021-03-24 Gerald Stewart Clarke Apparatus, system, and method for aerial surveying
KR102372446B1 (ko) * 2020-08-13 2022-03-11 동아대학교 산학협력단 무인비행체와 가상 수상 기준점을 활용한 수위 측정 및 3차원 수면 공간정보 생성 방법
CN117950422B (zh) * 2024-03-25 2024-06-18 航大汉来（天津）航空技术有限公司 一种无人机巡查***及巡查方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070927A1 (ja) 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5711039B2 (ja) 2011-04-27 2015-04-30 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
JP5832341B2 (ja) 2012-03-09 2015-12-16 株式会社トプコン 動画処理装置、動画処理方法および動画処理用のプログラム
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
EP3246660B1 (en) * 2016-05-19 2019-10-30 Hexagon Technology Center GmbH System and method for referencing a displaying device relative to a surveying instrument
JP7037302B2 (ja) 2017-09-06 2022-03-16 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
JP2019090653A (ja) 2017-11-13 2019-06-13 株式会社トプコン 測量装置、測量装置の校正確認方法および測量装置の校正確認用プログラム
JP7007167B2 (ja) 2017-12-05 2022-01-24 株式会社トプコン 測量装置、測量装置の校正方法および測量装置の校正用プログラム
JP7077013B2 (ja) 2017-12-27 2022-05-30 株式会社トプコン 三次元情報処理部、三次元情報処理部を備える装置、無人航空機、報知装置、三次元情報処理部を用いた移動体制御方法および移動体制御処理用プログラム
JP7043283B2 (ja) 2018-02-14 2022-03-29 株式会社トプコン 無人航空機の設置台、測量方法、測量装置、測量システムおよびプログラム

Also Published As

Publication number Publication date
US20220026208A1 (en) 2022-01-27
EP4008997A1 (en) 2022-06-08
EP4246088A1 (en) 2023-09-20
JP2022023592A (ja) 2022-02-08

Similar Documents

Publication Publication Date Title
CN113984019A (zh) 测量***、测量方法以及测量用程序
JP6387782B2 (ja) 制御装置、制御方法及びコンピュータプログラム
JP6321077B2 (ja) 縦続カメラおよび／またはキャリブレーション特徴を含む広いエリア画像を詳細に取り込むシステムおよび方法
US10041793B2 (en) Providing a point cloud using a surveying instrument and a camera device
KR102664900B1 (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
JP5618840B2 (ja) 飛行体の飛行制御システム
JP6994879B2 (ja) 測量システム
JP4469471B2 (ja) 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム
JP5748561B2 (ja) 航空写真撮像方法及び航空写真撮像装置
CN106767706A (zh) 一种无人机勘查交通事故现场的航拍图像采集方法及***
JP6930840B2 (ja) 測量システム
JP2807622B2 (ja) 航空機搭載総合撮影装置
JP6675537B1 (ja) 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
JP7050425B2 (ja) 測量システム
CN111953892B (zh) 无人飞行器、检查方法
JP2007206099A (ja) 地図作成支援システム
Nagai et al. UAV borne mapping by multi sensor integration
CN111226154A (zh) 自动对焦相机和***
US20220049956A1 (en) Method for water level measurement and method for obtaining 3d water surface spatial information using unmanned aerial vehicle and virtual water control points
JP3808833B2 (ja) 空中写真測量方法
KR20210037998A (ko) 드론 경로 제공 방법
US20210229810A1 (en) Information processing device, flight control method, and flight control system
JP2020191523A (ja) 無人移動体
JP2024020389A (ja) 制御方法、制御装置及びプログラム
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination