CN116758157B - 一种无人机室内三维空间测绘方法、***及存储介质 - Google Patents

一种无人机室内三维空间测绘方法、***及存储介质 Download PDF

Info

Publication number
CN116758157B
CN116758157B CN202310707778.5A CN202310707778A CN116758157B CN 116758157 B CN116758157 B CN 116758157B CN 202310707778 A CN202310707778 A CN 202310707778A CN 116758157 B CN116758157 B CN 116758157B
Authority
CN
China
Prior art keywords
data
pose data
point
dimensional
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310707778.5A
Other languages
English (en)
Other versions
CN116758157A (zh
Inventor
林必毅
贺振中
王志敏
余风云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huasairuifei Intelligent Technology Co ltd
Original Assignee
Shenzhen Huasairuifei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huasairuifei Intelligent Technology Co ltd filed Critical Shenzhen Huasairuifei Intelligent Technology Co ltd
Priority to CN202310707778.5A priority Critical patent/CN116758157B/zh
Publication of CN116758157A publication Critical patent/CN116758157A/zh
Application granted granted Critical
Publication of CN116758157B publication Critical patent/CN116758157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种无人机室内三维空间测绘方法、***及存储介质，对接收的无人机采集的视频数据进行处理，得到按照预设时间间隔排列的多张视频帧；对接收的无人机姿态信息进行解析，得到第一位姿数据；根据连续两张视频帧，得到第二位姿数据；在第二位姿数据与第一位姿数据匹配的情况下根据连续两张视频帧和第二位姿数据得到三维建模图，避免了视频帧拼接时的错误匹配，得到的三维建模图更加的准确。

Description

一种无人机室内三维空间测绘方法、***及存储介质
技术领域
本发明涉及无人机测绘技术领域，具体涉及一种无人机室内三维空间测绘方法、***及存储介质。
背景技术
随着科技的不断进步和应用领域的扩大，无人机的应用范围也越来越广泛，涉及到了影视航拍、农业植保、电力巡检、测绘制图、警务救援、物流配送等多个行业和领域。无人机具有飞越复杂和危险的环境、执行高效和精准的任务、节约人力和物力成本、提高工作质量和安全性等优点，为社会发展带来了变革和创新，推动了产业转型升级、城市智能化管理、职业创新等方面的进步。
然而，在无人机的应用中，如何让无人机在没有全球导航卫星***(包括美国GPS、俄罗斯GLONASS、欧洲Galileo、中国北斗等)信号的室内环境中自主执行测绘任务，成为了一个重要的研究课题，传统的室内定位方法，如基于视觉或激光的标志物，需要事先布置好特定的标记，增加了成本和复杂度，而基于SLAM的方法可以利用无人机自身的运动信息和环境特征实时地构建三维地图，并估计无人机的位姿，无需依赖外部标记或信号，这种方法具有更高的灵活性和适应性，可以应用于多种室内场景，如工厂、仓库、地下空间等，但由于室内环境相对复杂，存在许多障碍物和遮挡物，在基于无人机实时采集的视觉数据进行SLAM建模时会存在误差，而这些误差将会导致构建的三维建模图不够准确。
发明内容
本发明提供的方法避免了视频帧拼接时的错误匹配，构建的三维建模图更加准确。
第一方面，一种实施例中提供一种一种无人机室内三维空间测绘方法,包括：接收无人机采集的视频数据和姿态信息；对所述视频数据进行处理，得到按照预设时间间隔排列的多张视频帧；对所述姿态信息进行解析，得到第一位姿数据；根据连续两张所述视频帧，得到第二位姿数据；判断所述第二位姿数据与所述第一位姿数据是否满足预设条件；若满足，则根据连续两张所述视频帧和所述第二位姿数据得到三维建模图；若不满足，则根据连续两张所述视频帧，重新得到第二位姿数据。
一些实施例中，所述根据连续两张所述视频帧，得到第二位姿数据，包括：提取第一视频帧的SIFT特征点得到第一特征点集合，以及提取第二视频帧的SIFT特征点得到第二特征点集合，所述第一视频帧和所述第二视频帧为所述视频帧中的连续两张；根据所述第一特征点集合和所述第二特征点集合，得到至少一个特征匹配点；根据所述第二视频帧中的所述特征匹配点对应的像素点的所述二维点数据和所述三维点数据，得到所述第二位姿数据，所述二维点数据为所述像素点的二维坐标数据，所述三维点数据为所述像素点的三维坐标数据。
一些实施例中，所述第二位姿数据可通过以下方式计算:其中，R为所述第二位姿数据姿态，C为无人机的标定矩阵参数，/>为所述特征匹配点的所述二维点数据，/>为所述特征匹配点的所述三维点数据。
一些实施例中，所述预设条件为所述第二位姿数据与所述第一位姿数据匹配。
一些实施例中，所述根据连续两张所述视频帧和所述第二位姿数据得到三维建模图，包括：根据所述第二位姿数据和所述第二视频帧中每个像素点的第二坐标值，得到所述第二视频帧中每个像素点的第一坐标值，所述第二坐标值为所述像素点在所述第二视频帧中的坐标值，所述第一坐标值为所述像素点在所述第一视频帧中的坐标值；将每个所述像素点的每个所述第一坐标值填充到所述第一视频帧中，得到三维建模图。
一些实施例中，所述第二位姿数据包括高度数据和角度数据，所述第一坐标值可通过以下方式计算得到：其中，(x1,y1)为所述第一坐标值，(x2,y2)为所述第二坐标值，(x2,y2)表征的是所述像素点的所述高度数据，θ表征的是所述像素点的所述角度数据。
第二方面，一种实施例中提供一种无人机室内三维空间测绘***,包括：无人机、基站模块和终端显示模块；所述基站模块用于接收无人机采集的视频数据和姿态信息；对所述视频数据进行处理得到按照预设时间间隔排列的多张视频帧；对所述姿态信息进行解析得到第一位姿数据；根据连续两张所述视频帧，得到第二位姿数据；判断所述第二位姿数据与所述第一位姿数据是否满足预设条件；若满足，则根据连续两张所述视频帧和所述第二位姿数据得到三维建模图；所述无人机用于将实时采集的所述视频数据和所述姿态信息发送到所述基站模块进行处理；所述终端显示模块用于实时接收和显示接收和显示建模过程和所述三维建模图，并发送到所述基站模块。
一些实施例中，所述基站模块还用于在所述第二位姿数据与所述第一位姿数据不满足预设条件的情况下，根据连续两张所述视频帧，重新得到第二位姿数据。
第二方面，一种实施例中提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如前述的方法。
第三方面，一种实施例中提供一种计算机存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如前述的方法。
根据上述实施例的方法，对无人机采集的视频数据进行处理，得到按照预设时间间隔排列的多张视频帧；对姿态信息进行解析，得到第一位姿数据；根据连续两张视频，得到第二位姿数据；在第二位姿数据与第一位姿数据匹配的情况下根据连续两张视频和第二位姿数据得到三维建模图，避免了视频帧拼接时的错误匹配，得到的三维建模图更加的准确。
附图说明
图1为本发明提供的无人机室内三维空间测绘方法的流程图；
图2为一种实施例的根据连续两张视频帧得到第二位姿数据的流程图；
图3为一种实施例的根据连续两张视频帧和第二位姿数据得到三维建模图的流程图；
图4为本发明提供的无人机室内三维空间测绘***的结构图；
图5为一种实施例的***通讯方式示意图；
图6为本发明提供的电子设备的结构图；
图7为本发明提供的计算机存储介质的结构图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
请参考图1，本发明一实施例中提供一种无人机室内三维空间测绘方法,包括：
S10：接收无人机采集的视频数据和姿态信息。
S20：对视频数据进行处理，得到按照预设时间间隔排列的多张视频帧。
一些实施例中，对接收到的视频数据进行处理，解析出H264编码的视频流数据，并解码成按照预设时间间隔排列的多张视频帧。
S30：对姿态信息进行解析，得到第一位姿数据。
一些实施例中，通过惯性传感器采集姿态信息。
S40：根据连续两张视频帧，得到第二位姿数据。
一些实施例中，根据连续两张视频帧，得到第二位姿数据，如图2所示，包括：
S41：提取第一视频帧的SIFT特征点得到第一特征点集合，以及提取第二视频帧的SIFT特征点得到第二特征点集合，第一视频帧和第二视频帧为视频帧中的连续两张。
S42：根据第一特征点集合和第二特征点集合，得到至少一个特征匹配点。
S43：根据第二视频帧中的特征匹配点对应的像素点的二维点数据和三维点数据，得到第二位姿数据，二维点数据为像素点的二维坐标数据，三维点数据为像素点的三维坐标数据。
一些实施例中，像素点的二维点数据和三维点数据可以通过以下方式进行转换：
其中，为像素点的二维点数据，/>为像素点的三维点数据，s、fx、fy、cx和cy是采集视频数据时采用的Kinect深度相机的默认坐标系，fx＝fy＝525，cx＝320,cy＝240，s＝5000。
一些实施例中，第二位姿数据可通过以下方式计算:
其中，R为第二位姿数据姿态，C为无人机的标定矩阵参数，为特征匹配点的二维点数据，/>为特征匹配点的三维点数据。
S50：判断第二位姿数据与第一位姿数据是否满足预设条件。
一些实施例中，预设条件为第二位姿数据与第一位姿数据匹配，第一位姿数据和第二位姿数据均包括高度数据和角度数据，将两个位姿数据中对应的高度数据和角度数据分别进行数值比对，若差值小于等于预设的阈值则表明两个位姿数据能匹配上。
S60：若满足，则根据连续两张视频帧和第二位姿数据得到三维建模图。
现有技术中一般直接采用陀螺仪得到的姿态信息对图像进行拼接，容易导致噪声误差使三维建模图不够准确，而本发明则在第一位姿数据和第二位姿数据相匹配的情况下进行三维建模图的构建，可以将匹配不准确的特征进行去除，得到的都是稳定无噪声的视频帧匹配，从而使得三维建模图更加准确。
一些实施例中，根据连续两张视频帧和第二位姿数据得到三维建模图，如图3所示，包括：
S61：根据第二位姿数据和第二视频帧中每个像素点的第二坐标值，得到第二视频帧中每个像素点的第一坐标值，第二坐标值为像素点在第二视频帧中的坐标值，第一坐标值为像素点在第一视频帧中的坐标值。
S62：将每个像素点的第一坐标值填充到第一视频帧中，得到三维建模图。
一些实施例中，第二位姿数据包括高度数据和角度数据，第一坐标值可通过以下方式计算得到：
x1＝x2cosθ-y2sinθ
y1＝x2sinθ+y2cosθ
其中，(x1,y1)为第二坐标值，(x2,y2)为第一坐标值，(x2,y2)表征的是该像素点的高度数据，θ表征的是该像素点的角度数据，θ的基准是两张视频帧之间的转动角度，可以认为是两张视频帧中摄像机轴线之间的夹角。
S70：若不满足，则根据连续两张视频帧，重新得到第二位姿数据。
一些实施例中，当第二位姿数据不满足预设条件时，可以通过改变尺度空间参数、改变阈值参数以及使用多个尺度空间等方式改变SIFT特征点，从而重新获取新的SIFT特征点以得到至少一个新的特征匹配点，根据新的特征匹配点对应的像素点的二维点数据和三维点数据，重新得到第二位姿数据，若第二位姿数据与第一位姿数据满足预设条件，则根据连续两张视频帧和第二位姿数据得到三维建模图。
请参考图4，本发明另一实施例提供一种无人机室内三维空间测绘***,包括：无人机100、基站模块200和终端显示模块300；基站模块200用于接收无人机采集的视频数据和姿态信息；对视频数据进行处理得到按照预设时间间隔排列的多张视频帧；对姿态信息进行解析得到第一位姿数据；根据连续两张视频帧，得到第二位姿数据；判断第二位姿数据与第一位姿数据是否满足预设条件；若满足，则根据连续两张视频帧和第二位姿数据得到三维建模图；无人机100用于将实时采集的视频数据和姿态信息发送到所述基站模块进行处理；终端显示模块300用于实时接收和显示建模过程和三维建模图，并发送到所述基站模块。
一些实施例中，视频数据通过装载在无人机100上的摄像头进行采集，姿态信息通过装载在无人机100上的惯性传感器进行采集，无人机100、基站模块200、终端显示模块300之间的通讯使用udp和rtp实现，如图5所示，实际应用时将本***分为客户端10和服务端20进行通讯，无人机100和终端显示模块300作为客户端，基站模块200作为服务端。
一些实施例中，无人机100包括通信模块110、数据处理模块120和设备控制模块130，其中：通信模块110用于初始化网络，连接服务端，开启发送、接收线程，发送线程发送视频数据和姿态数据到基站，接收线程接收控制消息并调用控制模块控制飞机；数据处理模块120用于初始化摄像头，获取编码为H264的视频流并封装为RTP包，调用发送线程向基站模块200发送视频流，采集所有传感器的数据，按照传感器类型转换成对应格式，调用发送线程向基站模块200发送传感器数据，传感器数据包括姿态信息；设备控制模块130用于初始化设备，将接收的控制消息解析为控制指令，根据指令控制飞机。
一些实施例中，基站模块200还用于初始化设备，获取设备IP，设置端口；基站作为服务端绑定IP和端口，开启发送线程和接收线程，等待连接；接收无人机100和终端显示模块300的消息；将终端显示模块300发送的控制信号转发到无人机100进行无人机100的实时控制。
一些实施例中，基站模块200还包括视频数据处理模块210、姿态信息处理模块220和三维建模模块230，视频数据处理模块210用于接收RTP数据，解析出H264编码的视频流数据，并解码成按照预设时间间隔排列的视频帧；姿态信息处理模块220用于接收姿态数据并按照传感器类型解析生成第一位姿数据；三维建模模块230用于将视频帧和第一位姿数据输入到ROS的SLAM模块进行建图以得到三维建模图，并将该三维建模图进行H264编码后封装为RTP包，调用发送线程发送到终端显示模块300进行显示。
一些实施例中，终端显示模块300包括显示模块310和控制模块320，显示模块用于初始化设备，连接服务端(基站模块200)，开启接收和发送线程，接收RTP数据并解码成视频帧，进行建模过程的实时显示；控制模块用于初始化设备，监测控制摇杆和按钮，并将控制信号转化为固定格式的数据包，调用发送线程向基站模块200发送控制数据包。
一些实施例中，基站模块还用于在第二位姿数据与第一位姿数据不满足预设条件的情况下，根据连续两张视频帧，重新得到第二位姿数据，当第二位姿数据不满足预设条件时，可以通过改变尺度空间参数、改变阈值参数以及使用多个尺度空间等方式改变SIFT特征点，从而重新获取新的SIFT特征点以得到至少一个新的特征匹配点，根据新的特征匹配点对应的像素点的二维点数据和三维点数据，重新得到第二位姿数据，若第二位姿数据与第一位姿数据满足预设条件，则根据连续两张视频帧和第二位姿数据得到三维建模图。
在现有技术中，建模过程难以实时显示，即使有做到实时显示的也难以与基站分离，控制不够自由，本发明提供的***通过基站模块、无人机和终端显示模块的协同工作，实现了三个模块之间的数据传输与计算分配，利用搭建的通讯架构有效地实现了控制、建模和数据源的分离。
本发明另一实施例提供一种电子设备，如图6所示，包括：存储器400、处理器500及存储在存储器400上并可在处理器500上运行的程序，处理器500执行程序时实现如前述的方法。
本发明另一实施例提供一种计算机存储介质，如图7所示，介质600上存储有程序，程序能够被处理器500执行以实现如前述的方法。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (7)

1.一种无人机室内三维空间测绘方法,其特征在于，包括：
接收无人机采集的视频数据和姿态信息；
对所述视频数据进行处理，得到按照预设时间间隔排列的多张视频帧；
对所述姿态信息进行解析，得到第一位姿数据；
根据连续两张所述视频帧，得到第二位姿数据；
判断所述第二位姿数据与所述第一位姿数据是否满足预设条件，所述预设条件为所述第二位姿数据与所述第一位姿数据匹配；
若满足，则根据连续两张所述视频帧和所述第二位姿数据得到三维建模图；
若不满足，则通过改变尺度空间参数、改变阈值参数以及使用多个尺度空间的方式改变SIFT特征点，从而重新获取新的SIFT特征点以得到至少一个新的特征匹配点，根据所述新的特征匹配点对应的像素点的二维点数据和三维点数据，重新得到所述第二位姿数据，若重新得到的所述第二位姿数据与所述第一位姿数据满足所述预设条件，则根据连续两张所述视频帧和所述第二位姿数据得到所述三维建模图；
所述根据连续两张所述视频帧和所述第二位姿数据得到三维建模图，包括：
根据所述第二位姿数据和第二视频帧中每个像素点的第二坐标值，得到所述第二视频帧中每个所述像素点的第一坐标值，所述第二坐标值为所述像素点在所述第二视频帧中的坐标值，所述第一坐标值为所述像素点在第一视频帧中的坐标值，所述第一视频帧和所述第二视频帧为所述视频帧中的连续两张；
将每个所述像素点的所述第一坐标值填充到所述第一视频帧中，得到所述三维建模图。
2.如权利要求1所述的方法，其特征在于，所述根据连续两张所述视频帧，得到第二位姿数据，包括：
提取第一视频帧的SIFT特征点得到第一特征点集合，以及提取第二视频帧的SIFT特征点得到第二特征点集合；
根据所述第一特征点集合和所述第二特征点集合，得到至少一个特征匹配点；
根据所述第二视频帧中的所述特征匹配点对应的像素点的二维点数据和三维点数据，得到所述第二位姿数据，所述二维点数据为所述像素点的二维坐标数据，所述三维点数据为所述像素点的三维坐标数据。
3.如权利要求2所述的方法，其特征在于，所述第二位姿数据可通过以下方式计算:
其中，R为所述第二位姿数据姿态，C为无人机的标定矩阵参数，为所述特征匹配点的所述二维点数据，/>为所述特征匹配点的所述三维点数据。
4.如权利要求3所述的方法，其特征在于，所述第二位姿数据包括高度数据和角度数据，所述第一坐标值可通过以下方式计算得到：
x1＝x2 cosθ-y2 sinθ
y1＝x2 sinθ+y2 cosθ
其中，(x1,y1)为所述第一坐标值，(x2,y2)为所述第二坐标值，(x2,y2)表征的是所述像素点的所述高度数据，θ表征的是所述像素点的所述角度数据。
5.一种无人机室内三维空间测绘***,其特征在于，包括：无人机、基站模块和终端显示模块；
所述基站模块用于接收无人机采集的视频数据和姿态信息；对所述视频数据进行处理得到按照预设时间间隔排列的多张视频帧；对所述姿态信息进行解析得到第一位姿数据；根据连续两张所述视频帧，得到第二位姿数据；判断所述第二位姿数据与所述第一位姿数据是否满足预设条件，所述预设条件为所述第二位姿数据与所述第一位姿数据匹配；若满足，则根据连续两张所述视频帧和所述第二位姿数据得到三维建模图；若不满足，则通过改变尺度空间参数、改变阈值参数以及使用多个尺度空间的方式改变SIFT特征点，从而重新获取新的SIFT特征点以得到至少一个新的特征匹配点，根据所述新的特征匹配点对应的像素点的二维点数据和三维点数据，重新得到所述第二位姿数据，若重新得到的所述第二位姿数据与所述第一位姿数据满足所述预设条件，则根据连续两张所述视频帧和所述第二位姿数据得到所述三维建模图；
所述无人机用于将实时采集的所述视频数据和所述姿态信息发送到所述基站模块进行处理；
所述终端显示模块用于实时接收、显示建模过程和所述三维建模图，并发送到所述基站模块；
所述根据连续两张所述视频帧和所述第二位姿数据得到三维建模图，包括：
根据所述第二位姿数据和第二视频帧中每个像素点的第二坐标值，得到所述第二视频帧中每个所述像素点的第一坐标值，所述第二坐标值为所述像素点在所述第二视频帧中的坐标值，所述第一坐标值为所述像素点在第一视频帧中的坐标值，所述第一视频帧和所述第二视频帧为所述视频帧中的连续两张；
将每个所述像素点的所述第一坐标值填充到所述第一视频帧中，得到三维建模图。
6.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-4任一项所述的方法。
7.一种计算机存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-4任一项所述的方法。
CN202310707778.5A 2023-06-14 2023-06-14 一种无人机室内三维空间测绘方法、***及存储介质 Active CN116758157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310707778.5A CN116758157B (zh) 2023-06-14 2023-06-14 一种无人机室内三维空间测绘方法、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310707778.5A CN116758157B (zh) 2023-06-14 2023-06-14 一种无人机室内三维空间测绘方法、***及存储介质

Publications (2)

Publication Number Publication Date
CN116758157A CN116758157A (zh) 2023-09-15
CN116758157B true CN116758157B (zh) 2024-01-30

Family

ID=87960238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310707778.5A Active CN116758157B (zh) 2023-06-14 2023-06-14 一种无人机室内三维空间测绘方法、***及存储介质

Country Status (1)

Country Link
CN (1) CN116758157B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018129794A1 (zh) * 2017-01-12 2018-07-19 上海云拟科技有限公司 一种实时大规模场景三维扫描建模方法及***
CN110047108A (zh) * 2019-03-07 2019-07-23 中国科学院深圳先进技术研究院 无人机位姿确定方法、装置、计算机设备及存储介质
CN110631554A (zh) * 2018-06-22 2019-12-31 北京京东尚科信息技术有限公司 机器人位姿的确定方法、装置、机器人和可读存储介质
CN111586360A (zh) * 2020-05-14 2020-08-25 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN111583387A (zh) * 2020-04-21 2020-08-25 北京鼎路科技有限公司 一种无人驾驶室外场景三维重建的方法和***
CN111640181A (zh) * 2020-05-14 2020-09-08 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN112085849A (zh) * 2020-07-28 2020-12-15 航天图景（北京）科技有限公司 基于航拍视频流的实时迭代三维建模方法、***及可读介质
CN112106113A (zh) * 2019-09-16 2020-12-18 深圳市大疆创新科技有限公司 三维重建中图像的位姿信息确定方法和装置
CN112907652A (zh) * 2021-01-25 2021-06-04 脸萌有限公司 相机姿态获取方法、视频处理方法、显示设备和存储介质
CN112950715A (zh) * 2021-03-04 2021-06-11 杭州迅蚁网络科技有限公司 无人机的视觉定位方法、装置、计算机设备和存储介质
CN113415433A (zh) * 2021-07-30 2021-09-21 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机
WO2021189784A1 (zh) * 2020-03-23 2021-09-30 南京科沃斯机器人技术有限公司 一种场景重建方法、***、装置及扫地机器人
CN114529607A (zh) * 2022-02-23 2022-05-24 三一重机有限公司 位姿确定方法、装置及作业机械
WO2022127572A1 (zh) * 2020-12-14 2022-06-23 北京石头创新科技有限公司 机器人三维地图位姿显示方法、装置、设备及存储介质
WO2022147976A1 (zh) * 2021-01-11 2022-07-14 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备
CN114877872A (zh) * 2022-07-01 2022-08-09 北京今日蓝天科技有限公司 无人机及其操作***、生成测绘图的方法、介质、设备
CN115222808A (zh) * 2021-06-30 2022-10-21 达闼机器人股份有限公司 基于无人机的定位方法、装置、存储介质和电子设备
WO2022237048A1 (zh) * 2021-05-11 2022-11-17 浙江商汤科技开发有限公司 位姿获取方法、装置、电子设备、存储介质及程序

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102647351B1 (ko) * 2017-01-26 2024-03-13 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
CN111768454B (zh) * 2020-08-05 2023-12-22 腾讯科技（深圳）有限公司 位姿确定方法、装置、设备及存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018129794A1 (zh) * 2017-01-12 2018-07-19 上海云拟科技有限公司 一种实时大规模场景三维扫描建模方法及***
CN110631554A (zh) * 2018-06-22 2019-12-31 北京京东尚科信息技术有限公司 机器人位姿的确定方法、装置、机器人和可读存储介质
CN110047108A (zh) * 2019-03-07 2019-07-23 中国科学院深圳先进技术研究院 无人机位姿确定方法、装置、计算机设备及存储介质
CN112106113A (zh) * 2019-09-16 2020-12-18 深圳市大疆创新科技有限公司 三维重建中图像的位姿信息确定方法和装置
WO2021189784A1 (zh) * 2020-03-23 2021-09-30 南京科沃斯机器人技术有限公司 一种场景重建方法、***、装置及扫地机器人
CN111583387A (zh) * 2020-04-21 2020-08-25 北京鼎路科技有限公司 一种无人驾驶室外场景三维重建的方法和***
WO2021227359A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN111640181A (zh) * 2020-05-14 2020-09-08 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN111586360A (zh) * 2020-05-14 2020-08-25 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN112085849A (zh) * 2020-07-28 2020-12-15 航天图景（北京）科技有限公司 基于航拍视频流的实时迭代三维建模方法、***及可读介质
WO2022127572A1 (zh) * 2020-12-14 2022-06-23 北京石头创新科技有限公司 机器人三维地图位姿显示方法、装置、设备及存储介质
WO2022147976A1 (zh) * 2021-01-11 2022-07-14 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备
CN112907652A (zh) * 2021-01-25 2021-06-04 脸萌有限公司 相机姿态获取方法、视频处理方法、显示设备和存储介质
CN112950715A (zh) * 2021-03-04 2021-06-11 杭州迅蚁网络科技有限公司 无人机的视觉定位方法、装置、计算机设备和存储介质
WO2022237048A1 (zh) * 2021-05-11 2022-11-17 浙江商汤科技开发有限公司 位姿获取方法、装置、电子设备、存储介质及程序
CN115222808A (zh) * 2021-06-30 2022-10-21 达闼机器人股份有限公司 基于无人机的定位方法、装置、存储介质和电子设备
CN113415433A (zh) * 2021-07-30 2021-09-21 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机
CN114529607A (zh) * 2022-02-23 2022-05-24 三一重机有限公司 位姿确定方法、装置及作业机械
CN114877872A (zh) * 2022-07-01 2022-08-09 北京今日蓝天科技有限公司 无人机及其操作***、生成测绘图的方法、介质、设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RAIL: Robust Acoustic Indoor Localization for Drones;Alireza Famili 等;《arXiv:2111.03764v1 [eess.SP]》;1-6 *
人工智能与智慧建筑;林必毅 等;《智能建筑与智慧城市》;110-112 *
基于RGB-D图像的三维同步定位与建图研究;胡凌燕;曹禄;熊鹏文;辛勇;谢泽坤;;***仿真学报(第11期);243-249 *

Also Published As

Publication number Publication date
CN116758157A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US20230296745A1 (en) User interface for displaying point clouds generated by a lidar device on a uav
US10922881B2 (en) Three dimensional/360 degree (3D/360°) real-time full information smart management integrated mapping system (SMIMS) and process of generating the same
US9964955B2 (en) System and methods of determining a geometric pose of a camera based on spatial and visual mapping
US9721347B2 (en) 3D model updates using crowdsourced video
AU2018450490B2 (en) Surveying and mapping system, surveying and mapping method and device, and apparatus
CN111081199B (zh) 选择用于显示的时间分布的全景图像
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及***
KR102154950B1 (ko) 무인 비행체에 의해 촬영된 이미지를 지도, 도면 또는 위성 사진에 대해 매칭시키는 방법 및 장치
Eugster et al. UAV-based augmented monitoring-real-time georeferencing and integration of video imagery with virtual globes
AU2018449839B2 (en) Surveying and mapping method and device
CN113345028A (zh) 一种确定目标坐标变换信息的方法与设备
CN101971214A (zh) 用于产生无缝正射图像的平台
George et al. Towards drone-sourced live video analytics for the construction industry
CN111327860A (zh) 一种图数同步传输方法和电子设备
US20210404840A1 (en) Techniques for mapping using a compact payload in a movable object environment
US20230177707A1 (en) Post-processing of mapping data for improved accuracy and noise-reduction
US20220113421A1 (en) Online point cloud processing of lidar and camera data
CN116758157B (zh) 一种无人机室内三维空间测绘方法、***及存储介质
AU2010364001A1 (en) System and method for camera control in a surveillance system
JP7495502B2 (ja) マッピング装置、トラッカー、マッピング方法及びプログラム
US20220415193A1 (en) Image processing device, image processing method, and program
US20230021556A1 (en) Environmental map management apparatus, environmental map management method, and program
Clift et al. Determining positions and distances using collaborative robots
Jurevičius et al. A data set of aerial imagery from robotics simulator for map-based localization systems benchmark
KR102204564B1 (ko) 측량 안테나를 사용하여 위치 정보를 획득하는 무인 비행체를 제어하는 방법 및 무인 비행체로부터 획득된 위치 정보에 기반하여 위치 정합 이미지를 생성 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant