CN115330594A - 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 - Google Patents

一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 Download PDF

Info

Publication number
CN115330594A
CN115330594A CN202210850871.7A CN202210850871A CN115330594A CN 115330594 A CN115330594 A CN 115330594A CN 202210850871 A CN202210850871 A CN 202210850871A CN 115330594 A CN115330594 A CN 115330594A
Authority
CN
China
Prior art keywords
picture
splicing
image
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210850871.7A
Other languages
English (en)
Inventor
尚小雪
潘常春
郁文贤
裴凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xihongqiao Navigation Technology Co ltd
Shanghai Jiaotong University
Original Assignee
Shanghai Xihongqiao Navigation Technology Co ltd
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xihongqiao Navigation Technology Co ltd, Shanghai Jiaotong University filed Critical Shanghai Xihongqiao Navigation Technology Co ltd
Priority to CN202210850871.7A priority Critical patent/CN115330594A/zh
Publication of CN115330594A publication Critical patent/CN115330594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及信息技术技术领域，且公开了一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，包括以下步骤：步骤一：2D图片预处理；步骤二：2D图片拼接；步骤三：人工智能识别；步骤四：2D/3D坐标转换；步骤五：3D可视化标识，直接用拍摄的图片进行图像识别存在重复识别、识别速度慢的问题，本过程对图片携带的光点中心的高精度坐标进行处理，得到图片轨迹，利用轨迹中相邻最近的4张图片作为图片拼接的数据源，为图像拼接做拼接数据准备，直接利用三维坐标信息选取图片拼接顺序和拼接位置，避免出现图像拼接过程中进行逐一特征点获取匹配。

Description

一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法
技术领域
本发明涉及信息技术领域，具体为一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法。
背景技术
随着无人机、人工智能技术的日渐成熟，利用无人机拍摄的照片图像研究获取的视觉信息内容也日益丰富。传统方式上，通过无人机拍摄的大量二维照片，利用空三摄影测量建模方法，可以生成附带有高精度三维坐标信息的地理信息三维模型，实现对三维模型进行点、线、面、体的测量。利用无人机摄影技术可以生成大范围空间3D特定场景图。一类重要的应用是需要能够对场景图中的目标进行识别，并标定其位置和几何信息。
利用深度学习技术对无人机拍摄的2D图片进行车、房、树、人等物体的智能识别。，该技术虽然已经比较成熟，但是由于单帧2D图片仅仅是场景图的局部信息，并且其中的目标位置和几何信息无法直接标定，可视化效果差，无法满足行业需求。
而直接在3D模型数据中进行场景图目标识别与标定也存在较大的困难，通常3D模型是以3D点云数据来描述的，虽然3D点云模型能否覆盖全局的场景图，但由于三维模型在建模过程中存在模型重构，导致原有图像信息存在不同程度的丢失，影响识别效果，加上处理的数据量大，需要消耗大量的算力，时效上无法满足行业应用需求。
因此，需要建立一种混合机制的处理，能够利用在2D图片上的精确识别能力，融合3D模型上的坐标和几何尺寸信息，进而实现在3D全局场景图上的目标快速识别与标定方法。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，解决了在大量大幅重叠度下的2D图片的快速目标识别、合并、拼接与统计；快速进行2D/3D坐标变换，对2D图片中的识别的目标，能够快速标定其位置和几何信息，并在3D模型中进行可视化展示的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：1.一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，包括以下步骤：
步骤一：2D图片预处理；
步骤二：2D图片拼接；
步骤三：人工智能识别；
步骤四：2D/3D坐标转换；
步骤五：3D可视化标识。
优选的，利用无人机拍摄的2D图片携带的三维坐标信息，结合重叠度对 2D图片进行快速拼接处理，降低图片计算数据量，然后利用人工智能识别方法对感兴趣的图片内容进行智能识别，将2D图片识别结果的坐标信息通过坐标转换***映射计算得到3D坐标值，在3D模型上标识出识别对象。
优选的，所述步骤一2D图片预处理的具体操作流程为：无人机在摄影测量拍摄定焦图片时，提前设置飞行区域、规划飞行路线，设定飞行重叠度，重叠度一般在70％以上才能在三维建模时得到比较好的结果，同时在采集数据时会利用北斗/GPS的RTK或者PPK高精度定位***，可得到拍摄图片时的高精度三维坐标，一般坐标系为WGS84。直接用拍摄的图片进行图像识别存在重复识别、识别速度慢的问题，本过程对图片携带的光点中心的高精度坐标进行处理，得到图片轨迹，利用轨迹中相邻最近的4张图片作为图片拼接的数据源，为图像拼接做拼接数据准备，直接利用三维坐标信息选取图片拼接顺序和拼接位置，避免出现图像拼接过程中进行逐一特征点获取匹配，然后才能选取最相近的图片进行拼接。
优选的，所述步骤二2D图片拼接的具体操作流程为：根据高精度三维坐标计算得到的4张拼接图片，将2D图片进行拼接合成处理，处理过程如下：输入合并图像-重叠区域计算-特征点提取-2D图像配准-投影变换-拼接计算- 图像融合-生成图像。
优选的，所述步骤三人工智能识别的具体操作流程为：采用深度学习算法实现拼接后2D图片的智能识别，识别内容主要包括：树、农田、电线杠、池塘、汽车、房屋/地基、人、绿化带、人行道等；
深度学习的数据集采用现有的公开数据集如：ADE20K、Urban Drone Dataset(UDD)、Stanford Drone Dataset等进行预训练和粗调，再用无人机拍摄的图片进行增强后细调；
图像处理采集全景分割算法，采用Transformer和多层感知机MLP解码的方式实现的开源的SegFormer分割算法。
优选的，所述步骤四2D/3D坐标转换的具体操作流程为：将人工智能图像识别的像素坐标，与物理世界的三维坐标建立快速转换模型，转换过程如下：像素坐标-图像坐标-相机坐标-WGS84坐标。
(三)有益效果
与现有技术相比，本发明提供了一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，具备以下有益效果：
1、该基于无人机倾斜摄影3D模型的目标快速识别与标定方法，1.降低图像拼接、识别计算数据量，提高计算识别速度，2.实现从2D识别到3D 显示的效果好的位置标定与快速可视化显示。
2、该基于无人机倾斜摄影3D模型的目标快速识别与标定方法，直接用拍摄的图片进行图像识别存在重复识别、识别速度慢的问题，本过程对图片携带的光点中心的高精度坐标进行处理，得到图片轨迹，利用轨迹中相邻最近的4张图片作为图片拼接的数据源，为图像拼接做拼接数据准备，直接利用三维坐标信息选取图片拼接顺序和拼接位置，避免出现图像拼接过程中进行逐一特征点获取匹配。
3、该基于无人机倾斜摄影3D模型的目标快速识别与标定方法，图像特征点提取是利用图片的特征描述子进行匹配，进一步找到不同图片中提取到的相同的特征点。使用OpenCV中内集成的SURF/ORB图像处理模块提取特征点，也可用用SIFT算法提取出一个128维的向量作为拼接合并的特征点，通过计算欧式距离判断两个图片特征点是否匹配，匹配更加准确。
4、该基于无人机倾斜摄影3D模型的目标快速识别与标定方法，采用 RANSAC算法进行求解图像配准的单应性矩阵。如果图像拼接会造成误差的累积，可使用光束平差法进行联合优化，可以优化多个相机参数，进而得到更准确的图像位置。
附图说明
图1为本发明识别与标定方法流程图；
图2为本发明2D图片拼接处理过程图；
图3为本发明SE-YOLOv5算法网络架构图；
图4为本发明2D/3D坐标转换过程图；
图5为本发明实施例数据图表；
图6为本发明离散图像点值与其在图像中位置的关系坐标图；
图7为本发明相机坐标关系图；
图8为本发明从相机坐标转换到WGS84坐标属于坐标的刚性变换图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，步骤一：2D图片预处理，无人机在摄影测量拍摄定焦图片时，提前设置飞行区域、规划飞行路线，设定飞行重叠度，重叠度一般在70％以上才能在三维建模时得到比较好的结果，同时在采集数据时会利用北斗/GPS的RTK或者PPK高精度定位***，可得到拍摄图片时的高精度三维坐标，一般坐标系为WGS84，直接用拍摄的图片进行图像识别存在重复识别、识别速度慢的问题，本过程对图片携带的光点中心的高精度坐标进行处理，得到图片轨迹，利用轨迹中相邻最近的4张图片作为图片拼接的数据源，为图像拼接做拼接数据准备，直接利用三维坐标信息选取图片拼接顺序和拼接位置，避免出现图像拼接过程中进行逐一特征点获取匹配，然后才能选取最相近的图片进行拼接。
步骤二：2D图片拼接，根据高精度三维坐标计算得到的4张拼接图片，将2D图片进行拼接合成处理，处理过程如图2所示，利用无人机飞行规划设定的拍摄图像重叠度，将合成的图片按照拍摄时间与拍摄的三维高精度位置计算相邻图片，确定合成拼接区域，为保障在后续图片计算资源消耗与合成拼接精度的均衡要求，加上无人机在飞行过程中受风速、气压等因素存在相机抖动问题，造成图片重叠度不是100％精准，所以在利用重叠度计算拼接区域时，保留一部分重叠区域，不能严格按照飞机飞行设定的重叠度进行截取拼接。
图像特征点提取是利用图片的特征描述子进行匹配，进一步找到不同图片中提取到的相同的特征点，使用OpenCV中内集成的SURF/ORB图像处理模块提取特征点，也可用用SIFT算法提取出一个128维的向量作为拼接合并的特征点，通过计算欧式距离判断两个图片特征点是否匹配。
2D图像配准是利用得到的匹配对之后，可得到匹配对图像的相对位置，因飞机飞行高度不能保持绝对一致，需要计算拼接的两幅图片的相对位置变换，利用4个匹配点，要求任意三个不共先，采用RANSAC算法进行求解图像配准的单应性矩阵，如果图像拼接会造成误差的累积，可使用光束平差法进行联合优化，可以优化多个相机参数，进而得到更准确的图像位置。
图像投影是在得到相机的相对位置，为保证拼接图像一致连贯性，使用 OPENCV中的映射变换算法，可得到平面投影、柱面投影、球面投影、鱼眼投影和立方体投影，其中要把设置映射的尺度设定为相机的焦距。
图像拼接是在得到相邻两幅图像的拼缝位置后，在拼缝附近的若干个像素使用融合算法，对于重叠区域中远离拼缝的位置只选择一侧的图像，可以有效的去除图像之间的错位、伪像，拼接的接缝算法可选用OpenCV中的逐点法，动态规划法和图割法等实现。
图像融合是利用OpenCV中的羽化融合和拉普拉斯融合算法，羽化融合是对拼缝附近的位置根据与接缝的距离求出权重，加权融合，而拉普拉斯融合算法相当于求出图像不同频率的分量，然后按频率进行融合。
步骤三：人工智能识别
无人机航拍图像存在动态范围大、背景复杂、环境光复杂等问题，传统计算机视觉算法难以实现鲁棒的检测，采用深度学习算法实现拼接后2D图片的智能识别，识别内容主要包括：树、农田、电线杠、池塘、汽车、房屋/地基、人、绿化带、人行道等。
深度学习的数据集采用现有的公开数据集如：ADE20K、Urban Drone Dataset(UDD)、StanfordDroneDataset等进行预训练和粗调，再用无人机拍摄的图片进行增强后细调。
图像处理采集全景分割算法，采用Transformer和多层感知机MLP解码的方式实现的开源的SegFormer分割算法。
图像目标识别检测算法使用以YOLOv5作为基准，对其进行改进形成SE-YOLOv5目标检测算法，算法网络架构如图3所示。
SE-YOLOv5是将(Squeeze-and-Excitation，SE)通道注意力机制引入 YOLOv5后形成的目标检测算法，相比于YOLOv5，精度有上升，整体架构采用 Darknet作为Backbone层，特征金字塔网络FPN作为Neck层，卷积作为Head 层，内部采用空间注意力Focus、跨阶段局部网络CSP、金字塔池化SPP、特征聚合网络PANet等技术增强层间、通道间、阶段间的信息流动，减少模型参数量，最终实现快速、鲁棒的检测和识别。
步骤四：2D/3D坐标转换，地球上的物体都有一个三维坐标成为三维世界坐标***，常用的是WGS84坐标系，无人机在拍摄的时候相机有个高精度三维坐标值是相机的光中心位置，同时相机也有一个相机坐标系，光通过相机镜头有个图像坐标***，拍摄成的图片有个像素坐标***，做人工智能图像识别时主要使用的是像素坐标，其与物理世界的三维坐标需要建立快速转换模型，转换过程如图4所示。
素坐标是数字化图片在计算机存储的离散图像点值与其在图像中位置的关系坐标，通常用坐标系u-v标识，其原点为图像的左上角；图像坐标是指拍摄的物体在照片中的位置坐标，用x-y标识，其关系如图6所示：
Figure RE-GDA0003886964240000071
(u0，v0)是坐标变换变换对应的常数，同样的可得到：
x＝udx-u0dx y＝vdy-v0dy
相机坐标是以摄像机光心为原点的三维坐标，其中z轴指向相机前方，即为垂直于成像面，坐标关系如图7所示：
f为相机焦距，转换关系如下：
x＝fXc/Zc y＝fYc/Zc
同样反算即可得到：
Xc＝xZc/f Yc＝yZc/f
从相机坐标转换到WGS84坐标属于坐标的刚性变换，是坐标系进行旋转、平移即可，其坐标关系如图8所示：
其中(X,Y,Z)指WGS84坐标系，如果相机坐标系只绕x轴旋转，旋转角度为θ，则可得到：
Xc＝X Yc＝Ycosθ+Zsinθ Zc＝Zcosθ-Ysinθ
同样的方法可以得到围绕Y轴和Z轴旋转一定角度的公式，综合得到相机坐标和WGS84坐标转换公式。
将识别得到的结果的2D像素坐标经过坐标变换后，可直接得到3D坐标值，直接在3D模型上进行框选展示，实现高精度识别与高质量可视化展示。
实施例
以处理无人机飞行1个架次拍摄的500张照片为例，采用相同的人工智能识别算法，使用相同配置的计算机，照片像素为5472*3648，水平分辨率 72dpi，垂直分辨率72dpi，位深度24，分辨率单位2，颜色表示sRGB，相机光圈值f/3.2，数据大小为4.10GB(4,412,289,847字节)，具体如下如图 5，重叠度以80％为例。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，其特征在于：包括以下步骤：
步骤一：2D图片预处理；
步骤二：2D图片拼接；
步骤三：人工智能识别；
步骤四：2D/3D坐标转换；
步骤五：3D可视化标识。
2.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，其特征在于：利用无人机拍摄的2D图片携带的三维坐标信息，结合重叠度对2D图片进行快速拼接处理，降低图片计算数据量，然后利用人工智能识别方法对感兴趣的图片内容进行智能识别，将2D图片识别结果的坐标信息通过坐标转换***映射计算得到3D坐标值，在3D模型上标识出识别对象。
3.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，其特征在于：所述步骤一2D图片预处理的具体操作流程为：无人机在摄影测量拍摄定焦图片时，提前设置飞行区域、规划飞行路线，设定飞行重叠度，重叠度一般在70％以上才能在三维建模时得到比较好的结果，同时在采集数据时会利用北斗/GPS的RTK或者PPK高精度定位***，可得到拍摄图片时的高精度三维坐标，一般坐标系为WGS84。直接用拍摄的图片进行图像识别存在重复识别、识别速度慢的问题，本过程对图片携带的光点中心的高精度坐标进行处理，得到图片轨迹，利用轨迹中相邻最近的4张图片作为图片拼接的数据源，为图像拼接做拼接数据准备，直接利用三维坐标信息选取图片拼接顺序和拼接位置，避免出现图像拼接过程中进行逐一特征点获取匹配，然后才能选取最相近的图片进行拼接。
4.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，其特征在于：所述步骤二2D图片拼接的具体操作流程为：根据高精度三维坐标计算得到的4张拼接图片，将2D图片进行拼接合成处理，处理过程如下：输入合并图像-重叠区域计算-特征点提取-2D图像配准-投影变换-拼接计算-图像融合-生成图像。
5.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，其特征在于：所述步骤三人工智能识别的具体操作流程为：采用深度学习算法实现拼接后2D图片的智能识别，识别内容主要包括：树、农田、电线杠、池塘、汽车、房屋/地基、人、绿化带、人行道等；
深度学习的数据集采用现有的公开数据集如：ADE20K、Urban Drone Dataset(UDD)、Stanford Drone Dataset等进行预训练和粗调，再用无人机拍摄的图片进行增强后细调；
图像处理采集全景分割算法，采用Transformer和多层感知机MLP解码的方式实现的开源的SegFormer分割算法。
6.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法，其特征在于：所述步骤四2D/3D坐标转换的具体操作流程为：将人工智能图像识别的像素坐标，与物理世界的三维坐标建立快速转换模型，转换过程如下：像素坐标-图像坐标-相机坐标-WGS84坐标。
CN202210850871.7A 2022-07-19 2022-07-19 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 Pending CN115330594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210850871.7A CN115330594A (zh) 2022-07-19 2022-07-19 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210850871.7A CN115330594A (zh) 2022-07-19 2022-07-19 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法

Publications (1)

Publication Number Publication Date
CN115330594A true CN115330594A (zh) 2022-11-11

Family

ID=83916898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210850871.7A Pending CN115330594A (zh) 2022-07-19 2022-07-19 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法

Country Status (1)

Country Link
CN (1) CN115330594A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质
CN116468889A (zh) * 2023-04-04 2023-07-21 中国航天员科研训练中心 一种基于多分支特征提取的全景分割方法及***
CN116664828A (zh) * 2023-04-15 2023-08-29 北京中科航星科技有限公司 一种智能装备图像信息处理***及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468889A (zh) * 2023-04-04 2023-07-21 中国航天员科研训练中心 一种基于多分支特征提取的全景分割方法及***
CN116468889B (zh) * 2023-04-04 2023-11-07 中国航天员科研训练中心 一种基于多分支特征提取的全景分割方法及***
CN116664828A (zh) * 2023-04-15 2023-08-29 北京中科航星科技有限公司 一种智能装备图像信息处理***及方法
CN116664828B (zh) * 2023-04-15 2023-12-15 北京中科航星科技有限公司 一种智能装备图像信息处理***及方法
CN116189115A (zh) * 2023-04-24 2023-05-30 青岛创新奇智科技集团股份有限公司 车型识别方法、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
US11830163B2 (en) Method and system for image generation
Zhang et al. A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN110782394A (zh) 全景视频快速拼接方法及***
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
CN115330594A (zh) 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和***
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
CN110799921A (zh) 拍摄方法、装置和无人机
WO2023280038A1 (zh) 一种三维实景模型的构建方法及相关装置
CN115937288A (zh) 一种变电站三维场景模型构建方法
JP2019045991A (ja) 生成装置、生成方法、及びプログラム
CN110275179A (zh) 一种基于激光雷达以及视觉融合的构建地图方法
Wendel et al. Automatic alignment of 3D reconstructions using a digital surface model
CN112055192B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
CN112288637A (zh) 无人机航拍图像快速拼接装置及快速拼接方法
CN114741768A (zh) 智能变电站三维建模方法
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
Gao et al. Multi-source data-based 3D digital preservation of largescale ancient chinese architecture: A case report
CN116468609A (zh) 基于SuperGlue的两段式变焦相机多图像拼接方法和***
CN113345084B (zh) 三维建模***及三维建模方法
CN108564654B (zh) 三维大场景的画面进入方式
CN112529498B (zh) 一种仓储物流管理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination