CN117274378A - 基于ai视觉融合三维场景的室内定位***及方法 - Google Patents

基于ai视觉融合三维场景的室内定位***及方法 Download PDF

Info

Publication number
CN117274378A
CN117274378A CN202311195556.6A CN202311195556A CN117274378A CN 117274378 A CN117274378 A CN 117274378A CN 202311195556 A CN202311195556 A CN 202311195556A CN 117274378 A CN117274378 A CN 117274378A
Authority
CN
China
Prior art keywords
positioning
indoor
dimensional
acquisition system
computer vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311195556.6A
Other languages
English (en)
Inventor
邓杰文
赵焕庆
钱洪亮
任维凯
郗佳佳
车德勇
高龙
孙佰仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoneng Baoqing Coal Electrification Co ltd
Northeast Electric Power University
Original Assignee
Guoneng Baoqing Coal Electrification Co ltd
Northeast Dianli University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoneng Baoqing Coal Electrification Co ltd, Northeast Dianli University filed Critical Guoneng Baoqing Coal Electrification Co ltd
Priority to CN202311195556.6A priority Critical patent/CN117274378A/zh
Publication of CN117274378A publication Critical patent/CN117274378A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于AI视觉融合三维场景的室内定位***及方法，所述室内定位***包括计算机视觉采集***和定位计算***，其中：所述计算机视觉采集***负责对室内空间不同工作区域的实时视觉场景进行采集；所述定位计算***包括AI识别模块、三维场景重建模块和定位服务模块；所述AI识别模块用于提取视觉特征的空间位置信息；所述三维场景重建模块用于构建室内空间不同工作区域的三维地图数据库；所述定位服务模块用于实现工作人员在不同工作区域的实时追踪和定位。本发明不需要额外的硬件设备，只需利用现有的摄像头网络；由于深度学习模型的强大能力，***可以学习并适应不同建筑物的特征，提高定位的准确性和稳定性。

Description

基于AI视觉融合三维场景的室内定位***及方法
技术领域
本发明涉及一种室内定位***及方法，具体涉及一种使用深度学习和计算机视觉技术的室内定位***及方法。
背景技术
传统的室内定位方法，如Wi-Fi定位、蓝牙低功耗(BLE)标签、红外和超声波技术，各有其优缺点。这些技术可能会受到物理障碍、环境噪声、多径效应或信号衰减的影响，从而影响其定位精确度。此外，为了达到较高的精度，这些方法通常需要大量的硬件部署、复杂的校准和持续的维护。
发明内容
本发明的目的是提供一种基于AI视觉融合三维场景的室内定位***及方法，借助高分辨率的摄像头网络和深度学习算法识别与室内环境相关的特征，并将其与预先建立的三维模型数据库进行比对，从而确定设备的准确位置。
本发明的目的是通过以下技术方案实现的：
一种基于AI视觉融合三维场景的室内定位***，包括计算机视觉采集***和定位计算***，其中：
所述计算机视觉采集***负责对室内空间(主要是钢结构比较多的室内空间，或者是网络信号不易发送的空间)不同工作区域的实时视觉场景进行采集；
所述定位计算***包括AI识别模块、三维场景重建模块和定位服务模块；
所述AI识别模块使用深度学习和计算机视觉技术对计算机视觉采集***采集的环境视觉数据进行处理，识别室内空间内存在或缺失的工业设备和设施等视觉特征标识，提取这些视觉特征的空间位置信息；
所述三维场景重建模块利用计算机视觉采集***多视角采集的环境视觉数据采用三角测量原理进行三维重建，构建室内空间不同工作区域的三维地图数据库；
所述定位服务模块采用基于特征类比算法，基于视觉特征的空间位置信息将计算机视觉采集***实时采集的视觉数据与三维地图数据库进行特征匹配定位，输出移动设备在三维场景中的实时位置，实现工作人员在不同工作区域的实时追踪和定位。
一种利用上述室内定位***进行基于AI视觉融合三维场景的室内定位的方法，包括如下步骤：
步骤一、数据采集和预处理：
步骤一一、在室内环境中安装计算机视觉采集***，并对其进行校准和配置；
步骤一二、通过计算机视觉采集***采集室内环境的图像或点云数据，并进行预处理；
步骤一、数据采集和预处理：
步骤一一、在室内环境中安装计算机视觉采集***，并对其进行校准和配置；
步骤一二、通过计算机视觉采集***采集室内环境的图像或点云数据，并进行预处理，预处理的步骤包括去除噪声、调整图像亮度和对比度等，以及对点云数据进行滤波和配准等操作；
步骤二、特征提取和匹配：
在获得步骤一预处理的图像或点云数据后，AI识别模块使用深度学习和计算机视觉技术提取特征并进行匹配；
步骤三、场景重建和建图：
三维场景重建模块利用步骤二匹配到的特征进行三维场景的重建和建图，通过将匹配到的特征点三角化，可以计算出每个点的三维坐标，并建立室内环境的三维模型，即三维地图数据库；
步骤四、室内定位：
步骤四一、在定位阶段，使用计算机视觉采集***获取当前位置的图像或点云数据，并提取特征；
步骤四二、定位服务模块将步骤四一提取到的特征与步骤三建立的三维模型进行匹配，通过计算特征的相似度或距离，找到最佳匹配的位置。
相比于现有技术，本发明具有如下优点：
(1)本发明为了提高响应速度和定位精度，采用先用三维点云中的预设特征进行初步定位，然后将定位数据通过信号衰减，快速筛选出附近区域信号源，进行计算，降低了数据计算量和迭代时间。
(2)本发明提出了一种移动摄像头采集图像与数据库点云映射算法，移动端每间隔1s上传当前视频图像数据，并与远程计算中心库中点云数据类别，如果相识度为90％以上，***自动定位为数据点云的精准坐标，同时，当前采集图像数据支持人工修正，并作为AI训练库。
(3)本发明在显示人员轨迹时，是将人员移动路径和信息点停留时间在三维场景中显示，便于和其他现场生成***相结合。
(4)本发明利用计算机视觉技术对室内环境进行实时感知和识别，并通过对电厂场景特殊标识物的特征进行分析和匹配，可以计算出设备相对于环境的位置和方向。此外，通过使用多目标跟踪算法，***可以追踪设备的移动并实时更新位置信息。
(5)相比传统的基于信标或无线信号的方法，本发明不需要额外的硬件设备，只需利用现有的摄像头网络；由于深度学习模型的强大能力，***可以学习并适应不同建筑物的特征，提高定位的准确性和稳定性；通过结合其他传感器数据，如加速度计和陀螺仪，可以进一步改善定位的精度和鲁棒性。
(6)本发明可以应用于多个领域，例如室内导航、智能家居、虚拟现实等。随着AI技术和计算机视觉技术的不断进步，本发明在室内定位领域的应用前景非常广阔。
附图说明
图1为基于AI视觉融合三维场景的室内定位***的结构示意图；
图2为基于AI视觉融合三维场景的室内定位实现流程图；
图3为网络信号图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
具体实施方式一、本实施方式提供了一种用于火电厂运营过程中对电厂内工作人员轨迹实时追踪和定位的室内定位***，该***通过在不同工作区域布设高分辨率网络摄像头进行实时环境采集，利用AI识别模块和三维场景重建技术构建一维环境信息库，并将移动终端视觉信息与三维场景匹配进行定位，实现工作人员不同区域间的实时定位服务。与传统技术相比，本发明采用深度学习和计算机视觉技术实现了无需附加定位基础设施的高精度室内定位，为工作人员安全提供技术支持。本发明所采用的室内定位***框架如图1所示，包括计算机视觉采集***和定位计算***，其中：
所述计算机视觉采集***主要负责对火电厂不同工作区域的实时视觉场景进行采集；
所述计算机视觉采集***包括移动设备和固定设备；
所述移动设备是一台带网络接收器和移动摄像装置，与传统的无线摄像装置区别在于该移动设备中存有本地历史采集数据或者预设数据，可以用于本地数据粗筛选，从而实现减小上传数据量和提高数据质量的目的；
所述固定设备为固定位置的视频监控，每一个固定位置的视频监控都对应一个ID，同时在三维场景模型中该ID和三维特征进行关联，当被定位人员进入到当前固定设备的摄像范围，***将快速调取当前固定设备ID关联的局部三维模型数据，从而提高数据检索效率；
所述固定位置的视频监控采用了多套由高清摄像头组成的网络摄像头或深度传感器，网络摄像头或深度传感器安装在火电厂室内空间不同工作区域，进行实时环境视觉数据采集；每套网络摄像头包含多台高清工业级广角镜头，实现相应区域360无死角采集，并上传至后端服务器；
所述定位计算***包括AI识别模块、三维场景重建模块和定位服务模块；
所述AI识别模块采用深度学习网络结构(卷积神经网络)对计算机视觉采集***采集的环境视觉数据进行对象检测与识别，网络预先经过超过大量电厂图像标注训练，能够识别火电厂内存在或缺失的工业设备和设施等视觉特征标识(即目标类别)，提取这些视觉特征的空间位置信息(即像素坐标)；采用视觉技术对预存的特征进行匹配，即：将采集回来的图像数据与***中已经存储或者训练好的特征库进行配对；
所述三维场景重建模块采用结合视觉SFM算法与深度学习技术的方法来构建三维场景模型，即：利用计算机视觉采集***多视角采集的环境视觉数据，基于多视角图像通过SFM算法重建初步点云，同时采用深度学习算法予以修正，消除毛边点，重建火电厂内不同工作区域的精细立体三维地图数据库，精度在5cm级别；
所述定位服务模块采用基于特征类比算法，将工作人员头戴移动设备或手持移动设备实时视频提取的地理位置和设备特征与三维地图数据库进行特征匹配与三维模型匹配，联合解深度信息输出设备在二维场景中的实时位置，定位频率1Hz，智能终端平均定位误差小于30cm，实现工作人员在不同工作区域的实时追踪和定位，采用深度学习和三维重建技术进行特征提取与定位匹配，可以完成工作人员安全和高精度的室内移动轨迹服务。
本发明中，所述室内定位***还包括轨迹记录模块，轨迹记录模块用于记录移动设备或工作人员在不同工作区域中的实时移动轨迹信息，将记录的移动轨迹信息与对应的三维场景模型一起保存，实现工作轨迹的可视回放，还可以对记录的工作轨迹信息进行统计分析，为管理人员提供工作效率分析报告。
本发明中，如图3所示，所述室内定位***的网络信号分为全厂区的wifi信号源和星闪信号源，其中移动头盔上和场景wifi较弱的位置加装了星闪信号源，wifi信号用大部分区域信号传定，星闪信号用于定位反馈和部分钢结构比较密集的位置的信号传递。
相比传统基于WiFi/蓝牙等信号定位方法，本发明不需要在场地内预先布设定位基础设施，从而降低了***部署成本；相比基于摄像头的摄像头定位方法，本发明的定位***利用AI识别提取视觉特征进行三维建模与定位，不依赖规划好的标记点，适应复杂多变的实际环境；相比步数算法等仅基于移动传感器的方法，本发明的定位***利用计算机视觉与深度学习等先进技术实现了工作区域级别的高精度定位。
具体实施方式二、本实施方式提供了一种利用具体实施方式一所述定位***对火电厂内工作人员轨迹进行实时追踪和定位的方法，如图2所示，所述方法包括如下步骤：
步骤一、数据采集和预处理：
步骤一一、在室内环境中安装摄像头或深度传感器，并对其进行校准和配置；
步骤一二、通过摄像头或深度传感器采集室内环境的图像或点云数据，并进行预处理，预处理的步骤包括去除噪声、调整图像亮度和对比度等，以及对点云数据进行滤波和配准等操作。
步骤二、特征提取和匹配：
在获得步骤一预处理的图像或点云数据后，AI识别模块使用深度学习和计算机视觉技术提取特征并进行匹配，其中：对于图像数据，可以使用卷积神经网络(CNN)或其他图像特征提取网络来提取关键点、角点、边缘等特征信息，并使用特征描述符进行匹配；对于点云数据，可以使用点云特征描述符(例如PFH、FPFH等)来提取特征，并进行匹配。
步骤三、场景重建和建图：
三维场景重建模块利用步骤二匹配到的特征进行三维场景的重建和建图，通过将匹配到的特征点三角化，可以计算出每个点的三维坐标，并建立室内环境的三维模型，即三维地图数据库，其中：可以使用稠密重建方法，如基于视觉几何的稠密重建算法或基于稀疏点云的稠密重建算法来生成高精度的三维模型。
步骤四、室内定位：
当得到室内环境的三维模型后，就可以进行室内定位了，具体方法如下：
步骤四一、在定位阶段，使用移动设备获取当前位置的图像或点云数据，并提取特征；
步骤四二、定位服务模块将步骤四一提取到的特征与步骤三建立的三维模型进行匹配，通过计算特征的相似度或距离，找到最佳匹配的位置。
步骤五、定位优化：
为了提高定位的准确性，可以进行定位优化，具体方法如下：通过使用定位滤波器(如卡尔曼滤波器或粒子滤波器)或优化算法(如最小二乘法或非线性优化算法)，结合历史定位数据和传感器观测数据，可以估计出更准确的位置信息。
比如当前人员在磨煤机附近，确定人员的位置的流程应该是先通过确定能够捕捉到该人员的固定摄像头ID，确定人员所在楼层，然后调取该ID的局部三维模型作为对比数据，然后移动端进一步在本地比对图像模型，并上传类比后的带标识的图像信号，然后在与局部三维模型中的特征库进行对比，计算出人员的位置，然后通过星闪信号和wifi信号定位算法计算出人员位置，将两个位置加权计算，确定最终的人员位置，反馈到***中，同时记录当前位置特征到数据库中，后期通过人工判断定位误差，如果误差较小，将当前特征作为训练库存储。

Claims (5)

1.一种基于AI视觉融合三维场景的室内定位***，其特征在于所述室内定位***包括计算机视觉采集***和定位计算***，其中：
所述计算机视觉采集***负责对室内空间不同工作区域的实时视觉场景进行采集；
所述定位计算***包括AI识别模块、三维场景重建模块和定位服务模块；
所述AI识别模块使用深度学习和计算机视觉技术对计算机视觉采集***采集的环境视觉数据进行处理，识别室内空间内存在或缺失的工业设备和设施视觉特征标识，提取这些视觉特征的空间位置信息；
所述三维场景重建模块利用计算机视觉采集***多视角采集的环境视觉数据采用三角测量原理进行三维重建，构建室内空间不同工作区域的三维地图数据库；
所述定位服务模块采用基于特征类比算法，基于视觉特征的空间位置信息将计算机视觉采集***实时采集的视觉数据与三维地图数据库进行特征匹配定位，输出移动设备在三维场景中的实时位置，实现工作人员在不同工作区域的实时追踪和定位。
2.根据权利要求1所述的基于AI视觉融合三维场景的室内定位***，其特征在于所述计算机视觉采集***包括移动设备和固定设备；所述移动设备是一台带网络接收器和移动摄像的装置；所述固定设备为网络摄像头或深度传感器。
3.根据权利要求1所述的基于AI视觉融合三维场景的室内定位***，其特征在于所述室内定位***还包括轨迹记录模块，轨迹记录模块用于记录移动设备或工作人员在不同工作区域中的实时移动轨迹信息，将记录的移动轨迹信息与对应的三维场景模型一起保存，实现工作轨迹的可视回放，还可以对记录的工作轨迹信息进行统计分析，为管理人员提供工作效率分析报告。
4.一种利用权利要求1所述室内定位***进行基于AI视觉融合三维场景的室内定位的方法，其特征在于所述方法包括如下步骤：
步骤一、数据采集和预处理：
步骤一一、在室内环境中安装计算机视觉采集***，并对其进行校准和配置；
步骤一二、通过计算机视觉采集***采集室内环境的图像或点云数据，并进行预处理；
步骤一、数据采集和预处理：
步骤一一、在室内环境中安装计算机视觉采集***，并对其进行校准和配置；
步骤一二、通过计算机视觉采集***采集室内环境的图像或点云数据，并进行预处理；
步骤二、特征提取和匹配：
在获得步骤一预处理的图像或点云数据后，AI识别模块使用深度学习和计算机视觉技术提取特征并进行匹配；
步骤三、场景重建和建图：
三维场景重建模块利用步骤二匹配到的特征进行三维场景的重建和建图，通过将匹配到的特征点三角化，计算出每个点的三维坐标，并建立室内环境的三维模型，即三维地图数据库；
步骤四、室内定位：
步骤四一、在定位阶段，使用计算机视觉采集***获取当前位置的图像或点云数据，并提取特征；
步骤四二、定位服务模块将步骤四一提取到的特征与步骤三建立的三维模型进行匹配，通过计算特征的相似度或距离，找到最佳匹配的位置。
5.根据权利要求4所述的基于AI视觉融合三维场景的室内定位方法，其特征在于所述预处理的步骤包括去除噪声、调整图像亮度和对比度，以及对点云数据进行滤波和配准操作。
CN202311195556.6A 2023-09-15 2023-09-15 基于ai视觉融合三维场景的室内定位***及方法 Pending CN117274378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311195556.6A CN117274378A (zh) 2023-09-15 2023-09-15 基于ai视觉融合三维场景的室内定位***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311195556.6A CN117274378A (zh) 2023-09-15 2023-09-15 基于ai视觉融合三维场景的室内定位***及方法

Publications (1)

Publication Number Publication Date
CN117274378A true CN117274378A (zh) 2023-12-22

Family

ID=89217035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311195556.6A Pending CN117274378A (zh) 2023-09-15 2023-09-15 基于ai视觉融合三维场景的室内定位***及方法

Country Status (1)

Country Link
CN (1) CN117274378A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934598A (zh) * 2024-03-21 2024-04-26 浙江大学 一种基于光学定位技术的桌面级刚体定位设备及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934598A (zh) * 2024-03-21 2024-04-26 浙江大学 一种基于光学定位技术的桌面级刚体定位设备及方法
CN117934598B (zh) * 2024-03-21 2024-06-11 浙江大学 一种基于光学定位技术的桌面级刚体定位设备及方法

Similar Documents

Publication Publication Date Title
CN109186584B (zh) 一种基于人脸识别的室内定位方法及定位***
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN107067794B (zh) 一种基于视频图像处理的室内车辆定位导航***及方法
CN109856643B (zh) 基于3d激光的可移动式无感全景感知方法
CN112085003B (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
CN115597659B (zh) 一种变电站智能安全管控方法
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN103941746A (zh) 无人机巡检图像处理***及方法
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN110910460B (zh) 一种获取位置信息的方法、装置及标定设备
CN108259827B (zh) 一种实现安防的方法、装置、ar设备及***
CN108267121A (zh) 一种可变场景下多设备的视觉导航方法及***
CN106647738A (zh) 一种无人搬运车的对接路径确定方法及***及无人搬运车
CN117274378A (zh) 基于ai视觉融合三维场景的室内定位***及方法
CN108876823B (zh) 基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法
CN106370160A (zh) 一种机器人室内定位***和方法
CN103200390A (zh) 监控室内物体移动轨迹的方法
WO2019091164A1 (zh) 一种智能球场定位***及方法
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及***
CN110276379B (zh) 一种基于视频图像分析的灾情信息快速提取方法
CN115808170A (zh) 一种融合蓝牙与视频分析的室内实时定位方法
CN109035343A (zh) 一种基于监控相机的楼层相对位移测量方法
CN115588144A (zh) 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备
CN113160292B (zh) 一种基于智能移动终端的激光雷达点云数据三维建模装置及方法
CN114325573A (zh) 变电站运维人员身份及位置信息快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination