CN112446905A - 基于多自由度传感关联的三维实时全景监控方法 - Google Patents

基于多自由度传感关联的三维实时全景监控方法 Download PDF

Info

Publication number
CN112446905A
CN112446905A CN202110126538.7A CN202110126538A CN112446905A CN 112446905 A CN112446905 A CN 112446905A CN 202110126538 A CN202110126538 A CN 202110126538A CN 112446905 A CN112446905 A CN 112446905A
Authority
CN
China
Prior art keywords
map
panoramic
real
dimensional
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110126538.7A
Other languages
English (en)
Other versions
CN112446905B (zh
Inventor
张兆翔
张驰
陈文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110126538.7A priority Critical patent/CN112446905B/zh
Publication of CN112446905A publication Critical patent/CN112446905A/zh
Application granted granted Critical
Publication of CN112446905B publication Critical patent/CN112446905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明属于实时定位与建图、计算机视觉技术领域，具体涉及一种基于多自由度传感关联的三维实时全景监控方法、***、装置，旨在解决现有监控技术无法实现大范围三维全景视频监控，监控效率低、效果差的问题。本***方法包括获取N种不同自由度的传感器的实时观测数据，构建各传感器对应的三维语义地图，作为局部地图；对各传感器产生的局部地图进行整合，得到全景地图，作为第一地图；通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵；计算真实的外参矩阵与估计的外参矩阵的误差，对第一地图进行更新，得到待监控场景当前时刻最终获取的全景地图。本发明实现大范围内三维全景视频监控，提高了监控效率，保证了监控的质量与效果。

Description

基于多自由度传感关联的三维实时全景监控方法
技术领域
本发明属于实时定位与建图、计算机视觉技术领域，具体涉及一种基于多自由度传感关联的三维实时全景监控方法、***、装置。
背景技术
视频监控是一个重要且具有挑战性的经典计算机视觉任务，在安防监控、智能视频分析、人员搜救检索等领域具有广泛的应用。通常监控摄像机安装到固定的位置，采集多角度，多姿态的二维行人图像，监控人员若想追踪行人的实时位置，运动轨迹，往往需要一些经验的积累，无法直观获取这些信息。只依赖单一自由度的传感器，并不能很好的满足视频监控的需求。本方法提出了基于多自由度传感关联的三维全景监控的方法，通过结合三维环境建模，实例分割，三维模型投影等多种技术，实现三维立体的视频监控，可以较好的解决这一问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有视频监控技术大多依赖于固定视角的单一自由度传感器，无法实现大范围三维全景视频监控，以及对监控人员的经验要求高，监控效率低、效果差的问题，本发明第一方面，提出了一种基于多自由度传感关联的三维实时全景监控方法，该方法包括：
步骤S10，获取待监控场景中N种不同自由度的传感器的实时观测数据，构建各传感器对应的三维语义地图，作为局部地图；N为正整数；所述实时观测数据包括观测时间、真实的外参矩阵；
步骤S20，对各传感器产生的局部地图进行整合，得到待监控场景的全景地图，作为第一地图；
步骤S30，依次将所述第一地图与各局部地图进行配准，并通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵；
步骤S40，计算真实的外参矩阵与估计的外参矩阵的误差；基于各误差，对所述第一地图进行更新，得到第二地图，作为所述待监控场景当前时刻最终获取的全景地图。
在一些优选的实施方式中，所述N种不同自由度的传感器包括固定视角监控摄像机、PTZ监控摄像机、可移动监控机器人、视觉监控无人机。
在一些优选的实施方式中，所述三维语义地图包括静态背景模型、动态语义实例；如下式所示：
Figure 922375DEST_PATH_IMAGE001
Figure 26466DEST_PATH_IMAGE002
其中，
Figure 9466DEST_PATH_IMAGE003
表示
Figure 60467DEST_PATH_IMAGE004
时刻的三维语义地图，
Figure 609260DEST_PATH_IMAGE005
表示静态背景模型，
Figure 962881DEST_PATH_IMAGE006
表示动态语义实例，
Figure 902018DEST_PATH_IMAGE007
表示实例的类别，
Figure 835339DEST_PATH_IMAGE008
表示实例对应的三维模型，
Figure 300955DEST_PATH_IMAGE009
表示实例的空间位置和方向。
在一些优选的实施方式中，所述全景地图，即全景三维语义地图，其获取方法为：
在可移动监控机器人导航过程中，通过基于TSDF的实时定位与建图算法自动构建全景地图的静态背景模型；
针对行人类别语义实例，使用基于RGB图像的行人重识别算法，匹配各局部地图中的同一语义实例；针对非行人类别语义实例，计算各局部地图中语义实例对应的三维模型之间的体积重叠比，将体积重叠比高于设定阈值的语义实例，作为同一语义实例；结合匹配后的同一语义实例，获取全景地图中的动态语义实例；
结合获取的全景地图的静态背景模型、全景地图中的动态语义实例，构建全景地图。
在一些优选的实施方式中，步骤S30中“通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵”，其方法为：
选取所述第一地图与各传感器对应局部地图的共有语义实例；
根据各共有语义实例的位置，采用RANSAC算法获取各传感器估计的外参矩阵。
在一些优选的实施方式中，步骤S40中“基于各误差，对所述第一地图进行更新”，其方法为；
判断所述误差是否小于等于设定阈值，若是，则不进行更新；
否则，对第一地图中的静态背景模型不进行更新，对第一地图中的动态语义实例，结合所述误差，更新动态语义实例的空间位置和方向。
在一些优选的实施方式中，“结合所述误差，对动态语义实例的空间位置和方向进行更新”，其方法为：
若动态语义实例仅被传感器
Figure 28740DEST_PATH_IMAGE010
观测到，则更新后的空间位置和方向为：
Figure 704441DEST_PATH_IMAGE011
若动态语义实例被多个传感器观测到，则更新后的空间位置和方向为：
Figure 441453DEST_PATH_IMAGE012
其中，
Figure 699259DEST_PATH_IMAGE013
表示所有观测到动态语义实例的传感器集合，
Figure 925841DEST_PATH_IMAGE014
、
Figure 901887DEST_PATH_IMAGE015
表示全景地图与第
Figure 849114DEST_PATH_IMAGE016
、
Figure 227006DEST_PATH_IMAGE010
个传感器对应的局部地图之间的误差。
本发明的第二方面，提出了一种基于多自由度传感关联的三维实时全景监控***，该***包括局部地图获取模块、全景地图获取模块、配准模块、更新输出模块；
所述局部地图获取模块，配置为获取待监控场景中N种不同自由度的传感器的实时观测数据，构建各传感器对应的三维语义地图，作为局部地图；N为正整数；所述实时观测数据包括观测时间、真实的外参矩阵；
所述全景地图获取模块，配置为对各传感器产生的局部地图进行整合，得到待监控场景的全景地图，作为第一地图；
所述配准模块，配置为依次将所述第一地图与各局部地图进行配准，并通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵；
所述更新输出模块，配置为计算真实的外参矩阵与估计的外参矩阵的误差；基于各误差，对所述第一地图进行更新，得到第二地图，作为所述待监控场景当前时刻最终获取的全景地图。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的基于多自由度传感关联的三维实时全景监控方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于多自由度传感关联的三维实时全景监控方法。
本发明的有益效果：
本发明可以实现大范围内三维全景视频监控且监控画面连续，提高了监控效率，保证了监控的质量与效果。
（1）本发明引入了多自由度传感器，并融合多自由度传感器的观测数据构建动态的、语义丰富的三维全景监控地图，该地图不仅包含静态的背景模型，而且包含动态的语义实例模型，实现大范围内三维全景视频监控且监控画面连续。
（2）本发明引入了多自由度传感器自动标定方法，使用三维全景地图中的语义实例作为标定模板，自动计算多自由度传感器观测所产生的局部地图与全景地图中语义实例之间的变换矩阵，标定多自由度传感器的外参矩阵。然后以当前估计的外参矩阵计算局部地图与全景地图的误差矩阵，更新全景地图，以获取更加准确的外参矩阵与更加精确的三维全景地图，提高了监控效率，保证了监控的质量与效果。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于多自由度传感关联的三维实时全景监控方法的流程示意图；
图2是本发明一种实施例的基于多自由度传感关联的三维实时全景监控***的框架示意图；
图3是本发明一种实施例的基于多自由度传感关联的三维实时全景监控方法的简略流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于多自由度传感关联的三维实时全景监控方法，如图1所示，包括以下步骤：
步骤S10，获取待监控场景中N种不同自由度的传感器的实时观测数据，构建各传感器对应的三维语义地图，作为局部地图；N为正整数；所述实时观测数据包括观测时间、真实的外参矩阵；
步骤S20，对各传感器产生的局部地图进行整合，得到待监控场景的全景地图，作为第一地图；
步骤S30，依次将所述第一地图与各局部地图进行配准，并通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵；
步骤S40，计算真实的外参矩阵与估计的外参矩阵的误差；基于各误差，对所述第一地图进行更新，得到第二地图，作为所述待监控场景当前时刻最终获取的全景地图。
为了更清晰地对本发明基于多自由度传感关联的三维实时全景监控方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
本发明引入了多自由度传感器来提供更加丰富的视觉信息，并利用三维建模、实例分割等方法，构建场景的三维全景语义地图，最后迭代更新多自由度传感器的外参矩阵与全景地图，实现实时的三维全景地图更新。具体如下：
步骤S10，获取待监控场景中N种不同自由度的传感器的实时观测数据，构建各传感器对应的三维语义地图，作为局部地图；N为正整数；所述实时观测数据包括观测时间、真实的外参矩阵；
在本实施例中，N种不同自由度的传感器优选采用固定视角监控摄像机（零自由度）、PTZ监控摄像机（摄像机姿态自由度：2维和尺度缩放自由度：1维）、可移动监控机器人（摄像机姿态自由度：2维、尺度缩放自由度：1维、机器人位姿自由度：6维）、视觉监控无人机（摄像机姿态自由度：2维、尺度缩放自由度：1维、无人机位姿自由度：6维），在其他实施例中可以根据实际需要进行选取传感器。
本发明中，多传感器
Figure 358910DEST_PATH_IMAGE017
在
Figure 87832DEST_PATH_IMAGE018
时刻的观测数据表示为：
Figure 901067DEST_PATH_IMAGE019
，其 中，
Figure 320416DEST_PATH_IMAGE020
为摄像机的外参矩阵（真实的外参矩阵），表示传感器的位置和姿态，即位姿，对于PTZ 监控摄像机、可移动监控机器人、视觉监控无人机，外参矩阵为时变函数
Figure 826484DEST_PATH_IMAGE021
；
Figure 777122DEST_PATH_IMAGE022
为传感器 采样矩阵。同样，摄像机的成像方式不同，
Figure 456365DEST_PATH_IMAGE022
表示的含义不同，对于RGB相机，
Figure 543270DEST_PATH_IMAGE022
为相机内参。 对于变焦相机，
Figure 157922DEST_PATH_IMAGE022
时变函数
Figure 330277DEST_PATH_IMAGE023
，对于激光雷达等能够直接测量外部环境三维坐标的传感 器，
Figure 750894DEST_PATH_IMAGE022
为单位矩阵。
各传感器根据观测数据构建其对应的三维语义地图，作为局部地图。三维语义地 图包括静态背景模型
Figure 20202DEST_PATH_IMAGE024
和动态语义实例模型
Figure 868072DEST_PATH_IMAGE025
，如式（1）所示：
Figure 714674DEST_PATH_IMAGE026
（1）
动态语义实例模型
Figure 938982DEST_PATH_IMAGE025
其如式（2）所示：
Figure 734900DEST_PATH_IMAGE025
=
Figure 815988DEST_PATH_IMAGE027
（2）
其中，
Figure 962936DEST_PATH_IMAGE028
表示动态语义实例的类别，
Figure 663038DEST_PATH_IMAGE029
表示动态语义实例的三维模型，
Figure 844621DEST_PATH_IMAGE030
表示动态语 义实例的空间位置和方向。由于监控环境中动态语义实例
Figure 768715DEST_PATH_IMAGE025
的位置、姿态甚至模型都会发 生改变，因而
Figure 465275DEST_PATH_IMAGE025
可表示为时间的函数
Figure 765807DEST_PATH_IMAGE031
。
步骤S20，对各传感器产生的局部地图进行整合，得到待监控场景的全景地图，作为第一地图；
在本实施例中，通过空间和时间的配准和同步，将具有不同自由度的多种感知信息源进行整合，构建待监控场景的全景地图。
在构建全景地图时，静态背景模型在可移动监控机器人导航过程中，通过基于TSDF的实时定位与建图算法自动构建。动态语义实例基于实时多自由度传感器获取的观测数据通过语义实例提取，三维模型映射，跨传感器实例重识别三个步骤构建。具体如下：
步骤S21，对实时获取的多自由度传感器的观测数据进行语义实例提取；
其中，针对视觉传感器，使用基于RGB图像的实例分割算法提取；针对激光雷达传感器，使用基于点云的三维实例分割算法提取。
步骤S22，将提取的语义实例与该类别的三维模型一一对应起来，并结合深度传感器信息获取该模型的三维空间位置和方向；
经过步骤S21、步骤S22，得到各传感器对应的局部地图，接下来，对各局部地图进行整合，得到全景地图，即全景三维语义地图。
步骤S23，跨传感器语义实例重识别。
针对行人类别语义实例，使用基于RGB图像的行人重识别算法（由于本发明中传感器多为视觉传感器），匹配不同传感器视野中（局部地图）的同一语义实例；在其他实施例中，行人类别语义实例可以根据传感器选取适合的重识别算法获取。
针对非行人类别实例，计算不同传感器观测下，语义实例对应的三维模型之间体积的重叠比重，比重高于设定阈值（本发明中优先设置为0.5），认为该语义实例为不同传感器视野中的同一语义实例。
步骤S30，依次将所述第一地图与各局部地图进行配准，并通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵；
在本实施例中，多自由度传感器产生的局部地图
Figure 988846DEST_PATH_IMAGE032
与全局地图
Figure 349421DEST_PATH_IMAGE033
进行配准，计 算
Figure 470960DEST_PATH_IMAGE034
时刻多自由度传感器各自在地图中的观测数据
Figure 637500DEST_PATH_IMAGE019
。具体来说， 在全景地图中选取与当前传感器对应的局部地图共有（同一）的语义实例，根据语义实例的 位置，使用RANSAC算法获取当前传感器估计的外参矩阵。
步骤S40，计算真实的外参矩阵与估计的外参矩阵的误差；基于各误差，对所述第一地图进行更新，得到第二地图，作为所述待监控场景当前时刻最终获取的全景地图，具体如下：
在本实施例中，将各局部地图
Figure 262516DEST_PATH_IMAGE032
投影到全局坐标系，然后将投影后的局部地图与 全景地图
Figure 59571DEST_PATH_IMAGE035
进行配准，计算全景地图与真实观测的误差，并矫正全景地图。
具体来说，在当前局部地图与全景地图（即第一地图）上选取共有的语义实例，如 图3所示，利用各传感器外参矩阵，将共有的语义实例从传感器（图中给出了传感器1、传感 器2两个传感器）坐标系投影到全局坐标系中。在全局坐标系下，传感器（局部地图）与全景 地图中的对应语义实例之间存在一定的空间位姿（空间位置和方向）误差（即外参矩阵的误 差）。根据共有实例的位置集合，使用RANSAC方法计算全景地图与局部地图之间的误差
Figure 340510DEST_PATH_IMAGE036
（或简称误差矩阵），当误差大于设定阈值，则矫正更新全景地图。
其中，“当误差大于设定阈值，则矫正更新全景地图”的方法为：
对于全景地图中的静态背景模型，不进行更新，对于全景地图中的动态语义实例
Figure 248424DEST_PATH_IMAGE025
，更 新其空间位姿，若动态语义实例仅在传感器
Figure 55843DEST_PATH_IMAGE037
中被观测到，则更新后的空间位姿为：
Figure 758219DEST_PATH_IMAGE038
，其中×为矩阵乘法。若动态语义实例
Figure 854351DEST_PATH_IMAGE025
在多个传感器中被观测到，则更新后 的空间位姿为：
Figure 487327DEST_PATH_IMAGE039
，其中
Figure 86935DEST_PATH_IMAGE040
为所有可观测到实例
Figure 22530DEST_PATH_IMAGE025
的传感器集合。
重复执行以上步骤S30，S40，迭代更新多自由度传感器观测数据
Figure 340379DEST_PATH_IMAGE019
与全景地图。
在获取全景地图后，本发明将全景地图转换为GLB格式导入Habitat-sim模拟器中，并采用Habitat-lab库训练基于强化学习的视觉导航算法模型，需要注意的是，模拟器中虚拟智能体搭载的传感器参数（包括传感器类型与外参）与真实环境保持一致。
其中，“基于强化学习的视觉导航算法”包含三个模块，依次为：
实时定位与建图模块（SLAM模块），输入多自由度传感器的实时数据到神经网络模型 中，生成局部空间地图
Figure 590095DEST_PATH_IMAGE041
，
Figure 247472DEST_PATH_IMAGE017
为传感器，
Figure 291652DEST_PATH_IMAGE018
为时间戳，将局部空间地图拼接到一起生成全 局地图
Figure 159114DEST_PATH_IMAGE042
，维度为2×M×M；
全局决策模块，根据全局地图
Figure 946941DEST_PATH_IMAGE042
规划虚拟智能体的全局行动路径；
局部决策模块，根据全局路径及当前可达区域规划虚拟智能体的局部行动路径。
本发明第二实施例的一种基于多自由度传感关联的三维实时全景监控***，如图2所示，包括：局部地图获取模块100、全景地图获取模块200、配准模块300、更新输出模块400；
所述局部地图获取模块100，配置为获取待监控场景中N种不同自由度的传感器的实时观测数据，构建各传感器对应的三维语义地图，作为局部地图；N为正整数；所述实时观测数据包括观测时间、真实的外参矩阵；
所述全景地图获取模块200，配置为对各传感器产生的局部地图进行整合，得到待监控场景的全景地图，作为第一地图；
所述配准模块300，配置为依次将所述第一地图与各局部地图进行配准，并通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵；
所述更新输出模块400，配置为计算真实的外参矩阵与估计的外参矩阵的误差；基于各误差，对所述第一地图进行更新，得到第二地图，作为所述待监控场景当前时刻最终获取的全景地图。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的***的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于多自由度传感关联的三维实时全景监控***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于多自由度传感关联的三维实时全景监控方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于多自由度传感关联的三维实时全景监控方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于多自由度传感关联的三维实时全景监控方法，其特征在于，该方法包括以下步骤：
步骤S10，获取待监控场景中N种不同自由度的传感器的实时观测数据，构建各传感器对应的三维语义地图，作为局部地图；N为正整数；所述实时观测数据包括观测时间、真实的外参矩阵；
步骤S20，对各传感器产生的局部地图进行整合，得到待监控场景的全景地图，作为第一地图；
步骤S30，依次将所述第一地图与各局部地图进行配准，并通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵；
步骤S40，计算真实的外参矩阵与估计的外参矩阵的误差；基于各误差，对所述第一地图进行更新，得到第二地图，作为所述待监控场景当前时刻最终获取的全景地图。
2.根据权利要求1所述的基于多自由度传感关联的三维实时全景监控方法，其特征在于，所述N种不同自由度的传感器包括固定视角监控摄像机、PTZ监控摄像机、可移动监控机器人、视觉监控无人机。
3.根据权利要求1所述的基于多自由度传感关联的三维实时全景监控方法，其特征在于，所述三维语义地图包括静态背景模型、动态语义实例；如下式所示：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
表示
Figure 925427DEST_PATH_IMAGE003
时刻的三维语义地图，
Figure DEST_PATH_IMAGE004
表示静态背景模型，
Figure 311409DEST_PATH_IMAGE005
表示动态语义实例，
Figure DEST_PATH_IMAGE006
表示实例的类别，
Figure 809255DEST_PATH_IMAGE007
表示实例对应的三维模型，
Figure DEST_PATH_IMAGE008
表示实例的空间位置和方向。
4.根据权利要求3所述的基于多自由度传感关联的三维实时全景监控方法，其特征在于，所述全景地图，即全景三维语义地图，其构建方法为：
在可移动监控机器人导航过程中，通过基于TSDF的实时定位与建图算法自动构建全景地图的静态背景模型；
针对行人类别语义实例，使用基于RGB图像的行人重识别算法，匹配各局部地图中的同一语义实例；针对非行人类别语义实例，计算各局部地图中语义实例对应的三维模型之间的体积重叠比，将体积重叠比高于设定阈值的语义实例，作为同一语义实例；结合匹配后的同一语义实例，获取全景地图中的动态语义实例；
结合获取的全景地图的静态背景模型、全景地图中的动态语义实例，构建全景地图。
5.根据权利要求4中所述的基于多自由度传感关联的三维实时全景监控方法，其特征在于，步骤S30中“通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵”，其方法为：
选取所述第一地图与各传感器对应局部地图的共有语义实例；
根据各共有语义实例的位置，采用RANSAC算法获取各传感器估计的外参矩阵。
6.根据权利要求3所述的基于多自由度传感关联的三维实时全景监控方法，其特征在于，步骤S40中“基于各误差，对所述第一地图进行更新”，其方法为：
判断所述误差是否小于等于设定阈值，若是，则不进行更新；
否则，对第一地图中的静态背景模型不进行更新，对第一地图中的动态语义实例，结合所述误差，更新动态语义实例的空间位置和方向。
7.根据权利要求6所述的基于多自由度传感关联的三维实时全景监控方法，其特征在于，“结合所述误差，对动态语义实例的空间位置和方向进行更新”，其方法为：
若动态语义实例仅被传感器
Figure 938885DEST_PATH_IMAGE009
观测到，则更新后的空间位置和方向为：
Figure DEST_PATH_IMAGE010
若动态语义实例被多个传感器观测到，则更新后的空间位置和方向为：
Figure DEST_PATH_IMAGE011
其中，
Figure DEST_PATH_IMAGE012
表示所有观测到动态语义实例的传感器集合，
Figure DEST_PATH_IMAGE013
、
Figure DEST_PATH_IMAGE014
表示第一地图与第
Figure 143470DEST_PATH_IMAGE015
、
Figure 231512DEST_PATH_IMAGE009
个 传感器对应的局部地图之间的误差。
8.一种基于多自由度传感关联的三维实时全景监控***，其特征在于，该***包括局部地图获取模块、全景地图获取模块、配准模块、更新输出模块；
所述局部地图获取模块，配置为获取待监控场景中N种不同自由度的传感器的实时观测数据，构建各传感器对应的三维语义地图，作为局部地图；N为正整数；所述实时观测数据包括观测时间、真实的外参矩阵；
所述全景地图获取模块，配置为对各传感器产生的局部地图进行整合，得到待监控场景的全景地图，作为第一地图；
所述配准模块，配置为依次将所述第一地图与各局部地图进行配准，并通过RANSAC算法获取各传感器在第一地图中对应估计的外参矩阵；
所述更新输出模块，配置为计算真实的外参矩阵与估计的外参矩阵的误差；基于各误差，对所述第一地图进行更新，得到第二地图，作为所述待监控场景当前时刻最终获取的全景地图。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于多自由度传感关联的三维实时全景监控方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于多自由度传感关联的三维实时全景监控方法。
CN202110126538.7A 2021-01-29 2021-01-29 基于多自由度传感关联的三维实时全景监控方法 Active CN112446905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110126538.7A CN112446905B (zh) 2021-01-29 2021-01-29 基于多自由度传感关联的三维实时全景监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110126538.7A CN112446905B (zh) 2021-01-29 2021-01-29 基于多自由度传感关联的三维实时全景监控方法

Publications (2)

Publication Number Publication Date
CN112446905A true CN112446905A (zh) 2021-03-05
CN112446905B CN112446905B (zh) 2021-05-11

Family

ID=74740114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110126538.7A Active CN112446905B (zh) 2021-01-29 2021-01-29 基于多自由度传感关联的三维实时全景监控方法

Country Status (1)

Country Link
CN (1) CN112446905B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293508A (zh) * 2022-07-05 2022-11-04 国网江苏省电力有限公司南通市通州区供电分公司 一种可视化的光缆运行状态监控方法及***
CN115620201A (zh) * 2022-10-25 2023-01-17 北京城市网邻信息技术有限公司 房屋模型构建方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069148A1 (en) * 2009-09-22 2011-03-24 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
CN109640032A (zh) * 2018-04-13 2019-04-16 河北德冠隆电子科技有限公司 基于人工智能多要素全景监控检测五维预警***
CN110706279A (zh) * 2019-09-27 2020-01-17 清华大学 基于全局地图与多传感器信息融合的全程位姿估计方法
CN111561923A (zh) * 2020-05-19 2020-08-21 北京数字绿土科技有限公司 基于多传感器融合的slam制图方法、***
CN112016612A (zh) * 2020-08-26 2020-12-01 四川阿泰因机器人智能装备有限公司 一种基于单目深度估计的多传感器融合slam方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069148A1 (en) * 2009-09-22 2011-03-24 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
CN109640032A (zh) * 2018-04-13 2019-04-16 河北德冠隆电子科技有限公司 基于人工智能多要素全景监控检测五维预警***
CN110706279A (zh) * 2019-09-27 2020-01-17 清华大学 基于全局地图与多传感器信息融合的全程位姿估计方法
CN111561923A (zh) * 2020-05-19 2020-08-21 北京数字绿土科技有限公司 基于多传感器融合的slam制图方法、***
CN112016612A (zh) * 2020-08-26 2020-12-01 四川阿泰因机器人智能装备有限公司 一种基于单目深度估计的多传感器融合slam方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱欣焰、周成虎、呙维、胡涛、刘洪强、高文秀: ""全息位置地图概念内涵及其关键技术初探"", 《武汉大学学报· 信息科学版》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293508A (zh) * 2022-07-05 2022-11-04 国网江苏省电力有限公司南通市通州区供电分公司 一种可视化的光缆运行状态监控方法及***
CN115620201A (zh) * 2022-10-25 2023-01-17 北京城市网邻信息技术有限公司 房屋模型构建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112446905B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
JP6896077B2 (ja) 車両自動パーキングシステム及び方法
US20210012520A1 (en) Distance measuring method and device
CN107808407B (zh) 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN106679648B (zh) 一种基于遗传算法的视觉惯性组合的slam方法
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
CN107967457A (zh) 一种适应视觉特征变化的地点识别与相对定位方法及***
CN110062871A (zh) 用于基于视频的定位及映射的方法及***
US20180190014A1 (en) Collaborative multi sensor system for site exploitation
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及***
CN112446905B (zh) 基于多自由度传感关联的三维实时全景监控方法
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
US20160035094A1 (en) Image-based object location system and process
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与***
KR102308456B1 (ko) 라이다 및 카메라 수집정보 기반 수종탐지 시스템 및 이를 이용한 수종탐지방법, 수종탐지방법을 수행하는 프로그램이 수록된 기록매체
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
Heo et al. Consistent EKF-based visual-inertial navigation using points and lines
CN111982133B (zh) 基于高精地图对车辆进行定位的方法、装置及电子设备
CN114897988A (zh) 一种铰链式车辆中的多相机定位方法、装置及设备
US20180350216A1 (en) Generating Representations of Interior Space
KR100998709B1 (ko) 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법
US20220196432A1 (en) System and method for determining location and orientation of an object in a space
Han et al. Carla-loc: synthetic slam dataset with full-stack sensor setup in challenging weather and dynamic environments
JP2023168262A (ja) データ分割装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant