CN112669392A - 一种应用于室内视频监控***的地图定位方法及*** - Google Patents

一种应用于室内视频监控***的地图定位方法及*** Download PDF

Info

Publication number
CN112669392A
CN112669392A CN202011626031.XA CN202011626031A CN112669392A CN 112669392 A CN112669392 A CN 112669392A CN 202011626031 A CN202011626031 A CN 202011626031A CN 112669392 A CN112669392 A CN 112669392A
Authority
CN
China
Prior art keywords
video monitoring
indoor
map
plane
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011626031.XA
Other languages
English (en)
Other versions
CN112669392B (zh
Inventor
孟繁乐
查文中
王蓉
辛紫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC Information Science Research Institute
Original Assignee
CETC Information Science Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC Information Science Research Institute filed Critical CETC Information Science Research Institute
Priority to CN202011626031.XA priority Critical patent/CN112669392B/zh
Publication of CN112669392A publication Critical patent/CN112669392A/zh
Application granted granted Critical
Publication of CN112669392B publication Critical patent/CN112669392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

本公开提供一种应用于室内视频监控***的地图定位方法及***，包括：通过视觉SLAM技术构建室内三维地图，并建立所构建的室内三维地图与室内平面结构图的对应关系；利用视觉SLAM技术中的重定位原理计算视频监控摄像头的位置和姿态，从而计算从视频监控画面到平面结构图的单应矩阵；将视频监控画面中识别和提取的目标经过单应矩阵的空间变换转换到平面结构图中，实现在平面结构图中对所述目标的显示和标记。本公开可以实现无需人工测量，自动计算视频监控图像与平面结构图之间的位置关系，从而将视频监控图像中的目标标记在平面结构图中的对应位置。即使在后续使用过程中，调整了视频监控摄像头的角度，仍可自动实现上述地图定位的功能。

Description

一种应用于室内视频监控***的地图定位方法及***
技术领域
本公开属于视频监控技术领域，具体涉及一种应用于室内视频监控***的地图定位方法及***。
背景技术
具有定位功能的室内视频监控***，可以将视频监控中出现的特定目标在室内平面结构图中显示或标记出来。为了将视频监控图像中的目标标记在平面结构图中，需要建立视频监控图像与平面结构图之间的对应关系。通过在空间中设定一些标测点，采集视频监控图像中标测点的像素坐标，对应地，测量标测点在实际场景中的位置，然后对应到平面结构图中的位置，通过这些标测点数据计算视频监控图像与平面结构图之间的对应关系，从而将视频监控图像中的识别和提取到的特定目标标记在平面结构图中的对应位置。通常这一测量过程由人工完成，在多摄像头视频监控***中，这一过程复杂、耗时。如果在之后视频监控***的使用过程中，用户调整了摄像机的拍摄角度，则需要重新进行这一复杂过程。
发明内容
本公开旨在至少解决现有技术中存在的技术问题之一，提供一种应用于室内视频监控***的地图定位方法及***。
本公开的一个方面，提供一种应用于室内视频监控***的地图定位方法，所述方法包括：
步骤S110、通过视觉SLAM技术构建室内三维地图：
通过视觉SLAM技术构建视频监控***布控场所的室内三维地图，所述室内三维地图形式为三维稠密点云，以SLAM坐标系为世界坐标系，保存SLAM过程中产生的关键帧图像；
步骤S120、建立所构建的所述室内三维地图与室内平面结构图的对应关系：
对所述室内三维地图中的地面进行平面拟合，以该平面作为基准平面，将所述室内三维地图向所述基准平面进行投影，形成二维平面图，分别找到在所述二维平面图和所述平面结构图中对应同一位置的多个对应点，根据所述多个对应点，求解从所述二维平面图到所述平面结构图的对应关系；
步骤S130、标定视频监控摄像头的内部参数：
对正常工作时的所述视频监控摄像头进行内部参数的标定，得到第一标定参数，将所述视频监控摄像头的图像尺寸设置为与视觉SLAM的传感器相同的图像尺寸，对该图像尺寸的视频监控摄像头进行内部参数标定，得到第二标定参数；
步骤S140、利用视觉SLAM技术的重定位原理计算视频监控摄像头的外部参数：
利用视觉SLAM技术重定位的原理，将视频监控图像与保存的所述关键帧图像序列进行相似性比较，计算出所述视频监控图像在世界坐标系下的位置和姿态，即当前拍摄角度下，所述视频监控摄像头的外部参数，将所述视频监控摄像头的位置标记在所述二维平面图中，并根据所述对应关系，转换到所述平面结构图中；
步骤S150、计算从视频监控画面到所述平面结构图的单应矩阵：
构造计算机虚拟场景，导入所述室内三维地图，设置虚拟相机的显示视角，将虚拟相机的参数设置为所述视频监控摄像头的第一标定参数和外部参数，则在该视角下显示的室内三维地图中的场景对应所述视频监控摄像头画面中的场景；从所述虚拟场景中的所述显示视角下所显示的三维稠密点云中随机选取一些点，称为量测点，以得到所述量测点在所述视频监控画面中的像素坐标；将所述量测点投影在所述二维平面图中，从所述二维平面图到所述平面结构图的对应关系进行空间变换，得到所述量测点在所述平面结构图中的坐标；所述视频监控画面中的像素坐标和所述平面结构图中的坐标一一对应，计算从所述视频监控画面到所述平面结构图的所述单应矩阵；
步骤S160、在所述视频监控***使用过程中，从所述视频监控画面中识别和提取的目标在地面处的像素坐标，经过所述单应矩阵的空间变换，以转换到所述平面结构图中的坐标，实现在所述平面结构图中该坐标处进行标记。
在一些可选地实施方式中，当所述视频监控摄像头的拍摄视角发生变化时，所述方法还包括：
利用步骤S140和步骤S150重新计算所述单应矩阵，利用步骤S160重新将所述视频监控画面中的目标标记在所述平面结构图中。
在一些可选地实施方式中，若房屋没有平面结构图，步骤S140还包括：
参考真实室内场景，按照所述二维平面图的比例关系，绘制出所述平面结构图。
在一些可选地实施方式中，在步骤S110中，采用Kinect v2作为视觉传感器，通过ORB-SLAM2算法构建所述室内三维地图。
在一些可选地实施方式中，在步骤S120中，所述多个对应点的数量不小于四个；所述随机选取一些点的数量不小于四个。
在一些可选地实施方式中，在步骤S150中，采用随机一致性采样技术计算从所述视频监控画面到所述平面结构图的所述单应矩阵。
本公开的另一方面，提供一种应用于室内视频监控***的地图定位***，所述***包括：
地图构建模块，用于通过视觉SLAM技术构建室内三维地图，具体为：
通过视觉SLAM技术构建视频监控***布控场所的室内三维地图，所述室内三维地图形式为三维稠密点云，以SLAM坐标系为世界坐标系，保存SLAM过程中产生的关键帧图像；
地图映射模块，用于建立所构建的所述室内三维地图与室内平面结构图的对应关系，具体为：
对所述室内三维地图中的地面进行平面拟合，以该平面作为基准平面，将所述室内三维地图向所述基准平面进行投影，形成二维平面图，分别找到在所述二维平面图和所述平面结构图中对应同一位置的多个对应点，根据所述多个对应点，求解从所述二维平面图到所述平面结构图的对应关系；
第一标定模块，用于标定视频监控摄像头的内部参数，具体为：
对正常工作时的所述视频监控摄像头进行内部参数的标定，得到第一标定参数，将所述视频监控摄像头的图像尺寸设置为与视觉SLAM的传感器相同的图像尺寸，对该图像尺寸的视频监控摄像头进行内部参数标定，得到第二标定参数；
第二标定模块，用于利用视觉SLAM技术的重定位原理计算视频监控摄像头的外部参数，具体为：
利用视觉SLAM技术重定位的原理，将视频监控图像与保存的所述关键帧图像序列进行相似性比较，计算出所述视频监控图像在世界坐标系下的位置和姿态，即当前拍摄角度下，所述视频监控摄像头的外部参数，将所述视频监控摄像头的位置标记在所述二维平面图中，并根据所述对应关系，转换到所述平面结构图中；
空间变换模块，用于计算从视频监控画面到所述平面结构图的单应矩阵，具体为：
构造计算机虚拟场景，导入所述室内三维地图，设置虚拟相机的显示视角，将虚拟相机的参数设置为所述视频监控摄像头的第一标定参数和外部参数，则在该视角下显示的室内三维地图中的场景对应所述视频监控摄像头画面中的场景；从所述虚拟场景中的所述显示视角下所显示的三维稠密点云中随机选取一些点，以得到所述量测点在所述视频监控画面中的像素坐标；将所述量测点投影在所述二维平面图中，从所述二维平面图到所述平面结构图的对应关系进行空间变换，得到所述量测点在所述平面结构图中的坐标；所述视频监控画面中的像素坐标和所述平面结构图中的坐标一一对应，采用随机一致性采样技术计算从所述视频监控画面到所述平面结构图的所述单应矩阵；
目标定位模块，用于在所述视频监控***使用过程中，从所述视频监控画面中识别和提取的目标在地面处的像素坐标，经过所述单应矩阵的空间变换，以转换到所述平面结构图中的坐标，实现在所述平面结构图中该坐标处进行标记；
显示与交互模块，用于显示地图、量测点等数据，并用于操作者通过输入设备对***进行交互。
在一些可选地实施方式中，当所述视频监控摄像头的拍摄视角发生变化时，所述空间变换模块还用于重新计算所述单应矩阵，以及，所述目标定位模块还用于重新将所述视频监控画面中的目标标记在所述平面结构图中。
本公开的另一个方面，提供一种电子设备，包括：
一个或多个处理器；
一个存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据前文记载的所述的方法。
本公开的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据前文记载的所述的方法。
本公开的应用于室内视频监控***的地图定位方法及***，可以实现自动标定视频监控摄像头在室内平面结构图中的位置。无需人工测量，可自动计算视频监控图像与平面结构图之间的位置关系，在日后的使用过程中，如果需要改变视频监控摄像机的拍摄角度，仍可自动确定视频监控图像与建筑平面图之间的位置关系，从而将视频监控图像中的目标标记在平面结构图中的对应位置。
附图说明
图1为本公开一实施例中电子设备的组成示意框图；
图2为本公开另一实施例的一种应用于室内视频监控***的地图定位方法的流程图；
图3为本公开另一实施例的一种应用于室内视频监控***的地图定位方法的流程图；
图4为本公开另一实施例的一种应用于室内视频监控***的地图定位***的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本公开的技术方案，下面结合附图和具体实施方式对本公开作进一步详细描述。
首先，参照图1来描述用于实现本公开实施例的一种应用于室内视频监控***的地图定位方法及***的示例电子设备。
如图1所示，电子设备200包括一个或多个处理器210、一个或多个存储装置220、一个或多个输入装置230、一个或多个输出装置240等，这些组件通过总线***250和/或其他形式的连接机构互连。应当注意，图1所示的电子设备的组件和结构只是示例性的，而非限制性的，根据需要，电子设备也可以具有其他组件和结构。
处理器210可以是中央处理单元(CPU)、或者可以是由多个处理核构成、或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备200中的其他组件以执行期望的功能。
存储装置220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现下文所述的本公开实施例中(由处理器实现)的客户端功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如，所述应用程序使用和/或产生的各种数据等。
输入装置230可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置240可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
下面，将参考图2和图3描述根据本公开另一实施例的一种应用于室内视频监控***的地图定位方法。
如图2和图3所示，一种应用于室内视频监控***的地图定位方法S100，所述方法包括：
S110、通过视觉SLAM技术构建室内三维地图。
具体地，在本步骤中，可以通过视觉SLAM技术构建所述视频监控***布控场所的所述室内三维地图，所述室内三维地图形式为三维稠密点云。以SLAM坐标系为世界坐标系，保存SLAM过程中产生的所述关键帧图像。视觉传感器可采用深度相机(RGB-D相机)。为了便于后续自动计算视频监控摄像头的位置和姿态，SLAM过程中，深度相机在视频监控摄像头附近以不同角度进行采集。
作为一个具体示例，在本步骤中，可以采用Kinect v2作为视觉传感器，通过ORB-SLAM2算法对室内进行建图。
S120、建立所构建的所述室内三维地图与室内平面结构图的对应关系。
具体地，在本步骤中，对所述室内三维地图中的地面进行平面拟合，以该平面作为基准平面。将所述室内三维地图向所述基准平面进行投影，形成二维平面图，没有直接选择三维地图中的地面作为后续步骤中使用的二维平面图是因为在非空旷室内进行视觉SLAM时，受地面上墙附近物体遮挡的影响，不能直接在三维地图的地面处对应到真实室内结构。观察上述二维平面图和该房屋的平面结构图，分别找到在所述二维平面图和所述平面结构图中对应同一位置的四个以上的多个对应点。根据所述多个对应点，求解从所述二维平面图到所述平面结构图的对应关系，从而将两图对齐。若该房屋没有平面结构图，则可参考真实室内场景，按照上述二维平面图的比例关系，绘制出平面结构图，无需测绘。平面结构图作为用来显示和标记视频监控出现的特定目标的地图。
S130、标定视频监控摄像头的内部参数。
具体地，在本步骤中，对正常工作时的所述视频监控摄像头进行内部参数的标定，得到第一标定参数Min1；将所述视频监控摄像头的图像尺寸设置为与视觉SLAM的传感器相同的图像尺寸，对该图像尺寸的视频监控摄像头进行内部参数标定，得到第二标定参数Min2，本步骤可以采用张正友相机标定算法实现。
S140、利用视觉SLAM技术的重定位原理计算视频监控摄像头的外部参数。
利用视觉SLAM技术重定位的原理，将视频监控图像与保存的所述关键帧图像序列进行相似性比较，计算出所述视频监控图像在世界坐标系下的位置和姿态，即当前拍摄角度下，所述视频监控摄像头的外部参数Mex。将所述视频监控摄像头的位置标记在所述二维平面图中，并根据所述对应关系，转换到所述平面结构图中。
具体地，可以采用词袋模型(BoW)比较图像的相似性，并通过特征点匹配找到匹配关系。
若视频监控***包含多个视频监控摄像头，均按照上述步骤进行位置标定，按照上述方法，得到每个视频监控摄像头的外部参数，并将其位置分别标记在平面结构图中。
S150、计算从视频监控画面到所述平面结构图的单应矩阵。
具体地，在本步骤中，构造计算机虚拟场景，导入所述室内三维地图，设置虚拟相机的显示视角，将虚拟相机的参数设置为所述视频监控摄像头的第一标定参数Min1和外部参数Mex，则在该视角下显示的室内三维地图中的场景对应所述视频监控摄像头画面中的场景；
从所述虚拟场景中的所述显示视角下所显示的三维稠密点云中随机选取一些点(原则上大于4个，为了尽量排除点云中可能存在异常点的干扰，随机选择数十个点)，称为量测点，以得到所述量测点在所述视频监控画面中的像素坐标；
将所述量测点投影在所述二维平面图中，从所述二维平面图到所述平面结构图的对应关系进行空间变换，得到所述量测点在所述平面结构图中的坐标；
所述视频监控画面中的像素坐标和所述平面结构图中的坐标一一对应，采用随机一致性采样技术计算从所述视频监控画面到所述平面结构图的所述单应矩阵。
具体地，在本步骤中，可以在虚拟场景中该视角下所显示的三维稠密点云中随机选取50个点P，可以得到这些点在视频监控画面中的像素坐标Cp。将这些点投影在上述二维平面图中，再从上述二维平面图到平面结构图的对应关系进行空间变换，得到这些点在平面结构图中的坐标Mp。视频监控画面中的像素坐标和平面结构图中的坐标一一对应，采用随机一致性采样(RANSAC)方法计算从视频监控画面到平面结构图的单应矩阵H，使H满足Mp＝HCp。
S160、在所述视频监控***使用过程中，从所述视频监控画面中识别和提取的目标在地面处的像素坐标，经过所述单应矩阵的空间变换，以转换到所述平面结构图中的坐标，实现在所述平面结构图中该坐标处进行标记。
具体地，在本步骤中，在视频监控***使用过程中，从视频监控画面中识别和提取的目标在地面处的像素坐标Cpobj，经过上述单应矩阵的空间变换Mpobj＝HCpobj，可以转换到平面结构图中的坐标Mpobj，实现在平面结构图中该坐标处进行标记。
本实施例的应用于室内视频监控***的地图定位方法，可以实现自动标定视频监控摄像头在室内平面结构图中的位置。无需人工测量，可自动计算视频监控图像与平面结构图之间的位置关系，从而将视频监控图像中的目标标记在平面结构图中的对应位置。
在一些可选地实施方式中，在步骤S110中，采用Kinect v2作为视觉传感器，通过ORB-SLAM2算法构建所述室内三维地图。
在一些可选地实施方式中，当所述视频监控摄像头的拍摄视角发生变化时，所述方法还包括：
利用步骤S140和步骤S150重新计算所述单应矩阵，利用步骤S160重新将所述视频监控画面中的目标标记在所述平面结构图中。
在实际应用本公开的地图定位方法时，可以将该方法集成到室内视频监控***软件中，经过安装布控和技术人员的调试，可达到将视频监控画面中的特定目标标记在室内结构图中的功能。日后，买方调整了视频监控摄像头的拍摄角度，买方可自行在视频监控***软件中执行上述步骤S140和S150，即可重新实现将视频监控画面中的特定目标标记在室内结构图中的功能。此过程无需技术人员再次上门调试。此发明简化了视频监控***的使用操作过程，节约了人力和时间成本。
本公开的另一方面，如图4所示，提供一种应用于室内视频监控***的地图定位***100，该***100可以应用于前文记载的方法，具体可以参考前文相关记载，在此不作赘述。所述***100包括：
地图构建模块110，用于通过视觉SLAM技术构建室内三维地图，具体为：
通过视觉SLAM技术构建视频监控***布控场所的室内三维地图，所述室内三维地图形式为三维稠密点云，以SLAM坐标系为世界坐标系，保存SLAM过程中产生的关键帧图像；
地图映射模块120，用于建立所构建的所述室内三维地图与室内平面结构图的对应关系，具体为：
对所述室内三维地图中的地面进行平面拟合，以该平面作为基准平面，将所述室内三维地图向所述基准平面进行投影，形成二维平面图，分别找到在所述二维平面图和所述平面结构图中对应同一位置的多个对应点，根据所述多个对应点，求解从所述二维平面图到所述平面结构图的对应关系；
第一标定模块130，用于标定视频监控摄像头的内部参数，具体为：
对正常工作时的所述视频监控摄像头进行内部参数的标定，得到第一标定参数，将所述视频监控摄像头的图像尺寸设置为与视觉SLAM的传感器相同的图像尺寸，对该图像尺寸的视频监控摄像头进行内部参数标定，得到第二标定参数；
第二标定模块140，用于利用视觉SLAM技术的重定位原理计算视频监控摄像头的外部参数，具体为：
利用视觉SLAM技术重定位的原理，将视频监控图像与保存的所述关键帧图像序列进行相似性比较，计算出所述视频监控图像在世界坐标系下的位置和姿态，即当前拍摄角度下，所述视频监控摄像头的外部参数，将所述视频监控摄像头的位置标记在所述二维平面图中，并根据所述对应关系，转换到所述平面结构图中；
空间变换模块150，用于计算从视频监控画面到所述平面结构图的单应矩阵，具体为：
构造计算机虚拟场景，导入所述室内三维地图，设置虚拟相机的显示视角，将虚拟相机的参数设置为所述视频监控摄像头的第一标定参数和外部参数，则在该视角下显示的室内三维地图中的场景对应所述视频监控摄像头画面中的场景；从所述虚拟场景中的所述显示视角下所显示的三维稠密点云中随机选取一些点，以得到所述量测点在所述视频监控画面中的像素坐标；将所述量测点投影在所述二维平面图中，从所述二维平面图到所述平面结构图的对应关系进行空间变换，得到所述量测点在所述平面结构图中的坐标；所述视频监控画面中的像素坐标和所述平面结构图中的坐标一一对应，采用随机一致性采样技术计算从所述视频监控画面到所述平面结构图的所述单应矩阵；
目标定位模块160，用于在所述视频监控***使用过程中，从所述视频监控画面中识别和提取的目标在地面处的像素坐标，经过所述单应矩阵的空间变换，以转换到所述平面结构图中的坐标，实现在所述平面结构图中该坐标处进行标记。
显示与交互模块170，用于显示地图、量测点等数据，并用于操作者通过输入设备对***进行交互。
本实施例的应用于室内视频监控***的地图定位***，可以实现自动标定视频监控摄像头在室内平面结构图中的位置。无需人工测量，可自动计算视频监控图像与平面结构图之间的位置关系，从而将视频监控图像中的目标标记在平面结构图中的对应位置。
在一些可选地实施方式中，当所述视频监控摄像头的拍摄视角发生变化时，所述空间变换模块150还用于重新计算所述单应矩阵，以及，所述目标定位模块160还用于重新将所述视频监控画面中的目标标记在所述平面结构图中。
本公开的另一个方面，提供一种电子设备，包括：
一个或多个处理器；
一个存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据前文记载的方法。
本公开的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现根据前文记载的所述的方法。
其中，计算机可读介质可以是本公开的装置、设备、***中所包含的，也可以是单独存在。
其中，计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的***、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。
其中，计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (10)

1.一种应用于室内视频监控***的地图定位方法，其特征在于，所述方法包括：
步骤S110、通过视觉SLAM技术构建室内三维地图：
通过视觉SLAM技术构建视频监控***布控场所的室内三维地图，所述室内三维地图形式为三维稠密点云，以SLAM坐标系为世界坐标系，保存SLAM过程中产生的关键帧图像；
步骤S120、建立所构建的所述室内三维地图与室内平面结构图的对应关系：
对所述室内三维地图中的地面进行平面拟合，以该平面作为基准平面，将所述室内三维地图向所述基准平面进行投影，形成二维平面图，分别找到在所述二维平面图和所述平面结构图中对应同一位置的多个对应点，根据所述多个对应点，求解从所述二维平面图到所述平面结构图的对应关系；
步骤S130、标定视频监控摄像头的内部参数：
对正常工作时的所述视频监控摄像头进行内部参数的标定，得到第一标定参数，将所述视频监控摄像头的图像尺寸设置为与视觉SLAM的传感器相同的图像尺寸，对该图像尺寸的视频监控摄像头进行内部参数标定，得到第二标定参数；
步骤S140、利用视觉SLAM技术的重定位原理计算视频监控摄像头的外部参数：
利用视觉SLAM技术重定位的原理，将视频监控图像与保存的所述关键帧图像序列进行相似性比较，计算出所述视频监控图像在世界坐标系下的位置和姿态，即当前拍摄角度下，所述视频监控摄像头的外部参数，将所述视频监控摄像头的位置标记在所述二维平面图中，并根据所述对应关系，转换到所述平面结构图中；
步骤S150、计算从视频监控画面到所述平面结构图的单应矩阵：
构造计算机虚拟场景，导入所述室内三维地图，设置虚拟相机的显示视角，将虚拟相机的参数设置为所述视频监控摄像头的第一标定参数和外部参数，则在该视角下显示的室内三维地图中的场景对应所述视频监控摄像头画面中的场景；从所述虚拟场景中的所述显示视角下所显示的三维稠密点云中随机选取一些点，称为量测点，以得到所述量测点在所述视频监控画面中的像素坐标；将所述量测点投影在所述二维平面图中，从所述二维平面图到所述平面结构图的对应关系进行空间变换，得到所述量测点在所述平面结构图中的坐标；所述视频监控画面中的像素坐标和所述平面结构图中的坐标一一对应，计算从所述视频监控画面到所述平面结构图的所述单应矩阵；
步骤S160、在所述视频监控***使用过程中，从所述视频监控画面中识别和提取的目标在地面处的像素坐标，经过所述单应矩阵的空间变换，以转换到所述平面结构图中的坐标，实现在所述平面结构图中该坐标处进行标记。
2.根据权利要求1所述的方法，其特征在于，当所述视频监控摄像头的拍摄视角发生变化时，所述方法还包括：
利用步骤S140和步骤S150重新计算所述单应矩阵，利用步骤S160重新将所述视频监控画面中的目标标记在所述平面结构图中。
3.根据权利要求1所述的方法，其特征在于，若房屋没有所述平面结构图，步骤S140还包括：
参考真实室内场景，按照所述二维平面图的比例关系，绘制出所述平面结构图。
4.根据权利要求1至3任一项所述的方法，其特征在于，在步骤S150中，采用随机一致性采样技术计算从所述视频监控画面到所述平面结构图的所述单应矩阵。
5.根据权利要求1至3任一项所述的方法，其特征在于，在步骤S120中，所述多个对应点的数量不小于四个；在步骤S150中，所述随机选取一些点的数量不小于四个。
6.根据权利要求1至3任一项所述的方法，其特征在于，在步骤S110中，采用Kinect v2作为视觉传感器，通过ORB-SLAM2算法构建所述室内三维地图。
7.一种应用于室内视频监控***的地图定位***，其特征在于，所述***包括：
地图构建模块，用于通过视觉SLAM技术构建室内三维地图，具体为：
通过视觉SLAM技术构建视频监控***布控场所的室内三维地图，所述室内三维地图形式为三维稠密点云，以SLAM坐标系为世界坐标系，保存SLAM过程中产生的关键帧图像；
地图映射模块，用于建立所构建的所述室内三维地图与室内平面结构图的对应关系，具体为：
对所述室内三维地图中的地面进行平面拟合，以该平面作为基准平面，将所述室内三维地图向所述基准平面进行投影，形成二维平面图，分别找到在所述二维平面图和所述平面结构图中对应同一位置的多个对应点，根据所述多个对应点，求解从所述二维平面图到所述平面结构图的对应关系；
第一标定模块，用于标定视频监控摄像头的内部参数，具体为：
对正常工作时的所述视频监控摄像头进行内部参数的标定，得到第一标定参数，将所述视频监控摄像头的图像尺寸设置为与视觉SLAM的传感器相同的图像尺寸，对该图像尺寸的视频监控摄像头进行内部参数标定，得到第二标定参数；
第二标定模块，用于利用视觉SLAM技术的重定位原理计算视频监控摄像头的外部参数，具体为：
利用视觉SLAM技术重定位的原理，将视频监控图像与保存的所述关键帧图像序列进行相似性比较，计算出所述视频监控图像在世界坐标系下的位置和姿态，即当前拍摄角度下，所述视频监控摄像头的外部参数，将所述视频监控摄像头的位置标记在所述二维平面图中，并根据所述对应关系，转换到所述平面结构图中；
空间变换模块，用于计算从视频监控画面到所述平面结构图的单应矩阵，具体为：
构造计算机虚拟场景，导入所述室内三维地图，设置虚拟相机的显示视角，将虚拟相机的参数设置为所述视频监控摄像头的第一标定参数和外部参数，则在该视角下显示的室内三维地图中的场景对应所述视频监控摄像头画面中的场景；从所述虚拟场景中的所述显示视角下所显示的三维稠密点云中随机选取一些点，以得到所述量测点在所述视频监控画面中的像素坐标；将所述量测点投影在所述二维平面图中，从所述二维平面图到所述平面结构图的对应关系进行空间变换，得到所述量测点在所述平面结构图中的坐标；所述视频监控画面中的像素坐标和所述平面结构图中的坐标一一对应，采用随机一致性采样技术计算从所述视频监控画面到所述平面结构图的所述单应矩阵；
目标定位模块，用于在所述视频监控***使用过程中，从所述视频监控画面中识别和提取的目标在地面处的像素坐标，经过所述单应矩阵的空间变换，以转换到所述平面结构图中的坐标，实现在所述平面结构图中该坐标处进行标记；
显示与交互模块，用于显示地图、量测点等数据，并用于操作者通过输入设备对***进行交互。
8.根据权利要求7所述的***，其特征在于，当所述视频监控摄像头的拍摄视角发生变化时，所述空间变换模块还用于重新计算所述单应矩阵，以及，所述目标定位模块还用于重新将所述视频监控画面中的目标标记在所述平面结构图中。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能实现根据权利要求1至6任一项所述的方法。
CN202011626031.XA 2020-12-31 2020-12-31 一种应用于室内视频监控***的地图定位方法及*** Active CN112669392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011626031.XA CN112669392B (zh) 2020-12-31 2020-12-31 一种应用于室内视频监控***的地图定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011626031.XA CN112669392B (zh) 2020-12-31 2020-12-31 一种应用于室内视频监控***的地图定位方法及***

Publications (2)

Publication Number Publication Date
CN112669392A true CN112669392A (zh) 2021-04-16
CN112669392B CN112669392B (zh) 2022-11-25

Family

ID=75412437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011626031.XA Active CN112669392B (zh) 2020-12-31 2020-12-31 一种应用于室内视频监控***的地图定位方法及***

Country Status (1)

Country Link
CN (1) CN112669392B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421307A (zh) * 2021-06-22 2021-09-21 恒睿(重庆)人工智能技术研究院有限公司 一种目标定位方法、装置、计算机设备和存储介质
CN115797445A (zh) * 2023-02-06 2023-03-14 成都智元汇信息技术股份有限公司 一种基于图像识别的室内人员定位方法及装置及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN111192299A (zh) * 2019-12-20 2020-05-22 中冶天工集团有限公司 一种基于综合管廊视频监控***的人员轨迹定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226838A (zh) * 2013-04-10 2013-07-31 福州林景行信息技术有限公司 地理场景中移动监控目标的实时空间定位方法
CN111192299A (zh) * 2019-12-20 2020-05-22 中冶天工集团有限公司 一种基于综合管廊视频监控***的人员轨迹定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
侯荣波等: "基于ORB-SLAM的室内机器人定位和三维稠密地图构建", 《计算机应用》 *
许洁: "基于立体视觉的多摄像位空间定位***研究", 《单片机与嵌入式***应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421307A (zh) * 2021-06-22 2021-09-21 恒睿(重庆)人工智能技术研究院有限公司 一种目标定位方法、装置、计算机设备和存储介质
CN115797445A (zh) * 2023-02-06 2023-03-14 成都智元汇信息技术股份有限公司 一种基于图像识别的室内人员定位方法及装置及介质

Also Published As

Publication number Publication date
CN112669392B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
CN106679651B (zh) 声源定位方法、装置和电子设备
AU2011312140B2 (en) Rapid 3D modeling
CN108805936B (zh) 摄像机外参标定方法、装置和电子设备
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
US20150116691A1 (en) Indoor surveying apparatus and method
CN109032348B (zh) 基于增强现实的智能制造方法与设备
CN113240769B (zh) 空间链接关系识别方法及装置、存储介质
WO2016042926A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007536652A (ja) タッチ面に対応するポインタを検出するための装置及び方法
CN112669392B (zh) 一种应用于室内视频监控***的地图定位方法及***
KR20180060818A (ko) 가상현실 기반의 시설관리 플랫폼 구축 시스템
EP3330928A1 (en) Image generation device, image generation system, and image generation method
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及***
JP2015088819A (ja) 撮像シミュレーション装置
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
CN113496503B (zh) 点云数据的生成及实时显示方法、装置、设备及介质
JP2018010599A (ja) 情報処理装置、パノラマ画像表示方法、パノラマ画像表示プログラム
WO2022025283A1 (ja) 測定処理装置、方法及びプログラム
CN111161350B (zh) 位置信息及位置关系确定方法、位置信息获取装置
JP2013231607A (ja) 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム
KR102500488B1 (ko) 3d 투어 내에서 실제 거리 측정 방법 및 그를 위한 3d 투어 시스템
CN117115434A (zh) 数据分割装置和方法
JP2002135807A (ja) ３次元入力のためのキャリブレーション方法および装置
WO2023103884A1 (zh) 对象模型建立方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant