CN113627005A - 一种智能视觉监控方法 - Google Patents
一种智能视觉监控方法 Download PDFInfo
- Publication number
- CN113627005A CN113627005A CN202110879318.1A CN202110879318A CN113627005A CN 113627005 A CN113627005 A CN 113627005A CN 202110879318 A CN202110879318 A CN 202110879318A CN 113627005 A CN113627005 A CN 113627005A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- monitoring image
- dimensional virtual
- camera device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 188
- 230000000007 visual effect Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004088 simulation Methods 0.000 claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 20
- 238000004519 manufacturing process Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000007726 management method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种智能视觉监控方法,涉及可视化监控技术领域。本发明根据被监控场景中摄像头的位置在三维虚拟场景仿真模型中标定出对应的虚拟摄像机,以该虚拟摄像机的视角为三维虚拟场景仿真模型的输出视角,输出二维虚拟监控画面,将该二维虚拟监控画面进行畸变,将畸变后的二维虚拟监控画面与被监控场景中的摄像头的监控画面进行融合,融合后的画面输出到显示器上显示。融合后的画面对设备的端口、连接线缆和面板显示内容提供可视化展示和可视化管理。本发明的智能视觉监控方法,通过智能分析直观呈现监控对象的多维度数据信息,在同一监控界面中将“现场”和“数据”深度融合在一起,实现基于现场真实视频图像的数据可视化监控。
Description
技术领域
本发明涉及可视化监控技术领域,尤其涉及一种智能视觉监控方法。
背景技术
目前我国市面上对生产现场的监控方法主要分为两种:视频监控和模拟类监控。
视频监控的优点是真实直观,让人能看见生产现场的真实情况。但是视频监控的缺点也同样明显,视频监控只能监控表象,简单罗列视频窗口,诸多摄像头画面密集排布,有价值的监控对应及其位置不易分辨,辨识度低,缺少数据信息。且视频监控的所有视频窗口需要全部依靠人工盯守,工作强度高,若出现问题也需要人工排查,发现问题不够及时。此类监控方式在事前/事中的作用有限,最多只能用于事后追溯查看录像证据。
模拟类监控通常是用示意图、工控流程图、统计图表、三维仿真场景等手段来表现生产现场情况,其优点是有数据做支撑,用内在数据来反映生产现场,其缺点是没有真实图像,只能间接的、以模拟的方式来表现现场情况,针对现场非数据类情况,并无法做到直观地、及时地、全面地监控。例如,利用三维仿真模型建立三维仿真场景,并将设备运行状态数据对应填充至三维仿真场景中,三维仿真场景仅对设备运行数据的变化负责,当数据出现变化需要预警时可以进行预警,无法对其所监控的真实场景进行监控,有人员进入真实场景对设备进行操作时,三维仿真场景中并不会出现对应人员,也无法对对应人员的操作进行监控,唯有对数据进行监控。
换句话而言,视频监控可以获得生产现场画面,但无法监控生产现场中设备运行数据,模拟类监控方式可以监控数据,但无法获得生产现场真实画面。目前,现有技术中也存在一些将视频监控与模拟类监控结合的技术,目前的融合仅仅是将监控视频贴图到模拟类监控中,一般适用于安防监控,如专利公开号为CN109905664A,名称为“实景3D智能视觉监控***及方法”的发明专利申请,其是利用模拟类监控模拟空间,将视频监控画面贴在模拟空间内以满足3D模型的动态展示。这种方式仅涉及动态监控,并不涉及到数据监控与视频监控的融合。
又如,国家知识产权局2020年2月14日,公开了一件公开号为CN110796727A,名称为“基于虚拟现实技术的机房远程全景监控方法”的发明专利申请,该发明专利申请包括采用全景图技术构建机房的全景图,对机房环境和机房内的各个设备进行仿真,构建三维虚拟机房仿真模型;在实际机房内的多个位置处分别安装多台全景摄像头,利用全景摄像头对机房内环境进行拍摄,进行拼接融合,生产机房全景图;根据生产的机房全景图,采用可视化方式对机房环境和机房内的各个设备的工作状态进行远程监控;在三维虚拟机房仿真模型中,对设备的端口、连接线缆和面板显示内容提供可视化展示和可视化管理,以进行IT运维全景监控。该发明专利中,当检测到用户点击所述资产报表中的一项数据时,自动切换到与该数据相关的机房内的现实场景,并发出定位提示。
上述现有技术实现了数据可视化与监控图像的结合,但是其结合方式是在用户点击数据时,自动切换到与该数据相关的机房内的现实场景。是以数据监控为主,视频实景监控为辅进行融合。只有对数据操作时才能看到实景画面。这种融合方式,只是方便调取实景监控画面而已,可以在预警出现时及时看到设备的实景监控画面,若不涉及到设备数据变化,则无法及时进行反馈,这种方式仍缺乏真实性和及时性。
发明内容
为了克服上述现有技术中存在的缺陷和不足,本发明提供了一种智能视觉监控方法,本发明的发明目的在于解决现有技术中模拟类监控与视频监控的结合仅仅是调用或贴图的方式,缺乏真实性和及时性的问题,以及模拟类监控无法与视频监控深度融合的问题。本发明提供的智能视觉监控方法,对被监控场景及被监控场景中的各个设备进行仿真,构建三维虚拟场景仿真模型,并根据被监控场景中摄像头的位置在三维虚拟场景仿真模型中标定出对应的虚拟摄像机,以该虚拟摄像机的视角为三维虚拟场景仿真模型的输出视角,输出二维虚拟监控画面,将该二维虚拟监控画面进行畸变,将畸变后的二维虚拟监控画面与被监控场景中的摄像头的监控画面进行融合,融合后的画面输出到显示器上显示。融合后的画面对设备的端口、连接线缆和面板显示内容提供可视化展示和可视化管理。本发明的智能视觉监控方法,通过智能分析直观呈现监控对象的多维度数据信息,在同一监控界面中将“现场”和“数据”深度融合在一起,实现基于现场真实视频图像的数据可视化监控。
为了解决上述现有技术中存在的问题,本发明是通过下述技术方案实现的:
一种智能视觉监控方法,包括以下步骤:
三维虚拟场景仿真模型构建步骤:对被监控场景和被监控场景内的各个设备进行仿真,构建三维虚拟场景仿真模型;
虚拟摄像装置添加步骤:根据摄像装置在被监控场景中的实际位置,在三维虚拟场景仿真模型中的对应位置添加虚拟摄像装置;
二维虚拟监控图像输出步骤:根据被监控场景中摄像装置的技术参数,设置虚拟摄像装置的技术参数;以虚拟摄像装置视角为三维虚拟场景仿真模型的输出视角,输出二维虚拟监控图像;
摄像装置畸变量获取步骤:获取被监控场景中的摄像装置的视频监控图像,对摄像装置拍摄的视频监控图像进行校正处理;获取得到摄像装置沿光学中心点径向产生的径向畸变量和摄像装置透镜不完全平行于成像平面而产生的切向畸变量;
二维虚拟监控图像畸变处理步骤:根据摄像装置畸变量获取步骤中得到的径向畸变量和切向畸变量,二维虚拟监控图像输出步骤输出的二维虚拟监控图像进行畸变处理;
监控图像融合步骤:将畸变处理后的二维虚拟监控图像融合到视频监控图像中;融合后得到的融合监控图像以摄像装置拍摄的视频监控图像为主,畸变处理后的二维虚拟监控图像嵌入到视频监控图像中。
还包括数据融合步骤,根据标准数据格式和通信协议,将各类数据信息融入到三维虚拟场景仿真模型中;在对融合监控图像进行操作时,融入到三维虚拟场景仿真模型中的数据信息,可视化地显示在融合监控图像中;通过融合监控图像对被监控场景和被监控场景内各个设备进行可视化展示和可视化管理。
各类数据信息包括设备数据、业务数据和智能分析数据,其中,设备数据包括设备基础数据、设备运行状态数据、设备生产指标数据和设备传感器数据;业务数据包括计划数据、产能数据、质量数据和成本数据;智能分析数据是结合视频监控图像和各类实时数据信息,对监控对象的外观、位置、运行状态、运动状态、行为和生产状态方面情况进行智能识别和分析,根据业务报警规则主动发现生产异常、设备异常和人员违规异常情况,对被监控场景中视频图像的智能研判和主动报警,并自动在融合监控图像上直观呈现异常情况及其原因。
所述摄像装置畸变量获取步骤中,对摄像装置拍摄的视频监控图像进行校正处理,具体是指,对摄像装置拍摄得到的视频监控图像进行空间还原,将二维视频监控图像映射到三维的被监控场景中,使得被监控场景和各个监控对象具有三维空间属性;得到摄像装置沿光学中心点径向产生的径向畸变量和摄像装置透镜不完全平行于成像平面而产生的切向畸变量。
根据标识数据和定位数据在三维虚拟场景仿真模型中对各个监控对象进行精准定位和运动跟踪,使得各个监控对象可在融合监控图像中被选取;当摄像装置进行旋转、缩放时,也能在融合监控图像上对监控对象进行跟踪和选取。
三维虚拟场景仿真模型对被监控场景的数据和各个设备的运行状态和/或参数进行数据分析,并根据分析结构判断是否需要发出报警通知,如果是,则根据报警数据的不同,以不同提示方式发出报警通知,该报警通知在所述融合监控图像中显示。
所述摄像装置的技术参数包括清晰视距、模糊视距、照明视距、水平视角、高低视角、云台水平旋转角度范围和云台高低旋转角度范围。
对融合监控图像中的设备进行操作时,该设备在三维虚拟场景模型中的视图被显示在融合监控图像中。
所述摄像装置采集进入被监控场景中人员的人脸图像,进行人脸识别,并将识别到的人员信息可视化地显示在融合监控图像中。
与现有技术相比,本发明所带来的有益的技术效果表现在:
1、本发明所提出的智能视觉监控技术方法彻底打破了“摄像头视频监控真实但没有数据,模拟类监控有数据但不真实”的局限,将“现场”与“数据”统一整合呈现,创新实现了基于真实现场视频图像的数据可视化监控,让人在看到真实现场图像的同时还能看到多维实时数据,监控现场最真实、数据呈现最直观、数据聚焦最深入、视觉信息最实用。
2、本发明是以视频监控图像为主,畸变处理后的二维虚拟监控图像嵌入到视频监控图像中,即融合后的融合监控图像显示的还是视频监控图像,相较于原有的视频监控图像而言,融合后的融合监控图像可操作,对融合监控图像中的设备进行操作时,该设备的允许状态和/或参数可视化地显示在融合监控图像中。形成了现场与数据的深度融合,可以及时地查看数据,也可以及时还原现场真实性。其真实性和及时性均高出现有的贴图融合方式(CN109905664A)及调用融合方式(CN110796727A)。
3、本发明最终输出在显示器中显示的是融合后的融合监控画面,融合监控画面又是以视频监控画面为主,在视频监控画面中会存在部分遮挡,离摄像装置越远的设备,被遮挡的越多,在融合监控画面中显示图像就越小。为了避免错误操作,本发明是先对视频监控画面进行校正,通过对视频监控画面的校正过程得到摄像装置拍摄得到的视频监控画面的径向畸变量和切向畸变量;然后对输出的二维虚拟监控图像进行畸变处理,二维虚拟监控图像获得与摄像装置拍摄得到的视频监控图像相同的畸变效果,此时将二维虚拟监控图像融合到视频监控图像中,确保二者之间融合误差小,对融合后的融合监控图像中的设备进行操作时,出现错误信息的几率大大降低,提高了监控精度。
4、本发明中对摄像装置拍摄得到的视频监控图像进行空间还原,将二维视频监控图像映射到三维的被监控场景中,使得被监控场景和各个监控对象具有三维空间属性;通过此方式处理计算得到的径向畸变量和切向畸变量,更趋近于真实值,进一步降低畸变后的二维虚拟监控图像与视频监控图像的融合误差,进一步提高监控精度。
5、本发明根据标识数据和定位数据在三维场景中对各个监控对象进行精准定位和运动跟踪,让各个监控对象可在视频图像上被选取,即使在摄像头进行旋转、缩放时也能在视频图像上保持跟踪和选取效果;所述定位数据包括根据标准蓝牙协议由手机、手环等设备接入的定位数据,以辅助实现对人员、动态物等监控对象的精确定位和跟踪。本发明中可以多个摄像装置协同作业,当涉及到当前摄像装置的拍摄死角时,可以通过旋转摄像装置来获取画面。
6、本发明的报警信息直接显示在融合监控图像中,使得监控人员可以直观地定位到报警位置,定位更加精准,同时也更加及时。
7、本发明对融合监控图像中的设备进行操作时,该设备在三维虚拟场景模型中的视图被显示在融合监控图像中,避免融合监控画面中监控对象被部分遮挡,无法观看到监控对象全貌,或全部数据,通过调用该设备在三维虚拟场景模型中的视图,可以更加直观地监控该设备的运行状态。
8、本发明可对生产现场视频图像和实时数据进行智能分析和主动报警,并自动在监控界面上直观呈现异常情况及其原因,可取代人工盯守判断的传统监控方式,大幅节约人力成本;进一步地,相比于传统的模拟类监控***,运用本发明所开发的智能视觉监控***可大幅减少***对现场数据的需求量,大幅减轻数据通信压力,***结构更简洁、***体量更轻、开发周期更短、成本更低;进一步地,使用本发明对传统的摄像头视频监控***进行技术升级也十分便利,大量已采用摄像头视频监控的生产现场均可在现有基础上进行技术改造,将摄像头视频监控升级为智能视觉监控。
附图说明
图1为本发明智能视觉监控方法的流程图。
具体实施方式
下面结合说明书附图,对本发明的技术方案作出进一步详细地阐述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
作为本发明一较佳实施例,参照说明书附图1,本实施例公开了一种智能视觉监控方法,包括三维虚拟场景仿真模型构建步骤、虚拟摄像装置添加步骤、二维虚拟监控图像输出步骤、摄像装置畸变量获取步骤、二维虚拟监控图像畸变处理步骤和监控图像融合步骤。在本实施例中,上述步骤之间除有关联关系的步骤之间具有先后顺序之外,其他步骤不存在先后顺序,可根据生产现场的实际情况进行适应性调整。
进一步地,所述三维虚拟场景仿真模型构建步骤,是根据被监控场景和被监控场景内的各个设备进行仿真设计,构建而成的三维虚拟场景仿真模型;该三维虚拟场景仿真模型的构建过程,可以采用现有构建方法进行构建,对具体构建方法,本文不再赘述。所构建得到的三维虚拟场景仿真模型将被监控场景及场景内的各个设备进行数据化展示。
所述虚拟摄像装置添加步骤,是根据摄像装置在被监控场景中的实际位置,在三维虚拟场景仿真模型中的对应位置添加虚拟摄像装置。
所述二维虚拟监控图像输出步骤,是根据被监控场景中摄像装置的技术参数,设置虚拟摄像装置的技术参数,以虚拟摄像装置视角为三维虚拟场景仿真模型的输出视角,输出二维虚拟监控图像。三维虚拟场景仿真模型虽然是三维形态展示,但是展示到显示器上之后仍然是以二维平面的方式进行展示。只是三维虚拟场景仿真模型的显示是以“上帝视角”进行展示,通过旋转、推拉等方式,可以将被监控场景中的所有数据均展现出来,不存在视觉死角。
本实施例添加虚拟摄像装置的目的,就是以虚拟摄像装置采集到的二维虚拟监控图像作为三维虚拟场景仿真模型的输出图像进行输出。而虚拟摄像装置的技术参数是根据被监控场景中的摄像装置的技术参数设置的,可确保虚拟摄像装置输出的二维虚拟监控图像与被监控场景中的摄像装置输出的视频监控图像对应。
由于现有摄像装置均是采用透镜成像原理进行成像的,输出的视频监控图像与真实图像相比,会发生一定畸变,例如在真实场景中,真实图像是直线,在视频监控图像中会变成一条弯曲的曲线。
通过虚拟摄像装置输出的二维虚拟监控图像并不存在畸变,是与真实图像相同的,例如二维虚拟监控图像中的直线就是真实图像中的直线。这是由于虚拟摄像装置不是采用透镜成像原理进行成像的,而是通过数据分析输出的,因此其并不存在畸变。若将虚拟摄像装置输出的二维虚拟监控图像直接融合到视频监控图像中,会导致较大的畸变误差,当对融合监控图像进行操作时,由于畸变误差的存在,会导致操作错误,如本来要操作1号设备,结果由于1号设备部分被2号设备遮挡,且距离较近,在畸变误差较大的情况下,会误操作成2号设备,导致监控精度变低。
为了克服上述存在的畸变误差,本实施例进行摄像装置畸变量获取步骤,这一步骤可在上述三维虚拟场景仿真模型构建步骤、虚拟摄像装置添加步骤和二维虚拟监控图像输出步骤进行时同步运行。
摄像装置畸变量获取步骤:获取被监控场景中的摄像装置的视频监控图像,对摄像装置拍摄的视频监控图像进行校正处理;获取得到摄像装置沿光学中心点径向产生的径向畸变量和摄像装置透镜不完全平行于成像平面而产生的切向畸变量。由于每台摄像装置的畸变量均不相同,需要通过校正处理,以获取摄像装置沿光学中心点径向产生的径向畸变量和摄像装置透镜不完全平行于成像平面而产生的切向畸变量。此步骤的目的是为了获取到径向畸变量和切线畸变量,并非是为了进行视频监控图像的校正。
二维虚拟监控图像畸变处理步骤:根据摄像装置畸变量获取步骤中得到的径向畸变量和切向畸变量,二维虚拟监控图像输出步骤输出的二维虚拟监控图像进行畸变处理。畸变处理后的二维虚拟监控图像与视频监控图像之间的融合误差较小,即将二维虚拟监控图像中的直线,畸变成与视频监控图像中一样的曲线,使得两个图像中的各个线条可以很好地融合在一起。
监控图像融合步骤:将畸变处理后的二维虚拟监控图像融合到视频监控图像中;融合后得到的融合监控图像以摄像装置拍摄的视频监控图像为主,畸变处理后的二维虚拟监控图像嵌入到视频监控图像中。在本实施例中,融合后得到的融合监控图像是以视频监控图像为主进行显示的,畸变处理后的二维虚拟监控图像是隐藏式嵌入到视频监控图像中。当对融合监控图像进行操作时,二维虚拟监控图像接收到操作指令,将所需的数据信息进行可视化显示。可视化信息在融合监控图像中以半透明的方式显示出来。
作为本实施例的一种实施方式,还包括数据融合步骤,所谓的数据融合步骤,是将被监控场景的环境数据和被监控场景中的各设备数据、业务数据等融合到融合监控图像中。
数据融合步骤可以在构建三维虚拟场景仿真模型时融入到三维虚拟场景仿真模型中;也可以在虚拟摄像装置输出二维虚拟监控图像时,将该二维虚拟监控图像中对应的设备数据、被监控场景环境数据、业务数据等融合到二维虚拟监控图像中;还可以是在二维虚拟监控图像中进行畸变处理时,将该二维虚拟监控图像中对应的设备数据、被监控场景环境数据、业务数据等融合到畸变处理后的二维虚拟监控图像中。还可以将对应的设备数据、被监控场景环境数据、业务数据等融合到融合监控图像中。
具体的,根据标准数据格式和通信协议,将各类数据信息融入到三维虚拟场景仿真模型(还可以是二维虚拟监控图像、畸变处理后的二维虚拟监控图像或融合监控图像)中;在对融合监控图像进行操作时,融入到三维虚拟场景仿真模型中的数据信息,可视化地显示在融合监控图像中;通过融合监控图像对被监控场景和被监控场景内各个设备进行可视化展示和可视化管理。
具体地,各类数据信息包括设备数据、业务数据和智能分析数据,其中,设备数据包括设备基础数据、设备运行状态数据、设备生产指标数据和设备传感器数据;业务数据包括计划数据、产能数据、质量数据和成本数据;智能分析数据是结合视频监控图像和各类实时数据信息,对监控对象的外观、位置、运行状态、运动状态、行为和生产状态方面情况进行智能识别和分析,根据业务报警规则主动发现生产异常、设备异常和人员违规异常情况,对被监控场景中视频图像的智能研判和主动报警,并自动在融合监控图像上直观呈现异常情况及其原因。
所述摄像装置畸变量获取步骤中,对摄像装置拍摄的视频监控图像进行校正处理,具体是指,对摄像装置拍摄得到的视频监控图像进行空间还原,将二维视频监控图像映射到三维的被监控场景中,使得被监控场景和各个监控对象具有三维空间属性;得到摄像装置沿光学中心点径向产生的径向畸变量和摄像装置透镜不完全平行于成像平面而产生的切向畸变量。
根据标识数据和定位数据在三维虚拟场景仿真模型中对各个监控对象进行精准定位和运动跟踪,使得各个监控对象可在融合监控图像中被选取;当摄像装置进行旋转、缩放时,也能在融合监控图像上对监控对象进行跟踪和选取。
三维虚拟场景仿真模型对被监控场景的数据和各个设备的运行状态和/或参数进行数据分析,并根据分析结构判断是否需要发出报警通知,如果是,则根据报警数据的不同,以不同提示方式发出报警通知,该报警通知在所述融合监控图像中显示。
所述摄像装置的技术参数包括清晰视距、模糊视距、照明视距、水平视角、高低视角、云台水平旋转角度范围和云台高低旋转角度范围。
对融合监控图像中的设备进行操作时,该设备在三维虚拟场景模型中的视图被显示在融合监控图像中。
所述摄像装置采集进入被监控场景中人员的人脸图像,进行人脸识别,并将识别到的人员信息可视化地显示在融合监控图像中。
Claims (9)
1.一种智能视觉监控方法,其特征在于,包括以下步骤:
三维虚拟场景仿真模型构建步骤:对被监控场景和被监控场景内的各个设备进行仿真,构建三维虚拟场景仿真模型;
虚拟摄像装置添加步骤:根据摄像装置在被监控场景中的实际位置,在三维虚拟场景仿真模型中的对应位置添加虚拟摄像装置;
二维虚拟监控图像输出步骤:根据被监控场景中摄像装置的技术参数,设置虚拟摄像装置的技术参数;以虚拟摄像装置视角为三维虚拟场景仿真模型的输出视角,输出二维虚拟监控图像;
摄像装置畸变量获取步骤:获取被监控场景中的摄像装置的视频监控图像,对摄像装置拍摄的视频监控图像进行校正处理;获取得到摄像装置沿光学中心点径向产生的径向畸变量和摄像装置透镜不完全平行于成像平面而产生的切向畸变量;
二维虚拟监控图像畸变处理步骤:根据摄像装置畸变量获取步骤中得到的径向畸变量和切向畸变量,二维虚拟监控图像输出步骤输出的二维虚拟监控图像进行畸变处理;
监控图像融合步骤:将畸变处理后的二维虚拟监控图像融合到视频监控图像中;融合后得到的融合监控图像以摄像装置拍摄的视频监控图像为主,畸变处理后的二维虚拟监控图像嵌入到视频监控图像中。
2.如权利要求1所述的一种智能视觉监控方法,其特征在于:还包括数据融合步骤,根据标准数据格式和通信协议,将各类数据信息融入到三维虚拟场景仿真模型中;在对融合监控图像进行操作时,融入到三维虚拟场景仿真模型中的数据信息,可视化地显示在融合监控图像中;通过融合监控图像对被监控场景和被监控场景内各个设备进行可视化展示和可视化管理。
3.如权利要求2所述的一种智能视觉监控方法,其特征在于:各类数据信息包括设备数据、业务数据和智能分析数据,其中,设备数据包括设备基础数据、设备运行状态数据、设备生产指标数据和设备传感器数据;业务数据包括计划数据、产能数据、质量数据和成本数据;智能分析数据是结合视频监控图像和各类实时数据信息,对监控对象的外观、位置、运行状态、运动状态、行为和生产状态方面情况进行智能识别和分析,根据业务报警规则主动发现生产异常、设备异常和人员违规异常情况,对被监控场景中视频图像的智能研判和主动报警,并自动在融合监控图像上直观呈现异常情况及其原因。
4.如权利要求1-3任意一项所述的一种智能视觉监控方法,其特征在于:所述摄像装置畸变量获取步骤中,对摄像装置拍摄的视频监控图像进行校正处理,具体是指,对摄像装置拍摄得到的视频监控图像进行空间还原,将二维视频监控图像映射到三维的被监控场景中,使得被监控场景和各个监控对象具有三维空间属性;得到摄像装置沿光学中心点径向产生的径向畸变量和摄像装置透镜不完全平行于成像平面而产生的切向畸变量。
5.如权利要求1所述的一种智能视觉监控方法,其特征在于:根据标识数据和定位数据在三维虚拟场景仿真模型中对各个监控对象进行精准定位和运动跟踪,使得各个监控对象可在融合监控图像中被选取;当摄像装置进行旋转、缩放时,也能在融合监控图像上对监控对象进行跟踪和选取。
6.如权利要求1或3所述的一种智能视觉监控方法,其特征在于:三维虚拟场景仿真模型对被监控场景的数据和各个设备的运行状态和/或参数进行数据分析,并根据分析结构判断是否需要发出报警通知,如果是,则根据报警数据的不同,以不同提示方式发出报警通知,该报警通知在所述融合监控图像中显示。
7.如权利要求1所述的一种智能视觉监控方法,其特征在于:所述摄像装置的技术参数包括清晰视距、模糊视距、照明视距、水平视角、高低视角、云台水平旋转角度范围和云台高低旋转角度范围。
8.如权利要求1、2、3、5或7所述的一种智能视觉监控方法,其特征在于:对融合监控图像中的设备进行操作时,该设备在三维虚拟场景模型中的视图被显示在融合监控图像中。
9.如权利要求1、2、3、5或7所述的一种智能视觉监控方法,其特征在于:所述摄像装置采集进入被监控场景中人员的人脸图像,进行人脸识别,并将识别到的人员信息可视化地显示在融合监控图像中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110879318.1A CN113627005B (zh) | 2021-08-02 | 2021-08-02 | 一种智能视觉监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110879318.1A CN113627005B (zh) | 2021-08-02 | 2021-08-02 | 一种智能视觉监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627005A true CN113627005A (zh) | 2021-11-09 |
CN113627005B CN113627005B (zh) | 2024-03-26 |
Family
ID=78382089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110879318.1A Active CN113627005B (zh) | 2021-08-02 | 2021-08-02 | 一种智能视觉监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627005B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113891050A (zh) * | 2021-11-12 | 2022-01-04 | 深圳市佰慧智能科技有限公司 | 一种基于视频联网共享的监控设备管理*** |
CN116128320A (zh) * | 2023-01-04 | 2023-05-16 | 杭州有泰信息技术有限公司 | 电网输变电可视化管控方法及平台 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204656A (zh) * | 2016-07-21 | 2016-12-07 | 中国科学院遥感与数字地球研究所 | 基于视频和三维空间信息的目标定位和跟踪***及方法 |
US20200035019A1 (en) * | 2018-07-25 | 2020-01-30 | Sony Interactive Entertainment Inc. | Method and system for generating an image |
CN110796727A (zh) * | 2019-09-17 | 2020-02-14 | 国网天津市电力公司 | 基于虚拟现实技术的机房远程全景监控方法 |
CN112669205A (zh) * | 2019-10-15 | 2021-04-16 | 北京航天长峰科技工业集团有限公司 | 一种三维视频融合拼接方法 |
KR20210086072A (ko) * | 2019-12-31 | 2021-07-08 | 주식회사 버넥트 | 실시간 현장 작업 모니터링 방법 및 시스템 |
-
2021
- 2021-08-02 CN CN202110879318.1A patent/CN113627005B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204656A (zh) * | 2016-07-21 | 2016-12-07 | 中国科学院遥感与数字地球研究所 | 基于视频和三维空间信息的目标定位和跟踪***及方法 |
US20200035019A1 (en) * | 2018-07-25 | 2020-01-30 | Sony Interactive Entertainment Inc. | Method and system for generating an image |
CN110796727A (zh) * | 2019-09-17 | 2020-02-14 | 国网天津市电力公司 | 基于虚拟现实技术的机房远程全景监控方法 |
CN112669205A (zh) * | 2019-10-15 | 2021-04-16 | 北京航天长峰科技工业集团有限公司 | 一种三维视频融合拼接方法 |
KR20210086072A (ko) * | 2019-12-31 | 2021-07-08 | 주식회사 버넥트 | 실시간 현장 작업 모니터링 방법 및 시스템 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113891050A (zh) * | 2021-11-12 | 2022-01-04 | 深圳市佰慧智能科技有限公司 | 一种基于视频联网共享的监控设备管理*** |
CN113891050B (zh) * | 2021-11-12 | 2022-09-20 | 深圳市佰慧智能科技有限公司 | 一种基于视频联网共享的监控设备管理*** |
CN116128320A (zh) * | 2023-01-04 | 2023-05-16 | 杭州有泰信息技术有限公司 | 电网输变电可视化管控方法及平台 |
CN116128320B (zh) * | 2023-01-04 | 2023-08-08 | 杭州有泰信息技术有限公司 | 电网输变电可视化管控方法及平台 |
Also Published As
Publication number | Publication date |
---|---|
CN113627005B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427917B (zh) | 用于检测关键点的方法和装置 | |
CN112053446B (zh) | 一种基于三维gis的实时监控视频与三维场景融合方法 | |
CN109446664B (zh) | 一种现场进度管理显示设备*** | |
Gong et al. | 3D model-based tree measurement from high-resolution aerial imagery | |
CN110047150B (zh) | 一种基于增强现实的复杂设备操作运行在位仿真*** | |
WO2023093217A1 (zh) | 数据标注方法、装置、计算机设备、存储介质和程序 | |
CN113627005B (zh) | 一种智能视觉监控方法 | |
CN113347360B (zh) | 基于5g视频与bim的施工管理***及其管理方法 | |
WO2019174009A1 (zh) | 一种机房管理方法及动环*** | |
CN103959220B (zh) | 一种实现增强现实的方法及用户设备 | |
CN109638959B (zh) | 基于ar和深度学习的电力设备遥信功能调试方法及*** | |
CN101999139A (zh) | 用于产生和/或更新背景对象模型的纹理的方法、用于实施所述方法的视频监视***以及计算机程序 | |
CN114442805A (zh) | 一种监控场景展示方法、***、电子设备及存储介质 | |
CN110796754A (zh) | 一种基于图像处理技术的机房巡检方法 | |
CN115294207A (zh) | 智慧校园监控视频与三维gis模型的融合调度***及方法 | |
CN114820924A (zh) | 一种基于bim和视频监控的博物馆参观分析的方法及*** | |
CN116962612A (zh) | 应用于仿真***的视频处理方法、装置、设备及存储介质 | |
CN115859689A (zh) | 一种全景可视化数字孪生应用的方法 | |
CN114154032A (zh) | 变电站三维可视化立体巡检方法、***、装置及存储介质 | |
CN112348967A (zh) | 一种电力设备三维模型与实时视频无缝融合的方法 | |
CN112988096A (zh) | 显示单元定位方法、装置、设备、存储介质和显示装置 | |
CN116402497B (zh) | 基于ar的设备检修维护方法及*** | |
CN117934729B (zh) | 一种油气田视频监控实时三维投影融合方法 | |
CN113242410B (zh) | 监控告警方法及装置、监控显示方法及装置和存储介质 | |
CN116524160B (zh) | 基于ar识别的产品一致性辅助核实***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |