CN113452954B - 行为分析方法、装置、设备和介质 - Google Patents

行为分析方法、装置、设备和介质 Download PDF

Info

Publication number
CN113452954B
CN113452954B CN202010223353.3A CN202010223353A CN113452954B CN 113452954 B CN113452954 B CN 113452954B CN 202010223353 A CN202010223353 A CN 202010223353A CN 113452954 B CN113452954 B CN 113452954B
Authority
CN
China
Prior art keywords
behavior
monitoring
scene
pixel point
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010223353.3A
Other languages
English (en)
Other versions
CN113452954A (zh
Inventor
单远达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN202010223353.3A priority Critical patent/CN113452954B/zh
Publication of CN113452954A publication Critical patent/CN113452954A/zh
Application granted granted Critical
Publication of CN113452954B publication Critical patent/CN113452954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例公开了一种行为分析方法、装置、设备和介质。其中方法包括：在监控场景的视频中框选监测目标，并在监控场景对应的三维虚拟场景中显示监测目标框；根据监测目标框在三维虚拟场景中的位置，确定监测目标的行为；监测目标的行为异常时，发出预警信息。本发明实施例实现对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。

Description

行为分析方法、装置、设备和介质
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种行为分析方法、装置、设备和介质。
背景技术
通过将监控视频与三维虚拟环境相融合，能够实现直观、准确地从一个虚拟环境中对监测目标进行识别、追踪以及对其行为进行分析等业务。
目前，基于监控视频与三维虚拟环境相融合得到的三维监控***，对监测目标行为进行分析时，通常是基于人工在监控视频上进行标注，然后根据标注的信息，分析监测目标的行为信息，以在监测目标行为出现异常时进行报警。上述方式不仅操作繁琐，还需要耗费大量人力成本，且效率低的问题。
发明内容
本发明实施例提供一种行为分析方法、装置、设备和介质，实现对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。
第一方面，本发明实施例提供了一种行为分析方法，该方法包括：
在监控场景的视频中框选监测目标，并在所述监控场景对应的三维虚拟场景中显示监测目标框；
根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为；
所述监测目标的行为异常时，发出预警信息。
第二方面，本发明实施例还提供了一种行为分析装置，该装置包括：
目标显示模块，用于在监控场景的视频中框选监测目标，并在所述监控场景对应的三维虚拟场景中显示监测目标框；
行为确定模块，用于根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为；
预警模块，用于所述监测目标的行为异常时，发出预警信息。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的行为分析方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时以实现本发明任一实施例所述的行为分析方法。
本发明实施例公开的技术方案，具有如下有益效果：
通过在监控场景的视频中框选监测目标，并在监控场景对应的三维虚拟场景中显示监测目标框，以根据监测目标框在三维虚拟场景中的位置，确定监测目标的行为，当监测目标的行为异常时，发送预警信息。由此，实现了对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。
附图说明
图1是本发明实施例中的一种行为分析方法的流程示意图；
图2是本发明实施例中的将监控场景的视频与三维虚拟场景进行融合及显示过程的流程示意图；
图3是本发明实施例中的确定视频中至少一个未被遮挡的可见物体的流程示意图；
图4是本发明实施例中的确定物体EFGH为被遮挡的可见物体的示意图；
图5是本发明实施例中的在三维虚拟场景中显示监测目标框，及其他未被遮挡可见物体的视频图像示意图；
图6是本发明实施例中的另一种行为分析方法的流程示意图；
图7是本发明实施例中的再一种行为分析方法的流程示意图；
图8是本发明实施例中的当预设区域类型为停车区域时，确定车辆的行为的流程示意图；
图9是本发明实施例中的当预设区域类型为禁止停车区域时，确定车辆的行为的流程示意图；
图10是本发明实施例中的一种行为分析装置的结构示意图；
图11是本发明实施例中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
本发明实施例针对相关技术中，对监测目标行为进行分析时，通常是基于人工在监控视频上进行标注，然后根据标注的信息分析监测目标的行为信息，以在监测目标行为出现异常时进行报警，存在操作繁琐，需要耗费大量人力成本，效率低的问题，提出一种行为分析方法。
本发明实施例通过在监控场景的视频中框选监测目标，并在监控场景对应的三维虚拟场景中显示监测目标框，以根据监测目标框在三维虚拟场景中的位置，确定监测目标的行为，当监测目标的行为异常时，发送预警信息。由此，实现了对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。
下面参考附图对本发明实施例的行为分析方法、装置、设备及存储介质进行详细说明。
首先结合附图1，对本发明实施例提供的行为分析方法进行具体说明。
图1是本发明实施例中的一种行为分析方法的流程示意图，本实施例可适用于对监控视频中监测目标的行为进行自动化分析的情况，该方法可由行为分析装置来执行，该装置可由硬件和/或软件组成，并可集成于电子设备中。该行为分析方法具体包括如下：
S101，在监控场景的视频中框选监测目标，并在所述监控场景对应的三维虚拟场景中显示监测目标框。
在本发明实施例中，监测目标包括人物和/或车辆。
可以理解的是，监测目标包括人物和/或车辆，可以是指人物；或者，也可以是指车辆；又或者，还可以是指人物和车辆，本实施例对其不做具体限定。
需要说明的是，本发明实施例可应用于任意接入真实监控场景的监控视频(即监控场景的视频)并与三维虚拟场景融合，以基于融合的场景，自动对监测目标的行为进行分析及预警的场景。特别是为了能够同时呈现多个区域的监控视频，以对不同区域中监测目标的行为进行分析的场景。例如，对于楼层的监控，如果要将楼层中多个重点区域的监控画面同时打开，以在一个显示界面中呈现，则可根据楼层的真实尺寸构建一个三维虚拟场景，并根据楼层中的真实摄像机，在三维虚拟场景中部署对应的虚拟摄像机，并调整虚拟摄像机的可视域与真实摄像机一致，从而可将监控视频投射到三维虚拟场景中，以实现全景实时监控，同时还能对监测目标行为进行自动化分析；或者，还可对学校、监狱或者机场等其他场景进行全景分析及监测目标行为的分析等。
经过上述介绍可知，为了将监控场景的视频与三维虚拟场景融合，以实现直观、准确地从一个虚拟环境中对监测目标的行为进行分析等业务。本发明实施例在执行S101之前，可根据监控场景的尺寸，基于建模软件或其他方式构建一个与监控场景具有相同尺寸的三维虚拟场景，并将构建的三维虚拟场景导入至电子设备中，以为后续对在三维虚拟场景中对监测目标行为分析奠定基础。
由于监控场景中设置有真实摄像机，且三维虚拟场景与监控场景相同，因此本发明实施例可根据监控场景中真实摄像机的安装位置和型号，在三维虚拟场景中设置对应的虚拟摄像机，并根据真实摄像机的可视域，调整虚拟摄像机的可视域参数，以使虚拟摄像机的可视域与真实摄像机的可视域一致，从而确保真实摄像机与虚拟摄像机输出的图像保持一致。其中，虚拟摄像机的可视域参数包括：水平视场角、竖直视场角和成像长宽比。
其中，在三维虚拟场景中设置虚拟摄像机时，可根据真实摄像机型号，从摄像机模型库中选择相同型号的虚拟摄像机，并根据真实摄像机的安装位置，将该虚拟摄像机安装在相同位置处。在本发明实施例中，应用在三维虚拟场景中的虚拟摄像机，能够摄录该三维虚拟场景环境。
安装好虚拟摄像机之后，本发明实施例即可调整虚拟摄像机的可视域参数，以使虚拟摄像机的可视域与真实摄像机的可视域一致。
具体的，虚拟摄像机的可视域参数包括：成像长宽比Aspect、水平视场角AGhor及竖直视场角AGver。其中，成像长宽比Aspect由虚拟摄像机中感光元件的尺寸决定，具体为：
Figure BDA0002426844220000061
其中w为感光元件的宽，h为感光元件的高。由于感光元件的尺寸由真实摄像机的型号决定，不同型号的摄像机都有与之对应的感光元件尺寸，因此本发明实施例中虚拟摄像机的成像长宽比Aspect根据真实摄像机型号选择虚拟摄像机时就已确定。
通常摄像机的基本成像原理中，焦距F和感光元件的尺寸存在如公式(1)所述的三角函数关系：
Figure BDA0002426844220000062
其中，w为感光元件的宽，h为感光元件的高，F为焦距。
基于上述公式(1)可知，本发明实施例调整虚拟摄像机的可视域参数中水平视场角AGhor及竖直视场角AGver时，只需要调整焦距F，即可得到所需的水平视场角AGhor及竖直视场角AGver。
可以理解的是，本实施例调整虚拟摄像机的可视域参数，可以通过调整虚拟摄像机的水平视场角AGhor及竖直视场角AGver，以使虚拟摄像机的可视域与真实摄像机的可视域一致。
进一步的，对三维虚拟场景中的虚拟摄像机可视域进行调整之后，本发明实施例即可通过三维虚拟摄像机获取监控场景的视频，以对监控场景的视频进行融合并显示处理，其中包括在监控场景的视频中框选监测目标，并在该监控场景对应的三维虚拟场景中显示监测目标框。
需要说明的是，对于本实施例中对监控场景的视频与三维虚拟场景进行融合并显示将在下面实施例中进行具体说明，此处对其不做过多阐述。
S102，根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为。
由于监测目标可为人物，也可为车辆。因此，本实施例中确定监测目标行为，可根据监测目标分为不同的分析方式。
例如，若监测目标为人物，则可根据监测人物框的竖直高度，确定监测人物的行为是正常行为还是异常行为。
又如，若监测目标为车辆，则可根据监测车辆框的至少一个顶角所在位置，确定监测车辆是否停靠在规定区域等。
S103，所述监测目标的行为异常时，发出预警信息。
其中，行为异常是指存在安全隐患的行为，例如人物攀高行为、摔跤行为，或者车辆违规停车等行为。
也就是说，当确定监测目标的行为存在安全隐患时，电子设备自动发出预警信息，以使工作人员能够及时阻止监测目标停止危险行为或者及时采取补救措施，以确保监测目标的安全。
本发明实施例提供的行为分析方法，通过在监控场景的视频中框选监测目标，并在监控场景对应的三维虚拟场景中显示监测目标框，以根据监测目标框在三维虚拟场景中的位置，确定监测目标的行为，当监测目标的行为异常时，发送预警信息。由此，实现了对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。
下面结合图2，对本发明实施例中将监控场景的视频与三维虚拟场景进行融合及显示过程进行具体说明。如图2所示，该方法具体包括：
S201，获取所述监控场景的视频，并确定所述视频的视频格式是否与所述三维虚拟场景支持的视频格式一致，若不一致，则执行S202，否则执行S203。
本实施例中，视频格式是指视频的数据流格式。其中视频格式包括：RGB格式和YUV格式等，此处对其不做具体限定。
示例性的，本发明实施例可通过与监控场景的视频连接接口，获取监控场景的视频。
由于监控场景视频的视频格式可能与三维虚拟场景所支持的视频格式不同，因此本发明实施例在获取到监控场景的视频之后，可将获取的视频的视频格式与三维虚拟场景支持的视频格式进行匹配，以确定视频的视频格式与三维虚拟场景支持的视频格式是否一致。如果一致，则可基于获取的视频执行后续操作；如果不一致，则根据三维虚拟场景支持的视频格式对视频的视频格式进行转换，以使转换后的视频格式与三维虚拟场景支持的视频格式一致，进而在三维虚拟场景中正常显示上述视频画面。
S202，若不一致，则根据所述三维虚拟场景支持的视频格式，对所述视频的视频格式进行转换。
例如，若视频的视频格式为YUV格式，三维虚拟场景支持的视频格式为RGB格式，那么可根据格式转换算法将视频的视频格式从YUV格式转换为RGB格式。
需要说明的是，在转换视频格式时，为了确保视频播放的流畅度。本实施例中还可通过多线程技术，提高视频格式转换速度，以解决因视频进行格式转换，导致视频在播放时出现跳帧的现象，而导致播放不流畅，出现卡顿。
S203，若一致，则无需做任何处理。
本发明实施例中，在对视频格式进行转换或者未转换处理之后，还可进一步根据三维虚拟摄像机中虚拟摄像机，确定视频中未被遮挡的可见物体，从而将未被遮挡的物体的视频画面显示在三维虚拟场景中。其中，未被遮挡的可见物体包括监测目标和非监测目标。本实施例中非监测目标可以是指绿植、路灯以及围栏等物体。具体参见如下步骤S204-S207，确定视频中未被遮挡的可见物体。
S204，根据所述三维虚拟场景中的虚拟摄像机，确定所述视频中至少一个未被遮挡的可见物体。
具体实现时，可通过如下步骤，确定视频中至少一个未被遮挡的可见物体，具体如图3所示；
S31，根据所述虚拟摄像机的可视域，确定所述视频中至少两个可见物体。
通常处于摄像机可视域数学模型-视锥体内的物体，是属于可见物体，而未处于视锥体内的物体，则属于不可见物体。因此，本实施例可根据虚拟摄像机可视域对应的视锥体，快速的确定出至少一个可见物体。
S32，确定每个可见物体的各像素点在深度图上的深度值，和所述每个可见物体的各像素点与所述虚拟摄像机之间的空间距离。
其中，深度图表示摄像机可视域中各像素点与摄像机之间距离的远近。
可选的，可首先获取虚拟摄像机对应的深度图，之后再确定每个可见物体的各像素点在深度图上的深度值，和每个可见物体的各像素点与虚拟摄像机之间的空间距离。
具体实现时，可计算虚拟摄像机可视域内所有像素点分别与该虚拟摄像机之间的空间距离值，再根据每个像素点与虚拟摄像机之间的空间距离值，以及虚拟摄像机的视锥体中近裁剪面距离和远裁剪面距离，计算每个像素点的像素值。然后，根据虚拟摄像机可视域内所有像素点的像素值得到虚拟摄像机对应的深度图。
得到深度图之后，本实施例可确定每个可见物体的各像素点在深度图上的深度值，和每个可见物体的各像素点与虚拟摄像机之间的空间距离。
示例性的，所述确定每个可见物体的各像素点在深度图上的深度值，和所述每个可见物体的各像素点与所述虚拟摄像机之间的空间距离，包括：根据所述每个可见物体的各像素点的像素值，所述虚拟摄像机的近裁剪面距离，以及所述虚拟摄像机的远裁剪面距离，确定所述各像素点在所述深度图上的深度值；根据所述每个可见物体的各像素点的世界坐标和所述虚拟摄像机的世界坐标，确定所述各像素点与所述虚拟摄像机之间的空间距离。
其中，确定每个可见物体的各像素点在所述深度图上的深度值，本发明实施例可基于监控场景的视频和真实摄像机所在的世界坐标系，确定每个可见物体的各像素点的世界坐标poswi，其中i表示第i个像素点，且i为大于1的正整数，再根据每个可见物体的各像素点的世界坐标poswi，计算各像素点对应到虚拟摄像机成像图像上的二维坐标，即为Vi。然后，根据Vi从深度图上获取各像素点在对应位置处的像素值R，从而基于各像素点的像素值，所述虚拟摄像机的近裁剪面距离，以及所述虚拟摄像机的远裁剪面距离，确定所述各像素点在所述深度图上的深度值。
其中，本实施例确定每个可见物体的各像素点与虚拟摄像机之间的空间距离时，可根据虚拟摄像机的世界坐标以及各像素点的世界坐标计算得到。
需要说明的是，本实施例中获取深度图，并基于深度图确定每个可见物体的各像素点在深度图上的深度值，和每个可见物体的各像素点与虚拟摄像机之间的空间距离的具体过程参见现有技术，此处对其不做过多赘述。
S33，根据所述每个可见物体的各像素点在深度图上的深度值，和所述每个可见物体的各像素点与所述虚拟摄像机之间的空间距离，确定至少一个未被遮挡的可见物体。
具体的，可将每个可见物体的各像素点在深度图上的深度值，与每个可见物体的各像素点与虚拟摄像机之间的空间距离进行比较。若任一可见物体中所有像素点在深度图上的深度值小于所述空间距离，则确定所述可见物体被遮挡；若任一可见物体中至少一个像素点在深度图上的深度值大于或者等于所述空间距离，则确定所述可见物体未被遮挡。
其中，在确定任一可见物体被遮挡时，虚拟摄像机可将该被遮挡可见物体进行剔除，即不在三维虚拟场景中投射该被遮挡可见物体的视频图像。
例如，如图4所示，物体EFGH位于物体ABCD的后侧，即物体EFGH被完全遮挡，因此物体EFGH对于虚拟摄像机而言是被遮挡的可见物体。
S205，如果确定所述至少一个未被遮挡的可见物体中包括所述监测目标，则在监控场景的视频中框选监测目标。
示例性的，确定出未被遮挡的可见物体之后，本发明实施例可利用识别算法，确定未被遮挡的可见物体是否为监测目标。若确定未被遮挡的可见物体是监测目标时，则在监控场景的视频中对该监测目标进行框选，并将框选的监测目标的可见像素点集合发送给电子设备中的图形处理器,以使图形处理器基于监测目标的可见像素点集合进行显示处理。其中，识别算法可根据监测目标来确定，例如若监测目标为人物，则识别算法可为人脸识别算法或者人体识别算法等；若监测目标为车辆，则识别算法可为车牌识别算法或者其他识别算法等，本实施例对此不作具体限定。
需要说明的是，本发明实施例中还可将除监测目标之外的非监测目标(其他未被遮挡的可见物体)的可见像素点集合发送给图形处理器，以使图形处理器基于其他未被遮挡的可见物体的可见像素点集合进行显示处理。
S206，获取所述监测目标的可见像素点的像素值及非监测目标的可见像素点的像素值。
在本发明实施例中，图形处理器接收到框选的监测目标的可见像素点集合以及非监测目标的可见像素点集合之后，可基于GPU加速技术，计算三维空间中各可见像素点集合中每个可见像素点对应在二维图像上的像素点位置，并根据各可见像素点集合中每个可见像素点位置，对视频进行采样操作以获取各可见像素点集合中每个可见像素点坐标所在位置处的像素值。
S207，根据纹理映射方法，将所述三维虚拟场景中与所述可见像素点处于相同位置的像素点的像素值，替换为所述可见像素点的像素值，并进行框选显示。
示例性的，图形处理器可基于纹理映射方法，将三维虚拟场景中与可见像素点处于相同位置的像素点的像素值，替换为可见像素点的像素值，并进行框选显示。
例如，如图5所示，在监控场景对应的三维虚拟场中显示监测目标框，具体如图中标记的51和52，及其他未被遮挡可见物体的视频图像。
本发明实施例提供的技术方案，通过将监控场景的视频与三维虚拟场景进行融合并显示，可以高效的将传统的视频监控业务引入到三维虚拟监控中，使得用户能够沉浸式的虚拟场景中也能体验动态的全景式监控业务。
通过前述介绍可知，本发明实施例通过框选监测目标，并在三维虚拟场景中显示监测目标框，根据监测目标框的位置，确定监测目标行为，以在监测目标行为异常时，发出预警信息。
在本发明的一个实现情景中，当监测目标为人物时，本发明根据监测目标框的位置，确定监测目标行为，具体为根据从监测人物框的水平边界线上各取的目标像素点之间的第一垂直距离和/或第一目标像素点与地面间的第二垂直距离，确定人物的行为。其中，第一目标像素点为靠近地面的像素点。下面结合图6，对本发明实施例提供的行为分析方法的上述情况进行说明。该方法具体包括如下：
S601，在监控场景的视频中框选监测人物，并在所述监控场景对应的三维虚拟场景中显示监测人物框。
S602，从监测人物框的两条水平边界线上各取一目标像素点，根据每个目标像素点的空间坐标，确定两个所述目标像素点之间的第一垂直距离及第一目标像素点与地面间的第二垂直距离，其中所述第一目标像素点为靠近地面的像素点。
基于上述实施例中图5中监测人物框A为例进行说明，可从监测人物框A中两条水平边界线上各取一个目标像素点，例如一个目标像素点为左上顶角位置处的像素点Q，另一个目标像素点为左下顶角位置处的像素点S。其中，第一目标像素点即为像素点S；或者，还可将监测人物框左下顶角位置处的像素点作为一个目标像素点，将监测人物框右上顶角位置处的像素点作为另一个目标像素点。其中第一目标像素点即为左下顶角位置处的像素点等。
从监测人物框的两条水平边界线上各取一目标像素点之后，本发明实施例可确定每个目标像素点的空间坐标。具体实现时，通过在深度图中获取所述每个目标像素点的像素值；根据所述每个目标像素点的像素值，虚拟摄像机的近裁剪面距离和虚拟摄像机的远裁剪面距离，确定所述每个目标像素点与虚拟摄像机之间的距离；根据所述虚拟摄像机的世界坐标，所述每个目标像素点的方向以及所述每个目标像素点与所述虚拟摄像机之间的距离，确定每个目标像素点的空间坐标。具体确定过程参见现有方案，此处不做过多赘述。
进一步的，根据所述每个目标像素点的空间坐标，确定两个目标像素点之间的第一垂直距离及第一目标像素点与地面间的第二垂直距离，可根据两点距离公式确定。具体计算过程参见现有方案，此处不做过多赘述。需要说明的是，确定第一目标像素点与地面间的第二垂直距离，具体是指确定第一目标像素点与垂直于地面一像素点之间的垂直距离。
S603，根据所述第一垂直距离和/或所述第二垂直距离，确定所述人物的行为。
具体的，所述根据所述第一垂直距离和/或所述第二垂直距离，确定所述人物的行为，可通过以下方式实现：
第一种方式
若所述第一目标像素点与地面间的第二垂直距离大于或者等于第一距离阈值，则确定所述人物的行为为攀高。
其中，第一距离阈值根据实际场景下人物发生攀高行为时的距离进行设置，例如设置为0.3m或者0.5m等，此处对其不做具体限定。
例如，若第一距离阈值为0.5m，那么当第一目标像素点A点与地面间的第二垂直距离为0.7m，确定人物的行为为攀高行为。
第二种方式
若所述第一目标像素点与地面间的第二垂直距离小于所述第一距离阈值，且所述第一垂直距离小于所述第二距离阈值，则确定所述人物的行为为摔跤。
其中，第一距离阈值根据实际场景下人物发生攀高行为时的距离进行设置，例如设置为0.3m或者0.5m等，此处对其不做具体限定。
第二距离阈值根据人物发生摔跤时人体的垂直高度进行相应设置，或者还可以通过其他方式设置，此处对其不做具体限定。例如，设置为0.3m或者0.4m；又或者，设置为0.5m等。
假设第一距离阈值为0.3m，第二距离阈值为0.5m，从监测人物框中选取的第一目标像素点为A点，第二目标像素点为B点，那么当A点距离地面的第二垂直距离为0.1m，且A点与B点之间的第一垂直距离为0.46m，则确定该人物的行为为摔跤。
第三种方式
若第一垂直距离大于或者等于第二距离阈值，且小于第三距离阈值，则确定人物的行为为下蹲或者坐着。
其中，第三距离阈值根据人物的正常身高参数进行设置，例如设置为1m或者1.1m等。
也就是说，当监测人物框中的两个目标像素点之间的第一垂直距离未超过第三距离阈值，说明人物处于下蹲或者坐着等非站立状态。
第四种方式
若第一垂直距离大于第三距离阈值，则确定人物的行为为站立。
也就是说，本实施例可通过根据从监测人物框的两条水平边界线上分别取的两个目标像素点间的第一垂直距离和/或靠近地面的目标像素点与地面间的第二垂直距离，即可确定人物的行为。
需要注意的是，上述几种方式确定监测人物的行为方式仅为示例性说明，不作为对本发明的具体限定。
需要说明的是，在本发明实施例中，还可获取同一监测人物的多帧图像，通过比对多帧图像中监测人物的行为，确定监测人物行为是否存在安全隐患。例如，通过比对多帧图像，确定任意监测人物存在横穿马路行为，则确定该人物行为存在安全。
S604，若所述人物的行为异常时，发出预警信息。
其中，当确定监测人物的行为为攀高或者摔跤等其他具有安全隐患的异常行为时，向工作人员发送预警信息，以使工作人员能够及时制止人物停止危险行为或者采取保护措施，以提高人员的安全性。
即，本实施例若所述监测目标为人物，且所述人物的行为为攀高或者摔跤，则确定所述监测目标的行为异常，发出预警信息。
本发明实施例提供的技术方案，在监测目标为人物时，通过根据监测人物框在三维虚拟场景中的位置，确定监测人物的行为，以当监测人物行为异常时，发出预警信息，以使监护人员可基于预警信息及时采取保护措施，提高人员的安全性。由此，实现了对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。
在本发明的一个实现情景中，当监测目标为车辆时，本发明根据监测目标框的位置，确定监测目标行为，具体为在车辆超过预设时长时所处位置未发生变化，则根据车辆框所处位置，确定监测目标的行为。下面结合图7，对本发明实施例提供的行为分析方法的上述情况进行说明。该方法具体包括如下：
S701，在监控场景的视频中框选监测车辆，并在所述监控场景对应的三维虚拟场景中显示监测车辆框。
S702，获取监测车辆框上的至少一个顶点，作为目标像素点。
需要说明的是，为了确定监测车辆是否出现违规停车行为，本实施例可首先确定监测车辆框是否在当前位置的停留时间超过预设时长，当超过预设时长时，则确定监测车辆处于停车状态。此时，获取监测车辆框上的至少一个顶点，作为目标像素点。例如，获取左上顶角作为目标像素点；或者，获取右下顶角作为目标像素点；或者，获取左下顶角作为目标像素点等，本实施例对此不做具体限定。
其中，预设时长可根据实际应用场景进行适应性设置，此处对其不做具体限定。例如2分钟(min)或者3min等。
例如，若预设时长为2min，那么当监测车辆框在当前位置停留时间超过3min，则确定监测车辆处于停车状态，则获取监测车辆框上的至少一个顶点，作为目标像素点。
S703，根据每个目标像素点的空间坐标与预设区域中空间坐标间的匹配度，以及预设区域类型，确定所述车辆的行为。
在本实施例中，预设区域类型包括：停车区域和禁止停车区域。
在执行S703之前，可确定每个目标像素点的空间坐标。具体实现时，通过在深度图中获取所述每个目标像素点的像素值；根据所述每个目标像素点的像素值，虚拟摄像机的近裁剪面距离和虚拟摄像机的远裁剪面距离，确定所述每个目标像素点与虚拟摄像机之间的距离；根据所述虚拟摄像机的世界坐标，所述每个目标像素点的方向以及所述每个目标像素点与所述虚拟摄像机之间的距离，确定每个目标像素点的空间坐标。
确定出每个目标像素点的空间坐标之后，即可根据每个目标像素点的空间坐标与预设区域中空间坐标间的匹配度，以及预设区域类型，确定车辆的行为。
具体实现时，若预设区域类型为停车区域，则根据每个目标像素点的空间坐标与预设区域中空间坐标间的匹配度，以及预设区域类型，确定所述车辆的行为，通过如下步骤实现：
S801，获取与所述车辆框之间距离最近的停车位。
具体的，可根据两点距离公式，计算所述车辆框的至少两个顶角位置分别与周围各停车位的至少两个顶角位置的距离值。从所有距离值中选取两个最小值，然后将两个最小值所对应的停车位确定为与车辆框之间距离最近的停车位。
S802，确定每个目标像素点的空间坐标，与所述停车位中空间坐标间的匹配度是否达到匹配度阈值。
S803，若任意目标像素点的空间坐标与所述停车位中空间坐标间的匹配度未达到所述匹配度阈值，则确定所述车辆的行为为违规停车行为。
本实施例中，匹配度阈值根据实际应用需要进行设置，例如设置为1等。例如，若任意两个像素点之间的距离为0，则确定上述两个像素点之间的匹配度为1，否则匹配度不为0。
可选的，可利用欧氏距离或者其他方法，计算每个目标像素点的空间坐标，分别与停车位中每个空间坐标之间的距离。然后，根据距离确定每个目标像素点的空间坐标与停车位中每个空间坐标间的匹配度，从而将匹配度与匹配度阈值进行比对，以根据比对结果确定车辆的行为。
具体实现时，若匹配度阈值为1，那么当每个目标像素点的空间坐标，与停车位中的一个空间坐标的距离为0，则确定每个目标像素点的空间坐标，与停车位中的一个空间坐标匹配度达到匹配度阈值1，从而确定车辆行为为正常；若任意目标像素点的空间坐标与停车位区域中所有空间坐标的距离不为0，则确定该目标像素点的空间坐标与停车位区域中的空间坐标匹配度未达到匹配度阈值1，即小于匹配度阈值，从而确定车辆当前行为为违规停车行为。
在本发明的另一实施例中，若所述预设区域类型为禁止停车区域，则根据每个目标像素点的空间坐标与预设区域中空间坐标间的匹配度，以及预设区域类型，确定所述车辆的行为，通过如下步骤实现：
S901，确定每个目标像素点的空间坐标，与所述禁止停车区域中空间坐标间的匹配度是否达到匹配度阈值；
S902，若任意目标像素点的空间坐标与所述禁止停车区域中空间坐标间的匹配度达到所述匹配度阈值，则确定所述车辆的行为为违规停车行为。
本实施例中，匹配度阈值可与S802中匹配度阈值设置为相同，例如设置为1等。当然也可以设置为不同，此处对其不做具体限定。
可选的，可利用欧氏距离或者其他方法，计算每个目标像素点的空间坐标与禁止停车区域中每个空间坐标之间的距离。然后，根据距离确定每个目标像素点的空间坐标与禁止停车区域中每个空间坐标之间的匹配度，从而将匹配度与匹配度阈值进行比对，以根据比对结果确定车辆的行为。
具体实现时，若任意目标像素点的空间坐标，与禁止停车区域中的一个空间坐标的距离为0，则确定上述目标像素点的空间坐标与禁止停车区域中的一个空间坐标匹配度达到匹配度阈值1，从而确定车辆当前行为为违规停车行为；若每个目标像素点的空间坐标与禁止停车区域中所有空间坐标的距离均不为0，则确定上述目标像素点的空间坐标与禁止停车区域中的空间坐标匹配度未达到匹配度阈值1，即小于匹配度阈值，从而确定车辆的行为为正常。
S704，若所述车辆的行为异常时，发出预警信息。
其中，当确定监测车辆的行为为违规停车等其他具有安全隐患的异常行为时，向工作人员发送预警信息，以使工作人员能够及时制止监测车辆的车主停止危险行为或者采取保护措施，以提高人员的安全性。
即，本实施例若所述监测目标为车辆，且所述车辆的行为为违规停车行为，则确定所述监测目标的行为异常，发出预警信息。
本发明实施例提供的技术方案，在监测目标为车辆时，通过根据监测车辆框在三维虚拟场景中的所处位置，确定监测车辆的行为，以当监测车辆行为异常时，发出预警信息，以使监护人员可基于预警信息及时采取保护措施，提高人员的安全性。由此，实现了对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。
为了实现上述目的，本发明实施例还提出了一种行为分析装置。
图10是本发明实施例中的一种行为分析装置的结构示意图。如图10所示，本发明实施例行为分析装置1000包括：目标显示模块1010、行为确定模块1020和预警模块1030。
其中，目标显示模块1010，用于在监控场景的视频中框选监测目标，并在所述监控场景对应的三维虚拟场景中显示监测目标框；
行为确定模块1020，用于根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为；
预警模块1030，用于所述监测目标的行为异常时，发出预警信息。
作为本发明实施例的一种可选的实现方式，本发明实施例中行为分析装置600，还包括：格式确定模块、格式转换模块和未第一确定模块；
其中，格式确定模块，用于获取所述监控场景的视频，并确定所述视频的视频格式是否与所述三维虚拟场景支持的视频格式一致；
格式转换模块，用于若不一致，则根据所述三维虚拟场景支持的视频格式，对所述视频的视频格式进行转换；
第一确定模块，用于根据所述三维虚拟场景中的虚拟摄像机，确定所述视频中至少一个未被遮挡的可见物体；
相应地，所述目标显示模块810具体用于：
如果确定所述至少一个未被遮挡的可见物体中包括所述监测目标，则在监控场景的视频中框选监测目标。
作为本发明实施例的一种可选的实现方式，第一确定模块包括：第一确定单元、第二确定单元和第三确定单元；
其中，第一确定单元，用于根据所述虚拟摄像机的可视域，确定所述视频中至少两个可见物体；
第二确定单元，用于确定每个可见物体的各像素点在深度图上的深度值，和所述每个可见物体的各像素点与所述虚拟摄像机之间的空间距离；
第三确定单元，用于根据所述每个可见物体的各像素点在深度图上的深度值，和所述每个可见物体的各像素点与所述虚拟摄像机之间的空间距离，确定至少一个未被遮挡的可见物体。
作为本发明实施例的一种可选的实现方式，若所述监测目标为人物，则行为确定模块1020，用于：
从监测人物框的两条水平边界线上各取一目标像素点，根据每个目标像素点的空间坐标，确定两个所述目标像素点之间的第一垂直距离及第一目标像素点与地面间的第二垂直距离，其中所述第一目标像素点为靠近地面的像素点；
根据所述第一垂直距离和/或所述第二垂直距离，确定所述人物的行为。
作为本发明实施例的一种可选的实现方式，行为确定模块1020，具体用于：
若所述第一目标像素点与地面间的第二垂直距离大于或者等于第一距离阈值，则确定所述人物的行为为攀高；
若所述第一目标像素点与地面间的第二垂直距离小于所述第一距离阈值，且所述第一垂直距离小于所述第二距离阈值，则确定所述人物的行为为摔跤。
作为本发明实施例的一种可选的实现方式，若所述监测目标为车辆，则行为确定模块1020包括：目标像素点获取单元和行为确定单元；
其中，目标像素点获取单元，用于获取监测车辆框上的至少一个顶点，作为目标像素点；
行为确定单元，用于根据每个目标像素点的空间坐标与预设区域中空间坐标间的匹配度，以及预设区域类型，确定所述车辆的行为。
作为本发明实施例的一种可选的实现方式，若所述预设区域类型为停车区域，则行为确定单元，具体用于：
获取与所述车辆框之间距离最近的停车位；
确定每个目标像素点的空间坐标，与所述停车位中空间坐标间的匹配度是否达到匹配度阈值；
若任意目标像素点的空间坐标与所述停车位中空间坐标间的匹配度未达到所述匹配度阈值，则确定所述车辆的行为为违规停车行为。
作为本发明实施例的一种可选的实现方式，若所述预设区域类型为禁止停车区域，则行为确定单元，还用于：
确定每个目标像素点的空间坐标，与所述禁止停车区域中空间坐标间的匹配度是否达到匹配度阈值；
若任意目标像素点的空间坐标与所述禁止停车区域中空间坐标间的匹配度达到所述匹配度阈值，则确定所述车辆的行为为违规停车行为。
作为本发明实施例的一种可选的实现方式，预警模块1030，具体用于：
若所述监测目标为人物，且所述人物的行为为攀高或者摔跤，则确定所述监测目标的行为异常，发出预警信息；
若所述监测目标为车辆，且所述车辆的行为为违规停车行为，则确定所述监测目标的行为异常，发出预警信息。
需要说明的是，前述对行为分析方法实施例的解释说明也适用于该实施例的行为分析装置，其实现原理类似，此处不再赘述。
本发明实施例提供的技术方案，通过在监控场景的视频中框选监测目标，并在监控场景对应的三维虚拟场景中显示监测目标框，以根据监测目标框在三维虚拟场景中的位置，确定监测目标的行为，当监测目标的行为异常时，发送预警信息。由此，实现了对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。
为了实现上述目的，本发明实施例还提出了一种电子设备。
图11为本发明提供的一种电子设备的结构示意图。图11示出了适于用来实现本发明实施方式的示例性电子设备1100的框图。图11显示的电子设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备1100典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备1100访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备1100可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图11未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备1100也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备1100还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的行为分析方法，包括：
在监控场景的视频中框选监测目标，并在所述监控场景对应的三维虚拟场景中显示监测目标框；
根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为；
所述监测目标的行为异常时，发出预警信息。
需要说明的是，前述对行为分析方法实施例的解释说明也适用于该实施例的电子设备，其实现原理类似，此处不再赘述。
本发明实施例提供的电子设备，通过在监控场景的视频中框选监测目标，并在监控场景对应的三维虚拟场景中显示监测目标框，以根据监测目标框在三维虚拟场景中的位置，确定监测目标的行为，当监测目标的行为异常时，发送预警信息。由此，实现了对监测目标行为进行自动化分析，以当监测目标行为出现异常时自动进行预警，从而减少人力成本，提高对监测目标的行为分析效率。
为了实现上述目的，本发明还提出了一种计算机可读存储介质。
本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的行为分析方法，该方法包括：
在监控场景的视频中框选监测目标，并在所述监控场景对应的三维虚拟场景中显示监测目标框；
根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为；
所述监测目标的行为异常时，发出预警信息。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种行为分析方法，其特征在于，包括：
根据监控场景的尺寸，构建一个与所述监控场景具有相同尺寸的三维虚拟场景；
根据所述监控场景中真实摄像机的安装位置和型号，在所述三维虚拟场景设置对应的虚拟摄像机，并根据所述真实摄像机的可视域，对应调整所述虚拟摄像机的可视域参数，通过三维虚拟摄像机获取监控场景的视频，以对所述监控场景视频和所述三维虚拟场景进行融合并显示，所述虚拟摄像机能够摄录所述三维虚拟场景环境；
根据所述三维虚拟场景中的虚拟摄像机，确定所述视频中至少一个未被遮挡的可见物体；
在监控场景的视频中框选监测目标，并在所述监控场景对应的三维虚拟场景中显示监测目标框；
根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为；
所述监测目标的行为异常时，发出预警信息；
其中，所述确定所述视频中至少一个未被遮挡的可见物体，包括：
根据所述虚拟摄像机的可视域，确定所述视频中至少两个可见物体；
确定每个可见物体的各像素点在深度图上的深度值，和所述每个可见物体的各像素点与所述虚拟摄像机之间的空间距离；
若任一可见物体中各像素点在深度图上的深度值大于或等于所述空间距离，则确定所述可见物体未被遮挡。
2.根据权利要求1所述的方法，其特征在于，所述在监控场景的视频中框选监测目标之前，所述方法还包括：获取所述监控场景的视频，并确定所述视频的视频格式是否与所述三维虚拟场景支持的视频格式一致；
若不一致，则根据所述三维虚拟场景支持的视频格式，对所述视频的视频格式进行转换；
相应地，所述在监控场景的视频中框选监测目标，具体包括：
如果确定所述至少一个未被遮挡的可见物体中包括所述监测目标，则在监控场景的视频中框选监测目标。
3.根据权利要求1所述的方法，其特征在于，若所述监测目标为人物，则根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为，包括：
从监测人物框的两条水平边界线上各取一目标像素点，根据每个目标像素点的空间坐标，确定两个所述目标像素点之间的第一垂直距离及第一目标像素点与地面间的第二垂直距离，其中所述第一目标像素点为靠近地面的像素点；
根据所述第一垂直距离和/或所述第二垂直距离，确定所述人物的行为。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一垂直距离和/或所述第二垂直距离，确定所述人物的行为，包括：
若所述第一目标像素点与地面间的第二垂直距离大于或者等于第一距离阈值，则确定所述人物的行为为攀高；
若所述第一目标像素点与地面间的第二垂直距离小于所述第一距离阈值，且所述第一垂直距离小于第二距离阈值，则确定所述人物的行为为摔跤。
5.根据权利要求1所述的方法，其特征在于，若所述监测目标为车辆，则根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为，包括：
获取监测车辆框上的至少一个顶点，作为目标像素点；
根据每个目标像素点的空间坐标与预设区域中空间坐标间的匹配度，以及预设区域类型，确定所述车辆的行为。
6.根据权利要求5所述的方法，其特征在于，若所述预设区域类型为停车区域，则根据每个目标像素点的空间坐标与预设区域中空间坐标间的匹配度，以及预设区域类型，确定所述车辆的行为，包括：
获取与所述车辆框之间距离最近的停车位；
确定每个目标像素点的空间坐标，与所述停车位中空间坐标间的匹配度是否达到匹配度阈值；
若任意目标像素点的空间坐标与所述停车位中空间坐标间的匹配度未达到所述匹配度阈值，则确定所述车辆的行为为违规停车行为。
7.根据权利要求5所述的方法，其特征在于，若所述预设区域类型为禁止停车区域，则根据每个目标像素点的空间坐标与预设区域中空间坐标间的匹配度，以及预设区域类型，确定所述车辆的行为，包括：
确定每个目标像素点的空间坐标，与所述禁止停车区域中空间坐标间的匹配度是否达到匹配度阈值；
若任意目标像素点的空间坐标与所述禁止停车区域中空间坐标间的匹配度达到所述匹配度阈值，则确定所述车辆的行为为违规停车行为。
8.一种行为分析装置，其特征在于，包括：
目标显示模块，用于在监控场景的视频中框选监测目标，并在所述监控场景对应的三维虚拟场景中显示监测目标框；
行为确定模块，用于根据所述监测目标框在所述三维虚拟场景中的位置，确定所述监测目标的行为；
预警模块，用于所述监测目标的行为异常时，发出预警信息；
场景构建模块，用于根据监控场景的尺寸，构建一个与所述监控场景具有相同尺寸的三维虚拟场景；根据所述监控场景中真实摄像机的安装位置和型号，在所述三维虚拟场景设置对应的虚拟摄像机，并根据所述真实摄像机的可视域，对应调整所述虚拟摄像机的可视域参数，通过三维虚拟摄像机获取监控场景的视频，以对所述监控场景视频和所述三维虚拟场景进行融合并显示，所述虚拟摄像机能够摄录所述三维虚拟场景环境；
第一确定模块，用于根据所述三维虚拟场景中的虚拟摄像机，确定所述视频中至少一个未被遮挡的可见物体；
其中，所述第一确定模块还包括：
第一确定单元，用于根据所述虚拟摄像机的可视域，确定所述视频中至少两个可见物体；
第二确定单元，用于确定每个可见物体的各像素点在深度图上的深度值，和所述每个可见物体的各像素点与所述虚拟摄像机之间的空间距离；
第三确定单元，用于根据所述每个可见物体的各像素点在深度图上的深度值，和所述每个可见物体的各像素点与所述虚拟摄像机之间的空间距离，若任一可见物体中各像素点在深度图上的深度值大于或等于所述空间距离，则确定所述可见物体未被遮挡。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的行为分析方法。
CN202010223353.3A 2020-03-26 2020-03-26 行为分析方法、装置、设备和介质 Active CN113452954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010223353.3A CN113452954B (zh) 2020-03-26 2020-03-26 行为分析方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010223353.3A CN113452954B (zh) 2020-03-26 2020-03-26 行为分析方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113452954A CN113452954A (zh) 2021-09-28
CN113452954B true CN113452954B (zh) 2023-02-28

Family

ID=77807185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010223353.3A Active CN113452954B (zh) 2020-03-26 2020-03-26 行为分析方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113452954B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096382A (zh) * 2015-07-09 2015-11-25 浙江宇视科技有限公司 一种在视频监控图像中关联真实物体信息的方法及装置
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
CN105303563A (zh) * 2015-09-22 2016-02-03 北京格灵深瞳信息技术有限公司 一种跌倒检测方法及装置
CN107396037A (zh) * 2016-05-16 2017-11-24 杭州海康威视数字技术股份有限公司 视频监控方法及装置
CN108616718A (zh) * 2016-12-13 2018-10-02 杭州海康威视***技术有限公司 监控显示方法、装置及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269834B2 (en) * 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
CN105096382A (zh) * 2015-07-09 2015-11-25 浙江宇视科技有限公司 一种在视频监控图像中关联真实物体信息的方法及装置
CN105303563A (zh) * 2015-09-22 2016-02-03 北京格灵深瞳信息技术有限公司 一种跌倒检测方法及装置
CN107396037A (zh) * 2016-05-16 2017-11-24 杭州海康威视数字技术股份有限公司 视频监控方法及装置
CN108616718A (zh) * 2016-12-13 2018-10-02 杭州海康威视***技术有限公司 监控显示方法、装置及***

Also Published As

Publication number Publication date
CN113452954A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
JP6801760B2 (ja) 画像処理装置、監視システム、画像処理方法、及びプログラム
WO2018107910A1 (zh) 一种全景视频融合方法及装置
US7944454B2 (en) System and method for user monitoring interface of 3-D video streams from multiple cameras
US8212872B2 (en) Transformable privacy mask for video camera images
US9210312B2 (en) Virtual mask for use in autotracking video camera images
CN105678748A (zh) 三维监控***中基于三维重构的交互式标定方法和装置
CA2534747A1 (en) Method and apparatus for placing sensors using 3d models
CN111462249B (zh) 一种交通摄像头标定方法及装置
KR102253989B1 (ko) 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법
CN109859325B (zh) 一种房屋vr视频中房间指引的显示方法及装置
CN113518996A (zh) 从多视图视觉数据进行损坏检测
US20190287308A1 (en) Method for generating an augmented representation of a real environment, corresponding device, computer program product, and computer-readable carrier medium
JP5525495B2 (ja) 映像監視装置、映像監視方法およびプログラム
WO2014194501A1 (en) Combining a digital image with a virtual entity
CN110807413B (zh) 目标显示方法以及相关装置
US20220156497A1 (en) Multi-view visual data damage detection
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
JP6991045B2 (ja) 画像処理装置、画像処理装置の制御方法
CN113452954B (zh) 行为分析方法、装置、设备和介质
JP2019029747A (ja) 画像監視システム
CN114792354B (zh) 模型处理方法、装置、存储介质及电子设备
KR102595000B1 (ko) 얼굴 인식을 이용한 증강 현실 서비스 제공 방법 및 장치
CN113988957B (zh) 基于元素识别的图像自动化评分方法与评分***
Zhang et al. Automated visibility field evaluation of traffic sign based on 3D lidar point clouds
Chen et al. A 3-D surveillance system using multiple integrated cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant