CN110390262B - 视频分析方法、装置、服务器及存储介质 - Google Patents
视频分析方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN110390262B CN110390262B CN201910517477.XA CN201910517477A CN110390262B CN 110390262 B CN110390262 B CN 110390262B CN 201910517477 A CN201910517477 A CN 201910517477A CN 110390262 B CN110390262 B CN 110390262B
- Authority
- CN
- China
- Prior art keywords
- target object
- abnormal
- image
- video
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 58
- 230000002159 abnormal effect Effects 0.000 claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims description 64
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000004378 air conditioning Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 14
- 230000005856 abnormality Effects 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005206 flow analysis Methods 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 238000011410 subtraction method Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种视频分析方法，包括：接收摄像头采集的视频图像；检测所述视频图像中的目标对象得到所述目标对象的类别；跟踪所述视频图像中的目标对象得到所述目标对象的状态；根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景；判断所述业务场景是否出现异常；及当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。本发明还提供一种视频分析装置、服务器及存储介质。通过本发明可以获取视频图像中出现异常事件时的关键信息，以及时处理所述异常事件。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种视频分析方法、装置、服务器及存储介质。
背景技术
随着视频监控技术的不断发展，我国目前视频监控在智慧城市、数字城市、智慧园区、智能交通、渡口监测等各类项目得以广泛应用。物联网是智慧城市的基础，视频监控将是核心。然而，在对所述监控视频进行分析时，需要用户重新播放监控视频，一帧一帧查看视频图像，以查找视频图像中的异常事件。需要花费大量时间与人力。
发明内容
鉴于以上内容，有必要提出一种视频分析方法、装置、服务器及存储介质，能够及时获取视频图像中出现异常事件时的关键信息。
本发明的第一方面提供一种视频分析方法，所述方法包括：
接收摄像头采集的视频图像；
检测所述视频图像中的目标对象得到所述目标对象的类别；
跟踪所述视频图像中的目标对象得到所述目标对象的状态；
根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景；
判断所述业务场景是否出现异常；及
当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。
优选地，所述检测所述视频图像中的目标对象得到所述目标对象的类别包括：
通过分解所述视频图像中的目标对象，获取所述视频图像中的目标对象的基本属性；
将获取的所述基本属性与预先存储在数据库中的目标对象的基本属性进行比对；
当获取的所述基本属性与所述数据库中的目标对象的基本属性一致时，查询数据库中存储的基本属性与目标对象类别对应表以得到所述目标对象的类别。
优选地，所述跟踪所述视频图像中的目标对象得到所述目标对象的状态包括：
确定当前视频帧中的目标对象；
获取目标对象在前序视频帧中的图像区域以及所述图像区域的图像特征，其中，所述前序视频帧为当前视频帧之前的k个视频帧，k为正整数；
根据所述目标对象在前序视频帧中的图像区域，对所述目标对象进行运动估计，确定所述目标对象在当前视频帧的预测区域；
根据所述预测区域确定目标对象在当前视频帧中的检测范围；
判断所述目标对象是否出现在当前视频帧中的检测范围；
若所述目标对象出现在当前视频帧中的检测范围，确定所述目标对象在当前视频帧中的图像区域；
若所述目标对象没有出现在当前视频帧中的检测范围，确定所述目标对象异常。
优选地，所述判断所述业务场景是否出现异常包括：
当确定所述目标对象异常时，提取所述当前视频帧作为异常图像；
将所述异常图像作为待识别图像导入预先训练好的异常模型中，其中，所述异常模型用于表征待识别图像与异常场景之间的对应关系；
当所述异常模型输出与所述待识别图像对应的异常场景时，确认所述业务场景出现异常。
优选地，所述关键信息包括所述业务场景出现异常的时间、地点、及截取的所述视频图像中所述业务场景出现异常时的图片文件。
优选地，所述关键信息包括所述业务场景出现异常的时间、地点、及截取的所述视频图像中所述业务场景出现异常时的图片文件。
优选地，所述方法还包括：
发送记录的关键信息至第三方业务平台，其中，所述第三方业务平台包括公安***和交通管制***。
优选地，在接收摄像头采集的视频图像后，所述方法还包括：
对所述视频图像进行解码。
本发明的第二方面提供一种视频分析装置，所述装置包括：
接收模块，用于接收摄像头采集的视频图像；
检测模块，用于检测所述视频图像中的目标对象得到所述目标对象的类别；
跟踪模块，用于跟踪所述视频图像中的目标对象得到所述目标对象的状态；
分析模块，用于根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景；
判断模块，用于判断所述业务场景是否出现异常；及
处理模块，用于当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。
本发明的第三方面提供一种服务器，所述服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述视频分析方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述视频分析方法。
本发明所述的视频分析方法、装置、***及存储介质，能够分析视频图像得到所述视频图像所包含的业务场景，并判断所述业务场景是否出现异常，当所述业务场景出现异常时，记录所述业务场景出现异常时的关键信息。从而可以将所述关键信息发送至对应的第三方平台，以及时处理所述异常。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的视频分析方法的流程图。
图2是本发明实施例二提供的本发明视频分析装置较佳实施例中的功能模块图。
图3是本发明实施例三提供的服务器的示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例的视频分析方法应用在由至少一个服务器和通过网络与所述服务器进行连接的移动终端所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的视频分析方法可以由服务器来执行，也可以由移动终端来执行；还可以是由服务器和移动终端共同执行。
所述对于需要进行视频分析方法的服务器，可以直接在服务器上集成本发明的方法所提供的视频分析功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以以软件开发工具包(Software Development Kit，SDK)的形式运行在服务器等设备上，以SDK的形式提供视频分析功能的接口，服务器或其他设备通过提供的接口即可实现视频分析功能。
实施例一
图1是本发明实施例一提供的视频分析方法的流程图。根据不同的需求，该流程图中的执行顺序可以改变，某些步骤可以省略。
步骤S1，接收摄像头采集的视频图像。
在本实施方式中，通过摄像头采集视频图像，所述摄像头被安装在不同的业务场景中。所述业务场景描述的是需要进行目标对象侦测和/或视频分析的场景。例如，所述业务场景为识别交通事故、拥堵、车速检测、车流预测、车辆失控、车辆行驶轨迹、人员或自行车闯入、违反交通法规、抛洒物等的智能交通业务场景，所述业务场景还可以是识别人员入侵、遗留物、遗失物监测、车***、车辆行驶轨迹、车流分析、人流分析、烟火或烟雾等的智慧园区业务场景，所述业务场景还可以是非法船只、超载、密集人群检测、是否穿救生衣、落水等的渡口监测业务场景。
所述业务场景还可以是无人驾驶、金融场景、设备登录、机场及公共区域的监控等场景。
在本实施方式中，所述摄像头可以是不同厂商出厂的不同型号规格的摄像头，所述视频分析方法可以实现统一处理并分析不同厂商出厂的不同型号规格的摄像头拍摄的视频图像。
优选地，接收摄像头采集的视频图像后，所述视频分析方法还包括：
对所述视频图像进行解码的步骤。
具体地，可以通过图形处理器(GPU)对所述视频图像进行视频解码，以得到所述视频图像中的每帧图像。
步骤S2，检测所述视频图像中的目标对象得到所述目标对象的类别。
在本实施方式中，所述视频图像中的目标对象包括人物、动物、交通工具、建筑物、烟雾等。
具体地，所述检测所述视频图像中的目标对象得到所述目标对象的类别包括：
(1)识别所述视频图像中的目标对象；
在本实施方式中，所述视频图像中的目标对象包括静止目标对象和运动目标对象。
当所述视频图像中的目标对象为静止目标对象时，可以通过基于模板的检测方法来识别所述静止目标对象。具体包括：确定所述视频图像中的目标对象形状的轮廓，将所述目标对象形状的轮廓与预存的模板文件进行特征匹配。
例如，当所述视频图像中的目标对象为一扇门，可以确定所述目标对象形状的轮廓为一矩形，将所述矩形与预存的门的模板文件进行特征匹配来识别所述目标对象。其中，所述门的模板文件为矩形。
当所述视频图像中的目标对象为运动目标对象时，可以通过背景差法、帧差法、光流法中的至少一种进行识别。所述背景差法是对视频图像中相对较为固定的场景进行背景建模，检测时由当前图像与背景模型之差得到所述运动目标对象；所述帧差法是通过对视频序列中相邻帧之间对应位置像素点进行比较来获取运动目标对象的位置；所述光流法是利用时间变化的光流矢量特性，对所述视频图像中的运动目标对象进行检测。
可以理解的是，上述检测视频图像中的静止目标对象和运动目标对象的方法不限于上述列举的，任何适应于检测出视频图像中的目标对象的放法均可应用于此。另外，本实施例中的所述检测视频图像中的静止目标对象和运动目标对象的方法均为现有技术，本文在此不再详细介绍。
(2)确定所述目标对象的类别。
例如，当识别所述视频图像中的目标对象为汽车时，可以确定所述目标对象的类别为交通工具。所述目标对象的检测和分类是视觉技术中一个非常基础的任务，其目的就是跟踪场景中感兴趣的一些物体，包括常规的目标对象检测、人员检测以及车辆检测等等。
在本实施方式中，可以通过分解所述视频图像中的目标对象，获取所述视频图像中的目标对象的基本属性，其中，所述基本属性包括颜色、运动轨迹、形状、结构等，再在所述获取的基本属性与预先存储在数据库中的目标对象的基本属性进行比对，从而准确地识别出所述视频图像中的目标对象。所述数据库中存储有目标对象的基本属性与目标对象类别对应表。
所述确定所述目标对象的类别具体包括：通过分解所述视频图像中的目标对象，获取所述视频图像中的目标对象的基本属性；将获取的所述基本属性与预先存储在数据库中的目标对象的基本属性进行比对；当获取的所述基本属性与所述数据库中的目标对象的基本属性一致时，查询数据库中存储的基本属性与目标对象类别对应表以得到所述目标对象的类别。
步骤S3，跟踪所述视频图像中的目标对象得到所述目标对象的状态。
在目标对象检测完成以后，需要针对每个检测到的目标对象来计算其运动轨迹，从而实现跟踪所述视频图像中的目标对象。在本实施方式中，通过跟踪所述视频图像中的目标对象可以确定所述目标对象的状态。
所述跟踪所述视频图像中的目标对象的方法包括：
a)确定当前视频帧中的目标对象。
b)获取目标对象在前序视频帧中的图像区域以及所述图像区域的图像特征，其中，所述前序视频帧为当前视频帧之前的k个视频帧，k为正整数。
c)根据所述目标对象在前序视频帧中的图像区域，对所述目标对象进行运动估计，确定所述目标对象在当前视频帧的预测区域。
d)根据所述预测区域确定目标对象在当前视频帧中的检测范围。
e)判断所述目标对象是否出现在当前视频帧中的检测范围，若所述目标对象没有出现在当前视频帧中的检测范围，确定所述目标对象的状态异常；若所述目标对象出现在当前视频帧中的检测范围，确定所述目标对象在当前视频帧中的图像区域，即所述目标对象的状态正常。
由于前序视频帧是指当前视频帧之前的k个视频帧，通过这前k个视频帧来对当前视频帧进行预估和对比检测，计算量较小，并且能够解决视频中目标对象偶尔丢失或者遮挡的问题，检测精度较高。
步骤S4，根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景。
在本实施方式中，根据检测结果可以获得目标对象的类别，根据跟踪结果可以确定所述目标对象的状态，从而可以分析得到所述视频图像中包含的业务场景。
例如，根据检测结果可以获得所述目标对象的类别为汽车，所述汽车没有出现在当前视频帧中的检测范围，则可以确定所述汽车的状态异常，如所述汽车处于拥堵状态，则可得知所述视频图像中包括的业务场景为智能交通业务场景。
又如根据检测结果可以获得所述目标对象的类别为行人，所述行人没有出现在当前视频帧中的检测范围，则可以确定所述行人的状态异常。如所述行人摔倒，则可得知所述视频图像中包括的业务场景为智能交通业务场景。
又如根据检测结果可以获得所述目标对象的类别为门，所述门没有出现在当前视频中的检测范围，则可以确认所述门的状态异常，如保持打开状态可判断所述视频图像中包括的业务场景为智能安保业务场景。
步骤S5，判断所述视频图像中的业务场景是否出现异常。当所述视频图像中的业务场景出现异常时，进入步骤S6；当所述视频图像中的业务场景没有出现异常时，结束流程。
在本实施方式中，通过所述目标对象的类别和所述目标对象的状态分析可判断所述视频图像中的业务场景是否出现异常。例如，通过判断所述目标对象是否出现在当前视频帧中的检测范围，若所述目标对象没有出现在当前视频帧中的检测范围，确定所述目标对象的状态异常，即所述目标对象对应的业务场景也出现异常。
在其他实施方式中，可以通过将所述视频图像输入预先训练好的异常模型，并根据所述异常模型判断所述视频图像中的业务场景是否异常。具体地，当确定所述目标对象异常时，提取所述当前视频帧作为异常图像；将所述异常图像作为待识别图像导入预先训练好的异常模型中，其中，所述异常模型用于表征待识别图像与异常场景之间的对应关系；当所述异常模型输出与所述待识别图像对应的异常场景时，确认所述业务场景出现异常所述异常模型包括不同的业务场景对应的异常模型。例如，当所述业务场景为智能交通业务场景时，所述智能交通业务场景对应的异常模型包括交通事故模型、交通拥堵模型及违法违规模型等；当所述业务场景为智慧园区业务场景时，所述智慧园区业务场景对应的异常模型包括随身物品遗留模型、人员入侵模型等；当所述业务场景为渡口监测业务场景时，所述渡口监测业务场景对应的异常模型包括超载模型、落水模型、非法船只模型等。
举例而言，当所述视频图像中当前视频帧出现交通拥堵时，提取所述当前视频帧作为异常图像，并将所述异常图像作为待识别图像导入预先训练好的交通拥堵模型中，当所述交通拥堵模型输出与所述待识别图像对应的交通拥堵场景时，确认所述视频图像对应的智能交通业务场景中出现异常；当所述交通拥堵模型没有输出与所述待识别图像对应的交通拥堵场景时，确认所述视频图像对应的智能交通业务场景中正常。
上述异常模型为根据图片样本集训练的机器学习模型。所述图片样本包括异常业务场景图片样本和正常业务场景图片样本。所述机器学习模型为可以进行图像识别的人工智能算法模型，包括：卷积神经网络模型CNN、循环神经网络模块RNN和深度神经网络模型DNN。其中，卷积神经网络模型CNN是一种多层神经网络，可以将数据量庞大的图像识别问题不断降维，最终使其能够被训练，因此，本申请实施例中的机器学习模型可以为CNN模型。
在CNN网络结构的演化上，出现了许多CNN网络，包括LeNet、AlexNet、VGGNet、GoogleNet和ResNet。其中，ResNet网络提出了一种减轻网络训练负担的残差学习框架，这种网络比以前使用过的网络本质上层次更深，解决了其他神经网络随着网络加深，准确率下降的问题。在本实施方式中，所述机器学习模型可以是卷积申请网络模型CNN中的ResNet模型。需要说明的是，此处仅是举例说明，其他可以进行图像识别的机器学习模型同样适用于本申请，此处不进行赘述。
步骤S6，当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。
在本实施方式中，所述关键信息包括所述业务场景出现异常的时间、地点、及截取的所述视频图像中所述业务场景出现异常时的图片文件等。
进一步地，所述视频分析方法还包括，将记录的关键信息发送至第三方业务平台。所述第三方业务平台包括公安***、交通管制***等。通过将所述记录的关键信息发送至所述第三方业务平台，可以帮助所述第三方业务平台及时获取业务场景中出现异常时的关键信息，从而及时处理所述异常。
进一步地，所述视频分析方法还包括：展示所述业务场景出现异常时的关键信息。具体地，在所述显示屏中显示所述业务场景的异常图片、时间、点的等信息。
综上所述，本发明提供的视频分析方法，包括接收摄像头采集的视频图像；检测所述视频图像中的目标对象得到所述目标对象的类别；跟踪所述视频图像中的目标对象得到所述目标对象的状态；根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景；判断所述业务场景是否出现异常；及当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。可以实时分析所述视频图像对应的业务场景是否出现异常，并在确认所述业务场景出现异常时，记录所述业务场景出现异常时的关键信息。从而可以将所述关键信息发送至对应的第三方平台，以及时处理所述异常。
实施例二
图2为本发明视频分析装置较佳实施例中的功能模块图。
在一些实施例中，所述视频分析装置20运行于服务器中。所述视频分析装置20可以包括多个由程序代码段所组成的功能模块。所述视频分析装置20中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行(详见图1及其相关描述)视频分析功能。
本实施例中，所述视频分析装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：接收模块201、检测模块202、跟踪模块203、分析模块204、判断模块205及处理模块206。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在一些实施例中，关于各模块的功能将在后续的实施例中详述。
所述接收模块201用于接收摄像头采集的视频图像。
在本实施方式中，通过摄像头采集视频图像，所述摄像头被安装在不同的业务场景中。所述业务场景描述的是需要进行目标对象侦测和/或视频分析的场景。例如，所述业务场景为识别交通事故、拥堵、车速检测、车流预测、车辆失控、车辆行驶轨迹、人员或自行车闯入、违反交通法规、抛洒物等的智能交通业务场景，所述业务场景还可以是识别人员入侵、遗留物、遗失物监测、车***、车辆行驶轨迹、车流分析、人流分析、烟火或烟雾等的智慧园区业务场景，所述业务场景还可以是非法船只、超载、密集人群检测、是否穿救生衣、落水等的渡口监测业务场景。
在本实施方式中，所述摄像头与所述服务器之间通过有线或无线网络通信连接。所述摄像头将采集的视频图像通过有线或无线网络发送至所述服务器。
所述业务场景还可以是无人驾驶、金融场景、设备登录、机场及公共区域的监控等场景。
在本实施方式中，所述摄像头可以是不同厂商出厂的不同型号规格的摄像头，所述视频分析方法可以实现统一处理并分析不同厂商出厂的不同型号规格的摄像头拍摄的视频图像。
优选地，接收摄像头采集的视频图像后，所述视频分析装置20还可以：
对所述视频图像进行解码。
具体地，可以通过图形处理器(GPU)对所述视频图像进行视频解码，以得到所述视频图像中的每帧图像。
所述检测模块202用于检测所述视频图像中的目标对象得到所述目标对象的类别。
在本实施方式中，所述视频图像中的目标对象包括人物、动物、交通工具、建筑物、烟雾等。
具体地，所述检测所述视频图像中的目标对象得到所述目标对象的类别包括：
(1)识别所述视频图像中的目标对象；
在本实施方式中，所述视频图像中的目标对象包括静止目标对象和运动目标对象。
当所述视频图像中的目标对象为静止目标对象时，可以通过基于模板的检测方法来识别所述静止目标对象。具体包括：确定所述视频图像中的目标对象形状的轮廓，将所述目标对象形状的轮廓与预存的模板文件进行特征匹配。
当所述视频图像中的目标对象为运动目标对象时，可以通过背景差法、帧差法、光流法中的至少一种进行识别。所述背景差法是对视频图像中相对较为固定的场景进行背景建模，检测时由当前图像与背景模型之差得到所述运动目标对象；所述帧差法是通过对视频序列中相邻帧之间对应位置像素点进行比较来获取运动目标对象的位置；所述光流法是利用时间变化的光流矢量特性，对所述视频图像中的运动目标对象进行检测。
在本实施方式中，上述检测视频图像中的静止目标对象和运动目标对象的方法不限于上述列举的，任何适应于检测出视频图像中的目标对象的放法均可应用于此。另外，本实施例中的所述检测视频图像中的静止目标对象和运动目标对象的方法均为现有技术，本文在此不再详细介绍。
(2)确定所述目标对象的类别。
例如，当识别所述视频图像中的目标对象为汽车时，可以确定所述目标对象的类别为交通工具。所述目标对象的检测和分类是视觉技术中一个非常基础的任务，其目的就是跟踪场景中感兴趣的一些物体，包括常规的目标对象检测、人员检测以及车辆检测等等。
在本实施方式中，可以通过分解所述视频图像中的目标对象，获取所述视频图像中的目标对象的基本属性，其中，所述基本属性包括颜色、运动轨迹、形状、结构等，再在所述获取的基本属性与预先存储在数据库中的目标对象的基本属性进行比对，从而准确地识别出所述视频图像中的目标对象。所述数据库中存储有目标对象的基本属性与目标对象类别对应表。
所述确定所述目标对象的类别具体包括：通过分解所述视频图像中的目标对象，获取所述视频图像中的目标对象的基本属性；将获取的所述基本属性与预先存储在数据库中的目标对象的基本属性进行比对；当获取的所述基本属性与所述数据库中的目标对象的基本属性一致时，查询数据库中存储的基本属性与目标对象类别对应表以得到所述目标对象的类别。
所述跟踪模块203用于跟踪所述视频图像中的目标对象得到所述目标对象的状态。
在目标对象检测完成以后，需要针对每个检测到的目标对象来计算其运动轨迹，从而实现跟踪所述视频图像中的目标对象。在本实施方式中，通过跟踪所述视频图像中的目标对象可以确定所述目标对象的状态。
所述跟踪所述视频图像中的目标对象的方法包括：
a)确定当前视频帧中的目标对象。
b)获取目标对象在前序视频帧中的图像区域以及所述图像区域的图像特征，其中，所述前序视频帧为当前视频帧之前的k个视频帧，k为正整数。
c)根据所述目标对象在前序视频帧中的图像区域，对所述目标对象进行运动估计，确定所述目标对象在当前视频帧的预测区域。
d)根据所述预测区域确定目标对象在当前视频帧中的检测范围。
e)判断所述目标对象是否出现在当前视频帧中的检测范围，若所述目标对象没有出现在当前视频帧中的检测范围，确定所述目标对象的状态异常；若所述目标对象出现在当前视频帧中的检测范围，确定所述目标对象在当前视频帧中的图像区域。
由于前序视频帧是指当前视频帧之前的k个视频帧，通过这前k个视频帧来对当前视频帧进行预估和对比检测，计算量较小，并且能够解决视频中目标对象偶尔丢失或者遮挡的问题，检测精度较高。
所述分析模块204用于根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景。
在本实施方式中，根据检测结果可以获得目标对象的类别，根据跟踪结果可以确定所述目标对象的状态，从而可以分析得到所述视频图像中包含的业务场景。
例如，根据检测结果可以获得所述目标对象为汽车，所述汽车没有出现在当前视频帧中的检测范围，则可以确定所述汽车的状态异常，如所述汽车处于拥堵状态，则可得知所述视频图像中包括的业务场景为智能交通业务场景。
又如根据检测结果可以获得所述目标对象的类别为行人，所述行人没有出现在当前视频帧中的检测范围，则可以确定所述行人的状态异常。如所述行人摔倒，则可得知所述视频图像中包括的业务场景为智能交通业务场景。
所述判断模块205用于判断所述视频图像中的业务场景是否出现异常。当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。
在本实施方式中，通过所述目标对象的类别和所述目标对象的状态分析可判断所述视频图像中的业务场景是否出现异常。例如，通过判断所述目标对象是否出现在当前视频帧中的检测范围，若所述目标对象没有出现在当前视频帧中的检测范围，确定所述目标对象的状态异常，即所述目标对象对应的业务场景也出现异常。
在其他实施方式中，可以通过将所述视频图像输入预先训练好的异常模型，并根据所述异常模型判断所述视频图像中的业务场景是否异常。具体地，当确定所述目标对象异常时，提取所述当前视频帧作为异常图像；将所述异常图像作为待识别图像导入预先训练好的异常模型中，其中，所述异常模型用于表征待识别图像与异常场景之间的对应关系；当所述异常模型输出与所述待识别图像对应的异常场景时，确认所述业务场景出现异常所述异常模型包括不同的业务场景对应的异常模型。例如，当所述业务场景为智能交通业务场景时，所述智能交通业务场景对应的异常模型包括交通事故模型、交通拥堵模型及违法违规模型等；当所述业务场景为智慧园区业务场景时，所述智慧园区业务场景对应的异常模型包括随身物品遗留模型、人员入侵模型等；当所述业务场景为渡口监测业务场景时，所述渡口监测业务场景对应的异常模型包括超载模型、落水模型、非法船只模型等。
举例而言，当所述视频图像中当前视频帧出现交通拥堵时，提取所述当前视频帧作为异常图像，并将所述异常图像作为待识别图像导入预先训练好的交通拥堵模型中，当所述交通拥堵模型输出与所述待识别图像对应的交通拥堵场景时，确认所述视频图像对应的智能交通业务场景中出现异常；当所述交通拥堵模型没有输出与所述待识别图像对应的交通拥堵场景时，确认所述视频图像对应的智能交通业务场景中正常。
上述异常模型为根据图片样本集训练的机器学习模型。所述图片样本包括异常业务场景图片样本和正常业务场景图片样本。所述机器学习模型为可以进行图像识别的人工智能算法模型，包括：卷积神经网络模型CNN、循环神经网络模块RNN和深度神经网络模型DNN。其中，卷积神经网络模型CNN是一种多层神经网络，可以将数据量庞大的图像识别问题不断降维，最终使其能够被训练，因此，本申请实施例中的机器学习模型可以为CNN模型。
在CNN网络结构的演化上，出现了许多CNN网络，包括LeNet、AlexNet、VGGNet、GoogleNet和ResNet。其中，ResNet网络提出了一种减轻网络训练负担的残差学习框架，这种网络比以前使用过的网络本质上层次更深，解决了其他神经网络随着网络加深，准确率下降的问题。在本实施方式中，所述机器学习模型可以是卷积申请网络模型CNN中的ResNet模型。需要说明的是，此处仅是举例说明，其他可以进行图像识别的机器学习模型同样适用于本申请，此处不进行赘述。
所述处理模块206用于当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。
在本实施方式中，所述关键信息包括所述业务场景出现异常的时间、地点、及截取的所述视频图像中所述业务场景出现异常时的图片文件等。
进一步地，所述视频分析方法还包括，将记录的关键信息发送至第三方业务平台。所述第三方业务平台包括公安***、交通管制***等。通过将所述记录的关键信息发送至所述第三方业务平台，可以帮助所述第三方业务平台及时获取业务场景中出现异常时的关键信息，从而及时处理所述异常。
进一步地，所述视频分析方法还包括：展示所述业务场景出现异常时的关键信息。具体地，在显示屏中显示所述业务场景出现异常的时间、地点、及截取的所述视频图像中所述业务场景出现异常时的图片文件等。
综上所述，本发明提供的视频分析装置20，包括接收模块201、检测模块202、跟踪模块203、分析模块204、判断模块205及处理模块206。所述接收模块201用于接收摄像头采集的视频图像；所述检测模块202用于检测所述视频图像中的目标对象得到所述目标对象的类别；所述跟踪模块203用于跟踪所述视频图像中的目标对象得到所述目标对象的状态；所述分析模块204用于根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景；所述判断模块205用于判断所述业务场景是否出现异常；及所述处理模块206用于当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。可以实时分析所述视频图像对应的业务场景是否出现异常，并在确认所述业务场景出现异常时，记录所述业务场景出现异常时的关键信息。从而可以将所述关键信息发送至对应的第三方平台，以及时处理所述异常。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，双屏设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
实施例三
图3为本发明实施例三提供的服务器的示意图。
所述服务器3包括：数据库31、存储器32、至少一个处理器33、存储在所述存储器32中并可在所述至少一个处理器33上运行的计算机程序34及至少一条通讯总线35。
所述至少一个处理器33执行所述计算机程序34时实现上述视频分析方法实施例中的步骤。
示例性的，所述计算机程序34可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器32中，并由所述至少一个处理器33执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序34在所述服务器3中的执行过程。
所述服务器3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(应用程序licationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。本领域技术人员可以理解，所述示意图3仅仅是服务器3的示例，并不构成对服务器3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器3还可以包括输入输出设备、网络接入设备、总线等。
所述数据库(Database)31是按照数据结构来组织、存储和管理数据的建立在所述服务器3上的仓库。数据库通常分为层次式数据库、网络式数据库和关系式数据库三种。在本实施方式中，所述数据库31用于存储所述视频图像等。
所述至少一个处理器33可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器33可以是微处理器或者该处理器33也可以是任何常规的处理器等，所述处理器33是所述服务器3的控制中心，利用各种接口和线路连接整个服务器3的各个部分。
所述存储器32可用于存储所述计算机程序34和/或模块/单元，所述处理器33通过运行或执行存储在所述存储器32内的计算机程序和/或模块/单元，以及调用存储在存储器32内的数据，实现所述服务器3的各种功能。所述存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器3的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述存储器32中存储有程序代码，且所述至少一个处理器33可调用所述存储器32中存储的程序代码以执行相关的功能。例如，图2中所述的各个模块(接收模块201、检测模块202、跟踪模块203、分析模块204、判断模块205及处理模块206)是存储在所述存储器32中的程序代码，并由所述至少一个处理器33所执行，从而实现所述各个模块的功能以达到视频分析目的。
所述接收模块201用于接收摄像头采集的视频图像；
所述检测模块202用于检测所述视频图像中的目标对象得到所述目标对象的类别；
所述跟踪模块203用于跟踪所述视频图像中的目标对象得到所述目标对象的状态；
所述分析模块204用于根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景；
所述判断模块205用于判断所述业务场景是否出现异常；及
所述处理模块206用于当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。
所述服务器3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管未示出，所述服务器3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理***与所述至少一个处理器33逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述服务器3还可以包括蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能单元可以集成在相同处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神范围。
Claims (8)
1.一种视频分析方法，其特征在于，所述方法包括：
接收摄像头采集的视频图像；
检测所述视频图像中的目标对象得到所述目标对象的类别；
跟踪所述视频图像中的目标对象得到所述目标对象的状态，包括：确定当前视频帧中的目标对象；获取目标对象在前序视频帧中的图像区域以及所述图像区域的图像特征，其中，所述前序视频帧为当前视频帧之前的k个视频帧，k为正整数；根据所述目标对象在前序视频帧中的图像区域，对所述目标对象进行运动估计，确定所述目标对象在当前视频帧的预测区域；根据所述预测区域确定目标对象在当前视频帧中的检测范围；判断所述目标对象是否出现在当前视频帧中的检测范围；若所述目标对象出现在当前视频帧中的检测范围，确定所述目标对象在当前视频帧中的图像区域；若所述目标对象没有出现在当前视频帧中的检测范围，确定所述目标对象异常；
根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景；
判断所述业务场景是否出现异常，包括：当确定所述目标对象异常时，提取所述当前视频帧作为异常图像；将所述异常图像作为待识别图像导入预先训练好的异常模型中，其中，所述异常模型用于表征待识别图像与异常场景之间的对应关系；当所述异常模型输出与所述待识别图像对应的异常场景时，确认所述业务场景出现异常；及
当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。
2.如权利要求1所述的视频分析方法，其特征在于，所述检测所述视频图像中的目标对象得到所述目标对象的类别包括：
通过分解所述视频图像中的目标对象，获取所述视频图像中的目标对象的基本属性；
将获取的所述基本属性与预先存储在数据库中的目标对象的基本属性进行比对；
当获取的所述基本属性与所述数据库中的目标对象的基本属性一致时，查询数据库中存储的基本属性与目标对象类别对应表以得到所述目标对象的类别。
3.如权利要求1所述的视频分析方法，其特征在于，所述关键信息包括所述业务场景出现异常的时间、地点、及截取的所述视频图像中所述业务场景出现异常时的图片文件。
4.如权利要求3所述的视频分析方法，其特征在于，所述方法还包括：
发送记录的关键信息至第三方业务平台，其中，所述第三方业务平台包括公安***和交通管制***。
5.如权利要求1所述的视频分析方法，其特征在于，在接收摄像头采集的视频图像后，所述方法还包括：
对所述视频图像进行解码。
6.一种视频分析装置，其特征在于，所述装置包括：
接收模块，用于接收摄像头采集的视频图像；
检测模块，用于检测所述视频图像中的目标对象得到所述目标对象的类别；
跟踪模块，用于跟踪所述视频图像中的目标对象得到所述目标对象的状态，包括：确定当前视频帧中的目标对象；获取目标对象在前序视频帧中的图像区域以及所述图像区域的图像特征，其中，所述前序视频帧为当前视频帧之前的k个视频帧，k为正整数；根据所述目标对象在前序视频帧中的图像区域，对所述目标对象进行运动估计，确定所述目标对象在当前视频帧的预测区域；根据所述预测区域确定目标对象在当前视频帧中的检测范围；判断所述目标对象是否出现在当前视频帧中的检测范围；若所述目标对象出现在当前视频帧中的检测范围，确定所述目标对象在当前视频帧中的图像区域；若所述目标对象没有出现在当前视频帧中的检测范围，确定所述目标对象异常；
分析模块，用于根据所述目标对象的类别和所述目标对象的状态分析得到所述视频图像中包含的业务场景；
判断模块，用于判断所述业务场景是否出现异常，包括：当确定所述目标对象异常时，提取所述当前视频帧作为异常图像；将所述异常图像作为待识别图像导入预先训练好的异常模型中，其中，所述异常模型用于表征待识别图像与异常场景之间的对应关系；当所述异常模型输出与所述待识别图像对应的异常场景时，确认所述业务场景出现异常；及
处理模块，用于当所述视频图像中的业务场景出现异常时，记录所述业务场景出现异常时的关键信息。
7.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至5中任意一项所述的视频分析方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的视频分析方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910517477.XA CN110390262B (zh) | 2019-06-14 | 2019-06-14 | 视频分析方法、装置、服务器及存储介质 |
| PCT/CN2019/103373 WO2020248386A1 (zh) | 2019-06-14 | 2019-08-29 | 视频分析方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910517477.XA CN110390262B (zh) | 2019-06-14 | 2019-06-14 | 视频分析方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110390262A CN110390262A (zh) | 2019-10-29 |
| CN110390262B true CN110390262B (zh) | 2023-06-30 |
Family
ID=68285438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910517477.XA Active CN110390262B (zh) | 2019-06-14 | 2019-06-14 | 视频分析方法、装置、服务器及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110390262B (zh) |
| WO (1) | WO2020248386A1 (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339894A (zh) * | 2020-02-20 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 一种数据处理、风险识别方法、装置、设备及介质 |
| CN111652043A (zh) * | 2020-04-15 | 2020-09-11 | 北京三快在线科技有限公司 | 对象状态识别方法、装置、图像采集设备及存储介质 |
| CN113552123A (zh) * | 2020-04-17 | 2021-10-26 | 华为技术有限公司 | 视觉检测方法和视觉检测装置 |
| CN111680610A (zh) * | 2020-06-03 | 2020-09-18 | 合肥中科类脑智能技术有限公司 | 一种施工场景异常监测方法和装置 |
| CN111783591B (zh) * | 2020-06-23 | 2024-04-26 | 北京百度网讯科技有限公司 | 异常检测方法、装置、设备和存储介质 |
| CN111832492B (zh) * | 2020-07-16 | 2024-06-04 | 平安科技（深圳）有限公司 | 静态交通异常的判别方法、装置、计算机设备及存储介质 |
| CN112633126B (zh) * | 2020-12-18 | 2024-06-14 | 联通物联网有限责任公司 | 视频处理方法及装置 |
| CN112711994A (zh) * | 2020-12-21 | 2021-04-27 | 航天信息股份有限公司 | 基于场景识别的违章作业行为检测方法及*** |
| CN112634329B (zh) * | 2020-12-26 | 2024-02-13 | 西安电子科技大学 | 一种基于时空与或图的场景目标活动预测方法及装置 |
| CN112749636B (zh) * | 2020-12-29 | 2023-10-31 | 精英数智科技股份有限公司 | 一种煤矿探放水的监测方法、装置、***和存储介质 |
| CN112804489B (zh) * | 2020-12-31 | 2023-02-17 | 重庆文理学院 | 基于互联网+的智慧工地管理***及方法 |
| CN112991280B (zh) * | 2021-03-03 | 2024-05-28 | 望知科技(深圳)有限公司 | 视觉检测方法、***及电子设备 |
| CN113065456A (zh) * | 2021-03-30 | 2021-07-02 | 上海商汤智能科技有限公司 | 信息提示方法、装置、电子设备和计算机存储介质 |
| CN113378005B (zh) * | 2021-06-03 | 2023-06-02 | 北京百度网讯科技有限公司 | 事件处理方法、装置、电子设备以及存储介质 |
| CN113361468A (zh) * | 2021-06-30 | 2021-09-07 | 北京百度网讯科技有限公司 | 一种业务质检方法、装置、设备及存储介质 |
| CN113422935B (zh) * | 2021-07-06 | 2022-09-30 | 城云科技（中国）有限公司 | 视频流处理方法、装置及*** |
| CN114205565B (zh) * | 2022-02-15 | 2022-07-29 | 云丁网络技术(北京)有限公司 | 一种监控视频分发方法和*** |
| CN113673351A (zh) * | 2021-07-21 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种行为检测方法、设备以及存储介质 |
| CN113705370B (zh) * | 2021-08-09 | 2023-06-30 | 百度在线网络技术（北京）有限公司 | 直播间违规行为的检测方法及装置、电子设备和存储介质 |
| CN113724220A (zh) * | 2021-08-27 | 2021-11-30 | 青岛创新奇智科技集团股份有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
| CN113763860B (zh) * | 2021-09-14 | 2024-05-31 | 杭州海康消防科技有限公司 | 显示颜色确定方法、装置、电子设备和存储介质 |
| CN113807257A (zh) * | 2021-09-17 | 2021-12-17 | 深圳市商汤科技有限公司 | 算法应用元生成方法、装置、设备及计算机可读存储介质 |
| CN113936258A (zh) * | 2021-10-15 | 2022-01-14 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN113992890A (zh) * | 2021-10-22 | 2022-01-28 | 北京明略昭辉科技有限公司 | 一种监测方法、装置、存储介质及电子设备 |
| CN113891072B (zh) * | 2021-12-08 | 2022-02-11 | 北京拙河科技有限公司 | 基于亿级像素数据的视频监测与异常分析***与方法 |
| CN114378862B (zh) * | 2022-03-02 | 2024-05-10 | 北京云迹科技股份有限公司 | 基于云平台的机器人异常自动修复方法、装置和机器人 |
| CN114682520A (zh) * | 2022-04-12 | 2022-07-01 | 浪潮软件集团有限公司 | 一种基于国产cpu和人工智能加速卡的次品分拣装置 |
| CN114792368A (zh) * | 2022-04-28 | 2022-07-26 | 上海兴容信息技术有限公司 | 一种智能判断门店合规的方法和*** |
| CN116708899B (zh) * | 2022-06-30 | 2024-01-23 | 北京生数科技有限公司 | 应用于合成虚拟形象的视频处理方法、装置及存储介质 |
| CN115834621A (zh) * | 2022-11-16 | 2023-03-21 | 山东新一代信息产业技术研究院有限公司 | 一种基于人工智能的事故快处装置和方法 |
| CN117079211B (zh) * | 2023-08-16 | 2024-06-04 | 广州腾方科技有限公司 | 一种网络机房的安全监控***及其方法 |
| CN116953416B (zh) * | 2023-09-19 | 2023-12-08 | 英迪格(天津)电气有限公司 | 一种铁路变配电装置运行状态的监控*** |
| CN117079079B (zh) * | 2023-09-27 | 2024-03-15 | 中电科新型智慧城市研究院有限公司 | 视频异常检测模型的训练方法、视频异常检测方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194318A (zh) * | 2017-04-24 | 2017-09-22 | 北京航空航天大学 | 目标检测辅助的场景识别方法 |
| CN108830204A (zh) * | 2018-06-01 | 2018-11-16 | 中国科学技术大学 | 面对目标的监控视频中异常检测方法 |
| CN109598885A (zh) * | 2018-12-21 | 2019-04-09 | 广东中安金狮科创有限公司 | 监控***及其报警方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8200011B2 (en) * | 2007-09-27 | 2012-06-12 | Behavioral Recognition Systems, Inc. | Context processor for video analysis system |
| CN107346415A (zh) * | 2017-06-08 | 2017-11-14 | 小草数语（北京）科技有限公司 | 视频图像处理方法、装置及监控设备 |
| US10546197B2 (en) * | 2017-09-26 | 2020-01-28 | Ambient AI, Inc. | Systems and methods for intelligent and interpretive analysis of video image data using machine learning |
| CN109063667B (zh) * | 2018-08-14 | 2021-02-19 | 视云融聚（广州）科技有限公司 | 一种基于场景的视频识别方式优化及推送方法 |
-
2019
- 2019-06-14 CN CN201910517477.XA patent/CN110390262B/zh active Active
- 2019-08-29 WO PCT/CN2019/103373 patent/WO2020248386A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194318A (zh) * | 2017-04-24 | 2017-09-22 | 北京航空航天大学 | 目标检测辅助的场景识别方法 |
| CN108830204A (zh) * | 2018-06-01 | 2018-11-16 | 中国科学技术大学 | 面对目标的监控视频中异常检测方法 |
| CN109598885A (zh) * | 2018-12-21 | 2019-04-09 | 广东中安金狮科创有限公司 | 监控***及其报警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020248386A1 (zh) | 2020-12-17 |
| CN110390262A (zh) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390262B (zh) | 视频分析方法、装置、服务器及存储介质 | |
| CN110414313B (zh) | 异常行为告警方法、装置、服务器及存储介质 | |
| US10706330B2 (en) | Methods and systems for accurately recognizing vehicle license plates | |
| WO2020024457A1 (zh) | 交通事故的定责方法、装置及计算机可读存储介质 | |
| EP3806064A1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN109409238B (zh) | 一种障碍物检测方法、装置及终端设备 | |
| CN110309735A (zh) | 异常侦测方法、装置、服务器及存储介质 | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN112200081A (zh) | 异常行为识别方法、装置、电子设备及存储介质 | |
| CN112085952A (zh) | 监控车辆数据方法、装置、计算机设备及存储介质 | |
| CN102902960A (zh) | 基于高斯建模与目标轮廓的遗留物检测方法 | |
| CN112052815A (zh) | 一种行为检测方法、装置及电子设备 | |
| CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
| Tung et al. | Large-scale object detection of images from network cameras in variable ambient lighting conditions | |
| CN114926766A (zh) | 识别方法及装置、设备、计算机可读存储介质 | |
| CN111178235A (zh) | 一种目标数量确定方法、装置、设备及存储介质 | |
| CN112818839A (zh) | 驾驶员违章行为识别方法、装置、设备及介质 | |
| CN112464755A (zh) | 一种监控方法及装置、电子设备、存储介质 | |
| CN109889776A (zh) | 视频处理方法、装置、计算机装置及计算机可读存储介质 | |
| CN111126411B (zh) | 一种异常行为识别方法及装置 | |
| CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
| CN111400415A (zh) | 涉稳人员的管理方法及相关装置 | |
| US11288519B2 (en) | Object counting and classification for image processing | |
| CN111985304A (zh) | 巡防告警方法、***、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |