CN111866449A - 一种智能视频采集***及方法 - Google Patents
一种智能视频采集***及方法 Download PDFInfo
- Publication number
- CN111866449A CN111866449A CN202010553474.4A CN202010553474A CN111866449A CN 111866449 A CN111866449 A CN 111866449A CN 202010553474 A CN202010553474 A CN 202010553474A CN 111866449 A CN111866449 A CN 111866449A
- Authority
- CN
- China
- Prior art keywords
- video acquisition
- server
- acquisition terminal
- video
- comm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供了一种智能视频采集***及方法,包括视频采集终端、LoRa网关和服务器,视频采集终端与服务器之间建立自适应通信连接;视频采集终端与服务器进行自适应通信交互;服务器向视频采集终端发送指令,指定视频采集终端需要识别的物体类别,指定视频采集终端向服务器发送采集信息的方式为自适应方式或小数据方式,指定视频采集终端的视频采集方式为连续视频采集方式或非连续视频采集方式。本发明公开的视频采集***及方法,实现了既能采集视频,又能对采集视频中的物体类别进行识别,还能根据实际情况采用恰当的视频采集方式以及恰当的采集信息发送方式,适用于公共安全监控、野外科学研究等许多应用领域。
Description
技术领域
本发明属于物联网领域,涉及视频采集,具体涉及一种智能视频采集***及方法。
背景技术
随着图像处理、嵌入式及物联网技术的快速发展,小型化、智能化且支持无线传输的视频采集***正不断推陈出新,并被用于公共安全监控、野外科学研究等各个领域。
然而,现有的视频采集***及方法一般仅针对某些特定应用场景,在遇到市电供电困难、无线信号覆盖能力不够或网络服务不稳定等情况时,很难根据实际情况采用恰当的视频采集方式及恰当的采集信息发送方式,以致很难及时、有效的将现场情况传回服务器并尽可能长时间的利用电池设备供电,因此限制了现有视频采集***的环境适应性和应用可扩展性。
卡片电脑是近些年出现的仅比***稍大的微型电脑主板,例如树莓派、香蕉派等,卡片电脑包括处理器、内存、USB接口、网络接口、GPIO接口等组成部分,且支持Linux、ubuntu等多种操作***。卡片电脑的上述特点,使其不仅具有良好的硬件可扩展性,而且适用于加载以MobileNet、Shufflenet等为代表的轻量级深度学习模型;以MobileNet为例,其不仅是一个用于物体类别识别等多种视觉识别任务的模型,而且能够高效地在移动设备上运行。与此同时,LoRa作为一种新兴物联网技术,具有广覆盖、大连接、低功耗和低成本等特点,非常适用于在野外等运营商网络无法覆盖且不具备市电供电条件的区域提供灵活、低速的网络接入服务。
综上,卡片电脑、用于物体类别识的深度学***;充分利用上述优点并发明一种智能视频采集***及方法,有助于解决现有视频采集***存在的环境适应性不强等问题。
发明内容
针对现有技术存在的不足,本发明的目的在于,提供一种智能视频采集***及方法,实现既能采集视频,又能对采集视频中的物体类别进行识别,且在识别过程中能在现有识别模型基础上进一步提高识别准确性,还能根据实际情况采用恰当的视频采集方式以及恰当的采集信息发送方式,从而对市区、野外等不同环境具有较好的适应性。
为了解决上述技术问题,本发明采用如下技术方案予以实现:
一种智能视频采集方法,该方法采用视频采集终端、LoRa网关和服务器,其特征在于,该方法具体包括以下步骤:
步骤一,视频采集终端与服务器之间建立自适应通信连接,所述的自适应通信连接具体包括两种通信方式Commtyp:直接通信方式Commdi和间接通信方式Commin;
所述的直接通信方式Commdi为视频采集终端与服务器之间不通过LoRa网关的转发直接进行相互通信;
所述的间接通信方式Commin为视频采集终端与服务器之间通过LoRa网关的转发进行相互通信;
步骤二,所述的视频采集终端与所述的服务器进行自适应通信交互;
步骤三,所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端需要识别的物体类别;
步骤四,所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端向所述的服务器发送采集信息的方式为自适应方式或小数据方式;
步骤五,所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端的视频采集方式为连续视频采集方式或非连续视频采集方式;
步骤六,所述的视频采集终端在本地进行视频采集和采集视频中的物体类别识别,并向所述的服务器发送采集信息,且所述的视频采集终端随时接收所述的服务器发送的指令,以更新需要识别的物体类别或向所述的服务器发送采集信息的方式或视频采集方式。
本发明还具有如下技术特征:
具体的,步骤一中,建立自适应通信连接的过程中,所述的视频采集终端按照以下步骤进行:
步骤1.1.1,创建定时器T1;
步骤1.1.2,检查视频采集终端与服务器之间是否存在已经建立成功的TCP连接,若存在则执行步骤1.1.6,否则执行步骤1.1.3;
步骤1.1.3,视频采集终端向服务器发起TCP连接请求,若TCP连接建立成功,则执行步骤1.1.6,否则执行步骤1.1.4;
步骤1.1.4,视频采集终端通过LoRa网关的转发,向服务器发出间接连接请求REQnode,若视频采集终端接收到所述的服务器的间接连接响应REPserver,则执行步骤1.1.5,否则执行步骤1.1.2;
步骤1.1.5,设置视频采集终端自身的Commtyp为Commin,启动定时器T1,跳转至步骤1.1.7;
步骤1.1.6,设置视频采集终端自身的Commtyp为Commdi,启动定时器T1,跳转至步骤1.1.7;
步骤1.1.7,等待定时器T1触发后,执行步骤1.1.2。
具体的,步骤一中,建立自适应通信连接的过程中,所述的服务器按照以下步骤进行:
步骤1.2.1,创建定时器T21和T22;
步骤1.2.2,检查服务器与视频采集终端之间是否存在已经建立成功的TCP连接,若存在则执行步骤1.2.8,否则执行步骤1.2.3;
步骤1.2.3,检查服务器是否处于TCP连接的LISTEN侦听状态,若处于LISTEN侦听状态则执行步骤1.2.4,否则将TCP连接设置为LISTEN侦听状态后再执行步骤1.2.4;
步骤1.2.4,服务器通过LoRa网关的转发,向视频采集终端发出间接连接请求REQserver,若接收到视频采集终端的间接连接响应REPnode,则执行步骤1.2.7,否则执行步骤1.2.5;
步骤1.2.5,启动定时器T21;
步骤1.2.6,若在定时器T21触发前,服务器接收到视频采集终端发送的TCP连接请求且TCP连接建立成功,则立刻关闭定时器T21并执行步骤1.2.8,否则等到定时器T21触发后重新执行步骤1.2.3;
步骤1.2.7,设置服务器自身的Commtyp为Commin,启动定时器T22,跳转至步骤1.2.9;
步骤1.2.8,设置服务器自身的Commtyp为Commdi,启动定时器T22,跳转至步骤1.2.9;
步骤1.2.9,等待定时器T22触发后,执行步骤1.2.2。
具体的,步骤二中,所述的自适应通信交互的过程中,视频采集终端与服务器均按照以下步骤进行:
步骤2.1,查看自身的Commtyp,若Commtyp为Commdi则执行步骤2.2,若Commtyp为Commin则执行步骤2.3;
步骤2.2,视频采集终端与服务器进行直接通信交互;
步骤2.3,视频采集终端与服务器均通过LoRa网关的转发,进行通信交互。
具体的,步骤四中,所述的自适应方式按照以下步骤进行:
步骤4.1,视频采集终端查看自身的Commtyp,若Commtyp为Commdi则执行步骤4.2,若Commtyp为Commin则执行步骤4.3;
步骤4.2,视频采集终端将采集的视频和采集视频中的物体类别识别结果直接发送给服务器;
步骤4.3,视频采集终端仅将采集视频中的物体类别识别结果发送给LoRa网关,再由LoRa网关转发给服务器;
具体的,步骤四中,所述的小数据方式为视频采集终端仅将采集视频中的物体类别识别结果发送给服务器。
具体的,步骤五中,所述的连续视频采集方式为视频采集终端不间断的进行本地视频采集和采集视频中的物体类别识别,以及向服务器发送采集信息;
具体的,步骤五中,所述的非连续视频采集方式按照以下步骤进行:
步骤5.1,视频采集终端创建定时器T31和T32;
步骤5.2,视频采集终端开始本地视频采集和采集视频中的物体类别识别,以及向服务器发送采集信息;
步骤5.3,视频采集终端启动定时器T31;
步骤5.4,若在定时器T31触发前,识别到需要识别的物体类别,则立刻关闭定时器T31并重新执行步骤5.3,否则等到定时器T31触发后执行步骤5.5;
步骤5.5,视频采集终端停止本地视频采集、采集视频中的物体类别识别以及向服务器发送采集信息,启动定时器T32;
步骤5.6,若在定时器T32触发前,视频采集终端探测到动物、人员,或超声波测距模块探测到有物体进入、物体移动,则立刻关闭定时器T32并重新执行步骤5.2,否则等到定时器T32触发后重新执行步骤5.2。
具体的,所述的采集视频中的物体类别识别,按照以下步骤进行:
步骤6.1,视频采集终端创建定时器T4,视频采集终端设定阈值p、VAL1和VAL2;
步骤6.2,设用于物体类别识别的模型中有m种物体类别,并为其中第i种物体类别CATi设置变量Numi、ACU_SUMi和ACU_AVEi,i=1,2,3,…,m;
步骤6.3,令Numi=0,ACU_SUMi=0,ACU_AVEi=0,i=1,2,3,…,m,并令j=0;
步骤6.4,视频采集终端获取采集视频中的实时单帧图像,对单帧图像中的物体类别进行识别,得到识别概率值最大的前N项物体类别,从大到小依次为CATa,CATb,CATc,CATd和CATe,其中a,b,c,d,e∈{1,2,3,…,m},即用于物体类别识别的模型中的第a种、第b种、第c种、第d种和第e种物体类别,是该单帧图像识别结果中识别概率值最大的前N项物体类别,且得到它们相应的识别概率值依次为ACUa,ACUb,ACUc,ACUd,ACUe,并令Numi=Numi+1,ACU_SUMi=ACU_SUMi+ACUi,i=a,b,c,d,e;
步骤6.5,若ACUa≥VAL1,则执行步骤6.11,否则执行步骤6.6;
步骤6.6,令j=j+1,并启动定时器T4,等到定时器T4触发后执行步骤6.7;
步骤6.7,若j<p,则重新执行步骤6.4,否则执行步骤6.8;
步骤6.8,令ACU_AVEi=ACU_SUMi/Numi,选取ACU_AVE值最大的前N个物体类别组成集合S;
步骤6.9,判断所需识别的物体类别是否属于集合S,若属于集合S,则执行步骤6.10,否则执行步骤6.3;
步骤6.10,若所需识别的物体类别所对应的ACU_AVE大于等于VAL2,则视频采集终端在采集视频中识别到需要识别的物体类别,否则未识别到,然后跳转至步骤6.3;
步骤6.11,判断所需识别的物体类别与ACUa对应的物体类别是否一致,若一致,则视频采集终端在采集视频中识别到需要识别的物体类别,否则未识别到,然后跳转至步骤6.3。
进一步优选的,步骤6.4中,所述的对单帧图像中的物体类别进行识别,按照以下步骤进行:
步骤6.4.1,加载用于物体类别识别的模型,加载时包括模型的结构和权重;
步骤6.4.2,对获取到的单帧图像进行图像预处理,按照模型的接口标准,对图像进行尺寸缩放和像素值缩放,并将图像调整为RGB独立三通道格式;
步骤6.4.3,将预处理后的图像数据输入模型,得到每个分类的概率值;
步骤6.4.4,选取概率值最大的前N项类别作为识别结果,并记录它们对应的识别概率值。
本发明还保护一种智能视频采集***,该***包括视频采集终端、LoRa网关和服务器,所述的视频采集终端包括卡片电脑,以及与卡片电脑分别连接的摄像头模块、无线上网卡模块、LoRa无线数传模块、红外热释电模块和超声波测距模块;所述的视频采集终端通过卡片电脑的内置网卡或无线上网卡模块连接IP网络;
所述的视频采集终端与服务器之间建立自适应通信连接,所述的自适应通信连接具体包括两种通信方式Commtyp:直接通信方式Commdi和间接通信方式Commin;
所述的直接通信方式Commdi为视频采集终端与服务器之间不通过LoRa网关的转发直接进行相互通信;
所述的间接通信方式Commin为视频采集终端与服务器之间通过LoRa网关的转发进行相互通信;
所述的视频采集终端与所述的服务器进行自适应通信交互;
所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端需要识别的物体类别;
所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端向所述的服务器发送采集信息的方式为自适应方式或小数据方式;
所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端的视频采集方式为连续视频采集方式或非连续视频采集方式;
所述的视频采集终端在本地进行视频采集和采集视频中的物体类别识别,并向所述的服务器发送采集信息,且所述的视频采集终端随时接收所述的服务器发送的指令,以更新需要识别的物体类别或向所述的服务器发送采集信息的方式或视频采集方式。
本发明与现有技术相比,具有如下技术效果:
(Ⅰ)本发明提供的***及方法实现了既能采集视频,又能对采集视频中的物体类别进行识别,且在识别过程中能在现有识别模型基础上进一步提高识别准确性,还能根据实际情况采用恰当的视频采集方式以及恰当的采集信息发送方式,从而对市区、野外等不同环境具有较好的适应性。
(Ⅱ)本发明充分利用卡片电脑体积小、性能强的特点,通过运行在现有识别模型基础上提高了识别准确性的识别方法,使视频采集终端既能进行视频采集,又能对采集视频中的物体类别进行识别,有效提升了采集视频的利用价值。
(Ⅲ)本发明充分利用LoRa技术广覆盖、大连接且LoRa网关部署灵活的特点,当视频采集终端无法通过内置网卡或无线上网卡模块接入IP网络时,由LoRa网关接收采集视频中的物体类别识别结果并转发至服务器,使该***既适用于网络服务突发故障的情况,又适用于原始森林、偏远山区等运营商网络无法覆盖的区域,使服务器监控人员尽早尽多的获取现场情况。
(Ⅳ)本发明充分利用卡片电脑扩展性强的特点,通过连接红外热释电模块、超声波测距模块,能够对视频采集区域的变化情况进行探测,使视频采集终端可以采用非连续视频采集的工作方式,不仅能够减少不必要的能耗,使视频采集终端能够尽可能长时间的利用电池设备供电,而且使整个***能够适应更多复杂多变的环境。
附图说明
图1是应用例1的示意图。
图2是应用例2的示意图。
图3是视频采集终端的连接关系示意图。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
本发明中视频采集终端中的所有模块均为市售的已知模块,其中,红外热释电模块用于探测到动物、人员时,向卡片电脑发送触发信号;超声波测距模块用于探测到物体进入、物体移动时,向卡片电脑发送触发信号。
遵从上述技术方案,以下给出本发明的具体实施例,需要说明的是本发明并不局限于以下具体实施例,凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1:
本实施例给出一种智能视频采集***,如图1至图3所示,该***包括视频采集终端、LoRa网关和服务器,视频采集终端包括卡片电脑,以及与卡片电脑分别连接的摄像头模块、无线上网卡模块、LoRa无线数传模块、红外热释电模块和超声波测距模块;视频采集终端通过卡片电脑的内置网卡或无线上网卡模块连接IP网络;
视频采集终端与服务器之间建立自适应通信连接,自适应通信连接具体包括两种通信方式Commtyp:直接通信方式Commdi和间接通信方式Commin;
直接通信方式Commdi为视频采集终端与服务器之间不通过LoRa网关的转发直接进行相互通信;
间接通信方式Commin为视频采集终端与服务器之间通过LoRa网关的转发进行相互通信;
视频采集终端与服务器进行自适应通信交互;
服务器向视频采集终端发送指令,指定视频采集终端需要识别的物体类别;
服务器向视频采集终端发送指令,指定视频采集终端向服务器发送采集信息的方式为自适应方式或小数据方式;
服务器向视频采集终端发送指令,指定视频采集终端的视频采集方式为连续视频采集方式或非连续视频采集方式;
视频采集终端在本地进行视频采集和采集视频中的物体类别识别,并向服务器发送采集信息,且视频采集终端随时接收服务器发送的指令,以更新需要识别的物体类别或向服务器发送采集信息的方式或视频采集方式。
实施例2:
本实施例给出一种智能视频采集方法,该方法采用视频采集终端、LoRa网关和服务器,该方法具体包括以下步骤:
步骤一,视频采集终端与服务器之间建立自适应通信连接,自适应通信连接具体包括两种通信方式Commtyp:直接通信方式Commdi和间接通信方式Commin;
直接通信方式Commdi为视频采集终端与服务器之间不通过LoRa网关的转发直接进行相互通信;
间接通信方式Commin为视频采集终端与服务器之间通过LoRa网关的转发进行相互通信;
步骤一中,建立自适应通信连接的过程中,视频采集终端按照以下步骤进行:
步骤1.1.1,创建定时器T1;
步骤1.1.2,检查视频采集终端与服务器之间是否存在已经建立成功的TCP连接,若存在则执行步骤1.1.6,否则执行步骤1.1.3;
步骤1.1.3,视频采集终端向服务器发起TCP连接请求,若TCP连接建立成功,则执行步骤1.1.6,否则执行步骤1.1.4;
步骤1.1.4,视频采集终端通过LoRa网关的转发,向服务器发出间接连接请求REQnode,若视频采集终端接收到服务器的间接连接响应REPserver,则执行步骤1.1.5,否则执行步骤1.1.2;
步骤1.1.5,设置视频采集终端自身的Commtyp为Commin,启动定时器T1,跳转至步骤1.1.7;
步骤1.1.6,设置视频采集终端自身的Commtyp为Commdi,启动定时器T1,跳转至步骤1.1.7;
步骤1.1.7,等待定时器T1触发后,执行步骤1.1.2。
步骤一中,建立自适应通信连接的过程中,服务器按照以下步骤进行:
步骤1.2.1,创建定时器T21和T22;
步骤1.2.2,检查服务器与视频采集终端之间是否存在已经建立成功的TCP连接,若存在则执行步骤1.2.8,否则执行步骤1.2.3;
步骤1.2.3,检查服务器是否处于TCP连接的LISTEN侦听状态,若处于LISTEN侦听状态则执行步骤1.2.4,否则将TCP连接设置为LISTEN侦听状态后再执行步骤1.2.4;
步骤1.2.4,服务器通过LoRa网关的转发,向视频采集终端发出间接连接请求REQserver,若接收到视频采集终端的间接连接响应REPnode,则执行步骤1.2.7,否则执行步骤1.2.5;
步骤1.2.5,启动定时器T21;
步骤1.2.6,若在定时器T21触发前,服务器接收到视频采集终端发送的TCP连接请求且TCP连接建立成功,则立刻关闭定时器T21并执行步骤1.2.8,否则等到定时器T21触发后重新执行步骤1.2.3;
步骤1.2.7,设置服务器自身的Commtyp为Commin,启动定时器T22,跳转至步骤1.2.9;
步骤1.2.8,设置服务器自身的Commtyp为Commdi,启动定时器T22,跳转至步骤1.2.9;
步骤1.2.9,等待定时器T22触发后,执行步骤1.2.2。
步骤二,视频采集终端与服务器进行自适应通信交互;
步骤二中,自适应通信交互的过程中,视频采集终端与服务器均按照以下步骤进行:
步骤2.1,查看自身的Commtyp,若Commtyp为Commdi则执行步骤2.2,若Commtyp为Commin则执行步骤2.3;
步骤2.2,视频采集终端与服务器进行直接通信交互;
步骤2.3,视频采集终端与服务器均通过LoRa网关的转发,进行通信交互。
步骤三,服务器向视频采集终端发送指令,指定视频采集终端需要识别的物体类别;
步骤四,服务器向视频采集终端发送指令,指定视频采集终端向服务器发送采集信息的方式为自适应方式或小数据方式;
步骤四中,自适应方式按照以下步骤进行:
步骤4.1,视频采集终端查看自身的Commtyp,若Commtyp为Commdi则执行步骤4.2,若Commtyp为Commin则执行步骤4.3;
步骤4.2,视频采集终端将采集的视频和采集视频中的物体类别识别结果直接发送给服务器;
步骤4.3,视频采集终端仅将采集视频中的物体类别识别结果发送给LoRa网关,再由LoRa网关转发给服务器;
步骤四中,小数据方式为视频采集终端仅将采集视频中的物体类别识别结果发送给服务器。
步骤五,服务器向视频采集终端发送指令,指定视频采集终端的视频采集方式为连续视频采集方式或非连续视频采集方式;
步骤五中,连续视频采集方式为视频采集终端不间断的进行本地视频采集和采集视频中的物体类别识别,以及向服务器发送采集信息;
步骤五中,非连续视频采集方式按照以下步骤进行:
步骤5.1,视频采集终端创建定时器T31和T32;
步骤5.2,视频采集终端开始本地视频采集和采集视频中的物体类别识别,以及向服务器发送采集信息;
步骤5.3,视频采集终端启动定时器T31;
步骤5.4,若在定时器T31触发前,识别到需要识别的物体类别,则立刻关闭定时器T31并重新执行步骤5.3,否则等到定时器T31触发后执行步骤5.5;
步骤5.5,视频采集终端停止本地视频采集、采集视频中的物体类别识别以及向服务器发送采集信息,启动定时器T32;
步骤5.6,若在定时器T32触发前,视频采集终端探测到动物、人员,或超声波测距模块探测到有物体进入、物体移动,则立刻关闭定时器T32并重新执行步骤5.2,否则等到定时器T32触发后重新执行步骤5.2。
步骤六,视频采集终端在本地进行视频采集和采集视频中的物体类别识别,并向服务器发送采集信息,且视频采集终端随时接收服务器发送的指令,以更新需要识别的物体类别或向服务器发送采集信息的方式或视频采集方式。
上述方法中,采集视频中的物体类别识别,按照以下步骤进行:
步骤6.1,视频采集终端创建定时器T4,视频采集终端设定阈值p、VAL1和VAL2;
步骤6.2,设用于物体类别识别的模型中有m种物体类别,并为其中第i种物体类别CATi设置变量Numi、ACU_SUMi和ACU_AVEi,i=1,2,3,…,m;
步骤6.3,令Numi=0,ACU_SUMi=0,ACU_AVEi=0,i=1,2,3,…,m,并令j=0;
步骤6.4,视频采集终端获取采集视频中的实时单帧图像,对单帧图像中的物体类别进行识别,得到识别概率值最大的前N项物体类别,从大到小依次为CATa,CATb,CATc,CATd和CATe,其中a,b,c,d,e∈{1,2,3,…,m},即用于物体类别识别的模型中的第a种、第b种、第c种、第d种和第e种物体类别,是该单帧图像识别结果中识别概率值最大的前N项物体类别,且得到它们相应的识别概率值依次为ACUa,ACUb,ACUc,ACUd,ACUe,并令Numi=Numi+1,ACU_SUMi=ACU_SUMi+ACUi,i=a,b,c,d,e;
步骤6.4中,对单帧图像中的物体类别进行识别,按照以下步骤进行:
步骤6.4.1,加载用于物体类别识别的模型,加载时包括模型的结构和权重;
步骤6.4.2,对获取到的单帧图像进行图像预处理,按照模型的接口标准,对图像进行尺寸缩放和像素值缩放,并将图像调整为RGB独立三通道格式;
步骤6.4.3,将预处理后的图像数据输入模型,得到每个分类的概率值;
步骤6.4.4,选取概率值最大的前N项类别作为识别结果,并记录它们对应的识别概率值。
步骤6.5,若ACUa≥VAL1,则执行步骤6.11,否则执行步骤6.6;
步骤6.6,令j=j+1,并启动定时器T4,等到定时器T4触发后执行步骤6.7;
步骤6.7,若j<p,则重新执行步骤6.4,否则执行步骤6.8;
步骤6.8,令ACU_AVEi=ACU_SUMi/Numi,选取ACU_AVE值最大的前N个物体类别组成集合S;
步骤6.9,判断所需识别的物体类别是否属于集合S,若属于集合S,则执行步骤6.10,否则执行步骤6.3;
步骤6.10,若所需识别的物体类别所对应的ACU_AVE大于等于VAL2,则视频采集终端在采集视频中识别到需要识别的物体类别,否则未识别到,然后跳转至步骤6.3;
步骤6.11,判断所需识别的物体类别与ACUa对应的物体类别是否一致,若一致,则视频采集终端在采集视频中识别到需要识别的物体类别,否则未识别到,然后跳转至步骤6.3。
作为本实施例的一种优选方案,该方法采用实施例1中的智能视频采集***。
应用例1:
本应用例给出实施例2应用于安全监控领域的场景,如图1所示,视频采集终端部署在供电条件、网络接入条件均较好的市区环境中,因此视频采集终端可以根据现场的网络接入条件,通过内置网卡或无线上网卡模块接入IP网络直接与服务器通信。
如图1所示的场景中,步骤四中,服务器向视频采集终端发送指令,指定视频采集终端向服务器发送采集信息的方式为自适应方式。
如图1所示的场景中,步骤五中,服务器向视频采集终端发送指令,指定视频采集终端的视频采集方式为连续视频采集方式。
如图1所示的场景中,用于物体类别识别的模型优选为MobileNet模型,m的取值为1000。
如图1所示的场景中,p的优选取值为10,VAL1的优选取值为70%,VAL2的优选取值为10%,N的优选取值为5。
如图1所示的场景中,步骤6.4.2中,对获取到的单帧图像进行图像预处理,按照MobileNet模型的接口标准,将图像尺寸调整为224*224,将每个像素值范围调整为[-1,1],并将图像调整为RGB独立三通道格式。
如图1所示的场景中,当出现某些问题导致视频采集终端暂时不能接入IP网络时,视频采集终端将立刻切换至备用的LoRa通信手段,在进行本地视频采集和采集视频中物体类别识别的同时,仅将采集视频中的物体类别识别结果发送给LoRa网关,再由LoRa网关转发给服务器,使整个***具有较好的适应性和可靠性。
应用例2:
本应用例给出实施例2应用于野生动物观测领域的场景,如图2所示,视频采集终端部署的野外区域无法提供市电供应且运营商网络信号无法覆盖,视频采集终端处于LoRa网关的覆盖范围内,LoRa网关采用市电供电且接入IP网络与服务器通信。
如图2所示的场景中,步骤四中,服务器向视频采集终端发送指令,指定视频采集终端向服务器发送采集信息的方式为小数据方式。
如图2所示的场景中,步骤五中,服务器向视频采集终端发送指令,指定视频采集终端的视频采集方式为非连续视频采集方式。
如图2所示的场景中,用于物体类别识别的模型优选为MobileNet模型,m的取值为1000。
如图2所示的场景中,p的优选取值为10,VAL1的优选取值为70%,VAL2的优选取值为10%,N的优选取值为5。
如图2所示的场景中,步骤6.4.2中,对获取到的单帧图像进行图像预处理,按照MobileNet模型的接口标准,将图像尺寸调整为224*224,将每个像素值范围调整为[-1,1],并将图像调整为RGB独立三通道格式。
如图2所示的场景中,由于视频采集终端采用非连续视频采集的工作方式,且在探测到视频采集区域的情况发生变化后能够及时进行视频采集,因此,虽然采用电池供电,但是视频采集终端能够较好的减少能量消耗,并有效采集了野生动物的视频;又由于视频采集终端采用小数据发送方式向服务器发送采集信息,因此服务器的监控人员可以尽早尽多的获取现场情况。
综上所述,本发明的智能视频采集方法,实现了既能采集视频,又能对采集视频中的物体类别进行识别,且在识别过程中能在现有识别模型基础上进一步提高识别准确性,还能根据实际情况采用恰当的视频采集方式以及恰当的采集信息发送方式,因此对市区、野外等不同环境具有较好的适应性。
Claims (9)
1.一种智能视频采集方法,该方法采用视频采集终端、LoRa网关和服务器,其特征在于,该方法具体包括以下步骤:
步骤一,所述的视频采集终端与服务器之间建立自适应通信连接,所述的自适应通信连接具体包括两种通信方式Commtyp:直接通信方式Commdi和间接通信方式Commin;
所述的直接通信方式Commdi为视频采集终端与服务器之间不通过LoRa网关的转发直接进行相互通信;
所述的间接通信方式Commin为视频采集终端与服务器之间通过LoRa网关的转发进行相互通信;
步骤二,所述的视频采集终端与所述的服务器进行自适应通信交互;
步骤三,所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端需要识别的物体类别;
步骤四,所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端向所述的服务器发送采集信息的方式为自适应方式或小数据方式;
步骤五,所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端的视频采集方式为连续视频采集方式或非连续视频采集方式;
步骤六,所述的视频采集终端在本地进行视频采集和采集视频中的物体类别识别,并向所述的服务器发送采集信息,且所述的视频采集终端随时接收所述的服务器发送的指令,以更新需要识别的物体类别或向所述的服务器发送采集信息的方式或视频采集方式。
2.如权利要求1所述的智能视频采集方法,其特征在于,步骤一中,建立自适应通信连接的过程中,所述的视频采集终端按照以下步骤进行:
步骤1.1.1,创建定时器T1;
步骤1.1.2,检查视频采集终端与服务器之间是否存在已经建立成功的TCP连接,若存在则执行步骤1.1.6,否则执行步骤1.1.3;
步骤1.1.3,视频采集终端向服务器发起TCP连接请求,若TCP连接建立成功,则执行步骤1.1.6,否则执行步骤1.1.4;
步骤1.1.4,视频采集终端通过LoRa网关的转发,向服务器发出间接连接请求REQnode,若视频采集终端接收到所述的服务器的间接连接响应REPserver,则执行步骤1.1.5,否则执行步骤1.1.2;
步骤1.1.5,设置视频采集终端自身的Commtyp为Commin,启动定时器T1,跳转至步骤1.1.7;
步骤1.1.6,设置视频采集终端自身的Commtyp为Commdi,启动定时器T1,跳转至步骤1.1.7;
步骤1.1.7,等待定时器T1触发后,执行步骤1.1.2。
3.如权利要求1所述的智能视频采集方法,其特征在于,步骤一中,建立自适应通信连接的过程中,所述的服务器按照以下步骤进行:
步骤1.2.1,创建定时器T21和T22;
步骤1.2.2,检查服务器与视频采集终端之间是否存在已经建立成功的TCP连接,若存在则执行步骤1.2.8,否则执行步骤1.2.3;
步骤1.2.3,检查服务器是否处于TCP连接的LISTEN侦听状态,若处于LISTEN侦听状态则执行步骤1.2.4,否则将TCP连接设置为LISTEN侦听状态后再执行步骤1.2.4;
步骤1.2.4,服务器通过LoRa网关的转发,向视频采集终端发出间接连接请求REQserver,若接收到视频采集终端的间接连接响应REPnode,则执行步骤1.2.7,否则执行步骤1.2.5;
步骤1.2.5,启动定时器T21;
步骤1.2.6,若在定时器T21触发前,服务器接收到视频采集终端发送的TCP连接请求且TCP连接建立成功,则立刻关闭定时器T21并执行步骤1.2.8,否则等到定时器T21触发后重新执行步骤1.2.3;
步骤1.2.7,设置服务器自身的Commtyp为Commin,启动定时器T22,跳转至步骤1.2.9;
步骤1.2.8,设置服务器自身的Commtyp为Commdi,启动定时器T22,跳转至步骤1.2.9;
步骤1.2.9,等待定时器T22触发后,执行步骤1.2.2。
4.如权利要求1所述的智能视频采集方法,其特征在于,步骤二中,所述的自适应通信交互的过程中,视频采集终端与服务器均按照以下步骤进行:
步骤2.1,查看自身的Commtyp,若Commtyp为Commdi则执行步骤2.2,若Commtyp为Commin则执行步骤2.3;
步骤2.2,视频采集终端与服务器进行直接通信交互;
步骤2.3,视频采集终端与服务器均通过LoRa网关的转发,进行通信交互。
5.如权利要求1所述的智能视频采集方法,其特征在于,步骤四中,所述的自适应方式按照以下步骤进行:
步骤4.1,视频采集终端查看自身的Commtyp,若Commtyp为Commdi则执行步骤4.2,若Commtyp为Commin则执行步骤4.3;
步骤4.2,视频采集终端将采集的视频和采集视频中的物体类别识别结果直接发送给服务器;
步骤4.3,视频采集终端仅将采集视频中的物体类别识别结果发送给LoRa网关,再由LoRa网关转发给服务器;
步骤四中,所述的小数据方式为视频采集终端仅将采集视频中的物体类别识别结果发送给服务器。
6.如权利要求1所述的智能视频采集方法,其特征在于,步骤五中,所述的连续视频采集方式为视频采集终端不间断的进行本地视频采集和采集视频中的物体类别识别,以及向服务器发送采集信息;
步骤五中,所述的非连续视频采集方式按照以下步骤进行:
步骤5.1,视频采集终端创建定时器T31和T32;
步骤5.2,视频采集终端开始本地视频采集和采集视频中的物体类别识别,以及向服务器发送采集信息;
步骤5.3,视频采集终端启动定时器T31;
步骤5.4,若在定时器T31触发前,识别到需要识别的物体类别,则立刻关闭定时器T31并重新执行步骤5.3,否则等到定时器T31触发后执行步骤5.5;
步骤5.5,视频采集终端停止本地视频采集、采集视频中的物体类别识别以及向服务器发送采集信息,启动定时器T32;
步骤5.6,若在定时器T32触发前,视频采集终端探测到动物、人员,或超声波测距模块探测到有物体进入、物体移动,则立刻关闭定时器T32并重新执行步骤5.2,否则等到定时器T32触发后重新执行步骤5.2。
7.如权利要求1、5或6所述的智能视频采集方法,其特征在于,所述的采集视频中的物体类别识别,按照以下步骤进行:
步骤6.1,视频采集终端创建定时器T4,视频采集终端设定阈值p、VAL1和VAL2;
步骤6.2,设用于物体类别识别的模型中有m种物体类别,并为其中第i种物体类别CATi设置变量Numi、ACU_SUMi和ACU_AVEi,i=1,2,3,…,m;
步骤6.3,令Numi=0,ACU_SUMi=0,ACU_AVEi=0,i=1,2,3,…,m,并令j=0;
步骤6.4,视频采集终端获取采集视频中的实时单帧图像,对单帧图像中的物体类别进行识别,得到识别概率值最大的前N项物体类别,从大到小依次为CATa,CATb,CATc,CATd和CATe,其中a,b,c,d,e∈{1,2,3,…,m},即用于物体类别识别的模型中的第a种、第b种、第c种、第d种和第e种物体类别,是该单帧图像识别结果中识别概率值最大的前N项物体类别,且得到它们相应的识别概率值依次为ACUa,ACUb,ACUc,ACUd,ACUe,并令Numi=Numi+1,ACU_SUMi=ACU_SUMi+ACUi,i=a,b,c,d,e;
步骤6.5,若ACUa≥VAL1,则执行步骤6.11,否则执行步骤6.6;
步骤6.6,令j=j+1,并启动定时器T4,等到定时器T4触发后执行步骤6.7;
步骤6.7,若j<p,则重新执行步骤6.4,否则执行步骤6.8;
步骤6.8,令ACU_AVEi=ACU_SUMi/Numi,选取ACU_AVE值最大的前N个物体类别组成集合S;
步骤6.9,判断所需识别的物体类别是否属于集合S,若属于集合S,则执行步骤6.10,否则执行步骤6.3;
步骤6.10,若所需识别的物体类别所对应的ACU_AVE大于等于VAL2,则视频采集终端在采集视频中识别到需要识别的物体类别,否则未识别到,然后跳转至步骤6.3;
步骤6.11,判断所需识别的物体类别与ACUa对应的物体类别是否一致,若一致,则视频采集终端在采集视频中识别到需要识别的物体类别,否则未识别到,然后跳转至步骤6.3。
8.如权利要求7所述的智能视频采集方法,其特征在于,步骤6.4中,所述的对单帧图像中的物体类别进行识别,按照以下步骤进行:
步骤6.4.1,加载用于物体类别识别的模型,加载时包括模型的结构和权重;
步骤6.4.2,对获取到的单帧图像进行图像预处理,按照模型的接口标准,对图像进行尺寸缩放和像素值缩放,并将图像调整为RGB独立三通道格式;
步骤6.4.3,将预处理后的图像数据输入模型,得到每个分类的概率值;
步骤6.4.4,选取概率值最大的前N项类别作为识别结果,并记录它们对应的识别概率值。
9.一种智能视频采集***,该***包括视频采集终端、LoRa网关和服务器,其特征在于,所述的视频采集终端包括卡片电脑,以及与卡片电脑分别连接的摄像头模块、无线上网卡模块、LoRa无线数传模块、红外热释电模块和超声波测距模块;所述的视频采集终端通过卡片电脑的内置网卡或无线上网卡模块连接IP网络;
所述的视频采集终端与服务器之间建立自适应通信连接,所述的自适应通信连接具体包括两种通信方式Commtyp:直接通信方式Commdi和间接通信方式Commin;
所述的直接通信方式Commdi为视频采集终端与服务器之间不通过LoRa网关的转发直接进行相互通信;
所述的间接通信方式Commin为视频采集终端与服务器之间通过LoRa网关的转发进行相互通信;
所述的视频采集终端与所述的服务器进行自适应通信交互;
所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端需要识别的物体类别;
所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端向所述的服务器发送采集信息的方式为自适应方式或小数据方式;
所述的服务器向所述的视频采集终端发送指令,指定所述的视频采集终端的视频采集方式为连续视频采集方式或非连续视频采集方式;
所述的视频采集终端在本地进行视频采集和采集视频中的物体类别识别,并向所述的服务器发送采集信息,且所述的视频采集终端随时接收所述的服务器发送的指令,以更新需要识别的物体类别或向所述的服务器发送采集信息的方式或视频采集方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010553474.4A CN111866449B (zh) | 2020-06-17 | 2020-06-17 | 一种智能视频采集***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010553474.4A CN111866449B (zh) | 2020-06-17 | 2020-06-17 | 一种智能视频采集***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111866449A true CN111866449A (zh) | 2020-10-30 |
CN111866449B CN111866449B (zh) | 2022-03-29 |
Family
ID=72986814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010553474.4A Active CN111866449B (zh) | 2020-06-17 | 2020-06-17 | 一种智能视频采集***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111866449B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101098199A (zh) * | 2006-06-29 | 2008-01-02 | 中国科学院半导体研究所 | 一种智能监控*** |
CN203134031U (zh) * | 2013-01-04 | 2013-08-14 | 中国电子科技集团公司第二十八研究所 | 基于无线传感器网络的周界防护*** |
US20130216094A1 (en) * | 2012-01-25 | 2013-08-22 | Bruno Delean | Systems, methods and computer program products for identifying objects in video data |
CN206742969U (zh) * | 2017-05-16 | 2017-12-12 | 四川省东宇信息技术有限责任公司 | 一种基于电力物业的智能终端设备 |
CN107728680A (zh) * | 2017-09-11 | 2018-02-23 | 江苏大学 | 一种基于LoRa的远距离猪舍环境多参数测控***及其方法 |
WO2018121018A1 (zh) * | 2016-12-30 | 2018-07-05 | 腾讯科技(深圳)有限公司 | 图片识别方法、装置、服务器及存储介质 |
CN108683576A (zh) * | 2018-05-14 | 2018-10-19 | 成都零点六八科技有限公司 | 一种基于双模通信的智能家居通信*** |
CN108830252A (zh) * | 2018-06-26 | 2018-11-16 | 哈尔滨工业大学 | 一种融合全局时空特征的卷积神经网络人体动作识别方法 |
CN208156681U (zh) * | 2018-01-20 | 2018-11-27 | 南京铁道职业技术学院 | 一种视频监控图像识别*** |
CN109444536A (zh) * | 2018-11-23 | 2019-03-08 | 广东电网有限责任公司 | 一种自适应信号传输的电力功耗检测装置 |
US10289910B1 (en) * | 2014-07-10 | 2019-05-14 | Hrl Laboratories, Llc | System and method for performing real-time video object recognition utilizing convolutional neural networks |
US20190171886A1 (en) * | 2017-12-06 | 2019-06-06 | International Business Machines Corporation | Object recognition in video |
CN109919008A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技(深圳)有限公司 | 运动目标检测方法、装置、计算机设备及存储介质 |
CN109963046A (zh) * | 2017-12-26 | 2019-07-02 | 原盛科技股份有限公司 | 移动侦测装置以及相关移动侦测方法 |
CN110113575A (zh) * | 2019-05-14 | 2019-08-09 | 嘉应学院 | 一种基于NB-IoT的农情信息实时监测平台 |
CN111225178A (zh) * | 2018-11-23 | 2020-06-02 | 杭州眼云智家科技有限公司 | 基于对象检测的视频监控方法及其*** |
-
2020
- 2020-06-17 CN CN202010553474.4A patent/CN111866449B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101098199A (zh) * | 2006-06-29 | 2008-01-02 | 中国科学院半导体研究所 | 一种智能监控*** |
US20130216094A1 (en) * | 2012-01-25 | 2013-08-22 | Bruno Delean | Systems, methods and computer program products for identifying objects in video data |
CN203134031U (zh) * | 2013-01-04 | 2013-08-14 | 中国电子科技集团公司第二十八研究所 | 基于无线传感器网络的周界防护*** |
US10289910B1 (en) * | 2014-07-10 | 2019-05-14 | Hrl Laboratories, Llc | System and method for performing real-time video object recognition utilizing convolutional neural networks |
WO2018121018A1 (zh) * | 2016-12-30 | 2018-07-05 | 腾讯科技(深圳)有限公司 | 图片识别方法、装置、服务器及存储介质 |
CN206742969U (zh) * | 2017-05-16 | 2017-12-12 | 四川省东宇信息技术有限责任公司 | 一种基于电力物业的智能终端设备 |
CN107728680A (zh) * | 2017-09-11 | 2018-02-23 | 江苏大学 | 一种基于LoRa的远距离猪舍环境多参数测控***及其方法 |
US20190171886A1 (en) * | 2017-12-06 | 2019-06-06 | International Business Machines Corporation | Object recognition in video |
CN109963046A (zh) * | 2017-12-26 | 2019-07-02 | 原盛科技股份有限公司 | 移动侦测装置以及相关移动侦测方法 |
CN208156681U (zh) * | 2018-01-20 | 2018-11-27 | 南京铁道职业技术学院 | 一种视频监控图像识别*** |
CN108683576A (zh) * | 2018-05-14 | 2018-10-19 | 成都零点六八科技有限公司 | 一种基于双模通信的智能家居通信*** |
CN108830252A (zh) * | 2018-06-26 | 2018-11-16 | 哈尔滨工业大学 | 一种融合全局时空特征的卷积神经网络人体动作识别方法 |
CN109444536A (zh) * | 2018-11-23 | 2019-03-08 | 广东电网有限责任公司 | 一种自适应信号传输的电力功耗检测装置 |
CN111225178A (zh) * | 2018-11-23 | 2020-06-02 | 杭州眼云智家科技有限公司 | 基于对象检测的视频监控方法及其*** |
CN109919008A (zh) * | 2019-01-23 | 2019-06-21 | 平安科技(深圳)有限公司 | 运动目标检测方法、装置、计算机设备及存储介质 |
CN110113575A (zh) * | 2019-05-14 | 2019-08-09 | 嘉应学院 | 一种基于NB-IoT的农情信息实时监测平台 |
Non-Patent Citations (2)
Title |
---|
赵浩如等: ""基于RPN与B-CNN的细粒度图像分类算法研究"", 《计算机应用与软件》 * |
钮赛赛等: ""基于YOLO智能网络的红外弱小多目标检测技术"", 《上海航天》 * |
Also Published As
Publication number | Publication date |
---|---|
CN111866449B (zh) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111898524A (zh) | 一种5g边缘计算网关及其应用 | |
CN101883131A (zh) | 一种环境数据采集器 | |
US11257355B2 (en) | System and method for preventing false alarms due to display images | |
CN208200104U (zh) | 一种基于图像识别的电动扶梯自动启停控制*** | |
CN105139471A (zh) | 一种电力设备的巡检方法 | |
CN109413760B (zh) | 一种无线连接方法及设备 | |
CN106447873A (zh) | 基于物联网的5g基站的在线管理*** | |
Fawzi et al. | Embedded real-time video surveillance system based on multi-sensor and visual tracking | |
CN112016380B (zh) | 野生动物监测方法及*** | |
CN111866449B (zh) | 一种智能视频采集***及方法 | |
CN208314959U (zh) | 一种智能安防*** | |
CN115083132B (zh) | 一种降低消防报警误报率的研判方法 | |
CN104463114A (zh) | 一种用于图像捕获和目标快速识别的方法与嵌入式设备 | |
CN111447422A (zh) | 音视频数据采集方法、装置和计算机设备 | |
CN106829658B (zh) | 一种具有三级监控网的电梯*** | |
CN110697517A (zh) | 基于小区的电梯控制方法、***及存储介质 | |
US20220335725A1 (en) | Monitoring presence or absence of an object using local region matching | |
US20210274133A1 (en) | Pre-generating video event notifications | |
CN108495360A (zh) | 基站及其数据传输的方法 | |
US20210406547A1 (en) | Object tracking with feature descriptors | |
CN108055502A (zh) | 基于NB-IoT的城市治安快速布控***和方法 | |
CN208015894U (zh) | 一种基于全景摄像头的视频分析*** | |
CN113055201A (zh) | 电子设备控制方法、装置、计算机设备和存储介质 | |
CN111768534A (zh) | 一种基于生物识别的业务管控方法、采集设备及识别设备 | |
CN107765700A (zh) | 移动终端的使用辅助方法、***及飞行器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |