CN110889351B - 视频检测方法、装置、终端设备及可读存储介质 - Google Patents

视频检测方法、装置、终端设备及可读存储介质 Download PDF

Info

Publication number
CN110889351B
CN110889351B CN201911128730.9A CN201911128730A CN110889351B CN 110889351 B CN110889351 B CN 110889351B CN 201911128730 A CN201911128730 A CN 201911128730A CN 110889351 B CN110889351 B CN 110889351B
Authority
CN
China
Prior art keywords
video
frame
video frame
predicted
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911128730.9A
Other languages
English (en)
Other versions
CN110889351A (zh
Inventor
乔宇
彭小江
叶木超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911128730.9A priority Critical patent/CN110889351B/zh
Publication of CN110889351A publication Critical patent/CN110889351A/zh
Priority to PCT/CN2020/129171 priority patent/WO2021098657A1/zh
Application granted granted Critical
Publication of CN110889351B publication Critical patent/CN110889351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于计算机视觉技术领域，提供了一种视频检测方法、装置、终端设备及可读存储介质，该方法包括：获取待测视频，待测视频包括N个视频帧。依次获取N个视频帧的预测帧，其中，第i+1个视频帧的预测帧是将第i个视频帧的误差图像，输入到已训练的预测网络模型处理得到的。若第N个视频帧与第N个视频帧的预测帧的差异度符合预设条件，则确定待测视频存在异常。由于计算预测帧时是根据前一帧的误差图像预测得到的，因此生成的预测帧考虑到了待测视频的时序影响，使得获取的第N个视频帧的预测帧更准确，进而在根据第N个视频帧的预测帧和第N个视频帧确认待测视频是否异常时，实现了降低误检的概率，提高检测准确度效果。

Description

视频检测方法、装置、终端设备及可读存储介质
技术领域
本申请属于计算机视觉技术领域，尤其涉及一种视频检测方法、装置、终端设备及可读存储介质。
背景技术
视频异常检测能够检测视频中是否包含异常事件，视频中的异常事件指的是在特定场景下与正常行为不同的特别事件，异常事件可能会危害公共安全或影响社会秩序，引起严重的后果，因此，通过视频异常检测确定是否存在异常事件，对于维护社会秩序起着重要作用。
现有技术中，先将待检测视频的N帧整体输入至自动编码器中，由自动编码器对输入的N帧进行卷积操作，得到一个视频帧，最后根据视频帧确定待检测视频是否存在异常。
但是，由于现有技术中并未考虑时序对于异常事件检测时的影响，因此在检测异常事件时，容易出现误检，检测效果并不理想。
发明内容
本申请实施例提供了一种视频检测方法、装置、终端设备及可读存储介质，以改善在检测异常事件时，容易出现误检，导致检测效果不理想问题。
第一方面，本申请实施例提供了一种视频检测方法，包括：
获取待测视频，待测视频包括N个视频帧，其中，N为大于1的整数。
依次获取N个视频帧的预测帧。
其中，N个视频帧中第i+1个视频帧的预测帧的计算方式为：将第i个视频帧的误差图像，输入到已训练的预测网络模型进行处理，得到第i+1个视频帧的预测帧，第i个视频帧的误差图像是根据第i个视频帧和第i个视频帧的预测帧相减所得，1≤i≤N-1，i为整数。
计算第N个视频帧与第N个视频帧的预测帧的差异度。
若差异度符合预设条件，则确定待测视频存在异常。
在第一方面的一种可能的实现方式中，该视频检测方法的执行主体为具有图像处理能力的终端。示例性的，该终端可以是实体终端，如台式电脑、服务器、笔记本电脑、平板电脑等，也可是虚拟终端，如云端服务器、云计算等。应理解，以上执行主体仅为实例，并非限制必须是以上终端。
需要说明的是，第1个视频帧的预测帧是将预设误差图像输入到预测网络模型进行处理后得到的。
一些实施方式中，计算第N个视频帧与第N个视频帧的预测帧的差异度可以通过将第N个视频帧的预测帧与第N个视频帧相减并取模，得到差异度。
另一些实施方式中，计算第N个视频帧与第N个视频帧的预测帧的差异值还可以通过预设修复算法，对第N个视频帧的预测帧进行修复。然后将修复后的第N个视频帧的预测帧与第N个视频帧相减并取模，得到差异度。
可选地，若差异度符合预设条件，则确定待测视频存在异常，可以在差异度大于第一预设阈值时，确定待测视频存在异常。
可选地，若差异度符合预设条件，则确定待测视频存在异常，还可以先对差异度的倒数进行归一化，得到正常度分数。然后，在正常度分数小于第二预设阈值时，确定待测视频存在异常。
其中，预测网络模型为长短时记忆网络(Long Short-Term Memory，LSTM)模型或者为门控循环神经网络(Gated Recurrent Unit，GRU)模型。
第二方面，本申请实施例提供了一种视频检测装置，包括：
获取模块，用于获取待测视频，所述待测视频包括N个视频帧，其中，N为大于1的整数。预测模块，用于依次获取所述N个视频帧的预测帧。其中，所述N个视频帧中第i+1个视频帧的预测帧的计算方式为：将第i个视频帧的误差图像，输入到已训练的预测网络模型进行处理，得到所述第i+1个视频帧的预测帧，所述第i个视频帧的误差图像是根据所述第i个视频帧和所述第i个视频帧的预测帧相减所得，1≤i≤N-1，i为整数。计算模块，用于计算所述第N个视频帧与所述第N个视频帧的预测帧的差异度。确定模块，用于若所述差异度符合预设条件，则确定所述待测视频存在异常。
在第二方面的一种可能的实现方式中，该视频检测装置可以是第一方面的的执行主体，其具体的形式与之相同，在此不再赘述。
需要说明的是，第1个视频帧的预测帧是将预设误差图像输入到预测网络模型进行处理后得到的。
一些实施方式中，计算模块，具体用于将第N个视频帧的预测帧与第N个视频帧相减并取模，得到差异度。
另一些实施方式中，计算模块，具体用于通过预设修复算法，对第N个视频帧的预测帧进行修复。然后将修复后的第N个视频帧的预测帧与第N个视频帧相减并取模，得到差异度。
可选地，确定模块，具体用于在差异度大于第一预设阈值时，确定待测视频存在异常。
可选地，确定模块，还用于先对差异度的倒数进行归一化，得到正常度分数。然后，在正常度分数小于第二预设阈值时，确定待测视频存在异常。
其中，预测网络模型为LSTM模型或者为GRU模型。
第三方面，本申请实施例提供了一种终端设备，包括：存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面所提供的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时时实现如第一方面所提供的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如第一方面所提供的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：先通过根据待测视频，依次获取N个视频帧的预测帧。其中，第i个视频帧的误差图像是根据第i个视频帧和第i个视频帧的预测帧相减所得，第i+1个预测帧是根据第i个视频帧的误差图像输入到已训练的预测网络模型中处理得到的。然后计算第N个视频帧与第N个视频帧的预测帧的差异度。最后若差异度符合预设条件，则确定待测视频存在异常。由于计算预测帧时是根据前一帧的误差图像预测得到的，因此生成的预测帧考虑到了待测视频的时序影响，使得获取的第N个视频帧的预测帧更准确，进而在根据第N个视频帧的预测帧和第N个视频帧确认待测视频是否异常时，实现了降低误检的概率，提高检测准确度效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的应用场景示意图；
图2是本申请一实施例提供的视频检测方法的流程示意图；
图3是本申请另一实施例提供的视频检测方法的流程示意图；
图4是本申请另一实施例提供的视频检测方法的流程示意图；
图5是本申请另一实施例提供的应用场景示意图；
图6是本申请一实施例提供的视频检测装置的结构示意图；
图7是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
如在本申请说明书和所附权利要求书中所使用的那样，术语“若”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“若...则确定”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到符合预设条件”或“响应于检测到符合预设条件”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“可能的实施方式”或“一些实施方式”等意味着在本申请的一个或多个实施方式中包括结合该实施方式描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施方式中”、“在一些实施方式中”、“在其他一些实施方式中”、“在另外一些实施方式中”等不是必然都参考相同的实施方式，而是意味着“一个或多个但不是所有的实施方式”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的视频检测方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、安防摄像头、监控摄像头等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
图1是本申请一实施例提供的应用场景示意图。
请参阅图1，该场景中包括至少一个视频采集设备11以及至少一个与视频采集设备11连接的终端设备。
一些实施方式中，视频采集设备11可以是各种形式的摄像头，例如，可以是安防摄像头、监控摄像头、集成于笔记本上的摄像头、集成于智能手机上的摄像头等。
仅作为示例而非限定，终端设备可以是服务器12、个人电脑13、智能手机14、平板电脑15中的至少一种，终端设备可以获取视频采集设备11采集的待测视频，并对其进行检测，例如，视频采集设备11可以与服务器12通信连接，视频采集设备11采集待测视频后，通过有线网络或无线网络，将待测视频发送给服务器12，服务器12对待测视频进行处理，得到待测视频的检测结果，该检测结果可以存在服务器12中，也可以发送至指定的数据库中进行保存，然后可以通过其他设备，如智能手机、个人电脑、平板电脑等，从服务器12或数据库中调取待测视频以及检测结果，进行查阅或处理。或者，视频采集设备11可以与个人电脑13、智能手机14、平板电脑15中的至少一个通信连接，将待测视频发送给与其连接的终端设备，在该设备上对待测视频进行处理，得到待测视频的检测结果，并在该设备上对待测视频和其检测结果通过屏幕进行展示。
还有一些实施方式中，视频采集设备11中还可以集成在终端设备上，以实现本申请提供的方案。
仅作为示例而非限制，可以使用智能手机14的摄像头作为视频采集设备11采集待测视频，然后存入智能手机14的存储器中，然后智能手机14的处理器执行相应的可执行程序，对存储器中的待测视频进行处理，得到待测视频的检测结果，并展示在智能手机14的屏幕上。
本领域技术人员可以理解，图1仅仅是本申请应用场景的举例，并不构成对执行本申请中提供的视频检测方法的应用场景的限定，在实际应用时可以包括比图示更多的设备，例如，对于视频采集设备11与服务器12通信连接时，服务器12还可以与数据库通信连接，用于存储待测视频和检测结果；或者与屏幕通信连接，用于展示检测结果；还可以与报警设备通信连接，用于提醒检测结果异常等，在此不作限制。
其中，无线网络可以包括无线局域网(Wireless Localarea Networks，WLAN)(如Wi-Fi网络)，蓝牙，Zigbee，移动通信网络，近距离无线通信技术(Near FieldCommunication，NFC)，红外技术(Infrared，IR)等通信的解决方案。有线网络可以包括光纤网络、远程通信网络、内联网等，如局域网(Local Area Network，LAN)、广域网(Wide AreaNetwork，WAN)、城域网(Metropolitan Area Network，MAN)、公共电话交换网(PublicSwitched Telephone Network，PSTN)等。无线网络和有线网络的类型在此不做限制。
图2是本申请一实施例提供的视频检测方法的流程示意图。作为示例而非限定，该方法可以应用于上述场景中的终端设备，如服务器12、个人电脑13、智能手机14、平板电脑15或车载电脑16中，但不以此为限。
请参阅图2，视频检测方法，包括：
S21、获取待测视频，待测视频包括N个视频帧。
其中，N为大于1的整数。
一些实施方式中，待测视频可以是直接通过上述视频采集设备11采集的视频片段，也可以是视频采集设备11采集视频片段并存储后，执行本方法的终端设备调取的存储的视频片段，在此不做限制。
需要说明的是，待测视频通常是基于RGB色彩空间的视频片段，包括至少2帧视频帧。其中，待测视频的帧数是根据待测视频的时长和每秒传输帧数(Frames Per Second，FPS)决定的，例如，若待测视频时长2秒，FPS30，则待测视频包括60个视频帧。
其中，在视频检测时，需要连续检测视频，待测视频的时长可以作为一个检测步长，检测步长的长度可以根据应用时的实际情况进行设置，在此不做限制。
S22、依次获取N个视频帧的预测帧。
其中，N个视频帧中第i+1个视频帧的预测帧的计算方式为：将第i个视频帧的误差图像，输入到已训练的预测网络模型进行处理，得到第i+1个视频帧的预测帧，第i个视频帧的误差图像是根据第i个视频帧和第i个视频帧的预测帧相减所得，1≤i≤N-1，i为整数。
预测网络模型可以为时序网络模型，作为示例而非限定，时序网络模型可以包括LSTM模型或者GRU模型等。
其中，在向预测网络模型中输入第i个时刻的误差图像(即第i个视频帧的误差图像)后，预测网络模型会根据输入的误差图像，生成下一个时刻的预测帧(即第i+1个视频帧的预测帧)。
需要说明的是，第1个视频帧的预测帧是将预设误差图像输入到预测网络模型进行处理后得到的，例如，预设误差图可以是第1个视频帧与空白图像(即0)相减得到的，或者也可以将第1个视频帧直接作为预设误差图。
预测网络模型可以通过预设的样本以及预设的样本标签进行训练，其训练方式为本领域的常规手段，在此不再赘述。
S23、计算第N个视频帧与第N个视频帧的预测帧的差异度。
其中，差异度用于表示第N个视频帧与第N个视频帧的预测帧的相似度，二者相似度越低，则表示第N个视频帧与第N个视频帧的预测帧之间的差距越大，待测视频中存在于与预测帧差别过大的视频帧，即存在异常。
作为示例而非限定，第N个视频帧与第N个视频帧的预测帧之间的相似度可以通过如直方图匹配、余弦相似度、均值哈希算法等进行计算。或者，二者之间的相似度还可以通过图像间的距离进行表示，例如，可以通过欧氏距离、马氏距离、曼哈顿距离等计算二者之间的相似度，但不以此为限。
S24、判断差异度是否符合预设条件。
一些实施方式中，可以根据实际应用时，可根据视频检测要求的精度、视频检测中包含的场景中的干扰信息等因素，设置预设条件，以确保视频检测时既能准确检测到异常，又不会因过于灵敏或过于迟钝而造成误检。
S25、若差异度符合预设条件，则确定待测视频存在异常。
S26、若差异度不符合预设条件，则确定待测视频无异常。
需要说明的是，待测视频存在异常，指的是待测视频中存在有别于正常事件的特别事件。例如，若待测视频中的场景为街道，则特别事件可以包括如在人行道上行驶的机动车、横穿机动车道的行人、抢劫或斗殴等暴力行为；若待测视频中的场景为室内，则特别事件可以包括如出现浓烟、出现明火、人群过于拥挤等。
在以上实施方式中，由于计算预测帧时是根据前一帧的误差图像预测得到的，因此生成的预测帧考虑到了待测视频的时序影响，使得获取的第N个视频帧的预测帧更准确，进而在根据第N个视频帧的预测帧和第N个视频帧确认待测视频是否异常时，实现了降低误检的概率，提高检测准确度效果。
一些实施方式中，计算第N个视频帧与第N个视频帧的预测帧的差异度可以通过将第N个视频帧的预测帧与第N个视频帧相减并取模，得到差异度。
其中，将第N个视频帧的预测帧与第N个视频帧相减并取模可以通过L2范数实现，例如，若第N个视频帧的预测帧为第N个视频帧为IN，则差异度/>
另一些实施方式中，上述S23中计算第N个视频帧与第N个视频帧的预测帧的差异值还可以通过如图3所示的流程实现，请参阅图3，上述S23可以包括：
S231、通过预设修复算法，对第N个视频帧的预测帧进行修复。
一些实施方式中，对第N个视频帧的预测帧进行修复，修正预测过程中导致的噪声、畸变等影响检测的问题，得到修复后的第N个视频帧的预测帧RN，其中，预设修复算法可以是卷积自编码器，使用卷积自编码器对/>进行修复是本领域技术人员的常规手段，在此不再赘述。
S232、将修复后的第N个视频帧的预测帧与第N个视频帧相减并取模，得到差异度。
参考上述示例，依旧可以使用L2范数实现修复后的第N个视频帧RN的预测帧与第N个视频帧IN的差异度的计算，即
通过预设修复算法将第N个视频帧的预测帧进行修复后，再与第N个视频帧计算差异度，可以有效地减少由于噪声、畸变等情况导致检测时差异度提高的问题，减少了出现误检的概率，提高了视频检测的准确度。
可选地，若差异度符合预设条件，则确定待测视频存在异常，可以在差异度大于第一预设阈值时，确定待测视频存在异常。
需要说明的是，差异度越大，则表示待测视频中存在异常的可能性越大。
作为示例而非限定，当差异度大于70％时，即可确定待测视频存在异常，即，第一预设阈值可以设置为70％，应当理解，在对于不同精度要求的场景下，第一预设阈值还可以设置为63％、72％、86％等其他数值。
可选地，上述S24中若差异度符合预设条件，则确定待测视频存在异常的过程，还可以通过如图4所示的流程实现。请参阅图4，上述S24可以包括：
S241、对差异度的倒数进行归一化，得到正常度分数。
一些实施方式中，将差异度的倒数进行归一化后，可以得到待测视频的正常度分数，正常度分数的区间范围可以为[0,1]或者[0,100]，在此不做限制。
其中，正常度分数越高，则表示待测视频为正常的概率越高，例如，若正常度分数的区间为[0,100]，则0分可以表示待测视频存在异常，100分表示待测视频正常。
S242、若正常度分数小于第二预设阈值时，确定待测视频存在异常。
参考S241中的示例，一种可能的实现方式中，可以在正常度分数小于30分时，确定待测视频存在异常，即第二预设阈值为30，应当理解，在对于不同精度要求的场景下，第二预设阈值还可以设置为35、27、12等其他数值，在此不做限制。
其中，将差异度的倒数归一化后，通过待测视频的正常度分数确定待测视频是否存在异常，在展示检测结果时，由于正常度分数更加符合用户的习惯，因此可以让用户更直观的确定待测视频存在异常的程度，提高用户体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图5是本申请另一实施例提供的应用场景示意图。
请参阅图5，图5中展示了将本申请的方案应用于汽车自动驾驶时，对危险行为进行提醒的场景，在此，以汽车自动驾驶位例，对本申请提供的视频检测方法的应用进行解释，应当明确，以下应用方式仅为示例，而并非限制。
该场景中，可以在汽车的进气格栅16、后保险杠17、两侧后视镜18等至少一个位置设置视频采集设备11(未示出)，视频采集设备11在本场景中可以采用***头、红外摄像头等，用于在采集驾驶位上驾驶员的影像。视频采集设备11可以通过电缆与车载电脑(未示出)连接，车载电脑接收到视频采集设备11发送的汽车行驶时拍摄的至少一个待测视频，并对每个待测视频进行处理，得到检测结果。
其中，设置于进气格栅16的摄像头可以采集汽车前方的视频影像，设置于后保险杠17的摄像头可以采集汽车后方的视频影像，设置于两侧后视镜18的摄像头可以采集汽车两侧的视频影像。汽车自动驾驶时，可以提高拍摄汽车行驶方向的摄像头的检测频率，例如，可以将进气格栅16上的摄像头采集的FPS设置为120FPS，检测频率0.1秒，则每0.1秒内，需检测包括12个视频帧的待测视频是否存在异常，其中，每次检测的第1个视频帧的预测帧可以使用上一个检测周期内，第12个视频帧的预测帧，在一个检测周期中，若检测出待测视频存在异常，如行驶方向存在行人192，或者其他可能引起安全问题的障碍物，则可以通过语音或灯光，提醒驾驶员注意安全，或者，还可以协同其他传感器，实现自动刹车、自动避让等功能。
同时，设置于两侧后视镜18的摄像头可以采取同样的设置，用于检测汽车两侧是否存在靠近的其他车辆191或其他可能造成安全隐患的情况，若存在，也可以通过语音或灯光，提醒驾驶员注意安全或协同其他传感器，实现自动刹车、自动避让等功能。
还需要说明的是，汽车行驶时，汽车后方向对安全，可以降低与拍摄与汽车行驶方向相反的摄像头的检测频率，以减少行车电脑的负荷，例如，可以将后保险杠17上的摄像头采集的FPS设置为30，检测频率0.2秒，则每0.2秒内，仅需检测包括6个视频帧的待测视频是否存在异常。
还有一种场景，在汽车自动泊车时，可以将上述示例中后保险杠17上的摄像头的设置参数与进气格栅16上的摄像头的设置参数互换，以更加灵敏的检测位于汽车后方的行人192或其他障碍物。
对应于上文实施例所述的视频检测方法，图6是本申请一实施例提供的视频检测装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，该装置包括：
获取模块31，用于获取待测视频，所述待测视频包括N个视频帧，其中，N为大于1的整数。
预测模块32，用于依次获取所述N个视频帧的预测帧。其中，所述N个视频帧中第i+1个视频帧的预测帧的计算方式为：将第i个视频帧的误差图像，输入到已训练的预测网络模型进行处理，得到所述第i+1个视频帧的预测帧，所述第i个视频帧的误差图像是根据所述第i个视频帧和所述第i个视频帧的预测帧相减所得，1≤i≤N-1，i为整数。
计算模块33，用于计算所述第N个视频帧与所述第N个视频帧的预测帧的差异度。
确定模块34，用于若所述差异度符合预设条件，则确定所述待测视频存在异常。
需要说明的是，第1个视频帧的预测帧是将预设误差图像输入到预测网络模型进行处理后得到的。
一些实施方式中，计算模块33，具体用于将第N个视频帧的预测帧与第N个视频帧相减并取模，得到差异度。
另一些实施方式中，计算模块33，具体用于通过预设修复算法，对第N个视频帧的预测帧进行修复。然后将修复后的第N个视频帧的预测帧与第N个视频帧相减并取模，得到差异度。
可选地，确定模块34，具体用于在差异度大于第一预设阈值时，确定待测视频存在异常。
可选地，确定模块34，还用于先对差异度的倒数进行归一化，得到正常度分数。然后，在正常度分数小于第二预设阈值时，确定待测视频存在异常。
其中，预测网络模型为LSTM模型或者为GRU模型。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7是本申请实施例提供的终端设备的结构示意图。
请参照图7，本申请实施例还提供了一种终端设备4，该终端设备4包括：至少一个处理器41、存储器42以及存储在存储器中并可在至少一个处理器41上运行的计算机程序43，处理器41执行计算机程序43时实现上述任意各个方法实施例中的步骤。
需要说明的是，上述图7并不构成对终端设备4结构的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备4还可以显示屏、指示灯、马达、控件(例如按键)、陀螺仪传感器、加速度传感器等。
处理器41可以是中央处理单元(Central Processing Unit，CPU)，该处理器41还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器42在一些实施例中可以是终端设备4的内部存储单元，例如终端设备4的硬盘或内存。存储器42在另一些实施例中也可以是终端设备4的外部存储设备，例如终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器42还可以既包括终端设备4的内部存储单元也包括外部存储设备。所述存储器42用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器42还可以用于暂时地存储已经得到或者将要得到的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种视频检测方法，其特征在于，包括：
获取待测视频，所述待测视频包括N个视频帧，其中，N为大于1的整数；
依次获取所述N个视频帧的预测帧，其中，所述N个视频帧中第i+1个视频帧的预测帧的计算方式为：将第i个视频帧的误差图像，输入到已训练的预测网络模型进行处理，得到所述第i+1个视频帧的预测帧，所述第i个视频帧的误差图像是根据所述第i个视频帧和所述第i个视频帧的预测帧相减所得，1≤i≤N-1，i为整数；其中，所述预测网络模型为时序网络模型；第1个视频帧的预测帧是将预设误差图像输入到预测网络模型进行处理后得到的；
计算第N个视频帧与第N个视频帧的预测帧的差异度；
若所述差异度符合预设条件，则确定所述待测视频存在异常，包括：
若所述差异度大于第一预设阈值，则确定所述待测视频存在异常。
2.根据权利要求1所述的方法，其特征在于，所述计算所述第N个视频帧与所述第N个视频帧的预测帧的差异度，包括：
将所述第N个视频帧的预测帧与所述第N个视频帧相减并取模，得到所述差异度。
3.根据权利要求1所述的方法，其特征在于，所述计算所述第N个视频帧与所述第N个视频帧的预测帧的差异度，包括：
通过预设修复算法，对所述第N个视频帧的预测帧进行修复；
将修复后的所述第N个视频帧的预测帧与所述第N个视频帧相减并取模，得到所述差异度。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述若所述差异度符合预设条件，则确定所述待测视频存在异常，包括：
对所述差异度的倒数进行归一化，得到正常度分数；
若所述正常度分数小于第二预设阈值，则确定所述待测视频存在异常。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述预测网络模型为长短时记忆网络LSTM模型或者为门控循环神经网络GRU模型。
6.一种视频检测装置，其特征在于，包括：
获取模块，用于获取待测视频，所述待测视频包括N个视频帧，其中，N为大于1的整数；
预测模块，用于依次获取所述N个视频帧的预测帧，其中，所述N个视频帧中第i+1个视频帧的预测帧的计算方式为：将第i个视频帧的误差图像，输入到已训练的预测网络模型进行处理，得到所述第i+1个视频帧的预测帧，所述第i个视频帧的误差图像是根据所述第i个视频帧和所述第i个视频帧的预测帧相减所得，1≤i≤N-1，i为整数；其中，所述预测网络模型为时序网络模型；第1个视频帧的预测帧是将预设误差图像输入到预测网络模型进行处理后得到的；
计算模块，用于计算第N个视频帧与第N个视频帧的预测帧的差异度；
确定模块，用于若所述差异度符合预设条件，则确定所述待测视频存在异常，包括：
若所述差异度大于第一预设阈值，则确定所述待测视频存在异常。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN201911128730.9A 2019-11-18 2019-11-18 视频检测方法、装置、终端设备及可读存储介质 Active CN110889351B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911128730.9A CN110889351B (zh) 2019-11-18 2019-11-18 视频检测方法、装置、终端设备及可读存储介质
PCT/CN2020/129171 WO2021098657A1 (zh) 2019-11-18 2020-11-16 视频检测方法、装置、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911128730.9A CN110889351B (zh) 2019-11-18 2019-11-18 视频检测方法、装置、终端设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110889351A CN110889351A (zh) 2020-03-17
CN110889351B true CN110889351B (zh) 2023-09-26

Family

ID=69747861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911128730.9A Active CN110889351B (zh) 2019-11-18 2019-11-18 视频检测方法、装置、终端设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN110889351B (zh)
WO (1) WO2021098657A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889351B (zh) * 2019-11-18 2023-09-26 中国科学院深圳先进技术研究院 视频检测方法、装置、终端设备及可读存储介质
CN113486853B (zh) * 2021-07-29 2024-02-27 北京百度网讯科技有限公司 视频检测方法及装置、电子设备和介质
CN113569770B (zh) * 2021-07-30 2024-06-11 北京市商汤科技开发有限公司 视频检测方法及装置、电子设备和存储介质
CN113705370B (zh) * 2021-08-09 2023-06-30 百度在线网络技术（北京）有限公司 直播间违规行为的检测方法及装置、电子设备和存储介质
CN113671917B (zh) * 2021-08-19 2022-08-02 中国科学院自动化研究所 针对多模态工业过程异常状态的检测方法、***、设备
CN113435432B (zh) * 2021-08-27 2021-11-30 腾讯科技（深圳）有限公司 视频异常检测模型训练方法、视频异常检测方法和装置
CN113688925B (zh) * 2021-08-31 2023-10-24 惠州学院 出勤人数识别方法、电子设备及存储介质
CN113762134B (zh) * 2021-09-01 2024-03-29 沈阳工业大学 基于视觉的汽车泊车中周围障碍物的检测方法
CN114040197B (zh) * 2021-11-29 2023-07-28 北京字节跳动网络技术有限公司 视频检测方法、装置、设备及存储介质
CN114782284B (zh) * 2022-06-17 2022-09-23 广州三七极耀网络科技有限公司 动作数据修正方法、装置、设备及存储介质
CN117079079B (zh) * 2023-09-27 2024-03-15 中电科新型智慧城市研究院有限公司 视频异常检测模型的训练方法、视频异常检测方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281858A (zh) * 2014-09-15 2015-01-14 中安消技术有限公司 三维卷积神经网络训练方法、视频异常事件检测方法及装置
CN109214253A (zh) * 2017-07-07 2019-01-15 阿里巴巴集团控股有限公司 一种视频帧检测方法及装置
CN110414313A (zh) * 2019-06-06 2019-11-05 平安科技（深圳）有限公司 异常行为告警方法、装置、服务器及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036250B (zh) * 2014-06-16 2017-11-10 上海大学 视频行人检测与跟踪方法
US10740619B2 (en) * 2017-11-21 2020-08-11 Uber Technologies, Inc. Characterizing content with a predictive error representation
CN110298323B (zh) * 2019-07-02 2021-10-15 中国科学院自动化研究所 基于视频分析的打架检测方法、***、装置
CN110889351B (zh) * 2019-11-18 2023-09-26 中国科学院深圳先进技术研究院 视频检测方法、装置、终端设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281858A (zh) * 2014-09-15 2015-01-14 中安消技术有限公司 三维卷积神经网络训练方法、视频异常事件检测方法及装置
CN109214253A (zh) * 2017-07-07 2019-01-15 阿里巴巴集团控股有限公司 一种视频帧检测方法及装置
CN110414313A (zh) * 2019-06-06 2019-11-05 平安科技（深圳）有限公司 异常行为告警方法、装置、服务器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑锦 ; 李波 ; .视频序列中运动对象检测技术的研究现状与展望.计算机应用研究.2008,(第12期),第3534-3539页. *

Also Published As

Publication number Publication date
CN110889351A (zh) 2020-03-17
WO2021098657A1 (zh) 2021-05-27

Similar Documents

Publication Publication Date Title
CN110889351B (zh) 视频检测方法、装置、终端设备及可读存储介质
US10977917B2 (en) Surveillance camera system and surveillance method
US10275670B1 (en) Image analysis technologies for identifying abnormal vehicle conditions
US9275547B2 (en) Prediction of free parking spaces in a parking area
EP3026880B1 (en) Damage recognition assist system
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及***
US8687063B2 (en) Method for predicting lane line and lane departure warning system using the same
US20150116493A1 (en) Method and system for estimating gaze direction of vehicle drivers
US9076340B2 (en) Vehicle detecting system and method
CN108162858B (zh) 车载监控装置及其方法
WO2019223655A1 (zh) 非机动车载人的检测
WO2019178851A1 (zh) 一种基于深度学习的井盖缺失检测***及方法
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
US11479260B1 (en) Systems and methods for proximate event capture
CN111010530B (zh) 应急车辆检测
KR20220025997A (ko) 접근 객체 충돌 방지용 차량 어라운드 뷰 영상 제공 장치
CN112818839A (zh) 驾驶员违章行为识别方法、装置、设备及介质
US20190054880A1 (en) Method And System For Detecting An Incident , Accident And/Or Scam Of A Vehicle
KR20160069685A (ko) 주차차단기의 번호인식시스템
CN110706115A (zh) 交通事故快速理赔方法、***以及一种服务器
JP2021128796A (ja) 物体認識システムおよび物体認識方法
CN111241918B (zh) 一种基于人脸识别的车用防跟踪方法及***
SE536729C2 (sv) Förfarande och system för att övervaka ett motorfordon ur intrångssynpunkt
CN112308723A (zh) 车辆检测方法及***
CN115862167A (zh) 道闸控制方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Qiao Yu

Inventor after: Peng Xiaojiang

Inventor after: Ye Muchao

Inventor before: Qiao Yu

Inventor before: Peng Xiaojiang

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant