CN110909715B - 基于视频图像识别吸烟的方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明提供一种基于视频图像识别吸烟的方法、装置、服务器及存储介质，通过获取待测监控视频，提取关键图像帧，并对关键图像帧进行人体姿态特征提取；利用烟雾识别模型对待测监控视频进行识别，以判断是否存在烟雾；利用姿态识别模型对提取的人体姿态进行识别，以判断姿态库中是否存在与提取的人体姿态相匹配的特定人体姿态；若烟雾识别模型输出存在烟雾，且姿态识别模型输出存在特定人体姿态的识别结果时，确定存在吸烟事件；实现了对吸烟事件的及时监控识别，可广泛应用于学校、商场、工厂、城市公共交通场所等禁烟区，以达到对违规吸烟行为的快速、实时、在线智能识别监控，有利于维护公众健康，保障公共安全，建立文明城市。

Description

基于视频图像识别吸烟的方法、装置、服务器及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于视频图像识别吸烟的方法、装置、服务器及存储介质。

背景技术

吸烟是指人体通过口腔将烟草燃烧时产生的气体吸入体内的行为，是一种不健康的生活习惯，香烟不仅有尼古丁还有钋210，长期抽烟可导致气管炎、癌症等不治之症。

二手烟，亦称被动吸烟、环境烟草烟雾，是指由卷烟或其它烟草产品燃烧端释放出的及由吸烟者呼出的烟草烟雾所形成的混合烟雾。其也是危害最广泛、最严重的室内空气污染，是全球重大死亡原因。有研究指出，二手烟有焦油、氨、尼古丁、悬浮微粒、PM2.5、钋-210等超过4000种有害化学物质及数十种致癌物质。

吸烟产生烟灰、烟头等造成环境污染，随着人们的环境的重视，越来越多的公共场馆已明确禁止吸烟。

烟头的表面温度很高，一般可达200-300℃，中心温度可达700-800℃。而很多可燃物质的燃点，大都在烟头表面温度以下，如纸张130℃，松木250℃，烟头未熄灭存在引发火灾的安全隐患。

发明内容

本发明提供的基于视频图像识别吸烟的方法、装置、服务器及存储介质，主要解决的技术问题是：如何识别吸烟事件。

为解决上述技术问题，本发明提供一种基于视频图像识别吸烟的方法，包括：

获取待测监控视频，提取关键图像帧，并对所述关键图像帧进行人体姿态特征提取；

利用烟雾识别模型对所述待测监控视频进行识别，以判断是否存在烟雾；所述烟雾识别模型是预先根据烟雾摇摆扩散特征进行训练训练学习得到的；

利用姿态识别模型对所述提取的人体姿态进行识别，以判断姿态库中是否存在与所述提取的人体姿态相匹配的特定人体姿态；所述姿态识别模型是预先基于图像帧的多姿态特征进行训练学习得到的；

若所述烟雾识别模型输出存在烟雾，且所述姿态识别模型输出存在特定人体姿态的识别结果时，确定存在吸烟事件。

可选的，所述特定人体姿态包括手臂呈大于120度的弯曲状态和/或手指间具有纵向夹持物。

可选的，所述提取关键图像帧包括：按照设定提取间隔，从所述待测监控视频中提取图像帧，作为所述关键图像帧。

可选的，所述方法还包括：对当前提取的所述关键图像帧进行人物特征识别，若判断所述当前提取的所述关键图像帧中存在人物特征，则将下一关键图像帧的提取间隔，调整为所述当前提取的所述关键图像帧提取间隔的一半；若判断所述当前提取的所述关键图像帧中不存在人物特征，则将下一关键图像帧的提取间隔，恢复为所述设定提取间隔。

可选的，在所述确定存在吸烟事件时，还包括：关联发生所述吸烟事件的实地空间位置，并将所述实地空间位置向后台监控中心发起告警。

本发明还提供一种基于视频图像识别吸烟的装置，包括：

图像采集处理模块，用于获取待测监控视频，提取关键图像帧，并对所述关键图像帧进行人体姿态特征提取；

烟雾识别模块，用于利用烟雾识别模型对所述待测监控视频进行识别，以判断是否存在烟雾；所述烟雾识别模型是预先根据烟雾摇摆扩散特征进行训练训练学习得到的；

姿态识别模块，用于利用姿态识别模型对所述提取的人体姿态进行识别，以判断姿态库中是否存在与所述提取的人体姿态相匹配的特定人体姿态；所述姿态识别模型是预先基于图像帧的多姿态特征进行训练学习得到的；

分析处理模块，用于若所述烟雾识别模块判断存在烟雾，且所述姿态识别模块判定存在特定人体姿态，确定存在吸烟事件。

可选的，所述特定人体姿态包括手臂呈大于120度的弯曲状态和/或手指间具有纵向夹持物。

可选的，所述分析处理模块在确定存在吸烟事件时，还用于关联发生所述吸烟事件的实地空间位置，并将所述实地空间位置向后台监控中心发起告警。

本发明还提供一种服务器，所述服务器包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如上所述的基于视频图像识别吸烟的方法的步骤。

本发明还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于视频图像识别吸烟的方法的步骤。

本发明的有益效果是：

根据本发明提供的基于视频图像识别吸烟的方法、装置、服务器及存储介质，通过获取待测监控视频，提取关键图像帧，并对关键图像帧进行人体姿态特征提取；利用烟雾识别模型对待测监控视频进行识别，以判断是否存在烟雾；烟雾识别模型是预先根据烟雾摇摆扩散特征进行训练训练学习得到的；利用姿态识别模型对提取的人体姿态进行识别，以判断姿态库中是否存在与提取的人体姿态相匹配的特定人体姿态；姿态识别模型是预先基于图像帧的多姿态特征进行训练学习得到的；若烟雾识别模型输出存在烟雾，且姿态识别模型输出存在特定人体姿态的识别结果时，确定存在吸烟事件；实现了对吸烟事件的及时监控识别，可广泛应用于学校、商场、工厂、城市公共交通场所等禁烟区，以达到对违规吸烟行为的快速、实时、在线智能识别监控，有利于维护公众健康，保障公共安全，建立文明城市。

附图说明

图1为本发明实施例一的基于视频图像识别吸烟的方法流程示意图；

图2为本发明实施例一的烟雾图像示意图；

图3为本发明实施例一的人体手臂弯曲示意图；

图4为本发明实施例一的手指间夹持物体示意图

图5为本发明实施例二的一种基于视频图像识别吸烟的装置结构示意图；

图6为本发明实施例二的另一种基于视频图像识别吸烟的装置结构示意图；

图7为本发明实施例三的服务器结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

为了实现对公共禁烟区域发生违规吸烟行为的智能监控识别，维护公众健康，保障公共安全，本发明实施例提供一种基于视频图像识别吸烟的方法，主要利用城市广泛覆盖的视频监控摄像头，对禁烟区域进行视频采集，利用本实施例提供的吸烟识别方法，实现对违规吸烟行为的监控识别预警。

请参见图1，图1为本实施例提供的基于视频图像识别吸烟的方法流程示意图，该方法主要包括如下步骤：

S101、获取待测监控视频，提取关键图像帧，并对关键图像帧进行人体姿态特征提取。

本实施例中，按照设定提取间隔，从待测监控视频中提取图像帧，作为关键图像帧。应当理解，待测监控视频是由若干存在时间顺序的图像帧构成，前后两帧图像之间的采集时间间隔，采集时间间隔的倒数称之为帧率。例如，前后两帧图像的采集时间间隔为0.1秒，则对应帧率为10帧/秒。

本实施例中，设定提取间隔可以根据待测监控视频的采集帧率、吸烟识别的精度要求、***处理负荷等因素，综合考虑。例如，在***性能允许的前提下，尽可能将设定提取间隔设置得更小，即提取频率更高，那么吸烟识别的准确性通常更好。例如，每间隔99帧提取一帧图像作为关键图像帧，即每100帧图像中选择其中一帧。

针对提取的关键图像帧，***还将对其进行人体姿态特征的识别提取。本实施例中，对于人体姿态特征识别提取的算法不做限制，可以采用现有任意识别算法，在此不再赘述。

基于设定提取间隔均匀提取关键图像帧，可以在很大程度上缓解***处理负荷，降低了对***的性能要求，但是存在一定的偶然性问题，从而可能导致漏检事件的发生概率较高，不利于实际应用的稳定性要求。为此，在本发明的其他实施例中，为了降低基于设定提取间隔均匀提取关键图像帧所导致的偶然性影响，在提取关键图像帧的过程中，灵活调整提取间隔。

可选的，对当前提取的关键图像帧进行人物特征识别，若判断当前提取的关键图像帧中存在人物特征，则将下一关键图像帧的提取间隔，调整为当前提取的该关键图像帧提取间隔的一半；若判断当前提取的该关键图像帧中不存在人物特征，则将下一关键图像帧的提取间隔，恢复为原始的设定提取间隔。

例如，设定提取间隔为99帧，即每间隔99帧提取一张作为关键图像帧；首先获取到该待测监控视频的第一帧图像作为第一张关键图像帧；然后，在获取到待测监控视频的第101帧图像时，将其提取作为第二张关键图像帧；接着，在获取到待测监控视频的第201帧图像时，将其提取作为第三张关键图像帧……；依次类推。为了避免这种均匀提取关键帧的偶然性问题，例如刚好错过了存在吸烟行为特征的图像帧；为此，假设在获取到第一张关键图像帧时，通过人物特征识别，确定其不存在人物特征，那么第二张关键图像帧的提取间隔，恢复为设定时间间隔(即每间隔99帧提取一帧，100帧中选择一帧)，则第二张关键图像帧为待监控视频的第101帧；继续对该第二张关键图像帧进行人物特征识别，若第二张关键图像帧中确定存在人物特征，表明有可能存在吸烟事件，从而将第三张关键图像帧的提取间隔，调整为第二张关键图像帧提取间隔的一半，这里第二张关键图像帧的提取间隔为设定时间间隔；故，第三张关键图像帧的提取间隔将调整为每49帧提取一帧(50帧中选择一帧)，提高提取关键图像帧的频率，因此可以在一定程度上降低均匀间隔提取的偶然性影响。

承上，第三张关键图像帧将为待监控视频的第151帧；仍然对第三张关键图像帧进行人物特征识别，若确定存在人物特征，则将第四张关键图像帧的提取间隔，调整为第三张关键图像帧提取间隔的一半，即每间隔24帧提取一帧(25帧中选择一帧)，那么第四张关键图像帧，将为待监控视频的第176帧；依次类推。

承上，若第四张关键图像帧通过识别确定不存在人物特征，那么第五张关键图像帧的提取间隔恢复为原始的设定时间间隔，即每间隔99帧提取一帧；应当理解，若第四张关键图像帧通过识别确定存在人物特征，那么第五张关键图像帧的提取间隔，调整为第四张关键图像帧提取间隔的一半，由于第四张关键图像帧提取间隔为奇数(25帧中选择一帧)，所以可以将第五张关键图像帧的提取间隔，灵活调整为13帧中选择一帧。当然，调整情况具体可以灵活设置，在此不再赘述。

应当理解的是，人物特征的识别可以采用现有任意方式，在此不做限制。其中，人物特征包括身形、头像、面部、手部等特征。

S102、利用烟雾识别模型对待测监控视频进行识别，以判断是否存在烟雾；其中，烟雾识别模型是预先根据烟雾摇摆扩散特征进行训练训练学习得到的。

吸烟产生的烟雾摇摆扩散特征，与自然环境中的其他物体图像特征是存在显著区别的，请参见图2，基于此，本实施例通过预先获取的大量烟雾扩散图像，作为训练样本，进行模型训练，得到烟雾识别模型。该烟雾识别模型可以比较准确地识别图像中的烟雾特征，进而可以输出是否处在烟雾的识别结果。

S103、利用姿态识别模型对提取的人体姿态进行识别，以判断姿态库中是否存在与提取的人体姿态相匹配的特定人体姿态；其中，姿态识别模型是预先基于图像帧的多姿态特征进行训练学习得到的。

本实施例中，特定人体姿态包括手臂呈大于120度的弯曲状态和/或手指间具有纵向夹持物，请分别参见图3、图4，姿态识别模型可以通过计算提取的人体姿态与姿态库中的特定人体姿态之间的相似度，确定两者是否匹配，若匹配，则表明该提取的人体姿态属于吸烟姿态；相反，若不匹配，则表明不属于吸烟姿态。应当理解，若关键图像帧中无提取的人体姿态，也不可能存在匹配的特定人体姿态，故也不可能存在吸烟行为。

S104、若烟雾识别模型输出存在烟雾，且姿态识别模型输出存在特定人体姿态的识别结果时，确定存在吸烟事件。

基于烟雾识别模型以及姿态识别模型的输出结果，综合判断是否存在吸烟事件，提高了识别准确性和可靠性。具体的，若烟雾识别模型输出存在烟雾，且姿态识别模型输出存在特定人体姿态的识别结果时，确定存在吸烟事件；相反，若烟雾识别模型输出不存在烟雾，或者姿态识别模型输出不存在特定人体姿态的识别结果时，确定不存在吸烟事件。

可选的，在确定存在吸烟事件时，关联发生吸烟事件的实地空间位置，并将实地空间位置向后台监控中心发起告警；后台监控中心可以通知附近的城市管理执法人员快速前往，及时制止，甚至处罚相关违规吸烟人员；极大提高了违规吸烟惩罚执行效率，有利于维护公共环境，保障公众健康与公共安全。

实施例二：

本实施例在上述实施例一的基础上，提供一种基于视频图像识别吸烟的装置，请参见图5，该装置主要包括如下模块：

图像采集处理模块51，用于获取待测监控视频，提取关键图像帧，并对关键图像帧进行人体姿态特征提取。

可选的，图像采集处理模块51用于按照设定提取间隔，从待测监控视频中提取图像帧，作为关键图像帧。

可选的，图像采集处理模块51用于对当前提取的关键图像帧进行人物特征识别，若判断当前提取的关键图像帧中存在人物特征，则将下一关键图像帧的提取间隔，调整为当前提取的关键图像帧提取间隔的一半；若判断当前提取的关键图像帧中不存在人物特征，则将下一关键图像帧的提取间隔，恢复为设定提取间隔。在降低***处理负荷的同时，减少间隔采样带来的偶然性影响。

烟雾识别模块52，用于利用烟雾识别模型对待测监控视频进行识别，以判断是否存在烟雾；烟雾识别模型是预先根据烟雾摇摆扩散特征进行训练训练学习得到的。

姿态识别模块53，用于利用姿态识别模型对提取的人体姿态进行识别，以判断姿态库中是否存在与提取的人体姿态相匹配的特定人体姿态；姿态识别模型是预先基于图像帧的多姿态特征进行训练学习得到的。

可选的，特定人体姿态包括手臂呈大于120度的弯曲状态和/或手指间具有纵向夹持物。

分析处理模块54，用于若烟雾识别模块判断存在烟雾，且姿态识别模块判定存在特定人体姿态，确定存在吸烟事件。

请参见图6，在本发明的其他实施例中，该装置还包括告警模块55，用于在分析处理模块54确定存在吸烟事件时，关联发生吸烟事件的实地空间位置，并将实地空间位置向后台监控中心发起告警。后台监控中心可以通知附近的城市管理执法人员快速前往，及时制止，甚至处罚相关违规吸烟人员；城市管理执法人员通过配备相应移动终端，接收后台监控中心发送的告警信号，并提示执法人员及时处理。极大提高了违规吸烟惩罚执行效率，有利于维护公共环境，保障公众健康与公共安全。

实施例三：

本实施例在上述实施例一和/或实施例二的基础上，提供一种服务器，用于实现上述实施例一中所述的基于视频图像识别吸烟的方法的步骤，请参见图7，该服务器包括处理器71、存储器72及通信总线73；

通信总线73用于实现处理器71和存储器72之间的连接通信；

处理器71用于执行存储器72中存储的一个或者多个程序，以实现如实施例一中所述的基于视频图像识别吸烟的方法的步骤。具体请参见上述实施例一和/或实施例二中的描述，在此不再赘述。

本实施例还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如实施例一中所述的基于视频图像识别吸烟的方法的步骤。具体请参见上述实施例一和/或实施例二中的描述，在此不再赘述。

显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于视频图像识别吸烟的方法，其特征在于，包括：

获取待测监控视频，提取关键图像帧，并对所述关键图像帧进行人体姿态特征提取，具体为：按照设定提取间隔，从所述待测监控视频中提取图像帧，作为所述关键图像帧，对当前提取的所述关键图像帧进行人物特征识别，若判断所述当前提取的所述关键图像帧中存在人物特征，则将下一关键图像帧的提取间隔，调整为所述当前提取的所述关键图像帧提取间隔的一半；若判断所述当前提取的所述关键图像帧中不存在人物特征，则将下一关键图像帧的提取间隔，恢复为所述设定提取间隔；并对所述关键图像帧进行人物特征识别，根据所述关键图像帧中是否存在人物特征对所述提取间隔进行调整，所述人物特征包括身形、头像、面部和手部特征；

利用烟雾识别模型对所述待测监控视频进行识别，以判断是否存在烟雾；所述烟雾识别模型是预先根据烟雾摇摆扩散特征进行训练学习得到的；

利用姿态识别模型对所述提取的人体姿态进行识别，以判断姿态库中是否存在与所述提取的人体姿态相匹配的特定人体姿态；所述姿态识别模型是预先基于图像帧的多姿态特征进行训练学习得到的；

根据所述烟雾识别模型和姿态识别模型的输出结果，综合判断是否存在吸烟事件，若所述烟雾识别模型输出存在烟雾，且所述姿态识别模型输出存在特定人体姿态的识别结果时，确定存在吸烟事件。

2.如权利要求1所述的基于视频图像识别吸烟的方法，其特征在于，所述特定人体姿态包括手臂呈大于120度的弯曲状态和/或手指间具有纵向夹持物。

3.如权利要求1-2任一项所述的基于视频图像识别吸烟的方法，其特征在于，在所述确定存在吸烟事件时，还包括：关联发生所述吸烟事件的实地空间位置，并将所述实地空间位置向后台监控中心发起告警。

4.一种基于视频图像识别吸烟的装置，其特征在于，包括：

图像采集处理模块，用于获取待测监控视频，提取关键图像帧，并对所述关键图像帧进行人体姿态特征提取，具体为：按照设定提取间隔，从所述待测监控视频中提取图像帧，作为所述关键图像帧，对当前提取的所述关键图像帧进行人物特征识别，若判断所述当前提取的所述关键图像帧中存在人物特征，则将下一关键图像帧的提取间隔，调整为所述当前提取的所述关键图像帧提取间隔的一半；若判断所述当前提取的所述关键图像帧中不存在人物特征，则将下一关键图像帧的提取间隔，恢复为所述设定提取间隔；并对所述关键图像帧进行人物特征识别，根据所述关键图像帧中是否存在人物特征对所述提取间隔进行调整，所述人物特征包括身形、头像、面部和手部特征；

烟雾识别模块，用于利用烟雾识别模型对所述待测监控视频进行识别，以判断是否存在烟雾；所述烟雾识别模型是预先根据烟雾摇摆扩散特征进行训练学习得到的；

姿态识别模块，用于利用姿态识别模型对所述提取的人体姿态进行识别，以判断姿态库中是否存在与所述提取的人体姿态相匹配的特定人体姿态；所述姿态识别模型是预先基于图像帧的多姿态特征进行训练学习得到的；

分析处理模块，用于根据所述烟雾识别模型和姿态识别模型的输出结果，综合判断是否存在吸烟事件，若所述烟雾识别模块判断存在烟雾，且所述姿态识别模块判定存在特定人体姿态，确定存在吸烟事件。

5.如权利要求4所述的基于视频图像识别吸烟的装置，其特征在于，所述特定人体姿态包括手臂呈大于120度的弯曲状态和/或手指间具有纵向夹持物。

6.如权利要求4所述的基于视频图像识别吸烟的装置，其特征在于，所述分析处理模块在确定存在吸烟事件时，还用于关联发生所述吸烟事件的实地空间位置，并将所述实地空间位置向后台监控中心发起告警。

7.一种服务器，其特征在于，所述服务器包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至3中任一项所述的基于视频图像识别吸烟的方法的步骤。

8.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至3中任一项所述的基于视频图像识别吸烟的方法的步骤。