CN109684990A - 一种基于视频的打电话行为检测方法 - Google Patents

一种基于视频的打电话行为检测方法 Download PDF

Info

Publication number
CN109684990A
CN109684990A CN201811565980.4A CN201811565980A CN109684990A CN 109684990 A CN109684990 A CN 109684990A CN 201811565980 A CN201811565980 A CN 201811565980A CN 109684990 A CN109684990 A CN 109684990A
Authority
CN
China
Prior art keywords
phone call
making
shoulder
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811565980.4A
Other languages
English (en)
Other versions
CN109684990B (zh
Inventor
朱健立
于宏志
王景彬
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tiandi Weiye Information System Integration Co Ltd
Original Assignee
Tianjin Tiandi Weiye Information System Integration Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiandi Weiye Information System Integration Co Ltd filed Critical Tianjin Tiandi Weiye Information System Integration Co Ltd
Priority to CN201811565980.4A priority Critical patent/CN109684990B/zh
Publication of CN109684990A publication Critical patent/CN109684990A/zh
Application granted granted Critical
Publication of CN109684990B publication Critical patent/CN109684990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于视频的打电话行为检测方法，包括以下步骤：A.对视频图像进行处理，获得头肩模型检测的送检图像；B.利用人头肩模型，对步骤A中得到的图像进行检测，获得人头肩的位置及相应的得分；C.对B中检测出来的头肩图像进行处理，获得打电话模型检测的送检图像；D.利用打电话模型，对步骤C得到的图像进行检测，获得打电话手势、嘴的位置及相应的得分；E.利用步骤D中的检测结果，进行打电话检测的逻辑判断。本发明有益效果：实现了打电话行为检测的自动化，不仅省去了大量的人力成本和时间成本，而且提高了打电话检测的准确性和实时性，本发明具有多种场景的适用性。

Description

一种基于视频的打电话行为检测方法
技术领域
本发明属于视频检测技术领域，尤其是涉及一种基于视频的打电话行为检测方法。
背景技术
在某些特定场景是不允许有接打电话行为，例如：法制部门审判案件，机动车驾驶，考试等。人员监督无法起到实时的监督作用，或者事后监控视频筛查，既需要大量的人力和时间成本并且不具有主动性。所以需要一种基于视频的打电话行为检测方法解决此类问题。
发明内容
有鉴于此，本发明旨在提出一种基于视频的打电话行为检测方法，以解决上述问题的不足之处。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于视频的打电话行为检测方法，包括以下步骤：
A.对视频图像进行处理，获得头肩模型检测的送检图像；
B.利用人头肩模型，对步骤A中得到的图像进行检测，获得人头肩的位置及相应的得分；
C.对B中检测出来的头肩图像进行处理，获得打电话模型检测的送检图像；
D.利用打电话模型，对步骤C得到的图像进行检测，获得打电话手势、嘴的位置及相应的得分；
E.利用步骤D中的检测结果，进行打电话检测的逻辑判断。
进一步的，所述步骤A中对视频图像的处理过程为：将待检测区域以较长的边长为基准随机生成长宽比为1:1的图像，原待检测区域在新图像中的位置随机。
进一步的，所述步骤B中人头肩模型训练过程如下：
先采集各种形态和场景的头肩样本，并对样本进行标注，即根据头肩在图像中的位置，标出真实的位置坐标，并赋予此位置头肩标签，基于caffe框架，使用采集的样本与标注信息训练SSD模型，采用随机梯度下降方法对模型反复进行迭代训练，每次迭代使得损失函数更小，使用的损失函数如下式，
其中，x表示前向传播的得到的预测类别，c表示的真实类别，l表示前向传播得到的头肩预测位置坐标，g表示头肩的真实位置坐标，Lconf为分类损失，Lloc为位置回归损失，α为这两种损失的平衡参数，N表示与真实标注框匹配上的样本数目。
进一步的，所述步骤C中图像处理过程为：使待检测区域以长边随机生成1:1的图像，待检测区域在图像中的位置随机。
进一步的，所述步骤D中打电话模型训练过程如下：
先采集各种形态和场景的打电话样本，并对样本进行标注，即根据打电话手势和嘴在图像中的位置，标出真实的位置坐标，并分别赋予此位置打电话手势或者嘴的标签，基于caffe框架，使用采集的样本与标注信息训练SSD模型，采用随机梯度下降方法对模型反复进行迭代训练，每次迭代使得损失函数更小，使用的损失函数如下式，
其中，x表示前向传播的得到的预测类别，c表示的真实类别，l表示前向传播得到的打电话手势和嘴预测位置坐标，g表示打电话手势和嘴的真实位置坐标，Lconf为分类损失，Lloc为位置回归损失，α为这两种损失的平衡参数，N表示与真实标注框匹配上的样本数目。
进一步的，所述步骤E中进行打电话检测的逻辑判断过程如下：
E1.对步骤D中的检测结果根据目标的得分进行阈值筛选，筛选掉得分小于0.3的目标；
E2.利用筛选后的检测结果，通过比较打电话手势和嘴的区域的位置关系与真实打电话时其位置关系，排除模型误检，确定此帧图像中人是否在打电话,如果为打电话帧，进行打电话帧数累积；如果不是打电话帧，则进行打电话帧数削减；
E3.通过判断打电话的累计的帧数是否大于阈值，来确定此人是否正在打电话。
相对于现有技术，本发明所述的基于视频的打电话行为检测方法具有以下优势：
本发明所述的基于视频的打电话行为检测方法首先获取视频图像，对图像进行处理，获得头肩模型送检图像，使用深度学习目标检测的方法确定头肩位置，并对头肩区域图像进行处理，获得打电话模型的送检图像，使用深度学习目标检测的方法确定打电话手势和嘴位置，通过判断嘴和打电话手势的区域位置关系排除误检，在一定的时间内如果打电话的能量累积大于设定的阈值，则判定此人此时正在打电话。此方法实现了打电话行为检测的自动化，不仅省去了大量的人力成本和时间成本，而且提高了打电话检测的准确性和实时性，本发明具有多种场景的适用性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的基于视频的打电话行为检测方法流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种基于视频的打电话行为检测方法，包括以下步骤：
A.对视频图像进行处理，获得头肩模型检测的送检图像；
B.利用人头肩模型，对步骤A中得到的图像进行检测，获得人头肩的位置及相应的得分；
C.对B中检测出来的头肩图像进行处理，获得打电话模型检测的送检图像；
D.利用打电话模型，对步骤C得到的图像进行检测，获得打电话手势、嘴的位置及相应的得分；
E.利用步骤D中的检测结果，进行打电话检测的逻辑判断。
所述步骤A中对视频图像的处理过程为：将待检测区域以较长的边长为基准随机生成长宽比为1:1的图像，原待检测区域在新图像中的位置随机。
所述步骤B中人头肩模型是一种深度学习SSD模型，其训练过程如下：
先采集各种形态(侧身，正身，低头)和场景(室内、室外)的头肩样本，并对样本进行标注，即根据头肩在图像中的位置，标出真实的位置坐标，并赋予此位置头肩标签，基于caffe框架，使用采集的样本与标注信息训练SSD模型，采用随机梯度下降方法对模型反复进行迭代训练，每次迭代使得损失函数更小，使用的损失函数如下式，
其中，x表示前向传播的得到的预测类别，c表示的真实类别，l表示前向传播得到的头肩预测位置坐标，g表示头肩的真实位置坐标，Lconf为分类损失，Lloc为位置回归损失，α为这两种损失的平衡参数，N表示与真实标注框匹配上的样本数目。
最后用检测效果最好(Map值最高)的人头肩模型对步骤A得到的图像进行检测，从而确定头肩在图像中的具***置。
所述步骤C中图像处理过程为：使待检测区域以长边随机生成1:1的图像，待检测区域在图像中的位置随机。
所述步骤D中打电话模型也是一种深度学习SSD模型，其训练过程如下：
先采集各种形态和场景的打电话样本，并对样本进行标注，即根据打电话手势和嘴在图像中的位置，标出真实的位置坐标，并分别赋予此位置打电话手势或者嘴的标签，基于caffe框架，使用采集的样本与标注信息训练SSD模型，采用随机梯度下降方法对模型反复进行迭代训练，每次迭代使得损失函数更小，使用的损失函数如下式，
其中，x表示前向传播的得到的预测类别，c表示的真实类别，l表示前向传播得到的打电话手势和嘴预测位置坐标，g表示打电话手势和嘴的真实位置坐标，Lconf为分类损失，Lloc为位置回归损失，α为这两种损失的平衡参数，N表示与真实标注框匹配上的样本数目。
最后用检测效果最好(Map值最高)的打电话模型对步骤C得到的图像进行检测，从而确定打电话手势和嘴在图像中的具***置和相应得分。
所述步骤E中进行打电话检测的逻辑判断过程如下：
E1.对步骤D中的检测结果根据目标的得分进行阈值筛选，筛选掉得分小于0.3的目标，(得分由模型检测得出，表示待检测目标与真是目标的相似程度)；
E2.利用筛选后的检测结果，通过比较打电话手势和嘴的区域的位置关系与真实打电话时其位置关系，排除模型误检，确定此帧图像中人是否在打电话,如果为打电话帧，进行打电话帧数累积；如果不是打电话帧，则进行打电话帧数削减；
E3.通过判断打电话的累计的帧数是否大于阈值(20帧)，来确定此人是否正在打电话。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视频的打电话行为检测方法，其特征在于，包括以下步骤：
A.对视频图像进行处理，获得头肩模型检测的送检图像；
B.利用人头肩模型，对步骤A中得到的图像进行检测，获得人头肩的位置及相应的得分；
C.对B中检测出来的头肩图像进行处理，获得打电话模型检测的送检图像；
D.利用打电话模型，对步骤C得到的图像进行检测，获得打电话手势、嘴的位置及相应的得分；
E.利用步骤D中的检测结果，进行打电话检测的逻辑判断。
2.根据权利要求1所述的一种基于视频的打电话行为检测方法，其特征在于，所述步骤A中对视频图像的处理过程为：将待检测区域以较长的边长为基准随机生成长宽比为1∶1的图像，原待检测区域在新图像中的位置随机。
3.根据权利要求1所述的一种基于视频的打电话行为检测方法，其特征在于，所述步骤B中人头肩模型训练过程如下：
先采集各种形态和场景的头肩样本，并对样本进行标注，即根据头肩在图像中的位置，标出真实的位置坐标，并赋予此位置头肩标签，基于caffe框架，使用采集的样本与标注信息训练SSD模型，采用随机梯度下降方法对模型反复进行迭代训练，每次迭代使得损失函数更小，使用的损失函数如下式，
其中，x表示前向传播的得到的预测类别，c表示的真实类别，1表示前向传播得到的头肩预测位置坐标，g表示头肩的真实位置坐标，Lconf为分类损失，Lloc为位置回归损失，α为这两种损失的平衡参数，N表示与真实标注框匹配上的样本数目。
4.根据权利要求1所述的一种基于视频的打电话行为检测方法，其特征在于，所述步骤C中图像处理过程为：使待检测区域以长边随机生成1∶1的图像，待检测区域在图像中的位置随机。
5.根据权利要求1所述的一种基于视频的打电话行为检测方法，其特征在于，所述步骤D中打电话模型训练过程如下：
先采集各种形态和场景的打电话样本，并对样本进行标注，即根据打电话手势和嘴在图像中的位置，标出真实的位置坐标，并分别赋予此位置打电话手势或者嘴的标签，基于caffe框架，使用采集的样本与标注信息训练SSD模型，采用随机梯度下降方法对模型反复进行迭代训练，每次迭代使得损失函数更小，使用的损失函数如下式，
其中，x表示前向传播的得到的预测类别，c表示的真实类别，1表示前向传播得到的打电话手势和嘴预测位置坐标，g表示打电话手势和嘴的真实位置坐标，Lconf为分类损失，Lloc为位置回归损失，α为这两种损失的平衡参数，N表示与真实标注框匹配上的样本数目。
6.根据权利要求1所述的一种基于视频的打电话行为检测方法，其特征在于，所述步骤E中进行打电话检测的逻辑判断过程如下：
E1.对步骤D中的检测结果根据目标的得分进行阈值筛选，筛选掉得分小于0.3的目标；
E2.利用筛选后的检测结果，通过比较打电话手势和嘴的区域的位置关系与真实打电话时其位置关系，排除模型误检，确定此帧图像中人是否在打电话，如果为打电话帧，进行打电话帧数累积；如果不是打电话帧，则进行打电话帧数削减；
E3.通过判断打电话的累计的帧数是否大于阈值，来确定此人是否正在打电话。
CN201811565980.4A 2018-12-20 2018-12-20 一种基于视频的打电话行为检测方法 Active CN109684990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811565980.4A CN109684990B (zh) 2018-12-20 2018-12-20 一种基于视频的打电话行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811565980.4A CN109684990B (zh) 2018-12-20 2018-12-20 一种基于视频的打电话行为检测方法

Publications (2)

Publication Number Publication Date
CN109684990A true CN109684990A (zh) 2019-04-26
CN109684990B CN109684990B (zh) 2023-05-30

Family

ID=66188367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811565980.4A Active CN109684990B (zh) 2018-12-20 2018-12-20 一种基于视频的打电话行为检测方法

Country Status (1)

Country Link
CN (1) CN109684990B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414344A (zh) * 2019-06-25 2019-11-05 深圳大学 一种基于视频的人物分类方法、智能终端及存储介质
CN112818939A (zh) * 2021-03-03 2021-05-18 上海高德威智能交通***有限公司 一种行为检测方法、装置及电子设备
CN113673342A (zh) * 2021-07-19 2021-11-19 浙江大华技术股份有限公司 行为检测方法、电子装置和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260705A (zh) * 2015-09-15 2016-01-20 西安邦威电子科技有限公司 一种适用于多姿态下的驾驶人员接打电话行为检测方法
CN105913022A (zh) * 2016-04-11 2016-08-31 深圳市飞瑞斯科技有限公司 一种基于视频分析的手持式打电话状态判别方法及***
JP2017067849A (ja) * 2015-09-28 2017-04-06 株式会社デンソー 対話装置及び対話方法
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN107301384A (zh) * 2017-06-09 2017-10-27 湖北天业云商网络科技有限公司 一种驾驶员接打电话行为检测方法及***
CN107832728A (zh) * 2017-11-21 2018-03-23 天津英田视讯科技有限公司 一种基于视频的审判员打电话行为识别方法
CN107844783A (zh) * 2017-12-06 2018-03-27 西安市交通信息中心 一种营运车辆异常驾驶行为检测方法及***
CN108345819A (zh) * 2017-01-23 2018-07-31 杭州海康威视数字技术股份有限公司 一种发送报警消息的方法和装置
CN108564034A (zh) * 2018-04-13 2018-09-21 湖北文理学院 一种驾驶员行车中操作手机行为的检测方法
CN108846442A (zh) * 2018-06-21 2018-11-20 吉旗物联科技（上海）有限公司 一种基于决策树的打电话手势视觉检测算法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260705A (zh) * 2015-09-15 2016-01-20 西安邦威电子科技有限公司 一种适用于多姿态下的驾驶人员接打电话行为检测方法
JP2017067849A (ja) * 2015-09-28 2017-04-06 株式会社デンソー 対話装置及び対話方法
CN105913022A (zh) * 2016-04-11 2016-08-31 深圳市飞瑞斯科技有限公司 一种基于视频分析的手持式打电话状态判别方法及***
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN108345819A (zh) * 2017-01-23 2018-07-31 杭州海康威视数字技术股份有限公司 一种发送报警消息的方法和装置
CN107301384A (zh) * 2017-06-09 2017-10-27 湖北天业云商网络科技有限公司 一种驾驶员接打电话行为检测方法及***
CN107832728A (zh) * 2017-11-21 2018-03-23 天津英田视讯科技有限公司 一种基于视频的审判员打电话行为识别方法
CN107844783A (zh) * 2017-12-06 2018-03-27 西安市交通信息中心 一种营运车辆异常驾驶行为检测方法及***
CN108564034A (zh) * 2018-04-13 2018-09-21 湖北文理学院 一种驾驶员行车中操作手机行为的检测方法
CN108846442A (zh) * 2018-06-21 2018-11-20 吉旗物联科技（上海）有限公司 一种基于决策树的打电话手势视觉检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汪前进，郑占杰: ""基于计算机视觉的危险驾驶预警***研究与设计"", 《长沙大学学报》 *
许华胜，丁军航，任秀娟等: ""基于CLM的驾驶员违章打电话检测***设计"", 《青岛大学学报（工程技术版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414344A (zh) * 2019-06-25 2019-11-05 深圳大学 一种基于视频的人物分类方法、智能终端及存储介质
CN112818939A (zh) * 2021-03-03 2021-05-18 上海高德威智能交通***有限公司 一种行为检测方法、装置及电子设备
CN113673342A (zh) * 2021-07-19 2021-11-19 浙江大华技术股份有限公司 行为检测方法、电子装置和存储介质

Also Published As

Publication number Publication date
CN109684990B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN108961272B (zh) 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN109118479A (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN103020985B (zh) 一种基于场量分析的视频图像显著性检测方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN103020606B (zh) 一种基于时空上下文信息的行人检测方法
CN103902970B (zh) 自动指纹姿态估计方法及***
CN104952073B (zh) 基于深度学习的镜头边缘检测方法
CN109376637A (zh) 基于视频监控图像处理的人数统计***
CN109684990A (zh) 一种基于视频的打电话行为检测方法
CN109145742A (zh) 一种行人识别方法及***
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
CN110232379A (zh) 一种车辆姿态检测方法及***
CN109635758A (zh) 智慧工地基于视频的高空作业人员安全带穿戴检测方法
CN103390151B (zh) 人脸检测方法及装置
CN107230267A (zh) 基于人脸识别算法的幼儿园智能签到方法
CN103198330B (zh) 基于深度视频流的实时人脸姿态估计方法
CN110147736A (zh) 一种基于姿态的重复异常行为检测方法
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
CN109886242A (zh) 一种行人重识别的方法及***
CN103049749B (zh) 在栅格遮挡下的人体再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant