CN112052774A - 行为检测方法及装置 - Google Patents

行为检测方法及装置 Download PDF

Info

Publication number
CN112052774A
CN112052774A CN202010901231.5A CN202010901231A CN112052774A CN 112052774 A CN112052774 A CN 112052774A CN 202010901231 A CN202010901231 A CN 202010901231A CN 112052774 A CN112052774 A CN 112052774A
Authority
CN
China
Prior art keywords
detection
image
behavior
model
detection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010901231.5A
Other languages
English (en)
Other versions
CN112052774B (zh
Inventor
朱墨
黄玉辉
姚万超
杨政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN202010901231.5A priority Critical patent/CN112052774B/zh
Publication of CN112052774A publication Critical patent/CN112052774A/zh
Application granted granted Critical
Publication of CN112052774B publication Critical patent/CN112052774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种行为检测方法及装置,该方法包括:获取对第一对象进行拍摄得到的第一图像;在所述第一图像中确定至少一个第一检测区域,所述第一检测区域包括所述第一对象的关键部位;对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果。本申请实施例的方案,通过在第一图像中确定可能存在异常行为的第一检测区域并进行检测,而排除了除第一检测区域之外的其他无关区域的影响,能够提高行为检测的准确率。

Description

行为检测方法及装置
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种行为检测方法及装置。
背景技术
在高级智能辅助驾驶***中,监控司机的危险行为并及时报警提醒,能有效的减少交通事故的发生。
司机开车过程中的危险行为可能有多种,例如抽烟、喝水、打电话等等。目前进行司机危险行为的监控的方案主要是,通过摄像头对司机进行拍照,并根据拍摄得到的图像来判断司机是否存在危险行为。
上述方案的缺点是,由于拍摄时司机进行危险行为的部分只占拍摄图像的一小部分,图像中的噪声较多,导致危险行为的判定的准确率不高。
发明内容
本申请实施例提供一种行为检测方法及装置,以解决行为检测的准确率不高的问题。
第一方面,本申请实施例提供一种行为检测方法,包括:
获取对第一对象进行拍摄得到的第一图像;
在所述第一图像中确定至少一个第一检测区域,所述第一检测区域包括所述第一对象的关键部位;
对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果。
在一种可能的实施方式中,在所述第一图像中确定至少一个第一检测区域,包括:
通过第一模型对所述第一图像进行处理,得到所述至少一个第一检测区域;其中,所述第一模型为对多组样本学习得到的,每组样本包括样本图像和样本检测区域。
在一种可能的实施方式中,所述第一模型的学习过程包括:
获取所述多组样本;
执行第一操作,所述第一操作包括:通过初始模型中的第一模块识别所述样本图像中的检测区域的尺寸,得到第一尺寸;通过所述初始模型中的第二模块识别所述样本图像中的检测区域的位置,得到第一位置;
执行第二操作,所述第二操作包括:根据所述样本检测区域、所述第一尺寸和所述第一位置,学习所述初始模型的参数;根据所述第一尺寸和所述检测区域的尺寸的差值,所述第一位置和所述样本检测区域的位置的差值,获取所述初始模型的损失函数;
重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到所述第一模型。
在一种可能的实施方式中,重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到所述第一模型,包括:
重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到第二模型;
在所述第二模型中去除所述第一模块和所述第二模块,得到所述第一模型。
在一种可能的实施方式中,对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果,包括:
通过所述第一模型对所述至少一个第一检测区域进行处理,得到所述检测结果;其中,每组样本中还包括样本检测结果。
在一种可能的实施方式中,所述检测结果包括第一指示信息,所述第一指示信息用于指示所述第一对象具有预设行为,或者不具有预设行为。
在一种可能的实施方式中,在所述检测结果中的第一指示信息指示所述第一对象具有预设行为时,所述检测结果还包括所述第一对象的行为类型。
第二方面,本申请实施例提供一种行为检测装置,包括:
获取模块,用于获取对第一对象进行拍摄得到的第一图像;
确定模块,用于在所述第一图像中确定至少一个第一检测区域,所述第一检测区域包括所述第一对象的关键部位;
检测模块,用于对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果。
在一种可能的实施方式中,所述确定模块具体用于:
通过第一模型对所述第一图像进行处理,得到所述至少一个第一检测区域;其中,所述第一模型为对多组样本学习得到的,每组样本包括样本图像和样本检测区域。
在一种可能的实施方式中,所述确定模块还用于:
获取所述多组样本;
执行第一操作,所述第一操作包括:通过初始模型中的第一模块识别所述样本图像中的检测区域的尺寸,得到第一尺寸;通过所述初始模型中的第二模块识别所述样本图像中的检测区域的位置,得到第一位置;
执行第二操作,所述第二操作包括:根据所述样本检测区域、所述第一尺寸和所述第一位置,学习所述初始模型的参数;根据所述第一尺寸和所述检测区域的尺寸的差值,所述第一位置和所述样本检测区域的位置的差值,获取所述初始模型的损失函数;
重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到所述第一模型。
在一种可能的实施方式中,所述确定模块具体还用于:
重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到第二模型;
在所述第二模型中去除所述第一模块和所述第二模块,得到所述第一模型。
在一种可能的实施方式中,所述检测模块具体用于:
通过所述第一模型对所述至少一个第一检测区域进行处理,得到所述检测结果;其中,每组样本中还包括样本检测结果。
在一种可能的实施方式中,所述检测结果包括第一指示信息,所述第一指示信息用于指示所述第一对象具有预设行为,或者不具有预设行为。
在一种可能的实施方式中,在所述检测结果中的第一指示信息指示所述第一对象具有预设行为时,所述检测结果还包括所述第一对象的行为类型。
第三方面,本申请实施例提供一种电子设备,包括:
存储器,用于存储程序;
处理器,用于执行所述存储器存储的所述程序,当所述程序被执行时,所述处理器用于执行如第一方面中任一所述的行为检测方法。
第四方面,本申请实施例提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如第一方面中任一所述的行为检测方法。
本申请实施例提供的行为检测方法及装置,首先获取对第一对象进行拍摄得到的第一图像,然后在第一图像中确定至少一个第一检测区域,第一检测区域中包括第一对象的关键部位;在确定了至少一个第一检测区域之后,对至少一个第一检测区域中的图像进行检测,得到第一对象的行为检测结果。本申请实施例的方案,通过在第一图像中确定可能存在异常行为的第一检测区域并进行检测,而排除了除第一检测区域之外的其他无关区域的影响,能够提高行为检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用场景示意图;
图2为本申请实施例提供的行为检测方法的流程示意图;
图3为本申请实施例提供的一种训练样本示意图;
图4为本申请实施例提供的样本检测区域检测示意图;
图5为本申请实施例提供的第一模型的结构示意图;
图6为本申请实施例提供的一种行为检测装置的结构示意图;
图7为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的应用场景示意图,如图1所示,包括司机11、摄像头12、处理器13和报警器14,摄像头12和处理器13之间通过有线或无线连接,处理器13和报警器14之间通过有线或无线连接。
图1示例的场景为对司机的危险行为进行检测的场景,摄像头12、处理器13和报警器14都属于车辆中的智能辅助驾驶***中的装置,司机11位于车辆的驾驶位上(图1中未示出车辆)。
司机11在驾驶车辆的过程中,有可能出现喝水、抽烟、打电话等危险行为,这些行为有可能导致交通事故的发生。为了减小由于司机11的危险行为导致的交通事故发生的概率,摄像头12会连续拍摄司机11,得到图像,并将图像发送给处理器13进行分析处理。处理器13在获取到图像之后,会根据图像判断司机11是否有执行某些危险行为。若有,则处理器13会控制报警器14进行报警,提醒司机11停止危险动作,专注开车。如果没有,则报警器14不执行任何动作。
需要说明的是,摄像头12可以拍摄图像,也可以拍摄视频,由于视频也可以分成一帧帧的图像进行分别处理,因此处理器13处理的是单张的图像,根据每张图像得到分析结果。另外,处理器13在得到一张图像的分析结果为存在危险行为时,就可以控制报警器14报警,也可以在得到连续多张图像的分析结果为存在危险行为时,才控制报警器14报警,只需要进行相应的灵敏度调节即可。
目前,针对摄像头12传输过来的图像,处理器13采用的分析方法,通常是通过分类网络来实现的。即预先训练一个分类网络,通过被标注的图像,得到训练样本,被标注的图像为存在危险行为的图像或者不存在危险行为的图像。训练完成得到分类网络之后,向分类网络中输入摄像头12发送的图像,即可以输出该图像的检测结果,存在危险行为或者不存在危险行为。
上述方案的分类网络结构简单,消耗时间少,处理效率较高,但是分类网络是针对一张图像直接进行分类。而实际上,一张图像中包括的内容是比较多的,例如在对司机进行拍摄时,为了拍摄全面,除了要拍摄司机的上半身,还可能包括一些背景部分。而司机在执行危险行为时,可能只有很小的一部分是异常的。
例如司机在抽烟时,只有司机的手部和嘴部异常,其他部分都是正常的。图像中由于可能包括不止一种行为的信息,直接采用整张图像进行分类,会导致抽取用来分类的特征引入过多噪声,从而导致分类的准确率降低。
而危险行为检测的准确性是一个很关键的指标,如果经常出现误报,会引起司机的情绪焦躁,漏报也会提高交通事故发生的危险,因此,提高危险行为的报警的准确率是十分重要的。
为解决上述问题,本申请实施例提供一种行为检测方案,基于检测的前提下进行行为检测分类,使得抽取的特征为单一行为的特征,有效排除图像中其他噪声的影响,提高行为检测的准确率。
下面将结合附图对本申请的方案进行介绍。
图2为本申请实施例提供的行为检测方法的流程示意图,如图2所示,该方法可以包括:
S21,获取对第一对象进行拍摄得到的第一图像。
第一对象即为需要进行行为检测的对象,例如对司机的危险行为进行检测时,第一对象即为开车的司机。
在对第一对象进行拍摄时,可以单独拍摄一张张的图像,也可以直接拍摄视频,视频由一张张图像组成,第一图像为其中的一张。针对任意的第一图像,其处理方式都是类似的。
S22,在所述第一图像中确定至少一个第一检测区域,所述第一检测区域包括所述第一对象的关键部位。
在获取到第一图像之后,会在第一图像中确定至少一个第一检测区域,第一检测区域中包括第一对象的关键部位。对第一图像进行第一检测区域的确定的原因是,当第一对象执行某些行为时,只有部分部位会与正常的第一对象的不同,而大部分部位与正常的第一对象是相同的。
例如以第一对象为司机为例,若需要检测司机的危险行为,例如抽烟,则司机抽烟时,只有手部和嘴部会产生异常行为,而通常对第一对象进行拍摄时,会拍摄一个较大的范围,手部和嘴部只是第一对象的一个小部分。此时将手部和嘴部择出来,更有利于对行为进行检测。
S23,对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果。
在第一图像中确定了至少一个第一检测区域之后,可以根据第一检测区域中的图像进行检测,其中第一检测区域为第一对象可能存在异常或危险行为的区域。在检测之后,可以得到第一对象的行为检测结果。
本申请实施例提供的行为检测方法,首先获取对第一对象进行拍摄得到的第一图像,然后在第一图像中确定至少一个第一检测区域,第一检测区域中包括第一对象的关键部位;在确定了至少一个第一检测区域之后,对至少一个第一检测区域中的图像进行检测,得到第一对象的行为检测结果。本申请实施例的方案,通过在第一图像中确定可能存在异常行为的第一检测区域并进行检测,而排除了除第一检测区域之外的其他无关区域的影响,能够提高行为检测的准确率。
下面将结合附图对本申请的方案进行详细介绍。
在获取了第一图像之后,需要在第一图像中确定至少一个第一检测区域。具体的,可以通过第一模型对第一图像进行处理,得到至少一个第一检测区域,其中,第一模型为对多组样本进行学习得到的,每组样本包括样本图像和样本检测区域。
可选的,每组样本还包括样本检测结果,样本检测结果只是样本对象有预设行为,或者,不具有预设行为。其中,预设行为即为需要检测的行为,以开车的司机为例,预设行为即为对正常驾驶可能造成危险的行为。
进一步的,预设行为还可以包括具体的行为类型,例如对正常驾驶可能造成危险的行为包括喝水、打电话、打架、抽烟等等。
图3为本申请实施例提供的一种训练样本示意图,如图3所示,包括图像31,图像31示意的是一名司机在开车过程中抽烟的图像。在获取到该图像31之后,可以对该图像31进行标注,得到标注框32,如图3中示意。
在图像31中,由于示意的是司机抽烟,司机抽烟是一种危险行为,需要对该行为进行检测。因此,在获取样本的时候,可以在图像31上标出标注框32,标注框32内为司机抽烟的行为,而标注框32外的其他区域与正常的司机无异。
针对一个图像31,其中的标注框可以有一个或者多个,主要是根据图像31中拍摄的内容确定。例如,当图像31中的司机同时在进行抽烟和打电话时,此时抽烟和打电话均是需要进行检测的行为,则此时需要分别设置标注框标注出来。
对图像31进行了标注框的标注之后,就可以得到一组样本。通过上述方式,可以获取多组样本,从而进行第一模型的学习。
具体的,在获取多组样本之后,执行第一操作,第一操作包括:通过初始模型中的第一模块识别样本图像中的检测区域的尺寸,得到第一尺寸;通过初始模型中的第二模块识别样本图像中的检测区域的位置,得到第一位置;
执行第二操作,第二操作包括:根据样本检测区域、第一尺寸和第一位置,学习初始模型的参数;
根据所述第一尺寸和所述检测区域的尺寸的差值,所述第一位置和所述样本检测区域的位置的差值,获取所述初始模型的损失函数;
重复执行第一操作和第二操作,直至损失函数收敛时,得到第一模型。
图4为本申请实施例提供的样本检测区域检测示意图,如图4所示,包括样本图像41,以及位于样本图像41上的样本检测区域42。
样本检测区域42为对样本图像41进行标注得到的,即与执行的危险行为相关的区域。样本图像41和样本检测区域42共同构成了一组样本。
在将这组样本输入至初始模型中后,初始模型中的第一模型识别样本图像41中的检测区域的尺寸,初始模型中的第二模型识别样本图像41中的检测区域的位置。通过识别的第一尺寸和识别的第一位置,可以确定初始模型识别的检测区域,即图4中的检测区域43。
在初始进行检测时,识别的检测区域43和实际的样本检测区域42之间是有误差的,不仅尺寸不一样,中心位置也不一样,此时就需要根据样本检测区域42的尺寸和位置,以及检测区域43的第一尺寸和第一位置,来学习初始模型的参数。
调整之后会再次识别检测区域,可能与原先的样本检测区域42之间仍然存在较大的误差,因此需要多次的参数学习,并根据第一尺寸与样本检测区域的尺寸的差值,以及第一位置与样本检测区域的位置的差值,确定初始模型的损失函数。在重复执行上述操作之后,直至损失函数收敛时,得到训练完成的第一模型。
在上述方案中,由于相对于分类网络,添加了检测的步骤,即首先确定出检测框的位置,然后针对检测框里的图像部分进行行为的检测,能够提高检测的准确率,但是模型相对于分类网络更加复杂,效率会降低。
为了在保证效率较高的前提下提高行为检测的准确率,本申请实施例中,选取了基于centernet的结构进行行为检测。图5为本申请实施例提供的第一模型的结构示意图,如图5所示,blob1表示对第一图像进行前景或背景分离,即对第一图像中确定至少一个第一检测区域,只提取出与要检测的行为相关的图像部分。Backbone为主干网络,包含6个残差网络以及3个反卷积操作。
该网络结构中,还包括卷积16、激活函数16,以及3个分支。第一个分支中包括卷积21、激活函数19和卷积22,第二个分支中包括卷积19、激活函数18和卷积20,第三个分支中包括卷积17、激活函数17和卷积18。其中,卷积18(即conv18)、卷积20(即conv20)、卷积22(即conv22)得到的图的尺寸都是原图的1/4。其中conv18负责预测行为类别的中心,conv20负责检测区域的尺寸,包括检测区域的长宽,conv22负责预测检测区域的中心的偏移,即检测区域的中心。
由于在实际中,并不需要关心司机的危险行为位于图像中的哪个具体的位置,只需要得到司机是否有进行危险行为的结果,因此,在模型训练完成之后,可以去除conv22和conv20的分支,仅保留conv18的分支,得到行为检测的结果即可。
初始模型中,第一模块即对应于conv20的分支,第二模块即对应于conv22的分支。重复执行第一操作和第二操作,直至第一尺寸与样本检测区域的尺寸的差值小于或等于第一阈值,第一位置与样本检测区域的位置小于或等于第二阈值时,得到训练完成的第二模型,然后在第二模型中去除第一模块和第二模块,即可得到第一模型。
在训练完成得到第一模型后,将第一图像输入至第一模型,首先通过第一模型对第一图像进行处理,得到至少一个第一检测区域,然后通过第一模型对至少一个第一检测区域进行处理,得到行为检测的检测结果。
可选的,检测结果中包括第一指示信息,第一指示信息指示第一对象具有预设行为,或者,不具有预设行为,此时的预设行为即为需要进行检测的行为。以开车的司机为例,预设行为即为对正常驾驶可能造成危险的行为。
进一步的,当第一指示信息指示第一对象具有预设行为时,检测结果中还包括第一对象的行为类型,例如对正常驾驶可能造成危险的行为包括喝水、打电话、打架、抽烟等等。
当第一对象具有预设行为时,还可以控制报警器报警,提醒司机注意安全,停止危险行为,等等。
本申请实施例提供的行为检测方法,首先获取对第一对象进行拍摄得到的第一图像,然后在第一图像中确定至少一个第一检测区域,第一检测区域中包括第一对象的关键部位;在确定了至少一个第一检测区域之后,对至少一个第一检测区域中的图像进行检测,得到第一对象的行为检测结果。本申请实施例的方案,通过在第一图像中确定可能存在异常行为的第一检测区域并进行检测,而排除了除第一检测区域之外的其他无关区域的影响,能够提高行为检测的准确率。同时,去除了识别第一检测区域的大小和具***置的模块之后,能够提高行为检测的效率。
图6为本申请实施例提供的一种行为检测装置的结构示意图,如图6所示,包括:
获取模块61,用于获取对第一对象进行拍摄得到的第一图像;
确定模块62,用于在所述第一图像中确定至少一个第一检测区域,所述第一检测区域包括所述第一对象的关键部位;
检测模块63,用于对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果。
在一种可能的实施方式中,所述确定模块62具体用于:
通过第一模型对所述第一图像进行处理,得到所述至少一个第一检测区域;其中,所述第一模型为对多组样本学习得到的,每组样本包括样本图像和样本检测区域。
在一种可能的实施方式中,所述确定模块62还用于:
获取所述多组样本;
执行第一操作,所述第一操作包括:通过初始模型中的第一模块识别所述样本图像中的检测区域的尺寸,得到第一尺寸;通过所述初始模型中的第二模块识别所述样本图像中的检测区域的位置,得到第一位置;
执行第二操作,所述第二操作包括:根据所述样本检测区域、所述第一尺寸和所述第一位置,学习所述初始模型的参数;根据所述第一尺寸和所述检测区域的尺寸的差值,所述第一位置和所述样本检测区域的位置的差值,获取所述初始模型的损失函数;
重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到所述第一模型。
在一种可能的实施方式中,所述确定模块62具体还用于:
重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到第二模型;
在所述第二模型中去除所述第一模块和所述第二模块,得到所述第一模型。
在一种可能的实施方式中,所述检测模块63具体用于:
通过所述第一模型对所述至少一个第一检测区域进行处理,得到所述检测结果;其中,每组样本中还包括样本检测结果。
在一种可能的实施方式中,所述检测结果包括第一指示信息,所述第一指示信息用于指示所述第一对象具有预设行为,或者不具有预设行为。
在一种可能的实施方式中,在所述检测结果中的第一指示信息指示所述第一对象具有预设行为时,所述检测结果还包括所述第一对象的行为类型。
本申请实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本申请实施例提供的电子设备的硬件结构示意图,如图7所示,该电子设备包括:至少一个处理器71和存储器72。其中,处理器71和存储器72通过总线73连接。
可选地,该模型确定还包括通信部件。例如,通信部件可以包括接收器和/或发送器。
在具体实现过程中,至少一个处理器71执行所述存储器72存储的计算机执行指令,使得至少一个处理器71执行如上的行为检测方法。
处理器71的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
在上述图7所示的实施例中,应理解,处理器可以是中央处理单元(英文:CentralProcessing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:DigitalSignal Processor,简称:DSP)、专用集成电路(英文:Application Specific IntegratedCircuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上所述的行为检测方法。
上述的计算机可读存储介质,上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits,简称:ASIC)中。当然,处理器和可读存储介质也可以作为分立组件存在于设备中。
所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种行为检测方法,其特征在于,包括:
获取对第一对象进行拍摄得到的第一图像;
在所述第一图像中确定至少一个第一检测区域,所述第一检测区域包括所述第一对象的关键部位;
对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果。
2.根据权利要求1所述的方法,其特征在于,在所述第一图像中确定至少一个第一检测区域,包括:
通过第一模型对所述第一图像进行处理,得到所述至少一个第一检测区域;其中,所述第一模型为对多组样本学习得到的,每组样本包括样本图像和样本检测区域。
3.根据权利要求2所述的方法,其特征在于,所述第一模型的学习过程包括:
获取所述多组样本;
执行第一操作,所述第一操作包括:通过初始模型中的第一模块识别所述样本图像中的检测区域的尺寸,得到第一尺寸;通过所述初始模型中的第二模块识别所述样本图像中的检测区域的位置,得到第一位置;
执行第二操作,所述第二操作包括:根据所述样本检测区域、所述第一尺寸和所述第一位置,学习所述初始模型的参数;根据所述第一尺寸和所述检测区域的尺寸的差值,所述第一位置和所述样本检测区域的位置的差值,获取所述初始模型的损失函数;
重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到所述第一模型。
4.根据权利要求3所述的方法,其特征在于,重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到所述第一模型,包括:
重复执行所述第一操作和所述第二操作,直至所述损失函数收敛时,得到第二模型;
在所述第二模型中去除所述第一模块和所述第二模块,得到所述第一模型。
5.根据权利要求2-4任一项所述的方法,其特征在于,对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果,包括:
通过所述第一模型对所述至少一个第一检测区域进行处理,得到所述检测结果;其中,每组样本中还包括样本检测结果。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述检测结果包括第一指示信息,所述第一指示信息用于指示所述第一对象具有预设行为,或者不具有预设行为。
7.根据权利要求6所述的方法,其特征在于,在所述检测结果中的第一指示信息指示所述第一对象具有预设行为时,所述检测结果还包括所述第一对象的行为类型。
8.一种行为检测装置,其特征在于,包括:
获取模块,用于获取对第一对象进行拍摄得到的第一图像;
确定模块,用于在所述第一图像中确定至少一个第一检测区域,所述第一检测区域包括所述第一对象的关键部位;
检测模块,用于对所述至少一个第一检测区域中的图像进行检测,得到所述第一对象的行为检测结果。
9.一种电子设备,其特征在于,包括:
存储器,用于存储程序;
处理器,用于执行所述存储器存储的所述程序,当所述程序被执行时,所述处理器用于执行如权利要求1至7中任一所述的行为检测方法。
10.一种计算机可读存储介质,其特征在于,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至7中任一所述的行为检测方法。
CN202010901231.5A 2020-08-31 2020-08-31 行为检测方法及装置 Active CN112052774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010901231.5A CN112052774B (zh) 2020-08-31 2020-08-31 行为检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010901231.5A CN112052774B (zh) 2020-08-31 2020-08-31 行为检测方法及装置

Publications (2)

Publication Number Publication Date
CN112052774A true CN112052774A (zh) 2020-12-08
CN112052774B CN112052774B (zh) 2023-10-17

Family

ID=73606843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010901231.5A Active CN112052774B (zh) 2020-08-31 2020-08-31 行为检测方法及装置

Country Status (1)

Country Link
CN (1) CN112052774B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610033A (zh) * 2021-08-16 2021-11-05 明见(厦门)软件开发有限公司 一种双手脱离方向盘监测方法、终端设备及存储介质
CN114202804A (zh) * 2022-02-15 2022-03-18 深圳艾灵网络有限公司 行为动作识别方法、装置、处理设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740617A (zh) * 2019-01-08 2019-05-10 国信优易数据有限公司 一种图像检测方法及装置
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111401282A (zh) * 2020-03-23 2020-07-10 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740617A (zh) * 2019-01-08 2019-05-10 国信优易数据有限公司 一种图像检测方法及装置
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111401282A (zh) * 2020-03-23 2020-07-10 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIWEN DUAN ET AL.: "Corner Proposal Network for Anchor-free,Two-stage Object Detection", 《ARXIV》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610033A (zh) * 2021-08-16 2021-11-05 明见(厦门)软件开发有限公司 一种双手脱离方向盘监测方法、终端设备及存储介质
CN114202804A (zh) * 2022-02-15 2022-03-18 深圳艾灵网络有限公司 行为动作识别方法、装置、处理设备及存储介质

Also Published As

Publication number Publication date
CN112052774B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN108090458B (zh) 人体跌倒检测方法和装置
CN111783744A (zh) 一种操作现场安全防护检测方法及装置
CN112052774B (zh) 行为检测方法及装置
CN110059635B (zh) 一种皮肤瑕疵检测方法及装置
CN109815797B (zh) 活体检测方法和装置
WO2022062775A1 (zh) 一种基于车辆终端***的监控处理方法、***及相关设备
CN112528940B (zh) 驾驶员行为识别模型的训练方法、识别方法及装置
CN114445768A (zh) 目标识别方法、装置、电子设备及存储介质
CN110569770A (zh) 人体入侵行为识别方法、装置、存储介质及电子设备
CN116386277A (zh) 疲劳驾驶检测方法、装置、电子设备及介质
CN111160187A (zh) 一种遗留物体检测的方法、装置及***
CN109298783B (zh) 基于表情识别的标注监控方法、装置及电子设备
CN108764040B (zh) 一种图像检测方法、终端及计算机存储介质
CN112784642B (zh) 车辆检测方法及装置
CN114170585A (zh) 危险驾驶行为的识别方法、装置、电子设备及存储介质
CN111723767B (zh) 一种图像处理方法、装置及计算机存储介质
US20230096532A1 (en) Machine learning system, learning data collection method and storage medium
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN112132039B (zh) 基于lstm和手工特征实现动作分类的方法、***
CN112016514B (zh) 一种交通标志识别方法、装置、设备及储存介质
CN114519818A (zh) 检测家居场景的方法、装置、电子设备及介质
CN110659384B (zh) 视频结构化分析方法及装置
CN110782439A (zh) 一种辅助检测图像标注质量的方法及装置
CN114323583B (zh) 一种车辆灯光检测方法、装置、设备及***
CN111367403A (zh) 一种交互方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant