CN110598632A - 目标对象的监测方法及装置、电子设备和存储介质 - Google Patents

目标对象的监测方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110598632A
CN110598632A CN201910863589.0A CN201910863589A CN110598632A CN 110598632 A CN110598632 A CN 110598632A CN 201910863589 A CN201910863589 A CN 201910863589A CN 110598632 A CN110598632 A CN 110598632A
Authority
CN
China
Prior art keywords
target object
monitoring
result
state
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910863589.0A
Other languages
English (en)
Other versions
CN110598632B (zh
Inventor
夏俊
戴娟
吴军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201910863589.0A priority Critical patent/CN110598632B/zh
Publication of CN110598632A publication Critical patent/CN110598632A/zh
Application granted granted Critical
Publication of CN110598632B publication Critical patent/CN110598632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种目标对象的监测方法及装置、电子设备和存储介质。所述目标对象的监测方法包括:获取目标对象的监测数据;根据监测数据,对目标对象进行状态评估,得到监测结果;其中,监测数据包括通过对目标对象进行图像识别所获得的情绪识别数据和/或行为识别数据。通过上述过程,可以基于目标对象的监测数据,对目标对象的状态进行综合评估,从而获得监测结果;由于监测数据包括通过对目标对象进行图像识别获得的情绪识别数据以及行为识别数据中的至少一种,对目标对象的识别维度较多,因此基于此多维度的监测数据进行状态评估从而得到的监测结果,可靠性较高,更可以较为准确地体现出目标对象的整体状态。

Description

目标对象的监测方法及装置、电子设备和存储介质
技术领域
本公开涉及数据分析领域,尤其涉及一种目标对象的监测方法及装置、电子设备和存储介质。
背景技术
随着社会与科学技术的发展,同一场所可以容纳的对象数量越来越多。对于场所的监管者而言,及时以及全面的掌握场所内所有对象的状态,可以便于其维持场所的秩序并保障场所的安全,从而实现对场所的有效监管。然而如何较为准确的确定场所内对象的状态,是目前一个亟待解决的问题。
发明内容
本公开提出了一种目标对象的监测方案。
根据本公开的一方面,提供了一种目标对象的监测方法,包括:
获取目标对象的监测数据;根据所述监测数据,对所述目标对象进行状态评估,得到监测结果;其中,所述监测数据包括通过对所述目标对象进行图像识别所获得的情绪识别数据和/或行为识别数据。
通过上述过程,可以基于目标对象的监测数据,对目标对象的状态进行综合评估,从而获得监测结果;由于监测数据包括通过对目标对象进行图像识别获得的情绪识别数据以及行为识别数据中的至少一种,对目标对象的识别维度较多,因此基于此多维度的监测数据进行状态评估从而得到的监测结果,可靠性较高,更可以较为准确地体现出目标对象的整体状态。
在一种可能的实现方式中,所述根据所述监测数据,对所述目标对象进行状态评估,得到监测结果,包括:获取所述目标对象待评估的状态;统计与所述状态对应的监测数据,得到统计结果;根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果。
通过上述过程,可以有效的利用获得的监测数据,对目标对象的不同状态进行评估,从而使得最终得到的监测结果,可以包括目标对象的多种状态评估结果,进一步提升了监测结果的可靠性。
在一种可能的实现方式中,所述根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果,包括:将所述统计结果与预设的权重进行加权求和,得到加权结果;将所述加权结果转换至预设值域内,将转换的结果作为状态统计值;将所述目标对象在监测周期内的多个所述状态统计值进行平均,将平均的结果作为所述目标对象的状态评估结果。
通过将统计结果与预设的权重进行加权求和,得到加权结果,可以将目标对象的监测数据进行量化,从而将对目标对象进行状态评估这一主观评估过程转换为客观的数值,使得监测结果更加客观和便于分析;通过将加权结果转换至预设值域内,将转换的结果作为状态统计值,可以使得最终的监测结果在同一值域下,进一步提升了该监测结果的比较与分析的容易程度;通过将目标对象在监测周期内的多个状态统计值进行平均,将平均的结果作为目标对象的状态评估结果,可以使得监测结果更具有可靠性,减小由于监测时间短而使得监测结果不具有参考意义的可能性。
在一种可能的实现方式中,所述根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果之前,还包括:判断所述目标对象在监测周期内是否包括至少一个统计结果,在判断结果为是的情况下,执行所述根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果的步骤。
通过上述过程,可以在目标对象存在统计结果时进行状态评估过程,减小无数据时的无关操作,提高监测过程的效率和准确度。
在一种可能的实现方式中,所述行为识别数据包括:坐姿识别数据、动作识别数据以及面部朝向识别数据中的至少一个。
通过接收对目标图像进行图像识别所获得的的情绪识别数据以及行为识别数据,由于这些识别数据的识别维度高,可以识别多种情绪以及行为,因此,基于此情绪识别数据以及行为识别数据来进行评估时,可以较为全面以及准确地分析到目标对象的总体状态,从而大大提升监测结果的可靠性。
在一种可能的实现方式中,所述状态包括:情绪状态、精力状态以及学习状态中的至少一个。
通过评估目标对象的情绪状态、精力状态以及学习状态,来得到监测结果,可以通过对目标对象的情绪、精力以及学习情况的分析,全面评估目标对象的监测情况,从而提升监测结果的全面性、可靠性以及可参考性,从而便于对目标对象的监测情况进行全方面的掌控。
在一种可能的实现方式中,所述统计与所述状态对应的监测数据,包括:统计与所述情绪状态对应的情绪识别数据;和/或,统计与所述精力状态对应的情绪识别数据、坐姿识别数据和动作识别数据;和/或,统计与所述学习状态对应的情绪识别数据、坐姿识别数据、动作识别数据和面部朝向识别数据。
通过上述过程,可以参考不同的识别数据,分别得出目标对象的情绪状态、精力状态和学习状态,由于不同状态有着不同的参考数据标注,即在得到不同种类的状态时,其需要参考的识别数据的具体内容不相同,因此不同状态之间的结果具有差异性,从而可以提升监测结果的全面性和可靠性。
在一种可能的实现方式中,所述根据所述监测数据,对所述目标对象进行状态评估,得到监测结果,还包括:获取目标对象的第一正常状态评估范围;将所述目标对象的状态评估结果与所述第一正常状态评估范围进行比较,在所述目标对象的状态评估结果超过所述第一正常状态评估范围的情况下,判断所述目标对象处于异常状态。
通过获取目标对象的第一正常状态评估范围,并将目标对象的状态评估结果与第一正常状态评估范围进行比较,在状态评估结果超过第一正常状态评估范围时来确定目标对象状态处于异常状态,可以及时发现目标对象的异常情况,进一步提高监测的针对性和可靠性。
在一种可能的实现方式中,所述获取目标对象的第一正常状态评估范围,包括:根据所述目标对象的历史监测结果,确定所述第一正常状态评估范围;或者,读取预设的第一正常状态评估范围。
根据目标对象的历史监测结果来确定第一正常状态评估范围,或是直接读取预设的正常状态评估范围,通过这两种方式灵活确定第一正常状态评估范围,可以提升对目标对象异常状态评估的灵活性,从而提升目标监测的灵活性。
在一种可能的实现方式中,所述根据所述监测数据,对所述目标对象进行状态评估,得到监测结果,还包括:获取所述目标对象所属集合内多个对象的状态评估结果;根据获取的所述多个对象的状态评估结果,得到所述目标对象所属集合的状态评估结果,作为所述监测结果。
通过获取目标对象所属集合内多个对象的状态评估结果,并根据获取的结果,得到目标对象所属集合的状态评估结果,作为监测结果,这一监测结果利于对集体情绪或行为进行分析,从而扩大整个监测方法的适用范围,也可以提升监测方法的实用性。
在一种可能的实现方式中,所述根据所述监测数据,对所述目标对象进行状态评估,得到监测结果,还包括:获取所述目标对象所属集合的第二正常状态评估范围;将所述目标对象所属集合的状态评估结果与所述第二正常评估范围进行比较,在所述目标对象所属集合的状态评估结果超过所述第二正常状态评估范围的情况下,判断所述目标对象所属集合处于异常状态。
通过上述过程,可以进一步对目标对象所属集合的异常状态进行评估,进一步扩大了监测方法的适用范围。
在一种可能的实现方式中,所述方法还包括:将所述监测结果发送至目标终端,其中,所述目标终端用以显示所述监测结果。
通过将监测结果发送至可以显示监测结果的目标终端上,可以对监测结果进行有效的展示,从而便于全面而准确地观察到目标对象的监测情况,提升监测的实时性、展示性和总结性。
在一种可能的实现方式中,所述方法还包括:根据所述监测结果,发送告警信息。
通过根据监测结果,发送告警信息,可以在监测的目标对象出现异常情况时及时向相关对象发出警告,从而进一步提升监测的可靠性、安全性与实用性。
根据本公开的一方面,提供了一种目标对象的监测装置,包括:
监测数据获取模块,用于获取目标对象的监测数据;监测结果生成模块,用于根据所述监测数据,对所述目标对象进行状态评估,得到监测结果;其中,所述监测数据包括通过对所述目标对象进行图像识别所获得的情绪识别数据和/或行为识别数据。
在一种可能的实现方式中,所述监测结果生成模块包括:状态获取单元,用于获取所述目标对象待评估的状态;统计单元,用于统计与所述状态对应的监测数据,得到统计结果;状态评估单元,用于根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果。
在一种可能的实现方式中,所述状态评估单元用于:将所述统计结果与预设的权重进行加权求和,得到加权结果;将所述加权结果转换至预设值域内,将转换的结果作为状态统计值;将所述目标对象在监测周期内的多个所述状态统计值进行平均,将平均的结果作为所述目标对象的状态评估结果。
在一种可能的实现方式中,所述状态评估单元还用于:判断所述目标对象在监测周期内是否包括至少一个统计结果,在判断结果为是的情况下,执行所述根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果的步骤。
在一种可能的实现方式中,所述行为识别数据包括:坐姿识别数据、动作识别数据以及面部朝向识别数据中的至少一个。
在一种可能的实现方式中,所述状态包括:情绪状态、精力状态以及学习状态中的至少一个。
在一种可能的实现方式中,所述统计单元用于:统计与所述情绪状态对应的情绪识别数据;和/或,统计与所述精力状态对应的情绪识别数据、坐姿识别数据和动作识别数据;和/或,统计与所述学习状态对应的情绪识别数据、坐姿识别数据、动作识别数据和面部朝向识别数据。
在一种可能的实现方式中,所述监测结果生成模块还包括异常状态判断单元,所述异常状态判断单元用于:获取目标对象的第一正常状态评估范围;将所述目标对象的状态评估结果与所述第一正常状态评估范围进行比较,在所述目标对象的状态评估结果超过所述第一正常状态评估范围的情况下,判断所述目标对象处于异常状态。
在一种可能的实现方式中,所述异常状态判断单元进一步用于:根据所述目标对象的历史监测结果,确定所述第一正常状态评估范围;或者,读取预设的第一正常状态评估范围。
在一种可能的实现方式中,所述监测结果生成模块进一步用于:获取所述目标对象所属集合内多个对象的状态评估结果;根据获取的所述多个对象的状态评估结果,得到所述目标对象所属集合的状态评估结果,作为所述监测结果。
在一种可能的实现方式中,所述监测结果生成模块进一步用于:获取所述目标对象所属集合的第二正常状态评估范围;将所述目标对象所属集合的状态评估结果与所述第二正常评估范围进行比较,在所述目标对象所属集合的状态评估结果超过所述第二正常状态评估范围的情况下,判断所述目标对象所属集合处于异常状态。
在一种可能的实现方式中,所述装置还用于:将所述监测结果发送至目标终端,其中,所述目标终端用以显示所述监测结果。
在一种可能的实现方式中,所述装置还用于:根据所述监测结果,发送告警信息。
根据本公开的一方面,提供了一种目标对象的监测***,包括:
监测数据生成装置,用于生成目标对象的监测数据;如上述任意一项所述的目标对象的监测装置;其中,所述监测数据生成装置与所述目标对象的监测装置连接。
在一种可能的实现方式中,所述监测数据生成装置包括:图像采集设备,用于采集目标对象的图像;图像识别设备,用于通过对所述图像识别获得所述目标对象的监测数据;其中,所述图像识别设备分别与所述图像采集设备和所述目标对象的监测装置连接。
在一种可能的实现方式中,所述***还包括:目标终端,用于显示所述目标对象的监测装置的监测结果;其中,所述目标终端与所述目标对象的监测装置连接。
根据本公开的一方面,提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行上述目标对象的监测方法。
根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述目标对象的监测方法。
在本公开实施例中,通过接收通过对目标对象进行图像识别而获得的监测数据,从而根据监测数据,对目标对象进行状态评估,得到监测结果,且监测数据包括情绪识别数据以及行为识别数据。通过上述过程,可以基于目标对象的监测数据,对目标对象的状态进行综合评估,从而获得监测结果;由于监测数据包括通过对目标对象进行图像识别获得的情绪识别数据以及行为识别数据中的至少一种,对目标对象的识别维度较多,因此基于此多维度的监测数据进行状态评估从而得到的监测结果,可靠性较高,更可以较为准确地体现出目标对象的整体状态。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开一实施例的目标对象的监测方法的流程图。
图2示出根据本公开一实施例的目标对象的监测装置的框图。
图3示出根据本公开一实施例的目标对象的监测***的框图。
图4示出根据本公开一应用示例的示意图。
图5示出根据本公开实施例的一种电子设备的框图。
图6示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
图1示出根据本公开一实施例的目标对象的监测方法的流程图,该方法可以应用于终端设备、服务器或者其他处理设备等。其中,终端设备可以为用户设备(UserEquipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一个示例中,该目标对象的监测方法可以应用于云端服务器或本地服务器,云端服务器可以为公有云服务器,也可以为私有云服务器,根据实际情况灵活选择即可。
在一些可能的实现方式中,该目标对象的监测方法也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
如图1所示,所述目标对象的监测方法可以包括:
步骤S11,获取目标对象的监测数据,其中,监测数据包括通过对目标对象进行图像识别所获得的情绪识别数据和/或行为识别数据。
步骤S12,根据监测数据,对目标对象进行状态评估,得到监测结果。
上述公开实施例中,可以根据实际情况灵活选择被监测的目标对象的身份。在一种可能的实现方式中,本公开实施例中提出的方法可以应用于对校园内的学生进行健康分析中,因此,此时的目标对象可以为学生;在一种可能的实现方式中,本公开实施例中提出的方法也可以应用于对实验对象进行情绪行为分析中,此时的目标对象可以为接受实验的实验对象,随着方法应用环境的不同,目标对象的身份可以随之进行改变,在此不再一一列举。
通过接收对目标对象进行图像识别而获得的监测数据,从而根据监测数据,对目标对象进行状态评估,得到监测结果,且监测数据包括情绪识别数据和/或行为识别数据。通过上述过程,可以基于目标对象的监测数据,对目标对象的状态进行综合评估,从而获得监测结果;由于监测数据包括通过对目标对象进行图像识别获得的情绪识别数据以及行为识别数据中的至少一种,对目标对象的识别维度较多,因此基于此多维度的监测数据进行状态评估从而得到的监测结果,可靠性较高,更可以较为准确地体现出目标对象的整体状态。
在一种可能的实现方式中,监测数据可以同时包括情绪识别数据和行为识别数据,既可以识别目标对象的行为,也可以识别目标对象的情绪,识别维度多,因此进一步提高了监测结果的可靠性。同时,本公开实施例中提出的监测方法,在应用于校园内来对学生进行健康分析时,可以基本不需要教师或学校管理人员对方案进行干涉,只需在教室部署摄像头采集图像/视频后根据采集的图像/视频进行分析即可,硬件与人工的依赖均较低,无需过多硬件与人工成本的投入,即可对课堂上学生的总体状态进行分析,持续关注到每一个孩子的状态变化,便于辅助教师及时获知课堂上学生的注意力是否集中、精力是否充沛以及学习状态是否良好,结合相关统计分析,为教学工作提供一定的数据支持。
步骤S11获取的监测数据,可以来自于对目标对象进行识别的识别装置,举例来说,可以来自于某一个识别装置,也可以同时来自于两个以上的识别装置,在本公开实施例中不做限制。识别装置的实现方式在本公开实施例中也不做限制,任何可以对目标对象进行图像识别的终端设备、服务器或者其他处理设备,均可以作为该识别装置的实现方式。在一种可能的实现方式,该识别装置可以包括图像采集模块以及识别模块两部分,这两部分可以集成于同一硬件设备内,也可以分别通过不同的硬件进行实现,在本公开实施例中不做限制。其中,图像采集模块可以用于采集目标对象的图像数据,该图像数据可以为视频数据也可以为静态图片数据,在一个示例中,可以将视频数据解析为多个帧图片,再对其中的帧图片进行抽取,并将采集的图像数据发送至识别模块,识别模块通过对接收的图像数据来对目标对象进行图像识别,获得相应的识别结果作为监测数据。
通过识别模块对目标对象进行图像识别,可以获得情绪识别数据以及行为识别数据,其中,获得的识别数据可以根据实际情况灵活选择,在一种可能的实现方式中,可以根据需求仅获得情绪识别数据,或是仅获得行为识别数据,也可以同时获得情绪识别数据和行为识别数据。其中,情绪识别数据所能识别的情绪种类,可以根据情绪识别的具体实现方式,来进行灵活确定,在本公开实施例中不做具体限制,在一个示例中,情绪识别数据可以识别出的情绪种类可以包括高兴、平静、惊讶、厌恶、生气、悲伤以及害怕共7种。而行为识别数据则可以根据行为的类别进行进一步分类,在一种可能的实现方式中,行为识别数据可以包括:坐姿识别数据、动作识别数据以及面部朝向识别数据中的至少一个。这些行为识别数据可以识别出的行为种类在本公开实施例中同样不受限制,在一个示例中,坐姿识别数据可以识别出的坐姿种类可以包括正坐、趴着、站立、靠墙以及靠桌共5种;在一个示例中,动作识别数据可以识别出的动作种类可以包括打哈欠、伸懒腰、玩手机、举手、说话、记笔记以及手撑头共7种;在一个示例中,面部朝向识别数据可以识别出的面部朝向种类可以包括低头、抬头以及背过头共3种。
在本公开实施例中,通过接收对目标图像进行图像识别所获得的的情绪识别数据以及行为识别数据,由于这些识别数据的识别维度高,可以识别超出20种情绪以及行为,因此,基于此情绪识别数据以及行为识别数据来进行评估时,可以较为全面以及准确地分析到目标对象的总体状态,从而大大提升监测结果的可靠性。
上述公开实施例中,识别模块对目标图像进行图像识别的方式在本公开实施例中也不做限制,任何可以从接收的图像数据中对目标对象进行图像识别的实现方式,均可以作为该识别模块的实现方式。其中,在一个示例中,该图像识别可以包括人脸检测、人脸识别、行为识别以及表情识别中的一种或多种,具体选择哪些识别方式可以根据需求进行灵活确定。
在一种可能的实现方式中,该识别过程可以为:先从图像数据中检测到每帧图像内的目标对象,举例来说,目标对象为学生时,即可以先从图像数据中检测到每帧图像内的人体;在检测到每帧图像内的目标对象后,可以通过模型运算,对目标对象进行情绪以及行为的分类,从而得到最终的识别结果,其中,模型运算可以为基于训练出的神经网络模型,来对检测出的目标对象进行情绪识别或是行为识别等,在此不做具体限制,根据实际情况进行灵活选择即可。在一个示例中,如对上述“趴着”的坐姿进行坐姿识别,其具体的识别过程可以为:先定义趴着的行为特征,如脊椎出现大角度弯曲、躯干基本与桌面平行、双臂交叠与桌面平行或是头置双臂上、头/脸和手有接触以及手或者胳膊放平在桌上等。在对视频解析后的图像进行数据处理时,会先识别出相关的人体,通过模型计算从而判断是否满足这些趴着的行为特征,若满足则判定为“趴着”行为。在一个示例中,如对上述“玩手机”的动作进行动作识别,其具体的识别过程可以为:先定义玩手机的行为特征,如画面会出现可见的手机或是ipad产品在手上且有玩的行为等。在对视频解析后的图像进行数据处理时,会先识别出相关的人体,通过模型计算从而判断是否满足这些玩手机的行为特征,若满足则判定为“玩手机”行为。
通过包括有图像采集模块以及识别模块的识别装置,来对目标对象进行图像识别从而获得包括有情绪识别数据以及行为识别数据的监测数据,并将此监测数据发送至可以实现本公开实施例中提出的目标对象的监测方法的服务器,通过上述实现方式,可以在本地实现对目标对象的情绪以及行为识别过程,从而降低服务器的运算压力,提升服务器的运算和服务能力,继而提升本公开实施例中提出的监测方法的实现效率。
在一种可能的实现方式中,步骤S11获取的监测数据,也可以直接在服务器中进行获取,即在获取了目标对象的图像后,可以将其上传至服务器,在服务器进行图像识别,从而得到监测数据,并继续在服务器中利用此监测数据得到监测结果,目标对象的图像的获取方式以及图像识别的具体实现方式可以参考上述各公开实施例,在此不再赘述。
在获取了目标对象的监测数据后,可以通过步骤S12,来根据监测数据对目标对象进行状态评估,从而得到监测结果。在一种可能的实现方式中,步骤S12可以包括:
步骤S121,获取目标对象待评估的状态。
步骤S122,统计与状态对应的监测数据,得到统计结果。
步骤S123,根据统计结果,对目标对象进行状态评估,得到目标对象的状态评估结果,作为监测结果。
通过获取目标对象待评估的状态,来统计与该状态对应的监测数据,得到统计结果,并根据统计结果来对目标对象进行状态评估,从而得到目标对象的状态评估结果,作为监测结果,通过上述过程,可以有效的利用获得的监测数据,对目标对象的不同状态进行评估,从而使得最终得到的监测结果,可以包括目标对象的多种状态评估结果,进一步提升了监测结果的可靠性。
其中,步骤S121中,获取目标对象待评估的状态,其包括的状态种类在本公开实施例中可以根据实际情况灵活确定,在一种可能的实现方式中,状态可以包括:情绪状态、精力状态以及学习状态中的至少一个。因此,步骤S121的实现方式,可以根据实际需要待评估的状态种类来确定,在一个示例中,可以同时获取目标对象的情绪状态、精力状态以及学习状态;在一个示例中,可以仅获取目标对象这三种状态中的一种或两种;在一个示例中,也可以在获取目标对象这三种状态的基础上,进一步获取目标对象的其他状态,其他状态的种类以及评估方式可以根据需求灵活确定。
通过评估目标对象的情绪状态、精力状态以及学习状态,来得到监测结果,可以通过对目标对象的情绪、精力以及学习情况的分析,全面评估目标对象的监测情况,从而提升监测结果的全面性、可靠性以及可参考性,从而便于对目标对象的监测情况进行全方面的掌控。
在通过步骤S121获取目标对象待评估的状态后,可以通过步骤S122,统计与状态对应的监测数据,得到统计结果。可以看出,步骤S122在实现时,由于统计的监测数据与待评估的状态相对应,因此随着待评估的状态不同,统计的内容也会相应的发生变化,从而导致步骤S122的实现方式也产生不同。在一种可能的实现方式中,步骤S122可以包括:
统计与情绪状态对应的情绪识别数据;和/或,
统计与精力状态对应的情绪识别数据、坐姿识别数据和动作识别数据;和/或,
统计与学习状态对应的情绪识别数据、坐姿识别数据、动作识别数据和面部朝向识别数据。
通过上述公开实施例可以看出,在评估目标对象的情绪状态时,可以将情绪识别数据作为参考数据进行统计与评估,来得到目标对象的情绪状态评估结果,作为监测结果;在评估目标对象的精力状态时,可以将情绪识别数据与行为识别数据中的坐姿识别数据和动作识别数据作为参考数据,进行统计与评估,来得到精力状态评估结果,作为监测结果;在评估目标对象的学习状态时,可以将情绪识别数据与行为识别数据中的坐姿识别数据、动作识别数据和面部朝向识别数据均作为参考数据,进行统计与评估,来得到学习状态评估结果,作为监测结果。在一种可能的实现方式中,可以先分别统计情绪识别数据、坐姿识别数据、动作识别数据和面部朝向识别数据,然后根据待评估状态的情况,选择将哪几种统计结果进行结合,继而通过步骤S123,来得到目标对象的状态评估结果,作为监测结果。在另一个可能的实现方式中,可以根据待评估状态,获取对应的监测数据,得到对应的统计结果。在一个示例中,当将本方法应用于学生健康状态分析时,可以分别统计学生的情绪识别数据、坐姿识别数据、动作识别数据和面部朝向识别数据,然后根据学生的情绪识别数据的统计情况,来得到情绪状态的统计结果,再根据学生的情绪识别数据、坐姿识别数据和动作识别数据的统计情况,来得到精力状态的统计结果,再根据学生的情绪识别数据、坐姿识别数据、动作识别数据和面部朝向识别数据的统计情况,来得到学习状态的统计结果,在分别得到这三种统计结果后,可以通过步骤S123,分别对学生的情绪状态、精力状态和学习状态进行评估,得到监测结果。
通过上述公开实施例可以看出,随着状态评估的种类不同,统计监测数据的过程也可以随之发生相应的变化。在一种可能的实现方式中,统计的方式可以为:由于根据待评估的状态,可以确定需要统计的监测数据的类型,因此可以基于确定的监测数据中识别数据的类型,对该类型下识别数据中每一个可识别结果进行计数,来得到统计结果。举例来说,如果待评估的状态为情绪状态,则可以确定需要统计的监测数据的类型为情绪识别数据,通过上述公开实施例可以得知,情绪识别数据中可识别的结果包括高兴、平静、惊讶、厌恶、生气、悲伤以及害怕共7种,因此在统计时,可以分别记录在一个统计周期内,目标对象高兴的次数、平静的次数、惊讶的次数、厌恶的次数等共7种类别的次数,从而得到统计结果。如果待评估的状态为精力状态,则除了统计上述公开实施例中情绪识别数据中7个种类下的次数外,还需要统计坐姿识别数据中正坐的次数、趴着的次数等共5种类别的次数,以及动作识别数据中的打哈欠的次数、伸懒腰的次数等共7种类别的次数,从而得到统计结果。学习状态的统计方式与上述公开实施例类似,在此不再赘述。
通过统计与情绪状态对应的情绪识别数据,统计与精力状态对应的情绪识别数据、坐姿识别数据和动作识别数据,以及统计与学习状态对应的情绪识别数据、坐姿识别数据、动作识别数据和面部朝向识别数据,可以参考不同的识别数据,分别得出目标对象的情绪状态、精力状态和学习状态,由于不同状态有着不同的参考数据标注,即在得到不同种类的状态时,其需要参考的识别数据的具体内容不相同,因此不同状态之间的结果具有差异性,从而可以提升监测结果的全面性和可靠性。
在通过步骤S122得到统计结果后,可以根据此统计结果,通过步骤S123,得到监测结果。步骤S123的实现方式不受限定,即对目标对象进行状态评估的方式不受限定,在一种可能的实现方式中,可以通过加权计算的方式,来确定统计结果与状态评估结果之间的对应关系,在一种可能的实现方式中,也可以通过其他的计算方式,例如各统计结果的比例关系等,来确定统计结果与状态评估结果之间的对应关系,根据实际情况灵活选择即可。因此,在一种可能的实现方式中,步骤S123可以包括:
步骤S1231,将统计结果与预设的权重进行加权求和,得到加权结果。
步骤S1232,将加权结果转换至预设值域内,将转换的结果作为状态统计值。
步骤S1233,将目标对象在监测周期内的多个状态统计值进行平均,将平均的结果作为目标对象的状态评估结果。
通过将统计结果与预设的权重进行加权求和,得到加权结果,可以将目标对象的监测数据进行量化,从而将对目标对象进行状态评估这一主观评估过程转换为客观的数值,使得监测结果更加客观和便于分析;通过将加权结果转换至预设值域内,将转换的结果作为状态统计值,可以使得最终的监测结果在同一值域下,进一步提升了该监测结果的比较与分析的容易程度;通过将目标对象在监测周期内的多个状态统计值进行平均,将平均的结果作为目标对象的状态评估结果,可以使得监测结果更具有可靠性,减小由于监测时间短而使得监测结果不具有参考意义的可能性。
步骤S1231中,加权求和的一个重要参考依据为预设的权重,该预设的权重可以根据实际情况进行灵活确定。在一种可能的实现方式中,可以先根据待评估的状态,来确定其中对应的识别数据类型,然后再对每个识别数据类型下包括的识别结果进行权重定义,其中积极的识别结果可以对应取值为正的正向权重,消极的识别结果可以对应取值为负的负向权重。在一个示例中,如果待评估的是目标对象的精力状态,则通过上述公开实施可以得知,其包含的识别数据类型有情绪识别数据、坐姿识别数据以及动作识别数据,因此进一步地,我们可以定义情绪识别数据中高兴的权重为+1,坐姿识别数据中趴着的权重为-2,站立的权重为+1,动作识别数据中打哈欠的权重为-2,伸懒腰的权重为-2,手撑头的权重为-2,举手的权重为+1等,其余未说明的识别结果的权重不再一一列举,根据实际情况定义即可。情绪状态以及学习状态的权重定义方式可以参考此公开示例,在此不再赘述。需要注意的是,上述公开实施例中提出过,不同的待评估的状态,其参考的数据可能有重叠,比如情绪状态、精力状态和学习状态,均需要参考情绪识别数据,精力状态和学习状态还均需要参考坐姿识别数据和动作识别数据,然而同样类型的识别数据中的识别结果,在用于不同状态的评估时,其权重可以根据实际情况进行确定,可以相同,也可以不同,在此不做限制。举例来说,对于某一目标对象同时进行情绪状态、精力状态和学习状态评估时,对于该目标对象在情绪识别数据中高兴的识别结果,在精力状态中所占的权重为+1,在情绪状态中所占的权重可以同样为+1,而在学习状态中所占的权重则可以为+2。
在确定了每个类型下识别数据中识别结果的权重后,则可以将统计结果与预设的权重进行加权求和来得到加权结果。加权求和的具体计算方式可以根据实际情况进行灵活确定,在一种可能的实现方式中,该加权求和的计算过程可以为:
加权结果=∑(统计周期内目标对象在待评估的状态下的统计结果×对应权重)
其中,统计周期的时间长度可以根据监测的需求进行灵活确定,在本公开实施例中不做限制。在一个示例中,当本方法应用于对学生进行健康分析时,目标对象为学生,此时可以将统计周期定义为每堂课(或是每个课间)的时间,此时将某个同学在某堂课中精力状态的加权结果记为A,则:
A=∑(这堂课该同学各情绪识别数据的计数×对应权重+这堂课该同学各坐姿识别数据的计数×对应权重+这堂课该同学各动作识别数据的计数×对应权重)。
该同学在某堂课下的情绪状态和学习状态的加权结果,其计算方式可以根据上述示例进行类推,在此不再赘述。
通过上述过程,可以得到目标对象的加权结果,进一步地,通过步骤S1232,可以将加权结果转换至预设值域内,将转换结果作为状态统计值。其中,预设值域可以根据实际情况进行灵活确定,可以自行定义预设值域的范围,也可以根据目标对象可以得到的所有加权结果,来确定预设值域的范围,在此不做限制。在一个示例中,将加权结果转换至预设值域内,得到状态统计值的过程可以为:仍以上述公开实施例中某同学在某堂课中精力状态的加权结果为A来举例,在本公开应用示例中,可以根据精力状态中每一个识别结果的权重,来对应确定精力状态的加权结果的值域,具体的确定过程可以根据实际情况进行灵活计算,在此不做限制。进一步地,本公开实施例可以定义预设值域的范围为[0,100],则根据精力状态的加权结果的值域,可以确定出将精力状态的加权结果转换到预设值域内的转换公式,在本公开示例中,通过计算可以得出精力状态统计值与精力状态的加权结果之间的转换关系可以满足:
精力状态统计值=(精力状态的加权结果+8X)/11X×100%
其中,X为该时间周期内目标对象输出的记录次数。
通过上述公式,可以将每一个精力状态的加权结果均转换为值在0到100之间的精力状态统计值,同样地,情绪状态统计值与学习状态统计值的计算方式可以参考上述过程,在此不再赘述。
通过上述公开实施了可以看出,在得到了状态统计值后,还可以通过步骤S1233,将目标对象在监测周期内的多个状态统计值进行平均,将平均的结果作为目标对象的状态评估结果,从而得到最终的监测结果。其中,参与平均的多个状态统计值,其具体的数量在本公开实施例中不做限制,可以为目标对象在监测周期内的所有状态统计值,也可以为根据需求筛选的其中部分的状态统计值,具体的筛选要求在本公开实施例中也不做限制,可以根据实际情况灵活确定。监测周期的时间长度同样可以根据实际情况进行灵活确定,不限于下述公开实施例。在一种可能的实现方式中,当监测周期的时间足够短时,可以看作是获取目标对象的实时监测结果,此时,本公开实施例中提出的目标对象的监测方法,也可以看作是对目标对象进行实时监测的一种方法,同时由于监测结果需要基于统计结果来得到,因此此时的统计周期,也可以直接看作监测周期,因此可以直接将根据统计结果得到的状态统计值作为状态评估结果,而无需再对监测周期内的多个状态统计值进行平均。在一种可能的实现方式中,对于上述内容中提出过的将本方法应用于对学生进行健康分析时,统计周期可以定义为每堂课的时间,进一步地,监测时间可以定义为一个具有教学活动行为的自然日(也可以成为教学自然日),从而可以实现每一个教学自然日下对每个学生进行健康分析;更进一步地,在获取了每个教学自然日下每个学生的监测结果后,还可以以周、月或年等为单位,对监测结果进行进一步的统计和分析。
在一种可能的实现方式中,步骤S1233之前,还可以包括:判断目标对象在监测周期内是否包括至少一个统计结果,在判断结果为是的情况下,执行根据统计结果,对目标对象进行状态评估,得到目标对象的状态评估结果,作为监测结果的步骤。即若目标对象在监测周期内包含一个或一个以上的统计结果,则可以进入步骤S1233,来得到状态评估结果,若目标对象在监测周期内不包含统计结果,则此时不存在可以进行平均的状态统计值,具体执行何种操作可以根据实际情况来灵活决定,在一个示例中,可以继续等待目标对象的统计结果,在一个示例中,也可以主动获取目标对象的统计结果,具体如何主动获取的方式在本公开实施例中不做限制,根据实际情况灵活选择即可,在一个示例中,也可以直接结束对目标对象的状态评估。通过上述公开实施例可以看出,在一种可能的实现方式中,步骤S1233的实现前提是,该目标对象在监测周期内,至少存在一个统计周期下的加权结果。举例来说,如上所述对学生进行健康分析时,计算某个学生在一个教学自然日下的监测结果的前提为,该学生在这一个教学自然日内,存在至少一堂课的有效加权结果。其中,判断该加权结果是否有效的依据可以为判断这堂课需要满足课程地点与图像数据采集的地点是否保持一致,如果一致,则可以认为得到的加权结果是有效的,否则可能采集的图像数据并非为该学生的相关数据,得到的加权结果也是不准确的,因此该加权结果可以记为无效。
当满足上述前提后,则可以将目标对象在监测周期内的所有状态值进行平均,得到的平均结果即可看作目标对象的状态评估结果即监测结果。具体的平均过程可以根据实际情况灵活确定,在一个示例中,对于学生进行健康分析时,某学生在某教学自然日的状态评估结果可以满足下述公式:
状态评估结果=(S1×T1+S2×T2+S3×T3+…)/(T1+T2+T3+…)
其中,S1,S2,S3...为该学生在该教学自然日中每个统计周期的状态统计值,T1,T2,T3...为该教学自然日包含的每个统计周期的时长。在本公开实施例中,依据上述公式,可以分别得到该学生每天的情绪状态、精力状态和学习状态。
通过上述步骤S12的各公开实施例,可以得到目标对象的状态评估结果,作为监测结果,因此进一步地,可以依据此监测结果,通过与第一正常状态评估范围来进行比对,判断目标对象的状态是否正常,步骤S12还可以包括:
获取目标对象的第一正常状态评估范围;
将目标对象的状态评估结果与第一正常状态评估范围进行比较,在目标对象的状态评估结果超过第一正常状态评估范围的情况下,判断目标对象处于异常状态。
上述公开实施例中,第一正常状态评估范围可以是用来评估目标对象的状态是否正常的范围值,其具体的实现方式与数值范围,在本公开实施例中均不作限制。在一种可能的实现方式中,可以认为若目标对象的状态评估结果在第一正常状态评估范围内时,目标对象为正常状态,否则目标对象为异常状态;在一种可能的实现方式中,也可以认为若目标对象的状态评估结果在第一正常状态评估范围外时,目标对象为正常状态,否则目标对象为异常状态。在本公开实施例中,下述各公开实施例均以状态评估结果在第一正常状态评估范围内时表明目标对象正常为例进行展开。
通过获取目标对象的第一正常状态评估范围,并将目标对象的状态评估结果与第一正常状态评估范围进行比较,在状态评估结果超过第一正常状态评估范围时来确定目标对象状态处于异常状态,可以及时发现目标对象的异常情况,进一步提高监测的针对性和可靠性。
上述公开实施例中,获取目标对象的第一正常状态评估范围的方式不受限定。在一种可能的实现方式中,获取目标对象的第一正常状态评估范围可以包括:根据目标对象的历史监测结果,确定第一正常状态评估范围;或者,读取预设的第一正常状态评估范围。
在一个示例中,在当前监测周期之前,可能已经得到了目标对象在多个监测周期下的监测结果,这些监测结果相对于当前监测周期来说,可以看作为历史监测结果,将当前监测周期下的监测结果与历史监测结果进行比对,则可以判断当前监测周期下,目标对象的状态是否正常。上述公开实施例中已经提出,目标对象的状态可以包括情绪状态、精力状态以及学习状态,因此,在判断目标对象是否正常时,也可以分别依据目标对象的情绪状态历史监测数据、精力状态历史监测数据以及学习状态历史监测数据,来判断目标对象的情绪状态、精力状态以及学习状态是否正常。
具体的判断过程在本公开实施例中不做限制,在一种可能的实现过程中,该判断的过程可以为:首先根据目标对象的历史监测结果,来得到目标对象正常状态的参考范围(即第一正常状态评估范围),具体如何得到正常状态的参考范围,可以根据历史监测结果的时长,以及历史监测结果的具体内容情况进行灵活分析,在此不做具体限定。举例来说,可以将目标对象的历史监测结果进行平均,得到一个平均监测结果,同时可以设定一个浮动值,则目标对象正常状态的参考范围即为以此平均监测结果为中心,在浮动值的范围内进行上下浮动的范围。如果目标对象的当前监测结果落在该正常状态的参考范围之外,且持续时间超过了设定的时间阈值(该实际阈值的时长可以根据实际情况自行定义),则可以认为该目标对象处于异常状态,否则认为该目标对象不处于异常状态。
在一个示例中,也可以根据其他参考数据或是经验,对目标对象的正常状态评估范围进行设定,并将设定的结果作为第一正常状态评估范围,具体设定结果的值在本公开实施例中不做限制,根据实际情况灵活确定即可。
除了判断目标对象的情绪状态、精力状态以及学习状态是否异常外,在本公开实施例中提出的方法应用于学生健康分析时,为了更全面解析学生健康状态时,除了判断这三种状态是否异常外,还可以添加其他的异常状态判断。举例来说,其他的异常状态还可以包括坐姿异常状态、上课不发言异常状态和连续不离座异常状态等。其中,坐姿异常状态可以基于学生课堂消极坐姿识别数据的时长(如趴着)占上课时长的比例,来对学生坐姿行为进行判断;上课发言异常状态可以基于学生课堂发言情况(如动作识别数据中的举手、说话等),来对学生课堂发言行为进行判断;连续不离座异常状态则可以对学生课间不离座行为(如坐姿识别数据中的正坐、趴着等)进行评估。
在一种可能的实现方式中,为了保证数据的可靠性,在对目标对象进行是否处于异常的判断时,可以将判断的前提设定为目标对象所属集合的整体状态正常,即在目标对象所属集合的整体状态正常时,才去判断目标对象是否处于异常状态,否则不判断目标对象是否异常。具体如何判断目标对象所属集合的状态,可以参考下述公开实施例,在此不做展开。
根据目标对象的历史监测结果来确定第一正常状态评估范围,或是直接读取预设的第一正常状态评估范围,通过这两种方式灵活确定第一正常状态评估范围,可以提升对目标对象异常状态评估的灵活性,从而提升目标监测的灵活性。
再进一步地,步骤S12还可以包括:
获取目标对象所属集合内多个对象的状态评估结果。
根据获取的结果,得到目标对象所属集合的状态评估结果,作为监测结果。
上述公开实施中已经提出,本公开中提出的目标对象的监测方法,可以应用于对学生进行健康分析或是对实验对象进行情绪行为分析中等,无论是对学生进行健康分析还是对实验对象进行情绪行为分析,目标对象均会从属在某一集合中,因此,本公开中提出的监测方法,还可以进一步对目标对象所属的集合进行分析,从而得到对于该目标对象所属集合的监测结果。
目标对象所属集合,可以根据目标对象的身份进行灵活确定,不局限于下述实施例。获取目标对象所属集合内多个对象的状态评估结果,具体的对象个数在本公开实施例中不做限制,可以为目标对象所属集合内的所有对象,也可以为根据实际情况进行筛选的某些对象,根据实际情况灵活选择即可。在一个示例中,当本方法应用于对学生进行健康分析时,目标对象可以为学生个体,而目标对象所属集合可以为学生个体所在的学习小组或是班级,也可以扩大为学生个体所在的年级,或是根据学生身份所划分的其他集合等。以目标对象所属集合为学生所在的班级为例,在一个示例中,得到某一学生所在的班级每天的监测结果的过程可以为:在本公开示例中,可以将某学生所在班级的精力状态作为该班级的监测结果,则首先获取该学生所在班级中每个学生每天的精力状态评估结果,则该学生所属班级每天的监测结果=该班级所有学生每天的精力状态评估结果之和/学生人数。其中,该班级的学生人数不一定等于该班级拥有的学生数量,而是根据该班级当天存在精力状态评估结果的学生数量来确定,即如果当天存在N个学生具有精力状态评估结果,则学生人数=N。需要注意的是,如果N≤班级拥有的学生数量的50%,即当天该班级具有精力状态评估结果的学生人数不大于班级拥有学生数量的一半,则可以认为该班级的状态评估结果不具有计算价值,从而不去计算该班级的监测结果。
除此指示,还可以参考上述过程,判断目标对象所属集合是否处于异常状态,具体的判断过程可以通过对上述公开实施例中提出的实现方式进行灵活组合得到,因此,在一种可能的实现方式中,步骤S12还可以包括:
获取目标对象所属集合的第二正常状态评估范围;
将目标对象所属集合的状态评估结果与第二正常评估范围进行比较,在目标对象所属集合的状态评估结果超过第二正常状态评估范围的情况下,判断目标对象所属集合处于异常状态。
上述公开实施例中,第二正常状态评估范围可以是用来评估目标对象所属集合的状态是否正常的范围值,其具体的实现方式与数值范围,在本公开实施例中均不作限制,在一种可能的实现方式中,可以认为若目标对象所属集合的状态评估结果在第二正常状态评估范围内时,目标对象所属集合这一总体为正常状态,否则目标对象所属集合这一总体为异常状态;在一种可能的实现方式中,也可以认为若目标对象所属集合的状态评估结果在第二正常状态评估范围外时,目标对象所属集合这一总体为正常状态,否则目标对象所属集合这一总体为异常状态。在本公开实施例中,下述各公开实施例均以状态评估结果在第二正常状态评估范围内时表明目标对象所属集合这一总体正常为例进行展开。
上述公开实施例中,第二正常状态评估范围的获取方式,可以参考第一正常状态评估范围的获取方式,将目标对象换做目标对象所属集合即可,在此不再赘述,同样的,比较与判断过程,也可以通过上述各公开实施例的灵活变换得到。
通过获取目标对象所属集合内多个对象的状态评估结果,并根据获取的结果,得到目标对象所属集合的状态评估结果,作为监测结果,这一监测结果利于对集体情绪或行为进行分析,从而扩大整个监测方法的适用范围,也可以提升监测方法的实用性。
通过本公开实施例中提出的目标对象的监测方法,可以自动化地得到目标对象的监测结果,提升监测的可靠性。更进一步地,还可以基于此监测结果,执行更多的操作。因此,在一种可能的实现方式中,本公开实施例中提出的目标对象的监测方法,还可以包括:
步骤S13,将监测结果发送至目标终端,其中,目标终端用以显示监测结果。
其中,目标终端的实现方式在本公开实施例中不做限制,任何可以展示监测结果的终端设备,均可以作为目标终端的实现方式。在一种可能的实现方式中,目标终端可以是可视化展示平台,从而可以对监测结果进行可视化展示;在一种可能的实现方式中,目标终端也可以是语音播报平台,从而可以对监测结果进行语音展示。
在一个示例中,目标终端为可视化展示平台时,其可以将监测数据以预定的展示模式进行可视化展示。预定的展示模式可以根据实际情况进行自行定义,在一个示例中,预定的展示模式可以是将监测结果以报表的形式进行显示。更进一步地,在本方法应用于学生健康分析时,在一个示例中,预定的展示模式可以包括健康提醒和健康报告两大展示部分。其中健康提醒可以分为班级健康提醒和学生健康提醒,上述公开实施例中已经提出,得到监测结果时,可以根据目标对象的状态评估结果,结合目标对象的历史监测结果,判断目标对象是否处于异常状态,因此,在本公开示例中,健康提醒可以参照历史监测结果,在学生或是班级处于异常状态时,生成实时健康提醒。健康报告部分可以分为班级健康报告和学生健康报告,按照自定义的时间阶段,将班级和学生的监测结果进行归纳和总结,并以报告或是报表的形式,展现在可视化展示平台上。
通过将监测结果发送至可以显示监测结果的目标终端上,可以对监测结果进行有效的展示,从而便于全面而准确地观察到目标对象的监测情况,提升监测的实时性、展示性和总结性。
更进一步地,在一种可能的实现方式中,本公开实施例中提出的目标对象的监测方法,还可以包括:
步骤S14,根据监测结果,发送告警信息。
上述公开实施例中已经提出,本公开中提到的监测方法,可以判断目标对象是否处于异常状态。因此,在目标对象处于异常状态,或是目标对象所属集合处于异常状态时,可以进一步发送告警信息至相应的对象,该告警信息的发送对象可以自行指定,比如相关的老师或是实验人员等,在此不做限定。其中,告警信息的内容可以根据告警的情况进行灵活确定,在此不做限定。告警信息发送的条件可以根据实际情况进行设定,不局限于下述公开实施例,一旦达到告警信息的发送条件,服务器将自动向指定的对象发送告警信息。在一个示例中,步骤S14的实现过程可以为:在班级和学生的精力状态、学习状态和情绪状态变好和变坏时,发送告警信息,其中,告警信息发送的条件是***默认设置,比如连续N天低于(或高于)前三个月的某一状态的正常范围,N的数值同样可以自行设定,且同样的提醒内容至少间隔1天发送。在一个示例中,步骤S14的实现过程还可以为:有权限对云端进行数据查阅或修改的用户可以自行设置告警信息的发送规则,比如告警的内容名称、告警涉及的指标或者某些行为、告警发送频次以及告警规则等。
通过根据监测结果,发送告警信息,可以在监测的目标对象出现异常情况时及时向相关对象发出警告,从而进一步提升监测的可靠性、安全性与实用性。
通过上述公开实施例可以看出,在得到监测结果后,可以依据此发送告警信息,但是发送告警信息的过程并不是必要的,即在一种可能的实现方式中,得到监测结果可以代表监测过程的结束,无需发送告警信息。
图2示出根据本公开实施例的目标对象的监测装置的框图。如图所示,所述监测装置20可以包括:监测数据获取模块21,用于获取目标对象的监测数据;监测结果生成模块22,用于根据监测数据,对目标对象进行状态评估,得到监测结果;其中,监测数据包括通过对目标对象进行图像识别所获得的情绪识别数据和/或行为识别数据。
在一种可能的实现方式中,监测结果生成模块包括:状态获取单元,用于获取目标对象待评估的状态;统计单元,用于统计与状态对应的监测数据,得到统计结果;状态评估单元,用于根据统计结果,对目标对象进行状态评估,得到目标对象的状态评估结果,作为监测结果。
在一种可能的实现方式中,状态评估单元用于:将统计结果与预设的权重进行加权求和,得到加权结果;将加权结果转换至预设值域内,将转换的结果作为状态统计值;将目标对象在监测周期内的多个状态统计值进行平均,将平均的结果作为目标对象的状态评估结果。
在一种可能的实现方式中,状态评估单元还用于:判断目标对象在监测周期内是否包括至少一个统计结果,在判断结果为是的情况下,执行根据所述统计结果,对目标对象进行状态评估,得到目标对象的状态评估结果,作为监测结果的步骤。
在一种可能的实现方式中,行为识别数据包括:坐姿识别数据、动作识别数据以及面部朝向识别数据中的至少一个。
在一种可能的实现方式中,状态包括:情绪状态、精力状态以及学习状态中的至少一个。
在一种可能的实现方式中,统计单元用于:统计与情绪状态对应的情绪识别数据;和/或,统计与精力状态对应的情绪识别数据、坐姿识别数据和动作识别数据;和/或,统计与学习状态对应的情绪识别数据、坐姿识别数据、动作识别数据和面部朝向识别数据。
在一种可能的实现方式中,监测结果生成模块还包括异常状态判断单元,异常状态判断单元用于:获取目标对象的第一正常状态评估范围;将目标对象的状态评估结果与第一正常状态评估范围进行比较,在目标对象的状态评估结果超过第一正常状态评估范围的情况下,判断目标对象处于异常状态。
在一种可能的实现方式中,异常状态判断单元进一步用于:根据目标对象的历史监测结果,确定第一正常状态评估范围;或者,读取预设的第一正常状态评估范围。
在一种可能的实现方式中,监测结果生成模块进一步用于:获取目标对象所属集合内多个对象的状态评估结果;根据获取的多个对象的状态评估结果,得到目标对象所属集合的状态评估结果,作为监测结果。
在一种可能的实现方式中,监测结果生成模块进一步用于:获取目标对象所属集合的第二正常状态评估范围;将目标对象所属集合的状态评估结果与第二正常评估范围进行比较,在目标对象所属集合的状态评估结果超过第二正常状态评估范围的情况下,判断目标对象所属集合处于异常状态。
在一种可能的实现方式中,装置还用于:将监测结果发送至目标终端,其中,目标终端用以显示监测结果。
在一种可能的实现方式中,装置还用于:根据监测结果,发送告警信息。
图3示出根据本公开实施例的目标对象的监测***的框图。如图所示,所述监测***30可以包括:
监测数据生成装置31,用于生成目标对象的监测数据;如上述任意一项所述的目标对象的监测装置20;其中,监测数据生成装置31与目标对象的监测装置20连接。
上述公开实施例中,监测数据生成装置的实现方式不受限制,可以参考上述公开实施例中提出的识别装置。在一种可能的实现方式中,监测数据生成装置包括:
图像采集设备,用于采集目标对象的图像;图像识别设备,用于通过对图像识别获得目标对象的监测数据;其中,图像识别设备分别与图像采集设备和目标对象的监测装置连接。
上述公开实施例中,图像采集设备与图像识别设备的实现方式在本公开实施例中均不作限制,可以根据实际情况灵活选择,进一步地,在一种可能的实现方式中,图像采集设备的实现方式可以参考上述公开实施例中的图像采集模块,图像识别设备的实现方式可以参考上述公开实施例中的识别模块,在此不再赘述。
在一种可能的实现方式中,***还包括:目标终端,用于显示所述目标对象的监测装置的监测结果;其中,所述目标终端与所述目标对象的监测装置连接。
目标终端的实现方式不受限制,在上述公开实施例中已经举例说明,在此不再详细赘述。
应用场景示例
如何有效评估学生健康状态,对学校教学管理工作至关重要。对于校园学生健康行为的分析,目前还没有一套具有通用性的分析方法。
因此,一个可靠性较高的目标对象的监测方法,可以有效应用于学生的健康状态分析中,具有较高的实用价值。
图4示出了根据本公开一应用示例的示意图,如图所示,本公开实施例提出了一套学生健康分析***,该***可以通过上述公开实施例中提出过的目标对象的监测方法,来实现对学生健康状态的分析和展示。
如图所示,该***主要由三个模块实现,第一个模块作为输入模块,用于获取学生情绪行为识别数据。在本公开应用示例中,输入模块具体还包括两个单元,一个是图像采集单元,本公开应用示例中该图像采集单元通过部署在教室内的视频采集摄像头来实现,另一个是识别单元,本公开应用示例中通过一个具有识别功能的人工智能设备(在本公开应用示例中可以被称为“盒子”)来实现,该盒子可以对视频数据进行解析,利用利用人脸检测、人脸识别、行为识别、表情识别等人工智能技术自动对学生的情绪和行为进行识别。在本公开应用示例中,盒子得到的识别数据可以主要分为情绪、坐姿、动作和面部朝向四大类,具体如下:
情绪可以包括7种情绪,如:高兴、平静、惊讶、厌恶、生气、悲伤、害怕;坐姿可以包括5种坐姿,如:正坐、趴着、站立、靠墙、靠桌;动作可以包括7种动作,如:打哈欠、伸懒腰、玩手机、举手、说话、记笔记、手撑头;面部朝向可以包括3种朝向,如:低头、抬头、背过头。
输入模块在获取了上述情绪行为识别数据后,可以将其上传至***中的第二个模块,即分析模块,该分析模块用于通过模块内的健康状态分析方案,基于情绪行为识别数据,对学生的健康状态进行分析。在本公开应用示例中,该分析模块的健康分析实现方式具体如下:
首先将学生健康状态分为三种,分别是精力、情绪和学习状态。其中,精力状态主要是对学生情绪、坐姿、动作等行为进行统计,积极的行为(如高兴、站立、举手等)给予正向加权,消极的行为(如打哈欠、趴着、伸懒腰、手撑头等)给予反向加权,最终输出学生的精力状态值;情绪状态主要是对学生情绪行为进行统计,积极的行为(如高兴)给予正向加权,消极的行为(如惊讶、厌恶、悲伤等)给予反向加权,最终输出学生的情绪状态值;学习状态主要是对学生情绪、坐姿、动作、面部朝向等行为进行统计,积极的行为(如抬头、正坐、站立、举手、记笔记等)给予正向加权,消极的行为(如趴着、低头、玩手机、背过头、说话等)给予反向加权,最终输出学生的学习状态值。此外为了保证健康状态数据的可靠性,分析模块还可以参考学生行为姿势变化频率,具体的参考方式在本公开应用示例中不做限定,在一个示例中,可以在学生行为姿势变化频率超过预设阈值时,对学生的学习状态值进行相应的扣分等操作。
除此之外,分析模块还可以对学生的正常或异常行为进行判断,其判断依据可以为:基于学生历史健康状态数据,得到学生正常状态的参考范围;假设学生持续一段时间健康状态都不在正常范围内,则认为该段时间该学生状态异常。
进一步地,该分析模块还可以分析班级健康状态,班级健康状态是班级所有学生健康状态的平均值,班级的正常或异常行为判断依据与学生的异常行为判断依据的逻辑一致,也是基于班级历史健康状态数据,得到班级正常状态的参考范围;假设班级持续一段时间健康状态都不在正常范围内,则认为该段时间该班级状态异常。
为了更全面的解析学生健康状态,除以上三种健康状态外,分析模块中还定义了学生异常还可以包括有坐姿异常、上课不发言和连续不离坐。其中,坐姿异常是基于学生课堂消极坐姿时长(如趴着)占上课时长比例对学生坐姿行为进行判断;上课发言异常是基于学生课堂发言情况对学生课堂发言行为进行判断;连续不离座则是对学生课间不离座行为进行评估。为了保证数据的可靠性,以上所有判断都是基于班级整体情况正常的情况下才对学生个体进行判断的。
通过上述过程,分析模块可以得到学生健康的分析结果,继而将此分析结果发送至***的第三个模块,即可视化报表展现模块,用以将学生的健康分析结果以可视化的形式展现在平台端,供学校教师查看参考,在本公开应用示例中,可视化报表展现模块展示的分析结果主要包括健康提醒和健康报告两大块。其中,健康提醒,主要分为班级健康提醒和学生健康提醒,以历史数据作为参照,生成实时健康提醒。而健康报告,则主要分为班级报告和学生报告,按阶段生成,是对阶段性数据的归纳和总结。
除此之外,本***还可以对学生健康状态警示规则进行设置,一旦警示规则规定的情况发生,***就将自动向指定人员发送警示信息,本公开应用示例中,***可以设置班级和学生的精力状态、学习状态和情绪状态的变好和变坏的提醒,提醒规则是***默认设置,如连续N天低于(或高于)前三个月的某一状态的正常范围,且同样的提醒内容至少间隔1天发送。进一步地,***也可以让用户自己设置提醒的规则,包括提醒的内容名称、提醒涉及的指标或者某些行为、提醒发送频次、提醒规则等。
通过本公开应用示例中提出的学生健康分析***,可以降低学生健康分析过程中的硬件依赖,只需在教室部署摄像头采集视频即可;也可以降低学生健康分析过程中的人工依赖,基本不需要教师或学校管理人员对方案进行干涉;继而降低学生健康分析过程中的成本依赖,无过多硬件和人工投入,因此成本不高。同时,本公开应用示例中提出的学生健康分析***,情绪行为识别维度高,可以识别超过20种情绪行为动作,识别结果成熟可靠;且健康状态分析的实现方式是依据于专业的教育团队的指导而确定,参考价值与可靠性高;同时本健康状态分析***可根据教师需求实现自定义数据分析,灵活度高。
本公开应用示例中提出的***,除了可以应用于学生健康分析外,还可以应用于其他如医院等人群聚集场所,从而对人群的情绪和行为识别数据进行分析并预警。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性计算机可读存储介质或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为上述方法。
在实际应用中,上述存储器可以是易失性存储器(volatile memory),例如RAM;或者非易失性存储器(non-volatile memory),例如ROM,快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器提供指令和数据。
上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本公开实施例不作具体限定。
电子设备可以被提供为终端、服务器或其它形态的设备。
基于前述实施例相同的技术构思,本公开实施例还提供了一种计算机程序,该计算机程序被处理器执行时实现上述方法。
图5是根据本公开实施例的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端。
参照图5,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关人员信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图6是根据本公开实施例的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图6,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态人员信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种目标对象的监测方法,其特征在于,包括:
获取目标对象的监测数据;
根据所述监测数据,对所述目标对象进行状态评估,得到监测结果;
其中,所述监测数据包括通过对所述目标对象进行图像识别所获得的情绪识别数据和/或行为识别数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述监测数据,对所述目标对象进行状态评估,得到监测结果,包括:
获取所述目标对象待评估的状态;
统计与所述状态对应的监测数据,得到统计结果;
根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果。
3.根据权利要求2所述的方法,其特征在于,所述根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果,包括:
将所述统计结果与预设的权重进行加权求和,得到加权结果;
将所述加权结果转换至预设值域内,将转换的结果作为状态统计值;
将所述目标对象在监测周期内的多个所述状态统计值进行平均,将平均的结果作为所述目标对象的状态评估结果。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果之前,还包括:
判断所述目标对象在监测周期内是否包括至少一个统计结果,在判断结果为是的情况下,执行所述根据所述统计结果,对所述目标对象进行状态评估,得到所述目标对象的状态评估结果,作为所述监测结果的步骤。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,所述行为识别数据包括:
坐姿识别数据、动作识别数据以及面部朝向识别数据中的至少一个。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述状态包括:
情绪状态、精力状态以及学习状态中的至少一个。
7.一种目标对象的监测装置,其特征在于,包括:
监测数据获取模块,用于获取目标对象的监测数据;
监测结果生成模块,用于根据所述监测数据,对所述目标对象进行状态评估,得到监测结果;
其中,所述监测数据包括通过对所述目标对象进行图像识别所获得的情绪识别数据和/或行为识别数据。
8.一种目标对象的监测***,其特征在于,包括:
监测数据生成装置,用于生成目标对象的监测数据;
如权利要求7所述的目标对象的监测装置;
其中,所述监测数据生成装置与所述目标对象的监测装置连接。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至6中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
CN201910863589.0A 2019-09-12 2019-09-12 目标对象的监测方法及装置、电子设备和存储介质 Active CN110598632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910863589.0A CN110598632B (zh) 2019-09-12 2019-09-12 目标对象的监测方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910863589.0A CN110598632B (zh) 2019-09-12 2019-09-12 目标对象的监测方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110598632A true CN110598632A (zh) 2019-12-20
CN110598632B CN110598632B (zh) 2022-09-09

Family

ID=68859496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863589.0A Active CN110598632B (zh) 2019-09-12 2019-09-12 目标对象的监测方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110598632B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428686A (zh) * 2020-04-14 2020-07-17 北京易华录信息技术股份有限公司 一种学生兴趣偏好评估方法、装置及***
CN111539339A (zh) * 2020-04-26 2020-08-14 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备和存储介质
CN111601088A (zh) * 2020-05-27 2020-08-28 大连成者科技有限公司 一种基于单目摄像头坐姿识别技术的坐姿监控***
CN111680558A (zh) * 2020-04-29 2020-09-18 北京易华录信息技术股份有限公司 一种基于视频图像的学习专注力评估方法及装置
CN112528890A (zh) * 2020-12-15 2021-03-19 北京易华录信息技术股份有限公司 一种注意力评估方法、装置及电子设备
CN112842267A (zh) * 2020-12-31 2021-05-28 深圳联达技术实业有限公司 一种睡眠监测枕的智能管理***
CN113065441A (zh) * 2021-03-25 2021-07-02 开放智能机器(上海)有限公司 一种基于边缘设备的图像处理***及方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169900A (zh) * 2017-05-19 2017-09-15 南京信息工程大学 一种学生听课率检测方法
CN108121785A (zh) * 2017-12-15 2018-06-05 华中师范大学 一种基于教育大数据的分析方法
CN108694679A (zh) * 2018-05-15 2018-10-23 北京中庆现代技术股份有限公司 一种学生学习状态检测和精准推送的方法
CN108805009A (zh) * 2018-04-20 2018-11-13 华中师范大学 基于多模态信息融合的课堂学习状态监测方法及***
CN109035089A (zh) * 2018-07-25 2018-12-18 重庆科技学院 一种在线课堂氛围评估***及方法
CN109034036A (zh) * 2018-07-19 2018-12-18 青岛伴星智能科技有限公司 一种视频分析方法、教学质量评估方法及***、计算机可读存储介质
CN109344682A (zh) * 2018-08-02 2019-02-15 平安科技(深圳)有限公司 课堂监控方法、装置、计算机设备及存储介质
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估***及其工作方法、创建方法
CN109635725A (zh) * 2018-12-11 2019-04-16 深圳先进技术研究院 检测学生专注度的方法、计算机存储介质及计算机设备
CN109684984A (zh) * 2018-12-19 2019-04-26 山东旭兴网络科技有限公司 一种适用于课堂教学的表情识别方法
CN109727167A (zh) * 2019-01-07 2019-05-07 北京汉博信息技术有限公司 一种教学辅助***
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
CN109859078A (zh) * 2018-12-24 2019-06-07 山东大学 一种学生学习行为分析干预方法、装置及***
CN109919816A (zh) * 2019-03-21 2019-06-21 北京旷视科技有限公司 基于数据分析的排课方法及装置、存储介质及电子设备
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及***

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169900A (zh) * 2017-05-19 2017-09-15 南京信息工程大学 一种学生听课率检测方法
CN108121785A (zh) * 2017-12-15 2018-06-05 华中师范大学 一种基于教育大数据的分析方法
CN108805009A (zh) * 2018-04-20 2018-11-13 华中师范大学 基于多模态信息融合的课堂学习状态监测方法及***
CN108694679A (zh) * 2018-05-15 2018-10-23 北京中庆现代技术股份有限公司 一种学生学习状态检测和精准推送的方法
CN109034036A (zh) * 2018-07-19 2018-12-18 青岛伴星智能科技有限公司 一种视频分析方法、教学质量评估方法及***、计算机可读存储介质
CN109035089A (zh) * 2018-07-25 2018-12-18 重庆科技学院 一种在线课堂氛围评估***及方法
CN109344682A (zh) * 2018-08-02 2019-02-15 平安科技(深圳)有限公司 课堂监控方法、装置、计算机设备及存储介质
CN109359606A (zh) * 2018-10-24 2019-02-19 江苏君英天达人工智能研究院有限公司 一种课堂实时监测与评估***及其工作方法、创建方法
CN109635725A (zh) * 2018-12-11 2019-04-16 深圳先进技术研究院 检测学生专注度的方法、计算机存储介质及计算机设备
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
CN109684984A (zh) * 2018-12-19 2019-04-26 山东旭兴网络科技有限公司 一种适用于课堂教学的表情识别方法
CN109859078A (zh) * 2018-12-24 2019-06-07 山东大学 一种学生学习行为分析干预方法、装置及***
CN109727167A (zh) * 2019-01-07 2019-05-07 北京汉博信息技术有限公司 一种教学辅助***
CN109919816A (zh) * 2019-03-21 2019-06-21 北京旷视科技有限公司 基于数据分析的排课方法及装置、存储介质及电子设备
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及***

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428686A (zh) * 2020-04-14 2020-07-17 北京易华录信息技术股份有限公司 一种学生兴趣偏好评估方法、装置及***
CN111539339A (zh) * 2020-04-26 2020-08-14 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备和存储介质
WO2021218194A1 (zh) * 2020-04-26 2021-11-04 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备和存储介质
JP2022534345A (ja) * 2020-04-26 2022-07-29 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド データ処理方法及び装置、電子機器並びに記憶媒体
CN111680558A (zh) * 2020-04-29 2020-09-18 北京易华录信息技术股份有限公司 一种基于视频图像的学习专注力评估方法及装置
CN111601088A (zh) * 2020-05-27 2020-08-28 大连成者科技有限公司 一种基于单目摄像头坐姿识别技术的坐姿监控***
CN111601088B (zh) * 2020-05-27 2021-12-21 大连成者科技有限公司 一种基于单目摄像头坐姿识别技术的坐姿监控***
CN112528890A (zh) * 2020-12-15 2021-03-19 北京易华录信息技术股份有限公司 一种注意力评估方法、装置及电子设备
CN112528890B (zh) * 2020-12-15 2024-02-13 北京易华录信息技术股份有限公司 一种注意力评估方法、装置及电子设备
CN112842267A (zh) * 2020-12-31 2021-05-28 深圳联达技术实业有限公司 一种睡眠监测枕的智能管理***
CN113065441A (zh) * 2021-03-25 2021-07-02 开放智能机器(上海)有限公司 一种基于边缘设备的图像处理***及方法

Also Published As

Publication number Publication date
CN110598632B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN110598632B (zh) 目标对象的监测方法及装置、电子设备和存储介质
WO2021232775A1 (zh) 视频处理方法及装置、电子设备和存储介质
CN112287844B (zh) 学情分析方法及装置、电子设备和存储介质
KR102039848B1 (ko) 기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체
US10431116B2 (en) Orator effectiveness through real-time feedback system with automatic detection of human behavioral and emotional states of orator and audience
CN105960672B (zh) 用于稳健语音识别的变量组件深度神经网络
CN111310665A (zh) 违规事件检测方法及装置、电子设备和存储介质
CN110013261B (zh) 情绪监测的方法、装置、电子设备及存储介质
JP2019058625A (ja) 感情読み取り装置及び感情解析方法
US20210287561A1 (en) Lecture support system, judgement apparatus, lecture support method, and program
WO2021218194A1 (zh) 数据处理方法及装置、电子设备和存储介质
JP6715410B2 (ja) 評価方法、評価装置、評価プログラム、および、評価システム
US20210304339A1 (en) System and a method for locally assessing a user during a test session
CN113576451A (zh) 呼吸率检测方法、装置、存储介质及电子设备
TWI642026B (zh) 心理與行為狀態評量暨診斷方法及系統
KR20220061384A (ko) 학습자의 비대면 온라인수업 참여 탐지 장치 및 방법
JPWO2021044249A5 (zh)
WO2017175447A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200177537A1 (en) Control system and control method for social network
JP6891732B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20210142047A1 (en) Salient feature extraction using neural networks with temporal modeling for real time incorporation (sentri) autism aide
Sukreep et al. Recognizing Falls, Daily Activities, and Health Monitoring by Smart Devices.
KR102383457B1 (ko) 교수와 학습을 지원하는 능동형 인공지능 튜터링 시스템 및 이의 제어방법
US11935329B2 (en) Video analysis program
US20240070205A1 (en) Information processor, information processing method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant