CN115781668A - 看护机器人的控制方法、看护机器人和存储介质 - Google Patents
看护机器人的控制方法、看护机器人和存储介质 Download PDFInfo
- Publication number
- CN115781668A CN115781668A CN202211407765.8A CN202211407765A CN115781668A CN 115781668 A CN115781668 A CN 115781668A CN 202211407765 A CN202211407765 A CN 202211407765A CN 115781668 A CN115781668 A CN 115781668A
- Authority
- CN
- China
- Prior art keywords
- target
- nursing
- image
- determining
- nursing object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
Abstract
本发明公开了一种看护机器人的控制方法、看护机器人和计算机可读存储介质,其中,所述方法包括:确定所述看护机器人当前所处的工作区域,并获取与所述工作区域关联的区域属性;在所述区域属性为私密属性时,在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息,其中,所述目标图像包含目标看护对象的图像;根据过滤后的所述目标图像确定所述目标看护对象的用户状态。当看护机器人当前看护的工作区域为隐私区域时,通过过滤采集的目标图像中目标看护对象的私密位置对应的图像信息,以达成对目标看护对象隐私的保护,提升用户体验的效果。
Description
技术领域
本申请涉及机器人技术领域,尤其涉及一种看护机器人的控制方法、看护机器人和计算机可读存储介质。
背景技术
在相关技术中,可以通过给老人、小孩等看护对象经常出现的场所安装彩色摄像头,实现对看护对象状态的实时监测,以便可以根据状态监测结果,确定看护对象是否发生意外,进而在看护对象发生意外时,及时进行报警。然而,在卧室、卫生间等隐私场所,使用彩色摄像头监测会导致看护对象的隐私被泄露。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请实施例通过提供一种看护机器人的控制方法、看护机器人和计算机可读存储介质,旨在解决在卧室、卫生间等隐私场所,使用彩色摄像头监测会导致监护对象的隐私被泄露的技术问题
为实现上述目的,本发明实施例提供一种看护机器人的控制方法,所述看护机器人的控制方法包括以下:
确定所述看护机器人当前所处的工作区域,并获取与所述工作区域关联的区域属性;
在所述区域属性为私密属性时,在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息,其中,所述目标图像包含目标看护对象的图像;
根据过滤后的所述目标图像确定所述目标看护对象的用户状态。
可选地,所述目标图像包括红外图层和可见光图层;所述确定所述看护机器人当前所处的工作区域,并获取与所述工作区域关联的区域属性的步骤之后,还包括:
在所述区域属性为公共属性时,确定所述看护机器人当前所处的工作环境的光亮程度;
在根据所述光亮程度判定所述工作环境为暗光环境时,根据所述目标图像的红外图层,确定所述目标看护对象的用户状态;
在根据所述光亮程度判定所述工作环境为亮光环境时,根据所述目标图像的可见光图层,确定所述目标看护对象的用户状态。
可选地,所述根据过滤后的所述目标图像确定所述目标看护对象的用户状态的步骤之后,包括:
在所述目标看护对象的用户状态为预警状态时,获取智能穿戴设备采集到的所述目标看护对象的身体特征数据,或者获取基于所述摄像装置采集到的所述目标看护对象的身体特征数据;
在所述身体特征数据未处于预设健康范围时,发送告警信息。
可选地,所述目标图像包括深度图层、红外图层和可见光图层;所述在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息的步骤,包括:
获取所述目标图像的深度图层中所述目标看护对象的身高,或者所述目标看护对象的骨架信息;
根据所述身高或者所述骨架信息,确定所述目标看护对象私密位置的坐标;
基于所述目标看护对象私密位置的坐标,过滤所述目标看护对象私密位置在所述红外图层和/或所述可见光图层的图像信息。
可选地,所述在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息的步骤之前,包括:
基于所述目标图像中的红外图层或深度图层,确定位于所述目标图像中的各个对象的面部特征和/或体型信息;
若根据各个对象的面部特征和/或体型信息,确定出存在对象为小孩和/或老人时,则将确定出的小孩和/或老人作为所述目标看护对象。
可选地,所述根据过滤后的所述目标图像确定所述目标看护对象的用户状态的步骤之后,还包括:
根据所述目标看护对象的用户状态,确定与所述目标看护对象相对应的告警等级;
根据与所述目标看护对象相对应的告警等级,执行相对应的看护策略;其中,若所述目标看护对象的用户状态为正常状态时,则确定对所述目标看护对象的告警等级为第一级,执行与所述第一级相对应的看护策略;若所述目标看护对象的用户状态为预警状态时,则确定对所述目标看护对象的告警等级为第二级,执行与第二级相对应的看护策略;若所述目标看护对象的用户状态为跌倒状态时,则确定对所述目标看护对象的告警等级为第三级,执行与第三级相对应的看护策略。
可选地,所述根据过滤后的所述目标图像确定所述目标看护对象的用户状态的步骤之后,包括:
将所述目标图像的所述红外图层或所述可见光图层中的目标看护对象的图像信息在终端展示。
可选地,所述将所述目标图像的所述红外图层或所述可见光图层中的目标看护对象的图像信息在终端展示的步骤,还包括:
根据所述目标看护对象的用户状态,确定与所述目标看护对像的用户状态相对应的应急方案;
将与所述目标看护对像的用户状态相对应的应急方案在所述终端展示。
此外,本发明为实现上述目的,本发明还提供一种看护机器人,所述看护机器人包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的看护机器人的控制程序,所述看护机器人的控制程序被所述处理器执行时实现如上所述的看护机器人的控制方法的步骤。
此外,本发明为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有看护机器人的控制程序,所述看护机器人的控制程序被处理器执行时实现如上所述的看护机器人的控制方法的步骤。
本发明一实施例提出的一种看护机器人的控制方法,看护机器人和计算机可读存储介质,通过确定看护机器人当前所处的工作区域,并获取工作区域关联的区域属性,在关联的区域属性为私密属性时,表明当前所处的工作区域为隐私区域,从而在摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息,其中,目标图像包含目标看护对象的图像,进而根据过滤后的目标图像确定目标看护对象的用户状态。当看护机器人当前看护的工作区域为隐私区域时,通过过滤采集的目标图像中目标看护对象的私密位置对应的图像信息,以达成对目标看护对象隐私的保护,提升用户体验的效果。
附图说明
图1为本发明看护机器人的控制方法的一实施例的流程示意图;
图2为本发明看护机器人的控制方法的第二实施例中步骤S10的细化流程示意图;
图3为本发明看护机器人的控制方法的第三实施例中步骤S20的细化流程示意图;
图4为本发明看护机器人的控制方法的第四实施例中步骤S30的细化流程示意图;
图5是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。为了更好地理解上述技术方案,下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整地传达给本领域的技术人员。
参照图1,在本发明看护机器人的控制方法的一实施例中,所述一种看护机器人的控制方法包括以下步骤:
步骤S10:确定所述看护机器人当前所处的工作区域,并获取与所述工作区域关联的区域属性;
在本实施例中,看护机器人包括摄像装置。可基于该摄像装置采集的目标图像,对目标看护对象的用户状态进行检测。为了保护目标看护对象的隐私,在机器人所处的工作区域为隐私区域时,可对采集到的目标图像中目标看护对象的私密位置的图像信息进行过滤。故可根据不同工作区域的隐私程度设置不同的区域属性,当确定出机器人当前所处的工作区域时,可获取与该工作区域相关联的区域属性,进而根据获取到的区域属性确定是否需要对采集到的目标图像进行过滤。可通过摄像装置采集的目标图像确定机器人当前所处的工作区域,或者通过对机器人当前的位置进行定位来确定看护机器人当前所处的工作区域。
步骤S20:在所述区域属性为私密属性时,在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息,其中,所述目标图像包含目标看护对象的图像;
在本实施例中,摄像装置采集的目标图像包括深度图层、红外图层和可见光图层。机器人可基于不同需求和场景使用对应的图层,以对目标看护对象进行看护,从而提高看护的质量。当看护机器人当前所处的工作区域关联的区域属性为私密属性时,表明当前的工作区域为隐私区域,如卫生间、浴室等,为了保护目标看护对象的隐私,需要对采集的目标图像中目标看护对象私密位置对应的图像信息进行过滤,此时可通过获取目标图像中的深度图层,将深度图层中的深度数据转换为点云数据,从而基于点云数据获取目标看护对象私密位置的坐标,以基于该私密位置的坐标,对目标图像中目标看护对象的私密位置对应的图像信息进行过滤。比如,要对目标看护对象膝盖以上位置的图像信息进行过滤,则需要先确定采集的目标图像中目标看护对象的膝盖的位置坐标,从而对采集的目标图像中目标看护对象的膝盖以上位置坐标的图像信息进行过滤。在一些实施例中摄像装置可以是深度相机,通过深度相机采集深度图像,进而基于采集的深度图像对目标看护对象私密位置进行过滤。
可以理解的是,私密位置可以为目标看护对象的各个身体部位,比如膝盖、头部等。私密位置可以设置为多个,以将目标看护对象身体上对应的敏感区域进行过滤。
可选地,由于人体各个部位至脚跟的位置可以根据身高算法推算出来,比如,人体身高为160cm,那么从脚跟至膝盖的高度为48cm。故可以通过先获取目标图像中的深度图层中目标看护对象的身高,进而根据身高确定目标看护对象的私密位置的坐标,以基于目标看护对象的私密位置的坐标,过滤目标看护对象私密位置在红外图层和/或可见光图层的图像信息。
可选地,在又一实施例中,通过获取目标图像中深度图层目标看护对象的骨架信息,从而根据获取到的骨架信息确定出目标看护对象的私密位置的坐标,从而基于目标看护对象的私密位置的坐标,过滤目标看护对象私密位置在红外图层和/或可见光图层的图像信息。在私密属性时,基于空间坐标信息可以高效可靠地过滤目标看护对象中私密位置的敏感信息,能更好地保护目标看护对象的隐私。
示例性的,看护机器人在对目标看护对象进行看护时,先确定当前所处的工作区域,在确定出所处的工作区域为卫生间时,获取与卫生间相关联的区域属性,当关联的区域属性为私密属性,获取目标图像中深度图层目标看护对象的身高或骨架信息,在获取到的目标看护对象的身高为160cm时则根据身高算法得出脚跟至膝盖的高度为48cm,从而确定出目标看护对象膝盖的位置,或者通过获取的骨架信息确定目标看护对象膝盖对应的骨架,从而基于膝盖对应的骨架,确定出膝盖的位置坐标,进而基于确定的膝盖的位置坐标,过滤目标看护对象私密位置在红外图层和/或可见光图层的图像信息,使得最后输出的图像中目标看护对象的私密位置已被过滤,达成保护目标看护对象的隐私的效果。
步骤S30:根据过滤后的所述目标图像确定所述目标看护对象的用户状态。
在本实施例中,根据目标图像确定目标看护对象的用户状态。用户状态包括预警状态、跌倒状态和正常状态。当检测到目标看护对象的用户状态为跌倒状态时,可直接发送告警信息。当检测到目标看护对象保持固定姿态的时间大于或等于预设时间时,表示目标看护对象可能处于昏迷状态,标识目标看护对象的用户状态为预警状态。此时为了确定目标看护对象是否实际处于昏迷状态,避免误报,通过获取智能穿戴设备采集到的目标看护对象的身体特征数据,或者获取基于摄像装置采集到的目标看护对象的身体特征数据,在身体特征数据未处于预设健康范围时,表明目标看护对象实际处于昏迷状态,进而发送告警信息。智能穿戴设备可以是适于随身携带的手环、手表等,用于实时采集目标看护对象的身体特征数据。比如,实时采集目标看护对象的血压、心率、血氧饱和度等。
在一些实施例中,用户状态可以是目标看护对象所做出的行为动作,也可以是目标看护对象所处的区域。比如,监护人可根据目标看护对象设置对应的风险行为或者风险区域,当检测到目标看护对象做出该风险行为或者进入该风险区域时,可直接发送告警信息,以示警告,以及使监护人获知后,及时阻止。
可选地,由于老人的血压、心率和血氧饱和度等身体特征数据与健康的年轻人之间有一定差异,按照普通的标准会导致频繁误报警告,故可以对看护对象进行体检,体检之后由获得授权的专业人士根据看护对象的体检结果设定合适的身体特征数据对应的预设健康范围,且设定的预设健康范围不可由用户进行更改,须由专业人士进行更改,避免目标看护对象在日常活动中触发更改,导致频繁误报警告,当检测到目标看护对象的身体特征数据未在预设健康范围时,则发送告警信息。
可选地,在又一些实施例中,可基于看护机器人配置的摄像装置获取目标看护对象的身体特征数据。通过相邻安装的闪光灯和摄像装置提供心率检测功能,在目标看护对象的用户状态为预警状态时,看护机器人通过语音提示目标看护对象将手放置在与闪光灯和摄像头相近的正面上,从而通过闪光灯和摄像装置检测目标看护对象的心率,以及根据采集的目标图像中的红外图层检测目标看护对象的体温,在目标看护对象的心率和体温未在预设健康范围时,表明目标看护对象实际处于昏迷状态,进而发送告警信息。
示例性的,目标看护对象进行体检之后,由医生或在医生的指导下设定合适的身体特征数据对应的预设健康范围,看护机器人在对目标看护对象进行看护时,先确定当前所处的工作区域,当所处的工作区域为卫生间时,获取与卫生间相关联的属性为私密属性,进而获取目标图像中深度图层的目标看护对象的身高或者骨架信息,在获取到的目标看护对象的身高为160cm时则根据身高算法得出脚跟至膝盖的高度为48cm,从而确定出目标看护对象膝盖的位置坐标,或者通过获取的骨架信息确定目标看护对象膝盖对应的骨架,从而确定出膝盖的位置坐标,进而基于确定的膝盖的位置坐标,过滤目标看护对象私密位置在红外图层和/或可见光图层的图像信息,使得最后输出的图像中目标看护对象的私密位置已被过滤,达成保护目标看护对象的隐私的效果,之后根据过滤后的目标图像确定目标看护对象的用户状态,当目标看护对象保持固定姿态的时间大于或等于预设时长时,表示目标看护对象可能处于昏迷状态,进而标识目标看护对象的用户状态为预警状态,此时为避免误报,进一步获取智能穿戴设备采集到的目标看护对象的身体特征数据,或者基于摄像装置体外采集目标看护对象的身体特征数据,以判断采集的身体特征数据是否在设定的预设健康范围,若未在预设健康范围则表明目标看护对象实际处于昏迷状态,进而向监护人或者医院发送告警信息,以寻求帮助。
在本实施例提供的技术方案中,确定看护机器人当前所处的工作区域,并获取与工作区域关联的区域属性,当该工作区域所关联的区域属性为私密属性时,获取目标图像的深度图层中目标看护对象的身高,或者目标看护对象的骨架信息,从而根据身高或者骨架信息,确定目标看护对象私密位置的坐标,以基于目标看护对象私密位置的坐标,过滤目标看护对象私密位置在红外图层和/或可见光图层的图像信息,达成保护目标看护对象隐私,提升用户体验的效果,之后根据过滤后的目标图像来确定目标看护对象的用户状态,在目标看护对象的用户状态为预警状态时,为了避免误报,进一步获取智能穿戴设备采集到的身体特征数据,或者基于摄像装置采集到的身体特征数据,在目标看护对象的身体特征数据未在预设健康范围时,发送告警信息,达成及时告警的效果。
参照图2,在第二实施例中,基于第一实施例,所述步骤S10之后,包括:
步骤S40:在所述区域属性为公共属性时,确定所述看护机器人当前所处的工作环境的光亮程度;
在本实施例中,当看护机器人当前所处的工作区域所关联的区域属性为公共属性时,表明当前所处的工作区域为公共区域,比如大厅、阳台等,不需要对采集的目标图像中目标看护对象的私密位置进行过滤。为了能够更好的对目标看护对象进行看护,在不同环境下可采用不同的图层对目标看护对象的用户状态进行检测,从而提高看护的质量。
可选地,可通过获取看护机器人当前所处的工作环境的光线强度数值,根据获取的光线强度数值确定工作环境的光亮程度,进而根据光亮程度判断看护机器人当前所处的工作环境是暗光环境还是亮光环境,以根据不同的环境采集不同的图像。
步骤S50:在根据所述光亮程度判定所述工作环境为暗光环境时,根据所述目标图像的红外图层,确定所述目标看护对象的用户状态;
在本实施例中,根据看护机器人当前所处的工作环境的光亮程度,确定采用哪种图层对目标看护对象进行检测,以使检测得到的用户状态更加准确。由于在暗光环境下,采集的目标图像中的深度图层的分辨率过低,无法对目标看护对象进行检测或检测准确度较低,故当在暗光环境下,可根据目标图像的红外图层对目标看护对象进行检测,以准确检测出目标看护对象的用户状态,从而在目标看护对象在预警状态或者跌倒状态时,能够及时发现并进行告警。
步骤S60:在根据所述光亮程度判定所述工作环境为亮光环境时,根据所述目标图像的可见光图层,确定所述目标看护对象的用户状态。
在本实施例中,由于在亮光环境下,采集的目标图像中的红外图层会产生曝光,从而使得难于检测目标看护对象的用户状态,故在亮光环境下,可根据目标图像的可见光图层,对目标看护对象进行检测,以确保准确的确定出目标看护对象的用户状态,进而在目标看护对象在预警状态或者跌倒状态时,能够及时发现并进行告警。
可选地,用户状态可以是目标看护对象的身体状态,如昏迷、跌倒等,也可以是目标看护对象所做出的行为动作,也可以是目标看护对象所处的区域。由于不同的看护对象所对应的身体情况有所不同,故可根据目标看护对象的身体情况设置对应的风险行为和/或风险区域,当目标看护对象做出风险行为和/或进入风险区域时,则表明目标看护对象的用户状态为预警状态,可直接向监护人以及目标看护对象发送告警信息。发送告警信息的形式可以为输出语音以对目标看护对象进行提醒,并将采集的目标图像发送给监护人,以使监护人获知,从而达成及时告警的效果。
示例性的,患有阿尔兹海默症的目标看护对象尤其需要注意监测异常行为,故可以设置特定的风险区域和/或风险行为,当目标看护对象靠近厨房炉灶等风险区域和/或做出攀爬梯子或独自出门等风险行为时,标识目标看护对象的用户状态为预警状态,进而输出提醒语音对目标看护对象进行提醒,并通知监护人员。而残障人群可以根据他们的行为能力,设置安全区域和风险区域,当进入风险区域时标识目标看护对象的用户状态为预警状态,进而输出语音对目标看护对象进行提醒,并通知监护人,达成及时告警,提升用户体验的效果。
可选地,可基于摄像装置,进行避障。由于看护机器人在看护时会随着目标看护对象的移动而移动,故可通过摄像装置采集的目标图像,确定看护机器人与目标看护对象之间的距离,从而使看护机器人与目标看护对象保持合适的距离,避免碰撞或绊倒,且在目标看护对象超出摄像装置的监控范围时,根据目标看护对象的移动速度预测移动方位,进行持续追踪,当检测到目标看护对象当前的用户状态为跌倒状态时,可播报预设的语音进行提示,并录制目标看护对象的应答,并向监护人或医院发送告警信息。如果出现网络异常,导致告警信息对外发送失败,或者没有目标的应答或监护人员的反馈,可将扬声器调至最大音量,发出警报声。
在本实施例提供的技术方案中,在确定看护机器人当前所处的工作区域所关联的区域属性为公共属性时,表明当前所处的工作区域为公共区域,无需对目标图像中目标看护对象私密位置的图像信息进行过滤,之后通过确定看护机器人当前所处的工作环境的光亮程度,以在根据光亮程度判定工作环境为暗光环境时,根据目标图像的红外图层,确定目标看护对象的用户状态,在根据光亮程度判定工作环境为亮光环境时,根据目标图像的可见光图层,确定目标看护对象的用户状态。通过确定看护机器人当前所处的工作环境的光亮程度,以在不同环境下,获取目标图像中对应的图层确定目标看护对象的用户状态,达成提高看护质量的效果。
参照图3,在第三实施例中,基于上述任一实施例,步骤S20之前,包括:
步骤S70:基于所述目标图像中的红外图层或深度图层,确定位于所述目标图像中的各个对象的面部特征和/或体型信息;
步骤S80:若根据各个对象的面部特征和/或体型信息,确定出存在对象为小孩和/或老人时,则将确定出的小孩和/或老人作为所述目标看护对象。
在本实施例中,看护机器人可同时看护多个看护对象,看护对象可以是老人和/或小孩。摄像装置采集目标图像后,通过基于目标图像中的红外图层,可确定目标图像中各个对象的面部特征和体型信息,进而根据各个对象的面部特征和体型信息确定出当前所处工作区域下的老人和小孩,从而在识别出老人和小孩后,将老人和小孩作为目标看护对象,实时对其进行追踪看护。
在一些实施例中,基于目标图像中的深度图层可确定出各对象的体型信息,从而根据体型信息确定出当前工作区域下的小孩,或者将深度图层数据转换为点云数据,以确定出各对象的骨架信息,进而根据骨架信息确定出当前工作区域下的老人和小孩。
可选地,为提高看护的质量,可根据各看护对象在不同时间段的行为习性和各看护对象的用户状态,和/或各看护对象的优先级确定目标看护对象,以在不影响对其它看护对象的监护的情况下,优先监护需要看护的对象。各看护对象的优先级可以由用户根据实际情况自由设定。比如,在看护对象的用户状态持续一段时间都为正常状态时,可以优先监护其它看护对象。比如当老人在休息或持续一段时间都为正常状态时,可优先监护处于预警状态的小孩。当然在空间允许的情况下,可以优先选择能同时监护多个看护对象的位置,以便同时监护多个看护对象。
可以理解的是,看护机器人或服务器可预先存储有各看护对象对应的优先级,从而看护机器人可以获取预先存储的各看护对象对应的优先级或者获取在服务器存储的各看护对象对应的优先级,以确定目标看护对象。各看护对象在不同时间段或者不同用户状态下所对应的优先级可以不相同,本实施例对此不做具体限定。
可选地,监护人可预先登记需要监护的看护对象,并通过摄像装置采集并存储各看护对象的面部特征和/或体型信息,从而看护机器人在监护时,通过采集的图像中各对象的面部特征和/或体型信息与预先存储的面部特征集和体型信息集进行比较,以确定出各看护对象。
可选地,在本实施例中,可针对不同的看护对象的用户状态进行不同的处理,以实现不同的看护任务。比如,在目标看护对象为婴儿时,可以在其哭闹时,播放音乐进行安抚,在目标看护对象为老人时,可以在其跌倒或做出风险行为时,输出对应的提醒语音以进行告诫。看护对象除可以是老人和小孩之外,还可以是宠物等,可由监护人确定要进行看护的看护对象。
示例性的,当目标看护对象为婴幼儿时,若监测到婴幼儿的哭声,表明婴幼儿当前的用户状态为预警状态,此时可通过扬声器播放音乐并摇动摇篮进行安抚,并记录婴幼儿当前的用户状态和拍下录像,然后将记录的用户状态和录像发送至终端,使监护人知晓,监护人在知晓后可语音连线,可以一边语音安抚一边前往现场。当目标看护对象是家养宠物时,若监测到宠物从门窗逃跑,则表明为预警状态,及时提醒用户,并将画面录存下来,本地存储或上传云端,便于用户调取查看。在婴幼儿或者宠物独自在家,没有大人陪伴时,当有陌生人进入时立刻发送告警信息通知监护人员,并播报预设的语音,进行威慑,并通过手环等智能穿戴设备通知老人小孩回避在房间中躲避。
在本实施例提供的技术方案中,在摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息之前,通过基于目标图像中的红外图层或深度图层,确定位于目标图像中的各个对象的面部特征和/或体型信息,若根据各个对象的面部特征和/或体型信息,确定出存在对象为小孩和/或老人时,则将确定出的小孩和/或老人作为目标看护对象,以实现对多个看护对象进行看护,达成提高看护效率,提升用户体验的效果。
参照图4,在第四实施例中,基于上述任一实施例,步骤S30之后,还包括:
步骤S90:根据所述目标看护对象的用户状态,确定与所述目标看护对象相对应的告警等级;
步骤S100:根据与所述目标看护对象相对应的告警等级,执行相对应的看护策略;其中,若所述目标看护对象的用户状态为正常状态时,则确定对所述目标看护对象的告警等级为第一级,执行与所述第一级相对应的看护策略;若所述目标看护对象的用户状态为预警状态时,则确定对所述目标看护对象的告警等级为第二级,执行与第二级相对应的看护策略;若所述目标看护对象的用户状态为跌倒状态时,则确定对所述目标看护对象的告警等级为第三级,执行与第三级相对应的看护策略。
在本实施例中,可根据目标看护对象的用户状态,确定对应的告警等级,进而根据目标看护对象对应的告警等级执行相对应的看护策略,以达成对目标看护对象的有效看护,并且在存在多个目标看护对象时,实现针对性看护。各个告警等级所对应的看护策略可根据实际需求进行制定,或者根据目标看护对象的身体情况和行为习性进行制定。
可选地,根据过滤后的所述目标图像确定目标看护对象的用户状态之后,可将目标图像的红外图层或可见光图层中的目标看护对象的图像信息在终端展示。以使监护人和/医院能够及时获知目标看护对象的用户状态。
可选地,将目标图像的红外图层或可见光图层中的目标看护对象的图像信息在终端展示的步骤,还包括:根据目标看护对象的用户状态,确定与目标看护对像的用户状态相对应的应急方案,之后将与目标看护对像的用户状态相对应的应急方案在终端展示,以使监护人根据该应急方案进行救助。
示例性的,当检测到目标看护对象当前的用户状态为正常状态时,确定该目标看护对象对应的告警等级为第一级时,可执行基于预设间隔时间对该目标看护对象的用户状态进行检测,并且优先看护处于预警状态或者跌倒状态的其它目标看护对象的看护策略。当检测到目标看护对象当前的用户状态为预警状态时,确定该目标看护对象对应的告警等级为第二级时,可执行获取智能穿戴设备采集到的目标看护对象的身体特征数据,或者基于摄像装置采集到的目标看护对象的身体特征数据,在身体特征数据未处于预设健康范围时,向监护人和/或医院发送告警信息,以及将目标图像的红外图层或可见光图层中的目标看护对象的图像信息发送至终端并进行展示,以使监护人和/医院能够根据展示的图像信息提前制定救助方案,从而在到达现场时,及时进行救治,而在身体特征数据处于预设健康范围时,可控制看护机器人输出语音,询问目标看护对象的状况,根据目标看护对象的应答,确定是否需要发送告警信息的看护策略,若不需要告警信息,则表明目标看护对象为正常状态,将当前的预警状态改变为正常状态,从而转为执行用户状态为正常状态所对应的看护策略。当检测到目标看护对象处于跌倒状态时,确定该目标看护对象对应的告警等级为第三级时,可执行通过摄像装置获取当前目标看护对象的面部表情和身体状态,以及输出语音对目标看护对象进行询问,并录制应答,从而根据面部表情和身体状态以及目标看护对象的应答确定目标看护对象的伤势情况,进而将采集到的目标图像的红外图层或可见光图层中的目标看护对象的图像信息以及目标看护对象的伤势情况发送至终端并进行展示的看护策略,以使监护人和/或医院能够及时进行救助。
在本实施例提供的技术方案中,通过根据目标看护对象的用户状态,确定与目标看护对象相对应的告警等级,根据与目标看护对象相对应的告警等级,执行相对应的看护策略,其中,若目标看护对象的用户状态为正常状态时,则确定对目标看护对象的告警等级为第一级,执行与第一级相对应的看护策略,若目标看护对象的用户状态为预警状态时,则确定对目标看护对象的告警等级为第二级,执行与第二级相对应的看护策略,若目标看护对象的用户状态为跌倒状态时,则确定对目标看护对象的告警等级为第三级,执行与第三级相对应的看护策略,从而达成对目标看护对象的有效看护,并且在存在多个目标看护对象时,还可实现针对性看护。
参照图5,图5为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是看护机器人。
如图5所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)等。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图5中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图5所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及看护机器人的控制程序。
在图5所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;处理器1001可以用于调用存储器1005中存储的看护机器人的控制程序,并执行以下操作:
确定所述看护机器人当前所处的工作区域,并获取与所述工作区域关联的区域属性;
在所述区域属性为私密属性时,在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息,其中,所述目标图像包含目标看护对象的图像;
根据过滤后的所述目标图像确定所述目标看护对象的用户状态。
进一步地,处理器1001可以调用存储器1005中存储的看护机器人的控制程序,还执行以下操作:
所述确定所述看护机器人当前所处的工作区域,并获取与所述工作区域关联的区域属性的步骤之后,还包括:
在所述区域属性为公共属性时,确定所述看护机器人当前所处的工作环境的光亮程度;
在根据所述光亮程度判定所述工作环境为暗光环境时,根据所述目标图像的红外图层,确定所述目标看护对象的用户状态;
在根据所述光亮程度判定所述工作环境为亮光环境时,根据所述目标图像的可见光图层,确定所述目标看护对象的用户状态。
进一步地,处理器1001可以调用存储器1005中存储的看护机器人的控制程序,还执行以下操作:
在所述目标看护对象的用户状态为预警状态时,获取智能穿戴设备采集到的所述目标看护对象的身体特征数据,或者获取基于所述摄像装置采集到的所述目标看护对象的身体特征数据;
在所述身体特征数据未处于预设健康范围时,发送告警信息。
进一步地,处理器1001可以调用存储器1005中存储的看护机器人的控制程序,还执行以下操作:
获取所述目标图像的深度图层中所述目标看护对象的身高,或者所述目标看护对象的骨架信息;
根据所述身高或者所述骨架信息,确定所述目标看护对象私密位置的坐标;
基于所述目标看护对象私密位置的坐标,过滤所述目标看护对象私密位置在所述红外图层和/或所述可见光图层的图像信息。
进一步地,处理器1001可以调用存储器1005中存储的看护机器人的控制程序,还执行以下操作:
基于所述目标图像中的红外图层或深度图层,确定位于所述目标图像中的各个对象的面部特征和/或体型信息;
若根据各个对象的面部特征和/或体型信息,确定出存在对象为小孩和/或老人时,则将确定出的小孩和/或老人作为所述目标看护对象。
进一步地,处理器1001可以调用存储器1005中存储的看护机器人的控制程序,还执行以下操作:
根据所述目标看护对象的用户状态,确定与所述目标看护对象相对应的告警等级;
根据与所述目标看护对象相对应的告警等级,执行相对应的看护策略;其中,若所述目标看护对象的用户状态为正常状态时,则确定对所述目标看护对象的告警等级为第一级,执行与所述第一级相对应的看护策略;若所述目标看护对象的用户状态为预警状态时,则确定对所述目标看护对象的告警等级为第二级,执行与第二级相对应的看护策略;若所述目标看护对象的用户状态为跌倒状态时,则确定对所述目标看护对象的告警等级为第三级,执行与第三级相对应的看护策略。
进一步地,处理器1001可以调用存储器1005中存储的看护机器人的控制程序,还执行以下操作:
将所述目标图像的所述红外图层或所述可见光图层中的目标看护对象的图像信息在终端展示。
进一步地,处理器1001可以调用存储器1005中存储的看护机器人的控制程序,还执行以下操作:
根据所述目标看护对象的用户状态,确定与所述目标看护对像的用户状态相对应的应急方案;
将与所述目标看护对像的用户状态相对应的应急方案在所述终端展示。
此外,本发明为实现上述目的,本发明还提供一种看护机器人,所述看护机器人包括:存储器.处理器及存储在所述存储器上并可在所述处理器上运行的看护机器人的控制程序,所述看护机器人的控制程序被所述处理器执行时实现如上所述的看护机器人的控制方法的步骤。
此外,本发明为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有看护机器人的控制程序,所述看护机器人的控制程序被处理器执行时实现如上所述的看护机器人的控制方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是看护机器人)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种看护机器人的控制方法,其特征在于,应用于看护机器人,所述看护机器人包括摄像装置,所述方法包括:
确定所述看护机器人当前所处的工作区域,并获取与所述工作区域关联的区域属性;
在所述区域属性为私密属性时,在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息,其中,所述目标图像包含目标看护对象的图像;
根据过滤后的所述目标图像确定所述目标看护对象的用户状态。
2.如权利要求1所述的方法,其特征在于,所述目标图像包括红外图层和可见光图层;
所述确定所述看护机器人当前所处的工作区域,并获取与所述工作区域关联的区域属性的步骤之后,还包括:
在所述区域属性为公共属性时,确定所述看护机器人当前所处的工作环境的光亮程度;
在根据所述光亮程度判定所述工作环境为暗光环境时,根据所述目标图像的红外图层,确定所述目标看护对象的用户状态;
在根据所述光亮程度判定所述工作环境为亮光环境时,根据所述目标图像的可见光图层,确定所述目标看护对象的用户状态。
3.如权利要求1或2中任一所述的方法,其特征在于,所述根据过滤后的所述目标图像确定所述目标看护对象的用户状态的步骤之后,包括:
在所述目标看护对象的用户状态为预警状态时,获取智能穿戴设备采集到的所述目标看护对象的身体特征数据,或者获取基于所述摄像装置采集到的所述目标看护对象的身体特征数据;
在所述身体特征数据未处于预设健康范围时,发送告警信息。
4.如权利要求1所述的方法,其特征在于,所述目标图像包括深度图层、红外图层和可见光图层;
所述在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息的步骤,包括:
获取所述目标图像的深度图层中所述目标看护对象的身高,或者所述目标看护对象的骨架信息;
根据所述身高或者所述骨架信息,确定所述目标看护对象私密位置的坐标;
基于所述目标看护对象私密位置的坐标,过滤所述目标看护对象私密位置在所述红外图层和/或所述可见光图层的图像信息。
5.如权利要求1所述的方法,其特征在于,所述在所述摄像装置采集的目标图像中,过滤目标看护对象私密位置对应的图像信息的步骤之前,包括:
基于所述目标图像中的红外图层或深度图层,确定位于所述目标图像中的各个对象的面部特征和/或体型信息;
若根据各个对象的面部特征和/或体型信息,确定出存在对象为小孩和/或老人时,则将确定出的小孩和/或老人作为所述目标看护对象。
6.如权利要求1所述的方法,其特征在于,所述根据过滤后的所述目标图像确定所述目标看护对象的用户状态的步骤之后,还包括:
根据所述目标看护对象的用户状态,确定与所述目标看护对象相对应的告警等级;
根据与所述目标看护对象相对应的告警等级,执行相对应的看护策略;其中,若所述目标看护对象的用户状态为正常状态时,则确定对所述目标看护对象的告警等级为第一级,执行与所述第一级相对应的看护策略;若所述目标看护对象的用户状态为预警状态时,则确定对所述目标看护对象的告警等级为第二级,执行与第二级相对应的看护策略;若所述目标看护对象的用户状态为跌倒状态时,则确定对所述目标看护对象的告警等级为第三级,执行与第三级相对应的看护策略。
7.如权利要求1所述的方法,其特征在于,所述根据过滤后的所述目标图像确定所述目标看护对象的用户状态的步骤之后,包括:
将所述目标图像的所述红外图层或所述可见光图层中的目标看护对象的图像信息在终端展示。
8.如权利要求7所述的方法,其特征在于,所述将所述目标图像的所述红外图层或所述可见光图层中的目标看护对象的图像信息在终端展示的步骤,包括:
根据所述目标看护对象的用户状态,确定与所述目标看护对像的用户状态相对应的应急方案;
将与所述目标看护对像的用户状态相对应的应急方案在所述终端展示。
9.一种看护机器人,其特征在于,所述看护机器人包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的看护机器人的控制程序,所述看护机器人的控制程序被所述处理器执行时实现如权利要求1至8中任一项所述的看护机器人的控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有看护机器人的控制程序,所述看护机器人的控制程序被处理器执行时实现如权利要求1至8中任一项所述的看护机器人的控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211407765.8A CN115781668A (zh) | 2022-11-10 | 2022-11-10 | 看护机器人的控制方法、看护机器人和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211407765.8A CN115781668A (zh) | 2022-11-10 | 2022-11-10 | 看护机器人的控制方法、看护机器人和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115781668A true CN115781668A (zh) | 2023-03-14 |
Family
ID=85436760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211407765.8A Pending CN115781668A (zh) | 2022-11-10 | 2022-11-10 | 看护机器人的控制方法、看护机器人和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115781668A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117226866A (zh) * | 2023-09-19 | 2023-12-15 | 重庆宗灿科技发展有限公司 | 一种智能养老陪护机器人 |
-
2022
- 2022-11-10 CN CN202211407765.8A patent/CN115781668A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117226866A (zh) * | 2023-09-19 | 2023-12-15 | 重庆宗灿科技发展有限公司 | 一种智能养老陪护机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10904492B2 (en) | Video monitoring system | |
US11369321B2 (en) | Monitoring and tracking system, method, article and device | |
US9501919B2 (en) | Method and system for monitoring the activity of a subject within spatial temporal and/or behavioral parameters | |
JP6915421B2 (ja) | 見守り支援システム及びその制御方法 | |
JP6717235B2 (ja) | 見守り支援システム及びその制御方法 | |
US10262517B2 (en) | Real-time awareness of environmental hazards for fall prevention | |
Ganyo et al. | Ethical issues in the use of fall detectors | |
JP6720909B2 (ja) | 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置 | |
CA3030850C (en) | Systems and methods for use in detecting falls utilizing thermal sensing | |
KR101715218B1 (ko) | 영상 분석을 통하여 환자의 낙상 위험을 판단하는 시스템 및 방법 | |
EP3477608A1 (en) | Central processing device for monitored-person monitoring system, central processing method, and monitored-person monitoring system | |
US20210219873A1 (en) | Machine vision to predict clinical patient parameters | |
CN115781668A (zh) | 看护机器人的控制方法、看护机器人和存储介质 | |
JP6870465B2 (ja) | 被監視者監視装置および該方法ならびに被監視者監視システム | |
KR20170000123A (ko) | 치매 환자 케어 시스템 | |
KR102258832B1 (ko) | 실버 케어 시스템 | |
Bauer et al. | Modeling bed exit likelihood in a camera-based automated video monitoring application | |
Ianculescu et al. | Improving the Elderly’s Fall Management through Innovative Personalized Remote Monitoring Solution | |
KR102608941B1 (ko) | 인공지능을 이용한 환자의 이상 행동 탐지 시스템 | |
US11361647B2 (en) | System and method of wirelessly tracking a walking assistance tool | |
WO2022036624A1 (zh) | 监控方法、装置、电子设备以及存储介质 | |
Frenken et al. | Criteria for quality and safety while performing unobtrusive domestic mobility assessments using mobile service robots | |
JP2020194392A (ja) | 情報を通知するためのプログラム、情報通知装置、および、情報を通知するためにコンピューターで実行される方法 | |
WO2018039953A1 (zh) | 智能看护*** | |
WO2020241021A1 (ja) | ケア管理方法、プログラム、ケア管理装置、および、ケア管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |