CN112464080A - 监护内容的制定方法和装置、智能安全陪护*** - Google Patents
监护内容的制定方法和装置、智能安全陪护*** Download PDFInfo
- Publication number
- CN112464080A CN112464080A CN201910900557.3A CN201910900557A CN112464080A CN 112464080 A CN112464080 A CN 112464080A CN 201910900557 A CN201910900557 A CN 201910900557A CN 112464080 A CN112464080 A CN 112464080A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- content
- user
- information
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 550
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000004458 analytical method Methods 0.000 claims description 71
- 230000007613 environmental effect Effects 0.000 claims description 69
- 230000006399 behavior Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 35
- 239000000306 component Substances 0.000 description 52
- 230000006870 function Effects 0.000 description 34
- 206010011469 Crying Diseases 0.000 description 24
- 230000008569 process Effects 0.000 description 22
- 230000002354 daily effect Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 17
- 238000007405 data analysis Methods 0.000 description 15
- 230000004438 eyesight Effects 0.000 description 15
- 206010011224 Cough Diseases 0.000 description 14
- 206010037660 Pyrexia Diseases 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 206010019345 Heat stroke Diseases 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 201000010099 disease Diseases 0.000 description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 230000002265 prevention Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000036760 body temperature Effects 0.000 description 9
- 238000012706 support-vector machine Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000008451 emotion Effects 0.000 description 8
- 206010022000 influenza Diseases 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 239000000779 smoke Substances 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000004382 visual function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000008909 emotion recognition Effects 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 208000027418 Wounds and injury Diseases 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 206010012335 Dependence Diseases 0.000 description 3
- 208000002193 Pain Diseases 0.000 description 3
- 206010039740 Screaming Diseases 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 239000008358 core component Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009429 distress Effects 0.000 description 3
- 201000006549 dyspepsia Diseases 0.000 description 3
- 208000024798 heartburn Diseases 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 206010010904 Convulsion Diseases 0.000 description 1
- 206010017740 Gas poisoning Diseases 0.000 description 1
- 208000007180 Sunstroke Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000001037 epileptic effect Effects 0.000 description 1
- 208000028329 epileptic seizure Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computer Security & Cryptography (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供了一种监护内容的制定方法和装置、智能安全陪护***和智能机器人,其应用于人工智能AI领域。其中,所述监护内容的制定方法,包括:呈现至少两个监护场景,以供用户进行选择;其中,监护场景为一定特定场景下的子监护内容;根据用户的第一选择指令,生成第一监护内容,第一监护内容包括用户通过第一选择指令选择的至少一个监护场景;对第一监护内容进行分析,推荐用于更新第一监护内容中的监护场景。本申请将需要监护的监护内容看成是由一个一个需要监护的场景构成,用户可定制需要监护的监护内容由哪些监护场景构成,然后通过后台选择哪些场景不需要监护,哪些场景需要监护,以实现达到了个性化服务的目的。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种监护内容的制定方法和装置、智能安全陪护的***和智能监护智能机器人。
背景技术
目前,关于儿童、老人、病人、残疾人等特殊群体的安全问题是社会及每一个家庭关注的热点问题。其中,儿童、老人等一个人在家遇到危险或生病时候能否及时被监护人发现并提供帮助、家里的保姆是否有***儿童、老人等行为、家中的小朋友是否有在家里长时间看电视、玩手机、平板或电脑游戏等问题,虽然可以通过家中安装智能摄像头等措施监控,但这种监控都是需要人时时刻刻去查看关注,而不能主动上报监护人需要监控的危险或事件的发生。如果监护人因工作忙、人力疲倦等原因无法时刻关注时,会导致当儿童、老人等在真正发生危险时,不能及时地被发现和提供帮助。
另外,现有的监护方案只能监护***中预先设置的监护内容,但是由于每个家庭或个人的监护需求可能各不相同,导致无法做到个性化服务,因此出厂就已预置好监护内容的监护***应用场景是非常受限的。
发明内容
为了克服上述问题,本申请的实施例提供了一种监护内容的制定方法和装置、智能安全陪护的方法和智能监护智能机器人。
为了达到上述目的,本申请的实施例采用如下技术方案:
第一方面,本申请提供一种监护内容的制定方法,包括:
呈现至少两个监护场景,以供用户进行选择;其中,监护场景为一定特定场景下的子监护内容;
根据所述用户的第一选择指令,生成第一监护内容,所述第一监护内容包括所述用户通过所述第一选择指令选择的至少一个监护场景;
对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景。
本申请将需要监护的监护内容看成是由一个一个需要监护的场景构成,用户可定制需要监护的监护内容由哪些监护场景构成,然后通过后台选择哪些场景不需要监护,哪些场景需要监护,以实现达到了个性化服务的目的。
在另一个可能的实现中,所述方法还包括:
呈现至少两个监护组件,以供用户进行选择;
根据所述用户的第二选择指令,生成包括所述用户通过第二选择指令选择的至少一个监护组件的相应监护场景并添加到所述第一监护内容中。
本申请通过改变了传统的安全监护组件只能监护***预先定义好的监护场景,从而使得监护人可以随意制定监护场景,以实现达到了个性化服务的目的。
在另一个可能的实现中,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据历史监护内容,分析所述历史监护内容中各个监护场景出现的次数,推荐添加次数高的监护场景到所述第一监护内容。
本申请通过分析监护人历史制定的监护内容,将历史监护内容中在此次制定监护内容为选定的监护场景推荐给监护人,以避免监护人遗漏一些重要的监护场景。
在另一个可能的实现中,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐添加与所述用户所需要的监护场景相关的监护场景到所述第一监护内容。
本申请通过分析大数据,将与监护人制定的监护内容相关的监护场景推荐给监护人,让不会制定监护内容的监护人方便制定监护内容。
在另一个可能的实现中,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据历史反馈信息,分析所述历史反馈信息中多次反馈为误报的监护场景,推荐删除所述第一监护内容中所述多次反馈为误报的监护场景。
本申请通过监护人在历史制定监护内容中,推荐监护人删除多次反馈为错误的监护场景,从而降低误报,以达到更好的用户体验。
在另一个可能的实现中,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐删除所述第一监护内容中的不合理的监护场景。
本申请通过分析大数据,动态地推荐删除监护场景,以达到降低误报、降低能耗等目的。
在另一个可能的实现中,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐修改所述第一监护内容中的所述至少一个监护场景中不合理的监护场景。
本申请在发现监护人制定的监护内容中一些监护场景不合理时,会提醒监护人对其进行修改,以达到更少的误报和更好的用户体验等目的,也解决了用户既希望定义某个危险监护场景但自己又搞不清配置多少的数值更合适。
在另一个可能的实现中,所述方法还包括:根据所述用户的第三选择指令,更新所述第一监护内容以生成第二监护内容,所述第二监护内容包括所述用户通过所述第三选择指令选择的推荐的用于更新所述第一监护内容的监护场景。
本申请根据终端进行分析结果,添加用户需要的新的监护场景、删除用户不要的已加入的监护场景和修改已加入的监护场景,使得当前制定的监护内容更加完备。同时避免***强制性加入新的监护场景。
在另一个可能的实现中,所述方法还包括:
向终端发送所述第二监护内容以使得所述终端根据所述第二监护内容采集被监护人在所述第二监护内容中的监护场景下的多模态信息和/或环境信息,所述终端将所述多模态信息和/或所述环境信息发送给云服务器以使得所述云服务器根据所述多模态信息和/或所述环境信息评估所述被监护人是否处于危险状态,其中如果所述云服务器根据所述多模态信息和/ 或所述环境信息评估所述被监护人处于危险状态则生成危险信息;
接收所述云服务器发送的所述危险信息并将所述危险信息通知所述用户。
本申请通过将制定的监护内容发送给终端,然后终端获取各个监护场景下的多模态信息和/或环境信息,云服务器对多模态信息和/或环境信息进行分析,确定所述被监护人处在危险状态中时,生成危险信息,然后根据危险信息通知用户对被监护人进行防护。
在另一个可能的实现中,所述第二监护内容还包括:与所述第二监护内容中每个监护场景对应的通知方式;
所述接收所述云服务器发送的所述危险信息并将所述危险信息通知所述用户,包括:
通过与监护场景对应的通知方式通知所述用户。
本申请通过对不同的监护场景可以有不同的通知方式,避免了传统的安全监护组件只能以单一的通知方式通知监护人。
第二方面,本申请提供了一种监护内容的制定装置,包括:
显示单元,用于呈现至少两个监护场景,以供用户进行选择;其中,监护场景为一定特定场景下的子监护内容;
定制单元,用于根据所述用户的第一选择指令,生成第一监护内容,所述第一监护内容包括所述用户通过所述第一选择指令选择的至少一个监护场景;
分析单元,用于对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景。
在另一个可能的实现中,所述显示单元,还用于呈现至少两个监护组件,以供用户进行选择;
所述定制单元,还用于根据所述用户的第二选择指令,生成包括所述用户通过第二选择指令选择的至少一个监护组件的相应监护场景并添加到所述第一监护内容中。
在另一个可能的实现中,所述分析单元,具体用于根据历史监护内容,分析所述历史监护内容中各个监护场景出现的次数,推荐添加次数高的监护场景到所述第一监护内容。
在另一个可能的实现中,所述分析单元,具体用于根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐添加与所述用户所需要的监护场景相关的监护场景到所述第一监护内容。
在另一个可能的实现中,所述分析单元,具体用于根据历史反馈信息,分析所述历史反馈信息中多次反馈为误报的监护场景,推荐删除所述第一监护内容中所述多次反馈为误报的监护场景。
在另一个可能的实现中,所述分析单元,具体用于根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐删除所述第一监护内容中的不合理的监护场景。
在另一个可能的实现中,所述分析单元,具体用于根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐修改所述第一监护内容中的所述至少一个监护场景中不合理的监护场景。
在另一个可能的实现中,所述装置还包括:确定单元,
所述确定单元,用于根据所述用户的第三选择指令,更新所述第一监护内容以生成第二监护内容,所述第二监护内容包括所述用户通过所述第三选择指令选择的推荐的用于更新所述第一监护内容的监护场景。
在另一个可能的实现中,所述装置还包括:发送单元和接收单元,
所述发送单元,用于向终端发送所述第二监护内容以使得所述终端根据所述第二监护内容采集被监护人在所述第二监护内容中的监护场景下的多模态信息和/或环境信息,所述终端将所述多模态信息和/或所述环境信息发送给云服务器以使得所述云服务器根据所述多模态信息和/或所述环境信息评估所述被监护人是否处于危险状态,其中如果所述云服务器根据所述多模态信息和/或所述环境信息评估所述被监护人处于危险状态则生成危险信息;
所述接收单元,用于接收所述云服务器发送的所述危险信息;
所述发送单元,还用于将所述危险信息通知所述用户。
在另一个可能的实现中,所述装置还包括:存储单元,所述存储单元存储有与所述第二监护内容中每个监护场景对应的通知方式;
所述发送单元,具体用于通过与监护场景对应的通知方式通知所述用户。
第三方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在用户端上运行时,使得所述用户端执行如第一方面中任意可能实现的实施例的方法。
第四方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在用户端上运行时,使得所述用户端执行如第一方面中任意可能实现的实施例的方法。
第五方面,本申请实施例还提供了一种智能安全陪护***,所述***包括终端、云服务器和执行如第一方面所述方法的用户端,
所述用户端,用于定制监护内容,所述监护内容包括至少一个监护场景;
所述终端,用于根据监护内容采集被监护人在所述监护内容中的监护场景下的多模态信息和/或环境信息;
所述云服务器,用于根据所述多模态信息和/或所述环境信息评估所述被监护人是否处于危险状态,在确定所述被监护人处于危险状态则生成危险信息,发送危险信息到所述用户端。
本申请通过监护人自己制定的监护内容和自定义的监护场景,以实现监护人根据自己的需求制定监护内容,以达到个性化服务;智能机器人接收到监护人发送的监护内容后,进行多模态(听觉、视觉、监测器)的动态监护和综合分析,从而保证整个方案的高可靠性,减少了误判和漏判;云服务器对多模态和环境信息,进行AI处理,在确定被监护人有危险时,通知监护人。
在另一个可能的实现中,所述终端,具体用于根据所述监护内容中的第一监护场景中的所述至少一个监护组件,控制对应的至少一个监护组件对所述被监护人的所述多模态信息和 /或所述环境信息进行监测。
在另一个可能的实现中,所述云服务器具体用于:当所述至少一个监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在任一种危险状态中时,发送所述危险信息到所述用户端;和/或
当所述至少一个监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在特定危险状态中时,发送所述危险信息到所述用户端;和/或
当所述至少一个监护组件中特定监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在危险状态中时,发送所述危险信息到所述用户端。
在另一个可能的实现中,所述云服务器包括AI云和业务云,
所述AI云,用于对所述监护内容中的第二监护场景中的所述多模态信息和/或所述环境信息进行分析,获取各种危险数据;
所述业务云,用于对所述各种危险数据进行多模态数据综合分析,来判定所述被监护人在所述第二监护场景中是否处在危险中。
在另一个可能的实现中,所述云服务器,还用于获取其它***的数据,然后结合所述多模态信息和/或所述环境信息进行分析,来判定所述被监护人在所述监护内容中是否处在危险中。
本申请让云服务器与其它***连接,接收其它***的数据,然后结合现有监测的数据,使得云服务器分析的数据更加准确。
第六方面,本申请实施例还提供了一种智能机器人,所述智能机器人为如第四方面中任意可能实现的终端。
本申请通过智能机器人进行多模态(听觉、视觉、监测器)的动态监护和综合分析,从而保证整个方案的高可靠性,减少了误判和漏判;通过软件***在已有的设备上实现,成为智能机器人、穿戴设备的一个功能,实施简单,容易维护,实现成本低;智能机器人可通过人脸识别、跟踪人脸等技术转头或移动,将看护人纳入视角,穿戴设备则一直穿戴在被监护人身上,避免了传统摄像头死角的问题;智能机器人可能是儿童或老人娱乐、学习的陪护智能机器人,在娱乐或学习过程中提供安全陪护,避免了普通的摄像头会有被监视感觉。
附图说明
下面对实施例或现有技术描述中所需使用的附图作简单地介绍。
图1为本申请实施例提供的一种智能安全陪护***的框架示意图;
图2为本申请实施例提供的另一种智能安全陪护***的框架示意图;
图3为本申请实施例提供的一种监护内容的制定方法的流程图;
图4为本申请实施例提供的一种智能安全陪护的方法的流程图;
图5为本申请实施例提供的语音识别***对语音进行识别的结构框图;
图6为本申请实施例提供的一种监护内容的制定装置的结构示意图;
图7为本申请实施例提供的一种智能安全陪护***的结构示意图;
图8为本申请实施例提供的一种智能机器人架构结构图;
图9为本发明实施例提供的一种用户端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
图1、图2为本申请实施例提供的一种智能安全陪护***的框架示意图。如图所示,所述***包括智能陪护智能机器人、穿戴设备(可选地)、监护人手机APP和云服务器。其中,云服务器包括人工智能(artificial intelligence,AI)云和业务云。
智能机器人,具有处理器、麦克风、摄像头、显示器、扬声器、传感器和多种通信接口等硬件构成,并具备部分AI能力,如自动语音识别(automatic speech recognition,ASR)、语音合成(text to speech,TTS)、情感计算等,主要给被监护人提供日常学习、娱乐、游戏、安全陪护等功能。
穿戴设备,其功能和架构类似于市场上的儿童手表、智能手环等穿戴设备,主要作用是监测和上报被监护人摔倒、心率、体温、全球定位***(global positioning system,GPS)位置信息等需要被监护的信息。
AI云,主要运行AI模块,如提供智能机器人与人交互的ASR、自然语言处理(natural language processing,NLP)、TTS等相关能力。
业务云,主要为智能机器人上运行的APP和监护人手机端的控制APP提供云侧服务能力和发送通知消息的能力。
监护人手机APP,用于提供给监护人设置和控制智能机器人的一款手机APP,可以接受云服务器的消息以及开通APP和智能机器人的远程视频聊天。
通过上述各个设备和服务器组合,使得本申请实施例提供的***主要具备以下功能:
(1)听觉功能,主要由麦克风、语言识别***和语言理解***实现。其中,麦克风一般部署在智能机器人或穿戴设备上;AI能力(语言识别***和语言理解***)可部署在AI云服务器,也可部署在智能机器人或穿戴设备上。
(2)视觉功能,主要由摄像头、图像识别***和图像理解***实现。其中,摄像头一般部署在智能机器人上,或是家中一个独立的配合具有AI能力的云服务器的摄像头;AI能力 (图像识别***和图像理解***)可部署在AI云服务器,也可部署在智能机器人上。
(3)监测器,主要由传感器实现,可以监测摔倒、心率、体温、烟雾、煤气浓度、GPS位置、环境气温等。其中,传感器分别部署在智能机器人和穿戴设备上。
(4)危险识别***,主要对多模态的数据进行动态综合分析,判断是否为需要监护的危险场景。一般部署在业务云上和智能机器人上。
(5)云服务器处理***,主要根据危险识别***的判断进行报警通知,并可以邀请开通智能机器人和监护人APP之间的远程视频聊天,帮助监护人查看是否真的存在危险情况。一般部署在业务云上。
通过上述各个设备和服务器通过网络连接,各个功能之间相互配合,共同完成监护危险场景的识别和通知功能。
图3为本申请实施例提供的一种监护内容的制定方法的流程图。如图3所示,本申请提供的监护内容的制定方法,由用户端进行执行,其具体实现的流程如下:
步骤S301,呈现至少两个监护场景,以供用户进行选择。
需要优先说明的是,本申请实施例中执行此方法的用户端包括但不限于手机、平板、笔记本电脑等电子设备,还可以提供该服务的服务器。本申请实施例将以手机为例进行描述。
具体地,在本申请实施例中在手机上呈现多个监护场景的方式可以为在手机屏幕上显示、通过语音播报等方式,再此不限。
步骤S303,根据用户的第一选择指令,生成第一监护内容。
步骤S305,对第一监护内容进行分析,推荐用于更新第一监护内容中的监护场景。
本申请用于定制监护内容可以为监护人手机中一个定制的用于监护危险场景的APP,监护人可以通过手机APP设置安全监护等级,其中安全监护等级可分为高、默认和定制三种 (这里定义智能机器人听觉、视觉和监测器这三个功能的每一项监测到的事件为原子事件,分别为Si、Vj和Mk,监护内容定义为Y):
(1)当监护等级为高时,智能机器人的视觉、听觉和监测器这三个功能的任何一个功能判断可能出现危险情况的时候就立即通知监护人。此时监护内容:
Ymax=Si∨Vj∨Mk
其中,Si、Vj和Mk分别为智能机器人听觉、视觉和监测器这三个功能监测到的任意危险事件的发生。
(2)当监护等级为默认时,需满足***预先设定的危险场景时候才通知监护人。此时监护内容:
Ydefault=D1∨D2∨……∨Dn
其中,Di=Si∧Vi∧Mi,D为智能机器人监测到的***预先默认设定的危险场景事件的发生。
(3)当监护等级为定制时,可以将监护人需要监护的内容可以看成是由一个一个的需要监护的场景构成,用户可定制需要监护的内容由哪些监护场景构成和其通知方式,即用户可选择哪些场景不需要监护,哪些场景需要监护及其通知方式。
在一个实施例中,当监护场景为儿童危险场景,家长可以通过手机APP配置只监护孩子被攻击、摔倒和中暑的场景,而其它场景不需要监护。同时对不同的监护场景可以选择不同通知方式,如哪些监护场景仅通过消息通知,哪些监护场景同时邀请开通视频。这里如摔倒只需要通过APP及时消息通知,而孩子被攻击、中暑则需要邀请开通远程视频。甚至部分高危场景,为了防止监护人没带手机、手机没网络信号等特殊情况,还可以同时邀请多个监护人开通远程视频或通过短信、电话等方式通知多个监护人,如中暑场景可以同时邀请开通儿童父亲和母亲手机上的远程视频,并通过手机短信通知儿童父亲和母亲,避免了单一监护人手机不在身边等特殊情况导致危险事件未得到及时处理。此时监护内容:
Ydefine=D1∨D2∨……∨Dn
其中,Di=Si∧Vi∧Mi,D为智能机器人监测到的用户定制的监护内容事件发生。
用户自定义个性化监护场景是指用户可以通过对任意原子事件的组合自定义监护场景。
在一个实施例中,对于癫痫病人发病时候可能会突然大叫一声并倒地起不来,这时候用户可以通过对原子事件的组合自己定义危险场景“癫痫发作”:视觉看见有人倒地且不能起来,听觉听到大叫一声,传感器感应到摔倒。即用户可任意定义监护场景Ddefine为任意原子事件Si,Vj,Mk的组合,即在自定义监护场景下,此时监护内容:
Ddefine=Si∧Vj∧Mk
其中,Si表示听觉听到大叫一声,Vj表示视觉看见有人倒地且不能起来,Mk表示监测传感器感应到摔倒。
当然这里也可以是其中的两种模态原子事件的组合,也可以为单一模态的原子事件的组合。
在一个实施例中,当监护场景为儿童危险场景,一般儿童摔倒后没有哭泣可能摔倒的并不严重,监护人觉得很正常不需要监护,只需要监护儿童摔倒后哭泣的场景。用户可自定义监护场景为“摔倒且哭泣”的Ddefine,此时监护内容:
Ddefine=V1∧V2∧S1
其中,V1表示摔倒,V2表示哭泣表情,S1表示哭泣声音,即表示视觉看到摔倒后又哭泣,听觉听到哭泣声为家长自定义的监护场景“摔倒且哭泣”。家长可以选择“摔倒且哭泣场景”进行安全监护,而***默认的儿童摔倒则可以选择不监护,这样就达到了只监护摔倒后哭泣的场景了。
本申请实施例中通过将监护人需要监护的内容可以看成是由一个一个的需要监护的场景构成,用户可定制需要监护的监护场景和其通知方式来构成监护内容,即用户可选择哪些场景不需要监护,哪些场景需要监护及其通知方式,达到了个性化服务的目的。
对于部分监护人可能并不知道自己该如何配置监护场景,或者不能结合外界环境变化、大数据分析等动态的改变需要的监护内容,因此智能机器人***和云服务器可根据被监护人的日常的行为分析、环境分析、大数据分析、外界预警等给监护人动态地推荐增加、删除或修改监护场景。
自学习智能动态推荐监护场景,主要包括推荐监护人增加监护场景、推荐监护人删除监护场景和推荐重新定义监护场景三种。下面以儿童安全监护场景为例进行说明。
实施例一
推荐增加监护场景主要是指智能机器人***可根据被监护人的日常行为分析、环境分析、大数据分析、外界预警等动态推荐一些场景给其监护人。
1、云服务器中的业务云可对接天气预报***,根据天气预报实时上报的不同数据,智能推荐增加相应的监护场景。
在一个实施例中,根据天气预报分析气温变化较大,是小孩易生病的季节,而家长近期配置的监护内容中没有咳嗽发烧和感冒发烧的监护场景,则云服务器***可给家长推荐增加咳嗽发烧和感冒发烧的监护场景:“近期气温变化较大,是孩子易生病的季节,给您推荐咳嗽发烧和感冒发烧的安全监护场景”。
在一个实施例中,根据天气预报最近几天气温过高,最高气温在35度以上,需要注意高温中暑,而家长近期配置的监护内容中没有中暑监护场景,则云服务器***可给家长推荐增加中暑的监护场景:“近期气温较高需要预防中暑,给您推荐中暑的安全监护场景”。
2、云服务器中的业务云可对接疾病控制预防中心***(或第三方如天气预报/新闻APP 的接口),根据疾病控制预防中心的预警,可推荐增加相应的监护场景。
在一个实施例中,疾病控制预防中心发布流感预警,而家长在安全监护内容中未配置相关的监护场景,则会给家长推荐流感相应的安全监护场景如:“本周后期冷空气来袭流感即将进入高发季,给您推荐流感安全监护场景”。
3、云服务器中的业务云可根据后台大量家庭的实际监护发生的危险场景的数据做大数据分析,根据季节、地域、性别、年龄段等信息,动态地推荐被被监护人发生危险的可能性较大的监护场景给监护人。
在一个实施例中,业务云根据后台大量儿童的监护数据做大数据分析,未来一个月是感冒咳嗽的高发季节,则会给家长推荐感冒咳嗽相应的安全监护场景如:“根据大数据分析,未来一个月是感冒咳嗽的高发季节,给您推荐咳嗽发烧、感冒发烧安全监护场景”。2、智能机器人***可根据家庭的环境分析推荐一些监护场景给监护人,不同的家庭环境会推荐不同的安全监护场景。
在一个实施例中,智能机器人在家中观察到火炉,再根据***的时间分析和GPS位置信息分析,这是北方的冬天,家中可能会长期使用火炉容易发生煤气中毒,而使用火炉烘烤衣服容易发生火灾,则智能机器人会上报这两种监护场景到云服务器,而云服务器分析监护人配置的监护内容中没有煤气浓度过高和失火的监护场景,则云服务器***可给监护人推荐增加煤气浓度过高和失火的监护场景:“家中使用火炉,需要预防煤气中毒和失火,给您推荐煤气浓度过高和失火两种安全监护场景”。
4、智能机器人在与被监护人的日常陪护中,除了对被监护人进行安全看护外,还会根据听觉、视觉接受到的信息对被监护人的日常行为进行一些分析,根据日常行为的分析,也会动态智能地推荐一些监护场景给监护人。
在一个实施例中,家长配置的监护内容中没有咳嗽发烧的监护场景,而智能机器人在和儿童的日常陪护中,根据听觉、视觉接受到的信息分析发现儿童最近经常咳嗽(如分析发现1 小时内咳嗽10次以上),则判断儿童最近可能生病了,会给家长推荐咳嗽发烧的监护场景:“您的孩子在最近一小时内咳嗽超过10次,可能是生病了,给您推荐咳嗽发烧的安全监护场景”。
在一个实施例中,家长配置的监护内容中没有感冒发烧的监护场景,而智能机器人在和儿童的日常陪护中,根据听觉、视觉接受到的信息分析发现儿童最近经常打喷嚏(如分析发现1小时内打喷嚏5次以上)或一直流鼻涕,则判断儿童最近可能生病了,会给家长推荐感冒发烧的监护场景:“您的孩子在最近一小时内咳嗽超过5次,可能是生病了,给您推荐感冒发烧的安全监护场景”。
在一个实施例中,智能机器人在和儿童的日常陪护中,根据听觉、视觉接受到的信息分析发现儿童最近每天连续看电视或玩手机(平板)2小时以上,或看电视玩手机(平板)距离过近,可能会伤害儿童的眼睛,而家长未配置电视防沉迷监护场景和手机防沉迷监护场景,则会给家长推荐相应的监护场景,举例如“您家的孩子最近三天每天看电视2小时以上,给您推荐电视防沉迷安全监护场景”。
表一 针对儿童看护场景智能机器人***自学习智能动态推荐增加监护场景
实施例二
智能机器人***除了可根据被监护人的日常的行为分析、环境分析、大数据分析、外界预警等给监护人动态地推荐增加监护场景,也会动态地推荐删除监护场景,以达到降低误报、降低能耗等目的。
1、云服务器中的业务云可对接天气预报***,根据天气预报实时上报的数据分析,动态推荐删除相应的监护场景。
在一个实施例中,根据天气预报,城市最高气温已经从35度以上降低到了30度以下,已不太可能出现高温中暑的情形,而家长配置的监护内容中仍然有中暑监护场景,则云服务器***就会给家长推荐删除中暑的监护场景:“近期气温已降低到30度以下,给您推荐删除中暑的安全监护场景”。
2、云服务器中的业务云可对接疾病控制预防中心***(或第三方如天气预报/新闻APP 的接口),根据疾病控制预防中心的预警解除,也会推荐删除相应的监护场景。
在一个实施例中,疾病控制预防中心发布流感预警,***会给家长推荐流感相应的安全监护场景,但等到流感解除的时候则会推荐家长删除流感监护预警。
3、智能机器人***可根据监护人的误报反馈,动态地推荐删除相应的安全监护场景。在一个实施例中,监护人通过远程视频(智能机器人上的摄像头),查看现场实际情况,判断是否真实存在危险情况,如存在危险情况,监护人及时采取急救措施。但如果是误报,监护人可通过手机APP界面反馈是误报。云服务器***则会根据用户的反馈分析,动态地推荐监护人减少监护场景。
在一个实施例中,当在一个安全监护场景用户连续反馈3次是误报,且从来没有一次是正确预警,则智能机器人***会给监护人推荐删除相应的安全监护场景。
4、智能机器人***可根据家庭的环境分析给监护人推荐删除一些监护场景。
在一个实施例中,在北方的冬天,智能机器人在家中观察到火炉,则云服务器***可给监护人推荐配置煤气浓度过高和失火的监护场景,但智能机器人***观察到火炉已经搬走了或者冬天已经过去了,则智能机器人***会给监护人推荐删除这两个监护场景。
此外,一些监护场景如果很久没有过成功预警,且分析消耗的能耗较大,则智能机器人***会动态推荐监护人删除该监护场景,以达到降低能耗的目的。
实施例三
智能机器人***除了可以动态地推荐增加监护场景和推荐删除监护场景外,当发现用户定义的危险场景不合理的时候,也可能会推荐监护人修改监护场景,以达到更少的误报和更好的用户体验等目的,也解决了用户既希望定义某个危险监护场景但自己又搞不清配置多少的数值更合适。
在一个实施例中,智能机器人***可根据用户定义的某个监护场景的误报反馈,并结合后台大量家庭实际定义的监护场景的数据做大数据分析,当发现用户定义的这个危险场景不合理,则会根据大量用户定义的数据分析出更合理的监护配置推荐给用户。
在一个实施例中,北方的冬天智能机器人在家中观察到火炉,则云服务器***可给监护人推荐增加失火的监护场景,但智能机器人***观察到火炉已经搬走了或者冬天已经过去了,当没有火炉失火的可能性比较小,可推荐降低失火场景的监护力度,即推荐关闭烟雾传感器的监控而仅靠视觉监控以达到降低能耗的目的。
本申请实施例提供的监护内容的制定方法,还包括:
步骤S309,呈现至少两个监护组件,以供用户进行选择。
步骤S311,根据用户的第二选择指令,生成包括用户通过第二选择指令选择的至少一个监护组件的相应监护场景并添加到第一监护内容中。
对于监护场景,其由至少一个监护组件构成。在本申请实施例中,当监护人想通过语音的方式监护被监护人,则需要启动智能机器人的听觉功能,由于智能机器人的听觉功能主要由麦克风、语言识别***和语言理解***实现,所以这时监护场景包括启动麦克风、语言识别***和语言理解***的监护组件。
监护人可以自定义个性化监护场景。在一个可能的实施例中,当监护人需要通过智能机器人监护小孩是否发生意外受伤时,现有的“监护小孩受伤”场景可能只通过语音和视频的方式监护被监护人,此时监护场景只有包括启动智能机器人的听觉功能和视觉功能的监护组件。当监护人认为通过监测被监护人的声音和视频这两种方式并不能准确的监测小孩受伤的情景,需要添加监测被监护人的心率信息才能更准确的监护小孩是否受伤。监护人可以在现有的“监护小孩受伤”场景中添加启动智能机器人的检测器功能,从而改变了传统的智能机器人只能监护***预先定义好的监护场景。
需要说明的是,本申请实施例中的监护组件可以为智能机器人、穿戴设备等多功能集成的设备,也可以为由麦克风、语言识别***和语言理解***构成的实现听觉功能的组件、由摄像头、图像识别***和图像理解***构成的实现视觉功能的组件等多部件构成的设备,还可以为麦克风、摄像头等简单的单一部件,具体根据本申请实施例中监护需要确定。
在一个可能实现的实施例中,本申请监护内容还包括与每个监护场景对应的通知方式。本申请在确定被监护人在某个监护场景中处于危险时,通过该监护场景对应的通知方式通知监护人。不同的监护场景可以有不同的通知方式,避免了传统的安全监护组件只能以单一的通知方式通知监护人。
本申请实施例提供的监护内容的制定方法,还包括:
步骤S313,根据用户的第三选择指令,更新第一监护内容以生成第二监护内容。
其中,第二监护内容包括用户通过第三选择指令选择的推荐的用于更新第一监护内容的监护场景。
本申请根据用户端进行分析结果,需要用户手动的添加新的监护场景、删除用户不要的已加入的监护场景和修改已加入的监护场景,避免***强制性加入新的监护场景、删除或修改已加入的监护场景。
本申请实施例提供的监护内容的制定方法,还包括:
步骤S315,向终端发送第二监护内容以使得终端根据第二监护内容采集被监护人在第二监护内容中的监护场景下的多模态信息和/或环境信息,终端将多模态信息和/或环境信息发送给云服务器以使得云服务器根据多模态信息和/或环境信息评估被监护人是否处于危险状态,其中如果云服务器根据多模态信息和/或环境信息评估被监护人处于危险状态则生成危险信息。
步骤S317,接收云服务器发送的危险信息并将危险信息通知用户。
本申请通过将制定的监护内容发送给终端,然后终端获取各个监护场景下的多模态信息和/或环境信息,云服务器对多模态信息和/或环境信息进行分析,确定所述被监护人处在危险状态中时,生成危险信息,然后根据危险信息通知用户对被监护人进行防护。
本申请将需要监护的监护内容看成是由一个一个需要监护的场景构成,用户可定制需要监护的监护内容由哪些监护场景构成,然后通过后台选择哪些场景不需要监护,哪些场景需要监护,以实现达到了个性化服务的目的。同时,通过改变了传统的安全监护组件只能监护***预先定义好的监护场景,从而使得监护人可以随意制定监护场景,以实现达到了个性化服务的目的。
图4为本申请实施例提供的一种智能安全陪护的方法的流程图。如图4所示,本申请还提供了一种智能安全陪护的方法,其具体实现的流程如下:
步骤S401,定制监护内容,监护内容包括至少一个监护场景。
本申请实施例中,监护人通过上述步骤定制监护内容后,将监护内容发送给用于执行对被监护人进行监护的智能机器人、穿戴设备等设备。
步骤S403,根据监护内容,采集被监护人在所述监护内容中的监护场景下的多模态信息和/或环境信息。
步骤S405,根据所述多模态信息和/或所述环境信息评估所述被监护人是否处于危险状态,在确定所述被监护人处于危险状态则生成危险信息,发送危险信息给用户。
其中,多模态信息可以为检测被监护人的声音、视频、心率等信息,环境信息可以为温度、湿度、非监护人发出的声音等信息,具体根据监护场景确定。
在一个可能实现的实施例中,每个监护场景中包括至少一个监护组件。本申请根据监护场景中的至少一个监护组件,控制对应终端中的至少一个监护组件对被监护人的所述多模态信息和/或所述环境信息进行监测。
其中,本申请中采集被监护人的多模态信息和/或环境信息的设备可以为智能机器人、穿戴设备等设备中至少一个。监护人通过手机APP将监护内容通过云服务器发送给智能机器人等设备,或直接发送给智能机器人等设备,这些设备对被监护人进行多模态信息进行采集和被监护人周围环境信息进行采集。
在一个可能实现的实施例中,本申请监护内容还包括与每个监护场景对应的通知方式。本申请在确定被监护人在某个监护场景中处于危险时,通过该监护场景对应的通知方式通知监护人。不同的监护场景可以有不同的通知方式,避免了传统的安全监护组件只能以单一的通知方式通知监护人。
其中,本申请中对多模态信息和/或所述环境信息进行分析、分析被监护人是否处在危险中、在确定被监护人处在危险时通知监护人等功能均是由云服务器执行。其中与服务器可以包括AI云和业务云,AI云用于对接收到的多模态信息和/或环境信息进行分析,获取各种危险数据;业务云用于对各种危险数据进行多模态数据综合分析,来判定被监护人是否处在危险中。
在一个可能实现的实施例中,当所述至少一个监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在任一种危险状态中时,发送所述危险信息到所述用户端;和/或当所述至少一个监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在特定危险状态中时,发送所述危险信息到所述用户端;和/或当所述至少一个监护组件中特定监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在危险状态中时,发送所述危险信息到所述用户端。
以下将通过两个实施例具体讲述智能机器人、穿戴设备等设备和云服务器如何对被监护人进行安全监护的过程:
实施例四
在一个实施例中,本申请实施例四中提供的智能机器人***具有听觉输入模块麦克风、声纹识别模块(可选),语音识别***、语音情感识别、语言理解***,具有视觉输入模块摄像头、图像识别***(人脸、物体、姿势、手势等)、图像理解***,具有传感输入***,可识别烟雾、煤气浓度、GPS位置信息、环境气温等,具有输出模块扬声器、屏幕(可选,可以输入模块中的触摸屏合一,也可以是独立的只用于显示的屏幕)。
本申请实施例四中提供的穿戴设备上主要具有传感输入***的功能,可以监测到摔倒、心率、体温和GPS位置信息等。
其中,AI处理过程、危险识别***和决策处理过程主要在云服务器,小部分在智能机器人本体完成。
本申请实施例四以智能陪护智能机器人配合穿戴设备为例,并结合图1来描述安全监护过程,具体如下:
第一步 监护人配置监护内容:
本申请实施例四中,如果监护人不去配置监护内容,手机APP将默认的监护内容和通知方式对被监护人进行看护。
第二步 智能机器人和穿戴设备对被监护人进行多模态信息和周围环境信息进行采集:
多模态智能机器人和穿戴设备对周围的环境信息进行检测和收集,包括智能机器人上的麦克风对周围声音的采集,智能机器人上摄像头对监护环境图片的采集,以及智能机器人和穿戴设备上传感器对相关检测信息的采集。
第三步 云服务器对采集的多模态信息和周围环境信息进行AI分析
智能机器人和穿戴设备对采集到的信息上报云服务器进行分析,分析到可能的危险情况可以是:智能机器人通过听觉听到危险的声音:哭声、求救、大叫等声音;智能机器人通过视觉看到危险场景:监护人被攻击、摔倒、哭泣的表情、火灾、流血等;通过智能机器人上监测器检测到危险情况:煤气泄露、烟雾、环境温度过高等;通过穿戴设备上的监测器检测到危险情况:摔倒、心跳异常、体温异常等。具体实现过程如下:
1、通过听觉的方式:
语音识别***ASR会检测到被监护人的发出的声音,并进行内容、情感等识别,这里语音内容和情感识别是现有的成熟技术,可基于隐马尔可夫模型、深度学习、支持向量机、动态事件规整算法、人工神经网络等多种方法实现。
语言理解***NLU对识别到的声音进行理解,如果是哭声、求救、大叫之类的声音,情感识别为恐惧、伤心、痛苦、哭泣等,则将内容和上下文上报危险识别***。
2、通过视觉的方式:
图像识别***通过摄像头采集被监护人的实时情况,并进行图像识别,这里图像识别***是现有的成熟技术,可基于深度学习、支持向量机、隐马尔可夫模型、人工神经网络等多种方法实现。图像理解***会对识别到的图片内容进行理解,如果是发生火灾,监护人摔倒、被攻击、哭泣等危险情况,则将图像含义和上下文上报危险识别***。
3、通过监测器的方式:
监测器的信息收集部件(如传感器)会对周围的信号进行收集识别并上报信息理解***。信息理解***对识别到的信号进行理解,如果是摔倒、心跳异常、体温异常、煤气泄漏、烟雾等信号,则将识别到的内容上报危险识别***。
需要说明的是,上述提到的语音识别***和图像识别***(人脸、物体、姿势、手势等) 等都是现有的成熟技术,有多种不同实现方案,如深度神经网络、支持向量机、隐马尔可夫模型HMM等,下面以基于采用隐马尔可夫模型HMM的语音识别***为例进行方案说明。
图5为本申请实施例提供的语音识别***对语音进行识别的结构框图。如图5所示,实施例中语音识别***由声学模型和语言模型两部分组成,分别对应于语音到音节概率的计算和音节到字概率的计算。
语音识别***对语音进行识别大致可分为五个步骤:预处理、特征提取,声学模型训练,语言模型训练和解码器。
(1)预处理
对输入的原始语音信号进行处理,滤除掉其中的不重要的信息以及背景噪声,并进行语音信号的端点检测、语音分帧、预加重等处理。其中,对语音信号的端点检测是:例如找出语音信号的始末;对语音进行分帧是:例如近似认为在10-30ms内是语音信号是短时平稳的,将语音信号分割为一段一段进行分析;预加重是:例如提升高频部分。
(2)特征提取
去除语音信号中对于语音识别无用的冗余信息,保留能够反映语音本质特征的信息,并用一定的形式表示出来。也就是提取出反映语音信号特征的关键特征参数形成特征矢量序列,以便用于后续处理。目前的较常用的提取特征的方法还是比较多的,不过这些提取方法都是由频谱衍生出来的。
(3)声学模型训练
根据训练语音库的特征参数训练出声学模型参数,在识别时可以将待识别的语音的特征参数同声学模型进行匹配,得到识别结果。
目前的主流语音识别***多采用隐马尔可夫模型(hidden markov model,HMM)进行声学模型建模。
(4)语言模型训练
语言模型是用来计算一个句子出现概率的概率模型。它主要用于决定哪个词序列的可能性更大,或者在出现了几个词的情况下预测下一个即将出现的词语的内容。换一个说法说,语言模型是用来约束单词搜索的。它定义了哪些词能跟在上一个已经识别的词的后面(匹配是一个顺序的处理过程),这样就可以为匹配过程排除一些不可能的单词。语言建模能够有效的结合汉语语法和语义的知识,描述词之间的内在关系,从而提高识别率,减少搜索范围。语言模型分为三个层次:字典知识、语法知识和句法知识。对训练文本数据库进行语法和语义分析,经过基于统计模型训练得到语言模型。其中,语言建模方法主要有基于规则模型和基于统计模型两种方法。
(5)语音解码和搜索算法
解码器:即指语音技术中的识别过程。针对输入的语音信号,根据己经训练好的HMM 声学模型、语言模型及字典建立一个识别网络,根据搜索算法在该网络中寻找最佳的一条路径,这个路径就是能够以最大概率输出该语音信号的词串,这样就确定这个语音样本所包含的文字了。所以解码操作即指搜索算法,是指在解码端通过搜索技术寻找最优词串的方法。
第四步 云服务器通过多模态动态分析
云服务器通过对智能机器人听觉、视觉和监测器上传的多模态数据动态综合分析,判定出需要监护的危险场景。由于是通过多模态分析和动态分析,因此这里的危险场景判断准确率会比较高,大大降低了***的误报和漏判。
云服务器危险识别***通过对智能机器人的听觉、视觉和监测器上传的多模态数据动态持续分析一段时间,再根据综合分析的结果进行危险判定,而不是通过一张图片或一个声音片段来判断,大幅提升了对危险判断的准确率,减少了误报,下面通过智能机器人视觉识别哭泣表情为例对动态分析进行说明:
当分析第一帧图片为哭泣表情后,持续N秒(如10秒),每秒采集M张(如2张),共获取N*M张(20张)图片。分析这连续采集的N*M张(20张)图片表情,如果超过阀值K(如80%)以上分析为哭泣的表情,则判定小孩处于哭泣状态。
需要说明的是,这里的N、M和K的取值只是举例说明,实际取值建议经过大量数据进行测试调优获取最优值,在兼顾性能和较短反应时间的前提下获得最低的误报值。对于不同状态的判定(如哭泣、摔倒、被攻击),N,M和K的取值可能各不相同。
智能机器人配合穿戴设备监护场景中,云服务器危险识别***机通过智能机器人听觉、视觉和监测器得到并上报的多模态数据进行综合判断,可准确识别出需要监护的危险场景,下面以智能机器人识别儿童危险场景为例进行举例:
表二 智能机器人配合穿戴设备识别儿童危险场景
第五步 将危险信息通知给监护人
云服务器收到智能机器人和穿戴设备上报消息并分析为危险场景后,云服务器处理***可通过APP即时消息等形式通知监护人,如通知消息为“您家的孩子小明可能遇到他人攻击了,是否需要查看”,并邀请开通监护人APP和智能机器人之间的远程视频聊天。
第六步 监护人处理危险信息
监护人通过远程视频或智能机器人上的摄像头,查看现场实际情况,判断现场是否真实存在危险情况。如存在危险情况,监护人及时采取急救措施。
本申请实施例四中通过智能机器人进行多模态(听觉、视觉、监测器)的动态监护和综合分析,从而保证整个方案的高可靠性,减少了误判和漏判;通过软件***在已有的设备上实现,成为智能机器人、穿戴设备的一个功能,实施简单,容易维护,实现成本低;智能机器人可通过人脸识别、跟踪人脸等技术转头或移动,将看护人纳入视角,穿戴设备则一直穿戴在被监护人身上,避免了传统摄像头死角的问题;智能机器人可能是儿童或老人娱乐、学习的陪护智能机器人,在娱乐或学习过程中提供安全陪护,避免了普通的摄像头会有被监视感觉。
实施例五
本申请实施例五以智能陪护智能机器人配合穿戴设备为例,并结合图2来描述安全监护过程,具体如下:
第一步 监护人配置监护内容:
本申请实施例五中,如果监护人不去配置监护内容,手机APP将默认的监护内容和通知方式对被监护人进行看护。
第二步 智能机器人对被监护人进行多模态信息和周围环境信息进行采集:
多模态智能机器人对周围的环境信息进行检测和收集,包括智能机器人上的麦克风对周围声音的采集,智能机器人上摄像头对监护环境图片的采集,以及智能机器人上传感器对相关检测信息的采集。
第三步 云服务器对采集的多模态信息和周围环境信息进行AI分析
智能机器人对采集到的信息上报云服务器AI***进行分析,分析到可能的危险情况可以是,智能机器人通过听觉听到危险的声音:哭声、求救、大叫等声音;智能机器人通过视觉看到危险场景:监护人被攻击,摔倒,哭泣的表情,火灾,流血等;通过智能机器人上监测器检测到危险情况:煤气泄露,烟雾,环境温度过高等。具体实现过程如下:
1、通过听觉的方式:
语音识别***ASR会检测到被监护人的发出的声音,并进行内容、情感等识别,这里语音内容和情感识别是现有的成熟技术,可基于隐马尔可夫模型、深度学习、支持向量机、动态事件规整算法、人工神经网络等多种方法实现。
语言理解***NLU对识别到的声音进行理解,如果是哭声、求救、大叫之类的声音,情感识别为恐惧、伤心、痛苦、哭泣等,则将内容和上下文上报危险识别***。
2、通过视觉的方式:
图像识别***通过摄像头采集被监护人的实时情况,并进行图像识别,这里图像识别***是现有的成熟技术,可基于深度学习、支持向量机、隐马尔可夫模型、人工神经网络等多种方法实现。图像理解***会对识别到的图片内容进行理解,如果是发生火灾,监护人摔倒、被攻击、哭泣等危险情况,则将图像含义和上下文上报危险识别***。
3、通过监测器的方式:
监测器的信息收集部件(如传感器)会对周围的信号进行收集识别并上报信息理解***。信息理解***对识别到的信号进行理解,如果是摔倒、煤气泄漏、烟雾等信号,则将识别到的内容上报危险识别***。
需要说明的是,上述提到的语音识别***和图像识别***(人脸、物体、姿势、手势等) 等都是现有的成熟技术,有多种不同实现方案,如深度神经网络、支持向量机、隐马尔可夫模型HMM等。
第四步 云服务器通过多模态动态分析
如果端侧仅有智能机器人和监护人手机APP,云服务器危险识别***机通过智能机器人的听觉、视觉和监测器上报的多模态数据进行综合判断,可准确识别出需要监护的危险场景,下面以智能机器人***识别儿童危险场景为例进行举例:
表三 智能机器人识别儿童危险场景
第五步 将危险信息通知给监护人
云服务器收到智能机器人上报消息并分析为危险场景后,云服务器处理***可通过APP 即时消息等形式通知监护人,如通知消息为“您家的孩子小明可能遇到他人攻击了,是否需要查看”,并邀请开通监护人APP和智能机器人之间的远程视频聊天。
第六步 监护人处理危险信息
监护人通过远程视频或智能机器人上的摄像头,查看现场实际情况,判断现场是否真实存在危险情况。如存在危险情况,监护人及时采取急救措施。
本申请实施例五相比较实施例四,实施例五缺少穿戴设备,所达到的技术效果类似,只是监护实现方案上不同,在听觉、视觉识别准确率较高的情况下,可达到与实施例四接近的危险场景识别准确率。
在一种可能实现的实施例中,云服务器还用于获取其它***的数据,然后结合所述多模态信息和/或所述环境信息进行分析,来判定所述被监护人在所述监护内容中是否处在危险中。本申请让云服务器与其它***连接,接收其它***的数据,然后结合现有监测的数据,使得云服务器分析的数据更加准确。
本申请通过监护人自己制定的监护内容和自定义的监护场景,以实现监护人根据自己的需求制定监护内容,以达到个性化服务;智能机器人接收到监护人发送的监护内容后,进行多模态(听觉、视觉、监测器)的动态监护和综合分析,从而保证整个方案的高可靠性,减少了误判和漏判;云服务器对多模态和环境信息,进行AI处理,在确定被监护人有危险时,通知监护人。
图6为本申请实施例提供的一种监护内容的制定装置的结构示意图。如图6所示,本申请提供的监护内容的制定装置600包括显示单元601、定制单元602、分析单元603、确定单元 604、发送单元605、接收单元606和存储单元607。
显示单元601用于呈现至少两个监护场景,以供用户进行选择。其中,监护场景为一定特定场景下的子监护内容。
在本申请实施例中在手机上呈现多个监护场景的方式可以为在手机屏幕上显示、通过语音播报等方式,再此不限。
定制单元602用于根据用户的第一选择指令,生成第一监护内容。其中,第一监护内容包括用户通过第一选择指令选择的至少一个监护场景。
分析单元603用于对第一监护内容进行分析,推荐用于更新第一监护内容中的监护场景。
对于部分监护人可能并不知道自己该如何配置监护场景,或者不能结合外界环境变化、大数据分析等动态的改变需要的监护内容,因此智能机器人***和云服务器可根据被监护人的日常的行为分析、环境分析、大数据分析、外界预警等给监护人动态地推荐增加、删除或修改监护场景。
自学习智能动态推荐监护场景,主要包括推荐监护人增加监护场景、推荐监护人删除监护场景和推荐重新定义监护场景三种。
在一个实施例中,推荐增加监护场景主要是指智能机器人***和云服务器可根据被监护人的日常行为分析、环境分析、大数据分析、外界预警等动态推荐一些场景给其监护人。具体推荐情况如下:
(1)云服务器中的业务云可对接天气预报***,根据天气预报实时上报的不同数据,智能推荐增加相应的监护场景。智能机器人***可根据家庭的环境分析推荐一些监护场景给监护人,不同的家庭环境会推荐不同的安全监护场景。
(2)云服务器中的业务云可对接疾病控制预防中心***(或第三方如天气预报/新闻APP 的接口),根据疾病控制预防中心的预警,可推荐增加相应的监护场景。
(3)云服务器中的业务云可根据后台大量家庭的实际监护发生的危险场景的数据做大数据分析,根据季节、地域、性别、年龄段等信息,动态地推荐被被监护人发生可能性较大的危险监护场景给监护人。
(4)智能机器人在与被监护人的日常陪护中,除了对被监护人进行安全看护外,还会根据听觉、视觉接受到的信息对被监护人的日常行为进行一些分析,根据日常行为的分析,也会动态智能地推荐一些监护场景给监护人。
在一个实施例中,智能机器人***除了可根据被监护人的日常的行为分析、环境分析、大数据分析、外界预警等给监护人动态地推荐增加监护场景,也会动态地推荐删除监护场景。具体推荐情况如下:
(1)云服务器中的业务云可对接天气预报***,根据天气预报实时上报的数据分析,动态推荐删除相应的监护场景。
(2)云服务器中的业务云可对接疾病控制预防中心***(或第三方如天气预报/新闻APP 的接口),根据疾病控制预防中心的预警解除,也会推荐删除相应的监护场景。
(3)智能机器人***可根据监护人的误报反馈,动态地推荐删除相应的安全监护场景。在一个实施例中,监护人通过远程视频(智能机器人上的摄像头),查看现场实际情况,判断是否真实存在危险情况,如存在危险情况,监护人及时采取急救措施。但如果是误报,监护人可通过手机APP界面反馈是误报。云服务器***则会根据用户的反馈分析,动态地推荐监护人减少监护场景。
(4)智能机器人***可根据家庭的环境分析给监护人推荐删除一些监护场景。
此外,一些监护场景如果很久没有过成功预警,且分析消耗的能耗较大,则智能机器人***会动态推荐监护人删除该监护场景,以达到降低能耗的目的。
在一个实施例中,智能机器人***除了可以动态地推荐增加监护场景和推荐删除监护场景外,当发现用户定义的危险场景不合理的时候,也可能会推荐监护人修改监护场景,以达到更少的误报和更好的用户体验等目的,也解决了用户既希望定义某个危险监护场景但自己又搞不清配置多少的数值更合适。
另外,显示单元601还用于呈现至少两个监护组件,以供用户进行选择。
定制单元602还用于根据用户的第二选择指令,生成包括用户通过第二选择指令选择的至少一个监护组件的相应监护场景并添加到第一监护内容中。
对于监护场景,其由至少一个监护组件构成。在本申请实施例中,当监护人想通过语音的方式监护被监护人,则需要启动智能机器人的听觉功能,由于智能机器人的听觉功能主要由麦克风、语言识别***和语言理解***实现,所以这时监护场景包括启动麦克风、语言识别***和语言理解***的监护组件。
监护人可以自定义个性化监护场景。在一个可能的实施例中,当监护人需要通过智能机器人监护小孩是否发生意外受伤时,现有的“监护小孩受伤”场景可能只通过语音和视频的方式监护被监护人,此时监护场景只有包括启动智能机器人的听觉功能和视觉功能的监护组件。当监护人认为通过监测被监护人的声音和视频这两种方式并不能准确的监测小孩受伤的情景,需要添加监测被监护人的心率信息才能更准确的监护小孩是否受伤。监护人可以在现有的“监护小孩受伤”场景中添加启动智能机器人的检测器功能,从而改变了传统的智能机器人只能监护***预先定义好的监护场景。
本申请通过改变了传统的安全监护组件只能监护***预先定义好的监护场景,从而使得监护人可以随意制定监护场景,以实现达到了个性化服务的目的。
在一个实施例中,制定装置600还包括:确定单元604。确定单元604用于根据用户的第三选择指令,更新第一监护内容以生成第二监护内容,第二监护内容包括用户通过第三选择指令选择的推荐的用于更新第一监护内容的监护场景。
本申请根据用户端进行分析结果,需要用户手动的添加新的监护场景、删除用户不要的已加入的监护场景和修改已加入的监护场景,避免***强制性加入新的监护场景、删除或修改已加入的监护场景。
在一个实施例中,制定装置600还包括:发送单元605和接收单元606。
发送单元605用于向终端发送第二监护内容以使得终端根据第二监护内容采集被监护人在第二监护内容中的监护场景下的多模态信息和/或环境信息,终端将多模态信息和/或环境信息发送给云服务器以使得云服务器根据多模态信息和/或环境信息评估被监护人是否处于危险状态,其中如果云服务器根据多模态信息和/或环境信息评估被监护人处于危险状态则生成危险信息。
接收单元606用于接收云服务器发送的所述危险信息。其中,危险信息为在云服务器对多模态信息和/或环境信息进行分析,确定被监护人处在危险状态中时生成的。
发送单元605还用于将危险信息通知用户。
本申请通过将制定的监护内容发送给终端,然后终端获取各个监护场景下的多模态信息和/或环境信息,云服务器对多模态信息和/或环境信息进行分析,确定所述被监护人处在危险状态中时,生成危险信息,然后根据危险信息通知用户对被监护人进行防护。
在一个可能实现的实施例中,制定装置600还包括:存储单元607。存储单元607存储存储有与第二监护内容中每个监护场景对应的通知方式。本申请在确定被监护人在某个监护场景中处于危险时,通过该监护场景对应的通知方式通知监护人。不同的监护场景可以有不同的通知方式,避免了传统的安全监护组件只能以单一的通知方式通知监护人。
本申请将需要监护的监护内容看成是由一个一个需要监护的场景构成,用户可定制需要监护的监护内容由哪些监护场景构成,然后通过后台选择哪些场景不需要监护,哪些场景需要监护,以实现达到了个性化服务的目的。同时,通过改变了传统的安全监护组件只能监护***预先定义好的监护场景,从而使得监护人可以随意制定监护场景,以实现达到了个性化服务的目的。
图7为本申请实施例提供的一种智能安全陪护***的结构示意图。如图6所示,本申请提供的智能安全陪护***包括用户端10、云服务器20和终端30。
用户端10用于定制监护内容,监护内容包括至少一个监护场景。
其中,用户端10具体如何制定监护内容请参考图6和图6对应的描述内容,此处就不再进行赘述了。
终端30用于根据监护内容,采集被监护人在监护内容中的监护场景下的多模态信息和/ 或环境信息。
本申请所提到的终端30可以为智能机器人、穿戴设备等设备中至少一个。监护人通过手机APP将监护内容通过云服务器20发送给智能机器人等设备,这些设备对被监护人进行多模态信息进行采集和被监护人周围环境信息进行采集。
在一个实施例中,本申请提供的智能机器人***具有听觉输入模块麦克风、声纹识别模块(可选),语音识别***、语音情感识别、语言理解***,具有视觉输入模块摄像头、图像识别***(人脸、物体、姿势、手势等)、图像理解***,具有传感输入***,可识别烟雾、煤气浓度、GPS位置信息、环境气温等,具有输出模块扬声器、屏幕(可选,可以输入模块中的触摸屏合一,也可以是独立的只用于显示的屏幕)。
在一个实施例中,本申请提供的穿戴设备上主要具有传感输入***的功能,可以监测到摔倒、心率、体温和GPS位置信息等。
其中,AI处理过程、危险识别***和决策处理过程主要在云服务器20,小部分在智能机器人本体完成。
智能机器人和穿戴设备对周围的环境信息进行检测和收集,包括智能机器人上的麦克风对周围声音的采集,智能机器人上摄像头对监护环境图片的采集,以及智能机器人和穿戴设备上传感器对相关检测信息的采集。
云服务器20用于根据多模态信息和/或所述环境信息评估被监护人是否处于危险状态,在确定被监护人处于危险状态则生成危险信息,发送危险信息到用户端10。
智能机器人和穿戴设备对采集到的信息上报云服务器进行分析,分析到可能的危险情况可以是:智能机器人通过听觉听到危险的声音:哭声、求救、大叫等声音;智能机器人通过视觉看到危险场景:监护人被攻击、摔倒、哭泣的表情、火灾、流血等;通过智能机器人上监测器检测到危险情况:煤气泄露、烟雾、环境温度过高等;通过穿戴设备上的监测器检测到危险情况:摔倒、心跳异常、体温异常等。具体实现过程如下:
1、通过听觉的方式:
语音识别***ASR会检测到被监护人的发出的声音,并进行内容、情感等识别,这里语音内容和情感识别是现有的成熟技术,可基于隐马尔可夫模型、深度学习、支持向量机、动态事件规整算法、人工神经网络等多种方法实现。
语言理解***NLU对识别到的声音进行理解,如果是哭声、求救、大叫之类的声音,情感识别为恐惧、伤心、痛苦、哭泣等,则将内容和上下文上报危险识别***。
2、通过视觉的方式:
图像识别***通过摄像头采集被监护人的实时情况,并进行图像识别,这里图像识别***是现有的成熟技术,可基于深度学习、支持向量机、隐马尔可夫模型、人工神经网络等多种方法实现。图像理解***会对识别到的图片内容进行理解,如果是发生火灾,监护人摔倒、被攻击、哭泣等危险情况,则将图像含义和上下文上报危险识别***。
3、通过监测器的方式:
监测器的信息收集部件(如传感器)会对周围的信号进行收集识别并上报信息理解***。信息理解***对识别到的信号进行理解,如果是摔倒、心跳异常、体温异常、煤气泄漏、烟雾等信号,则将识别到的内容上报危险识别***。
需要说明的是,上述提到的语音识别***和图像识别***(人脸、物体、姿势、手势等) 等都是现有的成熟技术,有多种不同实现方案,如深度神经网络、支持向量机、隐马尔可夫模型HMM等。
在一个实施例中,云服务器20包括AI云21和业务云22。AI云21,主要提供智能机器人与人交互的ASR、NLP、TTS等相关能力。业务云22,主要为智能机器人上运行的APP和监护人手机端的控制APP提供云侧服务能力和发送通知消息的能力。
云服务器通过对智能机器人听觉、视觉和监测器上传的多模态数据动态综合分析,判定出需要监护的危险场景。由于是通过多模态分析和动态分析,因此这里的危险场景判断准确率会比较高,大大降低了***的误报和漏判。
其中,云服务器用于当所述至少一个监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在任一种危险状态中时,发送所述危险信息到所述用户端;和/或当所述至少一个监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在特定危险状态中时,发送所述危险信息到所述用户端;和/或当所述至少一个监护组件中特定监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在危险状态中时,发送所述危险信息到所述用户端。
在一个实施例中,终端30包括摄像头和AI单元,摄像头用于采集被监护人在监护内容中的监护场景中的图像信息;AI单元或云服务器20用于根据被监护人在所述监护内容中的监护场景中的图像信息,分析被监护人是否在监护场景中处于危险。
在一个实施例中,终端30包括监听单元和AI单元,监听单元用于采集被监护人在监护内容中的监护场景中的语音信息;AI单元或云服务器20用于根据被监护人在监护内容中的监护场景中的语音信息,分析被监护人是否在监护场景中处于危险。
在一个实施例中,终端30包括检测器和AI单元,检测器用于采集被监护人在监护内容中的监护场景中的身体状态信息和/或环境信息;AI单元或云服务器20用于根据被监护人在监护内容中的监护场景中的身体状态信息和/或环境信息,分析被监护人是否在监护场景中处于危险。
在一个实施例中,AI单元或云服务器20还根据被监护人在监护内容中的监护场景中的图像信息、语音信息、身体状态信息和环境信息中至少两种信息,分析被监护人是否在监护场景中处于危险。
在一个可能实现的实施例中,每个监护场景中包括至少一个监护组件。本申请根据监护场景中的至少一个监护组件,控制对应终端中的至少一个监护组件对被监护人的所述多模态信息和/或所述环境信息进行监测。
在一个可能实现的实施例中,本申请监护内容还包括与每个监护场景对应的通知方式。本申请在确定被监护人在某个监护场景中处于危险时,通过该监护场景对应的通知方式通知监护人。
在一种可能实现的实施例中,云服务器还用于获取其它***的数据,然后结合所述多模态信息和/或所述环境信息进行分析,来判定所述被监护人在所述监护内容中是否处在危险中。本申请让云服务器与其它***连接,接收其它***的数据,然后结合现有监测的数据,使得云服务器分析的数据更加准确。
本申请通过监护人自己制定的监护内容和自定义的监护场景,以实现监护人根据自己的需求制定监护内容,以达到个性化服务;智能机器人接收到监护人发送的监护内容后,进行多模态(听觉、视觉、监测器)的动态监护和综合分析,从而保证整个方案的高可靠性,减少了误判和漏判;云服务器对多模态和环境信息,进行AI处理,在确定被监护人有危险时,通知监护人。
图8为本申请实施例提供的一种智能机器人架构结构图。如图8所示,本申请提供的一种智能机器人,具体包括:硬件层、操作***层、核心组件层、人机交互接口和应用层。
硬件层,包括输入模块、输出模块和计算处理模块,输入模块用于接收用户的输入,包括有触摸屏(接收用户的触摸输入)、麦克风(接收用户的语音输入)、摄像头(接收图像)、传感器;输出模块用于向用户反馈输出,包括有LCD(用于以图像的方式显示输出)、扬声器(用于以声音的方式输出);计算处理模块主要是处理器(包括音频处理器、图像处理器、中央处理器、NPU);输出模块还可以包括振动马达,用于提供触觉反馈,对于有肢体的机器人,输出模块可以是机器人的肢体,用于提供运动反馈,如拍打、抚摸、拥抱用户。通信接口模块,用于机器人与外界的数据通信,包括WIFI接口、蓝牙接口、总线接口、以太网接口、传感器HUB接口等。
操作***层,主要是指机器人操作***,用于支撑机器人日常运行的操作***。
核心组件层,包括音频前端、ASR、TTS、视觉处理单元、情感计算单元、多模态融合处理单元、显示单元、运动控制单元、声光控制等单元组成。
人机交互接口,主要提供应用层和核心组件层的人机交互接口,包括决策管理单元、姿态单元、表情单元、多媒体单元、对话单元、设备管理单元等。
应用层,主要是提供给监护人日常使用的功能,包括日常交流、游戏、娱乐、学习、安全陪护等功能。
本申请实施例将该智能机器人与云服务器组合,使得该智能机器人提供的***主要具备以下功能:
(1)听觉功能,主要由麦克风、语言识别***和语言理解***实现。其中,麦克风一般部署在智能机器人或穿戴设备上;AI能力(语言识别***和语言理解***)可部署在AI云服务器,也可部署在智能机器人或穿戴设备上。
(2)视觉功能,主要由摄像头、图像识别***和图像理解***实现。其中,摄像头一般部署在智能机器人上,或是家中一个独立的配合具有AI能力的云服务器的摄像头;AI能力 (图像识别***和图像理解***)可部署在AI云服务器,也可部署在智能机器人上。
(3)监测器,主要由传感器实现,可以监测摔倒、心率、体温、烟雾、煤气浓度、GPS位置、环境气温等。其中,传感器分别部署在智能机器人和穿戴设备上。
(4)危险识别***,主要对多模态的数据进行动态综合分析,判断是否为需要监护的危险场景。一般部署在业务云上和智能机器人上。
(5)云服务器处理***,主要根据危险识别***的判断进行报警通知,并可以邀请开通智能机器人和监护人APP之间的远程视频聊天,帮助监护人查看是否真的存在危险情况。一般部署在业务云上。
通过该智能机器人和云服务器通过网络连接,各个功能之间相互配合,共同完成监护危险场景的识别和通知功能。
本申请通过软件***在已有的设备上实现,成为智能机器人的一个功能,实施简单,容易维护,实现成本低;智能机器人可通过人脸识别、跟踪人脸等技术转头或移动,将看护人纳入视角,穿戴设备则一直穿戴在被监护人身上,避免了传统摄像头死角的问题;智能机器人可能是儿童或老人娱乐、学习的陪护智能机器人,在娱乐或学习过程中提供安全陪护,避免了普通的摄像头会有被监视感觉。
图9为本发明实施例提供的一种用户端设备的结构示意图。如图9所示的一种用户端设备 900,该用户端设备900可以为上述的用户端10,包括传感器901,显示器902,处理器903、存储器904、通信接口905以及总线906。终端设备中的处理器903、存储器904和通信接口905 可以通过总线906建立通信连接。
传感器901,用于接收云服务器发送的各种信息和终端发送的各种信息,向云服务器和终端发送各种信息。传感器901可包括各种通信接口等等。
显示器902,用于显示处理后的数据,如视频、虚拟操作界面。
处理器903可以为中央处理器(central processing unit,CPU)。
存储器904可以包括易失性存储器(volatile memory,VM),例如随机存取存储器(random-access memory,RAM);存储器也可以包括非易失性存储器(non-volatilememory,NVM),例如只读存储器(read-only memory,ROM),快闪存储器,硬盘(hard diskdrive,HDD)或固态硬盘(solid state drive,SSD);存储器904还可以包括上述种类的存储器的组合。
上述实施例提供的监护内容的制定方法,均由处理器903来执行。云服务器发送的各种信息、终端发送的各种信息、操作信息等数据将存储在存储器904中。另外,存储器904中还将用于存储处理器903执行的用于实现上述实施例所述的监护内容的制定方法对应的程序指令等等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
此外,本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如,计算机可读介质可以包括,但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,压缩盘(compact disc,CD)、数字通用盘(digital versatiledisc, DVD)等),智能卡和闪存器件(例如,可擦写可编程只读存储器(erasableprogrammable read-only memory,EPROM)、卡、棒或钥匙驱动器等)。另外,本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于,无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线 (DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state dik,SSD))等。
应当理解的是,在本申请实施例的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者接入网设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后说明的是:以上实施例仅用以说明本申请的技术方案,而对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (28)
1.一种监护内容的制定方法,其特征在于,包括:
呈现至少两个监护场景,以供用户进行选择;其中,监护场景为一定特定场景下的子监护内容;
根据所述用户的第一选择指令,生成第一监护内容,所述第一监护内容包括所述用户通过所述第一选择指令选择的至少一个监护场景;
对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
呈现至少两个监护组件,以供用户进行选择;
根据所述用户的第二选择指令,生成包括所述用户通过第二选择指令选择的至少一个监护组件的相应监护场景并添加到所述第一监护内容中。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据历史监护内容,分析所述历史监护内容中各个监护场景出现的次数,推荐添加次数高的监护场景到所述第一监护内容。
4.根据权利要求1-2任一项所述的方法,其特征在于,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐添加与所述用户所需要的监护场景相关的监护场景到所述第一监护内容。
5.根据权利要求1-2任一项所述的方法,其特征在于,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据历史反馈信息,分析所述历史反馈信息中多次反馈为误报的监护场景,推荐删除所述第一监护内容中所述多次反馈为误报的监护场景。
6.根据权利要求1-2任一项所述的方法,其特征在于,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐删除所述第一监护内容中的不合理的监护场景。
7.根据权利要求1-2任一项所述的方法,其特征在于,所述对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景,包括:
根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐修改所述第一监护内容中的所述至少一个监护场景中不合理的监护场景。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:根据所述用户的第三选择指令,更新所述第一监护内容以生成第二监护内容,所述第二监护内容包括所述用户通过所述第三选择指令选择的推荐的用于更新所述第一监护内容的监护场景。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
向终端发送所述第二监护内容以使得所述终端根据所述第二监护内容采集被监护人在所述第二监护内容中的监护场景下的多模态信息和/或环境信息,所述终端将所述多模态信息和/或所述环境信息发送给云服务器以使得所述云服务器根据所述多模态信息和/或所述环境信息评估所述被监护人是否处于危险状态,其中如果所述云服务器根据所述多模态信息和/或所述环境信息评估所述被监护人处于危险状态则生成危险信息;
接收所述云服务器发送的所述危险信息并将所述危险信息通知所述用户。
10.根据权利要求9所述的方法,其特征在于,所述第二监护内容还包括:与所述第二监护内容中每个监护场景对应的通知方式;
所述接收所述云服务器发送的所述危险信息并将所述危险信息通知所述用户,包括:
通过与监护场景对应的通知方式通知所述用户。
11.一种监护内容的制定装置,其特征在于,包括:
显示单元,用于呈现至少两个监护场景,以供用户进行选择;其中,监护场景为一定特定场景下的子监护内容;
定制单元,用于根据所述用户的第一选择指令,生成第一监护内容,所述第一监护内容包括所述用户通过所述第一选择指令选择的至少一个监护场景;
分析单元,用于对所述第一监护内容进行分析,推荐用于更新所述第一监护内容中的监护场景。
12.根据权利要求11所述的装置,其特征在于,
所述显示单元,还用于呈现至少两个监护组件,以供用户进行选择;
所述定制单元,还用于根据所述用户的第二选择指令,生成包括所述用户通过第二选择指令选择的至少一个监护组件的相应监护场景并添加到所述第一监护内容中。
13.根据权利要求11-12任一项所述的装置,其特征在于,所述分析单元,具体用于根据历史监护内容,分析所述历史监护内容中各个监护场景出现的次数,推荐添加次数高的监护场景到所述第一监护内容。
14.根据权利要求11-12任一项所述的装置,其特征在于,所述分析单元,具体用于根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐添加与所述用户所需要的监护场景相关的监护场景到所述第一监护内容。
15.根据权利要求11-12任一项所述的装置,其特征在于,所述分析单元,具体用于根据历史反馈信息,分析所述历史反馈信息中多次反馈为误报的监护场景,推荐删除所述第一监护内容中所述多次反馈为误报的监护场景。
16.根据权利要求11-12任一项所述的装置,其特征在于,所述分析单元,具体用于根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐删除所述第一监护内容中的不合理的监护场景。
17.根据权利要求11-12任一项所述的装置,其特征在于,所述分析单元,具体用于根据所述用户的历史行为、外界环境信息和除所述用户以外的用户数据进行分析,推荐修改所述第一监护内容中的所述至少一个监护场景中不合理的监护场景。
18.根据权利要求11-17任一项所述的装置,其特征在于,所述装置还包括:确定单元,
所述确定单元,用于根据所述用户的第三选择指令,更新所述第一监护内容以生成第二监护内容,所述第二监护内容包括所述用户通过所述第三选择指令选择的推荐的用于更新所述第一监护内容的监护场景。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:发送单元和接收单元,
所述发送单元,用于向终端发送所述第二监护内容以使得所述终端根据所述第二监护内容采集被监护人在所述第二监护内容中的监护场景下的多模态信息和/或环境信息,所述终端将所述多模态信息和/或所述环境信息发送给云服务器以使得所述云服务器根据所述多模态信息和/或所述环境信息评估所述被监护人是否处于危险状态,其中如果所述云服务器根据所述多模态信息和/或所述环境信息评估所述被监护人处于危险状态则生成危险信息;
所述接收单元,用于接收所述云服务器发送的所述危险信息;
所述发送单元,还用于将所述危险信息通知所述用户。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括:存储单元,所述存储单元存储有与所述第二监护内容中每个监护场景对应的通知方式;
所述发送单元,具体用于通过与监护场景对应的通知方式通知所述用户。
21.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在用户端上运行时,使得所述用户端执行如权利要求1-10任意一项所述的方法。
22.一种包含指令的计算机程序产品,其特征在于,当其在用户端上运行时,使得所述用户端执行如权利要求1-10任意一项所述的方法。
23.一种智能安全陪护***,其特征在于,包括:终端、云服务器和如权利要求21-26任一项所述的用户端,
所述用户端,用于定制监护内容,所述监护内容包括至少一个监护场景;
所述终端,用于根据监护内容,采集被监护人在所述监护内容中的监护场景下的多模态信息和/或环境信息;
所述云服务器,用于根据所述多模态信息和/或所述环境信息评估所述被监护人是否处于危险状态,在确定所述被监护人处于危险状态则生成危险信息,发送危险信息到所述用户端。
24.根据权利要求23所述的***,其特征在于,所述终端,具体用于根据所述监护内容中的第一监护场景中的所述至少一个监护组件,控制对应的至少一个监护组件对所述被监护人的所述多模态信息和/或所述环境信息进行监测。
25.根据权利要求23所述的***,其特征在于,所述云服务器具体用于:当所述至少一个监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在任一种危险状态中时,发送所述危险信息到所述用户端;和/或
当所述至少一个监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在特定危险状态中时,发送所述危险信息到所述用户端;和/或
当所述至少一个监护组件中特定监护组件采集的所述多模态信息和/或所述环境信息确定所述被监护人处在危险状态中时,发送所述危险信息到所述用户端。
26.根据权利要求23所述的***,其特征在于,所述云服务器包括AI云和业务云,
所述AI云,用于对所述监护内容中的第二监护场景中的所述多模态信息和/或所述环境信息进行分析,获取各种危险数据;
所述业务云,用于对所述各种危险数据进行多模态数据综合分析,来判定所述被监护人在所述第二监护场景中是否处在危险中。
27.根据权利要求23所述的***,其特征在于,所述云服务器,还用于获取其它***的数据,然后结合所述多模态信息和/或所述环境信息进行分析,来判定所述被监护人在所述监护内容中是否处在危险中。
28.一种智能机器人,其特征在于,所述智能机器人为如权利要求23-27任一项所述的终端。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910846966X | 2019-09-09 | ||
CN201910846966 | 2019-09-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112464080A true CN112464080A (zh) | 2021-03-09 |
Family
ID=74806984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910900557.3A Pending CN112464080A (zh) | 2019-09-09 | 2019-09-23 | 监护内容的制定方法和装置、智能安全陪护*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112464080A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113314116A (zh) * | 2021-06-10 | 2021-08-27 | 杭州搏世智能科技有限公司 | 一种具有语音对话功能看护型益智机器人 |
-
2019
- 2019-09-23 CN CN201910900557.3A patent/CN112464080A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113314116A (zh) * | 2021-06-10 | 2021-08-27 | 杭州搏世智能科技有限公司 | 一种具有语音对话功能看护型益智机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11020064B2 (en) | Voice controlled assistance for monitoring adverse events of a user and/or coordinating emergency actions such as caregiver communication | |
US11631407B2 (en) | Smart speaker system with cognitive sound analysis and response | |
EP2713881B1 (en) | Method and system for assisting patients | |
US20170221336A1 (en) | Human voice feedback system | |
EP3693966B1 (en) | System and method for continuous privacy-preserved audio collection | |
US20100302042A1 (en) | Sensor-based independent living assistant | |
CN104867309A (zh) | 一种中老龄人安康服务智能穿戴设备及深度学习方法 | |
CN104796485A (zh) | 一种老龄人云安康服务平台及大数据处理方法 | |
CN104952447A (zh) | 一种老龄人安康服务智能穿戴设备及语音识别方法 | |
US11435824B2 (en) | Prompt method and apparatus for eye-protection mode, electronic device and storage medium | |
CN107918726A (zh) | 距离感应方法、设备及存储介质 | |
CN110719553A (zh) | 具有认知声音分析和响应的智能扬声器*** | |
CN107301862A (zh) | 一种语音识别方法、识别模型建立方法、装置及电子设备 | |
CN106327813A (zh) | 智能语音识别报警方法及*** | |
WO2013023067A2 (en) | Monitoring and tracking system, method, article and device | |
CN113239872A (zh) | 事件识别方法、装置、设备及存储介质 | |
US20190346929A1 (en) | Attention Levels in a Gesture Control System | |
CN111176440B (zh) | 一种视频通话方法及可穿戴设备 | |
CN112464080A (zh) | 监护内容的制定方法和装置、智能安全陪护*** | |
US11720146B1 (en) | Controlled-environment facility resident wearables and systems and methods for use | |
WO2022160938A1 (zh) | 紧急求助功能的触发方法、装置、终端及存储介质 | |
WO2023150327A1 (en) | Smart glass interface for impaired users or users with disabilities | |
Sukreep et al. | Recognizing Falls, Daily Activities, and Health Monitoring by Smart Devices. | |
CN114636231A (zh) | 空调的控制方法、装置、终端及介质 | |
CN112580390B (zh) | 基于智能音箱的安防监控方法、装置、音箱和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |