CN113392736A - 提升家政服务安全的监控方法、***、设备及介质 - Google Patents

提升家政服务安全的监控方法、***、设备及介质 Download PDF

Info

Publication number
CN113392736A
CN113392736A CN202110605670.6A CN202110605670A CN113392736A CN 113392736 A CN113392736 A CN 113392736A CN 202110605670 A CN202110605670 A CN 202110605670A CN 113392736 A CN113392736 A CN 113392736A
Authority
CN
China
Prior art keywords
audio
video data
monitoring
data
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110605670.6A
Other languages
English (en)
Inventor
杨喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
May 8 Home Co ltd
Original Assignee
May 8 Home Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by May 8 Home Co ltd filed Critical May 8 Home Co ltd
Priority to CN202110605670.6A priority Critical patent/CN113392736A/zh
Publication of CN113392736A publication Critical patent/CN113392736A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205Specific application combined with child monitoring using a transmitter-receiver system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)

Abstract

本发明属于安全监控技术领域,特别适用于家政服务安全的监控和分析。针对现有监控无法应对动态场景的监控、及时发现问题,达到真实有效的安全监控目的,提出了本发明提升家政服务安全的监控方法、***、设备及介质,旨在通过监控收集音视频结合匹配预存的声音片段等方式有效进行实时分析,能够第一时间识别危险情况通知相关人员。由此,能有效解决如何提升家政服务安全性的技术问题;进而解决如何有效提示/报警的技术问题等。从而,保证了有效对动态场景进行安全监控、及时发现危险,提升了用户体验。

Description

提升家政服务安全的监控方法、***、设备及介质
技术领域
本发明属于安全监控技术领域,特别适用于家政服务安全的监控和分析,更具体的是涉及提升家政服务安全的监控方法、***、装置及介质。
背景技术
现有技术中,家政服务安全主要通过实时摄像头拍摄的视频进行观测,比如厨房火、水、电是否关闭,卧室、客厅是否打扫等,静态环境的监控方式较多。但家政服务中照顾幼儿的动态场景的监控,采用实时拍摄方式靠雇主偶尔查看,很难以达到真实有效的安全监控的目的,尤其是,需要照顾婴幼儿的家政服务场景,雇主一般事务繁忙无法实时持续监控,而将婴幼儿交给家政服务人员时又很不放心,无法随时监控服务人员照顾婴幼儿的情况,有些侵害往往经过很长时间才发现,甚至会影响其一生。
因而,需要改进现有的监控方式,提升对于繁琐的家政服务安全的特殊动态场景的监控管理,及时发现安全隐患和安全危害,提醒相关人员注意并处理。
发明内容
(一)要解决的技术问题
本发明旨在解决了如何提升家政服务安全性的技术问题;进一步,解决了如何通过音视频收集结合特定实时分析而快速识别动态家政服务场景下的危险情况的技术问题;再进一步,还解决了根据自动识别危险情况如何进行提醒/提示/报警的技术问题。
(二)技术方案
为解决上述技术问题,本发明的一方面提出一种提升家政服务安全的监控方法,包括:对收集的家政服务动态场景的音视频数据进行实时分析,以识别安全状态;根据识别出的所述安全状态,进行相应的提醒处理。
根据本发明的优选实施方式,收集的家政服务动态场景的音视频数据,具体包括:通过居家设置的实时监控设备对居家场景进行全景实时监控并记录监控时获得音视频数据;存储所述音视频数据作为历史记录。
根据本发明的优选实施方式,所述实时分析,具体包括:设定较短周期对所述音视频数据进行分析;和/或,在收集到所述音视频数据的同时启动对所述音视频数据进行分析;和/或,根据设定条件启动对音视频数据的分析。
根据本发明的优选实施方式,所述设定条件具体包括:监控时的音频数据发生特定变化;所述特定变化至少包括:监控时突然监控到产生音频,或者,持续监控的音频突然发生波动;根据所述特定变化收集相应变化时的音频数据以及变化前后的音频数据。
根据本发明的优选实施方式,对收集的家政服务动态场景的音视频数据进行实时分析,具体包括:利用分析算法,对音视频数据中的音频数据进行单独分析、和/或对音视频数据中的音视频数据结合对应的视频数据进行组合分析、和/或根据变化的音频数据对相应于所述变化前后的视频数据进行单独分析;所述识别安全状态,具体包括:根据所述分析,预测所述家政服务所处的环境和/或家政服务对象是否安全、是否存在危险或是否存在潜在危险。
根据本发明的优选实施方式,所述分析算法包括机器学习;对所述音视频数据中的音频数据进行单独分析包括:基于音频指纹算法,将所述音视频数据中的音频数据形成的音频指纹片段与预先存储在数据库中的家政服务对象的音频指纹片段进行匹配,以预测所述音视频数据中的音频数据对应的状况。
根据本发明的优选实施方式,根据识别出的所述安全状态,进行相应的提醒处理,具体包括:当识别出安全状态为安全、无危险且无潜在危险时,上传所述音视频数据作为历史数据;当识别出安全状态为不安全、存在危险或存在潜在危险时,通过听觉、视觉和/或触觉能感受的方式立即向相关人员发出提醒信息或报警信息并上传所述音频数据作为历史数据并标识。
为解决上述技术问题,本发明的二方面提出一种提升家政服务安全的监控***,包括:分析模块,用于对收集的家政服务动态场景的音视频数据进行实时分析,以识别安全状态;提示模块,用于根据识别出的所述安全状态,进行相应的提醒处理。
本发明第三方面提出一种电子设备,包括处理器和存储器,所述存储器用于存储计算机可执行程序,当所述计算机程序被所述处理器执行时,所述处理器执行所述第一方面的方法。
本发明第四方面还提出一种计算机可读存储介质,存储有计算机可执行程序,所述计算机可执行程序被执行时,实现所述第一方面的方法。
(三)有益效果
本发明通过对监控获得的音视频数据进行实时分析,识别安全状态,尤其是家政服务场景下的动态场景,根据安全状态进行相应的提醒处理。避免现有家政服务动态场景中仅靠相关人员主动观察才能发现安全隐患和/或危险,而造成实际危害,不能有效实现安全监控的情况。
进一步,根据识别的安全状态及时提醒、通知、甚至报警等主动安全监控的处理,能够更及时地阻止危险发生并对安全隐患及时处理,安全监控有效且反应速度快,进而提升了用户体验。
进一步,对家政服务的动态场景安全通过该监控方案能够有效实现监控并避免危害发生或及时处理安全隐患等,有效提升了家政服务监控的安全性,一旦有侵害发生,雇主第一时间发现,降低侵害对被监护人如小孩子的影响,也可以分析家政服务从业人员比如照顾小孩的保姆是否靠谱等。从而,有效提升用户体验,能吸引更多潜在客户更有意愿采用该方案。
附图说明
图1是根据本发明的提升家政服务安全的监控方法的一个实施例的主要流程图;
图2是根据本发明的提升家政服务安全的监控***的一个实施例的主要结构框图;
图3是根据本发明的电子设备的一个实施例的主要结构示框图;
图4是根据本发明的更具体的一个电子设备的一个实施例的主要结构示意图;
图5是根据本发明的计算机可读存储介质的一个实施例的主要结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
在对于具体实施例的介绍过程中,对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是,并不排除本领域技术人员可以在特定情况下,以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示,不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤,也不代表必须按照图中所显示的的顺序执行。例如,流程图中有的操作/步骤可以分解,有的操作/步骤可以合并或部分合并,等等,在不脱离本发明的发明主旨的情况下,流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体,并不一定必然与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分,因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解,虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分,但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说,这些定语仅是用来将一者与另一者区分。例如,第一器件亦可称为第二器件,但不偏离本发明实质的技术方案。此外,术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
为解决上述技术问题,本发明提出一种提升家政服务安全的监控方案。其在方法中主要包括:对收集的音视频数据进行实时分析并识别数据对应的家政服务场景的安全状态;根据识别的安全状态确定是否需要进行提示(包括报警、提醒等)。从而结合音视频的实时监控对家政服务尤其照顾不会说话的小孩子的动态场景下的安全实现有效监控,根据监控的数据即可预测是否存在安全隐患、是否发生了危险或其他安全情况,从而及时提醒相关人员比如小孩子的监护人甚至报警等,及时采取措施,比如一旦有侵害发生,雇主第一时间发现,降低侵害对孩子的影响,提升安全性等等。
【实施例1】
下面结合图1所示本发明的方法的一个实施例的主要步骤流程图进行说明。
在步骤S110,对收集的音视频进行实时分析,以识别安全状态。
一个实施方式中,对家政服务动态场景进行音视频采集,并实时分析音视频数据,及时发现例如预测不安全或有潜在危险的状态,进行主动反馈以提示或提醒家政服务的雇主及时处理。
一个实施方式中,采用实时监控设备进行收集音视频。实时监控设备可以采用具有音视频采集功能的音视频采集装置。音视频采集装置包括但不限于能采集音视频的普通摄像头、可转动跟踪的摄像头、红外摄像头、音视频采集传感器等各种已知的摄像装置等。这些摄像头等可以是一个或多个,居家设置如在家中各个房间和/或可能家政服务中会进入离家不远的场所。这些摄像头都可以通过无线或有线方式经由用户/相关人员(例如雇主)终端上安装的能实现本发明的监控方案的应用程序APP,与用户交互通信。
一个实施方式中,监控设备实时监测的音视频能够被收集并存储。进一步,实时分析可以是:设定较短周期对收集的音视频的数据进行分析;和/或,在收集到音视频的数据的同时启动对音视频的数据的分析;和/或,设定条件比如有音频的数据突然产生并收集到时启动对音视频的数据的分析,等等。
一个实施方式中,以设定条件收集实时监测的音视频的数据而启动实时分析为例进行说明。当设定条件为监测的音频发生特定变化,而收集监测的这段音频及其前后的音视频的数据,并启动实时分析。监测到音频发生特定变化,例如:家政服务中被照顾的幼儿突然出现的哭泣声、或出现的任何其他非正常的声音。其他非正常的声音例如:陌生人的声音、过于尖锐的声音、***声、厨房烟雾报警声等等各种不应当或不可能出现的声音。出现设定条件的这些变化时,启动实时分析,由此而识别出安全状态。
其中,识别安全状态是指通过分析而确认家政服务环境是否安全、是否存在危险或潜在危险等。当识别安全状态为不安全和/或有潜在危险时,可以向相关人员例如雇主等提示或提醒、甚至直接报警等。
一个实施方式中,可以根据实时分析识别出当前分析的音视频的数据是否确实存在异常/非正常的声音,并且,利用分析算法,例如神经网络模型等机器学习技术,通过这些声音单独或者这些声音结合相应的视频或者由声音启动分析后单独根据相应的视频,预测其存在危险或潜在危险,即识别出安全问题。
一个例子:当小孩子突然发出哭泣声、或者有陌生人声音出现,此时记录音视频(收集数据),并同时启动分析,进而可以通知雇主。
一个实施方式中,音视频的分析,可以利用各种算法模型,比如单独的音频指纹算法、或其他单独视频的、音视频结合的机器学习算法等等。其中,以单独音频指纹算法为例,可以将预先录制的足够多的被照顾/护理的小孩子的声音片段进行存储,如:建立一个数据库存储起来;在监控期间,实时录制的音频通过同样的方式处理后可以与该数据库里存储的音频指纹片段进行匹配,分析或者预测孩子哭泣可能是什么情况(生病了不舒服、受伤疼痛等等),以便及时通知孩子监护人或雇主。比如匹配上数据库中的音频指纹片段哭泣a,而该哭泣片段a属于小孩子疼痛时录的哭泣声,可以根据算法预测分析该音视频数据中的音频所形成的音频指纹对应的是产生疼痛的状况。
一个实际应用场景中以仅关注于收集单独音频而通过分析处理声音数据的音频指纹的情形为例子,例1:
利用音频文件存储空间的需求比较小、实时性较好的特点,可以将音频直接在本地保存,也可以传输到远程服务器(远程传输不是必需的)。
实时采集的音频可以为wav格式,采集后可以实时处理,如通过训练后的模型/算法进行分析处理,之后还可以压缩(如压缩为128kbps的mp3进行存储等)。根据居室范围大小可以设置一个或多个音频采集器,并与存储设备、实时分析处理设备相连,实时分析设备例如可以包括硬件:芯片和内存、软件,通过音频处理比如实时分析算法等对音频进行分析处理。存储设备常见的例如1TB硬盘等,可以存储约6个月的音频数据(例如:6个音频采集设备,128kbps mp3格式)。实时分析处理的算法可以远程进行更新,而用户的数据保存在本地,没有泄露风险,在监控时进一步保障了隐私安全性。实时分析处理的算法在进行分析时,可以本地处理也可以与远程服务器交互,交互的内容主要包括分析音频得到的数据,如:时间点信息,音频频率值,分贝值等。
实时分析处理的算法可以是经过训练的机器学习模型,一个例子:
在音频采集之前,可以收集大量的婴幼儿声音样本且这些样本是匿名的,并且这些样本可以包含描述信息,如孩子的性别、月龄、以及对声音样本的标记等,如果孩子在收集时的状态(如:开心、平静、大哭等等等),标记过的这些样本是可信的,可以用作训练集。对可信的样本集可以进行分析,比如使用warbleR来提取声音特征(例如作为音频指纹),将分析结果存储,比如存到数据库中,同时还记录对应的状态,数据结果的例子可以是包含比如20个音频/声音特征和label列,并且label列可以记录婴儿当时状态,等等;再利用收集的其他未标记的声音样本作为预测集。采用的模型例如及其学习平台PAI等,进行训练,一个简单的训练模型如:voice_classify可以作为数据读入源,提供的数据集包括训练集以及预测集(拆分数据集),基于线性支持向量机SVM算法训练来生成模型,再将模型对预测集进行预测以及通过混淆矩阵等进行评估,评估模型的预测结果符合预期则可以发布此模型的算法版本,提供用于监控的分析处理中。由此,可以对实时监控的声音数据进行分析处理,匹配存储的音频指纹,识别其安全状态。
可见,本发明的该实施例中,通过对特定的家政服务的动态场景通过监控音视频数据并实时分析确定安全状态,动态数据流持续主动监控,无需雇主被动偶尔查看监控而根本无法发现不安全或有潜在危险的情况。
并且,本发明的该实施例能够在第一时间就识别危险情况,一旦有侵害发生,雇主第一时间发现,降低侵害对孩子的影响,从而提升家政服务安全性。进而,还由此可以分析家政服务人员是否有能力完成或完成好工作或是否存在危害/危险行为等。
在步骤S120,根据识别出的所述安全状态,进行相应的提醒处理。
一个实施方式中,当识别出安全状态为安全、无危险且无潜在危险时,上传所述音视频数据作为历史数据;当识别出安全状态为不安全、存在危险或存在潜在危险时,通过听觉、视觉和/或触觉能感受的方式立即向相关人员发出提醒信息或报警信息并上传所述音频数据作为历史数据并标识。
进一步具体地,可以对于识别出安全状态为安全、无隐患的情况进行记录或存储等,而可以对识别出安全状态为不安全、存在危险隐患的情况进行记录或存储的同时,通过各种远程或近程、网络或其他有线/无线通信信号传送提示/提醒信号/信息给家政服务的相关人员,例如雇佣家政人员照顾孩子的雇主等,甚至直接报警。进一步,提示/提醒甚至报警方式可以包括但不限于各种信息、信号通过听觉、触觉和/或视觉等能有效让相关人员立即获知的方式,甚至直接与110线路接通等。例如雇主随身终端设备上(比如手机等)安装该监控的APP,手机可以接到提示音、电话声响起、蜂鸣、甚至闪烁等。
进一步,通过模型算法分析预测得到识别的所述安全状态,对应着预先设定不同的类型,与分析预测的结果进行匹配,即将分析预测出的结果按照设定的类型进行划分。
一个实施方式中,这些类型包括但不限于:哭声、叫喊声、说话声等。
通过模型预测结果所识别的安全状态,与这些类型进行匹配,比如哭声、叫喊声,并根据相应类型多对应的触发报警的条件触发报警。例如:识别出孩子的“哭声”并且持续“哭声”超过了预设的时间阈值(例如1分钟),可以直接向家长报警;识别出孩子的强烈的“叫喊/哭喊”直接向家长报警同步向警察局/社区发送警报等(例如联系社区居委会做进一步干预)。
可见,本发明的该实施例,在对应不同的家政服务的动态和/或静态场景根据监控的音视频流,及时发现不安全情况或存在危险隐患的情况,能够通过各种方式实时提醒雇主,进而还能通过分析预测的不同安全状态提供不同的提醒方式,提升了对于家政服务安全的监控效率和及时处理。
由此,可以第一时间发现家政服务中尤其无民事行为能力(婴幼儿小孩或老人等)发生的侵害,一旦出现即可被雇主第一时间发现,降低侵害造成的影响;还可以通过监控情况的记录分析家政服务人员是否能够匹配或符合当前的家政服务要求等,并作为考察其工作的记录,有助于提升用户体验。
【实施例2】
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明的***实现作进一步的详细说明。
下面将结合图2所示本发明的***的一个实施例的主要结构框图进行说明。在本实施例中,该***至少包括分析模块110,提示模块120。
分析模块110,用于对收集的音视频进行实时分析,以识别安全状态。
一个实施方式中,对家政服务动态场景进行音视频采集,并实时分析音视频数据,及时发现例如预测不安全或有潜在危险的状态,进行主动反馈以提示或提醒家政服务的雇主及时处理。
一个实施方式中,采用实时监控设备进行收集音视频。实时监控设备可以采用具有音视频采集功能的音视频采集装置。音视频采集装置包括但不限于能采集音视频的普通摄像头、可转动跟踪的摄像头、红外摄像头、音视频采集传感器等各种已知的摄像装置等。这些摄像头等可以是一个或多个,居家设置如在家中各个房间和/或可能家政服务中会进入离家不远的场所。这些摄像头都可以通过无线或有线方式经由用户/相关人员(例如雇主)终端上安装的能实现本发明的监控方案的应用程序APP,与用户交互通信。
一个实施方式中,监控设备实时监测的音视频能够被收集并存储。进一步,实时分析可以是:设定较短周期对收集的音视频的数据进行分析;和/或,在收集到音视频的数据的同时启动对音视频的数据的分析;和/或,设定条件比如有音频的数据突然产生并收集到时启动对音视频的数据的分析,等等。
一个实施方式中,以设定条件收集实时监测的音视频的数据而启动实时分析为例进行说明。当设定条件为监测的音频发生特定变化,而收集监测的这段音频及其前后的音视频的数据,并启动实时分析。监测到音频发生特定变化,例如:家政服务中被照顾的幼儿突然出现的哭泣声、或出现的任何其他非正常的声音。其他非正常的声音例如:陌生人的声音、过于尖锐的声音、***声、厨房烟雾报警声等等各种不应当或不可能出现的声音。出现设定条件的这些变化时,启动实时分析,由此而识别出安全状态。
其中,识别安全状态是指通过分析而确认家政服务环境是否安全、是否存在危险或潜在危险等。当识别安全状态为不安全和/或有潜在危险时,可以向相关人员例如雇主等提示或提醒、甚至直接报警等。
一个实施方式中,可以根据实时分析识别出当前分析的音视频的数据是否确实存在异常/非正常的声音,并且,利用分析算法,例如神经网络模型等机器学习技术,通过这些声音单独或者这些声音结合相应的视频或者由声音启动分析后单独根据相应的视频,预测其存在危险或潜在危险,即识别出安全问题。
一个例子:当小孩子突然发出哭泣声、或者有陌生人声音出现,此时记录音视频(收集数据),并同时启动分析,进而可以通知雇主。
一个实施方式中,音视频的分析,可以利用各种算法模型,比如单独的音频指纹算法、或其他单独视频的、音视频结合的机器学习算法等等。其中,以单独音频指纹算法为例,可以将预先录制的足够多的被照顾/护理的小孩子的声音片段进行存储,如:建立一个数据库存储起来;在监控期间,实时录制的音频通过同样的方式处理后可以与该数据库里存储的音频指纹片段进行匹配,分析或者预测孩子哭泣可能是什么情况(生病了不舒服、受伤疼痛等等),以便及时通知孩子监护人或雇主。比如匹配上数据库中的音频指纹片段哭泣a,而该哭泣片段a属于小孩子疼痛时录的哭泣声,可以根据算法预测分析该音视频数据中的音频所形成的音频指纹对应的是产生疼痛的状况。
一个实际应用场景中以仅关注于收集单独音频而通过分析处理声音数据的音频指纹的情形为例子,例1:
利用音频文件存储空间的需求比较小、实时性较好的特点,可以将音频直接在本地保存,也可以传输到远程服务器(远程传输不是必需的)。
实时采集的音频可以为wav格式,采集后可以实时处理,如通过训练后的模型/算法进行分析处理,之后还可以压缩(如压缩为128kbps的mp3进行存储等)。根据居室范围大小可以设置一个或多个音频采集器,并与存储设备、实时分析处理设备相连,实时分析设备例如可以包括硬件:芯片和内存、软件,通过音频处理比如实时分析算法等对音频进行分析处理。存储设备常见的例如1TB硬盘等,可以存储约6个月的音频数据(例如:6个音频采集设备,128kbps mp3格式)。实时分析处理的算法可以远程进行更新,而用户的数据保存在本地,没有泄露风险,在监控时进一步保障了隐私安全性。实时分析处理的算法在进行分析时,可以本地处理也可以与远程服务器交互,交互的内容主要包括分析音频得到的数据,如:时间点信息,音频频率值,分贝值等。
实时分析处理的算法可以是经过训练的机器学习模型,一个例子:
在音频采集之前,可以收集大量的婴幼儿声音样本且这些样本是匿名的,并且这些样本可以包含描述信息,如孩子的性别、月龄、以及对声音样本的标记等,如果孩子在收集时的状态(如:开心、平静、大哭等等等),标记过的这些样本是可信的,可以用作训练集。对可信的样本集可以进行分析,比如使用warbleR来提取声音特征(例如作为音频指纹),将分析结果存储,比如存到数据库中,同时还记录对应的状态,数据结果的例子可以是包含比如20个音频/声音特征和label列,并且label列可以记录婴儿当时状态,等等;再利用收集的其他未标记的声音样本作为预测集。采用的模型例如及其学习平台PAI等,进行训练,一个简单的训练模型如:voice_classify可以作为数据读入源,提供的数据集包括训练集以及预测集(拆分数据集),基于线性支持向量机SVM算法训练来生成模型,再将模型对预测集进行预测以及通过混淆矩阵等进行评估,评估模型的预测结果符合预期则可以发布此模型的算法版本,提供用于监控的分析处理中。由此,可以对实时监控的声音数据进行分析处理,匹配存储的音频指纹,识别其安全状态。
可见,本发明的该实施例中,通过对特定的家政服务的动态场景通过监控音视频数据并实时分析确定安全状态,动态数据流持续主动监控,无需雇主被动偶尔查看监控而根本无法发现不安全或有潜在危险的情况。
并且,本发明的该实施例能够在第一时间就识别危险情况,一旦有侵害发生,雇主第一时间发现,降低侵害对孩子的影响,从而提升家政服务安全性。进而,还由此可以分析家政服务人员是否有能力完成或完成好工作或是否存在危害/危险行为等。
提示模块120,用于根据识别出的所述安全状态,进行相应的提醒处理。
一个实施方式中,当识别出安全状态为安全、无危险且无潜在危险时,上传所述音视频数据作为历史数据;当识别出安全状态为不安全、存在危险或存在潜在危险时,通过听觉、视觉和/或触觉能感受的方式立即向相关人员发出提醒信息或报警信息并上传所述音频数据作为历史数据并标识。
进一步具体地,可以对于识别出安全状态为安全、无隐患的情况进行记录或存储等,而可以对识别出安全状态为不安全、存在危险隐患的情况进行记录或存储的同时,通过各种远程或近程、网络或其他有线/无线通信信号传送提示/提醒信号/信息给家政服务的相关人员,例如雇佣家政人员照顾孩子的雇主等,甚至直接报警。进一步,提示/提醒甚至报警方式可以包括但不限于各种信息、信号通过听觉、触觉和/或视觉等能有效让相关人员立即获知的方式,甚至直接与110线路接通等。例如雇主随身终端设备上(比如手机等)安装该监控的APP,手机可以接到提示音、电话声响起、蜂鸣、甚至闪烁等。
进一步,通过模型算法分析预测得到识别的所述安全状态,对应着预先设定不同的类型,与分析预测的结果进行匹配,即将分析预测出的结果按照设定的类型进行划分。
一个实施方式中,这些类型包括但不限于:哭声、叫喊声、说话声等。
通过模型预测结果所识别的安全状态,与这些类型进行匹配,比如哭声、叫喊声,并根据相应类型多对应的触发报警的条件触发报警。例如:识别出孩子的“哭声”并且持续“哭声”超过了预设的时间阈值(例如1分钟),可以直接向家长报警;识别出孩子的强烈的“叫喊/哭喊”直接向家长报警同步向警察局/社区发送警报等(例如联系社区居委会做进一步干预)。
可见,本发明的该实施例,在对应不同的家政服务的动态和/或静态场景根据监控的音视频流,及时发现不安全情况或存在危险隐患的情况,能够通过各种方式实时提醒雇主,进而还能通过分析预测的不同安全状态提供不同的提醒方式,提升了对于家政服务安全的监控效率和及时处理。
由此,可以第一时间发现家政服务中尤其无民事行为能力(婴幼儿小孩或老人等)发生的侵害,一旦出现即可被雇主第一时间发现,降低侵害造成的影响;还可以通过监控情况的记录分析家政服务人员是否能够匹配或符合当前的家政服务要求等,并作为考察其工作的记录,有助于提升用户体验。
【实施例3】
下面结合应用场景的一个例子对本发明的方案的实现进行进一步说明。
某雇主A通过雇佣家政服务人员例如照顾小孩的保姆B,由B在A不在家期间居家照顾小孩。A通过手机上安装的应用程序APP,能够访问获得家里的监控数据,例如可以同步采集音视频的家用监控摄像头等,并将监控的音视频数据在A需要查看时实时共享提供给A查看,也可以查看历史记录。家用监控摄像头与A的APP能通过有线或无线等各种通信方式进行通信和/或交互。
在监控期间采集到孩子的声音并根据模型算法分析预测识别为哭状态,匹配为大哭类型且哭声持续超过了1分钟,直接经网络或移动信号向监护人发送报警信号,例如手机关联的监控客户端应用程序APP弹出声音和信息通知,监护人马上获知进行干预。从而及时保障被监护人的安全。
【实施例4】
图3是根据本发明的一个实施例的电子设备的结构示意框图,该电子设备包括处理器和存储器,所述存储器用于存储计算机可执行程序,当所述计算机程序被所述处理器执行时,所述处理器执行如前述实施例1、3中的方法。
如图3所示,电子设备以通用计算设备的形式表现。其中处理器可以是一个,也可以是多个并且协同工作。本发明也不排除进行分布式处理,即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体,也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序,通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行,以使得电子设备能够执行本发明的方法,或者方法中的至少部分步骤。
所述存储器包括易失性存储器,例如随机存取存储单元(RAM)和/或高速缓存存储单元,还可以是非易失性存储器,如只读存储单元(ROM)。
可选的,该实施例中,电子设备还包括有I/O接口,其用于电子设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
更具体地,参见图4所示的该实施例所述的电子设备的更具体的一个例子的结构框图。该示例性实施例的电子设备200以通用数据处理设备的形式表现。电子设备200的组件可以包括但不限于:至少一个处理单元210、至少一个存储单元220、连接不同***组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中,所述存储单元220存储有计算机可读程序,其可以是源程序或都只读程序的代码。所述程序可以被处理单元210执行,使得所述处理单元210执行本发明各种实施方式的步骤。例如,所述处理单元210可以执行前述实施例1方法的各个步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202,还可以进一步包括只读存储单元(ROM)2203。所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204,这样的程序模块2205包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、显示器、网络设备、蓝牙设备等)通信,使得用户能经由这些外部设备300与该电子设备200交互,和/或使得该电子设备200能与一个或多个其它数据处理设备(例如路由器、调制解调器等等)进行通信。这种通信可以通过输入/输出(I/O)接口250进行,还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)进行。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,电子设备200中可使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
应当理解,图3、4显示的电子设备仅仅是本发明的一个示例,本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如,有些电子设备中还包括有显示屏等显示单元,有些电子设备还包括人机交互元件,例如按扭、键盘等。只要该电子设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤,均可认为是本发明所涵盖的电子设备。
【实施例5】
图5是本发明的一个实施例的计算机可读记录介质的示意图。如图5所示,计算机可读记录介质中存储有计算机可执行程序,所述计算机可执行程序被执行时,实现本发明上述的方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上对实施方式的描述,本领域的技术人员易于理解,本发明可以由能够执行特定计算机程序的硬件来实现,例如本发明的***,以及***中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等,本发明也可以由包含上述***或部件的至少一部分的车辆来实现。本发明也可以由执行本发明的方法的计算机软件来实现,例如由机车端的微处理器、电子控制单元,客户端、服务器端等执行的控制软件来实现。但需要说明的是,执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行,其也可以是由不特定具体硬件的以分布式的方式来实现,例如计算机程序执行的某些方法步骤可以在机车端执行,另一部分可以在移动终端或智能头盔等中执行。对于计算机软件,软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM,U盘,移动硬盘等)中,也可以分布式存储于网络上,只要其能使得电子设备执行根据本发明的方法。
通过以上对实施方式的描述,本领域的技术人员易于理解,本发明本发明描述的示例性实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,本发明不与任何特定计算机、虚拟装置或者电子设备固有相关,各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种提升家政服务安全的监控方法,其特征在于,包括:
对收集的家政服务动态场景的音视频数据进行实时分析,以识别安全状态;
根据识别出的所述安全状态,进行相应的提醒处理。
2.根据权利要求1所述的方法,其特征在于,收集的家政服务动态场景的音视频数据,具体包括:
通过居家设置的实时监控设备对居家场景进行全景实时监控并记录监控时获得音视频数据;
存储所述音视频数据作为历史记录。
3.根据权利要求2所述的方法,其特征在于,所述实时分析,具体包括:
设定较短周期对所述音视频数据进行分析;
和/或,
在收集到所述音视频数据的同时启动对所述音视频数据进行分析;
和/或,
根据设定条件启动对音视频数据的分析。
4.根据权利要求3所述的方法,其特征在于,所述设定条件具体包括:
监控时的音频数据发生特定变化;
所述特定变化至少包括:监控时突然监控到产生音频,或者,持续监控的音频突然发生波动;
根据所述特定变化收集相应变化时的音频数据以及变化前后的音频数据。
5.根据权利要求1至4中任一项所述的方法,其特征在于,
对收集的家政服务动态场景的音视频数据进行实时分析,具体包括:利用分析算法,对音视频数据中的音频数据进行单独分析、和/或对音视频数据中的音视频数据结合对应的视频数据进行组合分析、和/或根据变化的音频数据对相应于所述变化前后的视频数据进行单独分析;
所述识别安全状态,具体包括:根据所述分析,预测所述家政服务所处的环境和/或家政服务对象是否安全、是否存在危险或是否存在潜在危险。
6.根据权利要求5所述的方法,其特征在于,
所述分析算法包括机器学习;
对所述音视频数据中的音频数据进行单独分析包括:基于音频指纹算法,将所述音视频数据中的音频数据形成的音频指纹片段与预先存储在数据库中的家政服务对象的音频指纹片段进行匹配,以预测所述音视频数据中的音频数据对应的状况。
7.根据权利要求1至6中任一项所述的方法,其特征在于,根据识别出的所述安全状态,进行相应的提醒处理,具体包括:
当识别出安全状态为安全、无危险且无潜在危险时,上传所述音视频数据作为历史数据;
当识别出安全状态为不安全、存在危险或存在潜在危险时,通过听觉、视觉和/或触觉能感受的方式立即向相关人员发出提醒信息或报警信息并上传所述音频数据作为历史数据并标识。
8.一种提升家政服务安全的监控***,其特征在于,包括:
分析模块,用于对收集的家政服务动态场景的音视频数据进行实时分析,以识别安全状态;
提示模块,用于根据识别出的所述安全状态,进行相应的提醒处理。
9.一种电子设备,包括处理器和存储器,所述存储器用于存储计算机可执行程序,其特征在于:
当所述计算机程序被所述处理器执行时,所述处理器执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,存储有计算机可执行程序,其特征在于,所述计算机可执行程序被执行时,实现如权利要求1至7中任一项所述的方法。
CN202110605670.6A 2021-05-31 2021-05-31 提升家政服务安全的监控方法、***、设备及介质 Pending CN113392736A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110605670.6A CN113392736A (zh) 2021-05-31 2021-05-31 提升家政服务安全的监控方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110605670.6A CN113392736A (zh) 2021-05-31 2021-05-31 提升家政服务安全的监控方法、***、设备及介质

Publications (1)

Publication Number Publication Date
CN113392736A true CN113392736A (zh) 2021-09-14

Family

ID=77619688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110605670.6A Pending CN113392736A (zh) 2021-05-31 2021-05-31 提升家政服务安全的监控方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN113392736A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550961A (zh) * 2015-10-31 2016-05-04 东莞酷派软件技术有限公司 一种监护方法及装置
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN108234944A (zh) * 2017-12-29 2018-06-29 佛山市幻云科技有限公司 基于哭声识别的儿童监控方法、装置、服务器及***
CN108615333A (zh) * 2018-05-25 2018-10-02 朱利 基于人工智能的婴儿窒息预警***和方法
CN108653898A (zh) * 2018-03-26 2018-10-16 广东小天才科技有限公司 一种用于安抚儿童的音乐播放方法及可穿戴设备
CN110706449A (zh) * 2019-09-04 2020-01-17 中移(杭州)信息技术有限公司 一种婴幼儿监测方法、装置与摄像设备及存储介质
CN110970113A (zh) * 2018-09-30 2020-04-07 宁波方太厨具有限公司 基于用户情绪的智能菜谱推荐方法
CN111326179A (zh) * 2020-02-27 2020-06-23 杭州雄迈集成电路技术股份有限公司 一种婴儿哭声检测深度学习方法
CN111402546A (zh) * 2020-03-25 2020-07-10 上海闻泰信息技术有限公司 基于智能手环的儿童保护方法及***
CN111862991A (zh) * 2019-04-30 2020-10-30 杭州海康威视数字技术股份有限公司 一种婴儿哭声的识别方法及***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550961A (zh) * 2015-10-31 2016-05-04 东莞酷派软件技术有限公司 一种监护方法及装置
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备
CN108234944A (zh) * 2017-12-29 2018-06-29 佛山市幻云科技有限公司 基于哭声识别的儿童监控方法、装置、服务器及***
CN108653898A (zh) * 2018-03-26 2018-10-16 广东小天才科技有限公司 一种用于安抚儿童的音乐播放方法及可穿戴设备
CN108615333A (zh) * 2018-05-25 2018-10-02 朱利 基于人工智能的婴儿窒息预警***和方法
CN110970113A (zh) * 2018-09-30 2020-04-07 宁波方太厨具有限公司 基于用户情绪的智能菜谱推荐方法
CN111862991A (zh) * 2019-04-30 2020-10-30 杭州海康威视数字技术股份有限公司 一种婴儿哭声的识别方法及***
CN110706449A (zh) * 2019-09-04 2020-01-17 中移(杭州)信息技术有限公司 一种婴幼儿监测方法、装置与摄像设备及存储介质
CN111326179A (zh) * 2020-02-27 2020-06-23 杭州雄迈集成电路技术股份有限公司 一种婴儿哭声检测深度学习方法
CN111402546A (zh) * 2020-03-25 2020-07-10 上海闻泰信息技术有限公司 基于智能手环的儿童保护方法及***

Similar Documents

Publication Publication Date Title
US11689653B2 (en) Systems and methods for automated emergency response
Kim et al. Emergency situation monitoring service using context motion tracking of chronic disease patients
US10722185B2 (en) Voice controlled assistance for monitoring adverse events of a user and/or coordinating emergency actions such as caregiver communication
CN105608834B (zh) 用于检测出现关注事件的装置和方法
WO2016073403A1 (en) Video recording with securty/safety monitoring device
US20170041264A1 (en) System and method for controlling data transmissions using human state-based data
JP2019527864A (ja) 安心で独立した生活を促進するためのバーチャル健康アシスタント
CN104040467A (zh) 伴随着个人反应的内容消费
US11373513B2 (en) System and method of managing personal security
Yang et al. Detection of non‐suicidal self‐injury based on spatiotemporal features of indoor activities
CN112992325A (zh) 一种监护对象的检测数据处理方法、***及装置
CN111653067A (zh) 智能家居设备及基于音频的报警方法
CN113392736A (zh) 提升家政服务安全的监控方法、***、设备及介质
CN108701401B (zh) 报警方法、装置、***及电子设备
US9111237B2 (en) Evaluating an effectiveness of a monitoring system
CN115171335A (zh) 一种融合图像和语音的独居老人室内安全保护方法及装置
Ferdinando et al. VITEC: A violence detection framework
CN112950438A (zh) 数据处理方法、装置、计算机设备及存储介质
JP6605774B1 (ja) 情報処理システム、情報処理装置、情報処理方法およびコンピュータプログラム
KR20200107163A (ko) 치매 노인을 위한 회상 요법 제공 방법 및 그 시스템
CN112580390A (zh) 基于智能音箱的安防监控方法、装置、音箱和介质
CN111428540A (zh) 输出信息的方法和装置
Hernandez-Cruz et al. Prototypical system to detect anxiety manifestations by acoustic patterns in patients with dementia
US11961419B2 (en) Event detection and prediction
US11809673B1 (en) Object interactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210914