CN111862524B - 一种基于智能家居***的监控报警方法及装置 - Google Patents

Abstract

本申请实施例公开了一种基于智能家居***的监控报警方法及装置。本申请实施例提供的技术方案，通过接收传感器的触发信息，响应于触发信息驱动摄像头对应传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据，进一步基于视频图像数据和声音数据进行检测识别，得到对应的检测识别结果，最终将检测识别结果比对预设的报警条件，在检测识别结果达到报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。采用上述技术手段，可以通过视频图像数据和声音数据对指定的监控信息进行识别检测，并对应达到报警条件的信息进行报警提示，以此可针对性地对室内环境进行监控报警，优化监控安防效果。

Description

一种基于智能家居***的监控报警方法及装置

技术领域

本申请实施例涉及智能家居技术领域，尤其涉及一种基于智能家居***的监控报警方法及装置。

背景技术

目前，随着人们安防意识的增强，越来越多的家庭会在家中设置安防装置(诸如摄像头，红外传感器等)，以此来对非法入室、盗窃行为进行实时监控及报警。其中，通过在室内中设置摄像头，实时采集室内视频图像信息，并输出至用户手机或者家中显示器进行实时显示，以此可以实现对室内环境的实时监控。

但是，现有的采用摄像头对室内环境进行实时监控的方式，只能够简单地对室内对应区域进行录像记录，由于用户难以实时查看监控录像，因而在发生非法入室、盗窃等违规行为时，其对用户的报警提示缺乏及时性，对诸如非法入室、盗窃行为的规避效果相对较差。此外，由于摄像头固定设置，其监控区域相对固定，使得其对室内环境的监控存在一定的局限性，难以较好地实现室内环境的针对性监控。

发明内容

本申请实施例提供一种基于智能家居***的监控报警方法及装置，能够针对性对室内环境等指定区域进行监控，实时识别指定的监控信息，并对应进行报警提示，现较好的监控防安防效果。

在第一方面，本申请实施例提供了一种基于智能家居***的监控报警方法，包括：

接收传感器的触发信息，响应于所述触发信息驱动摄像头对应所述传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据；

基于所述视频图像数据和所述声音数据进行检测识别，得到对应的检测识别结果；

将所述检测识别结果比对预设的报警条件，在所述检测识别结果达到所述报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。

进一步的，所述传感器包括设置于门窗处的门窗开关检测传感器，所述触发信息为门窗开启检测信息；

对应的，基于所述视频图像数据和所述声音数据进行检测识别，得到对应的检测识别结果，包括：

将所述视频图像数据输入预设的目标检测模型及动作识别模型，输出对应的目标检测结果和动作识别结果；

将所述声音数据输入预先设定的语音识别模型，输出对应的声纹识别结果和语音内容识别结果；

汇总所述目标检测结果、所述动作识别结果、所述声纹识别结果和所述语音内容识别结果作为检测识别结果。

进一步的，将所述检测识别结果比对预设的报警条件，包括：

将所述目标检测结果比对预设的图像数据库，将所述声纹识别结果比对预测的声纹数据库，并判断所述动作识别结果和所述语音内容识别结果是否存在预定义的监控内容。

进一步的，将所述检测识别结果比对预设的报警条件，还包括：

若所述图像数据库不匹配所述目标检测结果、所述声纹数据库不匹配所述声纹识别结果、所述动作识别结果存在预定义的监控内容和/或所述语音内容识别结果存在预定义的监控内容，判定所述检测识别结果达到所述报警条件。

进一步的，所述传感器还包括烟雾传感器、漏电传感器和水浸传感器；

对应的，基于所述视频图像数据和所述声音数据进行检测识别，包括：

基于所述视频图像数据检测识别是否存在指定的图像特征，所述图像特征包括明火图像特征、断路器跳闸图像特征或者水浸图像特征。

进一步的，输出对应的报警信息至智能家居***的用户客户端和/或报警平台，还包括：

实时通过摄像头视频扫描室内环境和/或房屋周边指定区域，检测识别是否存在预定义的监控行为，并在检测识别到所述预定义的监控行为时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。

进一步的，在所述检测识别结果达到所述报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台，还包括：

输出对应的所述视频图像数据和/或所述声音数据至智能家居***的用户客户端和/或报警平台。

在第二方面，本申请实施例提供了一种基于智能家居***的监控报警装置，包括：

采集模块，用于接收传感器的触发信息，响应于所述触发信息驱动摄像头对应所述传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据；

识别模块，用于基于所述视频图像数据和所述声音数据进行检测识别，得到对应的检测识别结果；

报警模块，用于将所述检测识别结果比对预设的报警条件，在所述检测识别结果达到所述报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于智能家居***的监控报警方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于智能家居***的监控报警方法。

本申请实施例通过接收传感器的触发信息，响应于触发信息驱动摄像头对应传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据，进一步基于视频图像数据和声音数据进行检测识别，得到对应的检测识别结果，最终将检测识别结果比对预设的报警条件，在检测识别结果达到报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。采用上述技术手段，可以通过视频图像数据和声音数据对指定的监控信息进行识别检测，并对应达到报警条件的信息进行报警提示，以此可针对性地对室内环境等指定区域进行监控报警，优化监控安防效果。

附图说明

图1是本申请实施例一提供的一种基于智能家居***的监控报警方法的流程图；

图2是本申请实施例一中的检测识别结果确定流程图；

图3是本申请实施例二提供的一种基于智能家居***的监控报警装置的结构示意图；

图4是本申请实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的智能家居***的监控报警方法，旨在通过智能家居***的各类传感器的触发针对性地进行室内环境对应区域的视频检测和声音检测，并基于检测识别结果判断是否进行报警。以此来实现室内环境的监控报警，提供较好的安防报警效果。相对于传统的智能家居***，其对应室内的各类传感器通常独立运行。摄像头也仅仅对室内指定区域进行监控录像，无法对指定监控信息诸如非法入室、盗窃等行为进行检测识别。显然，这种监控方式起到的安防效果相对较差，并且，其也无法及时提示用户当前室内环境发生的非法入室、盗窃等行为。基于此，提供本申请实施例的一种基于智能家居***的监控报警方法，以解决现有智能家居***无法进行安防报警、报警提示不及时的技术问题。

实施例一：

图1给出了本申请实施例一提供的一种基于智能家居***的监控报警方法的流程图，本实施例中提供的基于智能家居***的监控报警方法可以由基于智能家居***的监控报警设备执行，该基于智能家居***的监控报警设备可以通过软件和/或硬件的方式实现，该基于智能家居***的监控报警设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于智能家居***的监控报警设备可以是智能家居***服务器、智能家居网关等。

下述以该基于智能家居***的监控报警设备为执行基于智能家居***的监控报警方法的主体为例，进行描述。参照图1，该基于智能家居***的监控报警方法具体包括：

S110、接收传感器的触发信息，响应于所述触发信息驱动摄像头对应所述传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据。

具体的，在本申请实施例中，通过在室内环境中布置各类传感器，传感器信号连接该基于智能家居***的监控报警设备，以实时上传触发信息至监控报警设备。需要说明的是，各类传感器的触发信息不同，对于门、窗开关检测传感器，则传感器在检测到门、窗开启时，上传触发信息至监控报警设备；对于温度、烟雾、气体传感器，则在检测值达到设定阈值时，上传触发信息至监控报警设备。

进一步的，为了实现室内环境等指定区域的针对性监控报警，本申请实施例的智能家居***在布置各类传感器时，对于各个传感器设置一个关联区域，该关联区域可以与传感器的标识信息绑定，并将这一绑定关系存储与监控报警设备中。举例而言，对应设置于门处的传感器，其关联区域即为室内对应门位置的区域。对应设置于窗口处的传感器，其关联区域即为室内对应窗口位置的区域。而对于温度和烟雾，其关联区域可以是以其设置位置为中心的设定范围内。后续在监控报警设备接收到触发信息后，监控报警设备会响应于这一触发信息进行室内环境图像数据和声音数据的采集，以根据这一触发信息针对性进行视频及声音监控。其中，监控报警设备通过驱动摄像头采集对应传感器的关联区域的视频图像数据。监控报警设备接收触发信息时，通过确定发送触发信息的传感器的标识信息，查询预存的绑定关系，确定对应该标识信息的关联区域，并进一步驱动摄像头朝向该关联区域采集视频图像数据。另一方面，监控报警设备接收到触发信息后，响应于这一触发信息还通过声音采集装置进行声音数据采集。声音采集装置的设置位置本申请实施例不做固定限制，为了保障声音采集的清晰度，可以将声音采集装置与传感器对应设置，并通过监控报警设备驱动进行声音数据采集。

S120、基于所述视频图像数据和所述声音数据进行检测识别，得到对应的检测识别结果。

进一步的，根据实际监控需要，基于上述采集到的视频图像数据和声音数据进行检测识别，根据不同的传感器检测识别不同的监控内容。本申请实施例根据触发信息采集到数据进行检测识别时，对应不同类型的传感器其检测识别所使用的检测识别模型不同，以实现对不同监控内容的检测识别。其中，如若发送触发信息的传感器为设置于门窗处的门窗开关检测传感器，则所述触发信息为门窗开启检测信息，需要监控的内容为非法入室、盗窃行为；如若发送触发信息的传感器为温度、烟雾传感器，则所述触发信息为温度或者烟雾浓度超标信息，需要检测的内容为室内火灾。在一些实施例中，根据监控需要，还可以设置对应类型传感器，并根据传感器触发信息采集数据进行对应监控内容的识别。本申请实施例对具体监控内容不做固定限制，在此不多赘述。

其中，参照图2，在根据门、窗传感器的触发信息采集数据进行检测识别时，检测识别结果确定流程包括：

S1201、将所述视频图像数据输入预设的目标检测模型及动作识别模型，输出对应的目标检测结果和动作识别结果；

S1202、将所述声音数据输入预先设定的语音识别模型，输出对应的声纹识别结果和语音内容识别结果；

S1203、汇总所述目标检测结果、所述动作识别结果、所述声纹识别结果和所述语音内容识别结果作为检测识别结果。

为了对非法入室和盗窃行为进行检测识别，本申请实施例预先对应视频图像数据建立目标检测模型及动作识别模型，并对应声音数据建立语音识别模型，其中，目标检测模型主要用于对视频图像数据中的目标进行识别检测，获取目标的人脸图像数据。目标检测模型可以是使用Faster R-CNN、YOLOv3等网络构建的目标检测模型。现有技术对应目标检测的具体实施方式有很多，本申请实施例在此不做固定限制。动作识别模型主要对监控动作进行识别检测，该监控动作可以是翻越窗口的动作。动作识别模型对监控动作进行检测识别时，可以采用基于卷积神经网络的动作识别算法进行监控动作的检测识别。具体的，通过定位目标的若干个关节点，基于关节点连线确定目标的动作向量，进一步通过计算目标的动作向量与预存的动作标准(翻越窗口的动作)的欧式距离，根据欧式距离来确定当前视频图像数据中是否存在监控动作。需要说明的是，现有技术基于视频图像数据的动作识别算法有很多，具体包括了基于双流神经网络、三维卷积神经网络、长短记忆网络(LSTM)以及对抗神经网络等动作识别算法，本申请实施例对具体使用的动作识别算法不做固定限制。以此，通过上述目标检测模型及动作识别模型即可确定对应的目标检测结果和动作识别结果。

另一方面，对应采集到的声音数据，预先设定的语音识别模型进行检测识别，语音识别模型主要对声音数据进行声纹识别和语音内容识别。声纹识别主要是为了获取目标的声纹特征，语音内容识别主要是为了识别出监控目标讲话的内容。语音识别为现有较成熟技术，不作为本申请实施例的主要改进点，在此不多赘述。

最终，基于上述检测识别到的目标检测结果、所述动作识别结果、所述声纹识别结果和所述语音内容识别结果，即可汇总作为最终的检测识别结果。后续基于该检测识别结果即可判定是否需要输出报警信息。

S130、将所述检测识别结果比对预设的报警条件，在所述检测识别结果达到所述报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。

进一步的，基于上述检测识别结果，通过比对预设的报警条件来判定是否进行报警。其中，将所述目标检测结果比对预设的图像数据库，将所述声纹识别结果比对预测的声纹数据库，并判断所述动作识别结果和所述语音内容识别结果是否存在预定义的监控内容。在此之前，该监控报警设备预先、构建一个图像数据库和声纹数据库，图像数据库中预存用户信任的人脸图像数据，即这部分人脸图像数据对应的目标是用户允许进入室内环境的。这部分目标可以是用户的家人。可以理解的是，当检测识别到的目标检测结果与图像数据库中的对应人脸数据匹配时，表明当前检测识别到的目标合法，无需进行报警。同理，声纹数据库用户信任的目标的声纹特征信息，这部分声纹特征信息对应的目标是用户允许进入室内环境的。这部分目标可以是用户的家人。可以理解的是，当检测识别到的语音内容识别结果中的声纹识别结果与声纹数据库中的对应声纹特征信息匹配时，表明当前检测识别到的目标合法，无需进行报警。而在判断所述动作识别结果和所述语音内容识别结果是否存在预定义的监控内容，则主要判断动作识别结果中是否存在翻越窗口等预定义的监控动作，判断语音内容中是否存在设定监控的讲话内容。其中，设定监控的讲话内容可以由用户自定义，而预定义的监控动作根据实际需要也可以是其他监控动作，只需要对应不同的监控动作构建对应的监控动作识别模型即可。

最终，通过将检测识别结果比对预设的报警条件若所述图像数据库不匹配所述目标检测结果、所述声纹数据库不匹配所述声纹识别结果、所述动作识别结果存在预定义的监控内容和/或所述语音内容识别结果存在预定义的监控内容，判定所述检测识别结果达到所述报警条件。需要说明的是，上述各个识别结果的任意一种或者多种与对应数据库不匹配或者存在预定义的监控内容，则判定检测识别结果达到所述报警条件。例如，当根据目标检测结果识别到监控目标的人脸图像数据与图像数据库不匹配时，则判定检测识别结果达到所述报警条件。当根据动作识别结果检测到存在翻越窗口动作等预定义的监控内容时，则判定检测识别结果达到所述报警条件。触发监控设备进行报警的方式可以有多种，可根据实际需要自定义设置，在此不多赘述。

进一步的，在检测识别结果达到报警条件时，则输出对应的报警信息至智能家居***的用户客户端和/或报警平台。通过发送报警信息至用户客户端，可以及时提醒用户当前室内环境存在安防风险，以便于用户及时前往处理。同样的，通过发送报警信息至报警平台，可以及时对非法入室、盗窃行为进行报警，实现更好的安防效果。

在一些实施例中，监控报警设备发送报警信息的同时还输出对应的所述视频图像数据和/或所述声音数据至智能家居***的用户客户端和/或报警平台。通过将视频图像数据发送至用户客户端和/或报警平台，可以便于用户确认当前的监控情况，避免监控报警设备存在误判的情况。并且，通过视频图像报警的方式，也便于用户更具象地确知非法入室和盗窃行为，实现更好的监控和安防效果。

此外，在一个实施例中，还通过在室内环境的对应位置设置烟雾传感器、漏电传感器和水浸传感器，以实现对室内环境的火灾和电路故障进行监控报警。其中，对于火灾和电路故障的监控报警，则在基于所述视频图像数据和所述声音数据进行检测识别时，主要基于所述视频图像数据检测识别是否存在指定的图像特征，所述图像特征包括明火图像特征、断路器跳闸图像特征或者水浸图像特征。

示例性的，在烟雾传感器检测到烟雾浓度超过设定阈值时，或者漏电传感器检测到电路漏电时，则发送触发信息至监控报警设备。监控报警设备基于这一触发信息，通过摄像头采集烟雾传感器或漏电传感器的关联区域的视频图像数据。基于这一视频图像数据，对明火图像特征或者断路器跳闸图像特征进行检测识别。监控报警设备预先建立一个图像特征识别模型，该图像特征识别模型可以采集基于卷积神经网络的特征识别模型构建，通过以大量明火图像或者断路器图像作为训练样本，进行模型训练得到该图像特征识别模型。后续对采集到的视频图像数据，将其输入图像特征识别模型检测是否存在明火图像特征或者断路器跳闸图像特征，若存在明火图像特征，则表明当前室内可能发生火灾，以此触发报警条件，发送报警信息至用户客户端和/或报警平台。同样的，若存在断路器跳闸图像特征，则表明当前室内存在电路故障，以此触发报警条件，发送报警信息至用户客户端和/或报警平台。通过对室内火灾和电路故障进行实时监控报警，可以进一步优化室内安防效果，保障室内安全。同样的，对应检测区域检测到水浸时，同样通过检测识别该区域是否存在水浸图像特征，若有，则触发报警条件。此外，在一些实施例中，还可以增设co传感器等检测设备，并进一步对室内co中毒进进行检测识别。可以理解的是，在co传感器触发后，通过视频图像数据检测识别发现存在人体长时间静止不动的图像特征，则此时认为可能存在人体co中毒，以此触发报警条件，发送报警信息至用户客户端和/或报警平台。

此外，在一个实时例中，监控设备还实时通过摄像头视频扫描室内环境，检测识别室内环境是否存在预定义的监控行为，并在检测识别到所述预定义的监控行为时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。具体的，该监控行为可以是婴儿睡觉未盖被子，或者人身侵害用户等行为。其中，对应婴儿睡觉未盖被子的行为，可以通过视频图像数据进行目标检测，确定包含婴儿的图像数据，进一步对包含婴儿的图像数据进行“被子”的检测识别。可以理解的是，如若图像数据未检测到“被子”的图像特征或者“被子”的图像特征未处于对应的位置，则触发报警条件，此时输出对应的报警信息至智能家居***的用户客户端和/或报警平台。而对应人身侵害用户等行为的检测识别时，通过视频图像数据进行动作识别或者危险物识别，当检测到监控目标手持管制刀具等危险物，或者监控目标存在侵害他人动作时，则判定当前存在人身侵害行为。此时同样地将输出报警信息至用户客户端和/或报警平台，并同时发送对应的视频图像数据。通过人身侵害行为的检测识别，可以保障用户及家人的人身安全，实现监控报警设备更好的安防效果。需要说明的是，上述对应预定义的监控行为的检测识别，可参照上述对非法入室行为的检测识别方式，只是具体识别检测的动作做了改变。

上述，通过接收传感器的触发信息，响应于触发信息驱动摄像头对应传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据，进一步基于视频图像数据和声音数据进行检测识别，得到对应的检测识别结果，最终将检测识别结果比对预设的报警条件，在检测识别结果达到报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。采用上述技术手段，可以通过视频图像数据和声音数据对指定的监控信息进行识别检测，并对应达到报警条件的信息进行报警提示，以此可针对性地对室内环境进行监控报警，优化监控安防效果。

实施例二：

在上述实施例的基础上，图3为本申请实施例二提供的一种基于智能家居***的监控报警装置的结构示意图。参考图3，本实施例提供的基于智能家居***的监控报警装置具体包括：采集模块21、识别模块22和报警模块23。

其中，采集模块21用于接收传感器的触发信息，响应于所述触发信息驱动摄像头对应所述传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据；

识别模块22用于基于所述视频图像数据和所述声音数据进行检测识别，得到对应的检测识别结果；

报警模块23用于将所述检测识别结果比对预设的报警条件，在所述检测识别结果达到所述报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。

上述，通过接收传感器的触发信息，响应于触发信息驱动摄像头对应传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据，进一步基于视频图像数据和声音数据进行检测识别，得到对应的检测识别结果，最终将检测识别结果比对预设的报警条件，在检测识别结果达到报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。采用上述技术手段，可以通过视频图像数据和声音数据对指定的监控信息进行识别检测，并对应达到报警条件的信息进行报警提示，以此可针对性地对室内环境进行监控报警，优化监控安防效果。

本申请实施例二提供的基于智能家居***的监控报警装置可以用于执行上述实施例一提供的基于智能家居***的监控报警方法，具备相应的功能和有益效果。

实施例三：

本申请实施例三提供了一种电子设备，参照图4，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于智能家居***的监控报警方法对应的程序指令/模块(例如，基于智能家居***的监控报警装置中的采集模块、识别模块和报警模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于智能家居***的监控报警方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例一提供的基于智能家居***的监控报警方法，具备相应的功能和有益效果。

实施例四：

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于智能家居***的监控报警方法，该基于智能家居***的监控报警方法包括：接收传感器的触发信息，响应于所述触发信息驱动摄像头对应所述传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据；基于所述视频图像数据和所述声音数据进行检测识别，得到对应的检测识别结果；将所述检测识别结果比对预设的报警条件，在所述检测识别结果达到所述报警条件时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于智能家居***的监控报警方法，还可以执行本申请任意实施例所提供的基于智能家居***的监控报警方法中的相关操作。

上述实施例中提供的基于智能家居***的监控报警装置、存储介质及电子设备可执行本申请任意实施例所提供的基于智能家居***的监控报警方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于智能家居***的监控报警方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (7)

1.一种基于智能家居***的监控报警方法，其特征在于，包括：

接收传感器的触发信息，包括温度、烟雾、气体传感器，响应于所述触发信息驱动摄像头对应所述传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据；

基于所述视频图像数据和所述声音数据进行检测识别，得到对应的检测识别结果，包括将所述视频图像数据输入预设的目标检测模型及动作识别模型，输出对应的目标检测结果和动作识别结果，将所述声音数据输入预先设定的语音识别模型，输出对应的声纹识别结果和语音内容识别结果，汇总所述目标检测结果、所述动作识别结果、所述声纹识别结果和所述语音内容识别结果作为检测识别结果；

将所述检测识别结果比对预设的报警条件，其中，包括将所述目标检测结果比对预设的图像数据库，将所述声纹识别结果比对预测的声纹数据库，并判断所述动作识别结果和所述语音内容识别结果是否存在预定义的监控内容，若所述图像数据库不匹配所述目标检测结果、所述声纹数据库不匹配所述声纹识别结果、所述动作识别结果存在预定义的监控内容和/或所述语音内容识别结果存在预定义的监控内容，判定所述检测识别结果达到所述报警条件，输出对应的所述视频图像数据和/或所述声音数据至智能家居***的用户客户端和/或报警平台。

2.根据权利要求1所述的基于智能家居***的监控报警方法，其特征在于，所述传感器包括设置于门窗处的门窗开关检测传感器，所述触发信息为门窗开启检测信息。

3.根据权利要求1所述的基于智能家居***的监控报警方法，其特征在于，所述传感器还包括烟雾传感器、漏电传感器和水浸传感器；

对应的，基于所述视频图像数据和所述声音数据进行检测识别，包括：

基于所述视频图像数据检测识别是否存在指定的图像特征，所述图像特征包括明火图像特征、断路器跳闸图像特征或者水浸图像特征。

4.根据权利要求1所述的基于智能家居***的监控报警方法，其特征在于，输出对应的报警信息至智能家居***的用户客户端和/或报警平台，还包括：

实时通过摄像头视频扫描室内环境和/或房屋周边指定区域，检测识别是否存在预定义的监控行为，并在检测识别到所述预定义的监控行为时，输出对应的报警信息至智能家居***的用户客户端和/或报警平台。

5.一种基于智能家居***的监控报警装置，其特征在于，包括：

采集模块，用于接收传感器的触发信息，包括温度、烟雾、气体传感器，响应于所述触发信息驱动摄像头对应所述传感器的关联区域采集视频图像数据，并驱动声音采集装置对应采集声音数据；

识别模块，用于基于所述视频图像数据和所述声音数据进行检测识别，得到对应的检测识别结果，包括将所述视频图像数据输入预设的目标检测模型及动作识别模型，输出对应的目标检测结果和动作识别结果，将所述声音数据输入预先设定的语音识别模型，输出对应的声纹识别结果和语音内容识别结果，汇总所述目标检测结果、所述动作识别结果、所述声纹识别结果和所述语音内容识别结果作为检测识别结果；

报警模块，用于将所述检测识别结果比对预设的报警条件，其中，包括将所述目标检测结果比对预设的图像数据库，将所述声纹识别结果比对预测的声纹数据库，并判断所述动作识别结果和所述语音内容识别结果是否存在预定义的监控内容，若所述图像数据库不匹配所述目标检测结果、所述声纹数据库不匹配所述声纹识别结果、所述动作识别结果存在预定义的监控内容和/或所述语音内容识别结果存在预定义的监控内容，判定所述检测识别结果达到所述报警条件，输出对应的所述视频图像数据和/或所述声音数据至智能家居***的用户客户端和/或报警平台。

6.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一所述的基于智能家居***的监控报警方法。

7.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-4任一所述的基于智能家居***的监控报警方法。

Images