CN111181835B - 一种消息监控方法、***及服务器 - Google Patents

Abstract

本发明提供一种消息监控方法、***及服务器，在接收到企业即时通讯消息后，识别企业即时通讯消息的消息类型，若消息类型指示企业即时通讯消息对应一幅图片，对图片中的文本内容和事物内容进行识别，得到图片关联的各个词语以及各个词语的置信度，基于各个词语的置信度，从各个词语中选择至少一个目标词语，若至少一个目标词语中与预设敏感词库中的敏感词匹配，控制企业即时通讯消息中与敏感词相对应的内容不可见，由此在存在敏感内容(如与敏感词相对应的内容)时能够使其不可见，降低敏感内容的泄露，提高企业安全且能够对企业即时通讯消息的监控。并且在接收到企业即时通讯消息后可以立即对是否存在敏感词进行监控，实现实时监控。

Description

一种消息监控方法、***及服务器

技术领域

本发明属于企业即时通讯技术领域，尤其涉及一种消息监控方法、***及服务器。

背景技术

目前企业员工之间可以通过EIM(Enterprise Instant Messaging，企业即时通讯)进行在线交流，如可以在手机和电脑等电子设备中安装EIM应用程序，通过启用EIM应用程序，并在EIM应用程序的界面中输入内容来进行在线交流。

通过EIM应用程序进行在线交流时能够交流各种内容，而一些内容是禁止交流的，因此需要提供一种消息监控方法及装置对内容进行监控。

发明内容

有鉴于此，本发明的目的在于提供一种消息监控方法、***及服务器，用于对企业即时通讯消息进行监控。技术方案如下：

本发明提供一种消息监控方法，所述方法包括：

接收企业即时通讯消息，识别所述企业即时通讯消息的消息类型；

若所述消息类型指示所述企业即时通讯消息对应一幅图片，对所述图片中的文本内容和事物内容进行识别，得到所述图片关联的各个词语以及所述各个词语的置信度；

基于所述各个词语的置信度，从所述各个词语中选择至少一个目标词语；

若所述至少一个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见。

优选的，所述对所述图片中的文本内容和事物内容进行识别，得到所述图片关联的各个词语以及所述各个词语的置信度包括：

对所述图片中的文本内容进行识别，得到所述文本内容包括的词语；

对所述图片中的事物内容进行识别，得到所述事物内容展示的场景的文字描述内容；

识别所述文字描述内容，得到所述文字描述内容包括的词语；

计算所述词语的置信度。

优选的，所述控制所述图片中与所述敏感词相对应的内容不可见包括：

对所述图片中与所述敏感词相对应的内容进行图层覆盖处理，和/或，对所述图片中与所述敏感词相对应的内容进行特效处理，所述图层覆盖处理和所述特效处理使与所述敏感词相对应的内容不可见；

或者

禁止将所述企业即时通讯消息发送至所述企业即时通讯消息的接收方。

优选的，若所述至少一个目标词语与预设敏感词库中的敏感词匹配，所述方法还包括：

调整所述企业即时通讯消息的发送方的消息发送权限；

和/或

将所述企业即时通讯消息存储在敏感消息列表中，所述敏感消息列表用于更新与所述目标词语进行比对的预设敏感词库；

和/或

发送提示信息，所述提示信息用于指示当前发送存在敏感词的企业即时通讯消息；

和/或

将所述企业即时通讯消息存储在敏感消息列表中，输出所述敏感消息列表至对所述企业即时通讯消息进行监控的服务器。

优选的，所述方法还包括：获取所述企业即时通讯消息的发送方标识；若所述发送方标识指示所述发送方属于被监控对象，则执行识别所述企业即时通讯消息的消息类型的步骤；

和/或

所述预设敏感词库中的敏感词与发送方标识对应，所述发送方标识用于指示发送企业即时通讯消息的发送方。

优选的，所述若消息类型指示所述企业即时通讯消息对应一幅图片，对所述图片中的文本内容和事物内容进行识别包括：

若所述消息类型指示所述企业即时通讯消息对应一幅图片，基于所述企业即时通讯消息中的索引数据获取图片，对所述图片中的文本内容和事物内容进行识别。

优选的，所述若所述至少一个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见包括：

若所述目标词语中的至少两个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见，其中所述至少两个目标词语不同。

本发明还提供一种消息监控***，所述***包括：

消息管理模块，用于接收企业即时通讯消息，识别所述企业即时通讯消息的消息类型；

图片消息监控模块，用于若所述消息类型指示所述企业即时通讯消息对应一幅图片，对所述图片中的文本内容和事物内容进行识别，得到所述图片关联的各个词语以及所述各个词语的置信度；

敏感词比对模块，用于基于所述各个词语的置信度，从所述各个词语中选择至少一个目标词语，将所述至少一个目标词语与所述预设敏感词库中的敏感词进行比对；

监控结果处理模块，用于若所述至少一个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见。

优选的，若所述至少一个目标词语与预设敏感词库中的敏感词匹配，所述监控结果处理模块还用于：

调整所述企业即时通讯消息的发送方的消息发送权限；

和/或

将所述企业即时通讯消息存储在敏感消息列表中，所述敏感消息列表用于更新与所述目标词语进行比对的预设敏感词库；

和/或

发送提示信息，所述提示信息用于指示当前发送存在敏感词的企业即时通讯消息；

和/或

将所述企业即时通讯消息存储在敏感消息列表中，输出所述敏感消息列表至对所述企业即时通讯消息进行监控的服务器。

本发明还提供一种服务器，所述服务器包括：通信接口和处理器；

所述通信接口，用于接收企业即时通讯消息；

所述处理器，用于识别所述企业即时通讯消息的消息类型；若所述消息类型指示所述企业即时通讯消息对应一幅图片，对所述图片中的文本内容和事物内容进行识别，得到所述图片关联的各个词语以及所述各个词语的置信度；基于所述各个词语的置信度，从所述各个词语中选择至少一个目标词语；若所述至少一个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见。

借由上述技术方案，在接收到企业即时通讯消息后，识别企业即时通讯消息的消息类型，若消息类型指示企业即时通讯消息对应一幅图片，对图片中的文本内容和事物内容进行识别，得到图片关联的各个词语以及各个词语的置信度，基于各个词语的置信度，从各个词语中选择至少一个目标词语，若至少一个目标词语中与预设敏感词库中的敏感词匹配，控制企业即时通讯消息中与敏感词相对应的内容不可见，由此在企业即时通讯消息中存在敏感内容(如与敏感词相对应的内容)时能够使其不可见，降低敏感内容的泄露，提高企业安全且能够对与图片相关的企业即时通讯消息的监控。并且在接收到企业即时通讯消息后可以立即对是否存在敏感词进行监控，实现对企业即时通讯消息的实时监控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的在线交流***的***架构图；

图2是本发明实施例提供的一种消息监控方法的流程图；

图3是图1所示在线交流***应用消息监控方法的示意图；

图4是本发明实施例提供的一种EIM消息的处理比对的示意图；

图5是本发明实施例提供的另一种消息监控方法的流程图；

图6是本发明实施例提供的一种消息监控***的结构示意图；

图7是本发明实施例提供的另一种消息监控***的结构示意图；

图8是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

目前在通过EIM进行在线交流时其对应的在线交流***的***架构图如图1所示，包括第一终端10、服务器20和第二终端30，第一终端10和第二终端30为通过EIM进行在线交流的双方使用的终端，第一终端10和第二终端30可以是电脑、手机、可穿戴设备等任一能够安装EIM应用程序的设备，EIM应用程序为在线交流的一种手段或者说EIM应用程序至少为在线交流提供输入界面，第一终端10和第二终端30能够各自显示EIM应用程序的输入界面，通过输入界面获取在线交流的双方输入的内容，输入的内容以EIM消息(企业即时通讯消息)发送。

服务器20作为第一终端10和第二终端30之间的消息中转方，以通过服务器20在第一终端10和第二终端30之间传递消息，实现在线交流。但是目前在线交流存在一个问题：服务器20仅作为消息中转方，无论EIM消息对应的内容(如EIM消息中携带的内容和/或通过EIM消息能够查找到的内容)是否存在敏感内容，如是否存在薪资、个人隐私和八卦等被企业文化和企业规章制度所不允许的内容(视为是敏感内容)，服务器20都会转发EIM消息，基于此本实施例提供一种消息监控方法，对EIM消息进行监控，并在对EIM消息进行监控过程中，若存在敏感内容会对敏感内容进行特殊处理，以降低敏感内容的泄露，上述消息监控方法可以应用于服务器、EIM消息的发送方和EIM消息的接收方中的任意一个，EIM消息的发送方和EIM消息的接收方为上述第一终端和第二终端，具体哪个为发送方哪个为接收方视EIM消息从哪个终端发出而定，对此本实施例不再说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图2，其示出了本发明实施例提供的一种消息监控方法的流程图，可以包括以下步骤：

201：接收EIM消息，识别EIM消息的消息类型。其中EIM消息的消息类型包括：文本相关类型和图片相关类型，文本相关类型和图片相关类型的区别是EIM消息是否对应一幅图片，若通过EIM消息能够得到一幅图片，则EIM消息的消息类型为图片相关类型，例如EIM消息是一个图片消息(如截图、静态图片、动态图片)、EIM消息是一个视频消息、通过EIM消息能够下载一幅图片，则说明EIM消息的消息类型为图片相关类型；若通过EIM消息不能够得到一幅图片，例如EIM消息是一个文本消息(如纯文本、在纯文本中增加表情符号)、EIM消息是一个语音消息(语音消息没有指向任一图片)，说明EIM消息的消息类型为文本相关类型。

对于EIM消息的消息类型的识别时机可以是在接收到EIM消息之后立即启动，以达到实时监控EIM消息的目的，相对于延后监控来说可以在EIM消息的交互过程中对EIM消息进行监控，以防止在EIM消息的交互过程中敏感内容的泄露，其中延后监控是先将EIM消息发送至接收方之后对EIM消息再进行处理，这种处理方式虽然也能够监控但是敏感内容已经被泄露，由此实时监控更能够提高企业安全。

202：若消息类型指示EIM消息对应一幅图片，对图片中的文本内容和事物内容进行识别，得到图片关联的各个词语以及各个词语的置信度。其中文本内容表示图片中的文字，事物内容指示图片中除文本内容之外的内容，如事物内容是图片中的人物、动物、建筑物等等，这些事物内容中可能涉及隐私、恶搞等等，因此对于事物内容本实施例也需要识别对事物内容进行识别，以通过图片中的文本内容和事物内容的识别，得到这两部分内容各自对应的词语(即图片关联的各个词语)，增大监控范围。

在本实施例，得到图片关联的各个词语以及各个词语的置信度的过程如下：

步骤1、对图片中的文本内容进行识别，得到文本内容包括的词语，如通过但不限于OCR(optical character recognition)文字识别技术得到文本内容包括的词语。

步骤2、对图片中的事物内容进行识别，得到事物内容展示的场景的文字描述内容；识别文字描述内容，得到文字描述内容包括的词语。其中一种方式将事物内容包括的各个事物以文字方式进行描述，得到文字描述内容；另一种方式是在识别到各个事物之外还识别各个事物之间的关系，以得到事物内容所展示的场景，通过文字方式对该场景进行描述，得到文字描述内容。例如一幅图片是对一领导人物A恶搞，通过上述两种方式分别得到的文字描述内容是：领导人物A、恶搞领导人物A，进而分别得到的词语为领导人物A、领导人物A和恶搞，在得到文字描述内容之后可以通过但不限于OCR文字识别技术得到词语。

在本实施例中，对图片中的事物内容识别可以通过但不限于通过腾讯优图识别技术，对此本实施例不再详述。

步骤3、计算词语的置信度。其中置信度指示从图片识别到该词语的概率，在本实施例中可以将词语和图片同时输入到一机器模型中，通过该机器模型来计算词语的置信度，机器模型是通过已有图片和从已有图片中标记出的词语进行训练得到。

当然，本实施例还能够预先训练另一种机器模型，该机器模型具备内容识别和置信度计算两种功能，通过该机器模型既能够识别得到各个词语也能够得到各个词语的置信度。

在此需要说明的一点是：若EIM消息是一个图片消息或视频消息，能够直接从图片消息或视频消息中提取到图片进行识别，对于视频消息来说可以对视频消息中的第一帧图片或者对视频消息中的N帧图片进行识别，其中N大于1但是N帧图片具体是哪几帧本实施例不进行限定。若通过EIM消息能够下载一幅图片，例如EIM消息包括一指示图片的索引数据，则先通过索引数据获取图片，再对图片中的文本内容和事物内容进行识别，如索引数据的一种形式是URL(Uniform Resource Locator，统一资源定位符)，通过URL下载图片。

203：基于各个词语的置信度，从各个词语中选择至少一个目标词语，以通过各个词语的置信度筛选出与预设敏感词库中的敏感词进行比对的目标词语。

一种选择目标词语的方式是：按照各个词语的置信度由大到小方式对各个词语进行排序，选取位于前M个的词语作为目标词语，M为大于等于1的自然数，具体取值可根据实际需求而定，通过此方式能够使得选择出的目标词语的置信度大于没有被选择出的词语的置信度；另一种方式是：设置用于选择目标词语的阈值，若词语的置信度大于该阈值，则将该词语作为目标词语。除这两种方式之外本实施例还能够通过其他方式选择目标词语，对此本实施例不再一一阐述。

204：若至少一个目标词语与预设敏感词库中的敏感词匹配，控制图片中与敏感词相对应的内容不可见。

在此指出一点：若EIM消息是图片消息或视频消息，控制图片中与敏感词相对应的内容不可见是指控制图片消息或视频消息中与敏感词相对应的内容不可见，若通过EIM消息能够下载一幅图片，此处的控制图片中与敏感词相对应的内容不可见特指控制下载到的图片中与敏感词相对应的内容不可见。

其中目标词语与预设敏感词库中的敏感词匹配表示：目标词语与敏感词相同或相似，在实施过程中目标词语与预设敏感词库中的敏感词一一匹配，以确定是否匹配。对于预设敏感词库中的敏感词来说，本实施例主要是对EIM消息进行监控，那么预设敏感词库中的敏感词是与企业文化、企业规章制度等相关的词语，如敏感词可以是与企业名称、竞争企业相关词语、企业员工个人问题等相关的词语，例如预设敏感词库中的敏感词包括：工资、薪酬、职级、提成、跳槽、猎头和拼多多等。

在本实施例中，若至少一个目标词语与预设敏感词库中的敏感词匹配，控制图片中与敏感词相对应的内容不可见。又或者若目标词语中的至少两个目标词语与预设敏感词库中的敏感词匹配，控制图片中与敏感词相对应的内容不可见，其中至少两个目标词语不同，也就是说若至少两个不同的目标词语与敏感词匹配，控制图片中与敏感词相对应的内容不可见。

若通过比对发现文本内容中的一个词语与敏感词匹配，则控制该词语不可见，若通过比对发现事物内容中的一个事物与敏感词匹配，则控制该事物不可见，其中控制图片中与敏感词相对应的内容不可见的方式包括但不限于如下方式：

一种方式：对图片中与敏感词相对应的内容进行图层覆盖处理，其中图层覆盖处理使与敏感词相对应的内容不可见；

另一种方式：对图片中与敏感词相对应的内容进行特效处理，特效处理使与敏感词相对应的内容不可见，例如但不限于在图片中与敏感词相对应的内容上加马赛克来覆盖与敏感词相对应的内容，或者用其他与敏感词无关的内容来覆盖图片中与敏感词相对应的内容，或者对图片中与敏感词相对应的内容进行模糊化处理，在本实施例中图层覆盖处理和特效处理可以同时实施，本实施例不进行限定；

针对上述两种方式，在控制图片中与敏感词相对应的内容不可见之后可以向EIM消息的接收方发送处理后的图片。当然除了对与敏感词相对应的内容不可见之外，本实施例还可以对图片的全部内容进行特效处理，如对全部内容进行模糊化处理，模糊化处理后的图片能够使用户获知在图片的哪个位置有内容但是内容的具体是什么不知道，又或者可以在对与敏感词相对应的内容不可见之外还可以对与这些内容相连的内容进行图层覆盖处理和/或特效处理，以防止通过与敏感词相对应的内容相连的内容能够推出与敏感词相对应的内容，例如若EIM消息中携带有“我这个月的工资是......”，工资是与敏感词相对应的内容，那么在进行不可见处理时可以将“工资是......”进行不可见处理，相对于仅不可见“工资”来说，防止推出“我这个月的工资是......”。

再一种方式：禁止将EIM消息发送至EIM消息的接收方，以通过禁止发送方式使得EIM消息对于接收方来说不可见，从而使得图片中与敏感词相对应的内容对于接收方来说不可见。

借由上述技术方案，在接收到企业即时通讯消息后，识别企业即时通讯消息的消息类型，若消息类型指示企业即时通讯消息对应一幅图片，对图片中的文本内容和事物内容进行识别，得到图片关联的各个词语以及各个词语的置信度，基于各个词语的置信度，从各个词语中选择至少一个目标词语，若至少一个目标词语中与预设敏感词库中的敏感词匹配，控制企业即时通讯消息中与敏感词相对应的内容不可见，由此在企业即时通讯消息中存在敏感内容(如与敏感词相对应的内容)时能够使其不可见，降低敏感内容的泄露，提高企业安全且能够对与图片相关的企业即时通讯消息的监控。并且在接收到企业即时通讯消息后可以立即对是否存在敏感词进行监控，实现对企业即时通讯消息的实时监控。

下面结合图1所示在线交流***，阐述在线交流***在实施上述消息监控方法的过程如图3所示，针对图1所示在线交流***，在服务器20中预先添加一预设敏感词库，该预设敏感词库中包括如下敏感词：

工资、薪酬、职级、提成、跳槽、猎头和拼多多；

第一终端10发送EIM消息，服务器20在接收到第一终端10发送的EIM消息之后识别出该EIM消息对应一幅图片，如图4所示一个图片，该图片是企业中某员工的工资；

服务器20对图片中的文本内容和事物内容进行识别，得到如下表1中的各个词语和每个词语的置信度；在表1中最后两个识别结果表示EIM消息中携带的内容为文本的置信度和为图片的置信度；

表1 EIM消息的识别结果

识别结果	置信度
		基本	0.999968588
出勤	0.972433031
		提成奖励工龄补助	0.888525367
工资	0.997067988
		天数	0.997722924
7500	0.999279201
		28	0.999806523
13842	0.999568284
		500	0.999121606
文本	0.73
		截图	0.13

服务器20根据预设的阈值和各个词语的置信度，从上述表1所示各个词语中选取置信度大于阈值的目标词语，如预设的阈值可以是但不限于是0.85，基于该阈值至少选取出工资、提成奖励等目标词语，将选取出的各个目标词语分别与预设敏感词库中的敏感词进行比对，发现“工资”和“提成奖励”这两个目标词语与敏感词匹配，则控制图4所示截图中的“工资”和“提成奖励”这两个目标词语以及这两个目标词语下的数值不可见，如图4箭头指向图片，从该图4所示两个图片可知经过处理之后敏感内容不可见，即与敏感词对应的内容不可见，然后由服务器20将敏感内容不可见的图片发送至第二终端30。

本实施例提供的消息监控方法除能够控制图片中与敏感词相对应的内容不可见之外，还可以在至少一个目标词语与预设敏感词库中的敏感词匹配的情况下，执行如下至少一种处理方式：

一种处理方式：调整EIM消息的发送方的消息发送权限，其中消息发送权限用于指示EIM消息的发送方是否能够发送EIM消息，如果能够发送消息发送权限还用于指示发送方发送EIM消息的消息类型等等。在本实施例中若至少一个目标词语与预设敏感词库中的敏感词匹配，调整消息发送权限可以是降低消息发送权限，使得发送方仅能发送有限的EIM消息，如仅能发送文本相关类型的EIM消息，此外消息发送权限的调整还能够禁止发送方发送EIM消息，如监控到同一发送方发送第X个存在与敏感词对应的内容的EIM消息之后，从监控到该EIM消息的时刻开始禁止发送方在预设时间段内发送EIM消息，其中X的取值和预设时间段的取值可以根据实际需求而定。

另一种处理方式：将EIM消息存储在敏感消息列表中，敏感消息列表用于更新与目标词语进行比对的预设敏感词库。敏感消息列表可以是一个数据表，将每个监控到的存在与敏感词对应的内容的EIM消息存储到该数据表中，或者敏感消息列表是一个队列，每监控到一个存在与敏感词对应的内容的EIM消息，可以将当前监控到的EIM消息存储到队列中的第一个位置，其他EIM消息则依次向下移动，位于队列最后一个位置的EIM消息移出队列。

再一种处理方式：发送提示信息，其中提示信息用于指示当前发送存在敏感词的EIM消息，提示信息可以是文本、图片和声音中的至少一种，例如通过短信或者EIM消息的形式来发送提示信息，本实施例不对提示信息的形式进行限定。

再一种处理方式：将EIM消息存储在敏感消息列表中，输出敏感消息列表至对EIM消息进行监控的服务器，如上述图1所示的服务器20中，该服务器20能够实施本实施例提供的消息监控方法。

请参阅图5，其示出了本发明实施例提供的另一种消息监控方法的流程图，可以包括以下步骤：

501：接收EIM消息，获取EIM消息的发送方标识。其中发送方标识用于指示EIM消息的发送方，在本实施例中发送方标识可以是但不限于是登陆EIM的用户账号，发送方标识可以携带于EIM消息中。

502：判断发送方标识指示的发送方是否属于被监控对象，如果是执行步骤503，如果否执行步骤507。其中被监控对象是预先设置的需要进行EIM消息监控的发送方，在本实施例中可预先设置一个被监控对象表，在被监控对象表中记录需要监控的各个发送方(即被监控对象)的发送方标识，这样在获取到一个待发送的EIM消息之后，通过待发送的EIM消息对应的发送方标识和被监控对象表中的发送方标识，可以确定是否属于被监控对象。

在本实施例中被监控对象可以是在一定时间内发送Y个存在与敏感词对应的内容的EIM消息的发送方，以通过这一方式能够自动确定被监控对象以及对被监控对象进行自动更新。若发送方标识指示的发送方属于被监控对象，则通过步骤503至步骤506对其发送的EIM消息进行实时监控，若发送方标识指示的发送方不属于被监控对象，则可以执行步骤507直接将EIM消息发送至接收方。

上述仅是以被监控对象表进行说明，在应用本实施例提供的消息监控方法时还可以采用其他方式，对此本实施例不再一一阐述。

503：识别EIM消息的消息类型。

504：若消息类型指示EIM消息对应一幅图片，对图片中的文本内容和事物内容进行识别，得到图片关联的各个词语以及各个词语的置信度。

505：基于各个词语的置信度，从各个词语中选择至少一个目标词语。

506：若至少一个目标词语与预设敏感词库中的敏感词匹配，控制图片中与敏感词相对应的内容不可见。

在本实施例中，步骤503至步骤506：与上述步骤201至步骤204相同，对此本实施例不再阐述。

507：将EIM消息发送至EIM消息的接收方。

借由上述技术方案，在接收到EIM消息之后，获取EIM消息的发送方标识，若发送方标识指示发送方属于被监控对象，则对EIM消息进行实时监控，以通过发送方标识实现对部分发送方发送的EIM消息进行实时监控。

对于上述消息监控方法，预设敏感词库中的敏感词可以与发送方标识对应，以通过敏感词与发送方标识对应方式能够为发送方配置敏感词，这样在接收到任一EIM消息之后，若EIM消息的消息类型指示EIM消息对应一幅图片，则在选择出目标词语之后将目标词语与该EIM消息的发送方标识对应的敏感词进行对比，实现敏感词的个性化设置以及监控个性化。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

与上述方法实施例相对应，本发明实施例还提供一种消息监控***，其结构如图6所示，可以包括：消息管理模块10、图片消息监控模块20、敏感词比对模块30和监控结果处理模块40。

消息管理模块10，用于接收EIM消息，识别EIM消息的消息类型，对于EIM消息的消息类型的说明请参阅方法实施例，对此本实施例不再阐述。

图片消息监控模块20，用于若消息类型指示EIM消息对应一幅图片，对图片中的文本内容和事物内容进行识别，得到图片关联的各个词语以及各个词语的置信度。其中文本内容表示图片中的文字，事物内容指示图片中除文本内容之外的内容，如事物内容是图片中的人物、动物、建筑物等等，这些事物内容中可能涉及隐私、恶搞等等，因此对于事物内容本实施例也需要识别对事物内容进行识别，以通过图片中的文本内容和事物内容的识别，得到这两部分内容各自对应的词语(即图片关联的各个词语)，增大监控范围。

在本实施例中，图片消息监控模块20得到图片关联的各个词语以及各个词语的置信度的一种方式是：对图片中的文本内容进行识别，得到文本内容包括的词语；对图片中的事物内容进行识别，得到事物内容展示的场景的文字描述内容；识别文字描述内容，得到文字描述内容包括的词语；计算词语的置信度。这一方式的具体说明请参阅方法实施例，对此本实施例不再阐述。

在此需要说明的一点是：若EIM消息是一个图片消息或视频消息，图片消息监控模块20能够直接从图片消息或视频消息中提取到图片进行识别，对于视频消息来说图片消息监控模块20可以对视频消息中的第一帧图片或者对视频消息中的N帧图片进行识别，其中N大于1但是N帧图片具体是哪几帧本实施例不进行限定。若通过EIM消息能够下载一幅图片，例如EIM消息包括一指示图片的索引数据，则图片消息监控模块20先通过索引数据获取图片，再对图片中的文本内容和事物内容进行识别，如索引数据的一种形式是URL，通过URL下载图片。

敏感词比对模块30，用于基于各个词语的置信度，从各个词语中选择至少一个目标词语，将至少一个目标词语与预设敏感词库中的敏感词进行比对。

一种选择目标词语的方式是：按照各个词语的置信度由大到小方式对各个词语进行排序，选取位于前M个的词语作为目标词语，M为大于等于1的自然数，具体取值可根据实际需求而定，通过此方式能够使得选择出的目标词语的置信度大于没有被选择出的词语的置信度；另一种方式是：设置用于选择目标词语的阈值，若词语的置信度大于该阈值，则将该词语作为目标词语。除这两种方式之外本实施例还能够通过其他方式选择目标词语，对此本实施例不再一一阐述。

监控结果处理模块40，用于若至少一个目标词语与预设敏感词库中的敏感词匹配，控制图片中与敏感词相对应的内容不可见。

其中目标词语与预设敏感词库中的敏感词匹配表示：目标词语与敏感词相同或相似，在实施过程中目标词语与预设敏感词库中的敏感词一一匹配，以确定是否匹配。对于预设敏感词库中的敏感词来说，本实施例主要是对EIM消息进行监控，那么预设敏感词库中的敏感词是与企业文化、企业规章制度等相关的词语，如敏感词可以是与企业名称、竞争企业相关词语、企业员工个人问题等相关的词语，例如预设敏感词库中的敏感词包括：工资、薪酬、职级、提成、跳槽、猎头和拼多多等。

在本实施例中，若至少一个目标词语与预设敏感词库中的敏感词匹配，控制图片中与敏感词相对应的内容不可见。又或者若目标词语中的至少两个目标词语与预设敏感词库中的敏感词匹配，控制图片中与敏感词相对应的内容不可见，其中至少两个目标词语不同，也就是说若至少两个不同的目标词语与敏感词匹配，控制图片中与敏感词相对应的内容不可见。

若通过比对发现文本内容中的一个词语与敏感词匹配，则控制该词语不可见，若通过比对发现事物内容中的一个事物与敏感词匹配，则控制该事物不可见，其中控制图片中与敏感词相对应的内容不可见的方式包括但不限于如下方式：

一种方式：对图片中与敏感词相对应的内容进行图层覆盖处理，其中图层覆盖处理使与敏感词相对应的内容不可见；

另一种方式：对图片中与敏感词相对应的内容进行特效处理，特效处理使与敏感词相对应的内容不可见，在本实施例中图层覆盖处理和特效处理可以同时实施，本实施例不进行限定；

针对上述两种方式，在控制图片中与敏感词相对应的内容不可见之后监控结果处理模块40可以向EIM消息的接收方发送处理后的图片。

再一种方式：禁止将EIM消息发送至EIM消息的接收方，以通过禁止发送方式使得EIM消息对于接收方来说不可见，从而使得图片中与敏感词相对应的内容对于接收方来说不可见。

借由上述技术方案，在接收到企业即时通讯消息后，识别企业即时通讯消息的消息类型，若消息类型指示企业即时通讯消息对应一幅图片，对图片中的文本内容和事物内容进行识别，得到图片关联的各个词语以及各个词语的置信度，基于各个词语的置信度，从各个词语中选择至少一个目标词语，若至少一个目标词语中与预设敏感词库中的敏感词匹配，控制企业即时通讯消息中与敏感词相对应的内容不可见，由此在企业即时通讯消息中存在敏感内容(如与敏感词相对应的内容)时能够使其不可见，降低敏感内容的泄露，提高企业安全且能够对与图片相关的企业即时通讯消息的监控。并且在接收到企业即时通讯消息后可以立即对是否存在敏感词进行监控，实现对企业即时通讯消息的实时监控。

在本实施例中，监控结果处理模块40除控制内容不可见之外，还在至少一个目标词语与预设敏感词库中的敏感词匹配的情况下，执行如下至少一种处理方式：

一种处理方式：调整EIM消息的发送方的消息发送权限；另一种处理方式：将EIM消息存储在敏感消息列表中，敏感消息列表用于更新与目标词语进行比对的预设敏感词库；再一种处理方式：发送提示信息，提示信息用于指示当前发送存在敏感词的EIM消息；再一种处理方式：将EIM消息存储在敏感消息列表中，输出敏感消息列表至对EIM消息进行监控的服务器。

对于上述处理方式的说明请参阅上述方法实施例，对此本实施例不再阐述。

在上述图6所示消息监控***基础上，本实施例提供的消息监控***还可以包括：敏感词库管理模块50，如图7所示，其中敏感词库管理模块50用于设置预设敏感词库中的各个敏感词，还用于更新预设敏感词库中的各个敏感词，如基于上述敏感消息列表来更新。

预设敏感词库中的敏感词还可以与发送方标识对应，以通过敏感词与发送方标识对应方式能够为发送方配置敏感词，这样在接收到任一EIM消息之后，若EIM消息的消息类型指示EIM消息对应一幅图片，则在选择出目标词语之后将目标词语与该EIM消息的发送方标识对应的敏感词进行对比，实现敏感词的个性化设置以及监控个性化。

针对上述消息监控***，图片消息监控模块20还用于获取EIM消息的发送方标识，若发送方标识指示的发送方属于被监控对象进行EIM消息的消息类型的识别，以通过发送方标识实现对部分发送方发送的EIM消息进行实时监控。

本发明实施例还提供一种服务器，其结构如图8所示，可以包括：通信接口100和处理器200。

通信接口100，用于接收EIM消息；

处理器200，用于识别EIM消息的消息类型；若消息类型指示EIM消息对应一幅图片，对图片中的文本内容和事物内容进行识别，得到图片关联的各个词语以及各个词语的置信度；基于各个词语的置信度，从各个词语中选择至少一个目标词语；若至少一个目标词语与预设敏感词库中的敏感词匹配，控制图片中与敏感词相对应的内容不可见。

可选的，该设备还可以包括存储器300、输入单元400、显示器500和通信总线600。

通信接口100、处理器200、存储器300、输入单元400、显示器500、均通过通信总线600完成相互间的通信。

在本实施例中，该处理器200，可以为中央处理器(Central Processing Unit，CPU)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。

该处理器可以调用存储器300中存储的程序。存储器300中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本实施例中，该存储器中至少存储有用于实现上述消息监控方法的程序。

在一种可能的实现方式中，该存储器300可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、以及至少一个功能(比如预设敏感词库更新等)所需的应用程序等；存储数据区可存储服务器使用过程中所涉及的数据，比如，敏感词等等。

此外，存储器300可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

该通信接口100可以为通信模块的接口，如GSM模块的接口。

当然，图8所示的服务器的结构并不构成对本实施例中设备的限定，在实际应用中服务器可以包括比图8所示的更多或更少的部件，或者组合某些部件。

本发明实施例还提供一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令被处理器加载并执行时，实现上述消息监控方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于***类实施例和服务器类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种消息监控方法，其特征在于，所述方法包括：

接收企业即时通讯消息，识别所述企业即时通讯消息的消息类型；

若所述消息类型指示所述企业即时通讯消息对应一幅图片，对所述图片中的文本内容和事物内容进行识别，得到所述图片关联的各个词语以及所述各个词语的置信度，所述事物内容指示所述图片中除所述文本内容之外的内容；

基于所述各个词语的置信度，从所述各个词语中选择至少一个目标词语；

若所述至少一个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见。

2.根据权利要求1所述的方法，其特征在于，所述对所述图片中的文本内容和事物内容进行识别，得到所述图片关联的各个词语以及所述各个词语的置信度包括：

对所述图片中的文本内容进行识别，得到所述文本内容包括的词语；

对所述图片中的事物内容进行识别，得到所述事物内容展示的场景的文字描述内容；

识别所述文字描述内容，得到所述文字描述内容包括的词语；

计算所述词语的置信度。

3.根据权利要求1所述的方法，其特征在于，所述控制所述图片中与所述敏感词相对应的内容不可见包括：

对所述图片中与所述敏感词相对应的内容进行图层覆盖处理，和/或，对所述图片中与所述敏感词相对应的内容进行特效处理，所述图层覆盖处理和所述特效处理使与所述敏感词相对应的内容不可见；

或者

禁止将所述企业即时通讯消息发送至所述企业即时通讯消息的接收方。

4.根据权利要求1至3任意一项所述的方法，其特征在于，若所述至少一个目标词语与预设敏感词库中的敏感词匹配，所述方法还包括：

调整所述企业即时通讯消息的发送方的消息发送权限；

和/或

将所述企业即时通讯消息存储在敏感消息列表中，所述敏感消息列表用于更新与所述目标词语进行比对的预设敏感词库；

和/或

发送提示信息，所述提示信息用于指示当前发送存在敏感词的企业即时通讯消息；

和/或

将所述企业即时通讯消息存储在敏感消息列表中，输出所述敏感消息列表至对所述企业即时通讯消息进行监控的服务器。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述企业即时通讯消息的发送方标识；若所述发送方标识指示所述发送方属于被监控对象，则执行识别所述企业即时通讯消息的消息类型的步骤；

和/或

所述预设敏感词库中的敏感词与发送方标识对应，所述发送方标识用于指示发送企业即时通讯消息的发送方。

6.根据权利要求1所述的方法，其特征在于，所述若消息类型指示所述企业即时通讯消息对应一幅图片，对所述图片中的文本内容和事物内容进行识别包括：

若所述消息类型指示所述企业即时通讯消息对应一幅图片，基于所述企业即时通讯消息中的索引数据获取图片，对所述图片中的文本内容和事物内容进行识别。

7.根据权利要求1、2、3、5和6中任意一项所述的方法，其特征在于，所述若所述至少一个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见包括：

若所述目标词语中的至少两个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见，其中所述至少两个目标词语不同。

8.一种消息监控***，其特征在于，所述***包括：

消息管理模块，用于接收企业即时通讯消息，识别所述企业即时通讯消息的消息类型；

图片消息监控模块，用于若所述消息类型指示所述企业即时通讯消息对应一幅图片，对所述图片中的文本内容和事物内容进行识别，得到所述图片关联的各个词语以及所述各个词语的置信度，所述事物内容指示所述图片中除所述文本内容之外的内容；

敏感词比对模块，用于基于所述各个词语的置信度，从所述各个词语中选择至少一个目标词语，将所述至少一个目标词语与预设敏感词库中的敏感词进行比对；

监控结果处理模块，用于若所述至少一个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见。

9.根据权利要求8所述的***，其特征在于，若所述至少一个目标词语与预设敏感词库中的敏感词匹配，所述监控结果处理模块还用于：

调整所述企业即时通讯消息的发送方的消息发送权限；

和/或

将所述企业即时通讯消息存储在敏感消息列表中，所述敏感消息列表用于更新与所述目标词语进行比对的预设敏感词库；

和/或

发送提示信息，所述提示信息用于指示当前发送存在敏感词的企业即时通讯消息；

和/或

将所述企业即时通讯消息存储在敏感消息列表中，输出所述敏感消息列表至对所述企业即时通讯消息进行监控的服务器。

10.一种服务器，其特征在于，所述服务器包括：通信接口和处理器；

所述通信接口，用于接收企业即时通讯消息；

所述处理器，用于识别所述企业即时通讯消息的消息类型；若所述消息类型指示所述企业即时通讯消息对应一幅图片，对所述图片中的文本内容和事物内容进行识别，得到所述图片关联的各个词语以及所述各个词语的置信度，所述事物内容指示所述图片中除所述文本内容之外的内容；基于所述各个词语的置信度，从所述各个词语中选择至少一个目标词语；若所述至少一个目标词语与预设敏感词库中的敏感词匹配，控制所述图片中与所述敏感词相对应的内容不可见。

Images