CN110717137B - 一种消息的分发处理方法及消息*** - Google Patents

一种消息的分发处理方法及消息*** Download PDF

Info

Publication number
CN110717137B
CN110717137B CN201910957067.7A CN201910957067A CN110717137B CN 110717137 B CN110717137 B CN 110717137B CN 201910957067 A CN201910957067 A CN 201910957067A CN 110717137 B CN110717137 B CN 110717137B
Authority
CN
China
Prior art keywords
message
distributed
messages
different
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910957067.7A
Other languages
English (en)
Other versions
CN110717137A (zh
Inventor
曹翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201910957067.7A priority Critical patent/CN110717137B/zh
Publication of CN110717137A publication Critical patent/CN110717137A/zh
Application granted granted Critical
Publication of CN110717137B publication Critical patent/CN110717137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种消息的分发处理方法及消息***。消息的分发处理方法,包括:获得不同消息源传输的多个消息;其中,每个所述消息均具有对应的消息标签;根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息的待分发消息集;对所述待分发消息进行分发。在本申请中,在获得不同消息源传输的多个消息之后,会基于每个消息具有的消息标签,将获得的消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息集。然后再将待分发消息进行分发。与现有方式相比,本申请提供的消息的分发处理方法能够对获得的消息进行归类,再根据归类结果,对待分发消息进行分发,减少了消息误传漏传的情况。

Description

一种消息的分发处理方法及消息***
技术领域
本申请涉及数据处理领域,具体而言,涉及一种消息的分发处理方法及消息***。
背景技术
如何通过将各平台的犯罪信息结果经过消息平台分发到各个办案部门中的设计,成为了破获案件的至关重要的一环。现有的消息平台在获取到消息后只是简单的进行传递,并未对消息进行管理,且常出现误传漏传的情况。
发明内容
本申请实施例的目的在于提供一种消息的分发处理方法及消息***,以改善“现有的消息平台在获取到消息后只是简单的进行传递,并未对消息进行管理,且常出现误传漏传的情况”的问题。
本发明是这样实现的:
第一方面,本申请实施例提供一种消息的分发处理方法,所述方法包括:获得不同消息源传输的多个消息;其中,每个所述消息均具有对应的消息标签;根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息的待分发消息集;对所述待分发消息进行分发。
在本申请中,在获得不同消息源传输的多个消息之后,会基于每个消息具有的消息标签,将获得的消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息集。然后再将待分发消息进行分发。与现有方式相比,本申请实施例提供的消息的分发处理方法能够对获得的消息进行归类,再根据归类结果,对待分发消息进行分发,减少了消息误传漏传的情况。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述消息标签包括消息类型及消息生成时刻,所述根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息的待分发消息集,包括:根据所述消息类型,对所述多个消息进行聚合,生成所述待分发消息;根据所述消息生成时刻,对具有相同的所述消息类型的所述待分发消息进行排序,通过分别对应不同的所述消息类型的待分发消息形成所述待分发消息集。
在本申请中,通过根据消息生成时刻,对具有相同的消息类型的待分发消息进行排序,便于后续消息平台基于消息生成时刻对待分发消息进行分发,能够提高消息分发的及时性,避免出现通过消息随机分发的方式而导致很早就获取到消息未能及时分发的情况。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述对所述待分发消息进行分发之前,所述方法还包括:对所述待分发消息的内容中进行语义干预。
在本申请中,通过对待分发消息的内容中进行语义干预,以使分发出去的消息的内容符合规范和/或容易对行业内的人员辨识。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述对所述待分发消息的内容中进行语义干预,包括:获取所述待分发消息的内容中的敏感词;将所述敏感词替换为预设字符。
在本申请中,通过获取待分发消息的内容中的敏感词,再将敏感词替换为预设字符,使得后续分发出去的消息是符合规定的。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述对所述待分发消息的内容中进行语义干预,包括:获取所述待分发消息的内容中的关键词;将所述关键词替换为预设用词。
在本申请中,通过获取待分发消息的内容中的关键词,再将关键词替换为预设用词,便于行业内的人员辨识。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述消息平台包括搜索引擎;相应的,在所述对所述待分发消息进行分发之前,所述方法还包括:将所述待分发消息集存储在所述搜索引擎中。
在本申请中,通过将所述待分发消息集存储在所述搜索引擎中,实现了对待分发消息的管理,增强过程的控制。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述获得不同消息源传输的多个消息包括:根据与所述不同消息源之间对应的协议接口,主动获取所述不同消息源传输的所述多个消息。
在本申请中,通过设置不同的协议接口主动获取各个消息源中的消息。解决了某些消息源在获取到相关消息后,不能及时的将消息传输给消息平台,进而导致消息平台所获取的消息不完善,消息平台获取的信息渠道不全等问题。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,在所述主动获取所述不同消息源传输的所述多个消息之后,所述方法还包括:获取主动获取所述不同消息源传输的每个所述消息的响应时间;判断所述响应时间是否大于预设阈值;若是,发出预警。
在本申请中,通过设定预设阈值,判断主动获取不同消息源传输的每个消息的响应时间,进而实现了对消息平台主动获取数据的性能的检测,便于后续第消息平台的优化。
结合上述第一方面提供的技术方案,在一些可能的实现方式中,所述消息标签还包括消息传递方式,相应的,所述对所述待分发消息进行分发,包括:根据所述待分发消息的消息传递方式,对所述待分发消息进行分发。
在本申请中,根据所述待分发消息的消息传递方式,对所述待分发消息进行分发,能够便于对消息的查阅。
第二方面,本申请实施例提供一种消息***,包括消息平台和多个消息源,所述消息平台与所述多个消息源之间通信连接,所述消息平台用于执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
第三方面,本申请实施例提供一种服务器,包括:处理器和存储器,所述处理器和所述存储器连接;所述存储器用于存储程序;所述处理器用于调用存储在所述存储器中的程序,执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
第四方面,本申请实施例提供一种存储介质,其上存储有计算机程序,所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种消息***的结构示意图。
图2为本申请实施例提供的一种服务器的结构示意图。
图3为本申请实施例提供的一种消息的分发处理方法的步骤流程图。
图4为本申请实施例提供的另一种消息的分发处理方法的步骤流程图。
图标:100-消息***;10-消息平台;20-消息源;101-服务器;111-处理器;112-存储器;113-通信总线。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
申请人发现:现有的消息平台在获取到消息后只是简单的进行传递,并未对消息进行管理,且常出现误传漏传的情况。
鉴于上述问题,申请人经过研究探索,提出以下实施例以解决上述问题。
请参考图1,本申请实施例提供一种消息***100。该消息***100包括消息平台10以及多个消息源20。消息平台10与多个消息源20通信连接,也即消息平台10与多个消息源20通过网络实现数据交互。可以理解,消息平台10与消息源20之间的数据交互,可以是由消息平台10主动获取消息源20的信息,或者消息平台10被动接收消息源20传输的信息,本申请对此不做限定。
需要说明的是,上述的消息源20是一些信息平台,比如警务物流平台、智慧城市、禁毒平台、盗抢平台、警务云平台等等。需要解释的是智慧城市起源于传媒领域,是指利用各种信息技术或创新概念,将城市的***和服务打通、集成,以提升资源运用的效率,优化城市管理和服务,以及改善市民生活质量。智慧城市是把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新的城市信息化高级形态,实现信息化、工业化与城镇化深度融合。
上述的信息平台中包括各种各样不同类型的数据信息,这些数据信息中包括物流消息、邮件消息、短信消息等等。消息平台10用于获取得到各个消息源20中的消息。进而对消息进行识别,将包含犯罪信息的消息经消息平台发送至办案部门。
需要说明的是,消息平台10由服务器101构成,请参阅图2,该服务器101包括至少一个处理器111,至少一个存储器112、至少一个通信总线113。其中,通信总线113用于实现这些组件直接的连接通信。存储器112可以是高速RAM存储器,也可以是非易失性存储器(non-volatile memory)或可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),又比如存储器112可以至少一个磁盘存储器。其中,存储器112中存储有计算机可读取指令。所述处理器111用于执行存储器112中存储的可执行模块。例如处理器111用于获得不同消息源传输的多个消息;其中,每个所述消息均具有对应的消息标签。处理器111还用于根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息的待分发消息集。处理器111还用于对所述待分发消息进行分发。
上述的处理器111可以是一种集成电路芯片,具有信号处理能力。比如可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图3,本申请实施例提供一种消息的分发处理方法,应用于上述消息***100中的消息平台10。该方法包括:步骤S101-步骤S103。
步骤S101:获得不同消息源传输的多个消息。
在上述介绍中,阐明了消息源是一些信息平台,比如警务物流平台、智慧城市、禁毒平台、盗抢平台、警务云平台等等,信息平台中包括各种各样不同类型的数据信息,这些数据信息中包括物流消息、邮件消息、短信消息等等。因此,首先消息平台会获取得到各个消息源中的消息。其中,每个消息源中的消息都具有对应的消息标签。比如该消息的来源(来源表示从哪一个信息平台获取得到的消息)、消息类型(比如缉毒消息、治安消息、诈骗消息等等)、消息的生成时刻、消息的分发点(消息需要分发到的办案部门)等等。
步骤S102:根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息的待分发消息集。
在获取到不同消息源传输的多个消息后,根据每个消息具有的消息标签,将消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息的待分发消息集。
可以理解,根据所述消息标签,对所述多个消息进行聚合处理,可以是根据消息标签对多个消息进行归类,或者在根据消息标签对多个消息进行归类后,将归入同一类的消息进行合并,本申请对此不做限定。
例如,根据消息标签对多个消息进行归类时,生成的待分发消息集中包括很多待分发消息子集,每一个待分发消息子集的消息中都具有相同的消息标签。
消息标签可以是消息类型,消息来源,消息去处等等。
以根据所述消息标签对所述多个消息进行聚合处理为根据消息标签对多个消息进行归类为例,当消息标签为消息类型时,根据消息类型对多个消息进行聚合处理,生成包括分别对应不同消息类型的待分发消息子集的待分发消息集。生成的待分发消息集中的每一个待分发消息子集中的消息都具有相同的消息类型,比如,某一个待分发消息子集中的消息都是缉毒消息、又比如某一个待分发消息子集中的消息都是治安消息。
以根据所述消息标签对所述多个消息进行聚合处理为根据消息标签对多个消息进行归类为例,当消息标签为消息来源时,根据消息的来源对多个消息进行聚合处理,生成包括分别对应不同消息的来源的待分发消息子集的待分发消息集。生成的待分发消息集中的每一个待分发消息子集中的消息都具有相同的消息的来源,比如,某一个待分发消息子集中的消息都是来源于警务物流平台、又比如某一个待分发消息子集中的消息都是来源于智慧城市。
步骤S103:对所述待分发消息进行分发。
待生成待分发消息集之后,对待分发消息集中的根据消息标签进行归类生成的待分发消息子集或者根据消息标签进行归类后并将归入同一类的消息进行合并后生成的待分发消息进行分发。以使消息分发至办案部门中。比如将A消息分发至公安部门、将B消息分发至科研所等等。
在上述实施例中,在获得不同消息源传输的多个消息之后,会基于每个消息具有的消息标签,将获得的消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息(待分发消息子集)的待分发消息集。然后再将待分发消息(待分发消息子集)进行分发。与现有方式相比,本申请实施例提供的消息的分发处理方法能够对获得的消息进行归类,再根据归类结果,对待分发消息进行分发,减少了消息误传漏传的情况。
申请人在实际研究中还发现,在搭建完成消息平台后,在与消息源进行对接时,需要依靠各个消息源背后的运维人员对消息进行传输。比如警务物流平台、智慧城市、禁毒平台、都是有运维团队实时进行运维的,在这些平台获取到消息后,通过运维人员将消息发送给消息平台。而盗抢平台、警务云平台可能并没有运维团队进行实时的运维。因此,当盗抢平台、警务云平台获取到相关消息后,不能及时的将消息传输给消息平台。这样就带来了消息平台所获取的消息不完善,消息平台获取的信息渠道不全等问题。
因此,作为一种可选的实施方式,上述步骤S101可以包括:根据与所述不同消息源之间对应的协议接口,主动获取所述不同消息源传输的所述多个消息。
也即通过设置不同的协议接口主动获取各个消息源中的消息。本申请实施例提供HTTP、MQ(Kafka,RabbitMQ等)、SQL(Mysql,Oracle,Pgsql等)、Socket、Netty等协议接口。
下面对重要用词进行解释。
HTTP是一个简单的请求-响应协议,它通常运行在传输控制协议(TransmissionControl Protocol,TCP)之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。
MQ是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。
SQL(Structured Query Language、结构化查询语言),是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库***。
socket(套接字)是一个抽象层,应用程序可以通过它发送或接收数据,可对其进行像对文件一样的打开、读写和关闭等操作。套接字允许应用程序将I/O***到网络中,并与网络中的其他应用程序进行通信。网络套接字是IP地址与端口的组合。
Netty是一个java(计算机编程语言)开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。
在本申请实施例中,通过设置不同的协议接口主动获取各个消息源中的消息。解决了某些消息源在获取到相关消息后,不能及时的将消息传输给消息平台,进而导致消息平台所获取的消息不完善,消息平台获取的信息渠道不全等问题。
此外,消息平台在主动获取消息源的消息时,还会根据不同的消息源灵活的选用对应的协议进行对接。比如A消息源中的消息以日志的形式存储,那么消息平台可以采用flume(日志收集***)方式对日志的内容逐行进行收集,进而主动获取到A消息源的消息。flume(日志收集***)方式对日志的内容逐行进行收集相比选用其他的协议进行对接,能够减轻了A消息源的服务器的负载压力。又比如,B消息源中消息以大数据形式存储,消息平台可以根据定时任务task的方式进行获取,进行hbase(一个高可靠性、高性能、面向列、可伸缩的分布式存储***)或者hive(数据仓库工具)进行与B消息源进行链接。
可选地,为了对消息平台主动获取数据的性能的检测,便于后续对消息平台的优化,在上述根据与所述不同消息源之间对应的协议接口,主动获取不同消息源传输的多个消息之后,该方法还包括:获取主动获取所述不同消息源传输的每个所述消息的响应时间,然后判断相应时间是否大于预设阈值。若是,在发出预警。
也即,本申请实施例中,会针对消息平台主动获取消息的响应时间进行检测,比如设定消息平台获取消息的响应时间的预设阈值为50毫秒,如果在实际获取数据过程中检测发现消息平台获取到消息的响应时间为120毫秒,则会发出预警。如果在实际获取数据过程中检测发现消息平台获取到消息的响应时间为40毫秒,则不会发出预警,表示消息平台获取消息的响应时间正常。
需要说明的是,预设阈值可以根据实际情况来设定,比如在其他实施例中,预设阈值可以是50毫秒、60毫秒或者是100毫秒。
当然,该消息平台同样可以采用被动获取消息的方式,也即,消息源将数据发送给消息平台。消息平台支持日志、文件内容的Flume工具,支持Ftp服务器上的文件拉取,Cloud云***的数据采集。
可选地,在其他实施例中,将主动获取消息的方式与被动获取消息的方式相结合,使得该消息平台可以涵盖所有消息源,也即主动或被动的获取所有信息平台的消息。
请参阅图4,在一种示例性实施例中,每一个消息的消息标签中包括消息类型及消息生成时刻,相应的,上述步骤S102根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息集还可以包括以下步骤:步骤S201-步骤S202。
步骤S201:根据所述消息类型,对所述多个消息进行聚合,生成所述待分发消息。
消息类型包括缉毒消息、治安消息、诈骗消息等,可以根据不同的消息类型将获取到的消息进行聚合。
在获取到不同消息源传输的多个消息后,根据每个消息中具有的消息标签中的消息类型,将消息进行聚合处理,生成包括分别对应不同消息类型的待分发消息(待分发消息子集)待分发消息集。也即生成的待分发消息集中包括很多待分发消息子集,每一个待分发消息子集的消息中都具有相同的消息类型。比如,某一个待分发消息子集中的消息都是缉毒消息、又比如某一个待分发消息子集中的消息都是治安消息。
步骤S202:根据所述消息生成时刻,对具有相同的所述消息类型的所述待分发消息进行排序,通过分别对应不同的所述消息类型的待分发消息形成所述待分发消息集。
在根据所述消息类型,对所述多个消息进行聚合,生成所述待分发消息之后,可以进一步根据消息生成时刻,对具有相同的消息类型的消息进行排序。需要说明的是,消息生成时刻为获取到该消息的时刻。根据消息生成时刻对具有相同的消息类型的待分发消息进行排序是根据消息生成时刻的先后顺序进行排序,消息生成时刻越早,排序越靠前,也即获取到该消息的时刻越早,则排序越靠前。比如,A待分发消息的消息生成时刻为2019-9-2510:55:28,B待分发消息的消息生成时刻为2019-9-25 10:55:33,则A待分发消息排在B待分发消息之前。然后将同一消息类型的全部消息进行排序。
在本申请实施例中,通过根据消息生成时刻,对具有相同的消息类型的待分发消息进行排序,便于后续消息平台基于消息生成时刻对待分发消息进行分发,能够提高消息分发的及时性,避免出现通过消息随机分发的方式而导致很早就获取到消息未能及时分发的情况。
当然在其他实施例中,上述步骤S102根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息(待分发消息子集)的待分发消息集还可以是根据消息的来源,对所述多个消息进行聚合,生成所述待分发消息(待分发消息子集);再根据所述消息生成时刻,对具有相同的所述消息来源的所述待分发消息进行排序,通过分别对应不同的所述消息来源的待分发消息(待分发消息子集)形成所述待分发消息集。还可以是根据消息的分发点(即,消息去处),对所述多个消息进行聚合,生成所述待分发消息(待分发消息子集);再根据所述消息生成时刻,对具有相同的所述消息去处的所述待分发消息进行排序,通过分别对应不同的所述消息去处的待分发消息(待分发消息子集)形成所述待分发消息集。
当然,在其他实施例中,根据消息生成时刻对具有相同的消息类型的待分发消息进行排序是根据消息生成时刻的先后顺序进行排序,根据消息生成时刻的先后顺序进行排序也可以是消息生成时刻越早,排序越靠后,也即获取到该消息的时刻越早,则排序越靠后。对此,本申请均不作限定。
在一种示例性实施例中,在步骤S103之前,也即在对所述待分发消息进行分发之前,所述方法还包括:对所述待分发消息的内容中进行语义干预。
在对所述待分发消息进行分发之前,会对待分发消息执行语义干预、判断待分发消息内容是否满足语义干预条件,也即判断待分发消息内容中是否有需要干预的词汇,相关公式为:
oldMessage.indexOf(key)?oldMessage.replace(key,value):oldMessage
其中,key表示需要干预的词汇,value表示替换后词汇。
所谓语义干预是指对待分发消息的内容进行语义审核调整,以使分发出去的消息的内容符合规范和/或容易对行业内的人员辨识。
可选地,作为一种语义干预的方法,上述对所述待分发消息的内容中进行语义干预,包括:获取所述待分发消息的内容中的敏感词;将所述敏感词替换为预设字符。
也即在获取到的待分发消息的内容中,逐字逐句的查找待分发消息的内容中是否有敏感词,若有的话,将敏感词替换为预设字符。
需要说明的是,上述的敏感词包括带有政治倾向、不健康色彩的词汇,或者是消息平台根据实际情况设定的特殊词汇(如部分网络流行词)。上述的预设字符可以是“*”或者是“#”,又或者是数字,比如数字2、数字1,又或者是英文字母,如字母C、字母Q。对此,本申请不作限定。
在本申请实施例中,通过获取待分发消息的内容中的敏感词,再将敏感词替换为预设字符,使得后续分发出去的消息是符合规定的。
可选地,作为另一种语义干预的方法,上述对所述待分发消息的内容中进行语义干预,包括:获取所述待分发消息的内容中的关键词;将所述关键词替换为预设用词。
也即在获取到的待分发消息的内容中,逐字逐句的查找待分发消息的内容中是否有关键词,若有的话,将关键词替换为预设用词。
需要说明的是,关键词包括一些口语化的词汇,而预设用词为行业内的人员的专有用词,比如,将关键词“测试”替换为“刑侦”;“查找”替换为“侦查”等等。
在本申请实施例中,通过获取待分发消息的内容中的关键词,再将关键词替换为预设用词,便于行业内的人员辨识。
可选地,为了后续对待分发消息进行查找以及管理,在待分发消息生成后,会对待分发消息进行归档操作。相应的,消息平台还包括搜索引擎。该方法还包括:将所述待分发消息集存储在所述搜索引擎中。再将该消息存储在搜索引擎中后,还需要创建相关索引,来提高搜索的命中率。比如根据待分发消息的消息标题,待分发消息的类型等,对此,本申请不作限定。
可选地,该搜索引擎为ES(ElasticSearch)ElasticSearch是一个基于Lucene(全文检索引擎工具包)的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎。ES支持中文的拆分词分析,因此ES也支持中文的搜索操作。
当然,在其他实施例中,该搜索引擎还可以选用SOLR。本申请也不作限定。
在本申请实施例中,通过将所述待分发消息集存储在所述搜索引擎中,实现了对待分发消息的管理,增强过程的控制。
可选地,当消息标签中还包括消息传递方式时,上述步骤S103可以包括:根据所述待分发消息的消息传递方式,对所述待分发消息进行分发。
其中,消息传递方式包括短信方式、邮箱方式或者通过网页方式等等。消息平台根据待分发消息的消息传递方式,将待分发消息的以相同的消息传递方式进行分发。
消息平台可以包括http,Email,im(Intelligent Manufacturing,人机一体化智能***),sms(Short Message Service,短信息服务),websocket(一种在单个TCP连接上进行全双工通信的协议)等消息分发方式。
下面举例进行说明,比如,D待分发消息是邮箱方式的消息,D待分发消息需要分发至A派出所,消息平台会获取到A派出所的邮箱地址,然后将该D待分发消息以邮件的方式分发至A派出所的邮箱地址。
在本申请实施例中,根据所述待分发消息的消息传递方式,对所述待分发消息进行分发,能够便于对消息的查阅。
基于同一发明构思,本申请实施例还提供一种存储介质,其上存储有计算机程序,计算机程序在被运行时执行上述实施例中提供的方法。
该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种消息的分发处理方法,应用于消息平台,所述方法包括:
获得不同消息源传输的多个消息;其中,每个所述消息均具有对应的消息标签;
根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息的待分发消息集;
对所述待分发消息进行分发,以使所述待分发消息发送至不同的部门;
其中,所述获得不同消息源传输的多个消息包括:
根据与所述不同消息源之间对应的协议接口,主动获取所述不同消息源传输的所述多个消息;
被动获取所述消息;其中,所述消息平台支持日志、文件内容的Flume工具,支持Ftp服务器上的文件拉取,Cloud云***的数据采集。
2.根据权利要求1所述的方法,其特征在于,所述消息标签包括消息类型及消息生成时刻,所述根据所述消息标签,对所述多个消息进行聚合处理,生成包括分别对应不同所述消息标签的待分发消息的待分发消息集,包括:
根据所述消息类型,对所述多个消息进行聚合,生成所述待分发消息;
根据所述消息生成时刻,对具有相同的所述消息类型的所述待分发消息进行排序,通过分别对应不同的所述消息类型的待分发消息形成所述待分发消息集。
3.根据权利要求1所述的方法,其特征在于,所述对所述待分发消息进行分发之前,所述方法还包括:
对所述待分发消息的内容中进行语义干预。
4.根据权利要求3所述的方法,其特征在于,所述对所述待分发消息的内容中进行语义干预,包括:
获取所述待分发消息的内容中的敏感词;
将所述敏感词替换为预设字符。
5.根据权利要求3所述的方法,其特征在于,所述对所述待分发消息的内容中进行语义干预,包括:
获取所述待分发消息的内容中的关键词;
将所述关键词替换为预设用词。
6.根据权利要求1所述的方法,其特征在于,所述消息平台包括搜索引擎;相应的,在所述对所述待分发消息进行分发之前,所述方法还包括:
将所述待分发消息集存储在所述搜索引擎中。
7.根据权利要求1所述的方法,其特征在于,在所述主动获取所述不同消息源传输的所述多个消息之后,所述方法还包括:
获取主动获取所述不同消息源传输的每个所述消息的响应时间;
判断所述响应时间是否大于预设阈值;
若是,发出预警。
8.根据权利要求1所述的方法,其特征在于,所述消息标签还包括消息传递方式,相应的,所述对所述待分发消息进行分发,包括:
根据所述待分发消息的消息传递方式,对所述待分发消息进行分发。
9.一种消息***,其特征在于,包括消息平台和多个消息源,所述消息平台与所述多个消息源之间通信连接,所述消息平台用于执行如1-8中任一项所述的方法。
CN201910957067.7A 2019-10-09 2019-10-09 一种消息的分发处理方法及消息*** Active CN110717137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910957067.7A CN110717137B (zh) 2019-10-09 2019-10-09 一种消息的分发处理方法及消息***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910957067.7A CN110717137B (zh) 2019-10-09 2019-10-09 一种消息的分发处理方法及消息***

Publications (2)

Publication Number Publication Date
CN110717137A CN110717137A (zh) 2020-01-21
CN110717137B true CN110717137B (zh) 2022-08-09

Family

ID=69212406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957067.7A Active CN110717137B (zh) 2019-10-09 2019-10-09 一种消息的分发处理方法及消息***

Country Status (1)

Country Link
CN (1) CN110717137B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833561A (zh) * 2010-02-12 2010-09-15 西安电子科技大学 面向自然语言处理的语义Web服务智能代理
CN102209292A (zh) * 2010-03-29 2011-10-05 索尼公司 无线通信设备、信息分发***和程序
CN103020159A (zh) * 2012-11-26 2013-04-03 百度在线网络技术(北京)有限公司 一种面向事件的新闻展现方法和装置
WO2015065383A1 (en) * 2013-10-30 2015-05-07 Intel Corporation Processing of messages using theme and modality criteria
CN106897424A (zh) * 2017-02-24 2017-06-27 北京时间股份有限公司 信息标注***及方法
CN109614529A (zh) * 2018-11-30 2019-04-12 武汉推杰网络科技有限公司 一种基于企业信息的多层级数据处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833561A (zh) * 2010-02-12 2010-09-15 西安电子科技大学 面向自然语言处理的语义Web服务智能代理
CN102209292A (zh) * 2010-03-29 2011-10-05 索尼公司 无线通信设备、信息分发***和程序
CN103020159A (zh) * 2012-11-26 2013-04-03 百度在线网络技术(北京)有限公司 一种面向事件的新闻展现方法和装置
WO2015065383A1 (en) * 2013-10-30 2015-05-07 Intel Corporation Processing of messages using theme and modality criteria
CN106897424A (zh) * 2017-02-24 2017-06-27 北京时间股份有限公司 信息标注***及方法
CN109614529A (zh) * 2018-11-30 2019-04-12 武汉推杰网络科技有限公司 一种基于企业信息的多层级数据处理方法

Also Published As

Publication number Publication date
CN110717137A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
US11165806B2 (en) Anomaly detection using cognitive computing
US10613719B2 (en) Generating a form response interface in an online application
CN109254982A (zh) 一种流数据处理方法、***、装置及计算机可读存储介质
CN111859384B (zh) 异常事件监控方法、装置、计算机设备及存储介质
US8977620B1 (en) Method and system for document classification
US20210385251A1 (en) System and methods for integrating datasets and automating transformation workflows using a distributed computational graph
US11042525B2 (en) Extracting and labeling custom information from log messages
US10764186B2 (en) Augmenting functionality in distributed systems with payload headers
US20210136121A1 (en) System and method for creation and implementation of data processing workflows using a distributed computational graph
US10031901B2 (en) Narrative generation using pattern recognition
CN112162965A (zh) 一种日志数据处理的方法、装置、计算机设备及存储介质
US20170289175A1 (en) System and method for enhanced display-screen security and privacy
US9922116B2 (en) Managing big data for services
US10225357B2 (en) Compact data structures for push notifications
CN111753070A (zh) 一种服务器监控日志处理的***和方法
US11057331B2 (en) Construction of global internet message threads
US20130145289A1 (en) Real-time duplication of a chat transcript between a person of interest and a correspondent of the person of interest for use by a law enforcement agent
JP6078485B2 (ja) 運用履歴分析装置及び方法及びプログラム
CN110717137B (zh) 一种消息的分发处理方法及消息***
Girish et al. Extreme event detection and management using twitter data analysis
US11888895B2 (en) Using neural networks to process forensics and generate threat intelligence information
CN114153938A (zh) 一种用于非结构化数据的采集方法及其***
US11835989B1 (en) FPGA search in a cloud compute node
US11886229B1 (en) System and method for generating a global dictionary and performing similarity search queries in a network
US20220391918A1 (en) Communication channel systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant