CN110868336A - 数据管理方法、装置和计算机可读存储介质 - Google Patents

数据管理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN110868336A
CN110868336A CN201911095239.0A CN201911095239A CN110868336A CN 110868336 A CN110868336 A CN 110868336A CN 201911095239 A CN201911095239 A CN 201911095239A CN 110868336 A CN110868336 A CN 110868336A
Authority
CN
China
Prior art keywords
information
data
analyzed
message
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911095239.0A
Other languages
English (en)
Other versions
CN110868336B (zh
Inventor
李小保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN201911095239.0A priority Critical patent/CN110868336B/zh
Publication of CN110868336A publication Critical patent/CN110868336A/zh
Application granted granted Critical
Publication of CN110868336B publication Critical patent/CN110868336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/18Protocol analysers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供一种数据管理方法、装置和计算机可读存储介质,涉及轨道交通的数据传输领域。该数据管理方法应用于节点,该方法包括:接收第一传感器按照预设传输协议发送的待解析数据报文;待解析数据报文包括第一传感器的设备信息和传感器采集的数据信息;根据待解析数据报文,获取设备信息以及数据信息的通信协议信息;根据通信协议信息,解析待解析数据报文,以获取数据信息;根据设备信息,将数据信息存储至目标消息队列。通过识别数据报文的通信协议类型,按照相应的通信协议对数据报文进行解析,进而获取数据信息并存储至设备信息对应的消息队列,可以极大的提高数据传输效率,减少专业人士的工作量。

Description

数据管理方法、装置和计算机可读存储介质
技术领域
本申请涉及轨道交通的数据传输领域,具体而言,涉及数据管理方法、装置和计算机可读存储介质。
背景技术
在针对面向轨交行业的物联网领域中,通常会有大量传感器数据需要采集。因为这些传感器监控着各种线上运行设备的运行状态,需要将数据进行实时传输,然后通过数据分析软件对数据进行实时在线分析,监控设备运行状态,从而避免不必要的故障,提高生产效率,避免不必要的安全问题。
在不同的物联网领域,每个设备都会有几十个或者多的有成千上万个传感器,那么收集传感器数据将会是一项具有挑战性的任务。不同设备、不同物联网领域会使用不同的传输协议,其中的通信协议也是千奇百怪,这就造成了以下的问题:人工基于通信以及传输协议实现数据接收功能,其编码量大、开发周期长、代码重复量多且容易出错;在通信协议或者传输协议变更时,需要重新实现编码来接收数据,会造成大量重复劳动,占用开发时间;此外由于,解析逻辑各不相同,为每种设备单独编写通信协议的解码器,工作量很大。因此,如何根据不同的传输协议以及通信协议来进行数据传输和解析,减少对专业人员的依赖性和提高数据传输效率是目前需要解决的问题。
发明内容
为了至少克服现有技术中的上述不足,本申请的目的之一在于提供一种数据管理方法、装置和计算机可读存储介质。
第一方面,实施例提供一种数据管理方法,应用于节点,所述方法包括:接收第一传感器按照预设传输协议发送的待解析数据报文;所述待解析数据报文包括所述第一传感器的设备信息和所述传感器采集的数据信息;根据所述待解析数据报文,获取所述设备信息以及所述数据信息的通信协议信息;根据所述通信协议信息,解析所述待解析数据报文,以获取所述数据信息;根据所述设备信息,将所述数据信息存储至目标消息队列。
在可选的实施方式中,所述节点维护有多个传感器的传输协议信息和所述节点的多个数据传输端口的第一对应关系,所述传输协议信息用于确定所述多个传感器的传输协议类型。在所述接收第一传感器按照预设传输协议发送的待解析数据报文之前,所述方法还包括:根据所述第一对应关系,发送所述传输协议信息和接收地址信息至所述第一传感器,以使所述第一传感器按照所述预设传输协议发送所述待解析数据报文至与所述接收地址信息对应的目标传输端口。
在可选的实施方式中,所述待解析数据报文具有固定标识字段,所述根据所述待解析数据报文,获取所述设备信息以及所述数据信息的通信协议信息,包括:识别所述固定标识字段,获取所述设备信息以及所述通信协议信息。
在可选的实施方式中,所述节点维护有设备类型与消息队列的第二对应关系,所述根据所述设备信息,将所述数据信息存储至目标消息队列,包括:判断所述设备信息与所述第二对应关系中的所述设备类型是否匹配;若匹配,则将所述数据信息存储至与所述设备信息对应的第一消息队列;若不匹配,则创建与设备信息对应的第二消息队列,并将所述数据信息存储至所述第二消息队列。
在可选的实施方式中,所述方法还包括:获取所述目标消息队列中的符合预设条件的第一数据;将所述第一数据存储至所述节点的数据缓存模块。
在可选的实施方式中,所述方法还包括:获取所述数据信息对应的资源消耗信息;所述资源消耗信息表征所述节点接收所述数据信息时,占用的节点资源信息;按照时间序列,存储所述资源消耗信息。
第二方面,实施例提供一种数据管理装置,包括:通信模块和处理模块。所述通信模块用于接收第一传感器按照预设传输协议发送的待解析数据报文;所述待解析数据报文包括所述第一传感器的设备信息和所述传感器采集的数据信息;所述处理模块用于根据所述待解析数据报文,获取所述设备信息以及所述数据信息的通信协议信息;所述处理模块还用于根据所述通信协议信息,解析所述待解析数据报文,以获取所述数据信息;所述处理模块还用于根据所述设备信息,将所述数据信息存储至目标消息队列。
在可选的实施方式中,所述数据管理装置维护有多个传感器的传输协议信息和所述节点的多个数据传输端口的第一对应关系,所述传输协议信息用于确定所述多个传感器的传输协议类型;所述处理模块还用于根据所述第一对应关系,发送所述传输协议信息和接收地址信息至所述第一传感器,以使所述第一传感器按照所述预设传输协议发送所述待解析数据报文至与所述接收地址信息对应的目标传输端口。
在可选的实施方式中,还包括:判断模块。所述数据管理装置维护有设备类型与消息队列的第二对应关系;所述判断模块用于判断所述设备信息与所述第二对应关系中的所述设备类型是否匹配;所述处理模块还用于当所述设备信息与所述第二对应关系中的所述设备类型匹配时,将所述数据信息存储至与所述设备信息对应的第一消息队列;所述处理模块还用于当所述设备信息与所述第二对应关系中的所述设备类型不匹配时,创建与设备信息对应的第二消息队列,并将所述数据信息存储至所述第二消息队列。
第三方面,实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的数据管理方法。
本申请提供一种数据管理方法、装置和计算机可读存储介质,涉及轨道交通的数据传输领域。该数据管理方法应用于节点,该方法包括:接收第一传感器按照预设传输协议发送的待解析数据报文;待解析数据报文包括第一传感器的设备信息和传感器采集的数据信息;根据待解析数据报文,获取设备信息以及数据信息的通信协议信息;根据通信协议信息,解析待解析数据报文,以获取数据信息;根据设备信息,将数据信息存储至目标消息队列。通过识别数据报文的通信协议类型,按照相应的通信协议对数据报文进行解析,进而获取数据信息并存储至设备信息对应的消息队列,可以极大的提高数据传输效率,减少专业人士的工作量。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种数据管理方法的流程示意图;
图2为本申请实施例提供的另一种数据管理方法的流程示意图;
图3为本申请实施例提供的另一种数据管理方法的流程示意图;
图4为本申请实施例提供的另一种数据管理方法的流程示意图;
图5为本申请实施例提供的另一种数据管理方法的流程示意图;
图6为本申请实施例提供的另一种数据管理方法的流程示意图;
图7为本申请实施例提供的一种节点的数据传输示意图;
图8为本申请实施例提供的一种数据管理装置的方框示意图;
图9为本申请实施例提供的另一种数据管理装置的方框示意图。
图标:40-数据管理装置,41-通信模块,42-处理模块,43-判断模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
现有技术实现数据接收,通常是开发人员要理解传输协议以及通信协议的解析规范,开发人员根据传输协议以及通信协议的解析规范,来实现准确的数据接收程序,开发人员根据传输协议以及通信协议的解析规范,写代码依次实现不同协议存储到不同的数据库中。显而易见的是,该种技术方案存在如下明显的缺点:需要手写代码,接入数据多了需要频繁的增加代码;协议变更时、列车变更新协议时,开发人员面临大量重复的工作;对开发人员强依赖,普通的业务人员无法完成数据接收工作;未考虑对协议进行统一的管理和维护。
某些物联网平台方案,会定义相应的页面,输入传输协议以及通信协议,具体过程如下:选择传输协议(TCP,UDP,MQTT等);输入通信协议,用于描述协议解析规范以及如何将数据切分;需要使用平台的软件开发工具包(Software Development Kit,SDK)来发送数据;通信协议比较固定,不适合协议多种多样的环境;页面的配置复杂。需要注意的是,该技术方案虽然也可以在页面配置,但是仍存在如下缺点:仍然要写代码,设备发送端需要集成SDK才能发送数据;SDK对于非开发人员不友好;无法适应多种协议并存的情况;未考虑对通信协议进行统一的管理和维护,不方便使用。
基于背景技术以及上述现有技术的客观缺点,本申请实施例提供一种数据管理方法,应用于节点。
该节点包括存储器、处理器和通信接口。该存储器、处理器和通信接口相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器可用于存储软件程序及模块,如本申请实施例所提供的数据管理方法对应的程序指令/模块,处理器通过执行存储在存储器内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口可用于与其他节点设备进行信令或数据的通信。在本申请中该节点可以具有多个通信接口。
其中,存储器可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
节点可以实现本申请提供的任一种数据管理方法。该节点可以是,但不限于,手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备等,在某些情况下,该节点也可以是运行在云端的处理节点。
请参见图1,图1为本申请实施例提供的一种数据管理方法的流程示意图,该数据管理方法包括:
S201、接收第一传感器按照预设传输协议发送的待解析数据报文。
待解析数据报文包括第一传感器的设备信息和传感器采集的数据信息。第一传感器是用于侦测环境中所生事件或变化,并将此消息发送出至其他电子设备的设备,通常由敏感组件和转换组件组成。在物联网领域中,需要被实时监控的物联网设备,可以是地铁行业的整列车,可以是车辆行业的列车,也可以是家庭中的某个智能家电。通常为了监控物联网设备的状态,会针对物联网设备安装大量的传感器。
S202、根据待解析数据报文,获取设备信息以及数据信息的通信协议信息。
应理解,上述的设备信息包括但不限于设备的编号和设备对应的类型等信息。
S203、根据通信协议信息,解析待解析数据报文,以获取数据信息。
S204、根据设备信息,将数据信息存储至目标消息队列。
可以理解的,对待解析数据报文进行处理,进而获取第一传感器的设备信息和数据信息的通信协议信息,通过该通信协议信息获取数据信息,同时使用设备信息判断出该数据信息属于哪类设备以及对应的协议名称并将数据信息存储至设备信息对应的目标消息队列,可以有效的减少重复劳动,极大的提高数据传输效率。
例如,可以使用运行在高性能网络框架下的协议编辑器来适配多种不同的通信协议,已有的通信协议可以通过编码等方式来兼容,新加的通信协议使其符合协议编辑器的规则即可;该高性能网络框架可以是,但不限于NETTY、MINA等。
在可选的实施方式中,为了确定传感器按照何种传输协议进行数据传输,在图1的基础上,以节点维护有多个传感器的传输协议信息和节点的多个数据传输端口的第一对应关系为例,该传输协议信息用于确定多个传感器的传输协议类型,请参见图2,图2为本申请实施例提供的另一种数据管理方法的流程示意图。在S201之前,该数据管理方法还包括:
S200、根据第一对应关系,发送传输协议信息和接收地址信息至第一传感器。
可以理解的,节点将传输协议信息和接收地址信息发送至第一传感器,使第一传感器按照预设传输协议发送待解析数据报文至与接收地址信息对应的目标传输端口。例如,上述的接收地址信息可以是目标传输端口的IP地址。上述的传输协议可以是,但不限于在网络中传输数据使用的标准协议,例如传输控制协议(Transmission ControlProtocol,TCP)、用户数据报是协议(User Datagram Protocol,UDP)等以及建立在他们之上的文件传输协议(File Transfer Protocol,FTP)、消息队列遥测传输(Message QueuingTelemetry Transpor,MQTT)、超文本传输安全协议(Hyper Text Transfer Protocol overSecure Socket Laye,HTTPS)等。
在可选的实施方式中,为了获取带解析数据报文包括的设备信息和通信协议信息,在图1的基础上,以待解析数据报文具有固定标识字段为例,请参见图3,图3为本申请实施例提供的另一种数据管理方法的流程示意图。上述的S202可以包括:
S202a、识别固定标识字段,获取设备信息以及通信协议信息。
可以理解的,通过读取固定标识字段,依据数据开头或者通信协议中指定的协议类型字段来判断出该数据信息属于哪类设备以及对应的协议名称。例如,可以使用协议解码器将获取到的通信协议部分数据进行解析,依据协议的信息将通信协议数据解析出来。
在可选的实施方式中,为了将数据信息存储至目标消息队列,在图1的基础上,以节点维护有设备类型与消息队列的第二对应关系为例,请参见图4,图4为本申请实施例提供的另一种数据管理方法的流程示意图。上述的S204可以包括:
S204a、判断设备信息与第二对应关系中的设备类型是否匹配。
若匹配,则执行S204b;若不匹配,则执行S204c。
S204b、将数据信息存储至与设备信息对应的第一消息队列。
S204c、创建与设备信息对应的第二消息队列,并将数据信息存储至第二消息队列。
为了便于理解上述的将数据信息存储至目标消息队列,本申请提供一种可能的实现方式,以设备信息包括设备编号为例,根据该设备编号确定数据信息属于已有的哪个消息队列,当已有的消息队列中均不与设备编号对应时,则节点可以调用数据库来创建一个新的消息队列(第二消息队列)来存储第一传感器的数据信息。
在可选的实施方式中,为了提高数据传输的效率,在图1的基础上述,给出一种可能的实现方式,请参见图5,图5为本申请实施例提供的另一种数据管理方法的流程示意图。该数据管理方法还包括:
S205、获取目标消息队列中的符合预设条件的第一数据。
S206、将第一数据存储至节点的数据缓存模块。
上述的预设条件可以是,但不限于类别为固定类别、数量满足一定阈值等。例如,可以将主数据中不经常变化的数据存储在内存中,加快数据的访问速度,减少访问主数据接口所需的时间,同时也会将数据统计模块的部分数据缓存到此,以便快速对外提供数据访问服务。
在可选的实施方式中,为了获取节点的资源使用情况,在图1的基础上,给出一种可能的实现方式,请参见图6,图6为本申请实施例提供的另一种数据管理方法的流程示意图。该数据管理方法还包括:
S207、获取数据信息对应的资源消耗信息。
该资源消耗信息表征节点接收数据信息时,占用的节点资源信息。
S208、按照时间序列,存储资源消耗信息。
例如,还可以周期性的统计上述的资源消耗信息,并保存为统计信息;还可以设置一个时序数据库,该时序数据库可以用于存储上述的统计信息和资源消耗信息等,以便对当前节点备的发送数据进行统计以及对资源消耗情况经行分析。
为了便于理解上述的数据管理方法,本申请实施例提供一种可能的较完整的实现方式,请参见图7,图7为本申请实施例提供的一种节点的数据传输示意图。节点中包括NETTY、协议适配器、协议解码器、数据存储模块、数据统计模块、数据缓存模块、消息队列和时序数据库等模块,数据缓存模块可以与主数据库模块连接。传感器按照指定端口以及传输协议发送数据(待解析数据报文)到高性能网络(NETTY)中,NETTY将收到的待解析数据报文发送到协议适配器确定协议类型及数据长度等信息,协议解码器根据通信协议信息的也正来判断使用什么协议来解析,数据存储模块可以将解析后的通信协议数据以及相关信息、原始数据进行存储,由消息队列进行保存。数据缓存模块可以获取设备、协议信息以及映射关系,当数据缓存模块中没有所需缓存数据时,可以从主数据库中拉取。数据统计模块可以统计一些必要信息,并将其保存到时序数据库中。
可以理解的,使用本申请提供的数据管理方法,可以简化数据接入流程,去除编码过程,从而降低开发成本,降低数据接收的处理门槛;还可以通过协议适配器,自动完成协议适配,调用协议解码器完成通信协议解码工作;并且当协议变更新增的时候,无需重启修改代码,直接自动完成变更。
为了实现上述的数据管理方法,本申请实施例提供一种数据管理装置,请参见图8,图8为本申请实施例提供的一种数据管理装置的方框示意图。该数据管理装置40包括:通信模块41和处理模块42。
通信模块41用于接收第一传感器按照预设传输协议发送的待解析数据报文。待解析数据报文包括第一传感器的设备信息和传感器采集的数据信息。
处理模块42用于根据待解析数据报文,获取设备信息以及数据信息的通信协议信息。处理模块42还用于根据通信协议信息,解析待解析数据报文,以获取数据信息。处理模块42还用于根据设备信息,将数据信息存储至目标消息队列。
可以理解的,通信模块41和处理模块42可以协同实现上述的S201~S204。
在可选的实施方式中,为了确定传感器的传输协议类型,数据管理装置40维护有多个传感器的传输协议信息和节点的多个数据传输端口的第一对应关系,传输协议信息用于确定多个传感器的传输协议类型。处理模块42还用于根据第一对应关系,发送传输协议信息和接收地址信息至第一传感器,以使第一传感器按照预设传输协议发送待解析数据报文至与接收地址信息对应的目标传输端口。可以理解的,处理模块42还可以执行上述的S200。
在可选的实施方式中,为了确定目标消息队列,在图8的基础上,以数据管理装置40维护有设备类型与消息队列的第二对应关系为例,请参见图9,图9为本申请实施例提供的另一种数据管理装置的方框示意图。该数据管理装置40还包括:判断模块43。
判断模块43用于判断设备信息与第二对应关系中的设备类型是否匹配。处理模块42还用于当设备信息与第二对应关系中的设备类型匹配时,将数据信息存储至与设备信息对应的第一消息队列。处理模块42还用于当设备信息与第二对应关系中的设备类型不匹配时,创建与设备信息对应的第二消息队列,并将数据信息存储至第二消息队列。
可以理解的,判断模块43和处理模块42可以协同实现上述的S204a、S204b、S204c。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式中任一项的数据管理方法。该计算机可读存储介质可以是,但不限于,U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请提供一种数据管理方法、装置和计算机可读存储介质,涉及轨道交通的数据传输领域。该数据管理方法应用于节点,该方法包括:接收第一传感器按照预设传输协议发送的待解析数据报文;待解析数据报文包括第一传感器的设备信息和传感器采集的数据信息;根据待解析数据报文,获取设备信息以及数据信息的通信协议信息;根据通信协议信息,解析待解析数据报文,以获取数据信息;根据设备信息,将数据信息存储至目标消息队列。通过识别数据报文的通信协议类型,按照相应的通信协议对数据报文进行解析,进而获取数据信息并存储至设备信息对应的消息队列,可以极大的提高数据传输效率,减少专业人士的工作量。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据管理方法,其特征在于,应用于节点,所述方法包括:
接收第一传感器按照预设传输协议发送的待解析数据报文;所述待解析数据报文包括所述第一传感器的设备信息和所述传感器采集的数据信息;
根据所述待解析数据报文,获取所述设备信息以及所述数据信息的通信协议信息;
根据所述通信协议信息,解析所述待解析数据报文,以获取所述数据信息;
根据所述设备信息,将所述数据信息存储至目标消息队列。
2.根据权利要求1所述的方法,其特征在于,所述节点维护有多个传感器的传输协议信息和所述节点的多个数据传输端口的第一对应关系,所述传输协议信息用于确定所述多个传感器的传输协议类型,在所述接收第一传感器按照预设传输协议发送的待解析数据报文之前,所述方法还包括:
根据所述第一对应关系,发送所述传输协议信息和接收地址信息至所述第一传感器,以使所述第一传感器按照所述预设传输协议发送所述待解析数据报文至与所述接收地址信息对应的目标传输端口。
3.根据权利要求1所述的方法,其特征在于,所述待解析数据报文具有固定标识字段,所述根据所述待解析数据报文,获取所述设备信息以及所述数据信息的通信协议信息,包括:
识别所述固定标识字段,获取所述设备信息以及所述通信协议信息。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述节点维护有设备类型与消息队列的第二对应关系,所述根据所述设备信息,将所述数据信息存储至目标消息队列,包括:
判断所述设备信息与所述第二对应关系中的所述设备类型是否匹配;
若匹配,则将所述数据信息存储至与所述设备信息对应的第一消息队列;
若不匹配,则创建与设备信息对应的第二消息队列,并将所述数据信息存储至所述第二消息队列。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述目标消息队列中的符合预设条件的第一数据;
将所述第一数据存储至所述节点的数据缓存模块。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述数据信息对应的资源消耗信息;所述资源消耗信息表征所述节点接收所述数据信息时,占用的节点资源信息;
按照时间序列,存储所述资源消耗信息。
7.一种数据管理装置,其特征在于,包括:通信模块和处理模块;
所述通信模块,用于接收第一传感器按照预设传输协议发送的待解析数据报文;所述待解析数据报文包括所述第一传感器的设备信息和所述传感器采集的数据信息;
所述处理模块,用于根据所述待解析数据报文,获取所述设备信息以及所述数据信息的通信协议信息;
所述处理模块还用于根据所述通信协议信息,解析所述待解析数据报文,以获取所述数据信息;
所述处理模块还用于根据所述设备信息,将所述数据信息存储至目标消息队列。
8.根据权利要求7所述的装置,其特征在于,所述数据管理装置维护有多个传感器的传输协议信息和所述数据管理装置的多个数据传输端口的第一对应关系,所述传输协议信息用于确定所述多个传感器的传输协议类型;
所述处理模块还用于根据所述第一对应关系,发送所述传输协议信息和接收地址信息至所述第一传感器,以使所述第一传感器按照所述预设传输协议发送所述待解析数据报文至与所述接收地址信息对应的目标传输端口。
9.根据权利要求7或8所述的装置,其特征在于,还包括:判断模块;
所述数据管理装置维护有设备类型与消息队列的第二对应关系;
所述判断模块,用于判断所述设备信息与所述第二对应关系中的所述设备类型是否匹配;
所述处理模块还用于当所述设备信息与所述第二对应关系中的所述设备类型匹配时,将所述数据信息存储至与所述设备信息对应的第一消息队列;
所述处理模块还用于当所述设备信息与所述第二对应关系中的所述设备类型不匹配时,创建与设备信息对应的第二消息队列,并将所述数据信息存储至所述第二消息队列。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的数据管理方法。
CN201911095239.0A 2019-11-11 2019-11-11 数据管理方法、装置和计算机可读存储介质 Active CN110868336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911095239.0A CN110868336B (zh) 2019-11-11 2019-11-11 数据管理方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911095239.0A CN110868336B (zh) 2019-11-11 2019-11-11 数据管理方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110868336A true CN110868336A (zh) 2020-03-06
CN110868336B CN110868336B (zh) 2021-11-02

Family

ID=69653899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911095239.0A Active CN110868336B (zh) 2019-11-11 2019-11-11 数据管理方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110868336B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523782A (zh) * 2020-04-14 2020-08-11 杭州迪普科技股份有限公司 工控资产管理方法、装置、设备及存储介质
CN111601285A (zh) * 2020-05-19 2020-08-28 江苏徐工工程机械研究院有限公司 通信方法、装置、***和计算机可读存储介质
CN111629344A (zh) * 2020-04-15 2020-09-04 广州文远知行科技有限公司 数据传输方法、装置、设备和计算机可读存储介质
CN111654545A (zh) * 2020-06-03 2020-09-11 湖南工业大学 一种传感器数据的通用解析方法及***
CN111667679A (zh) * 2020-06-03 2020-09-15 贵州电网有限责任公司 一种数据传输方法、装置、终端设备及存储介质
CN112131865A (zh) * 2020-09-11 2020-12-25 成都运达科技股份有限公司 一种轨道交通报文数字压缩处理方法、装置及存储介质
CN112235272A (zh) * 2020-09-30 2021-01-15 通号城市轨道交通技术有限公司 通信方法、装置及可读存储介质
CN112312590A (zh) * 2020-10-10 2021-02-02 腾讯科技(深圳)有限公司 一种设备通信协议识别方法和装置
CN112527530A (zh) * 2020-12-21 2021-03-19 北京百度网讯科技有限公司 消息处理方法、装置、设备、存储介质及计算机程序产品
CN112910838A (zh) * 2021-01-11 2021-06-04 金卡智能集团股份有限公司 复合协议解析方法、装置、设备、***和存储介质
CN113098842A (zh) * 2021-03-02 2021-07-09 深圳市智莱科技股份有限公司 基于对接调试***的数据传输方法、对接调试***和介质
CN113170004A (zh) * 2021-03-15 2021-07-23 华为技术有限公司 数据传输方法、装置及***
CN113315845A (zh) * 2021-07-28 2021-08-27 阿里云计算有限公司 数据传输方法、装置及分布式存储***
CN113612773A (zh) * 2021-08-03 2021-11-05 厦门至恒融兴信息技术股份有限公司 人工智能实现的智能报文识别和解析***与方法
CN113660139A (zh) * 2021-08-17 2021-11-16 启迪云控(上海)汽车科技有限公司 一种基于多种消息层通信v2x协议一致性检测方法
CN113691601A (zh) * 2021-08-16 2021-11-23 深圳网联光仪科技有限公司 一种外接设备与服务终端之间的交互方法及相关设备
CN114257663A (zh) * 2021-11-30 2022-03-29 神彩科技股份有限公司 数据解析方法、装置、计算机设备、存储介质
CN114356431A (zh) * 2021-10-11 2022-04-15 中国人民解放军63620部队 基于目标飞行试验的多传感器数据自适应实时处理方法
CN114501176A (zh) * 2021-12-29 2022-05-13 深圳市海浦蒙特科技有限公司 数据采集方法、装置、数据采集终端及可读存储介质
CN114666356A (zh) * 2020-12-04 2022-06-24 中国联合网络通信集团有限公司 数据采集网关的控制方法、装置和存储介质
CN115333967A (zh) * 2022-10-11 2022-11-11 南京中孚信息技术有限公司 数据上报方法、***、设备及存储介质
CN115551124A (zh) * 2022-09-15 2022-12-30 Oppo广东移动通信有限公司 一种组网方法、装置、设备以及计算机存储介质
CN115632961A (zh) * 2022-12-22 2023-01-20 北京蓝色星际科技股份有限公司 一种设备状态上报方法、装置及服务器
CN115914429A (zh) * 2022-10-31 2023-04-04 重庆长安汽车股份有限公司 通信协议适配方法、装置、电子设备、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802139A (zh) * 2012-07-10 2012-11-28 无锡航天飞邻测控技术有限公司 一种物联网网关数据适配***及方法
CN103117881A (zh) * 2013-02-27 2013-05-22 中国电子器材总公司 一种物联网资源管理***
CN104410662A (zh) * 2014-10-23 2015-03-11 山东大学 物联网并行海量数据传输中间件及其工作方法
CN108093070A (zh) * 2017-12-27 2018-05-29 复旦大学 一种物联网数据服务中间件***
CN109889481A (zh) * 2018-12-26 2019-06-14 广州海达安控智能科技有限公司 基于多传感器设备数据采集融合方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802139A (zh) * 2012-07-10 2012-11-28 无锡航天飞邻测控技术有限公司 一种物联网网关数据适配***及方法
CN103117881A (zh) * 2013-02-27 2013-05-22 中国电子器材总公司 一种物联网资源管理***
CN104410662A (zh) * 2014-10-23 2015-03-11 山东大学 物联网并行海量数据传输中间件及其工作方法
CN108093070A (zh) * 2017-12-27 2018-05-29 复旦大学 一种物联网数据服务中间件***
CN109889481A (zh) * 2018-12-26 2019-06-14 广州海达安控智能科技有限公司 基于多传感器设备数据采集融合方法及装置

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523782B (zh) * 2020-04-14 2023-04-28 杭州迪普科技股份有限公司 工控资产管理方法、装置、设备及存储介质
CN111523782A (zh) * 2020-04-14 2020-08-11 杭州迪普科技股份有限公司 工控资产管理方法、装置、设备及存储介质
CN111629344A (zh) * 2020-04-15 2020-09-04 广州文远知行科技有限公司 数据传输方法、装置、设备和计算机可读存储介质
CN111601285A (zh) * 2020-05-19 2020-08-28 江苏徐工工程机械研究院有限公司 通信方法、装置、***和计算机可读存储介质
CN111654545A (zh) * 2020-06-03 2020-09-11 湖南工业大学 一种传感器数据的通用解析方法及***
CN111667679A (zh) * 2020-06-03 2020-09-15 贵州电网有限责任公司 一种数据传输方法、装置、终端设备及存储介质
CN111654545B (zh) * 2020-06-03 2023-02-07 湖南工业大学 一种传感器数据的通用解析方法及***
CN112131865A (zh) * 2020-09-11 2020-12-25 成都运达科技股份有限公司 一种轨道交通报文数字压缩处理方法、装置及存储介质
CN112131865B (zh) * 2020-09-11 2023-12-08 成都运达科技股份有限公司 一种轨道交通报文数字压缩处理方法、装置及存储介质
CN112235272A (zh) * 2020-09-30 2021-01-15 通号城市轨道交通技术有限公司 通信方法、装置及可读存储介质
CN112235272B (zh) * 2020-09-30 2022-10-18 通号城市轨道交通技术有限公司 通信方法、装置及可读存储介质
CN112312590A (zh) * 2020-10-10 2021-02-02 腾讯科技(深圳)有限公司 一种设备通信协议识别方法和装置
CN114666356B (zh) * 2020-12-04 2023-07-25 中国联合网络通信集团有限公司 数据采集网关的控制方法、装置和存储介质
CN114666356A (zh) * 2020-12-04 2022-06-24 中国联合网络通信集团有限公司 数据采集网关的控制方法、装置和存储介质
CN112527530A (zh) * 2020-12-21 2021-03-19 北京百度网讯科技有限公司 消息处理方法、装置、设备、存储介质及计算机程序产品
CN112527530B (zh) * 2020-12-21 2024-02-23 北京百度网讯科技有限公司 消息处理方法、装置、设备、存储介质及计算机程序产品
CN112910838A (zh) * 2021-01-11 2021-06-04 金卡智能集团股份有限公司 复合协议解析方法、装置、设备、***和存储介质
CN113098842A (zh) * 2021-03-02 2021-07-09 深圳市智莱科技股份有限公司 基于对接调试***的数据传输方法、对接调试***和介质
CN113170004A (zh) * 2021-03-15 2021-07-23 华为技术有限公司 数据传输方法、装置及***
CN113170004B (zh) * 2021-03-15 2023-01-06 华为技术有限公司 数据传输方法、装置及***
CN113315845B (zh) * 2021-07-28 2022-01-04 阿里云计算有限公司 数据传输方法、装置及分布式存储***
CN113315845A (zh) * 2021-07-28 2021-08-27 阿里云计算有限公司 数据传输方法、装置及分布式存储***
CN113612773A (zh) * 2021-08-03 2021-11-05 厦门至恒融兴信息技术股份有限公司 人工智能实现的智能报文识别和解析***与方法
CN113691601A (zh) * 2021-08-16 2021-11-23 深圳网联光仪科技有限公司 一种外接设备与服务终端之间的交互方法及相关设备
CN113660139A (zh) * 2021-08-17 2021-11-16 启迪云控(上海)汽车科技有限公司 一种基于多种消息层通信v2x协议一致性检测方法
CN114356431A (zh) * 2021-10-11 2022-04-15 中国人民解放军63620部队 基于目标飞行试验的多传感器数据自适应实时处理方法
CN114257663A (zh) * 2021-11-30 2022-03-29 神彩科技股份有限公司 数据解析方法、装置、计算机设备、存储介质
CN114501176A (zh) * 2021-12-29 2022-05-13 深圳市海浦蒙特科技有限公司 数据采集方法、装置、数据采集终端及可读存储介质
CN115551124A (zh) * 2022-09-15 2022-12-30 Oppo广东移动通信有限公司 一种组网方法、装置、设备以及计算机存储介质
CN115333967B (zh) * 2022-10-11 2022-12-27 南京中孚信息技术有限公司 数据上报方法、***、设备及存储介质
CN115333967A (zh) * 2022-10-11 2022-11-11 南京中孚信息技术有限公司 数据上报方法、***、设备及存储介质
CN115914429A (zh) * 2022-10-31 2023-04-04 重庆长安汽车股份有限公司 通信协议适配方法、装置、电子设备、车辆及存储介质
CN115914429B (zh) * 2022-10-31 2024-04-26 重庆长安汽车股份有限公司 通信协议适配方法、装置、电子设备、车辆及存储介质
CN115632961A (zh) * 2022-12-22 2023-01-20 北京蓝色星际科技股份有限公司 一种设备状态上报方法、装置及服务器

Also Published As

Publication number Publication date
CN110868336B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN110868336B (zh) 数据管理方法、装置和计算机可读存储介质
CN108829560B (zh) 数据监控方法、装置、计算机设备及存储介质
CN104584483B (zh) 用于自动确定服务质量降级的原因的方法和设备
CN111475370A (zh) 基于数据中心的运维监控方法、装置、设备及存储介质
JP6097889B2 (ja) 監視システム、監視装置、および検査装置
US10289522B2 (en) Autonomous information technology diagnostic checks
CN109995555B (zh) 监控方法、装置、设备及介质
EP3282643A1 (en) Method and apparatus of estimating conversation in a distributed netflow environment
CN111708667B (zh) 一种业务边缘计算方法及***
CN111083168A (zh) 可配置的物联网平台网关的数据传输方法、装置和网关
CN112800061B (zh) 一种数据存储方法、装置、服务器及存储介质
CN111866016A (zh) 日志的分析方法及***
CN114490268A (zh) 全链路监控方法、装置、设备、存储介质和程序产品
CN112749153B (zh) 一种工业网络数据管理***
CN110971488A (zh) 一种数据处理方法、装置、服务器和存储介质
CN114090366A (zh) 一种监控数据的方法、装置和***
CN114356734A (zh) 服务异常检测方法和装置、设备、存储介质
CN112235262A (zh) 报文的解析方法、装置、电子设备及计算机可读存储介质
CN107480063B (zh) 动态扫描sql语句的方法及***、电子设备、存储介质
CN106161339B (zh) 获取ip访问关系的方法及装置
CN115080363B (zh) 一种基于业务日志的***容量评估方法及装置
CN114513334B (zh) 风险管理方法和风险管理装置
CN110022343A (zh) 自适应事件聚合
EP2590366B1 (en) Method, computer program and system for monitoring message objects sent from a client to invoke operations on a server in a distributed computing environment
CN113032341A (zh) 一种基于可视化配置的日志处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant