CN112422412A - 信息处理方法、装置、设备和介质 - Google Patents

信息处理方法、装置、设备和介质 Download PDF

Info

Publication number
CN112422412A
CN112422412A CN202011240270.1A CN202011240270A CN112422412A CN 112422412 A CN112422412 A CN 112422412A CN 202011240270 A CN202011240270 A CN 202011240270A CN 112422412 A CN112422412 A CN 112422412A
Authority
CN
China
Prior art keywords
information
streaming
generate
data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011240270.1A
Other languages
English (en)
Other versions
CN112422412B (zh
Inventor
陈�胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011240270.1A priority Critical patent/CN112422412B/zh
Publication of CN112422412A publication Critical patent/CN112422412A/zh
Application granted granted Critical
Publication of CN112422412B publication Critical patent/CN112422412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及一种信息处理方法、装置、设备和介质,涉及云计算领域,可用于云平台。该方法包括:对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息;基于所述第一信息,经过流式计算生成第二信息,所述第二信息能够体现所述第一信息在预定时间段内的指标;以及将所述第二信息发送至云端服务器。

Description

信息处理方法、装置、设备和介质
技术领域
本公开涉及云计算领域,具体涉及一种信息处理的方法和装置、服务器和计算机可读存储介质。
背景技术
在传统的数据处理流程中,总是先收集数据,然后将数据放到数据库中。当人们需要的时候通过数据库对数据做访问,得到答案或进行相关的处理。
数据库往往位于云计算数据中心,当云计算数据中心的距离较远时,将对数据的传输产生一定延迟,尤其是当数据是海量、快速、变化的数据时,在传输到云计算数据中心的过程中会受到网络瓶颈的限制。
因此,开发了边缘计算以解决网络瓶颈的问题,边缘计算场景下端侧的信息处理都是基于函数模式针对某一时刻的数据,进行简单的消息过滤以及转换,例如,如果满足条件就将这条消息转发到目的地,不满足条件就把这条消息丢弃。
然而,边缘计算在对数据进行处理时,无法对大规模的流动数据在不断变化的过程中实时地进行分析,捕捉到可能有用的消息,因此,难以对大规模的数据进行低延迟、时效高的处理。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
根据本公开的一个方面,提供一种信息处理方法,所述方法包括:对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息;基于所述第一信息,经过流式计算生成第二信息,所述第二信息能够体现所述第一信息在预定时间段内的指标;以及将所述第二信息发送至云端服务器。
根据本公开的另一个方面,提供一种信息处理装置,包括:生成模块,被配置为用于对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息;计算模块,被配置为用于基于所述第一信息,经过流式计算生成第二信息,所述第二信息能够体现所述第一信息在预定时间段内的指标;以及发送模块,被配置为用于将所述第二信息发送至云端服务器。
根据本公开的另一个方面,提供一种电子设备,包括:处理器;以及存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行本公开中所述的方法。
根据本公开的另一个方面,提供一种计算机可读存储介质,所述程序包括指令,所述指令在由服务器的处理器执行时使得所述服务器执行本公开所述的方法。
本公开提供的信息处理方法、装置、设备和介质,能够低延迟、时效高的处理大规模数据。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的信息处理方法的流程图;
图2示出了根据本公开的实施例的生成第一信息方法的流程图;
图3示出了根据本公开的实施例的执行信息处理方法的***的拓扑图;
图4示出了根据本公开的实施例的信息处理装置的结构示意图;
图5示出了根据本公开的实施例的用以信息处理方法的电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了根据本公开的一个实施例的信息处理方法100的流程图。如图1所示,一种信息处理方法100,包括:
步骤101,对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息;
示例性地,信息源可以包括第一设备、第二设备。信息源获得采集与第一信息之间通过南向协议进行传输,其中,南向协议包括OPC、MODBUS、TCP等。
步骤102,基于所述第一信息,经过流式计算生成第二信息,所述第二信息能够体现所述第一信息在预定时间段内的指标;
示例性地,流式计算能够统计第一信息在一段时间的指标以对第一信息进行丰富地处理。
步骤103,将所述第二信息发送至云端服务器。
示例性地,将边缘计算得到的第二信息发送至云端服务器。
由此可知,基于图1所示出的信息处理方法100,通过在边缘计算中融合流式计算,能够实现低延迟、时效高的数据处理。
根据一些实施例,在步骤101之前,还包括:定期采集所述多个信息源的信息以获得所述采集数据。
示例性地,采集数据的步骤由采集模块执行,其中,采集模块根据配置定期采集信息源,然后将消息发送到本地消息中心。例如,采集协议包括,但不限于Modbus、OPC协议。信息传输协议包括,但不限于标准MQTT协议、标准COAP协议。
通过定期采集多个信息源的信息获得采集数据可以保证数据的时间连续性。
图2示出了根据本公开的实施例的生成第一信息方法201的流程图。
根据一些实施例,对从至少一个信息源获得的采集数据,对所述采集数据进行筛选和解析处理以生成具有能够用于进行流式处理的预定标准的第一信息,包括:步骤2011,通过兼容的协议接口从多个信息源获得采集数据。
示例性地,从多个信息源采集到的采集数据均被发送至本地消息中心,而本地消息中心能够将多个信息源的采集数据进行处理,例如,在本地消息中心中设置软件层面的接口,用于与不同硬件进行对接,可以兼容多种协议的接口。
由此可知,本公开的信息处理方法能够通过兼容多种协议的接口进而兼容不同类型的信息源。
例如,本地消息中心中设置软件接口通过南向协议(例如,OPC、MODBUS、TCP等)与多个信息源的采集数据进行通信,能够将各个行业(例如,农业,电力,运输等等)的信息进行处理,在对农业领域的信息源进行数据采集时,使用第一种协议进行数据传输,在对电力领域的信息源进行数据采集时,使用第二种协议进行数据传输,在对运输领域的信息源进行数据采集,使用第三种协议进行数据传输,因此,本地消息中心能够与不同硬件进行对接,因而可以兼容多种协议的接口。
根据一些实施例,多个信息源包括应用于不同领域的多个传感器,所述领域选自农业、电力和运输领域。更具体地,可应用于电表盒子,农业机械以及渣土车的数据采集以及信息处理。
示例性地,不同领域内的传感器可能是相同的或不同的硬件,即使在同一领域中,由于采集对象的不同,所采用的传感器也可能并不相同,而不同硬件构成的传感器往往在数据传输过程中采用不同的协议,因此,本公开的信息处理方法通过兼容不同协议进而兼容不同的传感器硬件,从而能够兼容各个行业中的信息并对其进行信息处理。
继续参考附图2,根据一些实施例,对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息,包括:步骤2012,订阅所述采集数据中的约定主题以生成筛选信息。
示例性地,由规则引擎订阅本地消息中心的约定主题生成信息流,并对信息流进行转发。在该过程中信息传输的协议包括,但不限于标准MQTT协议、标准COAP协议。
通过规则引擎对采集数据进行筛选获得筛选数据,并用于下一步的处理。
继续参考附图2,根据一些实施例,对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息,包括:步骤2013,对所述筛选信息进行语法解析以生成所述第一信息。
示例性地,由SQL语法解析模块接收来自规则引擎的信息流,并使用一条信息数据对SQL语句进行数据填充。例如,SQL语句进行数据填充过程中支持的数据类型包括,但不限于Int、String、Float、Bool。
对信息流进行语法解析从而获得可以进行流式处理的第一信息,保证信息处理的流畅性和可执行性。
在步骤102处,根据一些实施例,所述基于所述第一信息进行流式计算以生成第二信息,包括:以预定时间窗口为单位,统计所述预定时间窗口所确定的预定时间段内所述第一信息的指标。
示例性地,流式计算引擎基于SQL语法解析模块生成的第一信息进行流式计算,其中,流式引擎通过预定时间窗口,在第一信息中截取一定时间窗口内的信息,并对该时间窗口内的数据进行分析从而获得该时间窗口内第一信息的指标。例如,通过预定时间窗口持续对第一信息进行截取,能够及时地对第一信息中进行分析,因此,通过对第一信息进行流式计算,能够对第一信息进行实时分析,降低数据处理的延迟,提升数据处理的时效性。
示例性地,通过预定时间窗口对第一信息连续地截取,获得的连续时间段为预定时间段,并对约定时间段中的第一信息进行流失计算。
其中,根据一些实施例,步骤102中所涉及的指标为平均值和最大值中的至少一种。
通过对第一信息的平均值和/或最大值进行计算,可以降低第一信息中误差数据的影响。
根据一些实施例,在步骤102中所涉及的时间窗口为滚动窗口、滑动窗口或计数窗口。
示例性地,时间窗口可以选择为滚动窗口(Tumbling Window)、滑动窗口(SlidingWindow)或计数窗口(Counting Window)。例如,当时间窗口为滚动窗口时,滚动窗口具有固定大小,且相邻的滚动窗口之间不会重现重叠;当时间窗口为滑动窗口时,滑动窗口也具有固定大小,滑动窗口基于预定步长向一个方向滑动,滑动步长往往小于滑动窗口的大小,因此,相邻滑动窗口之间往往具有重叠;当时间窗口为计数窗口时,会基于窗口内累计的数据量来确定窗口的大小。
由此可知,使用滚动窗口能够快速获得第一信息并进行流式处理,能够提升处理的效率,使用滑动窗口能够进行流量控制,能够控制流式处理过程中的流量,使用计数窗口能够保证流式处理的平稳性。通过对时间窗口的选择能够实现对数据进行精确处理。
在步骤103处,根据一些实施例,将所述第二信息发送至云端服务器,包括:将第二信息进行同步后发送至所述云端服务器。
示例性地,端云同步模块将第二信息发送到云端或者接收云端的消息。消息传输协议包括,但不限于标准MQTT协议、标准COAP协议。
可以理解的是,尽管本公开在描述的过程中,对采集数据的流向是沿着处理采集数据并最终发送至云端服务器的方向进行的,基于同样的架构,云端服务器也可以发送数据至产生采集数据的设备端。在一些实施例中,流式计算引擎得到的第二信息可以发送至设备端,对设备进行控制。
根据一些实施例,信息处理方法还包括:配置步骤,所述配置步骤用于配置所述至少一个信息源、所述约定主题或所述流式计算的规则。
配置至少一个信息源需要采集的信息源以保证所采集数据的准确性,配置约定主题保证能够获得需要的主题,配置流式计算的规则针对采集数据进行相应的流式计算,因此,配置步骤能够保证信息处理方法可以正常执行。
图3示出了根据本公开的实施例的执行信息处理方法的***的拓扑图。下面结合图3对本公开一个实施例进行具体说明。
如图3所示,在该实施例中,首先对配置步骤进行说明,第一步,配置采集模块要采集的信息源(例如,设备A、设备B)以及发送到本地消息中心的约定主题;第二步,配置规则引擎的一条规则,用于订阅第一步中本地消息中心中的约定主题,并转发给基于SQL语句的语法解析模块;第三步,配置流式计算规则,用于处理第二步中转发到语法解析模块的第一信息;第四步,配置端云同步模块的一条规则,用于将流式计算引擎模块的第二信息(例如,统计结果)转发到云端服务器;第五步,分别启动采集模块、本地消息中心、规则引擎、SQL语法解析模块、流式计算引擎、端云同步模块等等;第六步,采集模块将采集到的数据持续发送给本地消息中心;第七步,规则引擎根据第二步中定义的规则将信息流转发到基于SQL语句的语法解析模块;第八步,语法解析模块根据第三步中配置的流式计算规则(SQL语句)以及第七步中的消息流进行语法解析;第九步,流式计算引擎根据第八步中语法解析的第一信息进行流式计算以生成第二信息;第十步,端云同步模块根据第四步中定义的规则将第二信息转发到目的地(例如,云端服务器)。
示例性地,在第一步中,采集模块根据配置定期地采集信息源,然后将消息发送到本地消息中心(Broker)的约定主题。信息传输协议包括,但不限于标准MQTT协议、标准COAP协议。信息采集协议包括,但不限于Modbus、OPC协议。
示例性地,在第二步中,规则引擎用于订阅本地消息中心的主题,并转发到目的地。消息传输协议包括,但不限于标准MQTT协议、标准COAP协议。目的地包括,但不限于本地消息中心、SQL语法解析模块。规则引擎根据信息的流动方向可以订阅本地消息中心的主题,也可以订阅SQL语法解析模块中的主题,本公开对此不作限定。
示例性地,在第三步中,流式计算规则采用SQL语句进行配置。SQL语句采用SQL92标准,并扩展了包括,但不限于滚动窗口(Tumbling Window)、滑动窗口(Sliding Window)、计数窗口(Counting Window)等流式计算专用关键字。
示例性地,在第四步中,端云同步模块用于将端侧消息发送方到云端或者接收云端的消息。消息传输协议包括,但不限于标准MQTT协议、标准COAP协议。
示例性地,在第五步中,分别启动采集模块、本地消息中心、规则引擎、SQL语法解析模块、流式计算引擎、端云同步模块,例如,对于启动顺序要保证采集模块最后启动,以避免遗漏采集数据。
示例性地,在第六步中,采集模块采用轮询策略,定期采集信息源,保证数据的时间连续性。
示例性地,在第七步中,规则引擎用于订阅本地消息中心的主题,并转发到目的地。消息传输协议包括,但不限于标准MQTT协议、标准COAP协议。目的地包括,但不限于本地消息中心、SQL语法解析模块。
示例性地,在第八步中,SQL语法解析模块接收来自规则引擎的第一信息,并使用一条消息数据对SQL语句进行数据填充。目前支持的数据类型包括,但不限于Int、String、Float、Bool等。
示例性地,在第九步中,流式计算引擎将以特定大小的时间窗口为基本单位,统计一段时间内数据的指标数据(例如,平均值和/或最大值)。时间窗口包括,但不限于滚动窗口(Tumbling Window)、滑动窗口(Sliding Window)、计数窗口(Counting Window);
示例性地,在第十步中,端云同步模块用于将端侧消息发送方到云端或者接收云端的消息。消息传输协议包括,但不限于标准MQTT协议、标准COAP协议。
图4示出了根据本公开的实施例的信息处理装置400的结构示意图。
如图4所示,提供一种信息处理装置400,包括:
生成模块410,被配置为用于对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息;
计算模块420,被配置为用于基于所述第一信息,经过流式计算生成第二信息,所述第二信息能够体现所述第一信息在预定时间段内的指标;
发送模块430,被配置为用于将所述第二信息发送至云端服务器。
基于图4所示出的信息处理装置400,通过在边缘计算中融合流式计算,能够实现低延迟、时效高的数据处理。
根据本公开的实施例,本公开还提供了一种电子设备500和一种可读存储介质。图5示出了根据本公开的实施例的用以信息处理方法的电子设备的框图。
如图5所示,示出能够应用于本公开实施例的示例性电子设备的结构框图。
电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示,该电子设备500包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图5中以一个处理器501为例。
存储器502即为本公开所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本公开所提供的信息处理的方法。本公开的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本公开所提供的信息处理的方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本公开实施例中的信息处理的方法对应的程序指令/模块(例如,附图4所示的获取模块410,确定模块420和推荐模块430)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的信息处理方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据用以实现信息处理的方法的电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至用以实现信息处理的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用以信息处理方法的电子设备500还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息,以及产生与用以实现信息处理的方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASI5(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式***的服务器,或者是结合了区块链的服务器。服务器也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (14)

1.一种信息处理方法,所述方法包括:
对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息;
基于所述第一信息,经过流式计算生成第二信息,所述第二信息能够体现所述第一信息在预定时间段内的指标;以及
将所述第二信息发送至云端服务器。
2.根据权利要求1所述的方法,其中,所述对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息,包括:
通过兼容的协议接口从多个信息源获得采集数据。
3.根据权利要求2所述的方法,其中,
所述多个信息源包括应用于不同领域的多个传感器,所述领域选自农业、电力和运输领域。
4.根据权利要求2或3所述的方法,还包括:
定期采集所述多个信息源的信息以获得所述采集数据。
5.根据权利要求4所述的方法,其中,所述对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息,包括:
订阅所述采集数据中的约定主题以生成筛选信息。
6.根据权利要求5所述的方法,所述对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息,包括:
对所述筛选信息进行语法解析以生成所述第一信息。
7.根据权利要求6所述的方法,其中,
所述基于所述第一信息进行流式计算以生成第二信息,包括:
以预定时间窗口为单位,统计所述预定时间窗口所确定的预定时间段内所述第一信息的指标。
8.根据权利要求7所述的方法,其中,
所述时间窗口为滚动窗口、滑动窗口或计数窗口。
9.根据权利要求7或8所述的方法,其中,
所述指标为平均值和最大值中的至少一种。
10.根据权利要求1所述的方法,其中,
将所述第二信息发送至云端服务器,包括:
将第二信息进行同步后发送至所述云端服务器。
11.根据权利要求5所述的方法,还包括:
配置步骤,所述配置步骤用于配置所述至少一个信息源、所述约定主题或所述流式计算的规则。
12.一种信息处理装置,包括:
生成模块,被配置为用于对从至少一个信息源获得的采集数据进行处理以生成能够用于流式处理的第一信息;
计算模块,被配置为用于基于所述第一信息,经过流式计算生成第二信息,所述第二信息能够体现所述第一信息在预定时间段内的指标;以及
发送模块,被配置为用于将所述第二信息发送至云端服务器。
13.一种电子设备,包括:
处理器;以及
存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1至11中任一项所述的方法。
14.一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由服务器的处理器执行时使得所述服务器执行根据权利要求1至11中任一项所述的方法。
CN202011240270.1A 2020-11-09 2020-11-09 信息处理方法、装置、设备和介质 Active CN112422412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011240270.1A CN112422412B (zh) 2020-11-09 2020-11-09 信息处理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011240270.1A CN112422412B (zh) 2020-11-09 2020-11-09 信息处理方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112422412A true CN112422412A (zh) 2021-02-26
CN112422412B CN112422412B (zh) 2023-03-24

Family

ID=74780793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011240270.1A Active CN112422412B (zh) 2020-11-09 2020-11-09 信息处理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112422412B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114938353A (zh) * 2022-05-27 2022-08-23 中国银行股份有限公司 基于流式计算的异步通知限流方法及***
CN115017222A (zh) * 2022-08-01 2022-09-06 深圳市其域创新科技有限公司 基于多信息源的信息处理***及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924581B1 (en) * 2012-03-14 2014-12-30 Amazon Technologies, Inc. Managing data transfer using streaming protocols
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询***
CN109144014A (zh) * 2018-10-10 2019-01-04 北京交通大学 工业设备运行状况的检测***及方法
CN109522341A (zh) * 2018-11-27 2019-03-26 北京京东金融科技控股有限公司 实现基于sql的流式数据处理引擎的方法、装置、设备
CN110232054A (zh) * 2019-06-19 2019-09-13 北京百度网讯科技有限公司 日志传输***及流式日志传输方法
CN110245120A (zh) * 2019-06-19 2019-09-17 北京百度网讯科技有限公司 流式计算***及流式计算***的日志数据处理方法
CN110460521A (zh) * 2019-09-19 2019-11-15 北京中电普华信息技术有限公司 一种边缘计算软网关
CN110597057A (zh) * 2019-08-22 2019-12-20 浙江工业大学 在工业应用场景下的数据处理***
CN110688399A (zh) * 2019-08-26 2020-01-14 远光软件股份有限公司 一种流式计算实时报表***及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8924581B1 (en) * 2012-03-14 2014-12-30 Amazon Technologies, Inc. Managing data transfer using streaming protocols
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询***
CN109144014A (zh) * 2018-10-10 2019-01-04 北京交通大学 工业设备运行状况的检测***及方法
CN109522341A (zh) * 2018-11-27 2019-03-26 北京京东金融科技控股有限公司 实现基于sql的流式数据处理引擎的方法、装置、设备
CN110232054A (zh) * 2019-06-19 2019-09-13 北京百度网讯科技有限公司 日志传输***及流式日志传输方法
CN110245120A (zh) * 2019-06-19 2019-09-17 北京百度网讯科技有限公司 流式计算***及流式计算***的日志数据处理方法
CN110597057A (zh) * 2019-08-22 2019-12-20 浙江工业大学 在工业应用场景下的数据处理***
CN110688399A (zh) * 2019-08-26 2020-01-14 远光软件股份有限公司 一种流式计算实时报表***及方法
CN110460521A (zh) * 2019-09-19 2019-11-15 北京中电普华信息技术有限公司 一种边缘计算软网关

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周煜敏等: "基于Storm的实时大规模传感器监控平台的开发和实现", 《计算机应用与软件》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114938353A (zh) * 2022-05-27 2022-08-23 中国银行股份有限公司 基于流式计算的异步通知限流方法及***
CN114938353B (zh) * 2022-05-27 2024-04-16 中国银行股份有限公司 基于流式计算的异步通知限流方法及***
CN115017222A (zh) * 2022-08-01 2022-09-06 深圳市其域创新科技有限公司 基于多信息源的信息处理***及方法
CN115017222B (zh) * 2022-08-01 2022-11-08 深圳市其域创新科技有限公司 基于多信息源的信息处理***及方法

Also Published As

Publication number Publication date
CN112422412B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110543944B (zh) 神经网络结构搜索方法、装置、电子设备和介质
CN111753997B (zh) 分布式训练方法、***、设备及存储介质
CN112069201A (zh) 目标数据的获取方法和装置
CN112422412B (zh) 信息处理方法、装置、设备和介质
CN108519914A (zh) 大数据计算方法、***和计算机设备
CN111639078A (zh) 数据查询方法、装置、电子设备以及可读存储介质
CN111639753B (zh) 用于训练图像处理超网络的方法、装置、设备以及存储介质
CN106537347B (zh) 用于分发和处理流的***和方法
CN113051446A (zh) 拓扑关系查询方法、装置、电子设备和介质
CN111539224B (zh) 语义理解模型的剪枝方法、装置、电子设备和存储介质
CN112115114A (zh) 日志处理的方法、装置、设备及存储介质
CN111461343A (zh) 模型参数更新方法及其相关设备
CN110765075A (zh) 自动驾驶数据的存储方法和设备
CN112395333A (zh) 用于排查数据异常的方法、装置、电子设备及存储介质
CN112667795A (zh) 对话树构建方法和装置、对话树运行方法、装置以及***
CN111581049B (zh) 分布式***运行状态监测方法、装置、设备及存储介质
CN112559808B (zh) 数据处理方法、装置以及电子设备
CN110620701A (zh) 数据流监控处理方法、装置、设备及存储介质
CN111597026B (zh) 用于获取信息的方法及装置
CN112929198B (zh) 一种局部热点的处理方法、装置、电子设备及存储介质
CN111339344B (zh) 室内图像检索方法、装置及电子设备
CN114020741A (zh) 车辆里程信息的存储方法、装置、车辆电子***及车辆
CN102184693B (zh) 一种基于Web的高可定制流行病学调查表生成方法
KR20210132719A (ko) 딥 러닝 모델의 적응 방법, 장치 및 전자 기기
CN111782794A (zh) 问答响应方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant