CN108989314A - 一种流式数据传输、处理方法及装置 - Google Patents
一种流式数据传输、处理方法及装置 Download PDFInfo
- Publication number
- CN108989314A CN108989314A CN201810803187.7A CN201810803187A CN108989314A CN 108989314 A CN108989314 A CN 108989314A CN 201810803187 A CN201810803187 A CN 201810803187A CN 108989314 A CN108989314 A CN 108989314A
- Authority
- CN
- China
- Prior art keywords
- data
- stream
- attribute information
- label
- transmission channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供一种流式数据传输、处理方法及装置。方法包括:获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签;对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包;通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。装置用于执行上述方法。本发明实施例通过对同一标签的流式数据进行封装,然后将封装后的多个数据封装包通过一个数据传输通道进行传输,由于多个数据封装包公用一个数据传输通道,实现了数据传输通道的复用,从而提高了数据传输通道的利用率。
Description
技术领域
本发明涉及数据通信技术领域,具体而言,涉及一种流式数据传输、处理方法及装置。
背景技术
日志收集***可以支撑海量的数据传输,特别是流式日志数据收集***可以实时记录各类的用户行为、***的状态信息等各种传输到数据湖中,应用到互联网的方方面面。
现有技术中,通常使用Apache Kafka和AWS Kinesis Stream作为最常用的流式日志收集工具对日志数据进行收集。当使用Apache Kafka或AWS Kinesis Stream时,需要预先配置流式日志数据的标签,并为每一种标签的流式日志数据构建一个数据传输通道,并为通道留出预设大小的可用资源,由于流式日志数据的数据量存在波动,一般需要按照每一类流式日志数据的波峰数据量进行评估预留资源,并预留数倍容量作为突发流量的缓冲。
由于各类标签的流式日志数据的波动规律并不一致,若要针对每类标签均做最大量的预留资源,从而造成了流式日志收集***的资源浪费,使得数据传输通道中的资源利用率比较低。
发明内容
有鉴于此,本发明实施例的目的在于提供一种流式数据传输、处理方法及装置,以解决上述技术问题。
第一方面,本发明实施例提供了一种流式数据传输方法,包括:
获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签;
对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包;
通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。
进一步地,在获取多个待传输的流式数据及对应的属性信息之前,所述方法,还包括:
构建一个所述数据传输通道,在所述数据传输通道中留出预设大小的可用资源。
进一步地,在获得每一所述标签对应的数据封装包之后,所述方法,还包括:
对每一所述数据封装包进行压缩。
第二方面,本发明实施例提供了一种流式数据处理方法,包括:
接收通过一个数据传输通道传送的多个数据封装包,其中,所述数据封装包包括多个流式数据及对应的属性信息,所述属性信息包括标签;
根据所述标签对对应的数据封装包进行解包处理,获得所述数据封装包对应的所述属性信息和所述流式数据。
进一步地,所述属性信息还包括处理方式;相应的,在获得所述数据封装包对应的所述属性信息和所述流式数据之后,所述方法,还包括:
根据所述处理方式对所述流式数据进行处理。
第三方面,本发明实施例提供了一种流式数据传输装置,包括:
获取模块,用于获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签;
封装模块,用于对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包;
传输模块,用于通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。
进一步地,所述装置,还包括:
通道构建模块,用于构建一个所述数据传输通道,在所述数据传输通道中留出预设大小的可用资源。
进一步地,所述装置,还包括:
压缩模块,用于对每一所述数据封装包进行压缩。
第四方面,本发明实施例提供一种流式数据处理装置,包括:
接收模块,用于接收通过一个数据传输通道传送的多个数据封装包,其中,所述数据封装包包括多个流式数据及对应的属性信息,所述属性信息包括所述标签;
解包模块,用于根据所述标签对对应的数据封装包进行解包处理,获得所述数据封装包对应的所述属性信息和所述流式数据。
进一步地,所述装置,所述属性信息还包括处理方式;相应的,还包括:
处理模块,用于根据所述处理方式对所述流式数据进行处理。
第五方面,本发明实施例提供一种电子设备,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面的方法步骤。
第六方面,本发明实施例提供一种非暂态计算机可读存储介质,包括:
所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的方法步骤。
第七方面,本发明实施例提供一种电子设备,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第二方面的方法步骤。
第八方面,本发明实施例提供一种非暂态计算机可读存储介质,包括:
所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第二方面的方法步骤。
本发明实施例通过对同一标签的流式数据进行封装,然后将封装后的多个数据封装包通过一个数据传输通道进行传输,由于多个数据封装包公用一个数据传输通道,实现了数据传输通道的复用,从而提高了数据传输通道的利用率。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种流式数据传输方法流程示意图;
图2为本发明实施例提供的一种流式数据处理方法流程示意图;
图3为本发明实施例提供的流式数据传输逻辑架构图;
图4为本发明实施例提供的一种流式数据传输装置结构示意图;
图5为本发明实施例提供的一种流式数据处理装置结构示意图;
图6为本发明实施例提供的电子设备的结构框图;
图7为本发明实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图1为本发明实施例提供的一种流式数据传输方法流程示意图,如图1所示,该方法,包括:
步骤101:获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签。
在具体的实施过程中,当***在运行过程中会产生很多数据信息,以日志数据为例,通过流式的方式来对日志数据进行传输处理能够提高其处理效率。因此,装置首先获取多个待传输的流式数据以及每一流式数据对应的属性信息。其中,属性信息可以包括流式数据的标签,该标签用来表示流式数据的类型,应当说明的是,在多个待传输的流式数据中,可以有多种类型,可以用不同的标签来表示,属性信息中还可以包括数据的流向信息、处理方式等等,本发明实施例对此不作具体限定。
步骤102:对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包。
在具体的实施过程中,将标签相同的流式数据进行封装,这是由于不同类型的流式数据在传输时其传输方式可能不同,因此为了便于传输,将属于同一类别的流式数据封装成一个数据封装包进行传输。
步骤103:通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。
在具体的实施过程中,将封装好的数据封装包通过流式工具SDK写入数据传输通道中,通过数据传输通道进行传输,传输至数据处理端,以使数据处理端在接收到多个数据封装包之后根据标签对各个数据封装包进行解包,获得数据封装包中的流式数据,然后对每一流式数据进行相应的处理。应当说明的是,数据传输通道是预先构建的。其中,流式工具SDK可以为AWS SDK。
本发明实施例通过对同一标签的流式数据进行封装,然后将封装后的多个数据封装包通过一个数据传输通道进行传输,由于多个数据封装包公用一个数据传输通道,实现了数据传输通道的复用,从而提高了数据传输通道的利用率。
在上述实施例的基础上,在获取多个待传输的流式数据及对应的属性信息之前,所述方法,还包括:
构建一个所述数据传输通道,在所述数据传输通道中留出预设大小的可用资源。
在具体的实施过程中,在对流式数据进行传输之前,需要构建一个数据传输通道,并且在该数据传输通道中预留出预设大小的可用资源,其中可用资源具体留出多少可以根据经验或实际要传输的流失数据的波峰数据量确定。由于只建立一个数据传输通道,因此所有类型的流式数据都通过这个数据传输通道进行传输,实现了数据传输通道的复用,且数据传输通道中预留出来的可用资源也可以供所有的流式数据使用,提高了数据传输通道的利用率。
在上述实施例的基础上,在获得每一所述标签对应的数据封装包之后,所述方法,还包括:
对每一所述数据封装包进行压缩。
在具体的实施过程中,在对流式数据进行封装得到多个数据封装包之后对每一个数据封装包进行压缩,从而使得在利用数据传输通道进行传输时,占用较少的资源。
图2为本发明实施例提供的一种流式数据处理方法流程示意图,如图2所示,该方法,包括:
步骤201:接收通过一个数据传输通道传送的多个数据封装包,其中,所述数据封装包包括多个流式数据及对应的属性信息,所述属性信息包括所述标签;
在具体的实施过程中,数据处理装置接收数据传输装置通过数据传输通道传输的多个数据封装包,应当说明的是,在一个数据封装包中包括了多个流式数据以及每一流式数据对应的属性信息,且属性信息中还可以包括每一流式数据对应的标签,也可以包括处理方式和流向信息。
步骤202:根据所述标签对对应的数据封装包进行解包处理,获得所述数据封装包对应的所述流式数据和所述属性信息。
在具体的实施过程中,根据每一个数据封装包的标签对数据封装包进行解包处理,获得每一个数据封装包中的流式数据以及流式数据对应的属性信息。
本发明实施例通过接收来自一个数据传输通道传送的多个数据封装包,数据封装包对应的标签不同,对每一个数据封装包进行解包处理,获得对应的流式数据,由于通过同一个数据传输通道传送多个标签不同的数据封装包,而不是将一个标签的流式数据用一个数据传输通道进行传输,从而减少了预先构建数据传输通道的数量,同时提高了对数据传输通道的利用率。
在上述实施例的基础上,所述属性信息还包括处理方式;相应的,在获得所述数据封装包对应的所述属性信息和所述流式数据之后,所述方法,还包括:
根据所述处理方式对所述流式数据进行处理。
在具体的实施过程中,由于所有标签对应的流式数据都用同一个数据传输通道进行传输,而不同的流式数据需要对其进行不同的处理,因此,可以获取各流式数据对应的属性信息,其中属性信息中包括了处理方法,因此,可以根据各流式数据对应的处理方式进行对应的处理。例如,处理方式为将该流式数据存入第一数据池中。当然,处理方式也可以为其他,本发明实施例对此不作具体限定。
图3为本发明实施例提供的流式数据传输逻辑架构图,如图3所示,该逻辑架构包括数据发送端、数据处理端和数据传输通道kinesis stream。其中,数据发送端包括业务层、采集附加信息层和二进制封包层;数据处理端包括流数据处理层、解析附加信息层和二进制解包层。业务层获取业务***中的流式数据,通过采集附加信息层获取流式数据对应的属性信息,二进制封包层对流式数据和属性信息进行封装,获得数据封装包,将数据封装包通过一个数据传输通道传输至数据处理端,数据处理端中的二进制解包层对数据封装包进行解包处理,然后利用解析附加信息层对各流式数据的属性信息进行解析,最后利用流数据处理层根据属性信息进行处理。
本发明实施例通过对同一标签的流式数据进行封装,然后将封装后的多个数据封装包通过一个数据传输通道进行传输,由于多个数据封装包公用一个数据传输通道,实现了数据传输通道的复用,从而提高了数据传输通道的利用率。
图4为本发明实施例提供的一种流式数据传输装置结构示意图,如图4所示,该装置包括:获取模块401、封装模块402和传输模块403,其中,
获取模块401用于获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签;封装模块402用于对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包;传输模块403用于通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。
在上述实施例的基础上,所述装置,还包括:
通道构建模块,用于构建一个所述数据传输通道,在所述数据传输通道中留出预设大小的可用资源。
在上述实施例的基础上,所述装置,还包括:
压缩模块,用于对每一所述数据封装包进行压缩。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本发明实施例通过对同一标签的流式数据进行封装,然后将封装后的多个数据封装包通过一个数据传输通道进行传输,由于多个数据封装包公用一个数据传输通道,实现了数据传输通道的复用,从而提高了数据传输通道的利用率。
图5为本发明实施例提供的一种流式数据处理装置结构示意图,如图5所示,该装置包括:接收模块501和解包模块502,其中,
接收模块501用于接收通过一个数据传输通道传送的多个数据封装包,其中,所述数据封装包包括多个流式数据及对应的属性信息,所述属性信息包括所述标签;解包模块502用于根据所述标签对对应的数据封装包进行解包处理,获得所述数据封装包对应的所述属性信息和所述流式数据。
在上述实施例的基础上,所述属性信息还包括处理方式;相应的,所述装置,还包括:
处理模块,用于根据所述处理方式对所述流式数据进行处理。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本发明实施例通过接收来自一个数据传输通道传送的多个数据封装包,数据封装包对应的标签不同,对每一个数据封装包进行解包处理,获得对应的流式数据,由于通过同一个数据传输通道传送多个标签不同的数据封装包,而不是将一个标签的流式数据用一个数据传输通道进行传输,从而提高了对数据传输通道的利用率。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签;对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包;通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签;对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包;通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:接收通过一个数据传输通道传送的多个数据封装包,其中,所述数据封装包包括多个流式数据及对应的属性信息,所述属性信息包括所述标签;根据所述标签对对应的数据封装包进行解包处理,获得所述数据封装包对应的所述属性信息和所述流式数据。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:接收通过一个数据传输通道传送的多个数据封装包,其中,所述数据封装包包括多个流式数据及对应的属性信息,所述属性信息包括所述标签;根据所述标签对对应的数据封装包进行解包处理,获得所述数据封装包对应的所述属性信息和所述流式数据。
请参照图6,图6为本发明实施例提供的电子设备的结构框图。电子设备可以包括流式数据传输装置601、存储器602、存储控制器603、处理器604、外设接口605、输入输出单元606、音频单元607、显示单元608。
所述存储器602、存储控制器603、处理器604、外设接口605、输入输出单元606、音频单元607、显示单元608各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述流式数据传输装置601包括至少一个可以软件或固件(firmware)的形式存储于所述存储器602中或固化在流式数据传输装置601的操作***(operating system,OS)中的软件功能模块。所述处理器604用于执行存储器602中存储的可执行模块,例如流式数据传输装置601包括的软件功能模块或计算机程序。
其中,存储器602可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器602用于存储程序,所述处理器604在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器604中,或者由处理器604实现。
处理器604可以是一种集成电路芯片,具有信号的处理能力。上述的处理器604可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器604也可以是任何常规的处理器等。
所述外设接口605将各种输入/输出装置耦合至处理器604以及存储器602。在一些实施例中,外设接口605,处理器604以及存储控制器603可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元606用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元606可以是,但不限于,鼠标和键盘等。
音频单元607向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元608在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元608可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器604进行计算和处理。
所述外设接口605将各种输入/输入装置耦合至处理器604以及存储器602。在一些实施例中,外设接口605,处理器604以及存储控制器603可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元606用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元606可以是,但不限于,鼠标和键盘等。
可以理解,图6所示的结构仅为示意,所述电子设备还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。
请参照图7,图7为本发明实施例提供的电子设备的结构框图。电子设备可以包括流式数据处理装置701、存储器702、存储控制器703、处理器704、外设接口705、输入输出单元706、音频单元707、显示单元708。
所述存储器702、存储控制器703、处理器704、外设接口705、输入输出单元706、音频单元707、显示单元708各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述流式数据处理装置701包括至少一个可以软件或固件(firmware)的形式存储于所述存储器702中或固化在流式数据处理装置701的操作***(operating system,OS)中的软件功能模块。所述处理器704用于执行存储器702中存储的可执行模块,例如流式数据处理装置701包括的软件功能模块或计算机程序。
其中,存储器702可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器702用于存储程序,所述处理器704在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器704中,或者由处理器704实现。
处理器704可以是一种集成电路芯片,具有信号的处理能力。上述的处理器704可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器704也可以是任何常规的处理器等。
所述外设接口705将各种输入/输出装置耦合至处理器704以及存储器702。在一些实施例中,外设接口705,处理器704以及存储控制器703可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元706用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元706可以是,但不限于,鼠标和键盘等。
音频单元707向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元708在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元708可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器704进行计算和处理。
所述外设接口705将各种输入/输入装置耦合至处理器704以及存储器702。在一些实施例中,外设接口705,处理器704以及存储控制器703可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元706用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元706可以是,但不限于,鼠标和键盘等。
可以理解,图7所示的结构仅为示意,所述电子设备还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种流式数据传输方法,其特征在于,包括:
获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签;
对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包;
通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。
2.根据权利要求1所述的方法,其特征在于,在获取多个待传输的流式数据及对应的属性信息之前,所述方法,还包括:
构建一个所述数据传输通道,在所述数据传输通道中留出预设大小的可用资源。
3.根据权利要求1所述的方法,其特征在于,在获得每一所述标签对应的数据封装包之后,所述方法,还包括:
对每一所述数据封装包进行压缩。
4.一种流式数据处理方法,其特征在于,包括:
接收通过一个数据传输通道传送的多个数据封装包,其中,所述数据封装包包括多个流式数据及对应的属性信息,所述属性信息包括标签;
根据所述标签对对应的数据封装包进行解包处理,获得所述数据封装包对应的所述属性信息和所述流式数据。
5.根据权利要求4所述的方法,其特征在于,所述属性信息还包括处理方式;相应的,在获得所述数据封装包对应的所述属性信息和所述流式数据之后,所述方法,还包括:
根据所述处理方式对所述流式数据进行处理。
6.一种流式数据传输装置,其特征在于,包括:
获取模块,用于获取多个待传输的流式数据及对应的属性信息,所述属性信息包括标签;
封装模块,用于对同一标签的流式数据进行封装,获得每一所述标签对应的数据封装包;
传输模块,用于通过预先构建的一个数据传输通道将所有的所述数据封装包发送至数据处理端。
7.根据权利要求6所述的装置,其特征在于,所述装置,还包括:
通道构建模块,用于构建一个所述数据传输通道,在所述数据传输通道中留出预设大小的可用资源。
8.根据权利要求6所述的装置,其特征在于,所述装置,还包括:
压缩模块,用于对每一所述数据封装包进行压缩。
9.一种流式数据处理装置,其特征在于,包括:
接收模块,用于接收通过一个数据传输通道传送的多个数据封装包,其中,所述数据封装包包括多个流式数据及对应的属性信息,所述属性信息包括标签;
解包模块,用于根据所述标签对对应的数据封装包进行解包处理,获得所述数据封装包对应的所述属性信息和所述流式数据。
10.根据权利要求9所述的装置,其特征在于,所述属性信息还包括处理方式;相应的,所述装置,还包括:
处理模块,用于根据所述处理方式对所述流式数据进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810803187.7A CN108989314A (zh) | 2018-07-20 | 2018-07-20 | 一种流式数据传输、处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810803187.7A CN108989314A (zh) | 2018-07-20 | 2018-07-20 | 一种流式数据传输、处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108989314A true CN108989314A (zh) | 2018-12-11 |
Family
ID=64550044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810803187.7A Pending CN108989314A (zh) | 2018-07-20 | 2018-07-20 | 一种流式数据传输、处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108989314A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023020503A1 (zh) * | 2021-08-19 | 2023-02-23 | Oppo广东移动通信有限公司 | 图像处理芯片、方法、应用处理芯片及电子设备 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101631128A (zh) * | 2009-08-19 | 2010-01-20 | 中兴通讯股份有限公司 | 发送流媒体数据的方法和装置 |
CN102420872A (zh) * | 2011-12-06 | 2012-04-18 | 公安部交通管理科学研究所 | 一种基于http数据流的传输管理框架 |
CN102595199A (zh) * | 2011-01-11 | 2012-07-18 | 中兴通讯股份有限公司 | 一种流媒体数据包的封装、传输方法及流媒体处理装置 |
CN102611719A (zh) * | 2011-01-21 | 2012-07-25 | 汽车零部件研究及发展中心有限公司 | 一种车载most网络*** |
CN103179162A (zh) * | 2011-12-23 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种输出日志的方法及*** |
CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和*** |
CN103617287A (zh) * | 2013-12-12 | 2014-03-05 | 用友软件股份有限公司 | 一种分布式环境下的日志管理方法和装置 |
US8788817B1 (en) * | 2011-09-30 | 2014-07-22 | Emc Corporation | Methods and apparatus for secure and reliable transmission of messages over a silent alarm channel |
CN104424144A (zh) * | 2013-08-21 | 2015-03-18 | 展讯通信(上海)有限公司 | 一种日志数据处理***及处理方法 |
CN104601489A (zh) * | 2015-02-02 | 2015-05-06 | 迈普通信技术股份有限公司 | 一种日志块传输方法及设备 |
CN105872579A (zh) * | 2015-12-23 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 流媒体直播方法、发布端、客户端及*** |
CN106095965A (zh) * | 2016-06-17 | 2016-11-09 | 上海智臻智能网络科技股份有限公司 | 一种数据处理方法和装置 |
WO2016187967A1 (zh) * | 2015-05-28 | 2016-12-01 | 中兴通讯股份有限公司 | 一种实现日志传输的方法及装置 |
CN108197233A (zh) * | 2017-12-29 | 2018-06-22 | 飞狐信息技术(天津)有限公司 | 一种数据管理方法、中间件及数据管理*** |
-
2018
- 2018-07-20 CN CN201810803187.7A patent/CN108989314A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101631128A (zh) * | 2009-08-19 | 2010-01-20 | 中兴通讯股份有限公司 | 发送流媒体数据的方法和装置 |
CN102595199A (zh) * | 2011-01-11 | 2012-07-18 | 中兴通讯股份有限公司 | 一种流媒体数据包的封装、传输方法及流媒体处理装置 |
CN102611719A (zh) * | 2011-01-21 | 2012-07-25 | 汽车零部件研究及发展中心有限公司 | 一种车载most网络*** |
US8788817B1 (en) * | 2011-09-30 | 2014-07-22 | Emc Corporation | Methods and apparatus for secure and reliable transmission of messages over a silent alarm channel |
CN102420872A (zh) * | 2011-12-06 | 2012-04-18 | 公安部交通管理科学研究所 | 一种基于http数据流的传输管理框架 |
CN103179162A (zh) * | 2011-12-23 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种输出日志的方法及*** |
CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和*** |
CN104424144A (zh) * | 2013-08-21 | 2015-03-18 | 展讯通信(上海)有限公司 | 一种日志数据处理***及处理方法 |
CN103617287A (zh) * | 2013-12-12 | 2014-03-05 | 用友软件股份有限公司 | 一种分布式环境下的日志管理方法和装置 |
CN104601489A (zh) * | 2015-02-02 | 2015-05-06 | 迈普通信技术股份有限公司 | 一种日志块传输方法及设备 |
WO2016187967A1 (zh) * | 2015-05-28 | 2016-12-01 | 中兴通讯股份有限公司 | 一种实现日志传输的方法及装置 |
CN105872579A (zh) * | 2015-12-23 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 流媒体直播方法、发布端、客户端及*** |
CN106095965A (zh) * | 2016-06-17 | 2016-11-09 | 上海智臻智能网络科技股份有限公司 | 一种数据处理方法和装置 |
CN108197233A (zh) * | 2017-12-29 | 2018-06-22 | 飞狐信息技术(天津)有限公司 | 一种数据管理方法、中间件及数据管理*** |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023020503A1 (zh) * | 2021-08-19 | 2023-02-23 | Oppo广东移动通信有限公司 | 图像处理芯片、方法、应用处理芯片及电子设备 |
CN115714898A (zh) * | 2021-08-19 | 2023-02-24 | Oppo广东移动通信有限公司 | 图像处理芯片、方法、应用处理芯片及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106302008B (zh) | 数据更新方法和装置 | |
CN110865898B (zh) | 崩溃调用栈聚合的方法、装置、介质和设备 | |
CN108280119A (zh) | 页面生成方法、装置及用户终端 | |
CN108038212B (zh) | 一种数据交互方法、装置、***、设备和存储介质 | |
CN106161178B (zh) | 一种接入即时通信网络的方法和设备 | |
CN109873735A (zh) | H5页面的性能测试方法、装置和计算机设备 | |
CN104639423A (zh) | 一种信息交互方法、装置及终端 | |
CN104679627A (zh) | 测试方法及装置 | |
CN103488696B (zh) | Cpe的业务查询方法、装置及***、acs和cpe | |
CN107102950A (zh) | 一种应用程序测试方法和装置 | |
CN104679391B (zh) | 智能手表的图标显示方法及装置 | |
CN107277019A (zh) | 数据明文获取方法、装置、电子终端及可读存储介质 | |
CN106649342A (zh) | 数据采集平台中数据处理的方法及装置 | |
CN108563668A (zh) | Hybrid页面跳转H5页面的方法、装置及终端设备 | |
CN101794310B (zh) | 一种处理智能卡数据库的方法、***及装置 | |
CN108989314A (zh) | 一种流式数据传输、处理方法及装置 | |
CN110019042A (zh) | 报表文件生成方法、装置及*** | |
CN109561048B (zh) | 一种通信管理方法和装置 | |
CN108205487A (zh) | 一种监控浏览器性能的方法、装置及用户终端 | |
CN108388616A (zh) | 数据收集装置、方法、***及计算机可读存储介质 | |
CN104954280B (zh) | 一种数据报文处理方法和装置 | |
CN108762637A (zh) | 控制方法、装置及*** | |
CN108011964A (zh) | 图片上传方法、装置、电子终端及可读存储介质 | |
CN105577462A (zh) | 移动设备的流量统计方法及装置 | |
CN107276821A (zh) | 用户行为监测***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181211 |