CN109710604A - 数据处理方法、装置、***、计算机可读存储介质 - Google Patents

数据处理方法、装置、***、计算机可读存储介质 Download PDF

Info

Publication number
CN109710604A
CN109710604A CN201910022084.1A CN201910022084A CN109710604A CN 109710604 A CN109710604 A CN 109710604A CN 201910022084 A CN201910022084 A CN 201910022084A CN 109710604 A CN109710604 A CN 109710604A
Authority
CN
China
Prior art keywords
data
rule
sub
processing
pending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910022084.1A
Other languages
English (en)
Inventor
张琪琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Financial Technology Holding Co Ltd
Original Assignee
Beijing Jingdong Financial Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Financial Technology Holding Co Ltd filed Critical Beijing Jingdong Financial Technology Holding Co Ltd
Priority to CN201910022084.1A priority Critical patent/CN109710604A/zh
Publication of CN109710604A publication Critical patent/CN109710604A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本公开提供一种数据处理方法,包括:获取请求数据,所述请求数据包括待处理数据和处理规则标识;确定所述处理规则标识对应的至少一个子规则;获取所述至少一个子规则对应的规则数据,其中,所述规则数据能够用于处理所述待处理数据;以及基于所述至少一个子规则对应的规则数据处理所述待处理数据。

Description

数据处理方法、装置、***、计算机可读存储介质
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种数据处理方法、一种数据处理装置、一种数据处理***、以及一种计算机可读存储介质。
背景技术
随着进入大数据时代,数据的重要性不言而喻,对于从各种渠道获取的数据通常存在不一致性的问题,因此需要对获取的数据进行处理得到一致性的数据,例如需要对数据进行清洗最终形成结构化的可用的数据,以方便后续进行数据分析。因此,如何提高数据处理过程的灵活性以及处理过程的快捷性成为目前亟需解决的问题。
在实现本公开构思的过程中,发明人发现现有技术中至少存在如下问题,现有技术的数据处理方式灵活性差,处理过程不够方便快捷。
发明内容
有鉴于此,本公开提供了一种优化的数据处理方法和数据处理***。
本公开的一个方面提供了一种数据处理方法,包括:获取请求数据,所述请求数据包括待处理数据和处理规则标识,确定所述处理规则标识对应的至少一个子规则,获取所述至少一个子规则对应的规则数据,其中,所述规则数据能够用于处理所述待处理数据,以及基于所述至少一个子规则对应的规则数据处理所述待处理数据。
根据本公开的实施例,上述待处理数据包括:待处理的原数据,所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:基于所述至少一个子规则对应的规则数据处理所述待处理的原数据。
根据本公开的实施例,上述待处理数据包括:地址数据,所述地址数据能够表征待处理的原数据的存储位置,所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:基于所述地址数据获取所述待处理的原数据,基于所述至少一个子规则对应的规则数据处理所述待处理的原数据。
根据本公开的实施例,上述待处理的原数据包括至少一个数据属性和所述至少一个数据属性对应的至少一个数据内容。
根据本公开的实施例,上述确定所述处理规则标识对应的至少一个子规则,包括:基于所述处理规则标识获取配置文件,其中,所述配置文件包括至少一个子规则标识以及对应的至少一个子规则属性,所述子规则属性与所述数据属性相关联,基于所述至少一个子规则标识确定对应的至少一个子规则,其中,所述至少一个子规则对应的规则数据能够用于处理相应的所述数据内容。
根据本公开的实施例,上述配置文件还包括:特定规则数据,所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:根据所述至少一个子规则对应的规则数据和/或所述特定规则数据处理所述待处理数据。
根据本公开的实施例,上述子规则还包括:目标地址和/或目标队列,所述方法还包括:将处理后的所述待处理数据存储至所述目标地址和/或发送至所述目标队列。
本公开的另一个方面提供了一种数据处理装置,包括:第一获取模块、确定模块、第二获取模块、处理模块。其中,第一获取模块获取请求数据,所述请求数据包括待处理数据和处理规则标识,确定模块确定所述处理规则标识对应的至少一个子规则,第二获取模块获取所述至少一个子规则对应的规则数据,其中,所述规则数据能够用于处理所述待处理数据,以及处理模块基于所述至少一个子规则对应的规则数据处理所述待处理数据。
根据本公开的实施例,上述待处理数据包括:待处理的原数据,所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:基于所述至少一个子规则对应的规则数据处理所述待处理的原数据。
根据本公开的实施例,上述待处理数据包括:地址数据,所述地址数据能够表征待处理的原数据的存储位置,所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:基于所述地址数据获取所述待处理的原数据,基于所述至少一个子规则对应的规则数据处理所述待处理的原数据。
根据本公开的实施例,上述待处理的原数据包括至少一个数据属性和所述至少一个数据属性对应的至少一个数据内容。
根据本公开的实施例,上述确定所述处理规则标识对应的至少一个子规则,包括:基于所述处理规则标识获取配置文件,其中,所述配置文件包括至少一个子规则标识以及对应的至少一个子规则属性,所述子规则属性与所述数据属性相关联,基于所述至少一个子规则标识确定对应的至少一个子规则,其中,所述至少一个子规则对应的规则数据能够用于处理相应的所述数据内容。
根据本公开的实施例,上述配置文件还包括:特定规则数据,所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:根据所述至少一个子规则对应的规则数据和/或所述特定规则数据处理所述待处理数据。
根据本公开的实施例,上述子规则还包括:目标地址和/或目标队列,所述装置还包括:存储模块,将处理后的所述待处理数据存储至所述目标地址和/或发送至所述目标队列。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,可以至少部分地解决现有技术的数据处理方式灵活性差,处理过程不够方便快捷的问题,并因此可以实现提高数据处理过程的灵活性以及处理过程的快捷性的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的数据处理方法和处理***的***架构;
图2示意性示出了根据本公开实施例的数据处理方法和处理***的应用场景;
图3示意性示出了根据本公开实施例的数据处理方法的流程图;
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图;
图5示意性示出了根据本公开实施例的数据处理装置的框图;
图6示意性示出了根据本公开另一实施例的数据处理装置的框图;以及
图7示意性示出了根据本公开实施例的适于数据处理的计算机***的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
本公开的实施例提供了一种数据处理方法,包括:获取请求数据,请求数据包括待处理数据和处理规则标识;确定处理规则标识对应的至少一个子规则;获取至少一个子规则对应的规则数据,其中,规则数据能够用于处理待处理数据;以及基于至少一个子规则对应的规则数据处理待处理数据。
图1示意性示出了根据本公开实施例的数据处理方法和数据处理***的***架构。需要注意的是,图1所示仅为可以应用本公开实施例的***架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示,根据该实施例的***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据处理装置电可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如,本公开实施例所获取的请求数据可以存储在终端设备101、102、103中,通过终端设备101、102、103将请求数据发送至服务器105中,服务器105可以根据请求数据确定处理规则标识对应的至少一个子规则,并获取至少一个子规则对应的规则数据,以及基于至少一个子规则对应的规则数据处理待处理数据,或者,终端设备101、102、103也可以直接根据请求数据确定处理规则标识对应的至少一个子规则,并获取至少一个子规则对应的规则数据,以及基于至少一个子规则对应的规则数据处理待处理数据。另外,请求数据还可以直接存储在服务器105中,由服务器105直接根据请求数据确定处理规则标识对应的至少一个子规则,并获取至少一个子规则对应的规则数据,以及基于至少一个子规则对应的规则数据处理待处理数据。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的数据处理方法和数据处理***的应用场景。需要注意的是,图2所示仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图2所示,该应用场景200例如可以包括请求数据210、子规则220以及子规则220对应的规则数据230。
根据本公开实施例,请求数据210例如可以包括处理规则标识A以及待处理数据211,其中,该处理规则标识A对应的规则数据能够用于处理待处理数据211。
其中,处理规则标识A对应子规则220,例如子规则220包括多个子规则a1、a2、a3等等,子规则220对应规则数据230,该规则数据230能够用于处理待处理数据211。
例如子规则a1对应规则数据A1,子规则a2对应规则数据A2,子规则a3对应规则数据A3。
本公开实施例能够基于子规则220获取对应的规则数据230,并通过规则数据230对请求数据210中的待处理数据211进行处理。
其中,待处理数据211例如为从各种渠道获取到的数据,该数据是需要进一步提取、整理,例如需要处理无效值,填补缺失内容等,以此形成结构化的可用的数据,以便后续进行数据分析。本公开实施例通过规则数据230对该待处理数据211进行清洗,保证数据的一致性。
图3示意性示出了根据本公开实施例的数据处理方法的流程图。
如图3所示,该方法包括操作S310~S340。
在操作S310,获取请求数据,请求数据包括待处理数据和处理规则标识。
根据本公开实施例,待处理数据可以是需要进行数据清洗的数据,该待处理数据为数据格式不标准(例如数据中的日期格式不标准)、包含脏数据(例如数据中包括html、js、空格等)的数据。
根据本公开实施例,处理规则标识例如可以为规则编号,不同的处理规则包括不同的规则编号。根据处理规则标识能够确定对应的处理规则。
其中,不同类型的待处理数据可以通过不同的处理规则进行处理。例如,新闻类型的数据的处理规则与网站访问类的数据的处理规则不一样,换言之,新闻类型的数据的处理规则标识为A1,网站访问类的数据的处理规则标识为A2,其中,A1与A2不同。
根据本公开实施例,请求数据可以存储在外部数据队列中,通过数据处理平台从外部数据队列中获取请求数据,并将获取的请求数据放入处理平台内部的数据队列中进行后续处理。
在操作S320,确定处理规则标识对应的至少一个子规则。
在本公开实施例中,处理规则标识对应的处理规则可以包括多个子规则,例如子规则可以是强校验规则(校验手机号、qq号等等,如果输入的字段内容不符合规范则返回空字符串)、中文处理类规则(繁体转简体等)、数据挖掘类规则(对文章内容的语义分析,例如给一段话打标、获取文章情感词得分种类)、日期处理类规则(将不规则的日期格式标准化处理)、去除脏数据规则、从数据中获取关键词规则、解析类规则(解析数组,解析json、使用jsoup解析html等)、字符串处理规则(针对字符串做定制处理,如前后增加字符串,替换字符串、正则匹配字符串)等等。
其中,不同的处理规则标识对应的多个子规则中可以包括相同的子规则。例如,处理规则标识A1对应的子规则为a1、a2等,处理规则标识A2对应的规则标识可以为a2、a3等,其中,A1和A2包括相同的子规则a2。
在操作S330,获取至少一个子规则对应的规则数据,其中,规则数据能够用于处理待处理数据。
其中,基于处理规则标识确定多个子规则后,可以获取每个子规则对应的规则数据,该规则数据能够用于处理待处理数据,其中,子规则对应的规则数据可以存储在处理平台的规则库中,其中,在处理不同类型的待处理数据时,可以从规则库中调用同一个子规则对应的规则数据。例如,子规则a2可以被调用并用于处理不同类型的待处理数据。
例如,当子规则a2为将不规则的日期格式标准化处理,当对新闻类型的数据或者网站访问类的数据进行日期格式标准化处理时,不同类型的数据可以调用相同子规则a2对应的处理数据进行日期格式标准化处理。
在本公开实施例中,通过使用动态代理方式调用规则库中的规则数据,使得规则数据和数据处理过程分离,使规则数据能够更方便地进行修改、添加、删除,降低了规则数据的维护难度,使得数据处理的规则数据可定制化。
本公开实施例通过使用动态代理模式调用规则库的规则数据,该方式能够实现灵活地添加、删除规则数据,只需在规则库中操作,不会影响到数据处理过程。
其中,动态代理是设计模式当中代理模式的一种。动态代理是指在运行通过java反射机制动态地生成其他对象的动态代理类,来控制对这个对象的访问。
在操作S340,基于至少一个子规则对应的规则数据处理待处理数据。
根据本公开实施例,在获取多个子规则对应的规则数据后,可以通过该规则数据处理待处理数据,以实现数据清洗。处理后的数据格式具有一致性,即,清洗后的数据最终形成结构化的可用的数据,以方便后续进行数据分析。
本公开实施例提供了零编码的数据处理方案,便于维护,大大降低了开发成本,提供了工作效率。
本公开实施例通过获取处理规则标识,并确定处理规则标识对应子规则,基于子规则对应的规则数据处理待处理数据,即在处理待处理数据时,可以通过调用不同的子规则对应的规则数据进行处理,提高规则数据的拓展性,并以此实现提高数据处理过程的灵活性以及处理过程的快捷性。
根据本公开实施例,在一种情况下,待处理数据包括:待处理的原数据。
根据本公开实施例,请求数据中包括的待处理数据可以是待处理的原数据,该原数据为能够直接进行处理的数据。
其中,待处理的原数据包括至少一个数据属性和至少一个数据属性对应的至少一个数据内容。
其中,数据属性例如可以是数据标题、时间、正文等等。数据属性对应的数据内容可以是具体的内容。例如具体的标题、具体的时间、具体的正文。
举例来说,例如待处理数据为新闻类数据时,该数据的数据属性可以包括新闻标题、新闻发布时间、新闻正文等等。其中,新闻标题对应的数据内容为“某大会在北京召开”,新闻发布时间对应的数据内容为“2018.11.02”,新闻正文对应的数据内容为大会召开的具体细节。
其中,操作S340可以包括基于至少一个子规则对应的规则数据处理待处理的原数据。
根据本公开实施例,在请求数据包括待处理数据的原数据的情况下,获取请求数据后,可以直接基于子规则对应的规则数据处理待处理的原数据。
以一个例子来说,当子规则对应的规则数据为“日期格式标准化处理”,基于该子规则的规则数据处理数据内容“2018.11.02”,得到处理后的标准化日期为“2018年11月02日”。
根据本公开实施例,在另一种情况下,待处理数据包括:地址数据,地址数据能够表征待处理的原数据的存储位置。
在本公开实施例中,请求数据中的待处理数据例如可以包括地址数据,该地址数据为待处理的原数据的存储位置,通过该地址位置可以找到待处理的原数据。
其中,操作S340可以包括基于地址数据获取待处理的原数据,基于至少一个子规则对应的规则数据处理待处理的原数据。
根据本公开实施例,在待处理数据包括地址数据的情况下,基于地址数据获取待处理数据的原数据,在获取到待处理的原数据后,基于子规则对应的规则数据处理该待处理的原数据。
根据本公开实施例,操作S320可以包括:基于处理规则标识获取配置文件,其中,配置文件包括至少一个子规则标识以及对应的至少一个子规则属性,子规则属性与数据属性相关联,基于至少一个子规则标识确定对应的至少一个子规则,其中,至少一个子规则对应的规则数据能够用于处理相应的数据内容。
根据本公开实施例,配置文件例如包括多个子规则,其中,每一种需要处理的数据类型可以对应一个配置文件,该配置文件中包括了处理该数据类型的子规则。
具体地,该配置文件中包括的子规则为子规则的标识和对应的子规则属性,其中,子规则标识用于从规则库中获取相应的规则数据,子规则属性用于确定该子规则用于处理待处理数据中的数据属性对应的数据内容。
举例来说,对于新闻类型的待处理数据,该数据的数据属性可以包括新闻标题、新闻发布时间等等。其中,新闻标题对应的数据内容为“某大会在北京召开”,新闻发布时间对应的数据内容为“2018.11.02”。处理该新闻类型的处理规则标识为A1,该A1标识对应的配置文件为B1,该配置文件B1包括的子规则标识为a1、a2,子规则a1对应的子规则属性为标题属性(与新闻数据中的新闻标题的数据属性相关联),子规则a2对应的子规则属性为时间属性(与新闻数据中新闻发布时间的数据属性相关联)。
其中,通过子规则标识为a1能够确定相应的子规则,该相应的子规则能够用于处理新闻数据中的数据内容“某大会在北京召开”,通过子规则标识为a2能够确定相应的子规则,该相应的子规则能够用于处理新闻数据中的数据内容“2018.11.02”。
在本公开实施例中,配置文件的设计使的规则数据的配置非常灵活,能支持绝大部分数据处理需求,且能灵活增加或删除规则数据。
根据本公开实施例,配置文件还包括:特定规则数据。
其中,特定规则数量例如可以是自定义的规则数据,例如可以是增加前缀或后缀字符串等等,该配置为文件中的特定规则数据能够与从规则库中获取的子规则对应的规则数据相结合并对待处理数据进行处理。
操作S340可以包括根据至少一个子规则对应的规则数据和/或特定规则数据处理待处理数据。
即,通过解析配置文件获取子规则标识和特定规则数据,基于子规则标识从规则库中获取子规则对应的规则数据,并结合特定规则数据对待处理数据进行处理。
图4示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图4所示,该方法包括操作S310~S340以及操作S410。其中,操作S310~S340与上参考图3中描述的操作相同或类似,在此不再赘述。
其中,子规则还包括:目标地址和/或目标队列。
根据本公开实施例,目标地址可以是处理后的数据所存储的地址。目标队列可以是用于临时存储处理后的数据,该处理后的数据需要进行后续处理。
在操作S410,将处理后的待处理数据存储至目标地址和/或发送至目标队列。
其中,在处理后的待处理数据不需要进行后续处理的情况下,将该处理后的待处理数据存储至目标地址对应的存储位置,在处理后的待处理数据需要进行后续处理的情况下,将该处理后的待处理数据发送至目标队列中等待后续处理。
图5示意性示出了根据本公开实施例的数据处理装置的框图。
如图5所示,数据处理装置500包括第一获取模块510、确定模块520、第二获取模块530以及处理模块540。
第一获取模块510可以用于获取请求数据,请求数据包括待处理数据和处理规则标识。根据本公开实施例,第一获取模块510例如可以执行上文参考图3描述的操作S310,在此不再赘述。
确定模块520可以用于确定处理规则标识对应的至少一个子规则。根据本公开实施例,确定模块520例如可以执行上文参考图3描述的操作S320,在此不再赘述。
第二获取模块530可以用于获取至少一个子规则对应的规则数据,其中,规则数据能够用于处理待处理数据。根据本公开实施例,第二获取模块530例如可以执行上文参考图3描述的操作S330,在此不再赘述。
处理模块540可以用于基于至少一个子规则对应的规则数据处理待处理数据。
根据本公开的实施例,上述待处理数据包括:待处理的原数据,基于至少一个子规则对应的规则数据处理待处理数据,包括:基于至少一个子规则对应的规则数据处理待处理的原数据。
根据本公开的实施例,上述待处理数据包括:地址数据,地址数据能够表征待处理的原数据的存储位置,基于至少一个子规则对应的规则数据处理待处理数据,包括:基于地址数据获取待处理的原数据,基于至少一个子规则对应的规则数据处理待处理的原数据。
根据本公开的实施例,上述待处理的原数据包括至少一个数据属性和至少一个数据属性对应的至少一个数据内容。
根据本公开的实施例,上述确定处理规则标识对应的至少一个子规则,包括:基于处理规则标识获取配置文件,其中,配置文件包括至少一个子规则标识以及对应的至少一个子规则属性,子规则属性与数据属性相关联,基于至少一个子规则标识确定对应的至少一个子规则,其中,至少一个子规则对应的规则数据能够用于处理相应的数据内容。
根据本公开的实施例,上述配置文件还包括:特定规则数据,基于至少一个子规则对应的规则数据处理待处理数据,包括:根据至少一个子规则对应的规则数据和/或特定规则数据处理待处理数据。
根据本公开实施例,处理模块540例如可以执行上文参考图3描述的操作S40,在此不再赘述。
图6示意性示出了根据本公开另一实施例的数据处理装置的框图。
如图6所示,数据处理装置600包括第一获取模块510、确定模块520、第二获取模块530、处理模块540以及存储模块610。其中,第一获取模块510、确定模块520、第二获取模块530以及处理模块540与上参考图5描述的模块相同或类似,在此不再赘述。
存储模块610可以用于将处理后的待处理数据存储至目标地址和/或发送至目标队列。其中,子规则还包括:目标地址和/或目标队列。根据本公开实施例,存储模块610例如可以执行上文参考图4描述的操作S410,在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块510、确定模块520、第二获取模块530、处理模块540以及存储模块610中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块510、确定模块520、第二获取模块530、处理模块540以及存储模块610中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,获取模块610、第一获取模块510、确定模块520、第二获取模块530、处理模块540以及存储模块610中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图7示意性示出了根据本公开实施例的适于数据处理的计算机***的方框图。图7示出的计算机***仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,根据本公开实施例的计算机***700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有***700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,***700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。***700还可以包括连接至I/O接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质716,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的***中限定的上述功能。根据本公开的实施例,上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是计算机非易失性的计算机可读存储介质,例如可以可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (16)

1.一种数据处理方法,包括:
获取请求数据,所述请求数据包括待处理数据和处理规则标识;
确定所述处理规则标识对应的至少一个子规则;
获取所述至少一个子规则对应的规则数据,其中,所述规则数据能够用于处理所述待处理数据;以及
基于所述至少一个子规则对应的规则数据处理所述待处理数据。
2.根据权利要求1所述的方法,其中:
所述待处理数据包括:待处理的原数据;
所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:
基于所述至少一个子规则对应的规则数据处理所述待处理的原数据。
3.根据权利要求1所述的方法,其中:
所述待处理数据包括:地址数据,所述地址数据能够表征待处理的原数据的存储位置;
所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:
基于所述地址数据获取所述待处理的原数据;
基于所述至少一个子规则对应的规则数据处理所述待处理的原数据。
4.根据权利要求2或3所述的方法,其中,所述待处理的原数据包括至少一个数据属性和所述至少一个数据属性对应的至少一个数据内容。
5.根据权利要求4所述的方法,其中,所述确定所述处理规则标识对应的至少一个子规则,包括:
基于所述处理规则标识获取配置文件,其中,所述配置文件包括至少一个子规则标识以及对应的至少一个子规则属性,所述子规则属性与所述数据属性相关联;
基于所述至少一个子规则标识确定对应的至少一个子规则,其中,所述至少一个子规则对应的规则数据能够用于处理相应的所述数据内容。
6.根据权利要求5所述的方法,其中:
所述配置文件还包括:特定规则数据;
所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:根据所述至少一个子规则对应的规则数据和/或所述特定规则数据处理所述待处理数据。
7.根据权利要求1所述的方法,其中:
所述子规则还包括:目标地址和/或目标队列;
所述方法还包括:将处理后的所述待处理数据存储至所述目标地址和/或发送至所述目标队列。
8.一种数据处理装置,包括:
第一获取模块,获取请求数据,所述请求数据包括待处理数据和处理规则标识;
确定模块,确定所述处理规则标识对应的至少一个子规则;
第二获取模块,获取所述至少一个子规则对应的规则数据,其中,所述规则数据能够用于处理所述待处理数据;以及
处理模块,基于所述至少一个子规则对应的规则数据处理所述待处理数据。
9.根据权利要求8所述的装置,其中:
所述待处理数据包括:待处理的原数据;
所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:
基于所述至少一个子规则对应的规则数据处理所述待处理的原数据。
10.根据权利要求8所述的装置,其中:
所述待处理数据包括:地址数据,所述地址数据能够表征待处理的原数据的存储位置;
所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:
基于所述地址数据获取所述待处理的原数据;
基于所述至少一个子规则对应的规则数据处理所述待处理的原数据。
11.根据权利要求9或10所述的装置,其中,所述待处理的原数据包括至少一个数据属性和所述至少一个数据属性对应的至少一个数据内容。
12.根据权利要求11所述的装置,其中,所述确定所述处理规则标识对应的至少一个子规则,包括:
基于所述处理规则标识获取配置文件,其中,所述配置文件包括至少一个子规则标识以及对应的至少一个子规则属性,所述子规则属性与所述数据属性相关联;
基于所述至少一个子规则标识确定对应的至少一个子规则,其中,所述至少一个子规则对应的规则数据能够用于处理相应的所述数据内容。
13.根据权利要求12所述的装置,其中:
所述配置文件还包括:特定规则数据;
所述基于所述至少一个子规则对应的规则数据处理所述待处理数据,包括:根据所述至少一个子规则对应的规则数据和/或所述特定规则数据处理所述待处理数据。
14.根据权利要求8所述的装置,其中:
所述子规则还包括:目标地址和/或目标队列;
所述装置还包括:存储模块,将处理后的所述待处理数据存储至所述目标地址和/或发送至所述目标队列。
15.一种数据处理***,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~7中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。
CN201910022084.1A 2019-01-09 2019-01-09 数据处理方法、装置、***、计算机可读存储介质 Pending CN109710604A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910022084.1A CN109710604A (zh) 2019-01-09 2019-01-09 数据处理方法、装置、***、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910022084.1A CN109710604A (zh) 2019-01-09 2019-01-09 数据处理方法、装置、***、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109710604A true CN109710604A (zh) 2019-05-03

Family

ID=66261143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910022084.1A Pending CN109710604A (zh) 2019-01-09 2019-01-09 数据处理方法、装置、***、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109710604A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825920A (zh) * 2019-10-22 2020-02-21 厦门市美亚柏科信息股份有限公司 数据处理方法和装置
CN110909061A (zh) * 2019-11-27 2020-03-24 恩亿科(北京)数据科技有限公司 数据源处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239581A (zh) * 2017-07-07 2017-10-10 小草数语(北京)科技有限公司 数据清洗方法及装置
CN108235069A (zh) * 2016-12-22 2018-06-29 北京国双科技有限公司 网络电视日志的处理方法及装置
CN108959636A (zh) * 2018-07-25 2018-12-07 北京京东金融科技控股有限公司 数据处理方法、装置、***、计算机可读介质
CN108958881A (zh) * 2018-05-31 2018-12-07 平安科技(深圳)有限公司 数据处理方法、装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235069A (zh) * 2016-12-22 2018-06-29 北京国双科技有限公司 网络电视日志的处理方法及装置
CN107239581A (zh) * 2017-07-07 2017-10-10 小草数语(北京)科技有限公司 数据清洗方法及装置
CN108958881A (zh) * 2018-05-31 2018-12-07 平安科技(深圳)有限公司 数据处理方法、装置及计算机可读存储介质
CN108959636A (zh) * 2018-07-25 2018-12-07 北京京东金融科技控股有限公司 数据处理方法、装置、***、计算机可读介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825920A (zh) * 2019-10-22 2020-02-21 厦门市美亚柏科信息股份有限公司 数据处理方法和装置
CN110825920B (zh) * 2019-10-22 2022-06-10 厦门市美亚柏科信息股份有限公司 数据处理方法和装置
CN110909061A (zh) * 2019-11-27 2020-03-24 恩亿科(北京)数据科技有限公司 数据源处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109683998B (zh) 国际化实现方法、装置和***
KR101824222B1 (ko) 동적 컨텐츠 및 스테일 컨텐츠를 포함하는 웹사이트들의 고속 렌더링
CN108984714B (zh) 页面渲染方法、装置、电子设备及计算机可读介质
CN109189841B (zh) 一种多数据源访问方法及***
KR20140078676A (ko) 웹 페이지의 맞춤 최적화 기법
KR20130066603A (ko) 폰트 서브세트의 개시
CN112100550A (zh) 一种页面构建方法和装置
CN109144619B (zh) 图标字体信息处理方法、装置及***
CN110990736A (zh) 页面加载方法、装置、终端设备和存储介质
CN109062560B (zh) 用于生成信息的方法和装置
CN110020304A (zh) 一种加载页面的方法和装置
CN109710604A (zh) 数据处理方法、装置、***、计算机可读存储介质
CN110110184B (zh) 信息查询方法、***、计算机***及存储介质
CN113656737A (zh) 网页内容展示方法、装置、电子设备以及存储介质
CN110888869A (zh) 一种数据处理方法和装置
CN110928594A (zh) 服务开发方法和平台
CN112926008A (zh) 生成表单页面的方法、装置、电子设备和存储介质
CN110020373A (zh) 静态页面存储、浏览的方法和装置
CN116776030A (zh) 灰度发布方法、装置、计算机设备、存储介质
CN116594709A (zh) 用于获取数据的方法、装置及计算机程序产品
CN110647327A (zh) 基于卡片的用户界面动态控制的方法和装置
CN111753226A (zh) 一种页面加载方法和装置
CN115421693A (zh) 微前端架构的实现方法、装置、计算机设备和存储介质
CN107256244A (zh) 数据处理方法和***
CN113760274A (zh) 一种前端组件逻辑注入方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Daxing District, Beijing

Applicant after: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

Address before: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Daxing District, Beijing

Applicant before: BEIJING JINGDONG FINANCIAL TECHNOLOGY HOLDING Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190503