CN111611479B - 用于网络资源推荐的数据处理方法及相关装置 - Google Patents
用于网络资源推荐的数据处理方法及相关装置 Download PDFInfo
- Publication number
- CN111611479B CN111611479B CN202010378055.1A CN202010378055A CN111611479B CN 111611479 B CN111611479 B CN 111611479B CN 202010378055 A CN202010378055 A CN 202010378055A CN 111611479 B CN111611479 B CN 111611479B
- Authority
- CN
- China
- Prior art keywords
- execution
- algorithm
- operation function
- stage
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 336
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000012216 screening Methods 0.000 claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 181
- 238000003860 storage Methods 0.000 claims description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 235000019580 granularity Nutrition 0.000 description 15
- 238000001914 filtration Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开公开了一种用于网络资源推荐的数据处理方法及相关装置。用于解决相关技术中用于网络资源推荐的数据处理效率有待提高的问题。该方法包括：响应于用于请求获取网络资源的推荐请求，确定操作函数信息，其中，所述操作函数信息中记录有用于执行筛选操作的多个操作函数的执行关系，所述筛选操作用于从网络资源集合中确定出待推荐网络资源及推荐顺序；基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的操作函数；在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作。本公开中在进行网络资源推荐时，实现以操作函数粒度的并行执行以此有效的利用时间资源，提高数据处理效率。
Description
技术领域
本公开涉及信息处理技术领域，特别涉及一种用于网络资源推荐的数据处理方法及相关装置。
背景技术
随着数字化时代的进步，计算资源需要处理的信息日益增多。故此如何能够高效的处理数据是需要不断研究和优化的方向。
以网络资源推荐***为例，当从网络资源集合中确定出待推荐网络资源及推荐顺序时，往往可以并行为多用户筛选推荐的网络资源。但设备的并发能力有限，对网络资源数据处理的速度还不能满足业务的需求，如何能够进一步提高数据处理的效率以提高有限的处理资源的利用率有待完善。
发明内容
本公开的目的是提供一种用于网络资源推荐的数据处理方法及相关装置，用于解决相关技术中并发处理多用户的推荐请求时，设备处理能力有限，需要进一步提高数据处理效率的问题。
第一方面，本公开实施例提供了一种用于网络资源推荐的数据处理方法，包括：
响应于用于请求获取网络资源的推荐请求，确定操作函数信息，其中，所述操作函数信息中记录有用于执行筛选操作的多个操作函数的执行关系，所述筛选操作用于从网络资源集合中确定出待推荐网络资源及推荐顺序；
基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的操作函数；
在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作。
在一个实施例中，对任意具有并行执行关系的第一操作函数和第二操作函数，在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作，包括：
在所述第一操作函数执行读写操作时，启动并执行所述第二操作函数；
其中，所述第一操作函数所属的第一算法与所述第二操作函数所属的第二算法为不同的算法。
在一个实施例中，所述多个操作函数的执行关系中包括至少一个串行执行的执行阶段，且每个执行阶段内包括至少一个算法；
其中，所述第一算法与所述第二算法在同一执行阶段、且所述第一操作函数在所述第一算法内的执行顺序与所述第二操作函数在所述第二算法内的执行顺序相同。
在一个实施例中，所述确定操作函数信息，包括：
读取配置文件；
从所述配置文件中解析出各执行阶段的描述信息以及各执行阶段的执行顺序；并，
针对各执行阶段执行以下操作：
解析所述执行阶段的描述信息得到所述执行阶段内包括的各算法，以及所述各算法在所述执行阶段内的启动顺序；
对所述各算法进行解析得到所述各算法内的操作函数，并按照函数粒度的并行执行规则，确定所述各算法内的操作函数的执行关系。
在一个实施例中，所述各算法内的操作函数的执行关系信息存储在查找表中，则基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的第一操作函数和第二操作函数，包括：
从查找表中读取所述第一操作函数在所述第一算法内的执行顺序，并读取所述第二操作函数在所述第二算法内的执行顺序；
当所述第一操作的执行顺序与所述第二操作函数的执行顺序相同时，确定所述第一操作函数与所述二操作函数存在所述并行执行关系。
在一个实施例中，所述方法还包括：
根据以下方法生成所述查找表：
响应于任一算法的注册请求，通过封装接口解析所述算法内异步执行的操作函数以及各操作函数在所属算法内的执行顺序；并，
将各操作函数在所属算法内的执行顺序添加到所述查找表中。
在一个实施例中，所述从所述配置文件中解析出各执行阶段的描述信息，包括：
对各执行阶段，从所述配置文件中解析出所述执行阶段的阶段起始标识和阶段终止标识，获取位于所述阶段起始标识和所述阶段终止标识之间的描述信息。
在一个实施例中，所述配置文件中还包括各个算法的依赖关系；所述方法还包括：
检测可执行程序中的算法依赖关系是否与所述配置文件中的算法依赖关系相同；所述可执行程序为用于对所述网络资源集合执行筛选操作的程序；
当任一算法的依赖关系不同时，进行报错处理。
在一个实施例中，所述方法还包括：
在所述第一操作函数发起读写操作后，或不存在与所述第一操作函数存在并行执行关系的所述第二操作函数时，等待所述读写操作的执行结果；并，
根据所述执行结果执行所述第一操作函数的下一操作函数。
第二方面，本公开实施例还提供了一种用于网络资源推荐的数据处理装置，
操作函数信息确定模块，被配置为响应于用于请求获取网络资源的推荐请求，确定操作函数信息，其中，所述操作函数信息中记录有用于执行筛选操作的多个操作函数的执行关系，所述筛选操作用于从网络资源集合中确定出待推荐网络资源及推荐顺序；
并行函数确定模块，被配置为基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的操作函数；
执行模块，被配置为在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作。
在一个实施例中，对任意具有并行执行关系的第一操作函数和第二操作函数，所述执行模块，被配置为：
在所述第一操作函数执行读写操作时，启动并执行所述第二操作函数；
其中，所述第一操作函数所属的第一算法与所述第二操作函数所属的第二算法为不同的算法。
在一个实施例中，所述多个操作函数的执行关系中包括至少一个串行执行的执行阶段，且每个执行阶段内包括至少一个算法；
其中，所述第一算法与所述第二算法在同一执行阶段、且所述第一操作函数在所述第一算法内的执行顺序与所述第二操作函数在所述第二算法内的执行顺序相同。
在一个实施例中，所述操作函数信息确定模块，包括：
读取单元，被配置为读取配置文件；
解析单元，被配置为从所述配置文件中解析出各执行阶段的描述信息以及各执行阶段的执行顺序；并，针对各执行阶段执行以下操作：
解析所述执行阶段的描述信息得到所述执行阶段内包括的各算法，以及所述各算法在所述执行阶段内的启动顺序；
对所述各算法进行解析得到所述各算法内的操作函数，并按照函数粒度的并行执行规则，确定所述各算法内的操作函数的执行关系。
在一个实施例中，所述各算法内的操作函数的执行关系信息存储在查找表中，所述并行函数确定模块，被配置为：
从查找表中读取所述第一操作函数在所述第一算法内的执行顺序，并读取所述第二操作函数在所述第二算法内的执行顺序；
当所述第一操作的执行顺序与所述第二操作函数的执行顺序相同时，确定所述第一操作函数与所述二操作函数存在所述并行执行关系。
在一个实施例中，所述装置还包括：
查找表生成模块，被配置为根据以下方法生成所述查找表：
响应于任一算法的注册请求，通过封装接口解析所述算法内异步执行的操作函数以及各操作函数在所属算法内的执行顺序；并，
将各操作函数在所属算法内的执行顺序添加到所述查找表中。
在一个实施例中，所述从所述配置文件中解析出各执行阶段的描述信息，包括：
对各执行阶段，从所述配置文件中解析出所述执行阶段的阶段起始标识和阶段终止标识，获取位于所述阶段起始标识和所述阶段终止标识之间的描述信息。
在一个实施例中，所述配置文件中还包括各个算法的依赖关系；所述装置还包括：
检测可执行程序中的算法依赖关系是否与所述配置文件中的算法依赖关系相同；所述可执行程序为用于对所述网络资源集合执行筛选操作的程序；
当任一算法的依赖关系不同时，进行报错处理。
在一个实施例中，所述执行模块还被配置为：
在所述第一操作函数发起读写操作后，或不存在与所述第一操作函数存在并行执行关系的所述第二操作函数时，等待所述读写操作的执行结果；并，
根据所述执行结果执行所述第一操作函数的下一操作函数。
第三方面，本公开另一实施例还提供了一种计算设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例提供的任一用于网络资源推荐的数据处理方法。
第四方面，本公开另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行本公开实施例中的任一用于网络资源推荐的数据处理方法。
本公开实施例，在进行网络资源推荐时，实现以操作函数粒度的并行执行以此有效的利用时间资源，提高数据处理效率。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开一个实施例的应用环境的示意图；
图2为根据本公开一个实施例的同步执行操作函数的示意图；
图3为根据本公开一个实施例的用于网络资源推荐的数据处理方法的流程示意图；
图4为根据本公开一个实施例的另一同步执行操作函数的示意图；
图5A为根据本公开一个实施例的用于网络资源推荐的数据处理方法的流程示意图；
图5B为根据本公开一个实施例的一配置文件的示意图；
图5C为根据本公开一个实施例的另一用于网络资源推荐的数据处理方法的流程示意图；
图6为根据本公开一个实施例的又一同步执行操作函数的示意图；
图7为根据本公开一个实施例的用于网络资源推荐的数据处理装置的示意图；
图8为根据本公开一个实施例的计算设备的示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开中的推荐请求可以指用获取网络资源的请求。例如，用户打开短视频应用进入发现页(用于推荐短视频的页面)的请求可以为推荐请求，用户查找同城信息的请求也可以为推荐请求。本公开中的网络资源可以是人们基于互联网技术生产创作的可在网络传播的资源，例如拍摄的短视频、录制的音频等。
本公开中推荐请求可以并行处理，例如每个推荐请求采用一个线程进行处理。可以并发多个线程并发处理不同用户的推荐请求。而为了提高处理效率本相关技术中提出了可以以算法为粒度并行扩展。但是如何进一步提高处理效率，有待进一步探讨与实现。
发明人经过研究发现，影响执行效率的一个因素是操作函数执行IO(读写操作)的等待延迟。有鉴于此，本公开实施例提供了一种用于网络资源推荐的数据处理方法，以提高用于网络资源推荐的数据处理效率。
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。应当理解的是，下文描述中，以“推荐***”作为例子来对本公开的用于网络资源推荐的数据处理进行详细说明，应当注意的是，本公开实施例的应用场景不限于“推荐***”的场景。
图1为根据本公开一个实施例的应用环境的示意图。
如图1所示，该应用环境中例如可以包括至少一个服务器20和多个终端设备30。其中，各终端设备30可用来进行网络访问的任何合适的电子设备，包括但不限于计算机、笔记本电脑、智能电话、平板电脑或是其它类型的终端。服务器20则是能够通过网络访问的提供交互服务所需信息的任何服务器。终端设备30可以经由网络40实现与服务器20的信息收发。例如从服务器20下载感兴趣的信息，或者获得推荐的网络资源。服务器20可以通过访问数据库50来获取并提供终端设备30所需的内容，例如应用软件、网络资源等。终端设备之间(例如，30_1与30_2或30_N之间)也可以经由网络40彼此通信。网络40可以是广义上的用于信息传递的网络，可以包括一个或多个通信网络，诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。
在随后的描述中仅就单个服务器或终端设备加以详述，但是本领域技术人员应当理解的是，示出的单个服务器20、终端设备30和数据库50旨在表示本公开的技术方案涉及终端设备、服务器及数据库的操作。对单个终端设备以及单个服务器和数据库加以详述至少为了说明方便，而非暗示对终端设备和服务器的类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本公开的示例实施例的底层概念。另外，虽然为了方便说明而在图中示出了从数据库50到服务器20的双向箭头，但本领域技术人员可以理解的是，上述数据的收发也是可以通过网络40实现的。
以推荐***为例，本公开用于网络资源推荐的数据处理方法为用户推荐网络时，由推荐***获取推荐请求采用操作函数粒度的并行执行方案缩短数据处理耗时，提高用于网络资源推荐的数据处理效率。
为达到上述目的，本公开实施例中，主要从如何缩短函数的IO等待时间为基准提出了本公开实施例的技术方案。其原理可概括为：当一个操作函数执行处理后，通常需要发起IO操作请求；该操作函数的下一操作函数需要等待IO操作结果进行处理操作。基于此，本公开提出在一个操作函数的IO操作等待时间内，并行执行另一个操作函数。为便于理解，结合图2对此进行说明。
如图2所示，操作函数2的执行需要依赖操作函数1的执行结果。操作函数3的执行不需要依赖操作函数1的执行结果。故此，当操作函数1执行IO读写操作的等待时间，可以并发执行操作函数3。故此，相当于实现了IO等待时间的时分复用。宏观上，操作函数1和操作函数3相当于实现了并行执行，从而能够有效的利用时间，提高用于网络资源推荐的数据处理的效率。
基于该思想，下面就如何确定哪些操作函数可并行执行，进行说明。
如图3所示，为本公开实施例中，提供的一种用于网络资源推荐的数据处理方法，包括以下步骤：
步骤301，响应于用于请求获取网络资源的推荐请求，确定操作函数信息，其中，所述操作函数信息中记录有用于执行筛选操作的多个操作函数的执行关系，所述筛选操作用于从网络资源集合中确定出待推荐网络资源及推荐顺序；
步骤302，基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的操作函数。
步骤303：在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作。
在一个实施例中，一个推荐请求可在一个线程或进程内处理。也即，不同操作函数可在不同进程内被执行。
由此，本公开实施例中，实现了函数粒度的并行处理，能够充分利用时间资源，从而提高数据处理的效率。
在一个实施例中，一个庞大的用于网络资源推荐的数据处理流程可划分为不同的执行阶段。各执行阶段按照执行顺序具有依赖关系，即下一执行阶段的执行依赖于上一执行阶段的执行结果。则多个操作函数的执行关系中可包括至少一个串行执行的执行阶段，且每个执行阶段内包括至少一个算法。在同一执行阶段内，每个算法可包括至少一个操作函数。在同一执行阶段内，同一算法内的操作函数顺序执行，不同算法的操作函数可并行执行。可理解为同一操作函数阶段的操作函数并行执行。例如，如图4所示，包括执行阶段S1和执行阶段S2，执行阶段S2对执行阶段S1具有依赖关系。故此，执行阶段S1先执行，然后再执行执行阶段S2。其中，执行阶段S1内，包括算法A和算法B，算法A内包括操作函数A1和操作函数A2，算法B包括操作函数B1和操作函数B2；执行阶段S2内，包括算法C和算法D，算法C包括操作函数C1和操作函数C2，算法D内包括操作函数D1。则操作函数A1和操作函数B1属于同一操作函数阶段，即操作函数A1和操作函数B1可并行执行。同理，操作函数A2和操作函数B2属于同一操作函数阶段，可并行执行；操作函数C1和操作函数D1属于同一操作函数阶段，可并行执行，最后执行操作函数D2。其中，执行阶段S1的执行结果作为执行阶段S2的输入信息以便于执行执行阶段S2。
可概括为对任意具有并行执行关系的第一操作函数和第二操作函数，在所述第一操作函数执行读写操作时，可启动并执行所述第二操作函数以实现不同操作函数的并行执行；其中，并行执行的所述第一操作函数所属的第一算法与所述第二操作函数所属的第二算法为不同的算法。
本公开实施例中的算法(Algorithm)是指能够独立完成一个或多个操作的操作函数集合。算法是指解题方***而完整的描述，是一系列解决问题的清晰指令，算法代表着用***的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。
算法中的指令描述的是一个计算由一个操作函数完成，当其运行时能从一个初始状态和(可能为空的)初始输入开始，经过一系列有限而清晰定义的状态，最终产生输出并停止于一个终态。
在一个实施例中，为了便于确定哪些算法内的操作函数可并行执行，本公开实施例提供一配置信息，该配置信息可以以配置文件的形式存在。该配置文件用于推荐***初始化时来确定哪些操作函数可并行执行。
在另一方面，在一个实施例中，可先解析出各算法内的操作函数依赖关系。如当算法编写完毕进行注册时，可以响应于任一算法的注册请求，通过封装接口解析所述算法内异步执行的操作函数以及各操作函数的执行顺序。例如，可采用函数包装器和函数绑定器来解析注册的算法内异步操作函数及其在所述算法内的执行顺序。并将解析的结果存储在查找表中，该查找表的格式可如表1所示。需要说明的是，表1仅用于示例性说明本公开实施例，并不用于限定本公开实施例。
表1
为便于识别出不同的执行阶段，配置文件中可包括各执行阶段的执行顺序以及各执行阶段内包括的算法。配置文件中可包括各执行阶段的阶段标识，例如每个执行阶段可包括起始标识和终止标识。如图5A所示：
在步骤501中，读取配置文件后，从所述配置文件中解析出各执行阶段的描述信息以及各执行阶段的执行顺序。
例如，可根据所述配置文件中的阶段起始标识和阶段终止标识确定各执行阶段。对各执行阶段，从所述配置文件中解析出所述执行阶段的阶段起始标识和阶段终止标识，获取位于所述阶段起始标识和所述阶段终止标识之间的描述信息。
其中，如图5B所示，起始阶段标识中终止阶段标识可用一对特殊符号表示。如图5B中的花括弧。同一花括弧内代表同一执行阶段。也可以用特殊符号序列表示，例如一串&&&&&既可以标识一个执行阶段的开始，也可以标识一个执行阶段的结束。当然，实施时，可根据需求设定同一执行阶段的阶段起始标识和阶段终止标识，均适用于本公开实施例。
可进一步的，在步骤502中，将各执行阶段在所述配置文件中的先后顺序确定为各执行阶段的执行顺序。由于每个执行阶段内的配置信息包含有该执行阶段的算法标识，故此，可在步骤503中，解析执行阶段的描述信息得到执行阶段内包括的各算法，以及各算法在相应执行阶段内的启动顺序。然后，在步骤504中，对所述各算法进行解析得到所述各算法内的操作函数，并按照函数粒度的并行执行规则，确定所述各算法内的操作函数的执行关系。例如，各算法内的操作函数的执行关系可理解为据如表1所示的解析结果。基于该解析结果，可以查找各个算法的各个操作函数阶段的操作函数，以此来确定哪些算法的哪些操作函数可并行执行。
故此，可在步骤505中，执行从查找表中读取同一执行阶段内各算法的算法标识对应的各操作函数及其执行顺序。然后，在步骤506中，将同一执行阶段的来自于不同算法的同一执行顺序操作函数确定为并行执行的操作函数。例如，对于任意可并行执行的第一操作函数和第二操作函数，从查找表中读取所述第一操作函数在所述第一算法内的执行顺序，并读取所述第二操作函数在所述第二算法内的执行顺序；当所述第一操作的执行顺序与所述第二操作函数的执行顺序相同时，确定所述第一操作函数与所述二操作函数存在所述并行执行关系。通过查找表的方式能够简单的实现对可并行执行的操作函数的查找确定，实现逻辑简单，故而开发相应的功能能够方便的进行。
初始化时，不同执行阶段的执行顺序，不同算法之间的依赖关系可通过上述的配置文件以及查找表确定出操作函数信息。
然后，在用于网络资源推荐的数据处理过程中，任一算法的任一操作函数发起读写操作时，若存在预先设定的另一算法中的与所述操作函数并行执行的并行操作函数，则启动所述并行操作函数执行处理操作；在任一操作函数发起读写操作后，或不存在预先设定的并行执行的操作函数时，等待读写操作的执行结果，并根据所述执行结果执行所述下一操作函数。例如，继续以图4为例，在执行阶段S1，当执行完操作函数A1时，执行操作函数A2(即为操作函数A1的下一操作函数)，操作函数A2进行IO操作时，并行执行操作函数B2。在执行阶段S2，执行完操作函数C1时，若操作函数D1执行完毕，则执行操作函数D2(即为操作函数C1和/或操作函数D1的下一操作函数)。
通过上述实施方式，来实现不同操作函数粒度的并行执行，以此来降低IO延迟带来的时间浪费。
在另一个实施例中，为了便于确定配置文件中的包含的各个算法的依赖关系是否正确，本公开实施例中，如图5C所述，在步骤S1中可检测所述待处理信息的可执行程序中的算法依赖关系是否与所述配置文件中的算法依赖关系相同；并在步骤S2中执行，当任一算法的依赖关系不同时，进行报错处理。
其中，报错处理可执行为高亮标示出配置文件中哪些配置信息中算依赖关系不正确，以便于维护人员进行更正。
下面以推荐***为例，对本公开实施例中的用于网络资源推荐的数据处理方法做进一步说明。
本公开实施例中，从推荐***工作方式和***性能角度出发，提出基于任务工作方式的更细粒度的推荐服务***。该更新粒度为操作函数粒度。在推荐服务***中，可包括召回阶段、过滤和排序阶段。各阶段可进一步划分为至少一个执行阶段。各执行阶段内包括至少一个算法，同一执行阶段内，不同执行算法的同一操作函数阶段可并行执行。如：
召回阶段的推荐算法，本公开可重定义为Strategy(可理解为一个算法)，Strategy支持以函数为操作粒度级别的调度，用以实现同步、异步或者复合型工作方式的算法。
过滤、排序等阶段，本公开引入Processor(也可理解为一个算法)，定义为该阶段可划分的策略组合最小单位，Processor支持以操作函数为粒度级别的调用，用以实现同步、异步或者复合型工作方式的处理策略。其中：
Strategy：表示召回阶段的推荐算法或者策略；
Processor：除召回阶段外，适用于其他阶段的逻辑执行单元，可以看作是其他阶段的执行策略。
stage：阶段，Stage之内业务逻辑不存在依赖，Stage之间有依赖关系，即Stage2需要依赖Stage1的执行结果。
func：是执行的操作函数，Strategy或Processor一般是根据工作方式(本公开主要指是否等待IO)，分为多个执行func，比如func1和func2之间是有等待IO的操作，func2依赖于func1执行完等待IO返回的结果，以此来划分能够减少IO等待时间，提高处理器的利用率。
例如，上述推荐服务***各个阶段可以拆分为：
召回阶段：分为两个Stage(执行阶段)，包括两个执行阶段为[[S1,S2],[S3]]，其中算法S1可以拆分为(S1F1,S2F2),算法S2为(S2F1，S2F2，S2F3)，算法S3为(S3F1)，其中S为Strategy，F为Func。
过滤阶段：过滤和召回的阶段一一对应，第一阶段的过滤策略组合为[P1,P2],其中，P1为(P1F1),P2为(P2F1,P2F2)；第二阶段的过滤策略组合为[P3],P3为(P3F1)；其中P代表该阶段的Processor，F代表Func。
排序阶段：排序是针对过滤后的全部结果进行的。这里假设排序策略之间无依赖，只有一个阶段为：[P1,P2]，而P1为(P1F1,P1F2)，P2为(P2F1,P2F2)。其中P代表该阶段的Processor，F代表Func。
依照上的划分结果，最终执行逻辑流如图6所示。S1F1和S2F1并行执行，也即同一竖虚线内的操作函数并行执行，箭头代表依赖关系。由图6可知，可并行执行的操作函数对为(S1F1，S2F1)、(S1F2，S2F2)、当(S1F2，S2F2)执行完毕后执行S2F3，然后召回阶段的执行结果公过滤阶段使用。其中召回节点的执行结果可能包括S1F2的执行结果和/或S2F3的执行结果。具体情况可根据实际需求确定。在过滤阶段，可并行执行的操作函数对为(P1F1，P2F1)，操作函数P2F2并没有可并行执行的操作函数。然后过滤阶段的执行结果输入给召回阶段的操作函数S3F1执行，然后S3F1的执行按照业务逻辑再交由P3F1执行。操作函数P3F1的执行结果再交由排序阶段依序处理。排序阶段可并行执行的操作函数对为(P1F1，P2F1)、(P1F2，P2F2)，以此类推如果后续仍有操作函数则交由下一操作函数处理。
本公开实施例中，可主要带来***整体性能的提升：由于采用更细粒度的并行方案，充分利用了CPU，减少了IO等待时间，***耗时降低明显。
基于相同的构思，本公开实施例还提出了一种用于网络资源推荐的数据处理装置。
图7为根据本公开一个实施例的用于网络资源推荐的数据处理装置的示意图。
如图7所示，该用于网络资源推荐的数据处理装置700可以包括：
操作函数信息确定模块701，被配置为响应于用于请求获取网络资源的推荐请求，确定操作函数信息，其中，所述操作函数信息中记录有用于执行筛选操作的多个操作函数的执行关系，所述筛选操作用于从网络资源集合中确定出待推荐网络资源及推荐顺序；
并行函数确定模块702，被配置为基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的操作函数；
执行模块703，被配置为在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作。
在一个实施例中，对任意具有并行执行关系的第一操作函数和第二操作函数，所述执行模块，被配置为：
在所述第一操作函数执行读写操作时，启动并执行所述第二操作函数；
其中，所述第一操作函数所属的第一算法与所述第二操作函数所属的第二算法为不同的算法。
在一个实施例中，所述多个操作函数的执行关系中包括至少一个串行执行的执行阶段，且每个执行阶段内包括至少一个算法；
其中，所述第一算法与所述第二算法在同一执行阶段、且所述第一操作函数在所述第一算法内的执行顺序与所述第二操作函数在所述第二算法内的执行顺序相同。
在一个实施例中，所述操作函数信息确定模块，包括：
读取单元，被配置为读取配置文件；
解析单元，被配置为从所述配置文件中解析出各执行阶段的描述信息以及各执行阶段的执行顺序；并，针对各执行阶段执行以下操作：
解析所述执行阶段的描述信息得到所述执行阶段内包括的各算法，以及所述各算法在所述执行阶段内的启动顺序；
对所述各算法进行解析得到所述各算法内的操作函数，并按照函数粒度的并行执行规则，确定所述各算法内的操作函数的执行关系。
在一个实施例中，所述各算法内的操作函数的执行关系信息存储在查找表中，所述并行函数确定模块，被配置为：
从查找表中读取所述第一操作函数在所述第一算法内的执行顺序，并读取所述第二操作函数在所述第二算法内的执行顺序；
当所述第一操作的执行顺序与所述第二操作函数的执行顺序相同时，确定所述第一操作函数与所述二操作函数存在所述并行执行关系。
在一个实施例中，所述装置还包括：
查找表生成模块，被配置为根据以下方法生成所述查找表：
响应于任一算法的注册请求，通过封装接口解析所述算法内异步执行的操作函数以及各操作函数在所属算法内的执行顺序；并，
将各操作函数在所属算法内的执行顺序添加到所述查找表中。
在一个实施例中，所述从所述配置文件中解析出各执行阶段的描述信息，包括：
对各执行阶段，从所述配置文件中解析出所述执行阶段的阶段起始标识和阶段终止标识，获取位于所述阶段起始标识和所述阶段终止标识之间的描述信息。
在一个实施例中，所述配置文件中还包括各个算法的依赖关系；所述装置还包括：
检测可执行程序中的算法依赖关系是否与所述配置文件中的算法依赖关系相同；所述可执行程序为用于对所述网络资源集合执行筛选操作的程序；
当任一算法的依赖关系不同时，进行报错处理。
在一个实施例中，所述执行模块还被配置为：
在所述第一操作函数发起读写操作后，或不存在与所述第一操作函数存在并行执行关系的所述第二操作函数时，等待所述读写操作的执行结果；并，
根据所述执行结果执行所述第一操作函数的下一操作函数。
关于用于网络资源推荐的数据处理装置中各操作的实施以及有益效果可参见前文方法中的描述，此处不再赘述。
在介绍了本公开示例性实施方式的一种用于网络资源推荐的数据处理方法和装置之后，接下来，介绍根据本公开的另一示例性实施方式的计算设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
在一些可能的实施方式中，根据本公开的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本公开各种示例性实施方式的用于网络资源推荐的数据处理方法中的步骤。例如，处理器可以执行如图3、图5A或图5C所示的步骤。
下面参照图8来描述根据本公开的这种实施方式的计算设备130。图8显示的计算设备130仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，计算设备130以通用计算设备的形式表现。计算设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同***组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算设备130交互的设备通信，和/或与使得该计算设备130能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，计算设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于计算设备130的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
在一些可能的实施方式中，本公开提供的一种用于网络资源推荐的数据处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的一种用于网络资源推荐的数据处理方法中的步骤，例如，计算机设备可以执行如图3、图5A或图5C所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开的实施方式的用于网络资源推荐的数据处理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。
Claims (18)
1.一种用于网络资源推荐的数据处理方法，其特征在于，所述方法包括：
响应于用于请求获取网络资源的推荐请求，确定操作函数信息，其中，所述操作函数信息中记录有用于执行筛选操作的多个操作函数的执行关系，所述筛选操作用于从网络资源集合中确定出待推荐网络资源及推荐顺序；其中，一个所述推荐请求在一个线程或者进程内处理；
基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的操作函数；
在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作；
对任意具有并行执行关系的第一操作函数和第二操作函数，在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作，包括：
在所述第一操作函数执行读写操作时，启动并执行所述第二操作函数；
其中，所述第一操作函数所属的第一算法与所述第二操作函数所属的第二算法为不同的算法。
2.根据权利要求1所述的方法，其特征在于，所述多个操作函数的执行关系中包括至少一个串行执行的执行阶段，且每个执行阶段内包括至少一个算法；
其中，所述第一算法与所述第二算法在同一执行阶段、且所述第一操作函数在所述第一算法内的执行顺序与所述第二操作函数在所述第二算法内的执行顺序相同。
3.根据权利要求1或2所述的方法，其特征在于，所述确定操作函数信息，包括：
读取配置文件；
从所述配置文件中解析出各执行阶段的描述信息以及各执行阶段的执行顺序；并，
针对各执行阶段执行以下操作：
解析所述执行阶段的描述信息得到所述执行阶段内包括的各算法，以及所述各算法在所述执行阶段内的启动顺序；
对所述各算法进行解析得到所述各算法内的操作函数，并按照函数粒度的并行执行规则，确定所述各算法内的操作函数的执行关系。
4.根据权利要求3所述的方法，其特征在于，所述各算法内的操作函数的执行关系信息存储在查找表中，则基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的第一操作函数和第二操作函数，包括：
从查找表中读取所述第一操作函数在所述第一算法内的执行顺序，并读取所述第二操作函数在所述第二算法内的执行顺序；
当所述第一操作的执行顺序与所述第二操作函数的执行顺序相同时，确定所述第一操作函数与所述二操作函数存在所述并行执行关系。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据以下方法生成所述查找表：
响应于任一算法的注册请求，通过封装接口解析所述算法内异步执行的操作函数以及各操作函数在所属算法内的执行顺序；并，
将各操作函数在所属算法内的执行顺序添加到所述查找表中。
6.根据权利要求3所述的方法，其特征在于，所述从所述配置文件中解析出各执行阶段的描述信息，包括：
对各执行阶段，从所述配置文件中解析出所述执行阶段的阶段起始标识和阶段终止标识，获取位于所述阶段起始标识和所述阶段终止标识之间的描述信息。
7.根据权利要求3所述的方法，其特征在于，所述配置文件中还包括各个算法的依赖关系；所述方法还包括：
检测可执行程序中的算法依赖关系是否与所述配置文件中的算法依赖关系相同；所述可执行程序为用于对所述网络资源集合执行筛选操作的程序；
当任一算法的依赖关系不同时，进行报错处理。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第一操作函数发起读写操作后，或不存在与所述第一操作函数存在并行执行关系的所述第二操作函数时，等待所述读写操作的执行结果；并，
根据所述执行结果执行所述第一操作函数的下一操作函数。
9.一种用于网络资源推荐的数据处理装置，其特征在于，所述装置包括：
操作函数信息确定模块，被配置为响应于用于请求获取网络资源的推荐请求，确定操作函数信息，其中，所述操作函数信息中记录有用于执行筛选操作的多个操作函数的执行关系，所述筛选操作用于从网络资源集合中确定出待推荐网络资源及推荐顺序；其中，一个所述推荐请求在一个线程或者进程内处理；
并行函数确定模块，被配置为基于所述多个操作函数的执行关系，确定出所述多个操作函数中允许并行执行的操作函数；
执行模块，被配置为在执行所述多个操作函数的过程中，对允许并行执行的操作函数执行并行执行操作；
对任意具有并行执行关系的第一操作函数和第二操作函数，所述执行模块，被配置为：
在所述第一操作函数执行读写操作时，启动并执行所述第二操作函数；
其中，所述第一操作函数所属的第一算法与所述第二操作函数所属的第二算法为不同的算法。
10.根据权利要求9所述的装置，其特征在于，所述多个操作函数的执行关系中包括至少一个串行执行的执行阶段，且每个执行阶段内包括至少一个算法；
其中，所述第一算法与所述第二算法在同一执行阶段、且所述第一操作函数在所述第一算法内的执行顺序与所述第二操作函数在所述第二算法内的执行顺序相同。
11.根据权利要求9或10所述的装置，其特征在于，所述操作函数信息确定模块，包括：
读取单元，被配置为读取配置文件；
解析单元，被配置为从所述配置文件中解析出各执行阶段的描述信息以及各执行阶段的执行顺序；并，针对各执行阶段执行以下操作：
解析所述执行阶段的描述信息得到所述执行阶段内包括的各算法，以及所述各算法在所述执行阶段内的启动顺序；
对所述各算法进行解析得到所述各算法内的操作函数，并按照函数粒度的并行执行规则，确定所述各算法内的操作函数的执行关系。
12.根据权利要求9所述的装置，其特征在于，所述各算法内的操作函数的执行关系信息存储在查找表中，所述并行函数确定模块，被配置为：
从查找表中读取所述第一操作函数在所述第一算法内的执行顺序，并读取所述第二操作函数在所述第二算法内的执行顺序；
当所述第一操作的执行顺序与所述第二操作函数的执行顺序相同时，确定所述第一操作函数与所述二操作函数存在所述并行执行关系。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
查找表生成模块，被配置为根据以下方法生成所述查找表：
响应于任一算法的注册请求，通过封装接口解析所述算法内异步执行的操作函数以及各操作函数在所属算法内的执行顺序；并，
将各操作函数在所属算法内的执行顺序添加到所述查找表中。
14.根据权利要求11所述的装置，其特征在于，所述从所述配置文件中解析出各执行阶段的描述信息，包括：
对各执行阶段，从所述配置文件中解析出所述执行阶段的阶段起始标识和阶段终止标识，获取位于所述阶段起始标识和所述阶段终止标识之间的描述信息。
15.根据权利要求11所述的装置，其特征在于，所述配置文件中还包括各个算法的依赖关系；所述装置还包括：
检测可执行程序中的算法依赖关系是否与所述配置文件中的算法依赖关系相同；所述可执行程序为用于对所述网络资源集合执行筛选操作的程序；
当任一算法的依赖关系不同时，进行报错处理。
16.根据权利要求9所述的装置，其特征在于，所述执行模块还被配置为：
在所述第一操作函数发起读写操作后，或不存在与所述第一操作函数存在并行执行关系的所述第二操作函数时，等待所述读写操作的执行结果；并，
根据所述执行结果执行所述第一操作函数的下一操作函数。
17.一种计算设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-8中任何一项所述的方法。
18.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行根据权利要求1-8中任何一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010378055.1A CN111611479B (zh) | 2020-05-07 | 2020-05-07 | 用于网络资源推荐的数据处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010378055.1A CN111611479B (zh) | 2020-05-07 | 2020-05-07 | 用于网络资源推荐的数据处理方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111611479A CN111611479A (zh) | 2020-09-01 |
| CN111611479B true CN111611479B (zh) | 2024-02-13 |
Family
ID=72199568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010378055.1A Active CN111611479B (zh) | 2020-05-07 | 2020-05-07 | 用于网络资源推荐的数据处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111611479B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113760529B (zh) * | 2021-01-15 | 2024-06-18 | 北京沃东天骏信息技术有限公司 | 接口执行方法、装置、设备和可读存储介质 |
| CN115225916B (zh) * | 2021-04-15 | 2024-04-23 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508704A (zh) * | 2011-11-10 | 2012-06-20 | 上海市共进通信技术有限公司 | 计算机软件***中实现任务分解和并行处理控制的方法 |
| CN104461467A (zh) * | 2013-09-25 | 2015-03-25 | 广州中国科学院软件应用技术研究所 | 针对SMP集群***采用MPI和OpenMP混合并行提高计算速度的方法 |
| CN109491768A (zh) * | 2018-11-21 | 2019-03-19 | 四川长虹电器股份有限公司 | 一种基于子事务流的分布式事务动态处理方法和*** |
| CN109902819A (zh) * | 2019-02-12 | 2019-06-18 | Oppo广东移动通信有限公司 | 神经网络计算方法、装置、移动终端及存储介质 |
| CN110135985A (zh) * | 2019-04-04 | 2019-08-16 | 杭州抖音科技有限公司 | 一种区块链上交易的并行执行方法及*** |
| CN110348958A (zh) * | 2019-06-28 | 2019-10-18 | 中信百信银行股份有限公司 | 一种个性化推荐方法和*** |
| CN110858238A (zh) * | 2018-08-08 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 一种数据处理的方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10015278B2 (en) * | 2015-09-11 | 2018-07-03 | Verizon Patent And Licensing Inc. | Adaptive scheduling and orchestration in a networked environment |
-
2020
- 2020-05-07 CN CN202010378055.1A patent/CN111611479B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508704A (zh) * | 2011-11-10 | 2012-06-20 | 上海市共进通信技术有限公司 | 计算机软件***中实现任务分解和并行处理控制的方法 |
| CN104461467A (zh) * | 2013-09-25 | 2015-03-25 | 广州中国科学院软件应用技术研究所 | 针对SMP集群***采用MPI和OpenMP混合并行提高计算速度的方法 |
| CN110858238A (zh) * | 2018-08-08 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 一种数据处理的方法和装置 |
| CN109491768A (zh) * | 2018-11-21 | 2019-03-19 | 四川长虹电器股份有限公司 | 一种基于子事务流的分布式事务动态处理方法和*** |
| CN109902819A (zh) * | 2019-02-12 | 2019-06-18 | Oppo广东移动通信有限公司 | 神经网络计算方法、装置、移动终端及存储介质 |
| CN110135985A (zh) * | 2019-04-04 | 2019-08-16 | 杭州抖音科技有限公司 | 一种区块链上交易的并行执行方法及*** |
| CN110348958A (zh) * | 2019-06-28 | 2019-10-18 | 中信百信银行股份有限公司 | 一种个性化推荐方法和*** |
Non-Patent Citations (1)
| Title |
|---|
| 苏雷什•库马尔•戈拉卡拉.《自己动手做推荐引擎》.机械工业出版社,2020,第235-241页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111611479A (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544623B2 (en) | Consistent filtering of machine learning data | |
| US11921672B2 (en) | Query execution at a remote heterogeneous data store of a data fabric service | |
| US11615087B2 (en) | Search time estimate in a data intake and query system | |
| US12007996B2 (en) | Management of distributed computing framework components | |
| US11599541B2 (en) | Determining records generated by a processing task of a query | |
| US11341131B2 (en) | Query scheduling based on a query-resource allocation and resource availability | |
| US11989194B2 (en) | Addressing memory limits for partition tracking among worker nodes | |
| US11321321B2 (en) | Record expansion and reduction based on a processing task in a data intake and query system | |
| CN109086409B (zh) | 微服务数据处理方法、装置、电子设备及计算机可读介质 | |
| US11593377B2 (en) | Assigning processing tasks in a data intake and query system | |
| US11379755B2 (en) | Feature processing tradeoff management | |
| US20200050612A1 (en) | Supporting additional query languages through distributed execution of query engines | |
| US20190310977A1 (en) | Bucket data distribution for exporting data to worker nodes | |
| CN111767143B (zh) | 交易数据处理方法、装置、设备及*** | |
| US11100420B2 (en) | Input processing for machine learning | |
| US20150379426A1 (en) | Optimized decision tree based models | |
| US20140215003A1 (en) | Data processing method, distributed processing system, and program | |
| CN111611479B (zh) | 用于网络资源推荐的数据处理方法及相关装置 | |
| CN112860662B (zh) | 自动化生产数据血缘关系建立方法、装置、计算机设备及存储介质 | |
| CN114116842B (zh) | 多维医疗数据实时获取方法、装置、电子设备及存储介质 | |
| CN111949850A (zh) | 多源数据的采集方法、装置、设备及存储介质 | |
| CN111984436A (zh) | 一种数据采集*** | |
| US10326824B2 (en) | Method and system for iterative pipeline | |
| CN113282611A (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
| CN115408391A (zh) | 一种数据库表变更方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |