CN114026837A - 使用ai调用预测和缓存的方法和*** - Google Patents

使用ai调用预测和缓存的方法和*** Download PDF

Info

Publication number
CN114026837A
CN114026837A CN201980097937.6A CN201980097937A CN114026837A CN 114026837 A CN114026837 A CN 114026837A CN 201980097937 A CN201980097937 A CN 201980097937A CN 114026837 A CN114026837 A CN 114026837A
Authority
CN
China
Prior art keywords
computer
request
prediction
cacheable
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980097937.6A
Other languages
English (en)
Inventor
H·宋
谷雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visa International Service Association
Original Assignee
Visa International Service Association
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visa International Service Association filed Critical Visa International Service Association
Publication of CN114026837A publication Critical patent/CN114026837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0875—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with dedicated cache, e.g. instruction or stack
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/6026—Prefetching based on access pattern detection, e.g. stride based prefetch
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/604—Details relating to cache allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

公开了预测和处理可缓存AI调用的方法和***。一种方法包括由调用预测处理计算机确定AI计算机在阈值处理器使用率以下操作。然后，所述方法包括由所述调用预测处理计算机从编排服务计算机请求一组可缓存请求，并且从所述编排服务计算机接收所述一组可缓存请求。然后，所述方法包括由所述调用预测处理计算机将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机。然后，所述方法包括由所述调用预测处理计算机接收输出。所述输出由所述AI计算机基于所述可缓存请求生成。然后，所述调用预测处理计算机将所述输出存储在数据存储库中。

Description

使用AI调用预测和缓存的方法和***
相关申请的交叉引用
无。
背景技术
随着人工智能(AI)技术(例如机器学习、自然语言处理和知识表示)的进步，它们变得越来越重要。AI智能可用于分析如气象预测、商业决策和天文理论等各种各样的主题。然而，AI模型的运行成本可能非常高，需要大量的处理能力，这些处理能力可能意味着昂贵的服务器、空间和能源。个人可能没有资源来运行复杂的机器学习模型，因此可能依靠具有超级计算机或大型计算集群的服务，这些服务可以为他们处理数据和运行模型。这样，AI计算服务可能想要优化其服务。具体地说，它们想要进行优化以免浪费宝贵的处理时间，并且确保服务可以扩展以处理来自大量客户端的查询。在高峰期期间，可能接收大量预测请求，并且每个预测请求可能需要一个或多个模型长时间运行。这会导致***负担和长时间的等待。相反，在非高峰期，可能出现很少的请求，从而使***有大量空闲时间。在高峰期增加处理能力以支持高需求是很昂贵的，并且可能使非高峰期期间的空闲处理能力增加。
在先前***中，用户可以将对预测的请求发送给计算机。计算机可以检取与预测请求有关的上下文数据，然后将预测请求发送给AI计算机。AI计算机可以处理预测请求并且生成输出。然后通过计算机将输出返回到用户装置。因此，AI计算机的工作受限于从用户装置接收的请求。
实施例单独地以及共同地解决了这些和其它问题。
发明内容
一种实施例包括由调用预测处理计算机确定AI计算机在阈值处理器使用率以下操作。然后，所述方法包括由所述调用预测处理计算机从编排服务计算机请求一组可缓存请求，并且由所述调用预测处理计算机从所述编排服务计算机接收所述一组可缓存请求。然后，所述方法包括由所述调用预测处理计算机将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机。然后，所述方法包括由所述调用预测处理计算机接收输出，其中所述输出由所述AI计算机基于所述可缓存请求生成；以及由所述调用预测处理计算机发起将所述输出存储在数据存储库中。
另一实施例包括一种***，所述***包括调用预测处理计算机，所述调用预测处理计算机包括处理器和计算机可读介质，所述计算机可读介质包括用于实施方法的代码，所述方法包括确定AI计算机在阈值处理器使用率以下操作。然后，所述方法包括从编排服务计算机请求一组可缓存请求，以及从所述编排服务计算机接收所述一组可缓存请求。然后，所述方法包括将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机。然后，所述方法包括接收输出，其中所述输出由所述AI计算机基于所述可缓存请求生成，以及发起将所述输出存储在数据存储库中。
另一实施例包括由编排服务计算机从用户装置接收包括呈AI调用形式的预测请求的预测请求消息，以及由所述编排服务计算机确定所述预测请求是可缓存请求。然后，所述方法包括由所述编排服务计算机从数据存储库检取上下文数据，以及由所述编排服务计算机修改所述预测请求消息以包括所述上下文数据。所述方法还包括由所述编排服务计算机将所述预测请求消息发送给AI计算机，所述预测请求消息包括所述AI调用和所述上下文数据。然后，所述方法包括由所述编排服务计算机从所述AI计算机接收响应于所述预测请求消息的输出，以及由所述编排服务计算机将所述输出发送给所述用户装置。然后，所述方法包括由所述编排服务计算机发起所述预测请求和所述输出在所述数据存储库中的存储。
另一实施例包括一种***，所述***包括编排服务计算机，所述编排服务计算机包括处理器和计算机可读介质，所述计算机可读介质包括实施方法的代码，所述方法包括从用户装置接收包括呈AI调用形式的预测请求的预测请求消息，以及确定所述预测请求是可缓存请求。然后，所述方法包括从数据存储库检取上下文数据，以及修改所述预测请求消息以包括所述上下文数据。然后，所述方法包括将所述预测请求消息发送给AI计算机，所述预测请求消息包括所述AI调用和所述上下文数据。然后，所述方法包括响应于所述预测请求消息而从所述AI计算机接收输出，以及将所述输出发送给所述用户装置。然后，所述方法包括发起所述预测请求和所述输出在所述数据存储库中的存储。
有关本发明的实施例的更多详细信息，请参见具体实施方式和附图。
附图说明
图1示出根据实施例的***的框图。
图2示出根据实施例的编排服务计算机的框图。
图3示出根据实施例的调用预测处理计算机的框图。
图4示出根据实施例的预测请求过程的流程图。
图5示出根据实施例的缓存过程的流程图。
图6示出根据实施例的调用预测过程的流程图。
具体实施方式
实施例可以通过引入缓存来提高AI引擎服务的效率。缓存结果可以提高人工智能计算的效率，这在计算和财务资源方面可能是昂贵的。此外，实施例引入了一个用于预测对AI引擎的未来请求的***，所述***可以在预测对AI引擎作出未来请求方面发挥作用，并且提前创建那些请求并且接着缓存结果。
可缓存请求可以是可重复的请求，并且如果在合理的时间范围内再次询问，则可能会给出相同的结果。可缓存请求是上下文数据与时间无关的请求。可缓存请求的一个示例可能是“在旧金山开新披萨店的最佳地点在哪里？”。本示例中的“旧金山”是地理输入数据的示例，并且随时间变化而稳定。因此，在两个不同时间(例如，间隔一周)询问的可缓存请求可能给出相同的结果。
相反，不可缓存请求可以是与时间相关的请求和/或可取决于与时间相关的数据。例如，不可缓存请求可能与例如“此交易的欺诈得分是多少？”之类的交易欺诈风险有关。每个交易欺诈风险确定可能取决于所涉及的实体、交易详情、交易时间等。因此，在处理交易后，对交易欺诈风险请求的缓存交易欺诈风险响应可能不再相关，因为交易将仅发生一次。
在论述本发明的实施例之前，可以进一步详细描述一些术语。
“用户装置”可以是可处理信息并将信息传达到其它电子装置的任何合适的电子装置。用户装置可包括处理器和耦合到处理器的计算机可读介质，所述计算机可读介质包括可由处理器执行的代码。用户装置还可各自包括用于与彼此以及其它实体通信的外部通信接口。用户装置的示例可包括移动装置、笔记本电脑或台式计算机、可穿戴装置等。
“用户”可以包括个别或计算装置。在一些实施例中，用户可以与一个或多个用户装置和/或个人账户相关联。在一些实施例中，用户可以是持卡人、账户持有人或消费者。
“处理器”可以包括任何合适的一个或多个数据计算装置。处理器可以包括一起工作以实现期望的功能的一个或多个微处理器。处理器可包括CPU，所述CPU包括足以执行用于执行用户和/或***生成的请求的程序组件的至少一个高速数据处理器。CPU可以是微处理器，例如AMD的Athlon、Duron和/或Opteron；IBM和/或Motorola的PowerPC；IBM和Sony的Cell处理器；Intel的Celeron、Itanium、Pentium、Xeon和/或XScale；和/或类似的一个或多个处理器。
“存储器”可以是可存储电子数据的任何合适的一个或多个装置。合适的存储器可包括非瞬态计算机可读介质，其存储可由处理器执行以实现所要方法的指令。存储器的实例可包括一个或多个存储器芯片、磁盘驱动器等。此类存储器可以使用任何合适的电、光和/或磁操作模式来操作。
“预测请求”可以是对问题的预测解答的请求。例如，预测请求可以是对关于未来事件、分类预测、优化等的一些信息的请求。预测请求可呈自然语言的形式(例如，作为英文句子)，或者可呈计算机可读格式(例如，作为向量)。对预测请求的解答可以使用或不使用人工智能来确定。
“预测请求消息”可以是发送给实体(例如，编排服务计算机、具有AI引擎的AI计算机)的带有预测请求的消息。
“AI调用”可以是执行子例程，具体地说执行人工智能模型的命令。AI调用可呈自然语言的形式(例如，作为英文句子)，或可呈计算机可读格式(例如，作为向量)。AI调用可具体地说是从某种形式的AI引擎(机器学习、自然语言处理、知识表示等)获得结果的命令。
“调用信息消息”可以是具有关于AI调用和/或预测请求的信息的消息。调用信息消息可包括预测请求(或AI调用)和基于预测请求(或AI调用)生成的输出。调用信息消息还可包括信息，例如用于生成输出的上下文数据、上下文数据的标识符和预测请求的时间戳。
“阈值处理器使用率”可以是计算机处理能力的使用量的阈值。例如，阈值可以是处理器使用率的百分比，例如20％。作为另一示例，阈值处理器使用率可以基于多个硬件单元，例如正在使用的多个处理器核心。在一些实施例中，可以确定阈值，使得有足够的处理器操作能力来执行调用预测处理，同时仍然处理传入预测请求而不降低处理器的速度或性能。
“可缓存请求”可以是可存储的查询。可缓存请求可以是请求在时间上是静态的请求。这可能是静态的，因为输入(和输出)与时间无关，并且因此输出可以保存一段时间。可缓存请求也可以是预测请求。如果在同一时间段内接收到相同的预测请求，则原始输出仍然有效。所述请求可以在例如一周或一个月(或比这些时间更长或更短)之类的时间段内是静态的。
“AI引擎”可包括具有人工智能能力的多个模块。每个模块都可以执行针对例如机器学习、自然语言处理和知识表示之类的人工智能的一个或多个不同领域的任务。AI引擎能够集成所述模型以例如使用自然语言处理模块来处理问题，然后使用机器学习模块来响应于所述问题生成预测。
“上下文数据”可包括提供围绕事件、实体或物品的情况的数据。上下文数据可以是对现有信息或请求(例如，预测请求、AI调用)提供更广泛理解或更详细的额外信息。在实施例中，上下文数据可包括交易历史、地理数据、普查数据等。
图1示出根据实施例的***100的框图。***100可包括用户装置110、编排服务计算机120、AI计算机130、消息传递***计算机140、AI调用信息消费者150、数据存储库160和调用预测处理计算机170。图1中的任何装置可以经由合适的通信网络彼此通信。
通信网络可以包括任何合适的通信介质。通信网络可以是以下项中的一者和/或它们的组合：直接互连；互联网；局域网(LAN)；城域网(MAN)；将任务作为互联网上的节点进行操作(OMNI)；安全的自定义连接；广域网(WAN)；无线网络(例如，采用协议，例如但不限于无线应用协议(WAP)、I-模式等)等。图1所示的实体、提供商、网络与装置之间的消息可以使用安全通信协议来发送，所述安全通信协议例如但不限于：文件传输协议(FTP)；超文本传输协议(HTTP)；安全超文本传输协议(HTTPS)、安全套接层(SSL)、ISO(例如，ISO 8583)等。
用户装置110可以是用户可用来通过编排服务计算机120从AI计算机130的AI引擎请求预测的装置。用户装置110的示例可包括膝上型计算机、桌上型计算机、移动装置。
编排服务计算机120可以处理预测请求。编排服务计算机120可以充当路由器以将消息路由到适当计算机。编排服务计算机120还可以确定和/或检取与预测请求相关联的上下文数据。在一些实施例中，编排服务计算机120还可以确定对未来可缓存预测请求的预测。
AI计算机130可以是具有AI引擎的计算机。AI计算机130可具有可用于完成不同任务的多个模型。例如，AI计算机130可以具有欺诈检测模型、业务定位模型和自然语言处理模型。AI计算机130的AI引擎可以单独和/或组合地使用模型。
消息传递***计算机140可以包括面向消息的中间件。例如，消息传递***计算机140可以与RabbitMQ消息队列或Apache Kafka消息队列一起操作。消息传递***计算机140可以是服务器计算机。消息传递***计算机140可以从称为生产者的实体接收消息，所述实体可包括编排服务计算机120和/或调用预测处理计算机170。生产者可以是生成消息的实体，所述消息具有其它实体稍后可能使用的信息。消息传递***计算机140可以从编排服务计算机120接收调用信息消息。调用信息消息可包括可缓存请求、基于可缓存请求的输出和上下文数据。消息传递***计算机140可另外从其它生产者接收其它信息，例如上下文数据。消息传递***计算机140可以处理信息，并且将调用信息消息布置成一个或多个队列或分区。
AI调用信息消费者150可以从消息传递***计算机140读取调用信息消息。在读取调用信息消息之后，AI调用信息消费者150可以将调用信息消息中的信息存储在数据存储库160中。
数据存储库160可以存储包括可缓存请求、从可缓存请求生成的输出和上下文数据的信息。数据存储库160可以使信息保留一段时间(例如，一天、一周、一个月)。缓存输出的时间段可以是输出的一部分。数据存储库160还可以存储例如交易数据、业务数据、地理数据等上下文数据。数据存储库160可以是非关系数据库(NoSQL数据库)。
调用预测处理计算机170可以处理关于未来用户将发送给AI计算机130的预测请求(例如，AI调用)的预测。调用预测处理计算机还可以将预测请求发送给AI计算机130和/或编排服务计算机120。调用预测处理计算机170可以与AI计算机130通信以监测处理器使用率。
图2示出根据实施例的编排服务计算机120的框图。编排服务计算机120可以包括存储器122、处理器124、网络接口126和计算机可读介质128。计算机可读介质128可以存储代码，所述代码可由处理器124执行以用于实施编排服务计算机120的所有功能中的一些功能。计算机可读介质128可以包括数据检取模块128A、预测请求模块128B、缓存模块128C和调用预测模块128D。
可以使用任何数量的非易失性存储器(例如，闪存存储器)和易失性存储器(例如，DRAM、SRAM)的任何组合或任何其它非瞬态存储介质或介质的组合来实施存储器122。
处理器124可以实施为一个或多个集成电路(例如，一个或多个单核或多核微处理器和/或微控制器)。处理器124可用于控制编排服务计算机120的操作。处理器124可以响应于存储在存储器122中的程序代码或计算机可读代码而执行多种程序。处理器124可以包括维护多个同时执行的程序或过程的功能。
网络接口126可被配置成连接到一个或多个通信网络以允许编排服务计算机120与例如用户装置110、AI计算机130等其它实体通信。例如，与AI计算机130的通信可以是直接的、间接的和/或经由API进行的。
计算机可读介质128可以包括用于存储和/或发送的一个或多个非瞬态介质。合适的介质包括例如随机存取存储器(RAM)、只读存储器(ROM)、例如硬盘驱动器的磁性介质、或例如光盘(CD)或DVD(数字通用光盘)的光学介质、快闪存储器等。计算机可读介质128可以是这些存储或发送装置的任何组合。
数据检取模块128A结合处理器124可以从数据存储库160检取上下文数据。检取到的上下文数据可能与预测请求有关。例如，对于关于旧金山新酒店的最佳位置的预测请求，数据检取模块128A结合处理器124可以检取上下文数据，例如关于旧金山的旅游、现有酒店位置、餐旅交易历史等。
预测请求模块128B结合处理器124可以处理预测请求。处理预测请求可以包括确定预测请求是否为可缓存的。如果其是可缓存的并且已经在缓存中，则缓存模块128C结合处理器124可以检取预测请求的缓存输出。预测请求模块128B还可以结合处理器124来确定预测请求需要哪些上下文数据，然后与数据检取模块128A一起起作用以从数据存储库检取所述数据。替代地，预测请求模块128B可以仅从数据检取模块128A接收上下文数据，而不需要首先确定相关上下文数据(即，数据可由数据检取模块确定)。预测请求模块128B还可以发送预测请求以及相关上下文数据。
缓存模块128C结合处理器124可以缓存并检取可缓存请求。缓存模块128C可以发起将可缓存请求存储在数据存储库中。缓存模块128C可以通过将预测请求、输出和上下文数据发送给消息传递***计算机来发起存储可缓存请求。另外，缓存模块128C可以从数据存储库检取缓存结果。
调用预测模块128D结合处理器124可以预测可能作出哪些可缓存请求。调用预测模块128D可以存储过去的预测请求以及作出可缓存请求时的时间戳。调用预测模块128D可以使用频率来确定何时可以作出预测请求。例如，调用预测模块128D可以确定每周由不同用户作出的特定可缓存请求。调用预测模块128D还可以基于日期预测可缓存请求。例如，例如“开万圣节服装店的最佳地点在哪里？”之类的可缓存请求可能在每年秋季被接收。替代地，调用预测模块128D结合处理器124可以针对一组预测可缓存请求将请求发送给AI计算机。由调用预测模块128D预测的可缓存请求可以由调用预测处理计算机使用，以在由编排服务计算机120从用户装置接收所述可缓存请求之前生成预测请求。
图3描绘根据实施例的调用预测处理计算机170。调用预测处理计算机170可以包括存储器172、处理器174、网络接口176和计算机可读介质178。这些组件可以与图2的编排服务计算机120中的对应组件类似或不同。计算机可读介质178可以存储代码，所述代码可由处理器174执行以用于实施本文所描述的调用预测处理计算机170的功能中的一些或全部。计算机可读介质178可以包括性能监测模块178A、调用预测请求模块178B、预测请求模块178C和缓存模块178D。
性能监测模块178A结合处理器174可以监测AI计算机130的处理器使用率(例如，CPU利用率)。性能监测模块178A可以确定AI计算机130正在使用的处理能力的量(例如，处理器核心的数目、非空闲时间的量)，并且可以确定处理器使用率是否低于预定阈值。示例阈值可以是百分比，例如20％、30％等。可以选择阈值，使得有足够的处理器操作能力来执行调用预测处理，而不会降低处理器处理传入预测请求的速度或性能。
在一些实施例中，性能监测模块178A可以直接访问AI计算机130的硬件。替代地，性能监测模块178A可以从AI计算机130(例如，从AI计算机130的性能监测软件)接收关于处理器使用率的信息。性能监测模块178A可以按调度操作。例如，性能监测模块178A可以每5分钟检查一次处理器使用率。如果处理器使用率高于阈值，则调用预测处理计算机170可以等到下一个调度时间。如果处理器使用率低于阈值，则性能监测模块178A结合处理器174可以使调用预测处理计算机170激活调用预测请求模块178B。
调用预测请求模块178B结合处理器174可以针对预测可缓存请求将请求发送给编排服务计算机120。调用预测请求模块178B可以从编排服务计算机120接收一组可缓存调用。调用预测请求模块178B可以指定请求的多个可缓存调用。例如，调用预测请求模块178B可以请求最有可能被请求的N个请求。例如，如果是在十二月，可缓存调用可能包括“我在哪里可以找到送我妻子的礼物？”、“Acme商店在平安夜营业到多晚？”以及“圣诞节做什么饭最好吃？”。可以通过性能监测模块178A确定AI计算机130在阈值处理器使用率以下操作来触发调用预测请求模块178B。
预测请求模块178C结合处理器174可以将预测请求，具体地说将可缓存请求发送给编排服务计算机。预测请求模块178C可以从从编排服务计算机120接收的一组可缓存请求中选择特定可缓存请求。例如，预测请求模块178C可以对所述一组可缓存请求进行优先级排序。替代地，预测请求模块178C可以从所述一组可缓存请求中选择随机可缓存调用。
缓存模块178D结合处理器174可以发起将可缓存请求的输出存储在数据存储库160中。缓存模块178D结合处理器174可以将可缓存请求和响应于可缓存请求的输出存储在数据存储库160中。替代地，缓存模块178D结合处理器174可以将包括可缓存请求和输出的调用信息消息发送给消息***计算机。
图4示出根据实施例的处理预测请求的流程图。
在步骤S502中，用户装置110可以将预测请求消息发送给编排服务计算机120。预测请求消息可以包括可能呈问题形式的预测请求。预测请求可以呈AI调用的形式。AI调用可以是AI引擎的输入。示例预测请求可能是“在德克萨斯州(Texas)的奥斯汀(Austin)，哪里最适合建酒店？”。预测请求的另一示例可能是“此交易是欺诈吗？”。预测请求消息可以通过网络服务、API等发送给编排服务计算机120。例如，可能存在允许用户装置110将预测请求消息发送给编排服务计算机120的网络接口。
在步骤S504中，编排服务计算机120可以确定预测请求是可缓存请求。例如，问题“在德克萨斯州的奥斯汀，哪里最适合建酒店？”可以是可缓存请求，而问题“此交易是欺诈吗？”可以是不可缓存请求。在先前已经缓存了输出的情况下，如果预测请求是可缓存请求，则编排服务计算机120可以尝试从数据存储库160检取预测请求的输出。如果输出在数据存储库160中，则编排服务计算机120可以将输出返回到用户装置110。可缓存请求可能是相对独立于时间的请求。
如果预测请求的输出没有存储在数据存储库160中，则编排服务计算机120可以评估预测请求和/或用户装置110的上下文，以确定预测请求是否为可缓存请求。例如，如果用户装置110是处理网络(例如，支付处理网络)的计算机，则编排服务计算机120可以推断出预测请求是交易欺诈请求，而不是可缓存请求。替代地，如果用户装置110是个人的膝上型计算机，则编排服务计算机120可以推断出预测请求是可缓存请求，或者预测请求是可缓存请求的概率更高。在一些实施例中，编排服务计算机120可以使用AI计算机130例如使用AI计算机130的机器学习模型来确定预测请求是否为可缓存的。
在步骤S506中，编排服务计算机120可以从数据存储库160检取与预测请求有关的上下文数据。例如，如果预测请求是“在德克萨斯州的奥斯汀，哪里最适合建酒店？”，则编排服务计算机120可以检取例如关于奥斯汀的地理信息、奥斯汀现有酒店和旅游景点的位置、奥斯汀的交易模式等信息。在一些实施例中，预测请求消息可以包括上下文数据。
在步骤S508中，编排服务计算机120可以将包括AI调用(即，预测请求)和上下文数据的预测请求消息发送给AI计算机130。AI计算机130可以使用AI引擎来用AI模型或模型组合处理AI调用并且响应于预测请求消息生成输出。AI模型的示例可以包括机器学习模型、神经网络、递归神经网络、支持向量机器、贝叶斯(Bayesian)网络、遗传算法等。例如，AI引擎可以用业务优化学习模型分析上下文数据(例如，现有酒店位置、餐旅交易模式)，以确定在哪里建造新酒店。在一些实施例中，AI引擎可以使用自然语言处理模块来解析预测请求。
在一些实施例中，来自AI计算机130的输出还可以包括预测请求的输出应保留在数据存储库中的时间段。例如，时间段可以是3天、1周、1个月等。时间段可取决于用户请求可缓存请求的频率。例如，每小时作出的可缓存请求可以存储3天或一周，而每周作出的可缓存请求可以存储一个月。所述时间段还可以取决于与可缓存请求相关联的上下文数据。例如，输出可以取决于每月刷新的上下文数据。因此，基于所述上下文数据的输出可以被缓存一个月的时间段。
然后，编排服务计算机120可以从AI计算机130接收预测请求的输出。输出可以是例如新酒店的优化位置的地址、地址列表、建造新酒店的街区等。
在步骤S510中，编排服务计算机120可以将输出发送给用户装置110。
在接收到输出之后，编排服务计算机120可以发起预测请求和输出在数据存储库160中的存储。在一些实施例中，发起预测请求的存储可以包括例如图5的过程，下文将进一步详细描述所述过程。在其它实施例中，编排服务计算机120可直接将预测请求和输出存储在数据存储库中。编排服务计算机120还可以将上下文数据和/或对上下文数据的位置的参考存储在数据存储库160中。
预测请求消息可以是具有呈第一AI调用形式的第一预测请求的第一预测请求消息。然后，在后续时间但在输出存储在数据存储库160中的时间段内，编排服务计算机120可以在第二预测请求消息中接收第二预测请求。第二预测请求可以呈第二AI调用的形式。可以从由与第一用户装置110的用户相同或不同的用户操作的第二用户装置(未示出)接收第二预测请求消息。在一些实施例中，第二用户装置可以与第一用户装置110相同。替代地，第二用户装置可以由第二用户操作。然后，编排服务计算机120可以使用如步骤S504中所描述的过程确定第二预测是可缓存请求。
然后，编排服务计算机120可以确定第二预测请求对应于第一预测请求。在一个实施例中，编排服务计算机120可以尝试从数据存储库160检取第二预测请求。如果第二预测请求在数据存储库160中作为第一预测请求，则编排服务计算机120可以确定第二预测请求对应于第一预测请求。在另一实施例中，编排服务计算机120可以直接使第二预测请求与第一预测请求相关联。
然后，编排服务计算机120可以从与第一预测请求和第二预测请求相关联的数据存储库160检取输出。然后，编排服务计算机120可以将输出发送给第二用户装置。
图5示出根据实施例的使用消息传递***缓存输出的流程图。在一些实施例中，图5的过程可以在图4的过程之后立即发生。替代地，所述过程可以在一天结束时、每小时一次或在某一其它合适的时间发生。
在步骤S602中，编排服务计算机120可以将调用信息消息发送给消息传递***计算机140。消息传递***计算机140可以接收调用信息消息并且将调用信息消息存储在队列中。调用信息消息可以包括预测请求、响应于预测请求的输出和上下文数据。例如，预测请求可能是例如“在旧金山建造新餐厅的最佳地点在哪里？”之类的问题。然后，输出可以是由AI引擎确定为建造餐厅的最佳地点的位置(例如，地址、街区)。上下文数据可以包括例如旧金山的地理数据、现有餐厅的位置和过去六个月的食品交易信息。在一些实施例中，调用信息消息可以包括数据存储库160中的上下文数据的标识符(例如，存储器中的位置、密钥)，而不是上下文数据本身。
在步骤S604中，AI调用信息消费者150可以被订阅到消息传递***计算机140，并且在其发布到队列时接收调用信息消息。AI调用信息消费者150可以另外或替代地随意从队列检取信息。例如，AI调用信息消费者150可以一次在数据存储库160中检取并存储一个调用信息消息。AI调用信息消费者150可以以比编排服务计算机120发送调用信息消息更慢或更快的速度从队列中检取调用信息消息。
在步骤S606中，AI调用信息消费者150可以将调用信息消息存储在数据存储库160中。在一些实施例中，预测请求、输出和/或上下文数据可以分开存储在数据存储库160中，而不是作为单个调用信息消息。预测请求、输出和/或上下文数据可以与标识符一起存储以使其在数据库中相关联。在一些实施例中，上下文数据可能已经在数据存储库160中。AI调用信息消费者150可以将上下文数据的标识符存储在数据存储库160中。另外或替代地，预测请求消息可能已经包括先前不在数据存储库160中的新的上下文数据，并且新的上下文数据可以存储在数据存储库中。
图6示出根据实施例的执行调用预测过程的流程图。
在步骤S702中，调用预测处理计算机170可以确定AI计算机130在阈值处理器使用率以下操作。调用预测处理计算机170可以通过监测AI计算机130的性能来执行。例如，在一些实施例中，调用预测处理计算机170可以按调度操作。例如，调用预测处理计算机170可以每5分钟、每小时等检查AI计算机130。阈值可以是例如AI计算机的运行能力的20％。如果AI计算机130在阈值以上操作，则调用预测处理计算机170可能会休眠，直到其下次检查AI计算机130为止。
在步骤S704中，调用预测处理计算机170可以在确定AI计算机130正在阈值以下操作之后，从编排服务计算机120请求一组可缓存请求。所述一组可缓存请求可包括一个或多个可缓存请求。编排服务计算机120可以直接确定所述一组可缓存请求，或者可以与AI计算机130通信以确定所述一组可缓存请求。例如，所述编排服务计算机可以维护其接收的可缓存请求的列表，以及已经作出每个可缓存请求的时间和/或次数。然后，当编排服务计算机120接收对所述一组可缓存请求的请求时，它可以使用此信息并且使用频率信息来确定可能很快被请求并且不在缓存中的请求。在一些实施例中，编排服务计算机120可以维护可缓存请求保留在缓存中的时间段(例如，一天、一周)的记录。替代地，编排服务计算机120可以将预测请求消息发送给AI计算机130以确定所述一组可缓存请求。
在一些实施例中，当使用AI计算机130确定所述一组可缓存请求时，预测请求可以是“最有可能被请求的N个可缓存请求是什么？”并且上下文数据可以是例如时间和日期以及可能适合于确定可缓存请求的其它环境上下文信息。然后，AI计算机130的AI引擎可以运行适当的学习模型以确定所述一组可缓存请求。然后，调用预测处理计算机170可以从编排服务计算机120接收所述一组可缓存请求。在另一实施例中，调用预测处理计算机170可以直接将一组可缓存请求的预测请求发送给AI计算机130。
在步骤S706中，调用预测处理计算机170可以从一组可缓存请求中选择可缓存请求。例如，调用预测处理计算机170可以从一组可缓存请求中选择第一可缓存请求。替代地，调用预测处理计算机170可以对一组可缓存请求进行优先级排序。例如，一组可缓存请求可以按用户可能请求可缓存请求的时间或请求可缓存请求的频率来区分优先级。然后，调用预测处理计算机170可以选择可能在不久的将来被请求的可缓存请求。调用预测处理计算机170可以在预测请求消息中经由编排服务计算机120将可缓存请求发送给AI计算机130。替代地，调用预测处理计算机170可以直接将可缓存请求发送给AI计算机130。可缓存请求可以呈AI调用的形式。
在步骤S708中，编排服务计算机120可以将(呈AI调用形式的)可缓存请求发送给AI计算机130。在将可缓存请求发送给AI计算机130之前，在步骤S710中，编排服务计算机120可从数据存储库160检取可缓存请求的上下文数据。在一些实施例中，编排服务计算机130可以确定和/或确认可缓存请求是可缓存的。AI计算机130可以使用AI引擎来用AI模型(例如，包括神经网络的学习模型)或模型的组合处理AI调用，并且响应于预测请求消息生成输出。在生成输出之后，AI计算机130可以接着将输出发送给编排服务计算机120。
输出还可以包括输出应保留在数据存储库中的时间段。例如，时间段可以是3天、1周、1个月等。时间段可取决于用户请求可缓存请求的频率。例如，每小时作出的可缓存请求可以存储3天或一周，而每周作出的可缓存请求可以存储一个月。所述时间段还可以取决于与可缓存请求相关联的上下文数据。例如，输出可以取决于每月刷新的上下文数据。因此基于所述上下文数据的输出可以被缓存一个月的时间段。在步骤S712中，编排服务计算机120可以接着将输出返回到调用预测处理计算机170。然后，调用预测处理计算机170可以接收输出。
在步骤S714中，调用预测处理计算机170可以将输出存储在数据存储库160中。调用预测处理计算机170还可以将可缓存请求存储在数据存储库160中。在一些实施例中，调用预测处理计算机170可以是可以将信息发送给消息传递***计算机140的生产者。当调用预测处理计算机170将信息存储在数据存储库160中时，调用预测处理计算机170可以将调用信息消息发送给消息传递***计算机140。
本发明的实施例提供多个优势。优势如下。通过缓存结果，分散用于生成预测的时间。因此，在高峰期间，AI计算机可以承受较少的压力，因为结果的一部分将被预先计算，并且因此AI引擎不需要计算所有结果。因此，处理器的使用更加持久，因为在非高峰期期间，AI计算机可用于减少高峰期期间的需求。另外，对请求的预测意味着被缓存的信息将更加有用。使用消息传递***可以释放编排服务计算机以继续处理大量的预测请求，而无需等着确认可缓存请求已被缓存。
本申请中描述的任何软件组件或功能可以使用例如常规的或面向对象的技术并且使用任何合适的计算机语言(例如，Java、C++或Perl)实现为由处理器执行的软件代码。软件代码可作为一系列指令或命令存储在计算机可读介质上，所述计算机可读介质例如随机存取存储器(RAM)、只读存储器(ROM)、例如硬盘驱动器等磁性介质或例如CD-ROM等光学介质。任何此类计算机可读介质可驻存在单个计算设备上或单个计算设备内，并且可以存在于***或网络内的不同计算设备上或不同计算设备内。
以上描述是说明性的而非限制性的。本发明的许多变化在所属领域的技术人员查阅本公开后可变得显而易见。因此，本发明的范围可不参考以上描述来确定，而是可参考待决的权利要求以及其完整范围或等同物来确定。
在不脱离本发明的范围的情况下，任何实施例的一个或多个特征可与任何其它实施例的一个或多个特征组合。
除非具体地相反指示，否则“一(a/an)”或“所述(the)”的叙述打算意指“一个或多个”。
上文提及的所有专利、专利申请、公开案和描述都出于所有目的以全文引用的方式并入。并非承认它们是现有技术。

Claims (40)

1.一种方法，包括：
由调用预测处理计算机确定AI计算机在处理器使用率阈值以下操作；
由所述调用预测处理计算机从编排服务计算机请求一组可缓存请求；
由所述调用预测处理计算机从所述编排服务计算机接收所述一组可缓存请求；
由所述调用预测处理计算机将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机；
由所述调用预测处理计算机接收输出，其中所述输出由所述AI计算机基于所述可缓存请求生成；以及
由所述调用预测处理计算机发起将所述输出存储在数据存储库中。
2.根据权利要求1所述的方法，其中所述处理器使用率阈值为约20％或更小。
3.根据权利要求1所述的方法，其中所述一组可缓存请求包括最有可能由用户请求的可缓存请求。
4.根据权利要求1所述的方法，其中所述输出在所述数据存储库中保留预定时间段。
5.根据权利要求4所述的方法，其中所述时间段由所述AI计算机确定为所述输出的一部分。
6.根据权利要求1所述的方法，其中所述输出从所述编排服务计算机接收。
7.根据权利要求1所述的方法，其中所述AI计算机包括人工神经网络。
8.根据权利要求1所述的方法，其中所述调用预测处理计算机经由所述编排服务计算机将所述可缓存请求发送给所述AI计算机。
9.根据权利要求1所述的方法，其中所述调用预测处理计算机对所述一组可缓存请求进行优先级排序以选择所述可缓存请求。
10.根据权利要求1所述的方法，其中只要所述AI计算机低于所述阈值处理器使用率，所述调用预测处理计算机就会连续地将来自所述一组可缓存请求的可缓存请求发送给所述编排服务计算机。
11.一种***，包括：
调用预测处理计算机，所述调用预测处理计算机包括处理器和计算机可读介质，所述计算机可读介质包括用于实施方法的代码，所述方法包括：
确定AI计算机在阈值处理器使用率以下操作；
从编排服务计算机请求一组可缓存请求；
从所述编排服务计算机接收所述一组可缓存请求；
将来自所述一组可缓存请求的可缓存请求发送给所述AI计算机；
接收输出，其中所述输出由所述AI计算机基于所述可缓存请求生成；以及
发起将所述输出存储在数据存储库中。
12.根据权利要求11所述的***，其中所述阈值处理器使用率为20％或更小。
13.根据权利要求11所述的***，其中所述一组可缓存请求包括最有可能被请求的N个可缓存请求。
14.根据权利要求11所述的***，其中所述输出在所述数据存储库中保留预定时间段。
15.根据权利要求14所述的***，其中所述时间段由所述AI计算机确定为所述输出的一部分。
16.根据权利要求11所述的***，其中所述输出从所述编排服务计算机接收。
17.根据权利要求11所述的***，其中所述一组可缓存请求由所述AI计算机确定。
18.根据权利要求11所述的***，其中所述调用预测处理计算机经由所述编排服务计算机将所述可缓存请求发送给所述AI计算机。
19.根据权利要求11所述的***，其中所述调用预测处理计算机对所述一组可缓存请求进行优先级排序以选择所述可缓存请求。
20.根据权利要求11所述的***，其中只要所述AI计算机低于所述阈值处理器使用率，所述调用预测处理计算机就会继续将来自所述一组可缓存请求的可缓存请求发送给所述编排服务计算机。
21.一种方法，包括：
由编排服务计算机从用户装置接收包括呈AI调用形式的预测请求的预测请求消息；
由所述编排服务计算机确定所述预测请求是可缓存请求；
由所述编排服务计算机从数据存储库检取上下文数据；
由所述编排服务计算机修改所述预测请求消息以包括所述上下文数据；
由所述编排服务计算机将所述预测请求消息发送给AI计算机，所述预测请求消息包括所述预测请求和所述上下文数据；
由所述编排服务计算机从所述AI计算机接收响应于所述预测请求的输出；
由所述编排服务计算机将所述输出发送给所述用户装置；以及
由所述编排服务计算机发起所述预测请求和所述输出在所述数据存储库中的存储。
22.根据权利要求21所述的方法，其中发起所述预测请求和所述输出的存储包括：
由所述编排服务计算机将调用信息消息发送给消息传递***计算机，其中所述调用信息消息包括所述预测请求和所述输出；
由所述消息传递***计算机将所述调用信息消息存储在队列中；
由调用信息消费者计算机从所述队列检取所述调用信息消息；以及
由所述调用信息消费者计算机将所述调用信息消息中的所述预测请求和所述输出存储在所述数据存储库中。
23.根据权利要求21所述的方法，其中发起所述预测请求和所述输出的存储包括：
由所述编排服务计算机将所述预测请求和所述输出存储在所述数据存储库中。
24.根据权利要求21所述的方法，其中所述预测请求消息是第一预测请求消息，所述预测请求是第一预测请求，所述AI调用是第一AI调用，所述可缓存请求是第一可缓存请求，并且所述用户装置是第一用户装置，所述方法还包括：
由所述编排服务计算机从第二用户装置接收包括呈第二AI调用形式的第二预测请求的第二预测请求消息；
由所述编排服务计算机确定所述第二预测请求是第二可缓存请求；
由所述编排服务计算机确定所述第二预测请求对应于所述第一预测请求并且存储在所述数据存储库中；
由所述编排服务计算机从所述数据存储库检取所述输出；以及
由所述编排服务计算机将所述输出发送给所述第二用户装置。
25.根据权利要求21所述的方法，其中所述输出在所述数据存储库中保留预定时间段。
26.根据权利要求25所述的方法，其中所述时间段由所述AI计算机确定为所述输出的一部分。
27.根据权利要求21所述的方法，其中所述上下文数据包括交易数据。
28.根据权利要求21所述的方法，其中确定所述预测请求是可缓存请求包括使用所述AI计算机。
29.根据权利要求21所述的方法，其中确定所述预测请求是可缓存请求包括评估所述用户装置。
30.根据权利要求21所述的方法，其中所述用户装置是处理网络的计算机。
31.一种***，包括：
编排服务计算机，所述编排服务计算机包括处理器和计算机可读介质，所述计算机可读介质包括实施方法的代码，所述方法包括：
从用户装置接收包括呈AI调用形式的预测请求的预测请求消息；
确定所述预测请求是可缓存请求；
从数据存储库检取上下文数据；
修改所述预测请求消息以包括所述上下文数据；
将所述预测请求消息发送给AI计算机，所述预测请求消息包括所述AI调用和所述上下文数据；
响应于所述预测请求而从所述AI计算机接收输出；
将所述输出发送给所述用户装置；以及
发起所述预测请求和所述输出在所述数据存储库中的存储。
32.根据权利要求31所述的***，还包括消息传递***计算机和调用信息消费者计算机，并且其中发起所述预测请求和所述输出的存储还包括：
由所述编排服务计算机将调用消息发送给所述消息传递***计算机，其中所述调用消息包括所述预测请求、所述上下文数据和所述输出；以及
由所述消息传递***计算机将所述调用信息消息存储在队列中；
由调用信息消费者计算机从所述队列检取所述调用信息消息；以及
由所述调用信息消费者计算机将所述预测请求和所述输出存储在所述数据存储库中。
33.根据权利要求31所述的***，其中发起所述预测请求和所述输出的存储包括：
由所述编排服务计算机将所述预测请求和所述输出存储在所述数据存储库中。
34.根据权利要求31所述的***，其中所述预测请求消息是第一预测请求消息，所述预测请求是第一预测请求，所述AI调用是第一AI调用，所述可缓存请求是第一可缓存请求，并且所述用户装置是第一用户装置，所述方法还包括：
从第二用户装置接收包括呈第二AI调用形式的第二预测请求的第二预测请求消息；
确定所述第二预测请求是第二可缓存请求；
确定所述第二预测请求对应于所述第一预测请求并且存储在所述数据存储库中；
从所述数据存储库检取所述输出；以及
将所述输出发送给所述第二用户装置。
35.根据权利要求31所述的***，其中所述输出在所述数据存储库中保留预定时间段。
36.根据权利要求35所述的***，其中所述时间段由所述AI计算机确定为所述输出的一部分。
37.根据权利要求31所述的***，其中所述上下文数据包括交易数据。
38.根据权利要求31所述的***，其中确定所述预测请求是可缓存请求包括使用所述AI计算机。
39.根据权利要求31所述的***，其中确定所述预测请求是可缓存请求包括评估所述用户装置。
40.根据权利要求31所述的***，其中所述用户装置是处理网络的计算机。
CN201980097937.6A 2019-07-05 2019-07-05 使用ai调用预测和缓存的方法和*** Pending CN114026837A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/040722 WO2021006861A1 (en) 2019-07-05 2019-07-05 Method and system using ai call prediction and cache

Publications (1)

Publication Number Publication Date
CN114026837A true CN114026837A (zh) 2022-02-08

Family

ID=74114906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980097937.6A Pending CN114026837A (zh) 2019-07-05 2019-07-05 使用ai调用预测和缓存的方法和***

Country Status (3)

Country Link
US (1) US20220206947A1 (zh)
CN (1) CN114026837A (zh)
WO (1) WO2021006861A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115866141A (zh) * 2022-11-23 2023-03-28 中电智恒信息科技服务有限公司 一种人机耦合式呼叫中流量控制方法、***及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103416021A (zh) * 2011-03-16 2013-11-27 国际商业机器公司 用于实现数字签名审核的***
US20140229610A1 (en) * 2012-04-25 2014-08-14 Empire Technology Development Llc Workload prediction for network-based computing
US20150067688A1 (en) * 2013-08-30 2015-03-05 Fujitsu Limited Method and apparatus for controlling job schedule
US20180308018A1 (en) * 2017-04-20 2018-10-25 Capital One Services, Llc Machine learning artificial intelligence system for predicting hours of operation
CN108805604A (zh) * 2010-07-23 2018-11-13 电子湾有限公司 对产品信息请求自动响应的方法和***
CN108809694A (zh) * 2018-04-27 2018-11-13 广州西麦科技股份有限公司 业务编排方法、***、装置与计算机可读存储介质
CN108833352A (zh) * 2018-05-17 2018-11-16 北京邮电大学 一种缓存方法及***
CN109716346A (zh) * 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习***、装置和方法
CN109783337A (zh) * 2018-12-19 2019-05-21 北京达佳互联信息技术有限公司 模型服务方法、***、装置和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705411B1 (ko) * 2005-08-12 2007-04-11 엔에이치엔(주) 로컬 컴퓨터 검색 시스템 및 이를 이용한 로컬 컴퓨터 검색방법
US8291421B2 (en) * 2008-11-19 2012-10-16 Sharp Laboratories Of America, Inc. Idle task monitor
JP6186862B2 (ja) * 2013-05-07 2017-08-30 富士通株式会社 情報処理装置、省電力化制御方法および省電力化制御プログラム
US10474673B2 (en) * 2017-03-28 2019-11-12 Salesforce.Com, Inc. Methods and apparatus for performing machine learning to improve capabilities of an artificial intelligence (AI) entity used for online communications

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805604A (zh) * 2010-07-23 2018-11-13 电子湾有限公司 对产品信息请求自动响应的方法和***
CN103416021A (zh) * 2011-03-16 2013-11-27 国际商业机器公司 用于实现数字签名审核的***
US20140229610A1 (en) * 2012-04-25 2014-08-14 Empire Technology Development Llc Workload prediction for network-based computing
US20150067688A1 (en) * 2013-08-30 2015-03-05 Fujitsu Limited Method and apparatus for controlling job schedule
CN109716346A (zh) * 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习***、装置和方法
US20180308018A1 (en) * 2017-04-20 2018-10-25 Capital One Services, Llc Machine learning artificial intelligence system for predicting hours of operation
CN108809694A (zh) * 2018-04-27 2018-11-13 广州西麦科技股份有限公司 业务编排方法、***、装置与计算机可读存储介质
CN108833352A (zh) * 2018-05-17 2018-11-16 北京邮电大学 一种缓存方法及***
CN109783337A (zh) * 2018-12-19 2019-05-21 北京达佳互联信息技术有限公司 模型服务方法、***、装置和计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
URMILA SHRAWANKAR; ASHWINI MESHRAM; REETU GUPTA; JASHWEENI NANDANWAR: "Pattern Based Real Time Disk Scheduling Algorithm for Virtualized Environment", 2013 6TH INTERNATIONAL CONFERENCE ON EMERGING TRENDS IN ENGINEERING AND TECHNOLOGY, 31 December 2013 (2013-12-31) *
夏楠;张尧学;杨善林;王晓辉;: "基于透明计算模式的I/O Server的设计", 计算机工程, no. 21, 5 November 2006 (2006-11-05) *
李洋;张文博;魏峻;钟华;黄涛;: "基于序列模式的Servlet容器缓存替换", 软件学报, no. 07, 15 July 2007 (2007-07-15) *
洪高旗;刘芳;刘波;肖侬;: "GridDaEn数据网格中的元数据预取与缓存策略", 计算机工程与科学, no. 1, 15 October 2009 (2009-10-15) *
申泽星;彭云建;岳喜顺;: "集群服务器在混合请求下的负载均衡优化算法", 计算机工程与应用, no. 18, 18 April 2018 (2018-04-18) *

Also Published As

Publication number Publication date
WO2021006861A1 (en) 2021-01-14
US20220206947A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US11863644B2 (en) Push notification delivery system with feedback analysis
US10824608B2 (en) Feature generation and storage in a multi-tenant environment
US20210398132A1 (en) Method For Dynamically Reconfiguring Machine Learning Models
KR20180106847A (ko) 콘텐트 검색 엔진
US9082155B2 (en) Real estate analysis system
US20220358171A1 (en) Efficient freshness crawl scheduling
CN111651524B (zh) 利用机器学习模型进行线上预测的辅助实现方法及装置
WO2017173063A1 (en) Updating messaging data structures to include predicted attribute values associated with recipient entities
CN117597666A (zh) 在客户端设备上执行机器学习模型
CN114026837A (zh) 使用ai调用预测和缓存的方法和***
CA2858652C (en) Energy-efficient query optimization
US20230168932A1 (en) Computer-based systems and/or computing devices configured for the scaling of computing resources using a machine learning model trained to monitor and/or predict usage of inference models
US11783075B2 (en) Systems and methods of providing access to secure data
CN114925304A (zh) 一种信息访问方法、装置和***
CN114579265A (zh) 一种任务查询的方法、装置及存储介质
CN102209964A (zh) 动态管理数据中心搜索的***和方法
US11886437B2 (en) Reduced latency query processing
US20240015595A1 (en) Distributed Network Management System
CN117972222B (zh) 基于人工智能的企业信息检索方法及装置
CN117575484A (zh) 库存数据处理方法、装置、设备、介质和程序产品
CN116708569A (zh) 一种数据传输方法、装置、计算机设备及存储介质
CN116795543A (zh) 数据处理方法、装置、设备及存储介质
CN117950850A (zh) 一种数据传输方法、装置、电子设备及计算机可读介质
CN118095912A (zh) 数据预测的方法、装置、设备和计算机可读介质
CN116467074A (zh) 数字资源处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination