CN112823502B - 针对资源访问规则配置的实时反馈服务 - Google Patents

针对资源访问规则配置的实时反馈服务 Download PDF

Info

Publication number
CN112823502B
CN112823502B CN201880098362.5A CN201880098362A CN112823502B CN 112823502 B CN112823502 B CN 112823502B CN 201880098362 A CN201880098362 A CN 201880098362A CN 112823502 B CN112823502 B CN 112823502B
Authority
CN
China
Prior art keywords
rule
server computer
histograms
classification
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880098362.5A
Other languages
English (en)
Other versions
CN112823502A (zh
Inventor
N·米斯拉
G·钦奇瓦德卡尔
P·古加里古达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visa International Service Association
Original Assignee
Visa International Service Association
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visa International Service Association filed Critical Visa International Service Association
Publication of CN112823502A publication Critical patent/CN112823502A/zh
Application granted granted Critical
Publication of CN112823502B publication Critical patent/CN112823502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/405—Establishing or using transaction specific rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0263—Rule management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

公开了一种方法。服务器计算机可以从客户端计算机接收包括一个或多个变量的第一规则，所述第一规则被配置成预测事件是第一分类还是第二分类。所述服务器计算机将所述第一规则应用于事件的初始数据集以标识与所述第一分类相关联的事件。所述服务器计算机评估所述第一规则的性能。所述服务器计算机将与所述第一规则的所述性能有关的数据提供给所述客户端计算机。所述客户端计算机响应于与所述第一规则的所述性能有关的所述数据而自动评估所述第一规则的所述性能并生成第二规则。然后，所述服务器计算机可以评估所述第二规则并将性能数据提供给所述客户端计算机。所述服务器计算机可以使用等高直方图来评估所述规则的性能。

Description

针对资源访问规则配置的实时反馈服务
背景技术
预测规则对于防止对资源的未授权访问至关重要。可以使用规则来预测是可信任实体还是假冒者在尝试访问资源。基于历史数据，可以验证规则或测试准确性。可以基于已验证的规则而准许或拒绝访问尝试。
在先前***中，用户可以使用图形用户界面手动地创建一组规则(“规则集”)。可以将规则集提交给规则反馈***以进行验证。然而，规则集验证通常是漫长的过程。可以使用长时间运行的程序来评估规则集。例如，可以将规则集应用于历史交易的大数据库，执行这一过程可能需要几分钟甚至几个小时的时间。在验证规则之后，将评估信息提交给用户。用户可以手动地重新考虑规则集，并最终提交更新后的规则集以进行验证。
本文所述的方法和***解决了这些和其它问题。
发明内容
方法以及***接受自定义规则并大体上实时地提供对规则的反馈，从而准许规则提交者基于反馈自动更新并重新提交规则。
本公开的一个实施例涉及一种方法，包括：由服务器计算机从客户端计算机接收包括一个或多个变量的第一规则，所述第一规则被配置成预测事件是第一分类还是第二分类，其中所述客户端计算机包括自动规则生成器；由所述服务器计算机将所述第一规则应用于事件的初始数据集，每个事件与所述第一分类或所述第二分类相关联，以标识与所述第一分类相关联的事件；由所述服务器计算机评估所述第一规则的性能；由所述服务器计算机将与所述第一规则的所述性能有关的数据提供给所述客户端计算机，其中所述客户端计算机响应于与所述第一规则的所述性能有关的所述数据而自动评估所述第一规则的所述性能并生成第二规则；由所述服务器计算机从所述客户端计算机接收所述第二规则；由所述服务器计算机评估所述第二规则的所述性能；由所述服务器计算机将与所述第二规则的所述性能有关的数据提供给所述客户端计算机，其中所述客户端计算机响应于与所述第二规则的所述性能有关的所述数据而自动评估所述第二规则的所述性能并生成第三规则。
另一实施例涉及一种***，包括被编程以执行上述方法的服务器计算机。
另一实施例涉及一种方法，包括：由客户端计算机向服务器计算机传输包括一个或多个变量的第一规则，所述第一规则被配置成预测事件是第一分类还是第二分类，其中所述客户端计算机包括自动规则生成器；由所述客户端计算机从所述服务器计算机接收与所述第一规则的性能有关的数据，其中所述服务器计算机通过将所述第一规则应用于事件的初始数据集来生成与所述第一规则的所述性能有关的所述数据，每个事件与所述第一分类或所述第二分类相关联，以标识与所述第一分类相关联的事件并评估所述第一规则的所述性能；由所述客户端计算机自动评估所述第一规则的所述性能；由所述客户端计算机响应于与所述第一规则的所述性能有关的所述数据而生成第二规则；由所述客户端计算机向所述服务器计算机传输所述第二规则；由所述客户端计算机从所述服务器计算机接收与所述第二规则的所述性能有关的数据；由所述客户端计算机自动评估所述第二规则的所述性能；以及由所述客户端计算机响应于与所述第二规则的所述性能有关的所述数据而生成第三规则。
另一实施例涉及一种***，包括被编程以执行上述方法的客户端计算机。
在具体实施方式和附图中可以得出关于各种实施例的另外的细节。
附图说明
图1A示出了根据一个或多个实施例的***的框图。
图1B示出了可以根据一个或多个实施例应用的规则的屏幕截图。
图2示出了根据一个或多个实施例的规则验证***的框图。
图3示出了根据一个或多个实施例的增强规则验证***的框图。
图4示出了根据一个或多个实施例的事件的等高直方图。
图5示出了根据一个或多个实施例的分类中的事件的直方图。
图6示出了根据一个或多个实施例的由规则捕获的事件的直方图。
图7示出了根据一个或多个实施例的分类中的事件和由规则捕获的事件的组合直方图。
图8示出了根据一个或多个实施例的由另一规则捕获的事件的直方图。
图9示出了根据一个或多个实施例的分类中的事件和由另一规则捕获的事件的组合直方图。
图10示出了根据一个或多个实施例的用于评估规则的处理流程。
图11示出了根据一个或多个实施例的用于使用直方图来评估规则性能的处理流程。
具体实施方式
I.定义
在讨论各种实施例之前，可以进一步详细描述一些术语。
“准则”可以包括用于评估一条或多条历史数据的信息。在一些实施例中，准则可以包括年龄、大小、日期范围、金额、位置、发行方或数据集的任何其它合适的属性。例如，准则可以指定检取在过去24小时内发生的交易。在一些实施例中，可以合并准则，以制定包括多个准则的规则，例如，1/1/18-3/1/18、超过500美元和在美国以外。
“历史数据”可以包括先前收集并存储在数据库或其它合适的存储介质中的任何数据或信息。历史数据可以包括任何合适数量的数据文件。“数据文件”可以包括一个或多个字段的集合或集，其共同形成记录。示例性历史数据可以包括历史交易数据文件，包括交易金额和其它字段，以及交易结果或确定(例如，被接受、作为欺诈被拒绝、待考虑、报告为欺诈等)。
“规则”可以包括用于选择或标识群组子集的任何程序或定义。作为示例，欺诈规则可以用于标识一组交易中的欺诈***易或可疑交易。作为另一示例，大学录取规则可以用于从一组申请人中选择准许入学的申请人。在一些实施例中，规则可以包括一个或多个准则。
“服务器计算机”可包括功能强大的计算机或计算机集群。举例来说，服务器计算机可以是大型主机、小型计算机集群或充当单元的一组服务器。在一个示例中，服务器计算机可以是耦合到网络服务器的数据库服务器。服务器计算机可包括一个或多个计算设备，并且可使用各种计算结构、布置和编译中的任一种来服务来自一个或多个客户端计算机的请求。
术语“用户”可指个人或实体。用户可以是与用户计算装置(例如，移动电话或平板电脑)交互的个人。用户可以是与账户相关联的消费者或企业，其账户可用于进行交易，包括支付交易。
术语“标识符”可指可用于标识信息的任何信息。在一些实施例中，标识符可以是随机生成或根据预定算法、代码或共享秘密生成的特殊值。例如，授权实体标识符可以是与授权实体相关联的值或编号(例如，银行标识号)。在另一示例中，账户标识符可以用于唯一地标识账户(例如，主账号(PAN))。在一些实施例中，标识符可以是一个或多个图形、令牌、条形码、QR码，或可用于唯一地标识实体的任何其它信息。
术语“交易”可包括两个实体之间的交换或交互。在一些实施例中，交易可指两个用户(例如，个人或实体)之间的价值转移。交易可涉及两个个人或实体之间的货币资金交换，或货币资金的商品或服务交换。在其它实施例中，交易可以是涉及个人或实体从商家或其它实体购买商品或服务以交换货币资金的购买交易。在其它实施例中，交易可以是非金融交易，例如两个实体之间的数据或信息交换，例如数据传送。非金融交易的示例可包括验证用户年龄或身份(例如，通过政府机构验证身份、验证购买酒精饮料的年龄)以访问计算机***或场所的交易。
术语“交易数据”可以包括关于交易的数据。交易数据可以包括特定交易的数据，包括购买的物品、物品价格、总花费、收货地址、支付方式、商家数据等。在一些实施例中，当用户尝试发起交易以进行处理时，可以生成交易数据。在其它实施例中，可以基于添加到用户购物车的物品而生成交易数据。交易数据还可以包括先前交易的历史交易数据。
术语“目标函数”可以指要最大化或最小化的函数。作为示例，可以使均方根目标函数最小化以使数学预测值更接近历史数据集中的值。
II.***
图1A示出了根据一些实施例的示出用例的***100。***100可以包括规则生成器110、客户端接口102和服务器接口120。
图1A示出了包括数个组件的***100。为了简化说明，图1A中示出了特定数量的组件。然而，应当理解，实施例可以包括多于一个每种组件。其它布置可以包括更少或不同的组件，并且组件之间的工作划分可以根据布置而不同。
在一些实施例中，规则生成器110包括被配置成创建和更新规则的软件和/或硬件。规则生成器110可以是自动的。规则生成器110可以在客户端***的后端上运行。规则生成器110可以用通信方式耦合到客户端接口102。规则生成器110可以将生成的规则集传输到客户端接口102。规则生成器110可以进一步生成目标函数以用于评估生成的规则。规则生成器110可以将目标函数传输到客户端接口102。
规则生成器110可以进一步基于所传输的规则通过客户端接口102接收规则反馈。基于规则反馈，规则生成器110可以更新初始规则集以生成更新后的规则集。规则生成器可以将更新后的规则集提交给客户端接口102以进行评估。提交更新后的规则和接收所述规则的反馈的循环可以持续到规则被优化成被视为可接受的级别位置。
在一些实施例中，客户端接口102包括被配置成接收和传输规则、规则反馈和/或目标函数的硬件和/或软件。客户端接口102可以包括规则与目标函数提交组件104和规则反馈组件106。
在一些实施例中，规则与目标函数提交组件104将生成的规则集提交给服务器接口120以进行验证。规则与目标函数提交组件104可以进一步将目标函数提交给服务器接口120，以用于评估一个或多个规则集。规则与目标函数提交组件104可以例如访问服务器接口120的规则管理器应用程序编程接口(API)122，以将规则集和目标函数推送到服务器接口。
在一些实施例中，规则反馈组件106从服务器接口120收集反馈。规则反馈组件106可以进一步将接收到的反馈提供给规则生成器110以修改初始规则集。
服务器接口120可以包括用于接收规则和/或目标函数的规则管理器应用程序编程接口(API)122。服务器***可以评估接收到的规则集以生成描述接收到的规则集的性能的规则设计反馈124。规则设计反馈124可以是例如基于与历史数据进行比较的目标函数和规则或规则集而计算的数值。规则管理器API 122可以将规则设计反馈124传输到客户端接口102的规则反馈组件106。
图1B示出了规则文件150的示例屏幕截图。规则文件包括构成规则130的各种组件。规则是各种数据字段的简单条件。如图1B所示，规则130可以包括多个准则(132A、132B)。每个准则类似于搜索条件。图1B中所示的规则由两个准则组成：
1.PANFirstDigits BETWEEN 433430000 AND 433439999
2.CountryPhoneCode NOT 1
第一准则是PAN的前几位数字介于433430000与433439999之间。第二准则是国家电话代码不等于1。准则可以包括字段(134A、134B)、运算符(136A、136B)以及一个或多个值(138A、138B、138C)。字段(在本文中也称为“变量”)是规则所取决于的属性。作为示例，可以基于例如年龄、金额、交易渠道、地理区域等变量来确定规则。在图1B所示的示例中，PANFirstDigits和CountryPhoneCode是两个感兴趣的字段。
每个准则都可以与使用比较运算符(例如，EQUALS、NOEQUALS、GREATERTHAN等)的值进行比较。所述值可以是例如数值和/或字符串(例如，5,000或Asia)。构成规则的准则可以与连接符(例如，AND、OR)连接。例如：
transactionAmt GREATER-THAN 3000AND merchantLocation EQUALS“Moscow”。
基于准则，规则可以提供要执行的动作140。根据图1B中所示的规则，如果同时满足准则，则所述规则提供动作“拒绝”。
图2示出了根据一个先前***的规则验证***200的框图。规则验证***200可以包括用户接口210、规则验证器220和数据加载器260。
图2示出了包括多个组件的***。为了简化说明，图2中示出某一数目的组件。然而，应当理解，实施例可以包括多于一个每种组件。其它布置可以包括更少或不同的组件，并且组件之间的工作划分可以根据布置而不同。
用户接口210可以包括被配置成接受定义规则的用户输入并向用户提供对规则的反馈的硬件和/或软件。用户接口210可以包括规则测试组件212、规则测试报告组件214和规则管理器216。
规则管理器216可以包括接受验证规则的功能。规则管理器216可以包括接受指定规则的用户输入的功能。例如，规则管理器216可以显示用于接受键入的规则的文本输入字段。作为另一示例，规则管理器216可以显示界面元素以供用户上传指定规则参数的规则文件。作为另一示例，规则管理器216可以显示界面元素以供用户输入和调整各种规则参数。
规则测试组件212可以包括将规则提交给规则验证器220以进行验证的功能。规则测试组件212可以例如将规则文件传输到数据加载器260。
规则测试报告组件214可以包括向用户提供规则反馈的功能。规则测试报告组件214可以将指示用户提交的规则的有效性的信息显示给用户。然后，用户可以基于报告手动调整规则。
数据加载器260可以包括被配置成在用户接口210与规则验证器220之间传输规则和规则报告的硬件和/或软件。数据加载器260可以包括向规则验证器220提交用户提供的规则文件272的功能。数据加载器260可以进一步包括从规则验证器220接受规则反馈并将规则反馈传输到用户接口210的功能。数据加载器260可以从规则验证器220接收响应报告文件274，并将响应报告文件274转发到用户接口210。
规则验证器220包括被配置成测试接收到的规则的硬件和/或软件。规则验证器220可以包括过程管理程序222、本地数据处理器228和规则验证过程240。规则验证器220可以进一步包括分类事件数据库226和历史事件数据库230。
历史事件数据库230可以是用于存储数据的存储单元和/或装置(例如，文件***、数据库、表的集合或其它存储机制)。历史事件数据库230可以包括多个不同的存储单元和/或装置。历史事件数据库230可以用事件数据264填充。
事件数据264是与事件相关联的数据。作为非限制性示例，事件可以是支付交易、尝试访问建筑物或尝试登录安全网络。可以从例如远程计算机、客户端和/或其它用户接收事件数据264。作为示例，可以从支付管理服务获得关于支付交易的数据。可以用平面文件格式278将事件数据264提供给历史事件数据库230。
分类事件数据库226可以是用于存储数据的存储单元和/或装置(例如，文件***、数据库、表的集合或其它存储机制)。分类事件数据库226可以包括多个不同的存储单元和/或装置。分类事件数据库226可以用分类数据262填充。
分类数据262是对应于与分类相关联的事件的数据。作为示例，分类数据262可以是与从发行方和/或持卡人接收到的欺诈***易相关联的欺诈数据。作为另一示例，分类数据262可以是从教育机构和/或学生接收到的关于准许进入教育机构的学生的录取数据。可以从例如远程计算机、客户端和/或其它用户接收分类数据262。可以用平面文件格式276将分类数据262提供给分类事件数据库226。
本地数据处理器228可以实施为一个或多个集成电路(例如，一个或多个单核或多核微处理器和/或微控制器)。本地数据处理器228可以用于控制规则验证器220的操作。本地数据处理器228可以响应于存储在存储器(未图示)中的程序代码或计算机可读代码而执行多种程序。本地数据处理器228可以包括维护多个同时执行的程序或过程的功能。
规则验证过程240可以被配置成验证接收到的规则。规则验证过程240可以被配置成基于一个或多个接收到的规则而评估存储到历史事件数据库230的事件数据264。作为示例，规则验证过程240可以与本地数据处理器228合作，将欺诈规则应用于2000万支付交易，以标识规则将标记为欺诈性的交易的子集。规则验证过程240可以进一步被配置成将由规则捕获的交易与分类事件数据库226中的实际欺诈***易进行比较。基于所述比较，规则验证过程240可以被配置成生成指示规则有效性的响应报告文件274。规则验证的结果可以存储到分类事件数据库226。
过程管理程序222可以被配置成协调规则验证器220内的各种过程。作为示例，过程管理程序222可以被配置成协调将规则文件272传输到规则验证过程240以及通过数据加载器260向用户接口210传输响应报告文件274。
图3示出了根据一些实施例的增强规则验证***300的框图。规则验证***300包括接口310、数据加载器360和规则验证器320。
图3示出了包括多个组件的***。为了简化说明，图3中示出一定数量的组件。然而，应当理解，实施例可以包括多于一个每种组件。其它布置可以包括更少或不同的组件，并且组件之间的工作划分可以根据布置而不同。
在一些实施例中，接口310包括被配置成接受分析规则的硬件和/或软件。接口310可以包括规则测试组件312、规则测试报告组件314、规则管理器316、规则管理器API 318以及规则设计反馈382。
规则管理器316可以包括接受验证规则的功能。规则管理器316可以用通信方式耦合到自动规则生成器(例如，规则生成器110)。规则管理器316可以接收从规则生成器传输的规则。替代地或另外，规则管理器316可以接受用户提交的规则。
在一些实施例中，规则管理器316可以通过规则管理器API 318接受规则。用于评估规则的目标函数也可以通过规则管理器API 318提交。规则管理器API可以暴露给规则生成器以接受定义待评估规则的规则文件。
规则测试组件312可以包括向规则验证器320提交规则以进行验证的功能。规则测试组件312可以例如被配置成将从规则生成器接收到的规则文件传输到数据加载器360。
规则测试报告组件314可以包括向规则生成器提供规则设计反馈382的功能(参见图1)。例如，规则测试报告组件314可以被配置成将由规则验证器320生成的目标函数值传输到规则生成器。替代地或另外，规则测试报告组件314可以将例如直方图的规则设计反馈382显示给用户。
数据加载器360可以包括被配置成在接口310与规则验证器320之间传输规则和规则报告的硬件和/或软件。数据加载器360可以响应于接收到的规则文件请求372将规则文件传输到规则验证器320。数据加载器360可以从规则验证器320接收响应报告文件374。数据加载器360可以例如以数据库更新370的形式向接口310传输规则报告信息。
在一些实施例中，规则验证器320包括被配置成评估接收到的规则的硬件和/或软件。规则验证器320可以包括计算机可读介质330、本地数据处理器328和存储器329。规则验证器320可以进一步包括分类事件数据库343、历史事件数据库、事件统计信息数据库346、规则统计信息数据库和分类统计信息数据库350。
分类事件数据库342可以基本上类似于或不同于上文关于图2描述的分类事件数据库242。分类事件数据库342可以用可基本上类似于或不同于分类数据262的分类数据362填充。可以用平面文件格式276将分类数据362提供给分类事件数据库342。
历史事件数据库344可以基本上类似于或不同于历史事件数据库244。历史事件数据库344可以用事件数据364填充，所述事件数据可以基本上类似于或不同于事件数据264。可以用平面文件格式278将事件数据364提供给历史事件数据库344。
可以使用任何数量的非易失性存储器(例如，闪存存储器)和易失性存储器(例如，DRAM、SRAM)的任何组合或任何其它非瞬态存储介质或介质的组合来实施存储器329。
本地数据处理器328可以实施为一个或多个集成电路(例如，一个或多个单核或多核微处理器和/或微控制器)。本地数据处理器328可以用于控制规则验证器320的操作。本地数据处理器328可以响应于存储在存储器329中的程序代码或计算机可读代码来执行各种程序。本地数据处理器328可以包括维护多个同时执行的程序或过程的功能。
在一些实施例中，计算机可读介质330包括可由本地数据处理器328执行以实施方法的代码，所述方法包括：i)由服务器计算机从客户端计算机接收包括一个或多个变量的第一规则，所述第一规则被配置成预测事件是第一分类还是第二分类，其中所述客户端计算机包括自动规则生成器；ii)由所述服务器计算机将所述第一规则应用于事件的初始数据集，每个事件与所述第一分类或所述第二分类相关联，以标识与所述第一分类相关联的事件；iii)由所述服务器计算机评估所述第一规则的性能；iv)由所述服务器计算机将与所述第一规则的所述性能有关的数据提供给所述客户端计算机，其中所述客户端计算机响应于与所述第一规则的所述性能有关的所述数据而自动评估所述第一规则的所述性能并生成第二规则；v)由所述服务器计算机从所述客户端计算机接收所述第二规则；vi)由所述服务器计算机评估所述第二规则的所述性能；以及vii)由所述服务器计算机将与所述第二规则的所述性能有关的数据提供给所述客户端计算机，其中所述客户端计算机响应于与所述第二规则的所述性能有关的所述数据而自动评估所述第二规则的所述性能并生成第三规则。
计算机可读介质330可包括用于存储和/或传输的一个或多个非瞬态介质。作为示例，合适的介质包括随机存取存储器(RAM)、只读存储器(ROM)、例如硬盘驱动器或软盘的磁性介质，或例如光盘(CD)或DVD(数字通用磁盘)、闪存存储器的光学介质，等等。计算机可读介质330可以是此类存储或传输装置的任何组合。
计算机可读介质330可以包括作为一系列指令或命令存储的软件代码。计算机可读介质330可以包括过程管理程序322、规则验证过程340、事件直方图生成器332、规则直方图生成器334、分类直方图生成器336和反馈生成器338。
过程管理程序322可以基本上类似于或不同于上文关于图2描述的过程管理程序222。
在一些实施例中，规则验证过程340被配置成评估接收到的规则。规则验证过程340可以被配置成基于一个或多个接收到的规则而评价存储到历史事件数据库344的事件数据364。作为示例，规则验证过程240可以结合本地数据处理器328将欺诈规则应用于2000万支付交易，以标识规则将标记为欺诈性的交易的子集。规则验证过程340可以进一步被配置成将由规则捕获的交易与分类事件数据库342中的实际欺诈***易进行比较。基于所述比较，规则验证过程340可以被配置成生成指示规则有效性的响应报告文件374。规则验证过程340可以被配置成管理通过直方图生成器332、334、336生成直方图，以用于评估规则。
在一些实施例中，事件直方图生成器332被配置成基于存储到历史事件数据库344的事件数据364而生成统计信息。存储到历史事件数据库344的事件数据364可以包括许多不同字段，如关于图1B所述。取决于字段是数字还是非数字可以生成各种统计信息。例如，对于数字字段，可以跨越在限定时间段内收集的多次交易对字段的值生成以下统计信息：可用数据中的值的数量、可用数据中的不同值的数量、字段的最小值和最大值、字段中值的平均值和标准偏差，和/或值分布的等高直方图。下文关于图4进一步描述了等高直方图。可以针对交易数据中的所有可操控字段收集这些统计信息数据。
在一些实施例中，事件统计信息数据库346可以是用于存储数据的存储单元和/或装置(例如，文件***、数据库、表的集合或其它存储机制)。事件统计信息数据库346可以包括多个不同的存储单元和/或装置。事件统计信息数据库346可以用例如由事件直方图生成器332生成的事件直方图等数据填充。
规则直方图生成器334可以包括被配置成基于接收到的规则而分析历史数据的代码。规则直方图生成器334可以被配置成(例如，通过查询历史事件数据库或以其它方式筛选数据)将规则应用于数据集。规则直方图生成器334可以进一步被配置成基于经过规则筛选的数据而生成规则直方图。
在一些实施例中，规则统计信息数据库348可以是用于存储数据的存储单元和/或装置(例如，文件***、数据库、表的集合或其它存储机制)。规则统计信息数据库348可包括多个不同存储单元和/或装置。规则统计信息数据库348可以用例如由规则直方图生成器334生成的规则直方图等数据填充。
分类直方图生成器336可以包括被配置成分析分类数据的代码。分类直方图生成器336可以被配置成(例如，通过从分类事件数据库342检取数据)标识对应于分类的数据。分类直方图生成器336可以进一步被配置成基于对应于分类的数据而生成分类直方图。
在一些实施例中，分类统计信息数据库350可以是用于存储数据的存储单元和/或装置(例如，文件***、数据库、表的集合或其它存储机制)。分类统计信息数据库350可以包括多个不同的存储单元和/或装置。分类统计信息数据库350可以用例如由分类直方图生成器336生成的分类直方图等数据填充。
反馈生成器338可以包括被配置成对接收到的规则生成反馈的代码。反馈生成器338可以被配置成计算接收到的优化函数的值，所述优化函数量化规则预测的内容与历史数据显示的内容之间的差异。这可以通过例如将指示分类中的事件的分类直方图与指示由规则预测为在分类中的事件的规则直方图进行比较来实现。作为示例，反馈生成器338可以被配置成将欺诈***易的直方图与欺诈规则本将标记为潜在欺诈的先前交易的直方图进行比较。
反馈生成器338可以结合本地数据处理器328生成规则设计反馈382以提交给接口310。规则设计反馈382可以包括基于接收到的目标函数而确定的一个或多个值。替代地或另外，规则设计反馈可以包括规则直方图、分类直方图和/或指示规则直方图与给定规则或规则集的分类直方图之间的差异的信息。
图4示出了根据一些实施例的等高直方图400的示例。等高直方图400的感兴趣字段为“金额”。金额可以例如对应于与支付交易相关联的美元金额。
直方图的每一列称为桶(bucket)(在本文也称为“箱(bin)”)。桶根据边界分区。例如，图4所示的边界是(0、100、300、2000、10000)。可以建立边界以便在每个桶中创建相同数量的事件。生成等高直方图的方法及其优势在Gregory Piatetsky-Shapiro和CharlesConnell的标题为《满足条件的元组数量的准确估计(ACCURATE ESTIMATION OF THENUMBER OF TUPLES SATISFYING A CONDITION)》的论文(在SIGMOD'84：关于数据管理的1984ACM SIGMOD国际会议的会刊(1984年6月)，第256-276页中)中得以详细描述。
等高直方图400用于建立直方图中的四个桶的桶边界，每个相应的桶包含五百万个事件。例如，事件为支付交易，并且金额是与交易相关联的美元金额。在直方图生成时，历史事件数据库344中有5百万次交易美元价值介于0到100美元之间的交易。同样地，历史事件数据库344中有5百万次交易美元价值分别介于100美元与300美元之间、300美元与2000美元之间以及2000美元与10000美元之间的交易。一旦建立了桶边界，就使用所述桶边界来构建直方图500-900。
图5示出了根据一些实施例的分类直方图500的示例。分类直方图500对应于属于分类的事件的子集。作为示例，事件是交易，并且交易的分类是欺诈***易。分类直方图500的y轴表示特定桶中的欺诈***易的数量。分类直方图500的x轴表示对应于每次相应交易的美元金额。例如，有35000次美元金额介于0美元与100美元之间的欺诈***易，以及83000次美元金额介于100美元与300美元之间的欺诈***易。
分类直方图500可以基于对应于事件的特定分类的数据而生成。此数据可以从分类事件数据库342获得。通过等高直方图400确定的边界可以应用于分类数据362。例如，在图4中，确定有5百万次美元金额在0美元与100美元之间的交易、5百万次美元金额在100美元与300美元之间的交易。因此，分类数据分到这些相同的桶中，金额＝0-100，金额＝100-300等，以生成分类直方图500。
基于使用等高直方图400建立的箱而生成分类直方图500的过程可以跨字段重复。分类直方图生成器336可以产生多个分类直方图500，其对应于事件数据中的每个可操控属性。作为示例，可以生成三个分类直方图500，对应于字段“金额”、“国家”和“PAN的前四位数字”。
图6示出了根据一些实施例的对应于与第一规则相对应的事件的规则直方图600的示例。规则直方图生成器334可以基于对应于特定规则的数据而生成规则直方图600。可以从历史事件数据库344获得此数据。当提交一组规则时，对照历史事件数据库344中的事件数据364测试(验证)这些规则。这会创建较小的结果集，所述结果集实际上是由规则集检测到的一组交易。通过等高直方图400确定的边界可应用于事件数据364。作为示例，历史事件数据库包括2000万次欺诈性和非欺诈性的交易。规则验证器320将接收到的欺诈规则应用于2000万次交易，从而标识将被规则标记为潜在欺诈的127000次交易。这127000次交易根据使用等高直方图400建立的桶进行装箱(binned)。
图7示出了图5的分类直方图，以及被覆盖的图6的规则直方图，以进行比较。在这种情况下，规则低估了每个桶中的事件数量。对于每个桶，规则直方图的尺寸小于分类直方图。对于欺诈***易的示例，这指示规则标记的交易(即，规则直方图的特定箱中的事件数量)少于实际欺诈***易的数量(即，分类直方图的相同箱中的事件数量，其中分类是欺诈***易)。如果应用此规则来捕获欺诈***易，则会引起相当大的美元价值的欺诈损失。
图8示出了根据一些实施例的对应于与第二规则相对应的事件的规则直方图800的示例。与第一规则直方图600一样，通过将规则应用于历史数据以及对规则根据等高直方图400建立的箱捕获的数据装箱来生成第二规则直方图800。然而，对于规则直方图800，规则与规则直方图600所使用的规则不同。例如，在如图7所示发现第一规则已低估欺诈的情况下，***可以将修改后的规则应用于历史数据，以试图找到更准确的规则。
图9示出了图5的分类直方图，以及被覆盖的图8的规则直方图，以进行比较。在这种情况下，规则已高估每个桶中的事件数量。对于每个桶，规则直方图的尺寸大于分类直方图。对于欺诈***易的示例，这指示规则标记的交易(即，规则直方图的特定箱中的事件数量)多于实际欺诈***易的数量(即，分类直方图的相同箱中的事件数量，其中分类是欺诈***易)。如果应用此规则来捕获欺诈***易，则会引起假正。大量真实的交易会被拒绝，从而降低客户满意度。
III.方法
关于图10描述了用于提供实时规则反馈的方法。虽然以特定顺序示出了步骤，但是应当理解，实施例可以包括具有以不同顺序进行的步骤的方法。此外，在一些实施例中，可省略或添加步骤。
在步骤1002之前，规则生成器可以生成初始规则(可以是“第一规则”的示例)。规则生成器可以基于例如机器学习算法或数学公式自动生成规则。规则生成器可以将规则传输到规则验证器的规则管理器API。
在步骤1002处，规则验证器接收初始规则。规则验证器可以例如通过拉取操作从数据加载器请求规则文件。替代地或另外，规则生成器可以在生成规则时将初始规则推送给规则验证器。类似地，规则验证器可以接收优化函数来分析初始规则。
在步骤1004处，规则验证器将规则应用于事件的初始数据集。可以从历史事件数据库检取事件的初始数据集。规则验证器可以通过筛选事件的初始数据集，将规则应用于事件的初始数据集。作为示例，历史事件数据库包含对应于100000次支付交易的数据。对于每次交易，历史事件数据库存储对应于数据字段AMOUNT、COUNTRY和MERCHANT ID的数据。规则验证器使用规则IF AMOUNT>10,000AND COUNTRY＝Zimbabwe THEN decline来筛选交易。规则验证器可以使用由规则筛选的数据来生成规则直方图。下文关于图11进一步详细描述了生成规则直方图。
在步骤1006处，反馈生成器评估规则的性能。反馈生成器可以基于对规则直方图与分类直方图的比较而评估规则的性能，如下文关于图11所详细描述。反馈生成器可以基于对直方图的比较而计算优化函数的值。优化函数可以使直方图的所有桶的两个面积之间的差的总和最小化。
例如，反馈生成器可以使用加权均方目标函数来评估规则：
其中k是每个桶，n是直方图中的桶数，C和R定义分类数据直方图和规则评估直方图桶中的相应面积，并且wk是每个桶的权重。作为另一示例，目标函数可以是
在两个示例中，目标函数包括桶特定权重。利用桶特定权重，规则提交者可以定制规则反馈以专注于感兴趣区域。作为示例，如果每个桶对应于交易的美元范围，则规则提交者可以分配随美元价值增加的权重，以便专注于高美元交易的规则准确性。
反馈生成器还可以基于其它数据字段而计算直方图和目标函数结果。反馈生成器可以利用与第一变量相关联的事件执行步骤1108-1120，然后利用与第二变量相关联的事件重复步骤1108-1120。作为示例，反馈生成器可以依据字段AMOUNT评估规则。然后，反馈生成器可以依据字段COUNTRY评估规则。然后，反馈生成器可以依据字段FIRST 5DIGITS OFPAN评估规则。反馈生成器可以基于目标函数而达到每个字段的值，并聚合或以其它方式组合所述值。替代地或另外，反馈生成器可以基于并有来自多个字段的直方图数据的目标函数而评估规则。
除了目标函数的值之外，反馈生成器还可以基于历史数据而生成额外的定量或定性规则评价。作为示例，反馈生成器可以确定(a)对应于有可能为欺诈性的交易的美元价值的反馈，(b)对应于欺诈***易的可能时间段的反馈，和/或(c)对可能发生欺诈的可能地理区域的反馈。
反馈生成器可以提供与规则相关联的错误类型的指示。在欺诈***易的示例中，可根据以下象限对规则错误进行分类：
真正(需要最大化) 假正(需要减少)
假负(NOP) 真负(需要最大化)
真正是被规则标识的欺诈***易。应最大化真正，以减少欺诈损失。假负是空操作。假正是非欺诈性的但被规则标记为欺诈性的交易(例如，如图9所示)。应最小化假正，因为将假正标记为欺诈性会影响真实交易，并引起例如放弃交易、负面宣传和品牌损害等负面事件。真负是未被规则标识为欺诈性的非欺诈***易。使真负最大化很重要，因此非欺诈***易不会被规则***标记为欺诈。
在步骤1008处，规则验证器将规则性能信息传输到接口。规则验证器可以将一组规则性能指示符收集到响应报告文件中。规则验证器可以通过规则管理器API和/或数据加载器将响应报告文件传输到接口。
自动规则生成器可以借助于接口接收规则反馈。自动规则生成器可以使用规则反馈来修改初始规则。作为示例，规则生成器可以使接收到的目标函数输出最小化，以修改初始规则中的变量。作为另一示例，规则验证器可以报告规则高估了价值介于100美元与300美元之间的交易的欺诈。作为响应，规则生成器可以修改所述规则以在所述美元范围内以不同方式处理交易。
在步骤1010处，规则验证器可以接收修改后的规则(其可以是“第二规则”的示例)。规则验证器可以从规则生成器接收修改后的规则。如果规则验证器接收修改后的规则，则规则验证器可以使用修改后的规则重复步骤1004-1008。
关于图11描述了用于使用直方图来分析规则的方法。虽然以特定顺序示出了步骤，但是应当理解，实施例可以包括具有以不同顺序进行的步骤的方法。此外，在一些实施例中，可省略或添加步骤。
在步骤1102处，事件直方图生成器收集事件的初始数据集。事件直方图生成器可以从历史事件数据库检取事件数据。事件数据可以对应于一组事件，所述事件具有对应于每个事件的多个数据字段的值。作为示例，数据集可以包括一组***交易中的每一个的详细数据，包括交易金额、交易地点、交易时间以及关于持卡人、商家和账户的详细信息。事件的初始数据集中的数据可以对应于第一分类或第二分类。作为示例，某些数据对应于欺诈***易(第一分类)。其余数据对应于非欺诈***易(第二分类)。
在步骤1104处，事件直方图生成器基于事件的初始数据集而建立桶边界。事件直方图生成器建立桶边界，使得每个桶包含相同数量的事件。作为示例，事件直方图生成器将2000万个事件的数据集分为4个桶。每个桶含有五百万个事件。如图4所示，每个桶的宽度不同。
在步骤1106处，事件直方图生成器基于桶边界和事件的初始数据集而生成等高直方图(其可以是“第一直方图”的示例)。图4示出了示例等高直方图。
在步骤1108处，分类直方图生成器标识对应于分类的事件的初始数据集的子集。分类直方图生成器可以从分类事件数据库检取事件。替代地或另外，分类直方图生成器可以查询历史事件数据库以检取对应于分类的事件。作为示例，分类直方图生成器可以检取描述在对应于事件的初始数据集的同一时间段期间发生的50000次欺诈***易的数据集。
在步骤1110处，分类直方图生成器将对应于分类的事件分为与在等高直方图中所使用的桶边界相同的桶边界。作为示例，参考图4，等高直方图建立四个桶边界：0<金额<100、100<金额<300、300<金额<2000和2000<金额<10000。分类直方图生成器基于这些边界将对应于分类的事件分成四个组。
在步骤1112处，分类直方图生成器基于对应于第一分类的事件和桶边界而生成分类直方图(其可以是“第二直方图”的示例)。示例分类直方图示于图5中。
在步骤1114处，规则直方图生成器将规则应用于事件的初始数据集，以获得对应于规则的事件的初始数据集的子集。作为示例，规则可以指定地理区域和当日时间。规则直方图生成器可以针对对应于指定地理区域和当日时间的事件查询历史事件数据库。
在步骤1116处，规则直方图生成器将对应于规则的事件分为与在等高直方图中建立的桶边界相同的桶边界。规则直方图生成器可以基于存桶划分在步骤1114处选择的事件。
规则直方图生成器可以基于等高直方图将规则应用于事件。作为示例，等高直方图包括边界对应于金额0美元-100美元、100美元-300美元、300美元-2000美元和2000美元-10000美元的桶。规则指定“金额>2000美元”。因此，规则直方图生成器可以通过只选择对应于2000美元-10000美元的桶中的数据而将规则应用于事件。作为另一示例，如果规则指定“金额＝200美元”，则规则直方图生成器可以将规则应用于对应于100美元-300美元的桶，而无需将规则应用于其它桶中的事件。因此，步骤1114和1116可以基本上同时执行。
在步骤1118处，规则直方图生成器基于应用于事件的初始数据集的规则和桶边界而生成规则直方图(在本文也称为“第三直方图”)。示例规则直方图示于图6和8中。
在步骤1120处，反馈生成器将规则直方图与分类直方图进行比较，以评估规则的性能。反馈生成器可以基于规则直方图和分类直方图而生成覆盖的直方图，如图7和9所示。替代地或另外，反馈生成器可以确定规则性能的定量和/或定性度量，如上文关于图10所述。
本公开的教示具有许多优势。例如，***可以接受规则，并以编程方式提供所述规则的反馈。***可以通过API接受规则，并通过API提供规则反馈，而不需要手动提交规则。因此，一些实施例提供闭环***，使得规则生成器能够基于实时反馈而自动修改规则。另外，***允许规则提交者指定目标函数，以便接收根据规则提交者的需要而自定义的反馈。
本公开的教示具有许多额外优势。***可以显著提高可优化规则的速度。传统上，将手动提交规则。然后，将根据历史数据的全部主体评估规则。最终将规则反馈提交给规则提交者并进行手动评估。规则提交者可以在数小时或数天内手动调整参数之后重新提交规则。使用本公开的教示，通过API将规则提交给规则验证器，从而实现在规则提交者侧上连接到自动规则生成器。规则提交者可以配置规则生成器以基于接收到的反馈而自动更新和重新提交规则。这使得规则的更新速度比先前***快得多。
此外，如本公开中所教示，基于使用等高直方图建立的箱，将规则应用于历史事件。使用以这种方式装箱的数据来评估规则大大提高了基于大数据集评估规则的计算效率。从常规角度来说，规则是针对历史交易的大数据集(数百万或数十亿次交易)运行的，这可能需要花费几分钟到几小时的时间。另一方面，此处，在规则验证之前，数据被分为等高直方图箱。例如，规则可以选择来自加拿大的交易。如果数据已基于位置分为箱，则可能已经建立针对加拿大或北美的箱。因此，已经存在筛选数据的缓存，以由规则在数秒或几分之一秒内拾取。当此计算效率与自动闭环***组合时，可以几乎立即执行规则优化。因此，使用本公开的教示，提供结果的速度可能比使用传统方式快数百倍。
尽管在支付交易的上下文中描述了示例，但本文描述的方法可适用于其它上下文。作为示例，一些实施例可以用于通过使例如位置和当日时间等因素与未授权的访问尝试相关来控制对安全网络的访问。作为另一示例，一些实施例可以用于控制对安全建筑的访问。
应理解，可以使用硬件(例如专用集成电路或现场可编程门阵列)和/或以模块化或集成方式通过通常可编程处理器使用计算机软件将任一个实施例实施成控制逻辑的形式。如本文所使用，处理器包括单核处理器、在同一集成芯片上的多核处理器，或在单个电路板上或网络化的多个处理单元。基于本文中提供的公开内容和教示，所属领域的一般技术人员将知道和了解使用硬件以及硬件与软件的组合实施实施例的其它方式和/或方法。
本申请中描述的任何软件组件或功能可实施为使用例如Java、C、C++、C#、Objective-C、Swift的任何合适的计算机语言或例如Perl或Python的脚本语言使用例如常规的或面向对象的技术由处理器执行的软件代码。软件代码可以作为一系列指令或命令存储于计算机可读介质上供存储和/或传送，适合的媒体包括随机存取存储器(RAM)、只读存储器(ROM)、例如硬盘驱动器或软盘的磁性介质，或例如光盘(CD)或DVD(数字通用光盘)的光学介质、闪存存储器等。计算机可读介质可以是这些存储或传送装置的任何组合。
此类程序还可以使用适应于通过包括互联网的符合多种协议的有线、光学和/或无线网络进行传输的载波信号来编码和传输。因此，可以使用利用这种程序编码的数据信号来创建根据实施例的计算机可读介质。以程序代码编码的计算机可读介质可与兼容装置一起封装或与其它装置分开提供(例如，通过因特网下载)。任何此类计算机可读介质可以驻存在单个计算机产品(例如，硬盘驱动器、CD或整个计算机***)上或内部，并且可以存在于***或网络内的不同计算机产品上或内部。计算机***可以包括用于将本文中所提及的任何结果提供给用户的监视器、打印机或其它合适的显示器。
以上描述是说明性的且不是限制性的。许多变型在所属领域的技术人员查阅本公开后将变得显而易见。因此，实施例的范围不应参考以上描述来确定，而是应参考待决的权利要求以及其完整范围或等效物来确定。
在不脱离本公开的教示的情况下，来自任何实施例的一个或多个特征可以与任何其它实施例的一个或多个特征组合。
如本文中所使用，除非明确指示有相反的意思，否则使用“一个”、“一种”或“所述”旨在意指“至少一个”。

Claims (26)

1.一种方法，包括：
i)由服务器计算机从客户端计算机接收包括一个或多个变量的第一规则，所述第一规则被配置成预测事件是第一分类还是第二分类，其中所述客户端计算机包括自动规则生成器；
ii)由所述服务器计算机将所述第一规则应用于事件的初始数据集，每个事件与所述第一分类或所述第二分类相关联，以标识与所述第一分类相关联的事件；
iii)由所述服务器计算机评估所述第一规则的性能；
iv)由所述服务器计算机将与所述第一规则的所述性能有关的数据提供给所述客户端计算机，其中所述客户端计算机响应于与所述第一规则的所述性能有关的所述数据而自动评估所述第一规则的所述性能并生成第二规则；
v)由所述服务器计算机从所述客户端计算机接收所述第二规则；
vi)由所述服务器计算机评估所述第二规则的所述性能；以及
vii)由所述服务器计算机将与所述第二规则的所述性能有关的数据提供给所述客户端计算机，其中所述客户端计算机响应于与所述第二规则的所述性能有关的所述数据而自动评估所述第二规则的所述性能并生成第三规则，
其中由所述服务器计算机评估所述规则的所述性能包括：
a)由所述服务器计算机基于事件的所述初始数据集而生成一个或多个第一直方图，所述一个或多个第一直方图与一个多个变量相关联，每个第一直方图包含由边界限定的多个箱；
b)通过根据所述边界对与所述第一分类相关联的已标识事件进行装箱而由所述服务器计算机生成一个或多个第二直方图；
c)通过根据所述边界对与所述第一分类相关联的事件的所述初始数据集中的事件进行装箱而由所述服务器计算机生成一个或多个第三直方图；以及
d)由所述服务器计算机将所述一个或多个第二直方图与所述一个或多个第三直方图进行比较以标识一个或多个差异。
2.根据权利要求1所述的方法，其中由所述服务器计算机比较所述直方图以标识所述一个或多个差异包括：将通过所述客户端计算机获得的目标函数应用于所述直方图。
3.根据权利要求1所述的方法，其中由所述服务器计算机比较所述直方图以标识所述一个或多个差异包括：计算从所述一个或多个第三直方图中的对应箱的面积减去所述一个或多个第二直方图中的每个箱的面积之间的差。
4.根据权利要求1所述的方法，其中所述规则与所述一个或多个变量相关联，所述一个或多个直方图与所述一个或多个变量中的第一变量相关联，并且所述方法进一步包括重复步骤b)-d)，其中所述一个或多个直方图与所述一个或多个变量中的第二变量相关联。
5.根据权利要求1所述的方法，其中所述一个或多个变量包括以下中的一个或多个：交易金额、地理区域、交易渠道或时间段。
6.根据权利要求1所述的方法，其中所述服务器计算机通过由所述服务器计算机暴露给所述客户端计算机的应用程序编程接口(API)从所述客户端计算机接收所述第一规则和所述第二规则。
7.根据权利要求1所述的方法，其中所述事件包括交易，所述第一分类包括欺诈***易，并且所述第二分类包括非欺诈***易。
8.一种***，包括：
服务器计算机，所述服务器计算机包括：
处理器；以及
非瞬态计算机可读介质，所述非瞬态计算机可读介质包括代码，所述代码能由所述处理器执行以实施包括以下各项的方法：
i)由所述服务器计算机从客户端计算机接收包括一个或多个变量的第一规则，所述第一规则被配置成预测事件是第一分类还是第二分类，其中所述客户端计算机包括自动规则生成器；
ii)由所述服务器计算机将所述第一规则应用于事件的初始数据集，每个事件与所述第一分类或所述第二分类相关联，以标识与所述第一分类相关联的事件；
iii)由所述服务器计算机评估所述第一规则的性能；
iv)由所述服务器计算机将与所述第一规则的所述性能有关的数据提供给所述客户端计算机，其中所述客户端计算机响应于与所述第一规则的所述性能有关的所述数据而自动评估所述第一规则的所述性能并生成第二规则；
v)由所述服务器计算机从所述客户端计算机接收所述第二规则；
vi)由所述服务器计算机评估所述第二规则的所述性能；以及
vii)由所述服务器计算机将与所述第二规则的所述性能有关的数据提供给所述客户端计算机，其中所述客户端计算机响应于与所述第二规则的所述性能有关的所述数据而自动评估所述第二规则的所述性能并生成第三规则，
其中由所述服务器计算机评估所述规则的所述性能包括：
a)由所述服务器计算机基于事件的所述初始数据集而生成一个或多个第一直方图，所述一个或多个第一直方图与一个多个变量相关联，每个第一直方图包含由边界限定的多个箱；
b)通过根据所述边界对与所述第一分类相关联的已标识事件进行装箱而由所述服务器计算机生成一个或多个第二直方图；
c)通过根据所述边界对与所述第一分类相关联的事件的所述初始数据集中的事件进行装箱而由所述服务器计算机生成一个或多个第三直方图；以及
d)由所述服务器计算机将所述一个或多个第二直方图与所述一个或多个第三直方图进行比较以标识一个或多个差异。
9.根据权利要求8所述的***，其中由所述服务器计算机比较所述直方图以标识所述一个或多个差异包括：将通过所述客户端计算机获得的目标函数应用于所述直方图。
10.根据权利要求8所述的***，其中由所述服务器计算机比较所述直方图以标识所述一个或多个差异包括：计算从所述一个或多个第三直方图中的对应箱的面积减去所述一个或多个第二直方图中的每个箱的面积之间的差。
11.根据权利要求8所述的***，其中所述规则与所述一个或多个变量相关联，所述一个或多个直方图与所述一个或多个变量中的第一变量相关联，并且所述方法进一步包括重复步骤b)-d)，其中所述一个或多个直方图与所述一个或多个变量中的第二变量相关联。
12.根据权利要求8所述的***，其中所述一个或多个变量包括以下中的一个或多个：交易金额、地理区域、交易渠道或时间段。
13.根据权利要求8所述的***，其中所述服务器计算机通过由所述服务器计算机暴露给所述客户端计算机的应用程序编程接口(API)从所述客户端计算机接收所述第一规则和所述第二规则。
14.根据权利要求8所述的***，其中所述事件包括交易，所述第一分类包括欺诈***易，并且所述第二分类包括非欺诈***易。
15.一种方法，包括：
i)由客户端计算机向服务器计算机传输包括一个或多个变量的第一规则，所述第一规则被配置成预测事件是第一分类还是第二分类，其中所述客户端计算机包括自动规则生成器；
ii)由所述客户端计算机从所述服务器计算机接收与所述第一规则的性能有关的数据，其中所述服务器计算机通过将所述第一规则应用于事件的初始数据集来生成与所述第一规则的所述性能有关的所述数据，每个事件与所述第一分类或所述第二分类相关联，以标识与所述第一分类相关联的事件并评估所述第一规则的所述性能；
iii)由所述客户端计算机自动评估所述第一规则的所述性能；
iv)由所述客户端计算机响应于与所述第一规则的所述性能有关的所述数据而生成第二规则；
v)由所述客户端计算机向所述服务器计算机传输所述第二规则；
vi)由所述客户端计算机从所述服务器计算机接收与所述第二规则的所述性能有关的数据；
vi)由所述客户端计算机自动评估所述第二规则的所述性能；以及
vii)由所述客户端计算机响应于与所述第二规则的所述性能有关的所述数据而生成第三规则，
其中由所述服务器计算机评估所述第一规则的所述性能包括：
a)由所述服务器计算机基于事件的所述初始数据集而生成一个或多个第一直方图，所述一个或多个第一直方图与一个多个变量相关联，每个第一直方图包含由边界限定的多个箱；
b)通过根据所述边界对与所述第一分类相关联的已标识事件进行装箱而由所述服务器计算机生成一个或多个第二直方图；
c)通过根据所述边界对与所述第一分类相关联的事件的所述初始数据集中的事件进行装箱而由所述服务器计算机生成一个或多个第三直方图；以及
d)由所述服务器计算机将所述一个或多个第二直方图与所述一个或多个第三直方图进行比较以标识一个或多个差异。
16.根据权利要求15所述的方法，进一步包括由所述客户端计算机传输目标函数，其中所述服务器计算机将所述目标函数应用于所述直方图以标识所述一个或多个差异。
17.根据权利要求15所述的方法，其中由所述服务器计算机比较所述直方图以标识所述一个或多个差异包括：计算从所述一个或多个第三直方图中的对应箱的面积减去所述一个或多个第二直方图中的每个箱的面积之间的差。
18.根据权利要求15所述的方法，其中所述规则与所述一个或多个变量相关联，所述一个或多个直方图与所述一个或多个变量中的第一变量相关联，并且所述方法进一步包括重复步骤a)-d)，其中所述一个或多个直方图与所述一个或多个变量中的第二变量相关联。
19.根据权利要求15所述的方法，其中所述一个或多个变量包括以下中的一个或多个：交易金额、地理区域、交易渠道或时间段。
20.根据权利要求15所述的方法，其中所述客户端计算机通过由所述服务器计算机暴露给所述客户端计算机的应用程序编程接口(API)将所述第一规则和所述第二规则传输到所述服务器计算机。
21.根据权利要求15所述的方法，其中所述事件是交易，所述第一分类包括欺诈***易，并且所述第二分类包括非欺诈***易。
22.一种***，包括：
客户端计算机，所述客户端计算机包括：
处理器；以及
非瞬态计算机可读介质，所述非瞬态计算机可读介质包括代码，所述代码能由所述处理器执行以实施包括以下各项的方法：
i)由所述客户端计算机向服务器计算机传输包括一个或多个变量的第一规则，所述第一规则被配置成预测事件是第一分类还是第二分类，其中所述客户端计算机包括自动规则生成器；
ii)由所述客户端计算机从所述服务器计算机接收与所述第一规则的性能有关的数据，其中所述服务器计算机通过将所述第一规则应用于事件的初始数据集来生成与所述第一规则的所述性能有关的所述数据，每个事件与所述第一分类或所述第二分类相关联，以标识与所述第一分类相关联的事件并评估所述第一规则的所述性能；
iii)由所述客户端计算机自动评估所述第一规则的所述性能；
iv)由所述客户端计算机响应于与所述第一规则的所述性能有关的所述数据而生成第二规则；
v)由所述客户端计算机向所述服务器计算机传输所述第二规则；
vi)由所述客户端计算机从所述服务器计算机接收与所述第二规则的所述性能有关的数据；
vi)由所述客户端计算机自动评估所述第二规则的所述性能；以及
vii)由所述客户端计算机响应于与所述第二规则的所述性能有关的所述数据而生成第三规则，
其中由所述服务器计算机评估所述第一规则的所述性能包括：
a)由所述服务器计算机基于事件的所述初始数据集而生成一个或多个第一直方图，所述一个或多个第一直方图与一个多个变量相关联，每个第一直方图包含由边界限定的多个箱；
b)通过根据所述边界对与所述第一分类相关联的已标识事件进行装箱而由所述服务器计算机生成一个或多个第二直方图；
c)通过根据所述边界对与所述第一分类相关联的事件的所述初始数据集中的事件进行装箱而由所述服务器计算机生成一个或多个第三直方图；以及
d)由所述服务器计算机将所述一个或多个第二直方图与所述一个或多个第三直方图进行比较以标识一个或多个差异。
23.根据权利要求22所述的***，进一步包括由所述客户端计算机传输目标函数，其中所述服务器计算机将所述目标函数应用于所述直方图以标识所述一个或多个差异。
24.根据权利要求22所述的***，其中由所述服务器计算机比较所述直方图以标识所述一个或多个差异包括：计算从所述一个或多个第三直方图中的对应箱的面积减去所述一个或多个第二直方图中的每个箱的面积之间的差。
25.根据权利要求22所述的***，其中所述规则与所述一个或多个变量相关联，所述一个或多个直方图与所述一个或多个变量中的第一变量相关联，并且所述方法进一步包括重复步骤a)-d)，其中所述一个或多个直方图与所述一个或多个变量中的第二变量相关联。
26.根据权利要求22所述的***，其中所述客户端计算机通过由所述服务器计算机暴露给所述客户端计算机的应用程序编程接口(API)将所述第一规则和所述第二规则传输到所述服务器计算机。
CN201880098362.5A 2018-10-03 2018-10-03 针对资源访问规则配置的实时反馈服务 Active CN112823502B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/054208 WO2020072049A1 (en) 2018-10-03 2018-10-03 A real-time feedback service for resource access rule configuration

Publications (2)

Publication Number Publication Date
CN112823502A CN112823502A (zh) 2021-05-18
CN112823502B true CN112823502B (zh) 2023-07-25

Family

ID=70054858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098362.5A Active CN112823502B (zh) 2018-10-03 2018-10-03 针对资源访问规则配置的实时反馈服务

Country Status (4)

Country Link
US (1) US11647048B2 (zh)
CN (1) CN112823502B (zh)
SG (1) SG11202103228WA (zh)
WO (1) WO2020072049A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220036219A1 (en) * 2020-07-29 2022-02-03 Jpmorgan Chase Bank, N.A. Systems and methods for fraud detection using game theory

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292960B1 (en) * 2006-06-30 2007-11-06 Gm Global Technology Operations, Inc. Method for characterization, detection and prediction for target events
CN106067886A (zh) * 2016-08-03 2016-11-02 广州唯品会信息科技有限公司 安全策略更新方法及***
CN106133675A (zh) * 2013-09-27 2016-11-16 起元科技有限公司 评估应用于数据的规则

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735701B1 (en) 1998-06-25 2004-05-11 Macarthur Investments, Llc Network policy management and effectiveness system
US6675134B2 (en) * 2001-03-15 2004-01-06 Cerebrus Solutions Ltd. Performance assessment of data classifiers
US8924279B2 (en) 2009-05-07 2014-12-30 Visa U.S.A. Inc. Risk assessment rule set application for fraud prevention
US20110010209A1 (en) * 2009-07-09 2011-01-13 International Business Machines Corporation Statistical condition detection and resolution management
WO2012054868A2 (en) * 2010-10-21 2012-04-26 Visa International Service Association Software and methods for risk and fraud mitigation
US20140058763A1 (en) * 2012-07-24 2014-02-27 Deloitte Development Llc Fraud detection methods and systems
US9231979B2 (en) * 2013-03-14 2016-01-05 Sas Institute Inc. Rule optimization for classification and detection
US10169715B2 (en) * 2014-06-30 2019-01-01 Amazon Technologies, Inc. Feature processing tradeoff management
US10713594B2 (en) * 2015-03-20 2020-07-14 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing machine learning model training and deployment with a rollback mechanism
US9824312B2 (en) * 2015-06-10 2017-11-21 Voalte, Inc. Domain specific languages and complex event handling for mobile health machine intelligence systems
EP3345349B1 (en) * 2015-09-05 2024-05-15 Mastercard Technologies Canada ULC Systems and methods for detecting and scoring anomalies
US10320846B2 (en) 2016-11-30 2019-06-11 Visa International Service Association Systems and methods for generation and selection of access rules
US11132614B2 (en) 2018-05-25 2021-09-28 Visa International Service Association Systems and methods for estimating validation time for fraud detection rules

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292960B1 (en) * 2006-06-30 2007-11-06 Gm Global Technology Operations, Inc. Method for characterization, detection and prediction for target events
CN106133675A (zh) * 2013-09-27 2016-11-16 起元科技有限公司 评估应用于数据的规则
CN106067886A (zh) * 2016-08-03 2016-11-02 广州唯品会信息科技有限公司 安全策略更新方法及***

Also Published As

Publication number Publication date
CN112823502A (zh) 2021-05-18
SG11202103228WA (en) 2021-04-29
US20210326883A1 (en) 2021-10-21
WO2020072049A1 (en) 2020-04-09
US11647048B2 (en) 2023-05-09

Similar Documents

Publication Publication Date Title
CN108876133B (zh) 基于业务信息的风险评估处理方法、装置、服务器和介质
US11423365B2 (en) Transaction card system having overdraft capability
US20080021801A1 (en) Dynamic multidimensional risk-weighted suspicious activities detector
US20140012724A1 (en) Automated fraud detection method and system
US20060080281A1 (en) System and method of continuous assurance for internal control
US8984022B1 (en) Automating growth and evaluation of segmentation trees
Boateng The impact of digital banking on the profitability of deposit money banks: Evidence from Ghana
Da Silva et al. Selecting audit samples using Benford's Law
CN110895758A (zh) 存在作弊交易的***账户的筛选方法、装置及***
US11853110B2 (en) Auto-tuning of rule weights in profiles
KR101999765B1 (ko) 데이터마이닝 기술을 이용한 금융 사기 대출 패턴화 분석 시스템 및 방법
Al-Sayyed et al. Mobile money fraud detection using data analysis and visualization techniques
CN112823502B (zh) 针对资源访问规则配置的实时反馈服务
US11694208B2 (en) Self learning machine learning transaction scores adjustment via normalization thereof accounting for underlying transaction score bases relating to an occurrence of fraud in a transaction
CN116342247A (zh) 信贷支用授权管控方法、装置、设备及其存储介质
CN114708090A (zh) 基于大数据的银行支付业务风险识别装置
Kang Fraud Detection in Mobile Money Transactions Using Machine Learning
KR20150007940A (ko) 사기 관리 시스템 및 방법
EP4310755A1 (en) Self learning machine learning transaction scores adjustment via normalization thereof
US11270230B1 (en) Self learning machine learning transaction scores adjustment via normalization thereof
US11989774B1 (en) Systems and methods for providing digital trusted data
Mauliddiah Implementation Graph Database Framework for Credit Card Fraud Detection
Ertuğrul Customer Transaction Predictive Modeling via Machine Learning Algorithms
Nikhileswar et al. MITIGATION OF BANKING AND FINANCIAL SERVICES INVOLVED RISKS
CN115760369A (zh) 授信额度确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant