CN106357789A - 一种信息访问控制方法及服务器 - Google Patents
一种信息访问控制方法及服务器 Download PDFInfo
- Publication number
- CN106357789A CN106357789A CN201610877186.8A CN201610877186A CN106357789A CN 106357789 A CN106357789 A CN 106357789A CN 201610877186 A CN201610877186 A CN 201610877186A CN 106357789 A CN106357789 A CN 106357789A
- Authority
- CN
- China
- Prior art keywords
- request
- stage
- access control
- control policy
- characteristic parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种信息访问控制方法及服务器,其中,所述方法包括:接收访问控制策略,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略;检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数,特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息;查询所述特征参数是否命中所述访问控制策略;如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理;否则,直接进行丢弃处理。
Description
技术领域
本发明涉及信息控制技术,尤其涉及一种信息访问控制方法及服务器。
背景技术
信息传输是一端将命令或状态信息经信道传送到另一端,并被对方所接收的过程,在信息传输的过程中除了点对点的传输方式之外,大部分的传输方式需要借助互联网中的服务器进行中转或信息处理。如果服务器对所有的请求都一视同仁的进行处理,则会给服务器自身带来巨大的压力,即便现在采用的多为服务器集群这种分布式的***架构,随着用户访问需求量的大量增加,也仍然不能缓解服务器负载压力的问题。目前,为了缓解服务器的负载压力,会针对一些访问请求进行丢弃处理,通常是发现服务器已经过载的情况下,对新增访问请求进行丢弃,这种过载就一概丢弃的硬性处理策略非常不可取,如果新增访问请求是必须及时处理的请求,则这种处理会导致整个信息传输***的服务性能和稳定性不好,需要一种更为灵活的处理策略对访问请求进行区分和接入处理控制。然而,相关技术中,对于该问题,尚无有效解决方案。
发明内容
有鉴于此,本发明实施例提供了一种信息访问控制方法及服务器,至少解决了现有技术存在的问题。
本发明实施例的技术方案是这样实现的:
本发明实施例的一种信息访问控制方法,所述方法包括:
接收访问控制策略,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略;
检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数,所述特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息;
查询所述特征参数是否命中所述访问控制策略;
如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理;否则,直接进行丢弃处理。
上述方案中,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略,包括:
所述请求的来源通过第一请求所在的信息位进行标识,将所述第一请求所在的信息位按照信息展示所获取的第一反馈值进行排序,生成排序结果;
将所述排序结果按照信息展示所获取的第一反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
上述方案中,所述第一请求中携带的标识信息包括第一请求所在的信息位;
将所述第一请求所在的信息位确定为所述特征参数。
上述方案中,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略,包括:
所述请求的来源通过第一请求所归属的用户信息进行标识,将所述第一请求所归属的用户信息按照信息展示所获取的第二反馈值进行排序,生成排序结果;
将所述排序结果按照信息展示所获取的第二反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
上述方案中,所述第一请求中携带的标识信息包括第一请求所归属的用户信息;
将所述第一请求所归属的用户信息确定为所述特征参数。
上述方案中,如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理,包括:
从所述访问控制策略中查询到所述第一请求所在的信息位时,如果所述第一请求所在的信息位对应所述访问控制策略中第一阶段的请求响应优先级,则对所述第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈;
如果所述第一请求所在的信息位对应所述访问控制策略中第x阶段的请求响应优先级,所述x为大于1的正整数,则根据当前的过载状态和已执行的丢弃处理进行判断,当检测到对先于x阶段的请求响应优先级依次执行的分阶段丢弃处理仍然不能缓解过载情况时,对于与所述第x阶段的请求响应优先级匹配的第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈。
本发明实施例的一种服务器,所述服务器包括:
接收单元,用于接收访问控制策略,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略;
检测单元,用于检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数,所述特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息;
查询单元,用于查询所述特征参数是否命中所述访问控制策略;
丢弃执行单元,用于如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理;否则,直接进行丢弃处理。
上述方案中,所述接收单元,进一步用于接收访问控制策略,所述访问控制策略的生成规则包括:
所述请求的来源通过第一请求所在的信息位进行标识,将所述第一请求所在的信息位按照信息展示所获取的第一反馈值进行排序,生成排序结果;
将所述排序结果按照信息展示所获取的第一反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
上述方案中,所述服务器还包括:特征参数确定单元,用于:
解析出第一请求中携带的标识信息为第一请求所在的信息位;
将所述第一请求所在的信息位确定为所述特征参数。
上述方案中,所述接收单元,进一步用于接收访问控制策略,所述访问控制策略的生成规则包括:
所述请求的来源通过第一请求所归属的用户信息进行标识,将所述第一请求所归属的用户信息按照信息展示所获取的第二反馈值进行排序,生成排序结果;
将所述排序结果按照信息展示所获取的第二反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
上述方案中,所述服务器还包括:特征参数确定单元,用于:
解析出所述第一请求中携带的标识信息为第一请求所归属的用户信息;
将所述第一请求所归属的用户信息确定为所述特征参数。
上述方案中,所述丢弃执行单元,进一步用于:
从所述访问控制策略中查询到所述第一请求所在的信息位时,如果所述第一请求所在的信息位对应所述访问控制策略中第一阶段的请求响应优先级,则对所述第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈;
如果所述第一请求所在的信息位对应所述访问控制策略中第x阶段的请求响应优先级,所述x为大于1的正整数,则根据当前的过载状态和已执行的丢弃处理进行判断,当检测到对先于x阶段的请求响应优先级依次执行的分阶段丢弃处理仍然不能缓解过载情况时,对于与所述第x阶段的请求响应优先级匹配的第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈。
本发明实施例的信息访问控制方法,包括:接收访问控制策略,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略;检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数,特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息;查询所述特征参数是否命中所述访问控制策略;如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理;否则,直接进行丢弃处理。
采用本发明实施例,根据设置的访问控制策略对访问请求进行了区分,在发现服务器已经过载的情况下,从收到的至少一个第一请求中提取特征参数,特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息;查询所述特征参数是否命中所述访问控制策略;如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理;否则,直接进行丢弃处理。可见,发现服务器已经过载的情况下,是根据访问请求与访问控制策略的关联,不是对新增访问请求一概丢弃的硬性处理策略,而是根据访问控制策略的请求响应优先级分阶段进行丢弃处理,从而提高了整个信息传输***的服务性能和稳定性。
附图说明
图1为本发明实施例中进行信息交互的各方硬件实体的示意图;
图2为本发明实施例一的方法实现流程图;
图3为本发明实施例二的方法实现流程图;
图4为本发明实施例三的方法实现流程图;
图5为本发明实施例五的***组成结构示意图;
图6为应用本发明实施例一场景的***架构示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明实施例的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。
在下面的详细说明中,陈述了众多的具体细节,以便彻底理解本发明。不过,对于本领域的普通技术人员来说,显然可在没有这些具体细节的情况下实践本发明。在其他情况下,没有详细说明公开的公知方法、过程、组件、电路和网络,以避免不必要地使实施例的各个方面模糊不清。
另外,本文中尽管多次采用术语“第一”、“第二”等来描述各种元件(或各种阈值或各种应用或各种指令或各种操作)等,不过这些元件(或阈值或应用或指令或操作)不应受这些术语的限制。这些术语只是用于区分一个元件(或阈值或应用或指令或操作)和另一个元件(或阈值或应用或指令或操作)。例如,第一操作可以被称为第二操作,第二操作也可以被称为第一操作,而不脱离本发明的范围,第一操作和第二操作都是操作,只是二者并不是相同的操作而已。
本发明实施例中的步骤并不一定是按照所描述的步骤顺序进行处理,可以按照需求有选择的将步骤打乱重排,或者删除实施例中的步骤,或者增加实施例中的步骤,本发明实施例中的步骤描述只是可选的顺序组合,并不代表本发明实施例的所有步骤顺序组合,实施例中的步骤顺序不能认为是对本发明的限制。
本发明实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是:当用在本说明书中时,“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本发明实施例的智能终端(如移动终端)可以以各种形式来实施。例如,本发明实施例中描述的移动终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA,Personal Digital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP,Portable Media Player)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面,假设终端是移动终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为本发明实施例中进行信息交互的各方硬件实体的示意图,图1中包括:服务器11、终端设备21-24,服务器31和服务器41;终端设备通过有线网络或者无线网络与服务器进行信息交互,终端设备包括手机、台式机、PC机、一体机等类型。采用本发明实施例,终端设备21-24发出第一请求,如广告请求,服务器31根据请求的来源事先划分生成请求响应优先级处理策略,将该请求响应优先级处理策略作为访问控制策略,发送访问控制策略给服务器11,以便服务器11根据该访问控制策略对请求进行区分,在过载情况下对请求进行有选择的接入控制。服务器41是后台逻辑层的请求处理服务器,在服务器11进行有选择的接入控制后,接收服务器11透传的待处理请求。服务器11执行处理逻辑,其中,在处理逻辑S1中,检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数,与访问控制策略比对,查询所述特征参数是否命中所述访问控制策略。在处理逻辑S2中,如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理,而不是只要发现处于过载状态则一概丢弃新增的请求;如果在所述访问控制策略中未能查询到所述特征参数,说明在第一请求中的提取特征参数未命中访问控制策略,该第一请求为非必要及时处理的请求,在过载状态下一概丢弃,如果服务器11还有存储容量,也可以将该请求保存在服务器11的缓存中,等检查到当前为非过载情况,再对第一请求进行处理。这里需要指出的是,在第一请求中的提取特征参数命中访问控制策略,但是根据优先级分阶段丢弃的请求,如果服务器11还有存储容量,也可以将该请求保存在服务器11的缓存中,等检查到当前为非过载情况,再对第一请求进行处理。
上述图1的例子只是实现本发明实施例的一个***架构实例,本发明实施例并不限于上述图1所述的***结构,基于上述图1所述的***架构,提出本发明方法各个实施例。
本发明实施例的一种信息访问控制方法,如图2所示,所述方法包括:
步骤101、服务器接收访问控制策略,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略。
这里,针对请求的来源生成表征请求响应处理优先级的该访问控制策略而言,其一,一个示例为,当针对广告位eCPM生成策略时,即将广告位按照eCPM进行排序。此时,第一请求中包含广告位信息(用于标识该第一请求对应的广告是从哪一个广告位来的),由于每个广告位所能带来eCPM的值不同(eCPM的值与广告位收入数据和请求量有关,一个计算eCPM的公式为:eCPM=总收入/总请求*1000),因此,能带来更大eCPM值的广告位会需要被更多的关注,也就是说,从能带来更大eCPM值的广告位所发出的第一请求,对应更高的优先级,在过载或突发过载的情况下,是要得到优先保护的,该第一请求即为需要及时得到处理的请求,不能被第一时间做丢弃处理。而从eCPM值最低的广告位发出的第一请求则在过载或突发过载的情况下不得不被第一时间丢弃。这些处理都是在本申请信息处理***的接入服务器(如图1所示的服务器11)进行判断和丢弃处理。被丢弃的,则会给发出第一请求的前端返回执行结果为“空”的反馈,即接入服务器返回空结果给前端;如果不予丢弃,则将第一请求透传给后台的逻辑处理服务器(如图1所示的服务器41),对第一请求进行对应的处理。
这里,针对请求的来源生成表征请求响应处理优先级的该访问控制策略而言,其二,一个示例为,当基于用户信息生成策略时,即将广告位按照省、市、区、县、街道等用户位置信息进行排序。此时,第一请求中包含用户的地理位置信息(用于标识该第一请求对应的广告是从哪一个省、市、区、县、街道来的),由于每个请求来源于不同维度的地理位置所能带来CTR的值不同,因此,能带来更大CTR值的请求会需要被更多的关注,也就是说,从能带来更大CTR值的地理位置所发出的第一请求,对应更高的优先级,在过载或突发过载的情况下,是要得到优先保护的,该第一请求即为需要及时得到处理的请求,不能被第一时间做丢弃处理。而从CTR值最低的地理位置发出的第一请求则在过载或突发过载的情况下不得不被第一时间丢弃。这些处理都是在本申请信息处理***的接入服务器(如图1所示的服务器11)进行判断和丢弃处理。被丢弃的,则会给发出第一请求的前端返回执行结果为“空”的反馈,即接入服务器返回空结果给前端;如果不予丢弃,则将第一请求透传给后台的逻辑处理服务器(如图1所示的服务器41),对第一请求进行对应的处理。
步骤102、服务器检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数。
这里,该特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息。
步骤103、服务器查询所述特征参数是否命中所述访问控制策略,如果是,则执行步骤104;否则,执行步骤106。
步骤104、在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级。
这里,请求响应优先级可以采用柔性百分比参数来进行分阶段处理标识。一个实际应用中,第一请求为针对广告信息的请求,由广告柔性管理***生成访问控制策略后,将访问控制策略推送到接入服务器集群。接入服务器集群在收到前端的广告请求后,判断广告请求的特征是否命中控制策略,如果命中控制策略,则按照访问控制策略中的柔性百分比参数进行随机选择,被选择到的广告请求,不访问后台的逻辑处理服务器,直接返回空结果。通过这种柔性访问控制策略,可以在***突发请求过高的情况下保证后台逻辑处理服务器集群的压力保持稳定,关键广告位的处理效果能够得到保障。
步骤105、根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理。
步骤106、在所述访问控制策略中未能查询到所述特征参数,直接进行丢弃处理。
通过步骤102-106,如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理,而不是只要发现处于过载状态则一概丢弃新增的请求;如果在所述访问控制策略中未能查询到所述特征参数,说明在第一请求中的提取特征参数未命中访问控制策略,该第一请求为非必要及时处理的请求,在过载状态下一概丢弃。
上述分阶段的丢弃处理,其处理的准确度取决于如何生成访问控制策略,从而,在过载情况下,服务器才可以根据该访问控制策略对前端发出的访问请求进行区分和接入控制。
在一个实际应用中,根据请求的来源进行划分,生成请求响应优先级处理策略,将请求响应优先级处理策略确定为所述访问控制策略。
1)基于广告位eCPM生成所述访问控制策略:将广告位按照eCPM进行排序。
可以拉取最近N天(如7天)的广告位收入数据及请求量,eCPM=总收入/总请求*1000。排除每天请求量在M(如100万)以下的广告位,eCPM按低到高排序。所述访问控制策略为柔性控制机制,为分段的阶梯式控制。取总量为前P1(如10%)请求作为第一柔性阶段,即第一阶段将丢弃的数据。取总量为前P2(如20%)请求作为第二柔性阶段。取总量为前P3(如20%)请求作为第三柔性阶段。以便,后续根据该分段的阶梯式控制对第一请求进行丢弃处理,当第一请求中包含的特征参数为广告位时,将其与该基于广告位eCPM生成的所述访问控制策略进行比对。如果丢弃50%以上请求,仍无法控制后台逻辑处理服务器集群压力,需要人为介入决策更高级的控制策略。
2)基于用户信息生成所述访问控制策略。
可以拉取最近N天(如7天)的产生过广告点击的用户信息及整体曝光数据,以省份为维度,CTR按低到高排序。所述访问控制策略为柔性控制机制,为分段的阶梯式控制。取总量为前P1(如10%)省份作为第一柔性阶段,取总量为前P2(如20%)省份作为第二柔性阶段,取总量为前P3(如20%)省份作为第三柔性阶段。以便,后续根据该分段的阶梯式控制对第一请求进行丢弃处理,当第一请求中包含的特征参数为用户信息时,将其与该基于用户信息生成的所述访问控制策略进行比对。如果丢弃50%以上请求,仍无法控制后台逻辑处理服务器集群压力,需要人为介入决策更高级的控制策略。
这里需要指出的是,上述基于广告位eCPM,及基于用户信息生成所述访问控制策略,可以组合使用,也可以使用其中一种。由于基于用户信息的策略对请求丢弃的精确度筛选,其影响比基于广告位的策略大,也就是说,基于用户信息生成所述访问控制策略的方式,其优先级低于基于广告位生成所述访问控制策略的方式,因此,在组合使用时,先与基于用户信息生成所述访问控制策略的方式进行比对,之后,再结合基于用户信息生成所述访问控制策略的方式。而,如果选择任意一种,则优选基于用户信息生成所述访问控制策略的方式。
采用本发明实施例这种分阶段的丢弃处理,区别于现有技术,现有的计算机访问控制策略,都是在微观上使用各种方法丢弃单个服务器上过多的请求,保证单个服务器的正常服务;一旦过载,不管什么请求都会一概丢弃。而本发明实施例,是针对请求场景来区分请求,并决策最终是否要丢弃请求,从业务层面对整个访问控制***的访问进行柔性控制,将不同请求进行差异化处理,控制不同的请求进行特殊访问,从而对整个***流量进行柔性打压,保障关键请求的处理精度。在保证***可用的情况下,精确度和处理效率更高。
本发明实施例的一种信息访问控制方法,如图3所示,所述方法包括:
步骤201、所述请求的来源通过第一请求所在的信息位进行标识,将所述第一请求所在的信息位按照信息展示所获取的第一反馈值进行排序,生成排序结果。
这里,第一反馈值可以为eCPM,eCPM指:每一千次展示可以获得的广告收入,展示的单位可以是网页,广告单元,甚至是单个广告。默认情况下,eCPM指的都是千次网页展示的收入。
步骤202、将所述排序结果按照信息展示所获取的第一反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
这里,将所述排序结果按照信息展示所获取的第一反馈总量进行划分时,采用的是按照百分比进行划分,则得到百分比参数。该百分比参数随机选择,被选择到的请求不访问后台逻辑处理服务器,直接返回为空的执行结果给前端。如,以基于eCPM生成访问控制策略为例,是分段阶梯式控制,取总量为前P1(如10%)请求作为第一柔性阶段,即第一阶段将丢弃的数据。取总量为前P2(如20%)请求作为第二柔性阶段。取总量为前P3(如20%)请求作为第三柔性阶段。
这里,当针对广告位eCPM生成策略时,即将广告位按照eCPM进行排序。此时,第一请求中包含广告位信息(用于标识该第一请求对应的广告是从哪一个广告位来的),由于每个广告位所能带来eCPM的值不同(eCPM的值与广告位收入数据和请求量有关,一个计算eCPM的公式为:eCPM=总收入/总请求*1000),因此,能带来更大eCPM值的广告位会需要被更多的关注,也就是说,从能带来更大eCPM值的广告位所发出的第一请求,对应更高的优先级,在过载或突发过载的情况下,是要得到优先保护的,该第一请求即为需要及时得到处理的请求,不能被第一时间做丢弃处理。而从eCPM值最低的广告位发出的第一请求则在过载或突发过载的情况下不得不被第一时间丢弃。这些处理都是在本申请信息处理***的接入服务器(如图1所示的服务器11)进行判断和丢弃处理。被丢弃的,则会给发出第一请求的前端返回执行结果为“空”的反馈,即接入服务器返回空结果给前端;如果不予丢弃,则将第一请求透传给后台的逻辑处理服务器(如图1所示的服务器41),对第一请求进行对应的处理。
步骤203、服务器检测到当前处于过载状态时,收到至少一个第一请求,至少一个第一请求中携带的标识信息包括第一请求所在的信息位,将所述第一请求所在的信息位确定为所述特征参数,提取该特征参数。
这里,该特征参数用于表征所述请求的来源或者与所述请求的来源相关,可以按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息,本实施例中具体为所述第一请求所在的信息位。
步骤204、服务器查询所述特征参数是否命中所述访问控制策略,如果是,则执行步骤205;否则,执行步骤207。
步骤205、在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级。
这里,请求响应优先级可以采用柔性百分比参数来进行分阶段处理标识。一个实际应用中,第一请求为针对广告信息的请求,由广告柔性管理***生成访问控制策略后,将访问控制策略推送到接入服务器集群。接入服务器集群在收到前端的广告请求后,判断广告请求的特征是否命中控制策略,如果命中控制策略,则按照访问控制策略中的柔性百分比参数进行随机选择,被选择到的广告请求,不访问后台的逻辑处理服务器,直接返回空结果。通过这种柔性访问控制策略,可以在***突发请求过高的情况下保证后台逻辑处理服务器集群的压力保持稳定,关键广告位的处理效果能够得到保障。
步骤206、根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理。
步骤207、在所述访问控制策略中未能查询到所述特征参数,直接进行丢弃处理。
通过步骤203-207,如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理,而不是只要发现处于过载状态则一概丢弃新增的请求;如果在所述访问控制策略中未能查询到所述特征参数,说明在第一请求中的提取特征参数未命中访问控制策略,该第一请求为非必要及时处理的请求,在过载状态下一概丢弃。
上述分阶段的丢弃处理,其处理的准确度取决于如何生成访问控制策略,从而,在过载情况下,服务器才可以根据该访问控制策略对前端发出的访问请求进行区分和接入控制。
在一个实际应用中,根据请求的来源进行划分,生成请求响应优先级处理策略,将请求响应优先级处理策略确定为所述访问控制策略。基于广告位eCPM生成所述访问控制策略:将广告位按照eCPM进行排序。
可以拉取最近N天(如7天)的广告位收入数据及请求量,eCPM=总收入/总请求*1000。排除每天请求量在M(如100万)以下的广告位,eCPM按低到高排序。所述访问控制策略为柔性控制机制,为分段的阶梯式控制。取总量为前P1(如10%)请求作为第一柔性阶段,即第一阶段将丢弃的数据。取总量为前P2(如20%)请求作为第二柔性阶段。取总量为前P3(如20%)请求作为第三柔性阶段。以便,后续根据该分段的阶梯式控制对第一请求进行丢弃处理,当第一请求中包含的特征参数为广告位时,将其与该基于广告位eCPM生成的所述访问控制策略进行比对。如果丢弃50%以上请求,仍无法控制后台逻辑处理服务器集群压力,需要人为介入决策更高级的控制策略。
采用本发明实施例这种分阶段的丢弃处理,区别于现有技术,现有的计算机访问控制策略,都是在微观上使用各种方法丢弃单个服务器上过多的请求,保证单个服务器的正常服务;一旦过载,不管什么请求都会一概丢弃。而本发明实施例,是针对请求场景来区分请求,并决策最终是否要丢弃请求,从业务层面对整个访问控制***的访问进行柔性控制,将不同请求进行差异化处理,控制不同的请求进行特殊访问,从而对整个***流量进行柔性打压,保障关键请求的处理精度。在保证***可用的情况下,精确度和处理效率更高。
本发明实施例的一种信息访问控制方法,如图4所示,所述方法包括:
步骤301、所述请求的来源通过第一请求所归属的用户信息进行标识,将所述第一请求所归属的用户信息按照信息展示所获取的第二反馈值进行排序,生成排序结果。
这里,第二反馈值可以为CTR,CTR指广告点击率,在搜索引擎中输入关键词后进行搜索,然后按竞价等因素把相关的网页按顺序进行排列出来,然后用户会选择自己感兴趣的网站点击进去,把一个网站所有搜索出来的次数作为总次数,把用户点击并进入网站的次数占总次数的比例叫点击率。本发明实施例的CTR是按照用户位置信息、国家、省、市、区、县、街道等来评估,拉取最近N天(如7天)的产生过广告点击的用户信息及整体曝光数据,以省份为维度,CTR按低到高排序。
步骤302、将所述排序结果按照信息展示所获取的第二反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
这里,将所述排序结果按照信息展示所获取的第二反馈总量进行划分时,采用的是按照百分比进行划分,则得到百分比参数。该百分比参数随机选择,被选择到的请求不访问后台逻辑处理服务器,直接返回为空的执行结果给前端。如以基于用户信息生成所述访问控制策略为例,为分段的阶梯式控制。取总量为前P1(如10%)省份作为第一柔性阶段,取总量为前P2(如20%)省份作为第二柔性阶段,取总量为前P3(如20%)省份作为第三柔性阶段。
这里,针对请求的来源生成表征请求响应处理优先级的该访问控制策略而言,一个示例为,当基于用户信息生成策略时,即将广告位按照省、市、区、县、街道等用户位置信息进行排序。此时,第一请求中包含用户的地理位置信息(用于标识该第一请求对应的广告是从哪一个省、市、区、县、街道来的),由于每个请求来源于不同维度的地理位置所能带来CTR的值不同,因此,能带来更大CTR值的请求会需要被更多的关注,也就是说,从能带来更大CTR值的地理位置所发出的第一请求,对应更高的优先级,在过载或突发过载的情况下,是要得到优先保护的,该第一请求即为需要及时得到处理的请求,不能被第一时间做丢弃处理。而从CTR值最低的地理位置发出的第一请求则在过载或突发过载的情况下不得不被第一时间丢弃。这些处理都是在本申请信息处理***的接入服务器(如图1所示的服务器11)进行判断和丢弃处理。被丢弃的,则会给发出第一请求的前端返回执行结果为“空”的反馈,即接入服务器返回空结果给前端;如果不予丢弃,则将第一请求透传给后台的逻辑处理服务器(如图1所示的服务器41),对第一请求进行对应的处理。
步骤303、服务器检测到当前处于过载状态时,收到至少一个第一请求,至少一个第一请求中携带的标识信息包括第一请求所归属的用户信息,将第一请求所归属的用户信息确定为所述特征参数,提取该特征参数。
这里,该特征参数用于表征所述请求的来源或者与所述请求的来源相关,可以按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息,本实施例中具体为所述第一请求所归属的用户信息,如用户地理位置信息。
步骤304、服务器查询所述特征参数是否命中所述访问控制策略,如果是,则执行步骤305;否则,执行步骤307。
步骤305、在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级。
这里,请求响应优先级可以采用柔性百分比参数来进行分阶段处理标识。一个实际应用中,第一请求为针对广告信息的请求,由广告柔性管理***生成访问控制策略后,将访问控制策略推送到接入服务器集群。接入服务器集群在收到前端的广告请求后,判断广告请求的特征是否命中控制策略,如果命中控制策略,则按照访问控制策略中的柔性百分比参数进行随机选择,被选择到的广告请求,不访问后台的逻辑处理服务器,直接返回空结果。通过这种柔性访问控制策略,可以在***突发请求过高的情况下保证后台逻辑处理服务器集群的压力保持稳定,关键广告位的处理效果能够得到保障。
步骤306、根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理。
步骤307、在所述访问控制策略中未能查询到所述特征参数,直接进行丢弃处理。
通过步骤303-307,如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理,而不是只要发现处于过载状态则一概丢弃新增的请求;如果在所述访问控制策略中未能查询到所述特征参数,说明在第一请求中的提取特征参数未命中访问控制策略,该第一请求为非必要及时处理的请求,在过载状态下一概丢弃。
上述分阶段的丢弃处理,其处理的准确度取决于如何生成访问控制策略,从而,在过载情况下,服务器才可以根据该访问控制策略对前端发出的访问请求进行区分和接入控制。
在一个实际应用中,根据请求的来源进行划分,生成请求响应优先级处理策略,将请求响应优先级处理策略确定为所述访问控制策略,基于用户信息生成所述访问控制策略。可以拉取最近N天(如7天)的产生过广告点击的用户信息及整体曝光数据,以省份为维度,CTR按低到高排序。所述访问控制策略为柔性控制机制,为分段的阶梯式控制。取总量为前P1(如10%)省份作为第一柔性阶段,取总量为前P2(如20%)省份作为第二柔性阶段,取总量为前P3(如20%)省份作为第三柔性阶段。以便,后续根据该分段的阶梯式控制对第一请求进行丢弃处理,当第一请求中包含的特征参数为用户信息时,将其与该基于用户信息生成的所述访问控制策略进行比对。如果丢弃50%以上请求,仍无法控制后台逻辑处理服务器集群压力,需要人为介入决策更高级的控制策略。
采用本发明实施例这种分阶段的丢弃处理,区别于现有技术,现有的计算机访问控制策略,都是在微观上使用各种方法丢弃单个服务器上过多的请求,保证单个服务器的正常服务;一旦过载,不管什么请求都会一概丢弃。而本发明实施例,是针对请求场景来区分请求,并决策最终是否要丢弃请求,从业务层面对整个访问控制***的访问进行柔性控制,将不同请求进行差异化处理,控制不同的请求进行特殊访问,从而对整个***流量进行柔性打压,保障关键请求的处理精度。在保证***可用的情况下,精确度和处理效率更高。
基于上述实施例,本发明实施例的一种信息访问控制方法中,如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理,包括:1)从所述访问控制策略中查询到所述第一请求所在的信息位时,如果所述第一请求所在的信息位对应所述访问控制策略中第一阶段的请求响应优先级,则对所述第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈。2)如果所述第一请求所在的信息位对应所述访问控制策略中第x阶段的请求响应优先级,所述x为大于1的正整数,则根据当前的过载状态和已执行的丢弃处理进行判断,当检测到对先于x阶段的请求响应优先级依次执行的分阶段丢弃处理仍然不能缓解过载情况时,对于与所述第x阶段的请求响应优先级匹配的第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈。3)如果在分阶段丢弃处理过程中,未被执行丢弃处理的请求透传给后台的逻辑处理服务器,由逻辑处理服务器对第一请求进行相应,并提供对应的服务反馈。比如,当前的过载状态,按照访问控制策略将符合第一阶段的请求响应优先级的请求“请求A1”进行筛选丢弃后,对于其它未被筛选匹配到的请求进行透传处理,未被执行丢弃处理的请求“请求A2、……An”透传给后台的逻辑处理服务器,由逻辑处理服务器对第一请求进行相应,并提供对应的服务反馈。
本发明实施例的信息访问控制***,如图5所示,包括终端51、接入服务器61、策略生成服务器71、逻辑处理服务器81;其中,接入服务器61包括:接收单元611,用于接收访问控制策略,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略;检测单元612,用于检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数,所述特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息;查询单元613,用于查询所述特征参数是否命中所述访问控制策略;丢弃执行单元614,用于如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理;否则,直接进行丢弃处理。
针对请求的来源生成表征请求响应处理优先级的该访问控制策略而言,其一,一个示例为,当针对广告位eCPM生成策略时,即将广告位按照eCPM进行排序。此时,第一请求中包含广告位信息(用于标识该第一请求对应的广告是从哪一个广告位来的),由于每个广告位所能带来eCPM的值不同(eCPM的值与广告位收入数据和请求量有关,一个计算eCPM的公式为:eCPM=总收入/总请求*1000),因此,能带来更大eCPM值的广告位会需要被更多的关注,也就是说,从能带来更大eCPM值的广告位所发出的第一请求,对应更高的优先级,在过载或突发过载的情况下,是要得到优先保护的,该第一请求即为需要及时得到处理的请求,不能被第一时间做丢弃处理。而从eCPM值最低的广告位发出的第一请求则在过载或突发过载的情况下不得不被第一时间丢弃。这些处理都是在本申请信息处理***的接入服务器(如图1所示的服务器11)进行判断和丢弃处理。被丢弃的,则会给发出第一请求的前端返回执行结果为“空”的反馈,即接入服务器返回空结果给前端;如果不予丢弃,则将第一请求透传给后台的逻辑处理服务器(如图1所示的服务器41),对第一请求进行对应的处理。
这里,针对请求的来源生成表征请求响应处理优先级的该访问控制策略而言,其二,一个示例为,当基于用户信息生成策略时,即将广告位按照省、市、区、县、街道等用户位置信息进行排序。此时,第一请求中包含用户的地理位置信息(用于标识该第一请求对应的广告是从哪一个省、市、区、县、街道来的),由于每个请求来源于不同维度的地理位置所能带来CTR的值不同,因此,能带来更大CTR值的请求会需要被更多的关注,也就是说,从能带来更大CTR值的地理位置所发出的第一请求,对应更高的优先级,在过载或突发过载的情况下,是要得到优先保护的,该第一请求即为需要及时得到处理的请求,不能被第一时间做丢弃处理。而从CTR值最低的地理位置发出的第一请求则在过载或突发过载的情况下不得不被第一时间丢弃。这些处理都是在本申请信息处理***的接入服务器(如图1所示的服务器11)进行判断和丢弃处理。被丢弃的,则会给发出第一请求的前端返回执行结果为“空”的反馈,即接入服务器返回空结果给前端;如果不予丢弃,则将第一请求透传给后台的逻辑处理服务器(如图1所示的服务器41),对第一请求进行对应的处理。
请求响应优先级可以采用柔性百分比参数来进行分阶段处理标识。一个实际应用中,第一请求为针对广告信息的请求,由广告柔性管理***生成访问控制策略后,将访问控制策略推送到接入服务器集群。接入服务器集群在收到前端的广告请求后,判断广告请求的特征是否命中控制策略,如果命中控制策略,则按照访问控制策略中的柔性百分比参数进行随机选择,被选择到的广告请求,不访问后台的逻辑处理服务器,直接返回空结果。通过这种柔性访问控制策略,可以在***突发请求过高的情况下保证后台逻辑处理服务器集群的压力保持稳定,关键广告位的处理效果能够得到保障。
如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理,而不是只要发现处于过载状态则一概丢弃新增的请求;如果在所述访问控制策略中未能查询到所述特征参数,说明在第一请求中的提取特征参数未命中访问控制策略,该第一请求为非必要及时处理的请求,在过载状态下一概丢弃。
上述分阶段的丢弃处理,其处理的准确度取决于如何生成访问控制策略,从而,在过载情况下,服务器才可以根据该访问控制策略对前端发出的访问请求进行区分和接入控制。
在一个实际应用中,根据请求的来源进行划分,生成请求响应优先级处理策略,将请求响应优先级处理策略确定为所述访问控制策略。
1)基于广告位eCPM生成所述访问控制策略:将广告位按照eCPM进行排序。
可以拉取最近N天(如7天)的广告位收入数据及请求量,eCPM=总收入/总请求*1000。排除每天请求量在M(如100万)以下的广告位,eCPM按低到高排序。所述访问控制策略为柔性控制机制,为分段的阶梯式控制。取总量为前P1(如10%)请求作为第一柔性阶段,即第一阶段将丢弃的数据。取总量为前P2(如20%)请求作为第二柔性阶段。取总量为前P3(如20%)请求作为第三柔性阶段。以便,后续根据该分段的阶梯式控制对第一请求进行丢弃处理,当第一请求中包含的特征参数为广告位时,将其与该基于广告位eCPM生成的所述访问控制策略进行比对。如果丢弃50%以上请求,仍无法控制后台逻辑处理服务器集群压力,需要人为介入决策更高级的控制策略。
2)基于用户信息生成所述访问控制策略。
可以拉取最近N天(如7天)的产生过广告点击的用户信息及整体曝光数据,以省份为维度,CTR按低到高排序。所述访问控制策略为柔性控制机制,为分段的阶梯式控制。取总量为前P1(如10%)省份作为第一柔性阶段,取总量为前P2(如20%)省份作为第二柔性阶段,取总量为前P3(如20%)省份作为第三柔性阶段。以便,后续根据该分段的阶梯式控制对第一请求进行丢弃处理,当第一请求中包含的特征参数为用户信息时,将其与该基于用户信息生成的所述访问控制策略进行比对。如果丢弃50%以上请求,仍无法控制后台逻辑处理服务器集群压力,需要人为介入决策更高级的控制策略。
这里需要指出的是,上述基于广告位eCPM,及基于用户信息生成所述访问控制策略,可以组合使用,也可以使用其中一种。由于基于用户信息的策略对请求丢弃的精确度筛选,其影响比基于广告位的策略大,也就是说,基于用户信息生成所述访问控制策略的方式,其优先级低于基于广告位生成所述访问控制策略的方式,因此,在组合使用时,先与基于用户信息生成所述访问控制策略的方式进行比对,之后,再结合基于用户信息生成所述访问控制策略的方式。而,如果选择任意一种,则优选基于用户信息生成所述访问控制策略的方式。
采用本发明实施例这种分阶段的丢弃处理,区别于现有技术,现有的计算机访问控制策略,都是在微观上使用各种方法丢弃单个服务器上过多的请求,保证单个服务器的正常服务;一旦过载,不管什么请求都会一概丢弃。而本发明实施例,是针对请求场景来区分请求,并决策最终是否要丢弃请求,从业务层面对整个访问控制***的访问进行柔性控制,将不同请求进行差异化处理,控制不同的请求进行特殊访问,从而对整个***流量进行柔性打压,保障关键请求的处理精度。在保证***可用的情况下,精确度和处理效率更高。
在本发明实施例一实施方式中,所述接收单元,进一步用于接收访问控制策略,所述访问控制策略的生成规则包括:所述请求的来源通过第一请求所在的信息位进行标识,将所述第一请求所在的信息位按照信息展示所获取的第一反馈值进行排序,生成排序结果;将所述排序结果按照信息展示所获取的第一反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
在本发明实施例一实施方式中,所述服务器还包括:特征参数确定单元,用于:解析出第一请求中携带的标识信息为第一请求所在的信息位;将所述第一请求所在的信息位确定为所述特征参数。
在本发明实施例一实施方式中,所述接收单元,进一步用于接收访问控制策略,所述访问控制策略的生成规则包括:所述请求的来源通过第一请求所归属的用户信息进行标识,将所述第一请求所归属的用户信息按照信息展示所获取的第二反馈值进行排序,生成排序结果;将所述排序结果按照信息展示所获取的第二反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
在本发明实施例一实施方式中,所述服务器还包括:特征参数确定单元,用于:解析出所述第一请求中携带的标识信息为第一请求所归属的用户信息;将所述第一请求所归属的用户信息确定为所述特征参数。
在本发明实施例一实施方式中,所述丢弃执行单元,进一步用于:从所述访问控制策略中查询到所述第一请求所在的信息位时,如果所述第一请求所在的信息位对应所述访问控制策略中第一阶段的请求响应优先级,则对所述第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈;如果所述第一请求所在的信息位对应所述访问控制策略中第x阶段的请求响应优先级,所述x为大于1的正整数,则根据当前的过载状态和已执行的丢弃处理进行判断,当检测到对先于x阶段的请求响应优先级依次执行的分阶段丢弃处理仍然不能缓解过载情况时,对于与所述第x阶段的请求响应优先级匹配的第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈。
其中,对于用于数据处理的处理器而言,在执行处理时,可以采用微处理器、中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,Digital SingnalProcessor)或可编程逻辑阵列(FPGA,Field-Programmable Gate Array)实现;对于存储介质来说,包含操作指令,该操作指令可以为计算机可执行代码,通过所述操作指令来实现上述本发明实施例信息处理方法流程中的各个步骤。
这里需要指出的是:以上涉及终端和服务器项的描述,与上述方法描述是类似的,同方法的有益效果描述,不做赘述。对于本发明终端和服务器实施例中未披露的技术细节,请参照本发明方法流程描述的实施例所描述内容。
以一个现实应用场景为例对本发明实施例阐述如下:
在针对广告平台进行访问控制场景为例,广告平台服务于亿级用户,每天访问总量达到百亿级别,如此庞大的访问量,请求如果出现异常波动,会给后台服务器带来了巨大的压力,可能直接导致收入损失。广告平台能处理大量不同广告位下的流量,而不同广告位的eCPM是不一样的,如果不加处理将所有过载请求抛弃,显然不可取,因此需要有更智能的访问控制策略来控制访问流量。对于这个问题,一种基于滑动窗口的过载保护方案是:设置表示时间段的滑动窗口,所述滑动窗口记录对应时间段内服务器接收的请求;服务器收到新的请求时,根据滑动窗口记录的服务器接收的请求检测服务器当前的负载状态,根据检测结果判断是否对请求进行处理。另一种基于缓冲区的访问控制方案是:当保存网络数据的缓存区已满时,根据预设的丢弃策略判断是否丢弃接收的网络数据;如果判断结果为不丢弃,则将所述接收的网络数据存入所述缓存区,替换所述缓存区中原有的网络数据;将缓存区中的网络数据取出并向下一级设备发送。但是,这两种方案,其采取的访问控制策略,都是在微观上使用各种方法丢弃单个服务器上过多的请求,保证单个服务器的正常服务;一但过载,不管什么请求都会丢弃,无法针对广告场景区分请求进行打压,显得粒度较粗,且访问控制策略不够灵活。
对于上述访问控制场景,采用本发明实施例,在流量过载情况下,可以保障整体服务的稳定性与关键广告位的处理效果,避免对广告请求一概在过载情况下丢弃,本实施例的***架构中,是在接入服务器上做了一种柔性访问控制策略,如图6所示,该柔性访问控制策略由广告位柔性管理***所生成。本发明实施例从业务层面对整个***的访问进行柔性控制,将不同广告位请求进行差异化处理,由接入服务器控制不同的请求进行特殊访问,从而对整个***流量进行柔性打压,保障关键广告位的处理效果。涉及的技术用语包括:1)柔性:尽大可能保证关键服务的可用性;2)eCPM:effective cost per mille,指的就是每一千次展示可以获得的广告收入;3)CTR:Click-through Rate,点击数除以曝光数。
图6的***架构中,由广告柔性管理***生成访问控制策略,将这些策略推送到接入服务器集群。接入服务器集群在收到前端广告请求后,判断广告请求特征是否命中控制策略,如果命中控制策略,则按照策略中的柔性百分比参数进行随机选择,被选择到的请求,不访问后台逻辑处理服务器直接返回空结果。通过这种柔性访问控制策略,可以在***突发请求过高的情况下保证后台逻辑处理服务器集群的压力保持稳定,关键广告位的处理效果能够得到保障。
该访问控制策略由广告位柔性管理***所生成。包括:
一,基于广告位生成策略(根据广告位eCPM排序来控制优选处理的广告请求流量)。
拉取最近N天(如7天)的广告位收入数据及请求量,eCPM=总收入/总请求*1000。排除每天请求量在M(如100万)以下的广告位,eCPM按低到高排序。柔性控制为分段阶梯式控制,取总量为前P1(如10%)请求作为第一柔性阶段,即第一阶段将丢弃的数据。取总量为前P2(如20%)请求作为第二柔性阶段。取总量为前P3(如20%)请求作为第三柔性阶段。
如果丢弃50%以上请求,仍无法控制后台逻辑处理服务器集群压力,需要人为介入决策更高级的控制策略。
二,基于用户信息生成策略(根据用户省份CTR排序来控制优选处理的广告请求流量)。
拉取最近N天(如7天)的产生过广告点击的用户信息及整体曝光数据,以省份为维度,CTR按低到高排序。柔性控制为分段阶梯式控制,取总量为前P1(如10%)省份作为第一柔性阶段,取总量为前P2(如20%)省份作为第二柔性阶段,取总量为前P3(如20%)省份作为第三柔性阶段。
基于用户信息的策略对收入影响比基于广告位的策略大,所以优先级低于基于广告位的策略。如果丢弃50%以上请求,仍无法控制后台逻辑处理服务器集群压力,需要人为介入决策更高级的控制策略。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种信息访问控制方法,其特征在于,所述方法包括:
接收访问控制策略,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略;
检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数,所述特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息;
查询所述特征参数是否命中所述访问控制策略;
如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理;否则,直接进行丢弃处理。
2.根据权利要求1所述的方法,其特征在于,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略,包括:
所述请求的来源通过第一请求所在的信息位进行标识,将所述第一请求所在的信息位按照信息展示所获取的第一反馈值进行排序,生成排序结果;
将所述排序结果按照信息展示所获取的第一反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
3.根据权利要求2所述的方法,其特征在于,所述第一请求中携带的标识信息包括第一请求所在的信息位;
将所述第一请求所在的信息位确定为所述特征参数。
4.根据权利要求1所述的方法,其特征在于,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略,包括:
所述请求的来源通过第一请求所归属的用户信息进行标识,将所述第一请求所归属的用户信息按照信息展示所获取的第二反馈值进行排序,生成排序结果;
将所述排序结果按照信息展示所获取的第二反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
5.根据权利要求4所述的方法,其特征在于,所述第一请求中携带的标识信息包括第一请求所归属的用户信息;
将所述第一请求所归属的用户信息确定为所述特征参数。
6.根据权利要求3或5所述的方法,其特征在于,如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理,包括:
从所述访问控制策略中查询到所述第一请求所在的信息位时,如果所述第一请求所在的信息位对应所述访问控制策略中第一阶段的请求响应优先级,则对所述第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈;
如果所述第一请求所在的信息位对应所述访问控制策略中第x阶段的请求响应优先级,所述x为大于1的正整数,则根据当前的过载状态和已执行的丢弃处理进行判断,当检测到对先于x阶段的请求响应优先级依次执行的分阶段丢弃处理仍然不能缓解过载情况时,对于与所述第x阶段的请求响应优先级匹配的第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈。
7.一种服务器,其特征在于,所述服务器包括:
接收单元,用于接收访问控制策略,所述访问控制策略是根据请求的来源进行划分所生成的请求响应优先级处理策略;
检测单元,用于检测到当前处于过载状态时,从收到的至少一个第一请求中提取特征参数,所述特征参数用于表征所述请求的来源或者与所述请求的来源相关,按照所述请求的来源分为请求所在的信息位及请求所归属的用户信息;
查询单元,用于查询所述特征参数是否命中所述访问控制策略;
丢弃执行单元,用于如果在所述访问控制策略中能查询到所述特征参数,则选取对应所述特征参数的请求响应优先级,根据所述请求响应优先级对所述至少一个第一请求进行分阶段的丢弃处理;否则,直接进行丢弃处理。
8.根据权利要求7所述的服务器,其特征在于,所述接收单元,进一步用于接收访问控制策略,所述访问控制策略的生成规则包括:
所述请求的来源通过第一请求所在的信息位进行标识,将所述第一请求所在的信息位按照信息展示所获取的第一反馈值进行排序,生成排序结果;
将所述排序结果按照信息展示所获取的第一反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
9.根据权利要求8所述的服务器,其特征在于,所述服务器还包括:特征参数确定单元,用于:
解析出第一请求中携带的标识信息为第一请求所在的信息位;
将所述第一请求所在的信息位确定为所述特征参数。
10.根据权利要求7所述的服务器,其特征在于,所述接收单元,进一步用于接收访问控制策略,所述访问控制策略的生成规则包括:
所述请求的来源通过第一请求所归属的用户信息进行标识,将所述第一请求所归属的用户信息按照信息展示所获取的第二反馈值进行排序,生成排序结果;
将所述排序结果按照信息展示所获取的第二反馈总量进行划分,得到分阶段的请求响应优先级,根据所述分阶段的请求响应优先级得到所述访问控制策略。
11.根据权利要求10所述的服务器,其特征在于,所述服务器还包括:特征参数确定单元,用于:
解析出所述第一请求中携带的标识信息为第一请求所归属的用户信息;
将所述第一请求所归属的用户信息确定为所述特征参数。
12.根据权利要求9或11所述的服务器,其特征在于,所述丢弃执行单元,进一步用于:
从所述访问控制策略中查询到所述第一请求所在的信息位时,如果所述第一请求所在的信息位对应所述访问控制策略中第一阶段的请求响应优先级,则对所述第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈;
如果所述第一请求所在的信息位对应所述访问控制策略中第x阶段的请求响应优先级,所述x为大于1的正整数,则根据当前的过载状态和已执行的丢弃处理进行判断,当检测到对先于x阶段的请求响应优先级依次执行的分阶段丢弃处理仍然不能缓解过载情况时,对于与所述第x阶段的请求响应优先级匹配的第一请求进行丢弃处理,向请求发起方返回处理结果为空的反馈。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610877186.8A CN106357789B (zh) | 2016-09-30 | 2016-09-30 | 一种信息访问控制方法、服务器及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610877186.8A CN106357789B (zh) | 2016-09-30 | 2016-09-30 | 一种信息访问控制方法、服务器及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106357789A true CN106357789A (zh) | 2017-01-25 |
CN106357789B CN106357789B (zh) | 2020-01-10 |
Family
ID=57866365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610877186.8A Active CN106357789B (zh) | 2016-09-30 | 2016-09-30 | 一种信息访问控制方法、服务器及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106357789B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590686A (zh) * | 2017-08-23 | 2018-01-16 | 北京奇艺世纪科技有限公司 | 一种广告请求的处理方法和装置 |
CN109391682A (zh) * | 2018-09-14 | 2019-02-26 | 联想(北京)有限公司 | 一种信息处理方法及服务器集群 |
CN109918196A (zh) * | 2019-01-23 | 2019-06-21 | 深圳壹账通智能科技有限公司 | ***资源分配方法、装置、计算机设备和存储介质 |
CN110971561A (zh) * | 2018-09-28 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 一种访问请求处理方法、装置及设备 |
CN111835727A (zh) * | 2020-06-15 | 2020-10-27 | 中国电子科技集团公司第三十研究所 | 一种基于cpu+fpga+搜索引擎平台实现网络访问控制的方法 |
CN111966918A (zh) * | 2020-07-10 | 2020-11-20 | 口碑(上海)信息技术有限公司 | 一种用于并发访问请求的限流方法、装置以及*** |
CN113765969A (zh) * | 2020-09-28 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种流量控制方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080175152A1 (en) * | 2006-12-28 | 2008-07-24 | Nokia Corporation | Service differentiating and overload indication for downlink |
CN101305346A (zh) * | 2004-05-21 | 2008-11-12 | Bea***公司 | 用于具有过载保护的应用服务器的***和方法 |
CN101610494A (zh) * | 2008-06-16 | 2009-12-23 | 华为技术有限公司 | 实现过载控制或差异化服务的方法、***及设备 |
CN104601725A (zh) * | 2015-02-03 | 2015-05-06 | 腾讯科技(深圳)有限公司 | 业务请求的响应方法和装置 |
-
2016
- 2016-09-30 CN CN201610877186.8A patent/CN106357789B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101305346A (zh) * | 2004-05-21 | 2008-11-12 | Bea***公司 | 用于具有过载保护的应用服务器的***和方法 |
US20080175152A1 (en) * | 2006-12-28 | 2008-07-24 | Nokia Corporation | Service differentiating and overload indication for downlink |
CN101610494A (zh) * | 2008-06-16 | 2009-12-23 | 华为技术有限公司 | 实现过载控制或差异化服务的方法、***及设备 |
CN104601725A (zh) * | 2015-02-03 | 2015-05-06 | 腾讯科技(深圳)有限公司 | 业务请求的响应方法和装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590686A (zh) * | 2017-08-23 | 2018-01-16 | 北京奇艺世纪科技有限公司 | 一种广告请求的处理方法和装置 |
CN109391682A (zh) * | 2018-09-14 | 2019-02-26 | 联想(北京)有限公司 | 一种信息处理方法及服务器集群 |
CN110971561A (zh) * | 2018-09-28 | 2020-04-07 | 阿里巴巴集团控股有限公司 | 一种访问请求处理方法、装置及设备 |
CN110971561B (zh) * | 2018-09-28 | 2022-08-23 | 阿里巴巴集团控股有限公司 | 一种访问请求处理方法、装置及设备 |
CN109918196A (zh) * | 2019-01-23 | 2019-06-21 | 深圳壹账通智能科技有限公司 | ***资源分配方法、装置、计算机设备和存储介质 |
CN111835727A (zh) * | 2020-06-15 | 2020-10-27 | 中国电子科技集团公司第三十研究所 | 一种基于cpu+fpga+搜索引擎平台实现网络访问控制的方法 |
CN111835727B (zh) * | 2020-06-15 | 2021-12-17 | 中国电子科技集团公司第三十研究所 | 一种基于cpu+fpga+搜索引擎平台实现网络访问控制的方法 |
CN111966918A (zh) * | 2020-07-10 | 2020-11-20 | 口碑(上海)信息技术有限公司 | 一种用于并发访问请求的限流方法、装置以及*** |
CN111966918B (zh) * | 2020-07-10 | 2023-12-15 | 口碑(上海)信息技术有限公司 | 一种用于并发访问请求的限流方法、装置以及*** |
CN113765969A (zh) * | 2020-09-28 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种流量控制方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106357789B (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106357789A (zh) | 一种信息访问控制方法及服务器 | |
US11341510B2 (en) | Determining client system attributes | |
CN101297285B (zh) | 有助于改进搜索结果和效率的对象排名***和方法 | |
US7974970B2 (en) | Detection of undesirable web pages | |
CN100514330C (zh) | 基于跟踪到的用户偏好对搜索结果进行分级的***和方法 | |
US8332775B2 (en) | Adaptive user feedback window | |
CN102609474B (zh) | 一种访问信息提供方法及*** | |
US8671097B2 (en) | Method and system for log file analysis based on distributed computing network | |
CN101517967B (zh) | 网站的流量预测 | |
US8214390B2 (en) | Binary interest vector for better audience targeting | |
US9015414B2 (en) | Load balancing based upon data usage | |
US20120054440A1 (en) | Systems and methods for providing a hierarchy of cache layers of different types for intext advertising | |
JP2016517592A (ja) | リアルタイム入札用インテリジェント・プラットフォーム | |
US20080281941A1 (en) | System and method of processing online advertisement selections | |
CN105023165A (zh) | 社交网络平台中投放任务的控制方法、装置及*** | |
KR20120073360A (ko) | 맵 기반 표시를 포함하는 지리적 특정 검색 결과들을 위한 방법 및 장치 | |
US20110137904A1 (en) | Clickstreams and website classification | |
CN103778125A (zh) | 一种网页投放内容的分析方法及装置和网页投放内容的自动投放方法及装置 | |
CN104699837B (zh) | 网页配图选取方法、装置及服务器 | |
CN108512768B (zh) | 一种访问量的控制方法及装置 | |
CN112561565A (zh) | 一种基于行为日志的用户需求识别方法 | |
US11843513B2 (en) | Heterogeneous graph clustering using a pointwise mutual information criterion | |
US20140019239A1 (en) | Social Quality Of Content | |
CN112989158A (zh) | 一种识别网页爬虫行为的方法、装置及存储介质 | |
US20110055229A1 (en) | System and method for generating a valuation of revenue opportunity for a keyword from a valuation of online sessions on a website from user activities following a keyword search |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |