CN1981261A - 改进广告批准 - Google Patents

Abstract

可至少部分地自动批准大量的Web广告组。选择广告组的子集，人工审核过程用于确定子集中哪些广告是不可接受的，可能还确定未批准的理由。然后可使用子集中未批准的广告来确定不信任记分。不信任记分还可使用未批准的理由。然后可将不信任记分与预定阈值进行比较。如果不信任记分小于阈值，则可接受广告组中的广告。如果不信任记分等于或大于阈值，则不自动地接受广告组。

Description

改进广告批准

技术领域

本发明涉及作广告。具体地讲，本发明涉及用于批准诸如Web广告的广告的过程。

背景技术

使用诸如电视、收音机、报纸和杂志的传统媒体作广告是众所周知的。最近，通过更互动的媒体作广告已变得流行。例如，随着使用互联网的人数增加，广告商(advertiser)已意识到通过互联网提供的媒体和服务是一种潜在的有影响力的作广告方式。

基于网页的广告(也称为“Web广告”)通常以“横幅广告”的形式(即，包括图形组件的矩形框)呈现给它们的广告受众。当一些广告受众(在该说明书中不失一般地称为“观众”或“用户”)通过点击这些横幅广告中的一个横幅广告来选择该横幅广告时，嵌入的超文本链接通常指引观众进入广告商的网站的网页(该网页可称为广告的“登陆页面”)，在广告商的网站可给观众呈现市场信息和/或观众可在广告商的网站完成交易。

典型地，各个网站将来自各个广告商的Web广告投放在它们的页面上。通过从广告商为这样的投放收取费用，网站得到收入来源。此外，一些实体接受来自广告商的广告，并将这些广告提供给其它实体以投放在这些其它实体的网页或这些网页的页面阅览上。有时将该情况称为“联合投放(syndication)”。网站要么在其自己的页面上为广告提供服务，要么到联合投放合作方的页面为广告提供服务，这样的网站可称为“广告网络”。

在将广告投放在其自己的网站上之前，或者在把广告联合投放(syndicate)到另一网站之前，审核广告以确保它是正确的和合适的是很重要的。这样的审核可用于识别这样的情况，仅举几个例子，比如不正确的标点符号、大写、语法、文本行距或价格。此外，这样的审核可用于识别禁止文本、不接受的内容、不适当的列表、重复、不合适的过分夸大、促销报价或太普通的目标关键字或其它服务约束等。

在一些当前的广告网络中，审核的广告的数量可很容易达到上千或上万。人工审核过程昂贵并且耗时，而且容易出现人工错误。因此，期望一种改进的审核过程。

发明内容

在根据本发明的一个实施例中，选择广告组(或广告集合)的子集，人工地批准或不批准该子集的每个广告，使用未批准的广告的数量比该子集中的广告的总数来确定记分(比如，百分比)，并且如果记分没有超过预定阈值，则自动地接受该广告组中不在所述子集里的广告中的至少一个。在根据本发明的至少一些实施例中，记分的确定可利用每个未批准理由的严重性。

在根据本发明的至少一个实施例中，自动地批准从信任的广告商接收的广告组的至少一个广告。

在根据本发明的至少一个实施例中，选择由信任的广告商提供的第一广告组的子集，使用该子集中未批准的广告的数量和该子集中的广告的总数(并且可能还使用未批准理由)来确定记分(比如，百分比)，并且如果记分超过预定阈值，则从发行中取出从信任的广告商接收的第二广告组中的至少一个广告。

附图说明

图1是示出可参与自动广告批准过程的实体的示图。

图2是示出可由根据本发明的自动广告批准***执行的操作和可由所述***产生和/或存储的信息的气泡图。

图3是示出可用于以根据本发明的方式对广告进行预处理的示例性方法的流程图。

图4是示出可用于以根据本发明的方式确定不信任记分的示例性方法的流程图。

图5是可以用根据本发明的方式执行一个或多个操作并存储所使用和/或产生的信息的机器的框图。

具体实施方式

本发明可涉及用于帮助广告网络使批准广告进入发行(circulation)/联合投放的过程至少部分自动化的新颖方法、装置、消息格式和/或数据结构。提出以下描述以使本领域的技术人员能够理解和使用本发明，并且以下描述是在特定的应用及其要求的背景下提供的。因此，根据本发明的实施例的下面的描述提供了实例和描述，但是其意图不在于使本发明是穷尽的或限于所公开的精确形式。所公开的实施例的各种修改将对本领域的技术人员是清楚的，以下阐述的一般原理可应用于其它实施例和应用。例如，虽然可参照流程图描述一系列动作，但是当一个动作的执行不取决于另一动作的完成时，在其它实现中，动作顺序可不同。此外，可并行地执行独立动作。除非这样明确地描述，否则不应该将描述中使用的要素、动作或指令理解为对本发明是关键或必需的。此外，如这里所使用的，冠词“a”意在包括一项或多项。当只有一项时，使用术语“one”或类似的语言。因此，本发明意欲不限于所示的实施例，并且发明人把他们的发明视为所描述的任何可取得专利的主题内容。

以下，在§4.1中描述本发明可操作的环境。然后，在§4.2中描述本发明的示例性实施例。最后，在§4.3中阐述关于本发明的一些总结。

§4.1本发明可操作的环境

图1示出可使用本发明的示例性环境。组件可以能够相互通信，诸如经由网络或内部网络(未显示)。一个或多个广告商110中的每个具有他们想呈现给潜在的消费者(未显示)的广告。广告网络140的兴趣在于将广告投放在潜在的消费者(诸如使用和观看广告使用者150的网页的个人)可看见广告的发行位置。广告商110经由广告网络140直接或间接地为将其广告展示给潜在的消费者的这个机会向广告使用者150(例如，其它网站提供者)支付报酬。此外，在使用或不使用另外的软件来控制广告的投放的情况下，广告网络140可将广告销售给其它广告使用者150(比如，其它网站提供者)。这有时称为“联合投放”。

广告网络140可有利地使用批准***120用于在其140网站或联合投放广告的使用者的网站上公布提交的广告之前审核该提交的广告。该审核通常为人工操作，在该人工操作中，广告网络140的雇员或代理对每个广告检查问题。这样的问题可包括不正确的标点符号、大写、语法、拼写或行距。问题的其它示例可包括不正确的价格或禁止的文本。另外的示例可包括不合适的内容、列表、过分夸大、促销报价、竞争索赔、不合适的产品、不合适的服务和重复。

此外，广告服务可使用来自用户的查询的特定关键词，以触发与该关键字相关的特定广告的服务。例如，如果用户对丰田汽车执行在线搜索，则可将丰田广告投放在搜索结果页面上。这是广告网络140可将许多广告投放在许多不同的用户所看到的各个页面阅览上的一种方式。然而，如果由广告商110所请求的目标关键字太普通，则可能为该广告商的广告提供服务太频繁。这可导致较差的用户体验以及较差定价的广告和页面阅览。因此，批准***120中的提交的广告的人工审核可包括将这样的“太普通的”目标关键字(或一些其它服务约束)识别为问题，而不批准内容提供者140使用那些广告。

在根据本发明的一个实施例中，批准***120是至少部分自动化的。如以下更详细地解释的，根据本发明的至少一些实施例可组合对提交的广告的子集的人工审核和对这些广告中的其余广告的自动审核。可使用不信任记分来确定自动审核是否合适。可使用人工审核中的拒绝率和/或人工审核中发现的问题的严重性来确定不信任记分。

一旦批准广告，这些广告就可获得广告服务***130的服务。当为广告提供服务时，将批准的广告投放在广告网络140自己的网站上，或者将其联合投放到其它内容提供者的网站上。

图2是示出可由根据本发明的自动广告批准***执行的操作和由该***产生和/或存储的信息的气泡图。在本发明的一个实施例中，特定广告商210将广告215提交到广告网络。广告被放置在输入广告存储设施220中。如果有来自特定广告商(比如，如果广告商210是大广告商(提交大量广告)或者是经常向广告网络提交广告的广告商)的大的广告集，则可将这些广告转递到广告预处理操作230。如果来自广告商210的广告集太小，则可将提交的广告转递到人工审核设施260，人工审核设施260可以是广告网络的另一组织或工作组。来自广告商的广告集是否为“大”可取决于是否可分析其广告的达到统计显著水平的样本。

对于转递到广告预处理操作230的广告，可使用广告商信息240来确定广告商210是否为信任的广告商。例如，查找表242可包括大量条目，每个条目包括广告商ID246及其相应的“信任”状态248，广告商ID246可用作查找关键字。如果广告商210不是信任的广告商，则广告预处理操作230可选择提交的广告的合适的子集(例如，20％或某个在统计上显著的数量)用于分析。广告处理操作230可请求人工审核该子集中的每个广告的问题。可对每个识别的问题广告进行标记。而且，可为标记的问题分配一个与问题的严重性相应的权重因子。例如，可认为包含不合适的文本的广告具有比拼写错误更严重的问题。因此，“不合适的内容”可具有权重因子3，而拼写错误可具有权重因子1。

子集中批准的和未批准的(拒绝的)广告的数量和/或未批准的理由或问题严重性权重可用于确定(或更新)关于广告商的不信任记分。在根据本发明的一个实施例中，使用权重因子来调整子集中未批准的广告的百分比。

然后可将不信任记分与预定阈值进行比较。如果不信任记分低于阈值，则可认为广告商“是信任的”并且可自动地接受由该广告商提交的整个广告组，而不需要进一步人工审核不包括在子集中的广告。此外，如下所述，可将广告商210识别为“信任的广告商”，并且可自动地批准由该广告商提交的后来的广告。因此，例如，如果广告的子集具有少数问题的组合并且严重问题相对地缺少，则可认为广告组的其余广告一般是可接受的。

然而，如果不信任记分等于或超过预定阈值，则将广告组的其余广告从存储设施220转移到人工审核设施260。此外，广告商210将不会接收到信任的广告商的称号。

返回到不信任记分小于预定阈值的情况下，广告预处理操作230将使得数据库220中来自广告商210的组中的所有广告转移到自动检查操作250。自动检查操作250可以是针对广告文本来审查预选内容的自动过滤器。这样的内容可以是不合适的词、不合适的URL或不合适的词组或短语。可将由过滤器操作250标记为包含所述预选内容中的任何内容的广告转递到人工审核设施260。可将没有标记为包含所述预选内容中的任何内容的广告存储在批准广告数据库270中。当为广告提供服务时(比如，在广告网络自己的网页上或者诸如通过将广告提供给其它内容提供商以用在他们的网页上来进行联合投放)，广告服务操作280可使用数据库270中的广告。

人工审核设施260可以是可人工检查由于不合适的关键字而标记的广告的组，并且可纠正这些广告。如果广告是正确的，则可将这样的广告转移回自动检查操作250以用于最终筛选，或者可将这样的广告存储为批准广告270。

人工审核设施260还可对来自存储设施220的太小的广告集进行审核(比如，由既不是大的广告商又不是频繁的广告商的广告商210提交的广告集)。

在根据本发明的另一实施例中，如果广告商210为信任的广告商，则可将放置到存储设施220中并且转移到广告预处理操作230的广告识别为是由信任的广告商提供的。然后广告预处理操作230可将这些广告直接转移到自动检查操作250，以如上所述进行进一步处理。

在根据本发明的又一实施例中，可通过抽查操作290选择由信任的广告商210提交的批准广告270的样本，以用于人工审核和确定新的不信任记分。如果新的不信任记分低于阈值，则可继续将来自该信任的广告商的所有广告直接发送到自动检查操作250。相反，如果新的不信任记分等于或大于阈值，则抽查操作290可自动地从该信任的广告商取出先前发行/联合投放的所有广告或部分广告。另外，抽查操作290可从广告信息240中去除“信任的广告商”的称号。此时，广告网络将与广告商210一起工作以改进由广告商210提交的后来的广告，从而他们将符合信任的广告商的标准。因此，抽查操作290可用于(连续地、周期性地、响应于一些条件的发生等)检验信任的广告商的状态。

由于广告商210会不想失去其信任的广告商的状态，这样会导致对提交的广告的批准变慢，所以广告商210可具有在将后来的广告提交到广告网络之前更仔细地监督他所提交的广告并改进其质量控制的刺激。

因此，本发明允许大量广告的自动批准，而不是使用在发行/联合投放之前人工地批准每个广告的笨拙的、易出错的方法。

§4.2示例性实施例

§4.2.1示例性方法

图3是以根据本发明的方式对广告进行预处理的示例性方法300的流程图。接受来自广告商的广告集(块310)，并识别广告商(块320)。如果广告商为信任的广告商，则自动检查该广告集(块380)。在这样的情况下，不对提交的广告进行人工审核。

如果广告商不是信任的广告商，则对该广告集的大小进行评估(块340)。如果广告的数量太少，则提交广告商不是将标识为信任的广告商的候选者，并且将这些广告转递到人工审核设施(块345)。如果广告的数量足以认为该广告商为信任的广告商，则确定不信任记分(块350)。

如果确定的不信任记分低于预定阈值(比如，3％至5％)(块360)，则将该广告商指示为信任的广告商(块370)。然后对提交的广告集中的、在确定不信任记分的过程(块350)中没有进行人工审核的广告进行自动检查(块380)，而不需要进一步的人工审核。

另一方面，如果确定的不信任记分不低于阈值(块360)，则将提交的广告集中的、在确定不信任记分的过程(块350)中没有进行人工审核的广告直接转递到人工审核设施(块345)。

图4是可用于以根据本发明的方式确定不信任记分的示例性方法400的流程图。选择或接受提交的广告集的子集(块410)。该子集可以是广告集的任何期望的代表性的样本。提供广告的子集用于人工审核，并且接收人工审核(块420)。最后，至少使用接收的人工审核的未批准率来确定不信任记分(块430)。不信任记分的确定还可考虑通过人工审核所发现的任何问题的严重性。不信任记分的确定还可考虑先前的广告商信任信息。

因此，可考虑未批准的广告的数量和未批准的理由。然后可将每个广告的未批准理由转化为关于该未批准的权重因子。可根据未批准的广告的权重因子来调整子集中未批准的广告对该子集中广告的总数的百分比。

§4.2.2操作的示例

示例1

假设，例如，提交的广告集中的广告的数量为10,000。将样本(子集)选择为来自这10,000个广告的1000个随机选择的广告。对这些广告进行人工审核。假设未批准30个广告；20个广告是由于拼写错误(权重因子为1)；10个广告是由于不合适的内容(权重因子为3)。

广告总数        10,000

子集            1,000

问题            20个拼写问题×1.0(因子)＝20

                 10个内容问题×3.0(因子)＝ 30

总共            30或3％(原始的)50或5％(调整的)

未批准的广告的原始百分比为30÷1000或者3％。然而，在根据基于未批准的理由的权重应用所述因子之后，加权后的总数为50，这导致调整的百分比为50÷1000或者5％。还可将该调整的百分比表征为不信任记分5％。

如果预先确定的阈值为4％，则不信任记分5％将超过该阈值(图3上的块360)，并且广告商将不是信任的广告商。然后转递所有的10,000个广告用于人工审核(重新调用图3上的块345)。

相反，如果将所述阈值设置为6％，则可将该示例中的广告商标识为信任的广告商，并且可对广告集中的所有10,000个广告(或者还没有进行人工检查的其余的9,000个广告)进行自动检查(重新调用图3的块380)。此外，可自动地批准由该信任的广告商提交的新广告(重新调用图3的块330)，并且可对这些新广告进行自动检查(重新调用块380)。

示例2

广告商A具有当前210,000个广告组的未结订单。已对18,600个广告组的样本进行了人工审核。样本中未批准的广告的数量为334。因此，发现少于2％(0.017＝334/18,600)的广告组包含错误——大多数为编辑错误(比如，行距、多余的句号等)。

以下列出其联合投放将遭到拒绝的广告组的数量以及未批准的理由(除了将由自动检查操作捕捉的禁止的广告文本和不接受的内容之外)：

3,700(＝210,000*.017)

*未批准的主要理由：

38％       标点符号

15％       大写

9％        不正确的价格

8％        禁止的广告文本(将由过滤器捕捉并路由到人工审核仓)

7％        语法

2％       不接受的内容(将由过滤器捕捉并路由到人工审核仓)

其它原因：重复、文本行距、列表、扩分夸大、促销报价、

太普通的关键字

将由自动检查操作来捕捉由于禁止的广告文本或不接受的内容而未被批准的广告组，并将其发送到人工审核仓。可对未批准的理由进行跟踪，并将其报告给广告商A以帮助他们避免以后不被批准。

如果将对前述的所有广告组进行人工审核，则估计将花费5个人28周的时间对当前未结订单进行审核，其中潜在的人工错误为3％-5％。

§4.2.3替换和改进

在一个实施例中，如果确定的不信任记分(块350)接近于阈值，则可对更大的样本集或子集进行人工评估，以澄清对于指示广告商是否为信任的广告商的确定。

在另一实施例中，自动检查可用于对广告筛选预选内容。如果所述广告中的任一个广告包含这样的内容，则要么可不批准这样的广告(a)，要么可将这样的广告转移到人工审核设施(b)。将不包含所述预选内容中的任何内容的广告存储为批准广告，这些广告可获得服务。

偶尔或基于“抽查”，可识别由信任的广告商提交的广告的样本或子集，并且可为它们确定不信任记分。如果确定不信任记分大于阈值，则可取出该广告商的所有现有的批准的广告。另外，可对广告组进行人工审核。最后，可去除信任的广告商的称号。然而，如果来自信任的广告商的广告的不信任记分低于阈值，则信任的广告商将保留该称号。

可选地，当对信任的广告商进行抽查时，可使用不同的阈值，阈值可比正常阈值高，也可比正常阈值低，但是优选地为比正常阈值高。

在另一实施例中，由于表明来自信任的广告商的广告的质量开始下滑，所以该信任的广告商的不信任记分的任何显著增加可发起更严格的审核。类似地，可对不信任记分或从其推出不信任记分的信息进行时间加权，从而可放大最近的改进或拒绝。

虽然参照来自广告商的广告集描述了本发明，但是本发明可应用于来自任何源的广告集。例如，第三方公司可提供广告复制服务。可将这样的第三方命名为“信任源”。

虽然参照人工审核设施描述了以上的实施例中的至少一些，但是在根据本发明的至少一些实施例中，可使用除人工审核过程之外的一些其它审核过程。这样的其它审核过程可能在(a)时间、(b)金钱、(c)人力资源、(d)计算机资源等方面是昂贵的。

§4.2.4示例性设备

图5是可执行以上所讨论的操作中的一个或多个操作的机器500的框图。机器500可包括一个或多个处理器560、一个或多个输入/输出接口单元530、一个或多个存储设备550以及有助于在耦合的部件中进行信息通信的一个或多个***总线和/或网络540。一个或多个输入设备510和一个或多个输出设备520可与一个或多个输入/输出接口530耦合。

一个或多个处理器560可执行机器可执行指令(比如，在从PaloAlto，California的Sun Microsystem Inc.可获得的Solaris操作***上或从诸如Durham，North Carolina的Red Hat Inc.的一些厂商可获得的Linux操作***上运行的C或C++)，以执行本发明的一个或多个方面。可将机器可执行指令的至少一部分(临时或较永久地)存储在一个或多个存储设备550上，和/或可经由一个或多个输入/输出接口单元530从外部源接收机器可执行指令的至少一部分。

在一个实施例中，机器500可以是一个或多个传统的个人电脑。在这种情况下，处理单元560可以是一个或多个微处理器。总线540可包括***总线。存储设备550可包括***存储器，诸如只读存储器(ROM)和/或随机存取存储器(RAM)。存储设备550还可包括用于从硬盘读取和写入硬盘的硬盘驱动器、用于从(比如，可拆卸)磁盘读取或写入(比如，可拆卸)磁盘的磁盘驱动器以及用于从可拆卸(磁)光盘读取或写入可拆卸(磁)光盘的光盘驱动器，可拆卸(磁)光盘诸如压缩盘或其它(磁)光学媒介。

用户可通过输入设备510，诸如键盘和点击设备(比如，鼠标)将命令和信息键入个人电脑。还可(或可选地)包括其它输入设备，诸如麦克风、控制杆、游戏手柄、卫星天线、扫描仪等。这些输入设备和其它输入设备通常通过与***总线540耦合的合适的接口530与处理单元560连接。输出设备520可包括监控器或其它类型的显示设备，输出设备520也可经由合适的接口与***总线540连接。除了监控器之外(或代替监控器)，个人电脑可包括其它(***)输出设备(未显示)，诸如扬声器和打印机。

可通过一个或多个机器500执行上述各种操作，并且可将上述各种信息存储在一个或多个机器500上。

§4.3总结

可从前面的公开内容看出，本发明可用于自动地批准由广告商提交的广告，而不是采用对由广告商提交的许多广告中的每个进行笨拙的、昂贵的且容易出错的人工审核，人工审核导致延迟发行/联合投放这些广告。可通过使用本发明的一些实施例来使该过程的许多部分自动化。自动检查还确保了广告的质量，以最小化发行/联合投放不合适或不正确的广告的可能性。

本发明的优选实施例的前面的描述提供了实例和描述，但是其不是意欲进行穷举的或将本发明限于所公开的精确形式的。根据以上教导，进行修改和改变是可能的，或者可从本发明的实施获得修改和改变。

Claims (32)

1、一种方法，包括：

a)接受特定源的广告集；

b)选择所述广告集的子集；

c)从第一审核过程接收对所述子集的广告的批准或拒绝；

d)使用关于来自第一审核过程的、对所述子集的广告的批准或拒绝的信息来确定所述源的记分；和

e)如果广告商记分指示所述特定源为信任的广告商，则使用第二审核过程对所述集中的不在所述子集中的广告进行自动批准。

2、如权利要求1所述的方法，其中，所述第一审核过程为人工审核过程。

3、如权利要求1所述的方法，其中，所述记分为信任记分。

4、如权利要求1所述的方法，其中，所述记分为不信任记分。

5、如权利要求1所述的方法，其中，确定所述源的记分还包括确定所述子集中拒绝的广告的百分比。

6、如权利要求5所述的方法，其中，确定记分还对拒绝所述子集中的被拒绝的广告的理由进行利用。

7、如权利要求1所述的方法，其中，所述广告集包括Web广告。

8、如权利要求1所述的方法，还包括：

f)针对预选的词或短语自动地筛选批准的广告。

9、如权利要求8所述的方法，其中，所述预选的词中的至少一个为URL。

10、一种广告批准方法，包括：

a)接收具有源指示的广告集；

b)确定指示的源是否为信任的源；和

c)如果确定所述指示的源为信任的源，则不对所述广告集中的至少一个广告进行人工审核就批准所述广告集。

11、如权利要求10所述的方法，还包括：

d)如果确定所述指示的源不是信任的源，则

-选择所述广告集的子集；

-批准或拒绝所述子集的广告；

-使用关于人工批准或拒绝的广告的信息来确定所述源的记分；和

-如果所述源的记分指示所述特定源为信任的，则将所述源识别为信任的源。

12、如权利要求11所述的方法，其中，所述记分为信任记分。

13、如权利要求11所述的方法，其中，所述记分为不信任记分。

14、如权利要求11所述的方法，其中，所述批准或拒绝所述子集中的广告的步骤使用人工审核过程。

15、一种广告批准方法，包括：

a)选择由信任的源提供的第一广告组的子集；

b)接受对所述子集中未批准的广告的确定；

c)使用关于所述子集中未批准的广告、所述子集中批准的广告和任何未批准的理由的信息来确定记分；和

d)如果所述记分表示所述源不再是信任的源，则从发行中取出从信任的源接收的第二广告组中的至少一个广告。

16、如权利要求15所述的方法，其中，从人工审核过程接受对所述子集中未批准的广告的确定。

17、一种设备，包括：

a)用于接受特定源的广告集的输入；

b)用于选择所述广告集的子集的装置；

c)用于从第一审核过程接收对所述子集的广告的批准或拒绝的装置；

d)用于使用关于来自第一审核过程的、对所述子集的广告的批准或拒绝的信息来确定所述源的记分的装置；和

e)用于如果广告商记分指示所述特定源为信任的广告商，则使用第二审核过程对所述集中的不在所述子集中的广告进行自动批准的装置。

18、如权利要求17所述的设备，其中，所述第一审核过程为人工审核过程。

19、如权利要求17所述的设备，其中，所述记分为信任记分。

20、如权利要求17所述的设备，其中，所述记分为不信任记分。

21、如权利要求17所述的设备，其中，所述用于确定所述源的记分的装置包括用于确定所述子集中拒绝的广告的百分比的装置。

22、如权利要求21所述的设备，其中，所述用于确定记分的装置在其确定过程中对拒绝所述子集中的被拒绝的广告的理由进行利用。

23、如权利要求17所述的设备，其中，所述广告集包括Web广告。

24、如权利要求17所述的设备，还包括：

f)用于针对预选的词或短语自动地筛选批准的广告的装置。

25、如权利要求24所述的设备，其中，所述预选的词中的至少一个为URL。

26、一种广告批准设备，包括：

a)用于接收具有源指示的广告集的输入；

b)用于确定指示的源是否为信任的源的装置；和

c)用于如果确定所述指示的源为信任的源，则不对所述广告集中的至少一个广告进行人工审核就批准所述广告集的装置。

27、如权利要求26所述的设备，还包括：

d)下述装置，该装置用于：

如果确定所述指示的源不是信任的源，则

-选择所述广告集的子集；

-批准或拒绝所述子集的广告；

-使用关于人工批准或拒绝的广告的信息来确定所述源的记分；和

-如果所述源的记分指示所述特定源为信任的，则将所述源识别为信任的源。

28、如权利要求27所述的设备，其中，所述记分为信任记分。

29、如权利要求27所述的设备，其中，所述记分为不信任记分。

30、如权利要求27所述的设备，其中，所述用于批准或拒绝所述子集中的广告的装置使用人工审核过程。

31、一种广告批准设备，包括：

a)用于选择由信任的源提供的第一广告组的子集的装置；

b)用于接受对所述子集中未批准的广告的确定的装置；

c)用于使用关于所述子集中未批准的广告、所述子集中批准的广告和任何未批准的理由的信息来确定记分的装置；和

d)用于如果所述记分表示所述源不再是信任的源，则从发行中取出从信任的源接收的第二广告组中的至少一个广告的装置。

32、如权利要求31所述的设备，其中，从人工审核过程接受对所述子集中未批准的广告的确定。

Images