CN107798563B - 基于多模态特征的互联网广告效果测评方法及*** - Google Patents

Abstract

本发明公开了基于多模态特征的互联网广告效果测评方法及***，包括：步骤(1)：采集各项数据：采集用户的个人基本信息及认知方式，用户在浏览互联网网页过程中产生的多模态行为特征以及用户对广告的记忆程度信息；步骤(2)：数据分析与特征提取：根据所述采集的数据，通过特征相关性分析筛选特征，进行特征融合；步骤(3)：建立广告记忆力模型：挖掘用户的浏览模式，将用户的浏览模式融合步骤(2)得到的特征，构建广告记忆力模型；步骤(4)：利用已经建立好的广告记忆力模型计算用户对广告的记忆程度，从而对互联网广告效果进行测评。实现搜索引擎结果页内页面的优化布局、网络广告的效果的测评和用户体验的提升。

Description

基于多模态特征的互联网广告效果测评方法及***

技术领域

本发明涉及互联网广告效果评估的技术领域，特别是涉及基于多模态特征的互联网广告效果测评方法及***。

背景技术

点击率、转换率等一直作为评价互联网广告的金标准，随着网络广告的增多，以及人们对网络广告了解的深入，除非个别富有创意和吸引力的广告，网民不会盲目点击广告，也有可能网民浏览广告后已经形成一定的印象而无须点击广告或者保存链接的网址，甚至以后经常直接到该网站访问等。像点击率这种衡量指标最大的缺点忽略了这些受众可能注意到但没有付出具体行为的广告，而转化率则将用户对网页的浏览和广告的浏览混为一谈。平均不到1％的点击率已经不能充分反映网络广告的真正效果。据现在的统计数字显示：网络广告平均点击率已从30％降低到0.5％以下。因此目前流行的衡量旗帜广告传播效果的方法欠妥，这驱使着我们找到一种新的指标，能够真实反映用户对网页广告的注意力程度。

所以对于品牌广告来说，广告的成功不仅取决于是否点击或者阅读广告后是否购买该商品，而更多地应该表现为用户是否注意到并记住该商品，形成品牌效应，创造独特良好的品牌或产品形象，提升较长时期内的离线转化率。因此，用户在浏览结束后对广告的记忆力度应当是衡量广告效果的一项重要标准。研究用户对广告的记忆力度便具有了及其重要的意义。眼动追踪技术的出现，提供了一种获取用户无意识的注意信息的方式，用户眼动行为特征、鼠标行为特征、用户特征以及广告特征相结合，

综上所述，现有技术中针对搜索引擎结果页内如何更加客观、科学的计算广告质量，评测广告效果，增强用户体验的问题，尚缺乏行之有效的解决方案。

发明内容

本发明为了解决上述问题，提供基于多模态特征的互联网广告效果测评方法及***。本发明将用户对于广告的记忆力作为衡量广告效果的一项重要的新标准，通过在搜索引擎结果页内嵌入Javascript代码的方式获取用户显式的鼠标行为信息，运用眼动追踪方式获取用户隐式的眼动行为信息，分析多模态特征中页面布局和用户认知对用户行为的影响，结合结果页内链接的组合模式和时序关系，建立广告记忆力模型。实现搜索引擎结果页内页面的优化布局、网络广告的效果的测评和用户体验的提升。

为了实现上述目的，本发明采用的第一种技术方案：

基于多模态特征的互联网广告效果测评方法，包括：

步骤(1)：采集各项数据：采集用户的个人基本信息及认知方式，用户在浏览互联网网页过程中产生的多模态行为特征以及用户对广告的记忆程度信息；

步骤(2)：数据分析与特征提取：根据所述采集的数据，通过特征相关性分析筛选特征，进行特征融合；

步骤(3)：建立广告记忆力模型：挖掘用户的浏览模式，将用户的浏览模式融合步骤(2)得到的特征，构建广告记忆力模型；

步骤(4)：利用已经建立好的广告记忆力模型计算用户对广告的记忆程度，从而对互联网广告效果进行测评。

所述步骤(1)中，采集各项数据的步骤为：

步骤(1-1)：采集用户自身特征，所述用户自身特征包括：姓名、年龄、性别、用户认知方式；所述用户的认知方式通过镶嵌图形测验获得；

步骤(1-2)：采集广告自身特征，所述广告自身特征，包括：广告的尺寸和广告的位置；

步骤(1-3)：采集眼动行为特征：利用眼动追踪方式，在用户浏览互联网网页过程中佩戴眼动仪来获取用户的眼动行为特征；

步骤(1-4)：采集鼠标行为特征：在互联网网页内嵌入用于记录鼠标轨迹的Javascript代码来获得用户浏览网页过程中的点击广告区域的鼠标行为特征；

步骤(1-5)：采集广告记忆程度：每个网页浏览结束后，对用户进行广告记忆测试，得到用户的广告记忆程度。

所述步骤(1-5)中，广告记忆程度划分为：“A：肯定看到”，“B：似乎已经看到”，“C：似乎没有看到”，“D：肯定没有看到”，四个等级。

所述步骤(2)中，数据分析与特征提取的步骤为：

步骤(2-1)：特征初步筛选：通过相关性分析的方式从用户自身特征、广告自身特征、眼动行为特征和鼠标行为特征中筛选与广告记忆程度在额定显著性水平下显著相关性的特征；

步骤(2-2)：特征相关性分析：对步骤(2-1)筛选后的特征进行特征间相关性分析，去除特征间相关性低的特征；

步骤(2-3)：特征降维：对经过步骤(2-2)处理后的特征进行特征融合，从而降低特征维数，去除数据噪声。

所述步骤(3)中，建立广告记忆力模型的步骤为：

步骤(3-1)：频繁浏览模式挖掘：计算用户在搜索引擎结果页内的频繁浏览模式序列；

步骤(3-2)：模型建立：根据步骤(2)得到的特征，结合步骤(3-1)的浏览模式序列，采用Random Forest算法建立广告记忆力模型；

所述步骤(3-1)的步骤为：

步骤(3-1-1)：依照广告位置对步骤(1)采集的数据进行分类，针对每个广告位置根据采集到的用户进入每条链接区域内时间的先后顺序进行排列，每个用户查看每个网页中检索链接的顺序都对应一条浏览模式序列Q_i；

步骤(3-1-2)：为步骤(3-1-1)得到的所有数据添加三个属性并初始化：被采纳长度l＝(l₁,l₂,...,l_p)、元素的支持度S＝(s₁,s₂,...,s_p)，设定的频繁度阈值s；l₁＝0,s₁＝0；

所述元素的支持度为任一元素在不同序列中的同一个位置出现的次数；

所述被采纳长度为任一序列中，从首元素开始算起，元素的支持度大于设定的频繁度阈值的个数；

步骤(3-1-3)：计算序列首元素的支持度s_j，若序列首元素的支持度s_j小于设定的频繁度阈值s，则令序列首元素的支持度s_j＝0，并剔除当前序列；

步骤(3-1-4)：对剩余序列按照首元素值从大到小进行排序，创建与排序后每个首元素相对应的队列G₁,G₂,...,G_t，将序列按类别进入到不同队列中，并删除每个序列首元素；

步骤(3-1-5)：更新序列的l和S属性，其中l_j+1＝l_j+1，s_j+1＝s；

步骤(3-1-6)：重复步骤(3-1-3)和(3-1-4)，直至每个序列中的元素都以支持度等于0结束为止；

步骤(3-1-7)：计算每个序列的得分F_i＝l_i*s_i，从F_i中找到最大得分maxF_i，最大得分对应的序列为频繁浏览模式序列，输出浏览模式序列Q_i，否则，判定序列为非频繁浏览模式序列。

所述步骤(3-2)的步骤为：

步骤(3-2-1)：根据挖掘出的频繁浏览模式序列，筛选出所述步骤(1)收集到的数据集中包含频繁浏览模式序列的数据项；

步骤(3-2-2)：根据步骤(2-3)所得到的特征，使用Random Forest算法计算出所有用户在每个互联网网页内概率值最大的广告记忆程度；

步骤(3-2-3)：根据步骤(2-3)所得到的特征，使用Random Forest算法计算出具有频繁浏览模式序列的数据项在每个互联网网页内的概率值最大的广告记忆程度；

步骤(3-2-4)：对比同一用户查看每个网页的数据项经过步骤(3-2-2)计算所得概率值最大的广告记忆程度和经过步骤(3-2-3)计算所得概率值最大的广告记忆程度，以两者概率值大的广告记忆程度更新步骤(3-2-2)获得的结果。

基于多模态特征的互联网广告效果测评***，包括：存储器、处理器以及存储在存储器上，并在处理器上运行的计算机指令，所述计算机指令被运行时，完成以下步骤：

步骤(1)：采集各项数据：采集用户的个人基本信息及认知方式，用户在浏览互联网网页过程中产生的多模态行为特征以及用户对广告的记忆程度信息；

步骤(2)：数据分析与特征提取：根据所述采集的数据，通过特征相关性分析筛选特征，进行特征融合；

步骤(3)：建立广告记忆力模型：挖掘用户的浏览模式，将用户的浏览模式融合步骤(2)得到的特征，构建广告记忆力模型；

步骤(4)：利用已经建立好的广告记忆力模型计算用户对广告的记忆程度，从而对互联网广告效果进行测评。

一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在处理器被运行时，完成以下步骤：

步骤(1)：采集各项数据：采集用户的个人基本信息及认知方式，用户在浏览互联网网页过程中产生的多模态行为特征以及用户对广告的记忆程度信息；

步骤(2)：数据分析与特征提取：根据所述采集的数据，通过特征相关性分析筛选特征，进行特征融合；

步骤(3)：建立广告记忆力模型：挖掘用户的浏览模式，将用户的浏览模式融合步骤(2)得到的特征，构建广告记忆力模型；

步骤(4)：利用已经建立好的广告记忆力模型计算用户对广告的记忆程度，从而对互联网广告效果进行测评。

本发明的有益效果：

(1)本发明的基于多模态特征的互联网广告效果测评***，通过采集用户在浏览搜索引擎结果页过程中产生的多种类型的测试行为信息，通过特征间及特征和广告记忆力间的相关性分析，降低特征维数等方式，融合多模态特征构建广告记忆力模型，并使用频繁模式挖掘方法进行改进。优化搜索引擎结果页内广告的布局方式，提升用户的交互体验，更科学的评测广告效果。

(2)本发明的基于多模态特征的互联网广告效果测评方法，首次提出衡量广告质量的新指标即用户对广告的记忆力，收集眼动行为信息、鼠标行为信息、广告自身信息以及用户自身信息进行特征提取与特征融合，结合用户频繁浏览模式对用户关于广告的记忆力建模。不仅可以准确的预测用户浏览完结果页后对广告的记忆程度，也能够科学、真实的反映搜索结果页内广告效果，为互联网广告效果评估提供重要贡献。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明的基于多模态特征的互联网广告效果测评方法流程示意图；

图2是本发明行为数据采集实验中搜索引擎结果页的网页材料示例图；

图3是本发明实验数据汇总图；

图4是本发明搜索引擎结果页内眼动特征PCA降维碎石图；

图5是本发明广告体内眼动特征PCA降维碎石图；

图6是本发明广告体的眼动特征经PCA降维后的结果；

图7是本发明挖掘的top-5频繁浏览模式汇总图；

图8是本发明结合频繁浏览模式下不同方法构建模型准确率对比图；

图9是本发明广告记忆力模型不同指标对比图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1：

本发明为了解决上述问题，提供一种基于多模态特征的互联网广告效果测评方法。本发明将用户对于广告的记忆力作为衡量广告效果的一项重要的新标准，通过在搜索引擎结果页内嵌入Javascript代码的方式获取用户显式的鼠标行为信息，运用眼动追踪方式获取用户隐式的眼动行为信息，分析多模态特征中页面布局和用户认知对用户行为的影响，结合结果页内链接的组合模式和时序关系，建立广告记忆力模型。实现搜索引擎结果页内页面的优化布局、网络广告的效果的测评和用户体验的提升。

为了实现上述目的，本发明采用如下技术方案：

一种基于多模态特征的互联网广告效果测评方法，如图1所示，该方法包括：

(1)采集各项数据：采集用户的个人基本信息及认知风格，用户在浏览过程中产生的多模态行为信息以及用户对广告的记忆程度信息；

人在认知操作中表现出来的个体特征。又称认知风格。认知方式表现为一个人***和尖锐化等。其中最主要的是H.A.威特金提出的场依存性和场独立性特征。具有场依存性特征的人，倾向于以整体的方式看待事物，在知觉中表现为容易受环境因素的影响，具有场独立性特征的人，倾向于以分析的态度接受外界刺激，在知觉中较少受环境因素的影响。认知风格是指个人所偏爱使用的信息加工方式，也叫认知方式。认知方式，包括：1、场依存与场独立；2、冲动型与沉思型；3、辐合型与发散型；4、立法型、执法型与司法型。

(2)数据分析与特征提取：根据所述采集到的多模态特征，进行相关性分析以筛选特征，对数据进行归一化处理并针对包含过多特征的信息源进行特征融合；

(3)建立广告记忆力模型：挖掘用户常见的浏览模式，融合用户自身特征、广告自身特征、鼠标行为特征和眼动追踪特征，构建基于多模态特征的广告记忆力模型；

(4)测评广告记忆力模型：计算使用所述模型下广告的记忆程度，根据各项指标值评测所建立的广告记忆力模型的有效性。

在本实施例中，使用著名心理学家H.A.Witkin等人提出的镶嵌图形测试判别用户认知方式。

在本实施例中，使用德国普升科技有限公司研发的SMI RED(Version2.5)眼动仪获取眼动行为信息，选取的采样频率为120Hz。

在本实施例中，通过网页招募被试人员，对所有被试人员进行视觉情况筛选，裸眼视力或矫正视力不得小于1.0，并剔除色盲、色弱等影响眼动实验者。共招募了63名被试用户，被试中男女比例1:1.2，年龄范围在18-21岁，平均年龄19.7岁。

在本实施例中，获取眼动行为的眼动仪采用德国普升科技有限公司研发的SMIRED(Version2.5)眼动仪，采样频率为120Hz。该装置非便携穿戴式设备，眼动实验开始前需要进行眼动校准工作，校准达标后要求被试在眼动数据收集期间不可随意移动头部。

在本实施例中，实验材料分为两部分，分别为镶嵌图形测验所需的图形材料与用户行为数据采集所需的网页材料。网页材料要求搜索内容尽可能覆盖范围广泛，产品类型不一，例如：游乐园、银杏树。为防止网络因素的印象，保证变量可控性，实验所需网页通过抓取获得，采用的搜索引擎选择中文百度。获取的网页仅保留十条结果链接、广告链接和右侧相关推荐，剔除其他影响链接。为方便表示，我们将页面内容划分成不同兴趣区域，并以序号标记。如：十条结果链接所在兴趣区域按照自上而下分别表示为1-10号，广告兴趣区域记为AD，右侧相关推荐兴趣区域记为R。网页内嵌入获取鼠标行为记录的Javascript代码。由于需要研究广告位置这一因素的影响，因此实验采取3(页面布局)×2(认知风格)的设计。为防止用户疲劳，每个用户最多执行6项搜索任务，即浏览6个不同网页，用户可根据自身情况停止实验。网页材料示例图如图2所示。

所述步骤(1)中，采集各项数据的步骤为：

(1-1)用户个人信息采集模块：采集用户的各项个人信息，例如：用户的年龄、性别等信息，通过H.A.Witkin等人提出的镶嵌图形测验获得用户认知方式；

(1-2)采集眼动行为信息：利用眼动追踪方式，在用户浏览搜索引擎结果页过程中佩戴眼动仪来获取用户的眼动行为信息，包括注视点数目、注视时长、回视数目、进入时间等；

(1-3)采集鼠标行为信息：在实验所需搜索结果页材料内嵌入记录鼠标行动的Javascript代码获得用户浏览过程中的点击广告区域的鼠标行为信息，包括鼠标点击位置、点击数目、移动速度等；若鼠标点击位置在广告区域内，则用户浏览过广告；

(1-4)采集广告记忆程度：每个网页浏览结束后，进行广告再认测试，以检查被试对广告的记忆情况。

所述步骤(1-4)中，广告记忆程度划分为：“A：肯定看到”，“B：似乎已经看到”，“C：似乎没有看到”，“D：肯定没有看到”，四个等级。

在本实施例中，用户浏览过程产生的行为数据共计319条，数据汇总图如图3所示。

所述步骤(2)中，数据分析与特征提取的步骤为：

(2-1)特征初步筛选：除步骤(1-4)获取的信息外，初步筛选其他信息源内与广告记忆程度关系密切的特征；

(2-2)特征相关性分析：对步骤(2-1)筛选后的特征进行相关性分析，去除多种信息源内相关特征；

在本实施例中，共收集到四种类型的特征信息，分别为：广告自身信息、用户信息、鼠标行为特征、眼动行为特征。其中鼠标行为信息作为显式信息，眼动信息作为隐式信息，广告自身信息(如，尺寸、位置)，以及用户信息(如：认知风格、广告记忆力)。除记忆力划分信息将作为类标签，其余信息均可作为模型特征。

在本实施例中，通过采集鼠标行为信息可以得到众多特征，其中大部分特征都与眼动信息中的特征具有较强的正相关性。但相较于鼠标信息，眼动信息更科学、真实、即时。所以只选取具有较强代表性的点击特征。图4展示了在本次实验初期提取出的会对广告记忆力造成影响的29个特征。

(2-3)特征降维：对经过步骤(2-2)处理后仍包含大量特征的信息源进行特征降维处理，去除数据噪声，提取多特征中对广告程度影响较为重要的成分。

在本实施例中，由于眼动特征过多，因此对眼动特征进行了PCA(PrincipalComponent Analysis)降维操作。眼动特征分为两个集合，为了能够更好的区分不同集合的效应，所以将两个集合分开降维。降维前对数据进行适应性分析，这里选择KMO检验(KaiserMeyer Olkin)，检验结果均大于0.6，表示实验数据适用PCA降维。图5、图6分别为搜索引擎结果页和广告体的眼动特征经PCA降维后的结果，这里制定特征值大于1，图5、图6中实心圆点分别表示两个特征集降维后满足条件的综合特征。可以看出SERPs眼动特征集经过PCA降维后提取出4个主因子，而广告体SERPs眼动特征集经过降维后提取出3个主因子，累计贡献分别为95.4％和85.6％。

所述步骤(3)中，建立广告记忆力模型的步骤为：

(3-1)频繁浏览模式挖掘：根据算法DFBP(Directional Frequent BrowsingPatterns)计算用户在搜索引擎结果页内的频繁浏览模式；

(3-2)模型建立模块：根据所述特征筛选与处理后的特征，结合用户频繁浏览模式，采用Random Forest算法建立广告记忆力模型；

所述步骤(3-1)的步骤为：

步骤(3-1-1)：依照广告位置对步骤(1)采集的数据进行分类，每个类均根据采集到的用户首次进入每个兴趣区域内时间的先后顺序进行排列，每个用户查看每个网页都对应一条浏览模式序列Q_i；

例如：广告位置，包括：网页的顶部、网页的中部或网页的底部；

每个用户查看每个网页都对应一条浏览模式序列：

例如，打开百度，输入检索词，对应检索词有10条检索链接，编号分别是1-10，对于广告区域，定义为AD，检索词相关区域，定义为R；

假设，用户的眼睛浏览顺序分别是AD、1、2、3、R、4、5、6、8、7、9、10；那么该用户的浏览模式序列就是：AD→1→2→3→R→4→5→6→8→7→9→10；

假设，用户的眼睛浏览顺序分别是1、2、3、AD、4、5、6、7、8、9、10、R；那么该用户的浏览模式序列就是：1→2→3→AD→4→5→6→7→8→9→10→R；

假设，用户的眼睛浏览顺序分别是AD、2、3、4、5；那么该用户的浏览模式序列就是：AD→2→3→4→5；

步骤(3-1-2)：为步骤(3-1-1)得到的所有数据添加三个属性并初始化：被采纳长度L＝(l₁,l₂,...,l_p)，支持度序列S＝(s₁,s₂,...,s_p)，支持度阈值s；其中，l₁＝0,s₁＝0，

元素的支持度记为元素的频繁度，当一个数据集内有300条序列，首元素为AD序列的有30条，此时首元素的支持度30；首元素一致的前提下，第二个元素为1的有10条，此时第二个元素的支持度为10；前两个元素一致的前提下，第三个元素为2的有7条，此时第三个元素的支持度为7，以此类推。

被采纳长度，是指某序列的具备频繁条件的具体长度信息。

序列从首元素开始计算首元素的支持度，若首元素的支持度大于支持度阈值s，则l₁＝1，L＝(1)，继续进行，否则l₁＝0，L＝(0)，结束；

当l₁＝1时，计算第二个元素的支持度，若第二个元素的支持度大于支持度阈值s，则l₂＝2，L＝(1,2)，继续进行，否则保持l₁＝1，L＝(1)不变，结束；

当l₂＝2时，计算第三个元素的支持度，若第三个元素的支持度大于支持度阈值s，则l₃＝3，L＝(1,2,3)，依次类推，继续进行后续元素支持度的计算；否则保持不变，结束。

例如，浏览模式序列AD→1→2→3→R→4→5→6→8→7→9→10，支持度阈值s＝8。首元素AD的支持度为30>8，则l₁＝1，L＝(1)；第二个元素1的支持度为10>8，则l₂＝2，L＝(1,2)；第三个元素2的支持度为7<8,则保持l₂＝2，L＝(1,2)不变，结束。

支持度序列，用于了解某序列的具体频繁度信息。从首元素开始计算第一个元素的支持度，当一个数据集内有300条数据，首元素为AD的有30条，此时首元素的支持度s₁＝30，S＝(30)；首元素一致的前提下，第二个元素为1的有10条，此时第二个元素的支持度为s₂＝10，S＝(30，10)；前两个元素一致的前提下，第三个元素为2的有7条，此时第三个元素的支持度为s₃＝7，7<s，结束，S＝(30，10)保持不变，若第三个元素满足大于支持度阈值则以此类推。

频繁度阈值，设定值。当一个元素的支持度大于频繁度阈值时，即被认为该元素是频繁的，这里令s＝8。

步骤(3-1-3)：计算序列首元素的支持度s_j，若s_j＜s，则令序列s_j＝0并剔除该序列；

例如，当前数据集内有30条序列的首元素是一样的，首元素都是AD，那么该首元素的支持度s_j＝30；

步骤(3-1-4)：对剩余序列按照首元素值从大到小进行排序，创建与排序后每个首元素相对应的队列G₁,G₂,...,G_t，将序列按类别进入不同队列，并删除每个序列首元素；

步骤(3-1-5)：更新序列的L和S属性，为L和S分别添加l_j+1和s_j+1；其中，l_j+1＝l_j+1，s_j+1＝s，原始L＝(l₁,l₂...,l_j)和S＝(s₁,s₂,...,s_j)，更新后为L＝(l₁,l₂...,l_j,l_j+1)和S＝(s₁,s₂,...,s_j,s_j+1)；

步骤(3-1-6)：重复步骤(3-1-3)和(3-1-4)，直至每个序列中的元素都以支持度等于0结束为止；

步骤(3-1-7)：计算每个序列的得分F_i＝l_i*s_i，从F_i中找到最大得分maxF_i，最大得分对应的序列为频繁浏览模式序列，输出浏览模式序列Q_i，否则，判定序列为非频繁浏览模式序列。

所述步骤(3-2)中，模型建立模块的步骤为：

(3-2-1)：根据所述步骤(1-4)对广告的记忆力分为四个等级，程度递减。对四个等级进行量化：

影响量化等级的特征即为自变量，表示为：X＝(x₁,x₂,...,x_n)。

根据所述算法挖掘出的频繁浏览模式匹配，筛选出数据集D中包含频繁浏览模式的数据集子集

(3-2-2)：根据所述步骤(2-2)与步骤(2-3)所得到的特征，使用Random Forest算法计算出所有用户在每个搜索结果页内概率值最大的广告记忆程度

(3-2-3)：根据所述步骤(2-2)与步骤(2-3)所得到的特征，使用Random Forest算法计算出具有频繁浏览模式的数据在每个搜索结果页内的概率值最大的广告记忆程度

(3-2-4)：对比所述步骤(3-2-2)与所述步骤(3-2-3)内相同数据项在广告记忆力模型下的计算所得的记忆程度与概率值

如果

则

不变，否则

在本实施例中，最终结果汇总如图7所示。

所述步骤(4)中，测评广告记忆力模型的步骤为：

(4-1)测评频繁模式改进算法：比较广告记忆力模型预测出的广告记忆程度与真实值，值相同则得分加1，不同得分不变，得分数与数据项数比值即为模型准确率，比较各种原始算法下模型准确率以及结合频繁模式的模型算法准确率，证明改进算法的优越性；

在本实施例中，采取各种分类方法中较为经典的几种分类方法预测记忆力度的准确性。不同方法下准确率对比图如图8所示。上方虚线表示单纯使用经典方法进行分类时的平均准确率，下方代表经过我们的改进后分类准确率的平均值。

(4-2)模型测评模块：比较各种算法建立的记忆力模型在不同衡量指标下本模型的优越性。

在本实施例中，各项指标将多种算法的算数平均值作为基线，图9列举出被抽取的几种方法的MAE和MSE性能指标。MAE(Mean Absolute Error)是绝对误差的平均值,平均绝对误差能更好地反映预测值误差的实际情况。MSE(Mean Squared Error)是指参数估计值与参数真值之差平方的期望值，他可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。

可以看出：首先，使用Random Forest预测记忆力度准确性最好，并且稳定性很好，用它描述实验数据精度高。分析原因，Random Forest是通过集成学***均值的情况时，改进后准确率上升程度更大，更明显。

本发明的有益效果：

(1)本发明的基于多模态特征的互联网广告效果测评***，通过采集用户在浏览搜索引擎结果页过程中产生的多种类型的测试行为信息，通过特征间及特征和广告记忆力间的相关性分析，降低特征维数等方式，融合多模态特征构建广告记忆力模型，并使用频繁模式挖掘方法进行改进。优化搜索引擎结果页内广告的布局方式，提升用户的交互体验，更科学的评测广告效果。

(2)本发明的基于多模态特征的互联网广告效果测评方法，首次提出衡量广告质量的新指标即用户对广告的记忆力，收集眼动行为信息、鼠标行为信息、广告自身信息以及用户自身信息进行特征提取与特征融合，结合用户频繁浏览模式对用户关于广告的记忆力建模。不仅可以准确的预测用户浏览完结果页后对广告的记忆程度，也能够科学、真实的反映搜索结果页内广告效果，为互联网广告效果评估提供重要贡献。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.基于多模态特征的互联网广告效果测评***，其特征是，包括：存储器、处理器以及存储在存储器上，并在处理器上运行的计算机指令，所述计算机指令被运行时，完成以下步骤：

步骤(1)：采集各项数据：采集用户的个人基本信息及认知方式，用户在浏览互联网网页过程中产生的多模态行为特征以及用户对广告的记忆程度信息；

采集用户自身特征，所述用户自身特征包括：姓名、年龄、性别、用户认知方式；所述用户的认知方式通过镶嵌图形测验获得；

采集广告自身特征，所述广告自身特征，包括：广告的尺寸和广告的位置；

采集眼动行为特征：利用眼动追踪方式，在用户浏览互联网网页过程中佩戴眼动仪来获取用户的眼动行为特征；

采集鼠标行为特征：在互联网网页内嵌入用于记录鼠标轨迹的Javascript代码来获得用户浏览网页过程中的点击广告区域的鼠标行为特征；

步骤(2)：数据分析与特征提取：根据所述采集的数据，通过特征相关性分析筛选特征，进行特征融合；

步骤(3)：建立广告记忆力模型：挖掘用户的浏览模式，将用户的浏览模式融合步骤(2)得到的特征，构建广告记忆力模型；

所述步骤(3)中，建立广告记忆力模型的步骤为：

步骤(3-1)：频繁浏览模式挖掘：计算用户在搜索引擎结果页内的频繁浏览模式序列；

所述步骤(3-1)的步骤为：

步骤(3-1-1)：依照广告位置对步骤(1)采集的数据进行分类，针对每个广告位置根据采集到的用户进入每条链接区域内时间的先后顺序进行排列，每个用户查看每个网页中检索链接的顺序都对应一条浏览模式序列Q_i；

步骤(3-1-2)：为步骤(3-1-1)得到的所有数据添加三个属性并初始化：被采纳长度l＝(l₁,l₂,...,l_p)、元素的支持度S＝(s₁,s₂,...,s_p)，设定的频繁度阈值s；l₁＝0,s₁＝0；所述元素的支持度为任一元素在不同序列中的同一个位置出现的次数；所述被采纳长度为任一序列中，从首元素开始算起，元素的支持度大于设定的频繁度阈值的个数；

步骤(3-1-3)：计算序列首元素的支持度s_j，若序列首元素的支持度s_j小于设定的频繁度阈值s，则令序列首元素的支持度s_j＝0，并剔除当前序列；

步骤(3-1-4)：对剩余序列按照首元素值从大到小进行排序，创建与排序后每个首元素相对应的队列G₁,G₂,...,G_t，将序列按类别进入到不同队列中，并删除每个序列首元素；

步骤(3-1-5)：更新序列的l和S属性，其中l_j+1＝l_j+1，s_j+1＝s；

步骤(3-1-6)：重复步骤(3-1-3)和(3-1-4)，直至每个序列中的元素都以支持度等于0结束为止；

步骤(3-1-7)：计算每个序列的得分F_i＝l_i*s_i，从F_i中找到最大得分maxF_i，最大得分对应的序列为频繁浏览模式序列，输出浏览模式序列Q_i，否则，判定序列为非频繁浏览模式序列；

步骤(3-2)：模型建立：根据步骤(2)得到的特征，结合步骤(3-1)的浏览模式序列，采用Random Forest算法建立广告记忆力模型；

所述步骤(3-2)的步骤为：

步骤(3-2-1)：根据挖掘出的频繁浏览模式序列，筛选出所述步骤(1)收集到的数据集中包含频繁浏览模式序列的数据项；

步骤(3-2-2)：根据步骤(2-3)所得到的特征，使用Random Forest算法计算出所有用户在每个互联网网页内概率值最大的广告记忆程度；

步骤(3-2-3)：根据步骤(2-3)所得到的特征，使用Random Forest算法计算出具有频繁浏览模式序列的数据项在每个互联网网页内的概率值最大的广告记忆程度；

步骤(3-2-4)：对比同一用户查看每个网页的数据项经过步骤(3-2-2)计算所得概率值最大的广告记忆程度和经过步骤(3-2-3)计算所得概率值最大的广告记忆程度，以两者概率值大的广告记忆程度更新步骤(3-2-2)获得的结果；

步骤(4)：利用已经建立好的广告记忆力模型计算用户对广告的记忆程度，从而对互联网广告效果进行测评。

2.如权利要求1所述的***，其特征是，所述步骤(2)中，数据分析与特征提取的步骤为：

步骤(2-1)：特征初步筛选：通过相关性分析的方式从用户自身特征、广告自身特征、眼动行为特征和鼠标行为特征中筛选与广告记忆程度在额定显著性水平下显著相关性的特征；

步骤(2-2)：特征相关性分析：对步骤(2-1)筛选后的特征进行特征间相关性分析，去除特征间相关性低的特征；

步骤(2-3)：特征降维：对经过步骤(2-2)处理后的特征进行特征融合，从而降低特征维数，去除数据噪声。

3.一种计算机可读存储介质，其特征是，其上存储有计算机指令，所述计算机指令在处理器被运行时，完成以下步骤：

步骤(1)：采集各项数据：采集用户的个人基本信息及认知方式，用户在浏览互联网网页过程中产生的多模态行为特征以及用户对广告的记忆程度信息；

采集用户自身特征，所述用户自身特征包括：姓名、年龄、性别、用户认知方式；所述用户的认知方式通过镶嵌图形测验获得；

采集广告自身特征，所述广告自身特征，包括：广告的尺寸和广告的位置；

采集眼动行为特征：利用眼动追踪方式，在用户浏览互联网网页过程中佩戴眼动仪来获取用户的眼动行为特征；

采集鼠标行为特征：在互联网网页内嵌入用于记录鼠标轨迹的Javascript代码来获得用户浏览网页过程中的点击广告区域的鼠标行为特征；

步骤(2)：数据分析与特征提取：根据所述采集的数据，通过特征相关性分析筛选特征，进行特征融合；

步骤(3)：建立广告记忆力模型：挖掘用户的浏览模式，将用户的浏览模式融合步骤(2)得到的特征，构建广告记忆力模型；

所述步骤(3)中，建立广告记忆力模型的步骤为：

步骤(3-1)：频繁浏览模式挖掘：计算用户在搜索引擎结果页内的频繁浏览模式序列；

所述步骤(3-1)的步骤为：

步骤(3-1-1)：依照广告位置对步骤(1)采集的数据进行分类，针对每个广告位置根据采集到的用户进入每条链接区域内时间的先后顺序进行排列，每个用户查看每个网页中检索链接的顺序都对应一条浏览模式序列Q_i；

步骤(3-1-2)：为步骤(3-1-1)得到的所有数据添加三个属性并初始化：被采纳长度l＝(l₁,l₂,...,l_p)、元素的支持度S＝(s₁,s₂,...,s_p)，设定的频繁度阈值s；l₁＝0,s₁＝0；所述元素的支持度为任一元素在不同序列中的同一个位置出现的次数；所述被采纳长度为任一序列中，从首元素开始算起，元素的支持度大于设定的频繁度阈值的个数；

步骤(3-1-3)：计算序列首元素的支持度s_j，若序列首元素的支持度s_j小于设定的频繁度阈值s，则令序列首元素的支持度s_j＝0，并剔除当前序列；

步骤(3-1-4)：对剩余序列按照首元素值从大到小进行排序，创建与排序后每个首元素相对应的队列G₁,G₂,...,G_t，将序列按类别进入到不同队列中，并删除每个序列首元素；

步骤(3-1-5)：更新序列的l和S属性，其中l_j+1＝l_j+1，s_j+1＝s；

步骤(3-1-6)：重复步骤(3-1-3)和(3-1-4)，直至每个序列中的元素都以支持度等于0结束为止；

步骤(3-1-7)：计算每个序列的得分F_i＝l_i*s_i，从F_i中找到最大得分maxF_i，最大得分对应的序列为频繁浏览模式序列，输出浏览模式序列Q_i，否则，判定序列为非频繁浏览模式序列；

步骤(3-2)：模型建立：根据步骤(2)得到的特征，结合步骤(3-1)的浏览模式序列，采用Random Forest算法建立广告记忆力模型；

所述步骤(3-2)的步骤为：

步骤(3-2-1)：根据挖掘出的频繁浏览模式序列，筛选出所述步骤(1)收集到的数据集中包含频繁浏览模式序列的数据项；

步骤(3-2-2)：根据步骤(2-3)所得到的特征，使用Random Forest算法计算出所有用户在每个互联网网页内概率值最大的广告记忆程度；

步骤(3-2-3)：根据步骤(2-3)所得到的特征，使用Random Forest算法计算出具有频繁浏览模式序列的数据项在每个互联网网页内的概率值最大的广告记忆程度；

步骤(3-2-4)：对比同一用户查看每个网页的数据项经过步骤(3-2-2)计算所得概率值最大的广告记忆程度和经过步骤(3-2-3)计算所得概率值最大的广告记忆程度，以两者概率值大的广告记忆程度更新步骤(3-2-2)获得的结果；

步骤(4)：利用已经建立好的广告记忆力模型计算用户对广告的记忆程度，从而对互联网广告效果进行测评。

4.如权利要求3所述的计算机可读存储介质，其特征是，所述步骤(2)中，数据分析与特征提取的步骤为：

步骤(2-1)：特征初步筛选：通过相关性分析的方式从用户自身特征、广告自身特征、眼动行为特征和鼠标行为特征中筛选与广告记忆程度在额定显著性水平下显著相关性的特征；

步骤(2-2)：特征相关性分析：对步骤(2-1)筛选后的特征进行特征间相关性分析，去除特征间相关性低的特征；

步骤(2-3)：特征降维：对经过步骤(2-2)处理后的特征进行特征融合，从而降低特征维数，去除数据噪声。

Images