CN113743281A - 节目广告素材识别方法、***、计算机设备和存储介质 - Google Patents
节目广告素材识别方法、***、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113743281A CN113743281A CN202111004373.2A CN202111004373A CN113743281A CN 113743281 A CN113743281 A CN 113743281A CN 202111004373 A CN202111004373 A CN 202111004373A CN 113743281 A CN113743281 A CN 113743281A
- Authority
- CN
- China
- Prior art keywords
- program
- advertisement
- data set
- region
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 334
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 98
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000002513 implantation Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 10
- 238000002372 labelling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0276—Advertisement creation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种节目广告素材识别方法、***、计算机设备和存储介质，其中，该节目广告素材识别方法包括：素材筛选步骤，获取视频数据，提取所述视频数据中包含广告素材的节目画面关键帧并基于所述广告素材筛选所述节目画面关键帧；数据集获取步骤，抠取所述节目画面关键帧中的广告素材作为素材模板图，并对所述素材模板图进行随机图像变换，得到数据集；目标识别步骤，基于所述数据集训练至少一目标检测模型，并基于所述目标检测模型检测所述视频数据中广告素材在节目画面的所属区域及其区域面积。通过本申请实现减少素材标注人工成本，提高数据处理效率。
Description
技术领域
本申请涉及互联网技术领域，特别是涉及节目广告素材识别方法、***、计算机设备和计算机可读存储介质。
背景技术
在许多综艺活动节目中，该主题活动的现场会有相关赞助商的海报、道具、相关产品，并且录制的节目中，片头、转场广告、角标以及口播提示条也会***相关节目赞助商的信息。广告商可以通过对节目中上述相关赞助商的产品、道具等产品面积和位置的检测来进行评估，比如从中心到边缘，将节目画面划分为黄金区域、中间区域和边缘区域，如图1所示，产品和道具在节目的黄金区域得到了不错的曝光，有利于吸引消费者的注意。由于消费者的目光主要聚焦在正在谈话的嘉宾，因此可建议加强嘉宾与道具、产品的互动等。因此对这些植入产品、道具等的检测和评估，有利于在后续展示中以新颖的形式和创意让消费者留下更深的印象。
图像识别技术在近几年得到了快速的发展，深度学习技术的出现使得图像识别技术在传统方法的基础上迈出了大的一步。通过获得的综艺节目的视频或图片，利用目标检测技术可以对节目中的道具、口播提示条和产品等进行定位。利用尺度不变特征变换，即SIFT算法可以将定位到的物体与预先截取的模板进行匹配对齐获得相应物体的位置和类别，并进行相应的评估。
相关技术中利用广告商提供的素材进行标注，如图2所示，随后进行模型训练。这种情况下，进行素材标注的成本较高，若出现新的素材，需要重新标注，工作效率低下。而且，新素材需要设置专职人员进行检测，有效性差，无法及时处理海量素材。
发明内容
本申请实施例提供了一种节目广告素材识别方法、***、计算机设备和计算机可读存储介质，以减少素材标注人工成本，提高数据处理效率。
第一方面，本申请实施例提供了一种节目广告素材识别方法，包括：
素材筛选步骤，获取视频数据，提取所述视频数据中包含广告素材的节目画面关键帧并基于所述广告素材筛选所述节目画面关键帧；具体的，所述广告素材可以是产品实物、道具、口播提示条等。
数据集获取步骤，抠取所述节目画面关键帧中的广告素材作为素材模板图，并对所述素材模板图进行随机图像变换，得到数据集；
目标识别步骤，基于所述数据集训练至少一目标检测模型，并基于所述目标检测模型检测所述视频数据中广告素材在节目画面的所属区域及其区域面积。
通过上述步骤，本申请实施例实现数据样本较少的前提下利用有限样本快速构造出丰富的数据集进行模型训练，从而实现快速检测到节目中植入的赞助商产品、道具、口播提示条等广告素材所属区域及其区域面积，大大减少人工标注成本，有效解决了人工标注检测出现的错漏，提高数据处理效率及准确率。
在其中一些实施例中，所述数据集获取步骤进一步包括：
素材模板图获取步骤，获取所述节目画面关键帧并抠取所述节目画面关键帧中广告素材，得到素材模板图；
素材品类统计步骤，统计所述素材模板图中的素材品类，若所述素材品类大于一设定阈值，则基于所述素材品类对所述素材模板图进行划分，得到多个子类素材模板图；
数据集构造步骤，对所述素材模板图和/或对多个所述子类素材模板图进行随机图像变换，得到素材数据集和/或多个子类素材数据集。具体的，所述随机图像变换包括：素材大小、位置、旋转角度的随机图像变换。
通过上述步骤，本申请实施例基于素材的图像变换构建丰富的数据集，同时为了提高目标检测模型的品类识别精确度，对素材品类进行划分后构建多个子类素材数据集，为训练更精准的目标检测模型提供数据基础。
在其中一些实施例中，所述目标识别步骤进一步包括：
目标检测模型训练步骤，基于所述素材数据集训练所述目标检测模型，和/或基于多个所述子类素材数据集分别训练多个所述目标检测模型；
广告素材检测步骤，基于所述目标检测模型检测所述视频数据中广告素材并获取所述广告素材的所属区域及其区域面积。
在其中一些实施例中，该方法还包括：
检测结果获取步骤，基于广告素材的所述所属区域及区域面积预先配置一评分标准，基于所述评分标准计算所述视频数据中广告素材的综合得分，基于所述综合得分生成检测结果文件，实现评估节目中广告素材的植入。具体的，本申请实施例的评分标准根据广告素材所属区域及区域面积配置得分，所述所属区域包括黄金区域、中间区域、边缘区域，所属区域对应得分配置为黄金区域得分>中间区域得分>边缘区域得分，所述区域面积对应得分配置为与所述区域面积在所属区域中面积占比成正比，通过区域面积计算得到广告素材在所属区域的面积占比。
通过上述步骤，本申请实施例通过统计分析检测数据计算广告素材的综合得分，从而为节目赞助商判断节目中广告素材的植入是否正常，为后续素材展出的调整提供数据支持。
第二方面，本申请实施例提供了一种节目广告素材识别***，包括：
素材筛选模块，获取视频数据，提取所述视频数据中包含广告素材的节目画面关键帧并基于所述广告素材筛选所述节目画面关键帧；具体的，所述广告素材可以是产品实物、道具、口播提示条等。
数据集获取模块，抠取所述节目画面关键帧中的广告素材作为素材模板图，并对所述素材模板图进行随机图像变换，得到数据集；
目标识别模块，基于所述数据集训练至少一目标检测模型，并基于所述目标检测模型检测所述视频数据中广告素材在节目画面的所属区域及其区域面积。
通过上述模块，本申请实施例实现数据样本较少的前提下利用有限样本快速构造出丰富的数据集进行模型训练，从而实现快速检测到节目中植入的赞助商产品、道具、口播提示条等广告素材所属区域及其区域面积，大大减少人工标注成本，有效解决了人工标注检测出现的错漏，提高数据处理效率及准确率。
在其中一些实施例中，所述数据集获取模块进一步包括：
素材模板图获取模块，获取所述节目画面关键帧并抠取所述节目画面关键帧中广告素材，得到素材模板图；
素材品类统计模块，统计所述素材模板图中的素材品类，若所述素材品类大于一设定阈值，则基于所述素材品类对所述素材模板图进行划分，得到多个子类素材模板图；
数据集构造模块，对所述素材模板图和/或对多个所述子类素材模板图进行随机图像变换，得到素材数据集和/或多个子类素材数据集。具体的，所述随机图像变换包括：素材大小、位置、旋转角度的随机图像变换。
通过上述模块，本申请实施例基于素材的图像变换构建丰富的数据集，同时为了提高目标检测模型的品类识别精确度，对素材品类进行划分后构建多个子类素材数据集，为训练更精准的目标检测模型提供数据基础。
在其中一些实施例中，所述目标识别模块进一步包括：
目标检测模型训练模块，基于所述素材数据集训练所述目标检测模型，和/或基于多个所述子类素材数据集分别训练多个所述目标检测模型；
广告素材检测模块，基于所述目标检测模型检测所述视频数据中广告素材并获取所述广告素材的所属区域及其区域面积。
在其中一些实施例中，该***还包括：
检测结果获取模块，基于广告素材的所述所属区域及区域面积预先配置一评分标准，基于所述评分标准计算所述视频数据中广告素材的综合得分，基于所述综合得分生成检测结果文件，实现评估节目中广告素材的植入。具体的，本申请实施例的评分标准根据广告素材所属区域及区域面积配置得分，所述所属区域包括黄金区域、中间区域、边缘区域，所属区域对应得分配置为黄金区域得分>中间区域得分>边缘区域得分，所述区域面积对应得分配置为与所述区域面积在所属区域中面积占比成正比，通过区域面积计算得到广告素材在所属区域的面积占比。
通过上述模块，本申请实施例通过统计分析检测数据计算广告素材的综合得分，从而为节目赞助商判断节目中广告素材的植入是否正常，为后续素材展出的调整提供数据支持。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的节目广告素材识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的节目广告素材识别方法。
相比于相关技术，本申请实施例提供的节目广告素材识别方法、***、计算机设备和计算机可读存储介质，尤其涉及一种深度学习技术，具体通过素材模板图提取及变换操作构建数据集，利用数据集训练目标检测模型，实现快速检测节目中植入的广告素材，有效解决了人工标注检测出现的错漏，提高数据处理效率及准确率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据相关技术的节目画面区域划分示意图；
图2是根据相关技术的素材标注效果示意图；
图3是根据本申请实施例的节目广告素材识别方法的流程图；
图4是根据本申请实施例的节目广告素材识别方法的分步骤流程图；
图5是根据本申请实施例的节目广告素材识别方法的分步骤流程图；
图6是根据本申请优选实施例的节目广告素材识别方法的流程图；
图7是根据本申请优选实施例的节目画面关键帧示意图；
图8是根据本申请优选实施例的素材模板图示意图；
图9(a-d)是根据本申请优选实施例的素材模板图的图像变换效果示意图；
图10是根据本申请实施例的节目广告素材识别***的结构框图。
其中：
1、素材筛选模块；2、数据集获取模块；3、目标识别模块；
4、检测结果获取模块；201、素材模板图获取模块；
202、素材品类统计模块；203、数据集构造模块；
301、目标检测模型训练模块；302、广告素材检测模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
为了解决前述节目广告素材人工标注成本较高、易发误判错漏的情况，本实施例提供了一种节目广告素材识别方法。图3-5是根据本申请实施例的节目广告素材识别方法的流程图，如图3-5所示，该流程包括如下步骤：
素材筛选步骤S1，获取视频数据，提取视频数据中包含广告素材的节目画面关键帧并基于广告素材筛选节目画面关键帧；具体的，广告素材可以是产品实物、道具、口播提示条等。
数据集获取步骤S2，抠取节目画面关键帧中的广告素材作为素材模板图，并对素材模板图进行随机图像变换，得到数据集；
目标识别步骤S3，基于数据集训练至少一目标检测模型，并基于目标检测模型检测视频数据中广告素材在节目画面的所属区域及其区域面积。
通过上述步骤，本申请实施例实现数据样本较少的前提下利用有限样本快速构造出丰富的数据集进行模型训练，从而实现快速检测到节目中植入的赞助商产品、道具、口播提示条等广告素材所属区域及其区域面积，大大减少人工标注成本，有效解决了人工标注检测出现的错漏，提高数据处理效率及准确率。
其中，参考图4所示，数据集获取步骤S2进一步包括：
素材模板图获取步骤S201，获取节目画面关键帧并抠取节目画面关键帧中广告素材，得到素材模板图；可选的，本实施例抠取广告素材可以是基于广告素材的轮廓进行，也可以是基于矩形框进行。
素材品类统计步骤S202，统计素材模板图中的素材品类，若素材品类大于一设定阈值，则基于素材品类对素材模板图进行划分，得到多个子类素材模板图；
数据集构造步骤S203，对素材模板图和/或对多个子类素材模板图进行随机图像变换，得到素材数据集和/或多个子类素材数据集。具体的，随机图像变换包括：素材大小、位置、旋转角度的随机图像变换，参考图9所示。
通过上述步骤，本申请实施例基于素材的图像变换构建丰富的数据集，同时为了提高目标检测模型的品类识别精确度，对素材品类进行划分后构建多个子类素材数据集，为训练更精准的目标检测模型提供数据基础。
其中，参考图5所示，目标识别步骤S3进一步包括：
目标检测模型训练步骤S301，基于素材数据集训练目标检测模型，和/或基于多个子类素材数据集分别训练多个目标检测模型；可选的，目标检测模型可以是基于FasterCNN目标检测算法实现的，也可以是基于其他目标检测网络实现的，在此不作赘述。
广告素材检测步骤S302，基于目标检测模型检测视频数据中广告素材并获取广告素材的所属区域及其区域面积。本申请实施例利用该目标检测模型获取广告素材的类别并基于检测框的坐标信息及大小计算得到广告素材所属区域及区域面积。
另外，本实施例考虑到在实际应用中，节目赞助商会根据素材的位置及面积判断节目中广告素材是否正常植入，为了便于节目赞助商量化广告素材植入，本申请实施例的节目广告素材识别方法还包括：
检测结果获取步骤S4，基于广告素材的所属区域及区域面积预先配置一评分标准，基于评分标准计算视频数据中广告素材的综合得分，基于综合得分生成检测结果文件，实现评估节目中广告素材的植入。具体的，本申请实施例的评分标准根据广告素材所属区域及区域面积配置得分，结合图1所示，所属区域包括黄金区域、中间区域、边缘区域，所属区域对应得分配置为黄金区域得分>中间区域得分>边缘区域得分，考虑到在节目播放过程中，广告素材存在处于黄金区域但面积占比较小的情况，因此，上述评分标准中添加基于区域面积的以面积占比为参考量的评分标准。区域面积对应得分配置为与区域面积在所属区域中面积占比成正比，通过区域面积计算得到广告素材在所属区域的面积占比。
值得注意的是，本实施例的上述评分标准及检测结果的分类并不作为对本实施例评分标准的限定，基于本申请的技术方案对评分标准作出的变形和改进，这些都属于本申请的保护范围。
通过上述步骤，本申请实施例通过统计分析检测数据计算广告素材的综合得分，从而为节目赞助商判断节目中广告素材的植入是否正常，为后续素材展出的调整提供数据支持。
下面通过优选实施例对本申请实施例进行描述和说明。
图6是根据本申请优选实施例的节目广告素材识别方法的流程图，如图6所示，该节目广告素材识别方法包括如下步骤：
步骤S601，根据采集到的视频数据，将视频中包含产品广告素材的节目画面关键帧提取出来，并基于广告素材中所需的产品、道具、口播提示条等这些筛选出来；
步骤S602，根据筛选出来的广告素材将图中的产品、道具、提示条精确的抠出来，举例如图7-8所示，图7所示为原图，图8所示为抠出来的素材模板图；可选的，本实施例抠取素材的方式可能有多种方法：(1)按素材的轮廓进行抠取(2)矩形框方式抠取。
步骤S603，对素材模板图的品种种类进行统计，若素材模板图的品种种类数大于8，对素材模板图进行划分，否则不进行任何处理，进入下一步。
步骤S604，利用抠取的素材模板图构造数据集，通过随机变换每张图片中的产品的大小、位置、旋转的角度构造丰富的数据集，如下图9(a-d)所示。
步骤S605，利用构造好的数据集进行目标检测模型的训练。值得注意的是，若素材品种类数大于一定数目需要划分的情况，对划分后的数据进行构造数据集及模型的单独训练，本步骤的检测模型只进行前景和背景的检测。模型算法为常用的目标检测算法，例如FasterCNN目标检测算法。目标检测算法的任务不仅要获得物体的类别，还要获取物体的位置在哪里。
步骤S606，检测模型训练完成以后，利用各模型联合实现广告素材的检测和匹配，检测到广告素材的所属区域、区域面积进行计算。
步骤S607，根据步骤606计算得到结果生成结果文件，生成报告，并提醒相关人员进行查看。结果文件中，基于所属区域及区域面积对广告素材配置得分，所属区域对应得分配置为：
若广告素材属于节目画面黄金区域，则配置得分为10分；
若广告素材属于节目画面中间区域，则配置得分为8分；
若广告素材属于节目画面边缘区域，则配置得分为4分；
通过区域面积计算得到广告素材在所属区域的面积占比，面积占比对应得分配置为：
若广告素材在所属区域中面积占比P为P≥80％，则配置为10分；
若广告素材在所属区域中面积占比P为80％＞P≥50％，则配置为8分；
若广告素材在所属区域中面积占比P为P＜50％，则配置为4分；
基于上述评分标准，对综合得分Score设置优秀、良好、合格及不合格四类检测结果，具体的：
若综合得分Score＝20，则广告素材的植入评估为优秀；
若综合得分20＞Score≥16，则广告素材的植入评估为良好；
若综合得分16＞Score≥14，则广告素材的植入评估为合格；
若综合得分Score＜14，则广告素材的植入评估为不合格。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种节目广告素材识别***，该***包括素材筛选模块1、数据集获取模块2、目标识别模块3、检测结果获取模块4等模块，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的***较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图10是根据本申请实施例的节目广告素材识别***的结构框图，如图10所示，该***包括：
素材筛选模块1，用于获取视频数据、提取视频数据中包含广告素材的节目画面关键帧并基于广告素材筛选节目画面关键帧；具体的，广告素材可以是产品实物、道具、口播提示条等。
数据集获取模块2，抠取节目画面关键帧中的广告素材作为素材模板图，并对素材模板图进行随机图像变换，得到数据集；具体的，数据集获取模块2进一步包括：素材模板图获取模块201，获取节目画面关键帧并抠取节目画面关键帧中广告素材，得到素材模板图；可选的，本实施例抠取广告素材可以是基于广告素材的轮廓进行，也可以是基于矩形框进行。素材品类统计模块202，统计素材模板图中的素材品类，若素材品类大于一设定阈值，则基于素材品类对素材模板图进行划分，得到多个子类素材模板图；数据集构造模块203，对素材模板图和/或对多个子类素材模板图进行随机图像变换，得到素材数据集和/或多个子类素材数据集。具体的，随机图像变换包括：素材大小、位置、旋转角度的随机图像变换，参考图9所示。通过上述模块，本申请实施例基于素材的图像变换构建丰富的数据集，同时为了提高目标检测模型的品类识别精确度，对素材品类进行划分后构建多个子类素材数据集，为训练更精准的目标检测模型提供数据基础。
目标识别模块3，基于数据集训练至少一目标检测模型，并基于目标检测模型检测视频数据中广告素材在节目画面的所属区域及其区域面积。具体的，目标识别模块3进一步包括：目标检测模型训练模块301，基于素材数据集训练目标检测模型，和/或基于多个子类素材数据集分别训练多个目标检测模型；可选的，目标检测模型可以是基于FasterCNN目标检测算法实现的，也可以是基于其他目标检测网络实现的，在此不作赘述。广告素材检测模块302，基于目标检测模型检测视频数据中广告素材并获取广告素材的所属区域及其区域面积。本申请实施例利用该目标检测模型获取广告素材的类别并基于检测框的坐标信息及大小计算得到广告素材所属区域及区域面积。
通过上述模块，本申请实施例实现数据样本较少的前提下利用有限样本快速构造出丰富的数据集进行模型训练，从而实现快速检测到节目中植入的赞助商产品、道具、口播提示条等广告素材所属区域及其区域面积，大大减少人工标注成本，有效解决了人工标注检测出现的错漏，提高数据处理效率及准确率。
考虑到在实际应用中，节目赞助商会根据素材的位置及面积判断节目中广告素材是否正常植入，为了便于节目赞助商量化广告素材植入，本申请实施例的节目广告素材识别***还包括：
检测结果获取模块4，基于广告素材的所属区域及区域面积预先配置一评分标准，基于评分标准计算视频数据中广告素材的综合得分，基于综合得分生成检测结果文件，实现评估节目中广告素材的植入。具体的，本申请实施例的评分标准根据广告素材所属区域及区域面积配置得分，结合图1所示，所属区域包括黄金区域、中间区域、边缘区域，所属区域对应得分配置为黄金区域得分>中间区域得分>边缘区域得分，考虑到在节目播放过程中，广告素材存在处于黄金区域但面积占比较小的情况，因此，进一步在评分标准中添加基于面积占比的评分标准。区域面积对应得分配置为与区域面积在所属区域中面积占比成正比，通过区域面积计算得到广告素材在所属区域的面积占比。
值得注意的是，本实施例的上述评分标准及检测结果的分类并不作为对本实施例评分标准的限定，基于本申请的技术方案对评分标准作出的变形和改进，这些都属于本申请的保护范围。
通过上述模块，本申请实施例通过统计分析检测数据计算广告素材的综合得分，从而为节目赞助商判断节目中广告素材的植入是否正常，为后续素材展出的调整提供数据支持。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图3-5描述的本申请实施例节目广告素材识别方法可以由计算机设备来实现。计算机设备可以包括处理器以及存储有计算机程序指令的存储器。具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(Application Specific IntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性(Non-Volatile)存储器。在特定实施例中，存储器包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random AccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种节目广告素材识别方法。
另外，结合上述实施例中的节目广告素材识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种节目广告素材识别方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种节目广告素材识别方法，其特征在于，包括：
素材筛选步骤，获取视频数据，提取所述视频数据中包含广告素材的节目画面关键帧并基于所述广告素材筛选所述节目画面关键帧；
数据集获取步骤，抠取所述节目画面关键帧中的广告素材作为素材模板图，并对所述素材模板图进行随机图像变换，得到数据集；
目标识别步骤，基于所述数据集训练至少一目标检测模型，并基于所述目标检测模型检测所述视频数据中广告素材在节目画面的所属区域及其区域面积。
2.根据权利要求1所述的节目广告素材识别方法，其特征在于，所述数据集获取步骤进一步包括：
素材模板图获取步骤，获取所述节目画面关键帧并抠取所述节目画面关键帧中广告素材，得到素材模板图；
素材品类统计步骤，统计所述素材模板图中的素材品类，若所述素材品类大于一设定阈值，则基于所述素材品类对所述素材模板图进行划分，得到多个子类素材模板图；
数据集构造步骤，对所述素材模板图和/或对多个所述子类素材模板图进行随机图像变换，得到素材数据集和/或多个子类素材数据集。
3.根据权利要求2所述的节目广告素材识别方法，其特征在于，所述目标识别步骤进一步包括：
目标检测模型训练步骤，基于所述素材数据集训练所述目标检测模型，和/或基于多个所述子类素材数据集分别训练多个所述目标检测模型；
广告素材检测步骤，基于所述目标检测模型检测所述视频数据中广告素材并获取所述广告素材的所属区域及其区域面积。
4.根据权利要求1-3中任一项所述的节目广告素材识别方法，其特征在于，还包括：
检测结果获取步骤，基于广告素材的所述所属区域及区域面积预先配置一评分标准，基于所述评分标准计算所述视频数据中广告素材的综合得分，基于所述综合得分生成检测结果文件，实现评估节目中广告素材的植入。
5.一种节目广告素材识别***，其特征在于，包括：
素材筛选模块，获取视频数据，提取所述视频数据中包含广告素材的节目画面关键帧并基于所述广告素材筛选所述节目画面关键帧；
数据集获取模块，抠取所述节目画面关键帧中的广告素材作为素材模板图，并对所述素材模板图进行随机图像变换，得到数据集；
目标识别模块，基于所述数据集训练至少一目标检测模型，并基于所述目标检测模型检测所述视频数据中广告素材在节目画面的所属区域及其区域面积。
6.根据权利要求5所述的节目广告素材识别***，其特征在于，所述数据集获取模块进一步包括：
素材模板图获取模块，获取所述节目画面关键帧并抠取所述节目画面关键帧中广告素材，得到素材模板图；
素材品类统计模块，统计所述素材模板图中的素材品类，若所述素材品类大于一设定阈值，则基于所述素材品类对所述素材模板图进行划分，得到多个子类素材模板图；
数据集构造模块，对所述素材模板图和/或对多个所述子类素材模板图进行随机图像变换，得到素材数据集和/或多个子类素材数据集。
7.根据权利要求6所述的节目广告素材识别***，其特征在于，所述目标识别模块进一步包括：
目标检测模型训练模块，基于所述素材数据集训练所述目标检测模型，和/或基于多个所述子类素材数据集分别训练多个所述目标检测模型；
广告素材检测模块，基于所述目标检测模型检测所述视频数据中广告素材并获取所述广告素材的所属区域及其区域面积。
8.根据权利要求5-7中任一项所述的节目广告素材识别***，其特征在于，还包括：
检测结果获取模块，基于广告素材的所述所属区域及区域面积预先配置一评分标准，基于所述评分标准计算所述视频数据中广告素材的综合得分，基于所述综合得分生成检测结果文件，实现评估节目中广告素材的植入。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的节目广告素材识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的节目广告素材识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111004373.2A CN113743281A (zh) | 2021-08-30 | 2021-08-30 | 节目广告素材识别方法、***、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111004373.2A CN113743281A (zh) | 2021-08-30 | 2021-08-30 | 节目广告素材识别方法、***、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113743281A true CN113743281A (zh) | 2021-12-03 |
Family
ID=78733783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111004373.2A Pending CN113743281A (zh) | 2021-08-30 | 2021-08-30 | 节目广告素材识别方法、***、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743281A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106982380A (zh) * | 2017-04-20 | 2017-07-25 | 上海极链网络科技有限公司 | 互联网视频内虚拟互动广告的植入方法 |
| WO2019062841A1 (zh) * | 2017-09-30 | 2019-04-04 | 北京国双科技有限公司 | 品牌曝光效果分析方法及装置 |
| CN109598527A (zh) * | 2017-09-30 | 2019-04-09 | 北京国双科技有限公司 | 广告效果分析方法及装置 |
| CN110148102A (zh) * | 2018-02-12 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 图像合成方法、广告素材合成方法及装置 |
| CN111144937A (zh) * | 2019-12-20 | 2020-05-12 | 北京达佳互联信息技术有限公司 | 广告素材确定方法、装置、设备及存储介质 |
| CN111401228A (zh) * | 2020-03-13 | 2020-07-10 | 中科创达软件股份有限公司 | 视频目标标注方法、装置及电子设备 |
| CN112287800A (zh) * | 2020-10-23 | 2021-01-29 | 北京中科模识科技有限公司 | 一种无样本条件下的广告视频识别方法及*** |
| CN112598448A (zh) * | 2020-12-29 | 2021-04-02 | 恩亿科(北京)数据科技有限公司 | 动态素材数据处理方法、***、计算机和可读存储介质 |
-
2021
- 2021-08-30 CN CN202111004373.2A patent/CN113743281A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106982380A (zh) * | 2017-04-20 | 2017-07-25 | 上海极链网络科技有限公司 | 互联网视频内虚拟互动广告的植入方法 |
| WO2019062841A1 (zh) * | 2017-09-30 | 2019-04-04 | 北京国双科技有限公司 | 品牌曝光效果分析方法及装置 |
| CN109598527A (zh) * | 2017-09-30 | 2019-04-09 | 北京国双科技有限公司 | 广告效果分析方法及装置 |
| CN110148102A (zh) * | 2018-02-12 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 图像合成方法、广告素材合成方法及装置 |
| CN111144937A (zh) * | 2019-12-20 | 2020-05-12 | 北京达佳互联信息技术有限公司 | 广告素材确定方法、装置、设备及存储介质 |
| CN111401228A (zh) * | 2020-03-13 | 2020-07-10 | 中科创达软件股份有限公司 | 视频目标标注方法、装置及电子设备 |
| CN112287800A (zh) * | 2020-10-23 | 2021-01-29 | 北京中科模识科技有限公司 | 一种无样本条件下的广告视频识别方法及*** |
| CN112598448A (zh) * | 2020-12-29 | 2021-04-02 | 恩亿科(北京)数据科技有限公司 | 动态素材数据处理方法、***、计算机和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858371B (zh) | 人脸识别的方法及装置 | |
| Bruni et al. | Distributional semantics in technicolor | |
| CN103995889A (zh) | 图片分类方法及装置 | |
| Celikkale et al. | Visual attention-driven spatial pooling for image memorability | |
| CN110427859A (zh) | 一种人脸检测方法、装置、电子设备及存储介质 | |
| CN105159913B (zh) | 一种待清理文件确定方法及装置 | |
| CN110162643B (zh) | 电子相册报告生成方法、装置及存储介质 | |
| CN111401238B (zh) | 一种视频中人物特写片段的检测方法及装置 | |
| CN105869008A (zh) | 一种广告定向投放方法及装置 | |
| CN108376164B (zh) | 一种潜力主播的展示方法及装置 | |
| CN106961559B (zh) | 一种视频的制作方法及电子设备 | |
| Theisen et al. | Automatic discovery of political meme genres with diverse appearances | |
| KR20110021195A (ko) | 동영상에서 중요 정보를 검출하는 방법 및 그 장치 | |
| CN105303449B (zh) | 基于相机指纹特征的社交网络用户的识别方法和*** | |
| CN111026969B (zh) | 一种内容推荐方法、装置及存储介质和服务器 | |
| Bozkir et al. | Layout-based computation of web page similarity ranks | |
| CN111488847B (zh) | 体育比赛视频进球片段获取***及方法、终端 | |
| Lumini et al. | Detector of image orientation based on Borda Count | |
| CN107729528A (zh) | 一种建筑物信息获取方法及装置、计算机装置和计算机可读存储介质 | |
| US20110044530A1 (en) | Image classification using range information | |
| CN109816004A (zh) | 房源图片分类方法、装置、设备及存储介质 | |
| CN109598252A (zh) | 一种基于人脸识别的智能应答方法、***及存储介质 | |
| CN113743281A (zh) | 节目广告素材识别方法、***、计算机设备和存储介质 | |
| CN107609104B (zh) | 根据视频图像素材查找相关视频的方法和*** | |
| CN115474093A (zh) | 视频要素重要度的计算方法及装置、存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |