CN115309941B - 一种基于ai的智能标签检索方法及*** - Google Patents
一种基于ai的智能标签检索方法及*** Download PDFInfo
- Publication number
- CN115309941B CN115309941B CN202210999426.7A CN202210999426A CN115309941B CN 115309941 B CN115309941 B CN 115309941B CN 202210999426 A CN202210999426 A CN 202210999426A CN 115309941 B CN115309941 B CN 115309941B
- Authority
- CN
- China
- Prior art keywords
- information
- feature
- material information
- characteristic
- video material
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000000463 material Substances 0.000 claims abstract description 107
- 230000033001 locomotion Effects 0.000 claims abstract description 49
- 239000013077 target material Substances 0.000 claims abstract description 42
- 239000012634 fragment Substances 0.000 claims abstract description 30
- 238000012795 verification Methods 0.000 claims abstract description 22
- 239000000523 sample Substances 0.000 claims description 92
- 238000004458 analytical method Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002955 isolation Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000009469 supplementation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于AI的智能标签检索方法及***,涉及人工智能技术领域,方法包括:获取视频素材信息;构建音频特征标签集与动图特征标签集;在视频素材信息中进行标记验证,获取标记冲突集;基于所述音频特征标签集与所述动图特征标签集,获取视频素材标记集;在所述视频素材信息进行标记,获取视频素材信息标记结果;进行智能剪切,获取视频素材片段集;通过目标素材调取检索符,在所述视频素材片段集中检索,调取目标素材信息。解决难以快速准确检索提取目标素材,导致视频素材检索调取效率低的技术问题,达到采用音频特征标签与动图特征标签,精准提取目标素材,实现快速检索提取目标素材片段,提高视频素材检索调取效率的技术效果。
Description
技术领域
本发明涉及人工智能技术领域,具体涉及一种基于AI的智能标签检索方法及***。
背景技术
随计算机网络技术的发展,信息传送效率的提升,以视频为载体的信息传送方式逐渐替代图像或文字的方式,文字可以通过关键词快速进行检索提取,图像可以通过智能扫描识别引擎快速进行检索提取,视频信息作为计算机网络上信息传送的有效方式,难以实现快速检索提取。
在进行图像检索提取过程中,可以通过视频中的语音内容,进行语义识别,提取语音中的关键词,通过关键词对应时间轴,在所在视频中进行检索定位,实现提取目标素材,但是对应目标素材截取的起始点与截止点需要进行人工识别,且关键词作为检索标识信息,存在多次出现的概率,若关键词多次出现,会导致目标素材截取效率低,存在时间资源浪费的情况。
现有技术中存在难以快速准确检索提取目标素材,导致视频素材检索调取效率低的技术问题。
发明内容
本申请通过提供了一种基于AI的智能标签检索方法及***,解决了难以快速准确检索提取目标素材,导致视频素材检索调取效率低的技术问题,达到了采用音频特征标签与动图特征标签,精准提取目标素材,实现快速检索提取目标素材片段,提高视频素材检索调取效率的技术效果。
鉴于上述问题,本申请提供了一种基于AI的智能标签检索方法及***。
本申请的第一个方面,提供了一种基于AI的智能标签检索方法,其中,所述方法包括:获取视频素材信息;基于所述视频素材信息,构建音频特征标签集与动图特征标签集;通过所述音频特征标签集与所述动图特征标签集,在所述视频素材信息中进行标记验证,获取标记冲突集;基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集;基于所述视频素材标记集,在所述视频素材信息进行标记,获取视频素材信息标记结果;通过所述视频素材信息标记结果,进行智能剪切,获取视频素材片段集;通过目标素材调取检索符,在所述视频素材片段集中检索,调取目标素材信息。
本申请的第二个方面,提供了一种基于AI的智能标签检索***,其中,所述***包括:素材信息获取单元,所述素材信息获取单元用于获取视频素材信息;标签集构建单元,所述标签集构建单元用于基于所述视频素材信息,构建音频特征标签集与动图特征标签集;冲突集获取单元,所述冲突集获取单元用于通过所述音频特征标签集与所述动图特征标签集,在所述视频素材信息中进行标记验证,获取标记冲突集;标记集获取单元,所述标记集获取单元用于基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集;标记结果获取单元,所述标记结果获取单元用于基于所述视频素材标记集,在所述视频素材信息进行标记,获取视频素材信息标记结果;片段集获取单元,所述片段集获取单元用于通过所述视频素材信息标记结果,进行智能剪切,获取视频素材片段集;目标素材调取单元,所述目标素材调取单元用于通过目标素材调取检索符,在所述视频素材片段集中检索,调取目标素材信息。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了获取视频素材信息;构建音频特征标签集与动图特征标签集;在视频素材信息中进行标记验证,获取标记冲突集;基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集;在所述视频素材信息进行标记,获取视频素材信息标记结果;进行智能剪切,获取视频素材片段集;通过目标素材调取检索符,在所述视频素材片段集中检索,调取目标素材信息。本申请实施例达到了采用音频特征标签与动图特征标签,精准提取目标素材,实现快速检索提取目标素材片段,提高视频素材检索调取效率的技术效果。
附图说明
图1为本申请一种基于AI的智能标签检索方法的流程示意图;
图2为本申请一种基于AI的智能标签检索方法的获取动图特征标签集的流程示意图;
图3为本申请一种基于AI的智能标签检索方法的获取动图素材人物特征集的流程示意图;
图4为本申请一种基于AI的智能标签检索***的结构示意图。
附图标记说明:素材信息获取单元11,标签集构建单元12,冲突集获取单元13,标记集获取单元14,标记结果获取单元15,片段集获取单元16,目标素材调取单元17。
具体实施方式
本申请通过提供了一种基于AI的智能标签检索方法及***,解决了难以快速准确检索提取目标素材,导致视频素材检索调取效率低的技术问题,达到了采用音频特征标签与动图特征标签,精准提取目标素材,实现快速检索提取目标素材片段,提高视频素材检索调取效率的技术效果。
实施例一
如图1所示,本申请提供了一种基于AI的智能标签检索方法,其中,所述方法包括:
步骤S100:获取视频素材信息;
步骤S200:基于所述视频素材信息,构建音频特征标签集与动图特征标签集;
具体而言,常见的,视频素材信息包括音频素材信息与动图素材信息,将音频素材信息与动图素材信息进行时间轴对应绑定,可以还原成所述视频素材信息,需要在视频素材信息中进行智能标签检索,从音频特征与动图特征两角度特征指标进行标签检索,为精准标记视频素材信息提供数据支持。
进一步具体说明,视频剪辑人员在进行视频剪辑过程中,一般是按照剧集内容,通过进度条进行快速跳转,从视频素材信息中截取需要的视频素材,通过音频特征与动图特征生成特征标签集,通过标签进行快速提取,大大缩短了截取需要的视频素材所耗费的时间。
进一步的,基于所述视频素材信息,构建音频特征标签集与动图特征标签集,步骤S200包括:
步骤S210:对所述视频素材信息进行特征隔离,获取音频素材信息与动图素材信息;
步骤S220:在所述音频素材信息中进行音色特征分析,获取音频特征标签集;
步骤S230:在所述动图素材信息中分别进行场景特征分析与人物特征分析,获取动图特征标签集。
具体而言,视频素材信息包括音频素材信息与动图素材信息,对所述视频素材信息进行特征隔离,获取音频素材信息与动图素材信息,所述音频素材信息与动图素材信息的时间轴对应,所述音色特征包括但不限于频谱特征参数和包络特征参数,同一振动源发出的音频信息可以通过音色特征进行区分,通过所述音频素材信息进行音色特征分析,获取音频特征标签集,所述音频特征标签集的各个元素即频谱特征参数和/或包络特征参数不同的音色,音色不同于响度、频率等其他音频素材信息的特征指标,音色可以用于对声源进行辨识区分。
具体说明,将场景与人物隔离进行特征分析,所述场景特征包括环境特征(色温特征、亮度特征)、场景道具特征等相关指标特征,所述人物特征可以是人脸特征和检测对象相关的指标特征,分别进行场景特征分析与人物特征分析,将所得指标进行合并,获取动图特征标签集,进行特征隔离,为提高标签检索的精度提供支持。
进一步具体说明,若所述动图素材信息显示甲乙两对象交谈,对应的,音频素材信息对应的音频特征标签集包括甲对象的音色特征与乙对象的音色特征。
进一步的,如图2所示,在所述动图素材信息中分别进行场景特征分析与人物特征分析,获取动图特征标签集,步骤S230包括:
步骤S231:通过所述动图素材信息进行场景特征分析,获取动图素材场景特征集;
步骤S232:基于所述动图素材场景特征集,对同一场景的不同视角进行特征嵌套合并,获取动图场景信息;
步骤S233:通过所述动图素材信息进行人物特征分析,获取动图素材人物特征集;
步骤S234:基于所述动图素材人物特征集,对同一人物的不同状态进行特征组合,获取动图人物信息;
步骤S235:通过所述动图场景信息与所述动图人物信息,获取动图特征标签集。
具体而言,对所述动图素材信息进行场景特征分析,可以通过相关白平衡工具(图片后期处理工具),获取色温特征,基于高准确亮度计,在获取视频素材信息的同时,同步进行亮度测量,获取亮度特征,所述场景道具特征包括道具颜色特征、道具形状特征及其他相关特征指标,对所述动图素材信息进行截取,可以通过所述动图素材信息的场景切换速度与环境复杂的场景,适应性调整截取频率,所述截取频率可以通过智能标签检索***,进行自动以设定,对所述动图素材信息截取所得图像进行场景特征分析,整合所述环境特征、场景道具特征等相关指标特征,获取动图素材场景特征集,动图素材场景特征集进行场景位置标记,将位置标记一致的动图素材场景特征进行嵌套合并,获取动图场景信息。
具体而言,人物的面部特征在不同状态存在一定的差异,面部特征处于哭啼、咆哮、大笑状态,脸部肌肉因存在牵引运动,为保证识别精度,为保证特征标签的精度与完整度,基于所述动图素材人物特征集,对面部因肌肉牵引导致的变形进行标记区分,将标记区分的同一人物的不同状态进行特征组合,获取动图人物信息,对所述动图场景信息与所述动图人物信息进行合并,获取动图特征标签集,进一步细化特征标签,为保证动图特征标签集的精度提供支持。
进一步具体说明,所述场景位置标记包括位置区域面积标记与位置坐标标记,所述位置标记一致的动图素材场景特征即同一采集地点的不同角度的场景特征指标,上述方案是验证优选所得,可以实现快速获取视频素材的标签,为保证标记提取效率提供支持。
进一步的,如图3所示,通过所述动图素材信息进行人物特征分析,获取动图素材人物特征集,步骤S233包括:
步骤S233-1:搭载XML分类器,以灰度模式加载输入所述动图素材信息;
步骤S233-2:对所述动图素材信息进行预处理,获取正样本素材信息与负样本素材信息;
步骤S233-3:基于所述正样本素材信息,进行特征计算,寻找目标样本在帧/图像中的样本位置特征信息;
步骤S233-4:在所述样本位置特征信息进行检测提取,获取目标样本局部特征集;
步骤S233-5:通过所述目标样本局部特征集与所述负样本素材信息,获取动图素材人物特征集。
进一步的,通过所述目标样本局部特征集与所述负样本素材信息,获取动图素材人物特征集,步骤S233-5包括:
步骤S233-51:通过预设参数指标信息,在所述负样本素材信息中进行关联提取,获取指标特征关联集;
步骤S233-52:通过所述指标特征关联集,对所述目标样本局部特征集进行特征补充,获取动图素材人物特征集。
具体而言,在XML文件加载级联分类器,进行OpenCV训练搭载XML分类器,以灰度模式加载输入所述动图素材信息;对所述动图素材信息进行预处理,所述预处理包括图像裁剪处理、模糊处理和锐化处理等相关图像基本预处理操作,获取正样本素材信息与负样本素材信息,所述正样本素材信息可以是人脸位置的素材信息,手动创建负样本文件,所述负样本素材信息对应的负图像是没有人脸的素材信息;基于所述正样本素材信息,通过haar-Like特征算法,在寻找人脸在帧或图像中的位置,所述目标样本可以设定为共同的人脸特性样本指标,具体的,所述目标样本可以是鼻子区域比眼睛区域像素更亮,具体需要结合实际的指标参数运算进行对照确定,此处不做说明,寻找目标样本在帧/图像中的样本位置特征信息;借助边缘检测、线检测和中心检测等检测方式,在所述样本位置特征信息中进行提取特征,在图片中形成一个矩形框来表示人脸的位置,在检测到人脸的所需区域中制作一个矩形框,使用矩形框的黑色矩形中的像素值之和减去白色矩形中的像素值之和,获取目标样本局部特征集;合并所述目标样本局部特征集与所述负样本素材信息,获取动图素材人物特征集,通过分类器能够快速进行特征区分识别,为保证标签检索效率提供技术支持。
具体而言,所述预设参数指标信息包括服饰指标信息、身高指标信息、发型指标信息等相关指标信息,在所述负样本素材信息中进行关联提取,获取指标特征关联集,所述指标特征关联集的元素可以是服饰指标特征、身高指标特征、发型指标特征;以所述指标特征关联集,对所述目标样本局部特征集进行特征补充,获取动图素材人物特征集,为全面进行标记识别提供支持。
进一步的,在所述样本位置特征信息进行检测提取,获取目标样本局部特征集,步骤S233-4包括:
步骤S233-41:通过LBPH算法,获取指标参数信息;
步骤S233-42:通过所述指标参数信息,对目标样本与身份ID进行训练验证匹配,获取目标样本-身份ID关联映射信息;
步骤S233-43:通过所述目标样本-身份ID关联映射信息,使用突出面部特征以特定方式描述所述样本位置特征信息;
步骤S233-44:基于所述样本位置特征信息,采用所述指标参数信息进行网格划分,提取样本直方图;
步骤S233-45:通过多个所述样本直方图,计算欧氏距离,获取目标样本局部特征集。
具体而言,所述指标参数信息包括半径(围绕中心像素的半径,常设置为1)、Neighbors(圆形二进制模式的样本点数)、Grid X(水平方向的单元格数)、Grid Y(垂直方向的单元格数),基于所述样本位置特征信息,通过LBPH算法,获取指标参数信息;通过所述指标参数信息,在所述样本位置特征信息中,对目标样本与身份ID(身份编码,具有唯一性)进行训练验证匹配,匹配所得特定人物的图像必须具有相同的ID,获取目标样本-身份ID关联映射信息;进行LBP计算创建中间图像,使用突出面部特征以特定方式描述所述样本位置特征信息;对身份ID存在一致的匹配所得特定人物的图像创建新的直方图,通过所述指标参数信息进行网格划分,提取样本直方图,通过多个所述样本直方图,计算欧氏距离,判断所述欧氏距离是否满足模型识别预设标准,模型识别预设标准为一预设参数指标信息,若所述欧氏距离满足模型识别预设标准,获取目标样本局部特征集,所述目标样本局部特征集的元素即多组身份ID的突出面部特征,通过目标样本-身份ID关联映射信息与目标样本局部特征集,为后续进行特征匹配提供参数基础。
步骤S300:通过所述音频特征标签集与所述动图特征标签集,在所述视频素材信息中进行标记验证,获取标记冲突集;
步骤S400:基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集;
具体而言,分别使用所述音频特征标签集与所述动图特征标签集,在所述视频素材信息中进行标签标记验证,对标签标记出现重复的进行异常突出标记,获取标记冲突集,常见的,生物学上的同卵双胞胎的面部特征相似度极高,在面部特征识别精度有限的情况下,容易出现标记冲突现象;可以通过进行精度调整,获取视频素材标记集,所述视频素材标记集即不存在标记冲突现象的特征标签集合,为保证素材标签的可信度与精准度提供支持。
进一步的,基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集,步骤S400包括:
步骤S410:将所述标记冲突集导出,发送至智能标签检索***相关管理人员,获取精度调整信号;
步骤S420:基于所述动图特征标签集,通过所述精度调整信号,调整指标参数信息,获取动图特征标签调整集;
步骤S430:通过所述音频特征标签集与所述动图特征标签调整集,进行标记验证,若验证通过,获取视频素材标记集。
具体而言,通过智能标签检索***的反馈端,将所述标记冲突集导出,发送至智能标签检索***相关管理人员,通过相关管理人员,获取精度调整信号,所述精度调整信号用于调整所述指标参数信息;通过所述精度调整信号,调整指标参数信息,所述动图特征标签调整集即指标参数信息调整后计算所得的动图特征标签集;通过所述音频特征标签集与所述动图特征标签调整集,再次进行标记验证,若验证通过,获取视频素材标记集,所述视频素材标记集即不存在标记冲突现象的特征标签集合,若验证仍未通过,需要获取标记冲突异常信号,进行人工排除存在冲突的标记,可能是因为传输稳定性不足,导致传输过程出现逻辑混乱,使得识别所得标记出现异常,具体需要结合实际数据进行具体分析,通过进行标记验证,为保障所述视频素材标记集的可信度提供技术支持。
步骤S500:基于所述视频素材标记集,在所述视频素材信息进行标记,获取视频素材信息标记结果;
步骤S600:通过所述视频素材信息标记结果,进行智能剪切,获取视频素材片段集;
步骤S700:通过目标素材调取检索符,在所述视频素材片段集中检索,得到目标素材信息。
具体而言,通过所述视频素材标记集,对所述视频素材信息进行标记,获取视频素材信息标记结果;对视频素材信息标记结果进行智能剪切,可以通过所述视频素材信息标记结果中的视频素材标记信息,确定剪切节点,进行剪切,获取视频素材片段集,所述视频素材片段集包括多段视频素材片段,视频素材片段集中的每一段视频素材片段的起始点可以是剪切节点或视频素材信息的起始点,视频素材片段集中的每一段视频素材片段的截止点可以是剪切节点或视频素材信息的截止点;所述目标素材即需要进行提取的素材,通过所述视频素材标记集,对所述目标素材进行素材标签标记,所述目标素材调取检索符包括检索符与所述目标素材的素材标签标记,通过目标素材调取检索符,在所述视频素材片段集中检索,进行检索提取,得到目标素材信息,实现快速提取,为保证视频素材截取效率提供支持。
综上所述,本申请所提供的一种基于AI的智能标签检索方法及***具有如下技术效果:
由于采用了获取视频素材信息;构建音频特征标签集与动图特征标签集;在视频素材信息中进行标记验证,获取标记冲突集;基于音频特征标签集与动图特征标签集,通过标记冲突集,获取视频素材标记集;在视频素材信息进行标记,获取视频素材信息标记结果;进行智能剪切,获取视频素材片段集;通过目标素材调取检索符,在视频素材片段集中检索,调取目标素材信息,本申请通过提供了一种基于AI的智能标签检索方法及***,达到了采用音频特征标签与动图特征标签,精准提取目标素材,实现快速检索提取目标素材片段,提高视频素材检索调取效率的技术效果。
由于采用了通过动图素材信息进行场景特征分析,获取动图素材场景特征集,对同一场景的不同视角进行特征嵌套合并,获取动图场景信息;通过动图素材信息进行人物特征分析,获取动图素材人物特征集,对同一人物的不同状态进行特征组合,获取动图人物信息,结合动图场景信息,获取动图特征标签集,细化特征标签,提高动图特征标签集的精度,可以实现快速获取视频素材的标签,为保证标记提取效率提供支持。
由于采用了通过LBPH算法,获取指标参数信息,对目标样本与身份ID进行训练验证匹配,获取目标样本-身份ID关联映射信息,使用突出面部特征以特定方式描述样本位置特征信息,采用指标参数信息进行网格划分,提取样本直方图;通过多个样本直方图,计算欧氏距离,获取目标样本局部特征集。为后续进行特征匹配提供参数基础。
实施例二
基于与前述实施例中一种基于AI的智能标签检索方法相同的发明构思,如图4所示,本申请提供了一种基于AI的智能标签检索***,其中,所述***包括:
素材信息获取单元11,所述素材信息获取单元11用于获取视频素材信息;
标签集构建单元12,所述标签集构建单元12用于基于所述视频素材信息,构建音频特征标签集与动图特征标签集;
冲突集获取单元13,所述冲突集获取单元13用于通过所述音频特征标签集与所述动图特征标签集,在所述视频素材信息中进行标记验证,获取标记冲突集;
标记集获取单元14,所述标记集获取单元14用于基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集;
标记结果获取单元15,所述标记结果获取单元15用于基于所述视频素材标记集,在所述视频素材信息进行标记,获取视频素材信息标记结果;
片段集获取单元16,所述片段集获取单元16用于通过所述视频素材信息标记结果,进行智能剪切,获取视频素材片段集;
目标素材调取单元17,所述目标素材调取单元17用于通过目标素材调取检索符,在所述视频素材片段集中检索,调取目标素材信息。
进一步的,所述***包括:
特征隔离单元,所述特征隔离单元用于对所述视频素材信息进行特征隔离,获取音频素材信息与动图素材信息;
音色特征分析单元,所述单音色特征分析元用于在所述音频素材信息中进行音色特征分析,获取音频特征标签集;
特征标签集获取单元,所述特征标签集获取单元用于在所述动图素材信息中分别进行场景特征分析与人物特征分析,获取动图特征标签集。
进一步的,所述***包括:
场景特征分析单元,所述场景特征分析单元用于通过所述动图素材信息进行场景特征分析,获取动图素材场景特征集;
特征嵌套合并单元,所述特征嵌套合并单元用于基于所述动图素材场景特征集,对同一场景的不同视角进行特征嵌套合并,获取动图场景信息;
人物特征分析单元,所述人物特征分析单元用于通过所述动图素材信息进行人物特征分析,获取动图素材人物特征集;
特征组合单元,所述特征组合单元用于基于所述动图素材人物特征集,对同一人物的不同状态进行特征组合,获取动图人物信息;
特征标签集获取单元,所述特征标签集获取单元用于通过所述动图场景信息与所述动图人物信息,获取动图特征标签集。
进一步的,所述***包括:
素材加载输入单元,所述素材加载输入单元用于搭载XML分类器,以灰度模式加载输入所述动图素材信息;
信息预处理单元,所述信息预处理单元用于对所述动图素材信息进行预处理,获取正样本素材信息与负样本素材信息;
特征计算单元,所述特征计算单元用于基于所述正样本素材信息,进行特征计算,寻找目标样本在帧/图像中的样本位置特征信息;
检测提取单元,所述检测提取单元用于在所述样本位置特征信息进行检测提取,获取目标样本局部特征集;
人物特征集获取单元,所述人物特征集获取单元用于通过所述目标样本局部特征集与所述负样本素材信息,获取动图素材人物特征集。
进一步的,所述***包括:
指标参数获取单元,所述指标参数获取单元用于通过LBPH算法,获取指标参数信息;
验证匹配单元,所述验证匹配单元用于通过所述指标参数信息,对目标样本与身份ID进行训练验证匹配,获取目标样本-身份ID关联映射信息;
关联映射单元,所述关联映射单元用于通过所述目标样本-身份ID关联映射信息,使用突出面部特征以特定方式描述所述样本位置特征信息;
直方图提取单元,所述直方图提取单元用于基于所述样本位置特征信息,采用所述指标参数信息进行网格划分,提取样本直方图;
欧氏距离计算单元,所述欧氏距离计算单元用于通过多个所述样本直方图,计算欧氏距离,获取目标样本局部特征集。
进一步的,所述***包括:
关联提取单元,所述关联提取单元用于通过预设参数指标信息,在所述负样本素材信息中进行关联提取,获取指标特征关联集;
特征补充单元,所述特征补充单元用于通过所述指标特征关联集,对所述目标样本局部特征集进行特征补充,获取动图素材人物特征集。
进一步的,所述***包括:
调整信号获取单元,所述调整信号获取单元用于将所述标记冲突集导出,发送至智能标签检索***相关管理人员,获取精度调整信号;
调整集获取单元,所述调整集获取单元用于基于所述动图特征标签集,通过所述精度调整信号,调整指标参数信息,获取动图特征标签调整集;
标记验证单元,所述标记验证单元用于通过所述音频特征标签集与所述动图特征标签调整集,进行标记验证,若验证通过,获取视频素材标记集。
本说明书和附图仅仅是本申请的示例性说明,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。
Claims (8)
1.一种基于AI的智能标签检索方法,其特征在于,所述方法包括:
获取视频素材信息;
基于所述视频素材信息,构建音频特征标签集与动图特征标签集;
通过所述音频特征标签集与所述动图特征标签集,在所述视频素材信息中进行标记验证,获取标记冲突集;
基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集;
基于所述视频素材标记集,在所述视频素材信息进行标记,获取视频素材信息标记结果;
通过所述视频素材信息标记结果,进行智能剪切,获取视频素材片段集;
通过目标素材调取检索符,在所述视频素材片段集中检索,调取目标素材信息。
2.如权利要求1所述的方法,其特征在于,基于所述视频素材信息,构建音频特征标签集与动图特征标签集,所述方法包括:
对所述视频素材信息进行特征隔离,获取音频素材信息与动图素材信息;
在所述音频素材信息中进行音色特征分析,获取音频特征标签集;
在所述动图素材信息中分别进行场景特征分析与人物特征分析,获取动图特征标签集。
3.如权利要求2所述的方法,其特征在于,在所述动图素材信息中分别进行场景特征分析与人物特征分析,获取动图特征标签集,所述方法还包括:
通过所述动图素材信息进行场景特征分析,获取动图素材场景特征集;
基于所述动图素材场景特征集,对同一场景的不同视角进行特征嵌套合并,获取动图场景信息;
通过所述动图素材信息进行人物特征分析,获取动图素材人物特征集;
基于所述动图素材人物特征集,对同一人物的不同状态进行特征组合,获取动图人物信息;
通过所述动图场景信息与所述动图人物信息,获取动图特征标签集。
4.如权利要求3所述的方法,其特征在于,通过所述动图素材信息进行人物特征分析,获取动图素材人物特征集,所述方法还包括:
搭载XML分类器,以灰度模式加载输入所述动图素材信息;
对所述动图素材信息进行预处理,获取正样本素材信息与负样本素材信息;
基于所述正样本素材信息,进行特征计算,寻找目标样本在帧/图像中的样本位置特征信息;
在所述样本位置特征信息进行检测提取,获取目标样本局部特征集;
通过所述目标样本局部特征集与所述负样本素材信息,获取动图素材人物特征集。
5.如权利要求4所述的方法,其特征在于,在所述样本位置特征信息进行检测提取,获取目标样本局部特征集,所述方法还包括:
通过LBPH算法,获取指标参数信息;
通过所述指标参数信息,对目标样本与身份ID进行训练验证匹配,获取目标样本-身份ID关联映射信息;
通过所述目标样本-身份ID关联映射信息,使用突出面部特征以特定方式描述所述样本位置特征信息;
基于所述样本位置特征信息,采用所述指标参数信息进行网格划分,提取样本直方图;
通过多个所述样本直方图,计算欧氏距离,获取目标样本局部特征集。
6.如权利要求4所述的方法,其特征在于,通过所述目标样本局部特征集与所述负样本素材信息,获取动图素材人物特征集,所述方法还包括:
通过预设参数指标信息,在所述负样本素材信息中进行关联提取,获取指标特征关联集;
通过所述指标特征关联集,对所述目标样本局部特征集进行特征补充,获取动图素材人物特征集。
7.如权利要求1所述的方法,其特征在于,基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集,所述方法还包括:
将所述标记冲突集导出,发送至智能标签检索***相关管理人员,获取精度调整信号;
基于所述动图特征标签集,通过所述精度调整信号,调整指标参数信息,获取动图特征标签调整集;
通过所述音频特征标签集与所述动图特征标签调整集,进行标记验证,若验证通过,获取视频素材标记集。
8.一种基于AI的智能标签检索***,其特征在于,所述***包括:
素材信息获取单元,所述素材信息获取单元用于获取视频素材信息;
标签集构建单元,所述标签集构建单元用于基于所述视频素材信息,构建音频特征标签集与动图特征标签集;
冲突集获取单元,所述冲突集获取单元用于通过所述音频特征标签集与所述动图特征标签集,在所述视频素材信息中进行标记验证,获取标记冲突集;
标记集获取单元,所述标记集获取单元用于基于所述音频特征标签集与所述动图特征标签集,通过所述标记冲突集,获取视频素材标记集;
标记结果获取单元,所述标记结果获取单元用于基于所述视频素材标记集,在所述视频素材信息进行标记,获取视频素材信息标记结果;
片段集获取单元,所述片段集获取单元用于通过所述视频素材信息标记结果,进行智能剪切,获取视频素材片段集;
目标素材调取单元,所述目标素材调取单元用于通过目标素材调取检索符,在所述视频素材片段集中检索,调取目标素材信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210999426.7A CN115309941B (zh) | 2022-08-19 | 2022-08-19 | 一种基于ai的智能标签检索方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210999426.7A CN115309941B (zh) | 2022-08-19 | 2022-08-19 | 一种基于ai的智能标签检索方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115309941A CN115309941A (zh) | 2022-11-08 |
CN115309941B true CN115309941B (zh) | 2023-03-10 |
Family
ID=83862974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210999426.7A Active CN115309941B (zh) | 2022-08-19 | 2022-08-19 | 一种基于ai的智能标签检索方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115309941B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1909658A (zh) * | 2006-08-18 | 2007-02-07 | 武汉博鼎科技有限公司 | 一种通过互联网的电视新闻素材传输与共享*** |
CN109635171A (zh) * | 2018-12-13 | 2019-04-16 | 成都索贝数码科技股份有限公司 | 一种新闻节目智能标签的融合推理***和方法 |
CN110502661A (zh) * | 2019-07-08 | 2019-11-26 | 天脉聚源(杭州)传媒科技有限公司 | 一种视频搜索方法、***及存储介质 |
CN110830835A (zh) * | 2020-01-13 | 2020-02-21 | 南京创维信息技术研究院有限公司 | 智能电视的目标标记与显示的***及方法 |
CN110866129A (zh) * | 2019-11-01 | 2020-03-06 | 中电科大数据研究院有限公司 | 一种基于跨媒体统一表征模型的跨媒体检索方法 |
CN114547373A (zh) * | 2022-02-21 | 2022-05-27 | 山东浪潮超高清视频产业有限公司 | 一种基于音频智能识别搜索节目的方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10180979B2 (en) * | 2013-01-07 | 2019-01-15 | Pixured, Inc. | System and method for generating suggestions by a search engine in response to search queries |
WO2018081751A1 (en) * | 2016-10-28 | 2018-05-03 | Vilynx, Inc. | Video tagging system and method |
CN113127679A (zh) * | 2019-12-30 | 2021-07-16 | 阿里巴巴集团控股有限公司 | 视频搜索方法及装置、索引构建方法及装置 |
-
2022
- 2022-08-19 CN CN202210999426.7A patent/CN115309941B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1909658A (zh) * | 2006-08-18 | 2007-02-07 | 武汉博鼎科技有限公司 | 一种通过互联网的电视新闻素材传输与共享*** |
CN109635171A (zh) * | 2018-12-13 | 2019-04-16 | 成都索贝数码科技股份有限公司 | 一种新闻节目智能标签的融合推理***和方法 |
CN110502661A (zh) * | 2019-07-08 | 2019-11-26 | 天脉聚源(杭州)传媒科技有限公司 | 一种视频搜索方法、***及存储介质 |
CN110866129A (zh) * | 2019-11-01 | 2020-03-06 | 中电科大数据研究院有限公司 | 一种基于跨媒体统一表征模型的跨媒体检索方法 |
CN110830835A (zh) * | 2020-01-13 | 2020-02-21 | 南京创维信息技术研究院有限公司 | 智能电视的目标标记与显示的***及方法 |
CN114547373A (zh) * | 2022-02-21 | 2022-05-27 | 山东浪潮超高清视频产业有限公司 | 一种基于音频智能识别搜索节目的方法 |
Non-Patent Citations (2)
Title |
---|
Go Irie 等.Affective video segment retrieval for consumer generated videos based on correlation between emotions and emotional audio events.2009,522-525. * |
张帆 等.计算机多媒体中信息检索查询与反馈技术研究.2021,98-103. * |
Also Published As
Publication number | Publication date |
---|---|
CN115309941A (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021073417A1 (zh) | 表情生成方法、装置、设备及存储介质 | |
CN112101357B (zh) | 一种rpa机器人智能元素定位拾取方法及*** | |
CN107169049B (zh) | 应用的标签信息生成方法及装置 | |
CN107833213B (zh) | 一种基于伪真值自适应法的弱监督物体检测方法 | |
CN108073910B (zh) | 用于生成人脸特征的方法和装置 | |
CN103824053B (zh) | 一种人脸图像的性别标注方法及人脸性别检测方法 | |
TW201926140A (zh) | 影像標註方法、電子裝置及非暫態電腦可讀取儲存媒體 | |
Wilkinson et al. | Neural Ctrl-F: segmentation-free query-by-string word spotting in handwritten manuscript collections | |
CN112633297B (zh) | 目标对象的识别方法、装置、存储介质以及电子装置 | |
US20230215125A1 (en) | Data identification method and apparatus | |
CN112149690A (zh) | 一种基于生物图像特征识别的溯源方法和溯源*** | |
US20240203097A1 (en) | Method and apparatus for training image processing model, and image classifying method and apparatus | |
CN111126401A (zh) | 一种基于上下文信息的车牌字符识别方法 | |
JPH09293082A (ja) | 画像検索装置及び画像検索方法 | |
KR101093107B1 (ko) | 영상정보 분류방법 및 장치 | |
CN114445691A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN113780116A (zh) | ***分类方法、装置、计算机设备和存储介质 | |
CN115309941B (zh) | 一种基于ai的智能标签检索方法及*** | |
CN117197864A (zh) | 基于深度学习的证件照分类识别及免冠检测方法及*** | |
CN112364687A (zh) | 一种基于改进的Faster R-CNN加油站静电标志识别方法及*** | |
Pohudina et al. | Method for identifying and counting objects | |
CN111753618A (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
Calefati et al. | Reading meter numbers in the wild | |
CN114387600A (zh) | 文本特征识别方法、装置、计算机设备和存储介质 | |
CN115393748A (zh) | 一种基于Logo识别的侵权商标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |