CN110619362B - 一种基于感知与像差的视频内容比对方法及装置 - Google Patents
一种基于感知与像差的视频内容比对方法及装置 Download PDFInfo
- Publication number
- CN110619362B CN110619362B CN201910874788.1A CN201910874788A CN110619362B CN 110619362 B CN110619362 B CN 110619362B CN 201910874788 A CN201910874788 A CN 201910874788A CN 110619362 B CN110619362 B CN 110619362B
- Authority
- CN
- China
- Prior art keywords
- image sequence
- video image
- target video
- source video
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于感知与像差的视频内容比对方法及装置,该方法包括:获取源视频图像序列及目标视频图像序列;提取感知哈希特征和像差特征;根据感知哈希特征判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;输出基于所述判断结果生成的比对结果。与现有技术相比,本实施例针对整体图像,结合感知哈希与像差算法,采用分步匹配判断法,能够同时满足视频内容比对的低计算复杂度要求和高准确性要求。
Description
技术领域
本发明涉及图像识别技术领域,特别涉及基于感知与像差的视频内容比对方法及装置。
背景技术
电视中的视频内容通常通过广播电视信号进行传输。在广播电视信号的传输过程中,视频内容可能会发生非法篡改、节目错漏播、信号传输故障等影响视频内容质量的情况。因此对视频内容进行监测对减少视频内容错误尤为重要。对不同环节的视频信号进行内容对比,是一种直接有效的监测技术手段;另外,在视频检索、视频广告监测等业务场景中,通过将样本视频片段和目标视频进行内容比对,从而检索出样本视频片段是否出现以及出现的位置、时长,也是视频内容比对技术的另一种重要应用。
由于视频比对过程中需要处理的数据量较大,因此对视频比对的方法不仅要求具有良好的失真鲁棒性,还需要具有较高的计算性能。目前,视频内容比对技术主要通过视频图像匹配实现,常见的方法有感知哈希(PHash)、颜色矩(ColorMoment)、尺度不变特征变换(SIFT)、卷积神经网络(CNN)、峰值信噪比(PSNR)等。这些方法中部分方法,比如SIFT方法,SIFT方法虽然准确性较好,但计算复杂度高,且只是针对图像的局部特征。现有的视频比对技术还不能同时满足低计算复杂度要求和高准确性要求。
发明内容
本发明实施例提供了一种基于感知与像差的视频内容比对方法及装置,以解决现有图像比对方法不能够同时满足低计算复杂度要求和高准确性要求的问题。
一方面,本发明实施例提供了一种基于感知与像差的视频内容比对方法,该方法包括:获取源视频图像序列及目标视频图像序列;提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;输出基于所述判断结果生成的比对结果。
结合一方面,在第一种可能的实现方式中,提取所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征包括:提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值,生成源视频灰度图像序列和目标视频灰度图像序列;缩放所述源视频灰度图像序列和所述目标视频灰度图像序列;将缩放后的所述源视频灰度图像序列和所述目标视频灰度图像序列进行离散余弦变换;分别取离散余弦变换后的所述源视频灰度图像序列和所述目标视频灰度图像序列的左上角块系数;计算所述块系数的系数均值;判断所述块系数中每一系数值与所述系数均值的大小关系,如果系数值大于或等于所述系数均值,则将系数点标记为1,如果系数值小于所述系数均值,则将系数点标记为0;根据标记结果生成所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征。
结合一方面,在第二种可能的实现方式中,提取所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征包括:提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值,生成源视频灰度图像序列和目标视频灰度图像序列;缩放所述源视频灰度图像序列和所述目标视频灰度图像序列;将缩放后的所述源视频灰度图像序列和所述目标视频灰度图像序列分割成N个像素块;计算N个所述像素块中所有像素点的块像素均值;计算每一像素点灰度值与所述块像素均值的像差,如果所述像差大于或等于0,则将像素点标记为1,如果所述像差小于0,则将像素点标记为0;根据标记结果生成所述源视频图像序列的N个块像差特征及所述目标视频图像序列的N个块像差特征。
结合第二种可能的实现方式,在第三种可能的实现方式中,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配包括:根据所述源视频图像序列的N个块像差特征及所述目标视频图像序列的N个块像差特征生成所述源视频图像序列的像素块和所述目标视频图像序列的像素块之间的匹配结果;根据所述匹配结果计算相匹配的所述像素块与所述像素块的比值;根据所述比值计算所述源视频图像序列和所述目标视频图像序列的平均匹配块百分比;根据所述平均匹配块百分比与预设匹配块百分比的大小关系,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配。
结合第三种可能的实现方式,在第四种可能的实现方式中,根据所述平均匹配块百分比与预设匹配块百分比的大小关系,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配包括:如果所述平均匹配块百分比小于所述预设匹配块百分比,则相似匹配后的所述源视频图像序列和所述目标视频图像序列不精确匹配;如果所述平均匹配块百分比大于或等于所述预设匹配块百分比,则相似匹配后的所述源视频图像序列和所述目标视频图像序列精确匹配。
结合一方面,在第五种可能的实现方式中,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量,包括:选取多个预选对齐偏移量;根据所述预选对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算对齐后的所述源视频图像序列和所述目标视频图像序列的平均汉明距离;选取所述平均汉明距离最小的所述预选对齐偏移量为对齐偏移量。
结合一方面,在第六种可能的实现方式中,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配包括:计算所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征的平均汉明距离;根据所述平均汉明距离与预设阈值的大小关系,判断所述对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配。
结合第六种可能的实现方式,在第七种可能的实现方式中,根据所述平均汉明距离与预设阈值的大小关系,判断所述对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配包括:如果所述平均汉明距离大于所述预设阈值,则所述对齐后的所述源视频图像序列和所述目标视频图像序列不相似匹配;如果所述平均汉明距离小于或等于所述预设阈值,则所述对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配。
结合一方面,在第八种可能的实现方式中,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量还包括:选取预设时间长度内的所述源视频图像序列及所述目标视频图像序列;根据预设时间长度内的所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量。
本公开实施例的第二方面,提供了一种基于感知与像差的视频内容比对装置,包括:
图像序列获取单元,用于获取源视频图像序列及目标视频图像序列;
提取单元,用于提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;
计算单元,用于根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;
对齐单元,用于根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;
第一判断单元,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;
第二判断单元,用于如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;
结果输出单元,用于输出基于所述判断结果生成的比对结果。
本公开实施例的第三方面,提供了一种终端,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取源视频图像序列及目标视频图像序列;
提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;
根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;
如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;
输出基于所述判断结果生成的比对结果。
从上述实施例可以看出,获取源视频图像序列及目标视频图像序列;提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;输出基于所述判断结果生成的比对结果。与现有技术相比,本实施例针对整体图像,结合感知哈希与像差算法,采用分步匹配判断法,能够同时满足视频内容比对的低计算复杂度要求和高准确性要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。通过附图所示,本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本发明的主旨。
图1为本发明基于感知与像差的视频内容比对方法一个实施例的流程图;
图2为所述源视频图像序列及所述目标视频图像序列感知哈希特征提取流程图;
图3为所述源视频图像序列及所述目标视频图像序列像差特征提取流程图;
图4为根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列的一个实施例的示意图;
图5为根据感知哈希特征判断所述源视频图像序列及所述目标视频图像序列是否相似匹配的流程图;
图6为根据像差特征判断所述源视频图像序列及所述目标视频图像序列是否精确匹配的流程图;
图7为本发明实施例提供的基于感知与像差的视频内容比对装置的示意图;
图8为本发明实施例提供的一种终端的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,为本发明基于感知与像差的视频内容比对方法一个实施例的流程图,该方法包括如下步骤:
步骤101,获取源视频图像序列及目标视频图像序列。
视频泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。连续的图像变化每秒超过24帧画面以上时,根据视觉暂留原理,人眼无法辨别单幅的静态画面;看上去是平滑连续的视觉效果,这样连续的画面叫做视频。本申请实施例中的源视频图像序列指的是广播电视信号传输之前的初始样本视频片段,目标视频图像序列指的是广播电视信号传输之后的目的视频片段,源视频图像序列和目标视频图像序列都包含有多幅视频帧。本申请实施例通过将源视频图像序列中的单幅视频帧与目标视频图像序列中的对应单幅视频帧进行比对,来判断源视频图像序列经过传输而的得到的目标视频图像序列是否产生内容错误或质量损伤即失真。通过对源视频进行视频采集和解码获取源视频图像序列,通过对目标视频采集和解码获取目标视频图像序列。
步骤102,提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征。
在本实施例中,具体的,参见图2,提取所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征包括以下步骤:
步骤201:提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值,生成源视频灰度图像序列和目标视频灰度图像序列。
彩色图像变成灰度格式,是要扔掉图像的颜色信息,用灰度表示图像的亮度信息。彩色图像每像素占3个字节,而变成灰度图像后,每个像素占一个字节,像素的灰度值是当前彩色图像像素的亮度。可利用图像处理工具提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值即生成了源视频图像序列的灰度图像帧和目标视频图像序列的灰度图像帧。
步骤202:缩放所述源视频灰度图像序列和所述目标视频灰度图像序列。在进行提取所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征之前,为了方便比对处理及减小后续比对过程的计算量,还可以缩放所述源视频图像序列及所述目标视频图像序列,即缩放所述源视频图像序列中的所有视频帧和所述目标视频图像序列中的所有视频帧。灰度图像包含了亮度变化大的区域比如物体边缘即亮度变化大的区域,亮度变化大的区域称为高频区域,亮度变化小的区域称为低频区域,缩放灰度图像即损失高频信息的过程,源视频灰度图像序列和所述目标视频灰度图像序列的图像帧均缩放至比如32*32分辨率。
步骤203:将缩放后的所述源视频灰度图像序列和所述目标视频灰度图像序列进行离散余弦变换。对图像进行离散余弦变化,变换后的离散余弦变换***能量主要集中在左上角,其余大部分系数接近于零,因此离散余弦变换能够对使图像信息集中,变换后的图像便于后续处理。
步骤204:分别取离散余弦变换后的所述源视频灰度图像序列和所述目标视频灰度图像序列的左上角块系数。离散余弦变换是对二维像素数组进行处理,即图像的时频变换,经过离散余弦变换后的图像信息集中在左上角,可取变换后图像的左上角8*8块系数,并将图像中心坐标[0,0]处的系数设置为0。
步骤205:计算所述块系数的系数均值。比如,计算所述8*8块系数中的所有系数的系数均值为A。
步骤206:判断所述块系数中每一系数值与所述系数均值的大小关系,如果系数值大于或等于所述系数均值,则将系数标记为1,如果系数值小于所述系数均值,则将系数标记为0。通过判断每个系数的系数值X与系数均值A的大小关系,如果X≥A,则将该系数标记为1,如果X<A,则将该系数标记为0。
步骤207:根据标记结果生成所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征。具体的,按照8*8块系数的顺序进行标记形成64个bit值,将标记形成的64个bit值作为所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征。
在本实施例中,具体的,参见图3,提取所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征包括以下步骤:
步骤301:提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值,生成源视频灰度图像序列和目标视频灰度图像序列。
步骤302:缩放所述源视频灰度图像序列和所述目标视频灰度图像序列,可以将源视频图像序列的图像帧和目标视频图像序列的图像帧均缩放至176*144分辨率。
步骤303:将缩放后的所述源视频灰度图像序列和所述目标视频灰度图像序列分割成N个像素块。具体的可以将所述源视频灰度图像序列和所述目标视频灰度图像序列分割成8*8个像素块,则源视频图像序列的每一图像帧和目标视频图像序列的每一图像帧均具有(176/8)*(144/8)=396个块。
步骤304:计算N个所述像素块中所有像素点的块像素均值。可以是计算所述396个像素块中所有像素点的块像素均值,得到396个块像素均值A1、A2…A396。
步骤305:计算每一像素点灰度值与所述块像素均值的像差,如果所述像差大于或等于0,则将像素点标记为1,如果所述像差小于0,则将像素点标记为0。
步骤306:根据标记结果生成所述源视频图像序列的N个块像差特征及所述目标视频图像序列的N个块像差特征。最终每一个块像素均得到64个bit值,得到396个块像差特征。
根据步骤201至步骤207得到所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,以及根据步骤301至步骤306得到所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征。
步骤103,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量。
步骤104,根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列。
图4展示了一个根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列的例子。首先选取多个预选对齐偏移量O1、O2…Om。根据所述预选对齐偏移量O1、O2…Om分别对齐所述源视频图像序列和所述目标视频图像序列。对齐所述源视频图像序列和所述目标视频图像序列之后,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算对齐后的所述源视频图像序列和所述目标视频图像序列的平均汉明距离,平均汉明距离的表达公式可以是:#其中,Hi、H’i+o分别为所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征。DH为对齐图像帧感知哈希特征的汉明距离,即2组64bit特征中不同bit的个数。N为对齐窗口中,对齐图像帧的个数。本实施例中还可以取一定时间长度的对齐窗口进行平均汉明距离的计算,例如可以截取5秒窗口内的视频帧,设窗口内含有M帧图像,则N=M-O。最后得到所述预选对齐偏移量O1、O2…Om下的感知哈希特征平均汉明距离:取距离最小且对齐帧数N≥10的偏移量,作为视频同步对齐偏移量,记为Oo。根据得到偏移量Oo对齐所述源视频图像序列和所述目标视频图像序列。
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量还可以包括:选取预设时间长度内的所述源视频图像序列及所述目标视频图像序列;根据预设时间长度内的所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量。通过缩小比较范围既可以获得准确的对齐偏移量也可以减小计算量。
步骤105,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配。具体的,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配包括以下步骤,如图5所示:
步骤501:计算所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征的平均汉明距离。
步骤502:根据所述平均汉明距离与预设阈值的大小关系,判断所述对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配。例如,选取预设阈值为T1,如果计算的感知哈希特征的平均汉明距离大于所述预设阈值T1,则判断窗口内源视频图像序列和目标视频图像序列不相似匹配。如果计算的感知哈希特征的平均汉明距离小于所述预设阈值T1,则判断窗口内源视频图像序列和目标视频图像序列相似匹配,需要进一步的根据像差特征进行精确匹配判断。
步骤106,如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配。如果根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征判断对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配后,则需进一步的根据述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配。具体的,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配包括以下步骤,如图6所示:
步骤601:根据所述源视频图像序列的N个块像差特征及所述目标视频图像序列的N个块像差特征生成相似匹配后的所述源视频图像序列的像素块和所述目标视频图像序列的像素块之间的匹配结果。例如,对每个8*8像素块的64bit像差特征,计算汉明距离(2组64bit中不同bit的个数),如果汉明距离大于第二预设阈值T2,则可判断对应的块内容不相匹配,如果汉明距离小于等于第二预设阈值T2,则可判断对应的块内容相匹配。
步骤602:根据N个所述像素块的匹配结果计算相匹配的所述像素块与所述像素块的比值。根据步骤601得到相匹配的像素块的个数Y,可以计算出每帧图像N个像素块中,内容相匹配的像素块占所述像素块的总块数的百分比。例如得到的相匹配的像素块的个数Y为360个,总块数N为396块,则相匹配的像素块的个数占总块数的百分比为360/396≈91%。
步骤603:根据所述比值计算所述源视频图像序列和所述目标视频图像序列的平均匹配块百分比。平均匹配块百分比为所有帧图像的匹配快百分比的均值Y1。
步骤604:根据所述平均匹配块百分比与预设匹配块百分比的大小关系,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配。百分比阈值T3,如果Y1小于阈值T3,则判断相似匹配后的所述源视频图像序列和所述目标视频图像序列不精确匹配,如果Y1大于或等于阈值T3,则判断相似匹配后的所述源视频图像序列和所述目标视频图像序列精确匹配。
从上述实施例可以看出,获取源视频图像序列及目标视频图像序列;提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;输出基于所述判断结果生成的比对结果。与现有技术相比,本实施例针对整体图像,结合感知哈希与像差算法,采用分步匹配判断法,能够同时满足视频内容比对的低计算复杂度要求和高准确性要求。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
另外,作为上述各实施例的实现,本公开实施例还提供了一种基于感知与像差的视频内容比对装置,该装置位于终端中,如图7所示,该装置包括:图像序列获取单元10、提取单元20、计算单元30、对齐单元40、第一判断单元50、第二判断单元60和结果输出单元70,其中:
图像序列获取单元10被配置为获取源视频图像序列及目标视频图像序列;
提取单元20被配置为提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;
计算单元30被配置为根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;
对齐单元40被配置为根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;
第一判断单元50被配置为根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;
第二判断单元60被配置为果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;
结果输出单元70被配置为输出基于所述判断结果生成的比对结果。
本公开实施例提供的基于感知与像差的视频内容比对装置,通过获取源视频图像序列及目标视频图像序列;提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;输出基于所述判断结果生成的比对结果。本公开实施例结合感知哈希与像差算法,采用分步匹配判断法,能够同时满足视频内容比对的低计算复杂度要求和高准确性要求。
图8是根据一示例性实施例示出的一种终端800的框图。例如,终端800可以是消息收发设备,平板设备,计算机等。参照图8,终端800可以包括以下一个或多个组件,处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入输出接口812以及通信组件814。
处理组件802通常控制终端800的整体操作,诸如显示,数据通信,记录操作等相关联的操作,处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在终端800的操作。电源组件806为终端800的各种组件提供电力。电源组件806可以包括电源管理***,一个或多个电源,及其他与为终端800生成、管理和分配电力相关联的组件。多媒体组件808包括在所述终端800和用户之间的提供一个输出接口的屏幕。音频组件810被配置为输出和/或输入音频信号。输入输出接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
通信组件816被配置为便于终端800和其他设备之间有线或无线方式的通信。终端800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由终端800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端800的处理器执行时,使得终端800能够执行一种信息处理方法,所述方法包括:
获取源视频图像序列及目标视频图像序列;
提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;
根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;
如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;
输出基于所述判断结果生成的比对结果。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。以上所述的本发明实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于感知与像差的视频内容比对方法,其特征在于,包括:
获取源视频图像序列及目标视频图像序列;
提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;
根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;
如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;
输出基于判断结果生成的比对结果;
提取所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征包括:
提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值,生成源视频灰度图像序列和目标视频灰度图像序列;
缩放所述源视频灰度图像序列和所述目标视频灰度图像序列;
将缩放后的所述源视频灰度图像序列和所述目标视频灰度图像序列分割成N个像素块;
计算N个所述像素块中所有像素点的块像素均值;
计算每一像素点灰度值与所述块像素均值的像差,如果所述像差大于或等于0,则将像素点标记为1,如果所述像差小于0,则将像素点标记为0;
根据标记结果生成所述源视频图像序列的N个块像差特征及所述目标视频图像序列的N个块像差特征。
2.根据权利要求1所述的方法,其特征在于,提取所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征包括:
提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值,生成源视频灰度图像序列和目标视频灰度图像序列;
缩放所述源视频灰度图像序列和所述目标视频灰度图像序列;
将缩放后的所述源视频灰度图像序列和所述目标视频灰度图像序列进行离散余弦变换;
分别取离散余弦变换后的所述源视频灰度图像序列和所述目标视频灰度图像序列的左上角块系数;
计算所述块系数的系数均值;
判断所述块系数中每一系数值与所述系数均值的大小关系,如果系数值大于或等于所述系数均值,则将系数标记为1,如果系数值小于所述系数均值,则将系数标记为0;
根据标记结果生成所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征。
3.根据权利要求1所述的方法,其特征在于,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配包括:
根据所述源视频图像序列的N个块像差特征及所述目标视频图像序列的N个块像差特征生成所述源视频图像序列的像素块和所述目标视频图像序列的像素块之间的匹配结果;
根据所述匹配结果计算相匹配的像素块的块数占所述像素块的总块数的比值;
根据所述比值计算所述源视频图像序列和所述目标视频图像序列的平均匹配块百分比;
根据所述平均匹配块百分比与预设匹配块百分比的大小关系,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配。
4.根据权利要求3所述的方法,其特征在于,根据所述平均匹配块百分比与预设匹配块百分比的大小关系,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配包括:
如果所述平均匹配块百分比小于所述预设匹配块百分比,则相似匹配后的所述源视频图像序列和所述目标视频图像序列不精确匹配;
如果所述平均匹配块百分比大于或等于所述预设匹配块百分比,则相似匹配后的所述源视频图像序列和所述目标视频图像序列精确匹配。
5.根据权利要求1所述的方法,其特征在于,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量,包括:
选取多个预选对齐偏移量;
根据所述预选对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算对齐后的所述源视频图像序列和所述目标视频图像序列的平均汉明距离;
选取所述平均汉明距离最小的所述预选对齐偏移量为对齐偏移量。
6.根据权利要求1所述的方法,其特征在于,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配包括:
计算所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征的平均汉明距离;
根据所述平均汉明距离与预设阈值的大小关系,判断所述对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配。
7.根据权利要求6所述的方法,其特征在于,根据所述平均汉明距离与预设阈值的大小关系,判断所述对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配包括:
如果所述平均汉明距离大于所述预设阈值,则所述对齐后的所述源视频图像序列和所述目标视频图像序列不相似匹配;
如果所述平均汉明距离小于或等于所述预设阈值,则所述对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配。
8.根据权利要求1所述的方法,其特征在于,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量还包括:
选取预设时间长度内的所述源视频图像序列及所述目标视频图像序列;
根据预设时间长度内的所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量。
9.一种基于感知与像差的视频内容比对装置,其特征在于,包括:
图像序列获取单元,用于获取源视频图像序列及目标视频图像序列;
提取单元,用于提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;
计算单元,用于根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;
对齐单元,用于根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;
第一判断单元,根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;
第二判断单元,用于如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;
结果输出单元,用于输出基于判断结果生成的比对结果;
提取所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征包括:
提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值,生成源视频灰度图像序列和目标视频灰度图像序列;
缩放所述源视频灰度图像序列和所述目标视频灰度图像序列;
将缩放后的所述源视频灰度图像序列和所述目标视频灰度图像序列分割成N个像素块;
计算N个所述像素块中所有像素点的块像素均值;
计算每一像素点灰度值与所述块像素均值的像差,如果所述像差大于或等于0,则将像素点标记为1,如果所述像差小于0,则将像素点标记为0;
根据标记结果生成所述源视频图像序列的N个块像差特征及所述目标视频图像序列的N个块像差特征。
10.一种终端,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取源视频图像序列及目标视频图像序列;
提取所述源视频图像序列及所述目标视频图像序列的感知哈希特征和像差特征;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,计算所述源视频图像序列及所述目标视频图像序列的对齐偏移量;
根据所述对齐偏移量对齐所述源视频图像序列和所述目标视频图像序列;
根据所述源视频图像序列的感知哈希特征及所述目标视频图像序列的感知哈希特征,判断对齐后的所述源视频图像序列和所述目标视频图像序列是否相似匹配;
如果对齐后的所述源视频图像序列和所述目标视频图像序列相似匹配,根据所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征,判断相似匹配后的所述源视频图像序列和所述目标视频图像序列是否精确匹配;
输出基于判断结果生成的比对结果;
提取所述源视频图像序列的像差特征及所述目标视频图像序列的像差特征包括:
提取所述源视频图像序列的灰度值及所述目标视频图像序列的灰度值,生成源视频灰度图像序列和目标视频灰度图像序列;
缩放所述源视频灰度图像序列和所述目标视频灰度图像序列;
将缩放后的所述源视频灰度图像序列和所述目标视频灰度图像序列分割成N个像素块;
计算N个所述像素块中所有像素点的块像素均值;
计算每一像素点灰度值与所述块像素均值的像差,如果所述像差大于或等于0,则将像素点标记为1,如果所述像差小于0,则将像素点标记为0;
根据标记结果生成所述源视频图像序列的N个块像差特征及所述目标视频图像序列的N个块像差特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910874788.1A CN110619362B (zh) | 2019-09-17 | 2019-09-17 | 一种基于感知与像差的视频内容比对方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910874788.1A CN110619362B (zh) | 2019-09-17 | 2019-09-17 | 一种基于感知与像差的视频内容比对方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110619362A CN110619362A (zh) | 2019-12-27 |
CN110619362B true CN110619362B (zh) | 2021-11-09 |
Family
ID=68923161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910874788.1A Active CN110619362B (zh) | 2019-09-17 | 2019-09-17 | 一种基于感知与像差的视频内容比对方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110619362B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112837640A (zh) * | 2021-01-27 | 2021-05-25 | 百果园技术(新加坡)有限公司 | 屏幕动态画面测试方法、***、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103747254A (zh) * | 2014-01-27 | 2014-04-23 | 深圳大学 | 一种基于时域感知哈希的视频篡改检测方法和装置 |
CN104023249A (zh) * | 2014-06-12 | 2014-09-03 | 腾讯科技(深圳)有限公司 | 电视频道识别方法和装置 |
CN105975939A (zh) * | 2016-05-06 | 2016-09-28 | 百度在线网络技术(北京)有限公司 | 视频检测方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8994828B2 (en) * | 2013-02-28 | 2015-03-31 | Apple Inc. | Aligned video comparison tool |
-
2019
- 2019-09-17 CN CN201910874788.1A patent/CN110619362B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103747254A (zh) * | 2014-01-27 | 2014-04-23 | 深圳大学 | 一种基于时域感知哈希的视频篡改检测方法和装置 |
CN104023249A (zh) * | 2014-06-12 | 2014-09-03 | 腾讯科技(深圳)有限公司 | 电视频道识别方法和装置 |
CN105975939A (zh) * | 2016-05-06 | 2016-09-28 | 百度在线网络技术(北京)有限公司 | 视频检测方法和装置 |
Non-Patent Citations (2)
Title |
---|
Perceptual Video Hashing for Content Identification and Authentication;Fouad Khelifi等;《IEEE Electronic Library》;20171121;全文 * |
基于视觉哈希的视频拷贝检测算法研究;王静;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131115(第11期);正文第1-45页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110619362A (zh) | 2019-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11475238B2 (en) | Keypoint unwarping for machine vision applications | |
US10893320B2 (en) | Dynamic video overlays | |
US9628837B2 (en) | Systems and methods for providing synchronized content | |
US10368123B2 (en) | Information pushing method, terminal and server | |
EP2149098B1 (en) | Deriving video signatures that are insensitive to picture modification and frame-rate conversion | |
US9396409B2 (en) | Object based image processing | |
EP1519343A2 (en) | Method and apparatus for summarizing and indexing the contents of an audio-visual presentation | |
US9082039B2 (en) | Method and apparatus for recognizing a character based on a photographed image | |
CN107220652B (zh) | 用于处理图片的方法和装置 | |
KR20120138282A (ko) | 영상 처리 방법 및 장치 | |
WO2015167901A1 (en) | Video fingerprinting | |
WO2021175040A1 (zh) | 视频处理方法及相关装置 | |
CN111836118B (zh) | 视频处理方法、装置、服务器及存储介质 | |
WO2020108010A1 (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
US9542976B2 (en) | Synchronizing videos with frame-based metadata using video content | |
CN110619362B (zh) | 一种基于感知与像差的视频内容比对方法及装置 | |
CN112511890A (zh) | 视频图像处理方法、装置及电子设备 | |
US9678991B2 (en) | Apparatus and method for processing image | |
WO2016161899A1 (zh) | 一种多媒体信息处理方法、设备及计算机存储介质 | |
CN110765304A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
CN112598074B (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN112541429B (zh) | 一种智能抓图方法、装置、电子设备以及存储介质 | |
WO2018107601A1 (zh) | 动态演示使用说明的方法、装置及*** | |
CN107431831B (zh) | 使用视频帧来标识视频序列的装置和方法 | |
CN112055246B (zh) | 一种视频处理方法、装置、***及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |