CN112492383A - 视频帧的生成方法及装置、存储介质、电子设备 - Google Patents

视频帧的生成方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN112492383A
CN112492383A CN202011410596.4A CN202011410596A CN112492383A CN 112492383 A CN112492383 A CN 112492383A CN 202011410596 A CN202011410596 A CN 202011410596A CN 112492383 A CN112492383 A CN 112492383A
Authority
CN
China
Prior art keywords
face
preset
video frame
picture
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011410596.4A
Other languages
English (en)
Inventor
李聪
陈翀
林进华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202011410596.4A priority Critical patent/CN112492383A/zh
Publication of CN112492383A publication Critical patent/CN112492383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频帧的生成方法及装置、存储介质、电子设备，属于数据安全领域。其中，该方法包括：采集第一视频帧；判断所述第一视频帧中是否包括预设用户集的人脸画面；若所述第一视频帧中包括预设用户集的人脸画面，将所述第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。通过本发明，解决了相关技术不能保护视频帧中的用户隐私的技术问题，降低了视频数据的泄露风险，提高了视频数据传输的安全性。

Description

视频帧的生成方法及装置、存储介质、电子设备
技术领域
本发明涉及数据安全领域，具体而言，涉及一种视频帧的生成方法及装置、存储介质、电子设备。
背景技术
相关技术中，随着AI、大数据、云计算等技术的发展，安防产品在能力上突破了过去的局限，呈现出高清化和智能化的发展方向。
相关技术中，智能摄像头具备人脸识别功能。人脸识别可以快速有效地进行陌生人判定，但是，人脸识别也带来了用户隐私的问题。比如存储在云端的视频流文件被泄露，黑客利用网络漏洞直接窃取用户的直播画面等，导致家庭用户隐私信息很可能被泄露。同时，对于脸部图像的恶意传播很可能会带来信息安全、网络暴力、肖像侵犯等诸多问题。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种视频帧的生成方法及装置、存储介质、电子设备，以解决相关技术不能保护视频帧中的用户隐私的技术问题。
根据本申请实施例的一个方面，提供了一种视频帧的生成方法，包括：采集第一视频帧；判断所述第一视频帧中是否包括预设用户集的人脸画面；若所述第一视频帧中包括预设用户集的人脸画面，将所述第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。
进一步，判断所述第一视频帧中是否包括预设用户集的人脸画面包括：提取所述第一视频帧中的人脸特征向量；判断所述人脸特征向量与所述预设用户集的预设特征向量是否匹配，其中，所述预设用户集对应若干个预设用户，每个预设用户对应一个预设特征向量；若所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配，确定所述第一视频帧中包括预设用户集的人脸画面；若所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配，确定所述第一视频帧中不包括预设用户集的人脸画面。
进一步，判断所述人脸特征向量与所述预设用户集的预设特征向量是否匹配包括：将所述人脸特征向量输入逻辑回归Softmax人脸识别模型，并输出所述人脸特征向量所属的特征区域，其中，所述Softmax人脸识别模型使用十字交叉熵损失函数进行特征约束；若所述人脸特征向量所属的特征区域为预设用户区域，判定所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配；所述人脸特征向量所属的特征区域为陌生用户区域，判定所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配。
进一步，将所述第一视频帧中的人脸画面替换为预设遮挡画面包括：识别所述人脸画面对应的用户角色；在遮挡画面列表中选择与所述用户角色匹配的预设遮挡画面，并将所述第一视频帧中的人脸画面替换为所述预设遮挡画面。
进一步，将所述第一视频帧中的人脸画面替换为预设遮挡画面包括：识别所述人脸画面对应的用户角色；提取所述人脸画面的表情特征信息，并选择与所述用户角色匹配的虚拟形象角色；将所述表情特征信息和所述虚拟形象角色输入至生成对抗网络，并输出与所述人脸画面对应的虚拟形象人脸；将所述第一视频帧中的人脸画面替换为虚拟形象人脸。
进一步，识别所述人脸画面对应的用户角色包括：将所述第一视频帧中的人脸特征向量输入三元组Triplet人脸识别模型，并输出所述人脸特征向量到各个预设角色特征之间的特征间隔，其中，所述Triplet人脸识别模型使用三元组损失函数进行特征约束，每个预设角色特征对应所述预设用户集中的一个用户角色；将特征间隔最小的用户角色选择为与所述人脸画面对应的用户角色。
进一步，在判断所述第一视频帧中是否包括预设用户集的第一人脸画面之后，所述方法还包括：若所述第一视频帧中不包括预设用户集的人脸画面，判断所述第一视频帧中是否包括陌生用户的第二人脸画面，其中，所述陌生用户为除所述预设用户之外的其他用户；若所述第一视频帧中包括陌生用户的第二人脸画面，截取所述第二人脸画像，并基于所述第二人脸画像生成告警信息，其中，所述告警信息用于指示出现陌生人员。
根据本申请实施例的另一个方面，还提供了一种视频帧的生成装置，包括：采集模块，用于采集第一视频帧；第一判断模块，用于判断所述第一视频帧中是否包括预设用户集的人脸画面；替换模块，用于若所述第一视频帧中包括预设用户集的人脸画面，将所述第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。
进一步，所述第一判断模块包括：提取单元，用于提取所述第一视频帧中的人脸特征向量；判断单元，用于判断所述人脸特征向量与所述预设用户集的预设特征向量是否匹配，其中，所述预设用户集对应若干个预设用户，每个预设用户对应一个预设特征向量；确定单元，用于若所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配，确定所述第一视频帧中包括预设用户集的人脸画面；若所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配，确定所述第一视频帧中不包括预设用户集的人脸画面。
进一步，所述判断单元包括：处理子单元，用于将所述人脸特征向量输入逻辑回归Softmax人脸识别模型，并输出所述人脸特征向量所属的特征区域，其中，所述Softmax人脸识别模型使用十字交叉熵损失函数进行特征约束；判断子单元，用于若所述人脸特征向量所属的特征区域为预设用户区域，判定所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配；所述人脸特征向量所属的特征区域为陌生用户区域，判定所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配。
进一步，所述替换模块包括：识别单元，用于识别所述人脸画面对应的用户角色；第一替换单元，用于在遮挡画面列表中选择与所述用户角色匹配的预设遮挡画面，并将所述第一视频帧中的人脸画面替换为所述预设遮挡画面。
进一步，所述替换模块包括：识别单元，用于识别所述人脸画面对应的用户角色；第一处理单元，用于提取所述人脸画面的表情特征信息，并选择与所述用户角色匹配的虚拟形象角色；第二处理单元，用于将所述表情特征信息和所述虚拟形象角色输入至生成对抗网络，并输出与所述人脸画面对应的虚拟形象人脸；第二替换单元，用于在将所述第一视频帧中的人脸画面替换为虚拟形象人脸。
进一步，所述识别单元包括：处理子单元，用于将所述第一视频帧中的人脸特征向量输入三元组Triplet人脸识别模型，并输出所述人脸特征向量到各个预设角色特征之间的特征间隔，其中，所述Triplet人脸识别模型使用三元组损失函数进行特征约束，每个预设角色特征对应所述预设用户集中的一个用户角色；选择子单元，用于将特征间隔最小的用户角色选择为与所述人脸画面对应的用户角色。
进一步，所述装置还包括：第二判断模块，用于在所述第一判断模块判断所述第一视频帧中是否包括预设用户集的第一人脸画面之后，若所述第一视频帧中不包括预设用户集的人脸画面，判断所述第一视频帧中是否包括陌生用户的第二人脸画面，其中，所述陌生用户为除所述预设用户之外的其他用户；生成模块，用于若所述第一视频帧中包括陌生用户的第二人脸画面，截取所述第二人脸画像，并基于所述第二人脸画像生成告警信息，其中，所述告警信息用于指示出现陌生人员。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
通过本发明，采集第一视频帧，判断第一视频帧中是否包括预设用户集的人脸画面，若第一视频帧中包括预设用户集的人脸画面，将第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧，通过识别第一视频帧中的人脸画面，并将预设用户集的人脸画面替换为预设遮挡画面，再生成第二视频帧，使得实时视频画面以及待上传的回放录像中都不会包含预设用户集的原人脸，从而对用户隐私进行保护，解决了相关技术不能保护视频帧中的用户隐私的技术问题，降低了视频数据的泄露风险，提高了视频数据传输的安全性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种摄像头的硬件结构框图；
图2是根据本发明实施例的一种视频帧的生成方法的流程图；
图3是本发明实施例中针对人脸隐私保护的轻量化级联神经网络原理图；
图4是本发明实施例人脸隐私保护的流程图；
图5是根据本发明实施例的一种视频帧的生成装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在摄像头、手机、平板或者类似的影像装置中执行。以运行在摄像头上为例，图1是本发明实施例的一种摄像头的硬件结构框图。如图1所示，摄像头10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述摄像头还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述摄像头的结构造成限定。例如，摄像头10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储摄像头程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种视频帧的生成方法对应的摄像头程序，处理器102通过运行存储在存储器104内的摄像头程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至摄像头10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括摄像头10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种视频帧的生成方法，图2是根据本发明实施例的一种视频帧的生成方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，采集第一视频帧；
本实施例的第一视频帧是原始视频帧或实时视频帧，与实际环境中的画面对应，第一视频帧可能会包括涉及用户隐私的画面，如人脸等。
步骤S204，判断所述第一视频帧中是否包括预设用户集的人脸画面；
本实施例的预设用户集是已录入的用户集，如家庭成员集，公司成员集，VIP客户集等，预设用户集的人脸区域是本实施例需要保护的隐私区域，当然，也可以是躯干区域，电话号码，身上特定位置的纹身区域，伤疤区域等。
步骤S206，若第一视频帧中包括预设用户集的人脸画面，将第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。
在生成第二视频帧之后，还可以基于该第二视频帧进行本地保存，进一步压缩编码，传输等。
通过上述步骤，采集第一视频帧，判断第一视频帧中是否包括预设用户集的人脸画面，若第一视频帧中包括预设用户集的人脸画面，将第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧，通过识别第一视频帧中的人脸画面，并将预设用户集的人脸画面替换为预设遮挡画面，再生成第二视频帧，使得实时视频画面以及待上传的回放录像中都不会包含预设用户集的原人脸，从而对用户隐私进行保护，解决了相关技术不能保护视频帧中的用户隐私的技术问题，降低了视频数据的泄露风险，提高了视频数据传输的安全性。
在本实施例的一个实施方式中，判断第一视频帧中是否包括预设用户集的人脸画面包括：
S11，提取所述第一视频帧中的人脸特征向量；
S12，判断所述人脸特征向量与所述预设用户集的预设特征向量是否匹配，其中，所述预设用户集对应若干个预设用户，每个预设用户对应一个预设特征向量；
在一个示例中，判断所述人脸特征向量与所述预设用户集的预设特征向量是否匹配包括：将所述人脸特征向量输入逻辑回归Softmax人脸识别模型，并输出所述人脸特征向量所属的特征区域，其中，所述Softmax人脸识别模型使用十字交叉熵损失函数进行特征约束；若所述人脸特征向量所属的特征区域为预设用户区域，判定所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配；所述人脸特征向量所属的特征区域为陌生用户区域，判定所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配。
可选的，经过Softmax回归处理之后的输出为两个特征区域的概率值，形成概率和为1的概率分布，选择概率值大的特征区域为人脸特征向量所属的特征区域。
S13，若所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配，确定所述第一视频帧中包括预设用户集的人脸画面；若所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配，确定所述第一视频帧中不包括预设用户集的人脸画面。
在本实施例的一个实施方式中，将所述第一视频帧中的人脸画面替换为预设遮挡画面包括：识别所述人脸画面对应的用户角色；在遮挡画面列表中选择与所述用户角色匹配的预设遮挡画面，并将所述第一视频帧中的人脸画面替换为所述预设遮挡画面。
可选的，用户角色为人脸画面的实际用户在预设用户集中的所属角色，如家庭成员中的“爸爸”，公司成员中的“张三”等。
在该实施方式中，预设遮挡画面可以是一个卡通形象的头像，涂鸦等，通过根据用户角色分配预设遮挡画面，可以在处理后的第二视频帧中定位出用户角色。
在本实施例的另一个实施方式中，其特征在于，将所述第一视频帧中的人脸画面替换为预设遮挡画面包括：识别所述人脸画面对应的用户角色；提取所述人脸画面的表情特征信息，并选择与所述用户角色匹配的虚拟形象角色；将所述表情特征信息和所述虚拟形象角色输入至生成对抗网络，并输出与所述人脸画面对应的虚拟形象人脸；将所述第一视频帧中的人脸画面替换为虚拟形象人脸。
可选的，表情特征信息包括眼睛、鼻子、嘴巴的位置信息、人脸的大小和角度等信息，用于表征人脸画面中的面部表情和面部动作。
可选的，识别所述人脸画面对应的用户角色包括：将所述第一视频帧中的人脸特征向量输入三元组Triplet人脸识别模型，并输出所述人脸特征向量到各个预设角色特征之间的特征间隔，其中，所述Triplet人脸识别模型使用三元组损失函数进行特征约束，每个预设角色特征对应所述预设用户集中的一个用户角色；将特征间隔最小的用户角色选择为与所述人脸画面对应的用户角色。
通过引入Triplet人脸识别模型，实现了用户角色的快速识别。
通过十字交叉熵损失和三元组损失的联合优化，特征向量空间将被划分为家庭成员和陌生人两个区域，并且在家庭成员区域中，特征向量满足同角色之间的间隔小，不同角色间的间隔大，从而实现对该家庭成员快速且准确的人脸识别。
在本实施例的一个实施场景中，在判断所述第一视频帧中是否包括预设用户集的第一人脸画面之后还包括：若所述第一视频帧中不包括预设用户集的人脸画面，判断所述第一视频帧中是否包括陌生用户的第二人脸画面，其中，所述陌生用户为除所述预设用户之外的其他用户；若所述第一视频帧中包括陌生用户的第二人脸画面，截取所述第二人脸画像，并基于所述第二人脸画像生成告警信息，其中，所述告警信息用于指示出现陌生人员。
图3是本发明实施例中针对人脸隐私保护的轻量化级联神经网络原理图，以预设用户集为家庭成员集为例进行说明，该算法采用轻量级网络快速提取人脸特征向量，然后通过十字交叉熵和三元组损失的级联组合约束网络的优化目标，通过三元组损失函数的优化，使不同人脸映射到特征向量空间时，所间隔的距离尽可能的大，以准确区分人脸所属标签。而十字交叉熵增加了陌生人脸判别约束，将进一步拉开陌生人与家庭成员之间的距离，同时也用于陌生人的快速判定。最后，当Triplet检测出准确的角色信息后，将通过对抗生成网络给用户人脸替换为预设的虚拟形象。
识别神经网络包括建模过程和识别过程，下面进行说明：
第一步：根据用户对人脸图像的主动标记，将人脸图像划分为家庭成员和陌生人，其中家庭成员还将细分为家庭成员角色；
第二步：三元组损失函数可直接学习原始图片到欧氏距离空间的映射，使得在欧式空间里的距离直接关联着人脸相似度。本文所述算法首先通过三元组损失从大规模人脸数据集中获得一个具备人脸检测能力的模型，作为摄像头出厂预设的模型。因此在用户初使用阶段，摄像头通过比对检测人脸与标记人脸之间的相似度来判别所属角色；
第三步：当摄像头收集到一定数量的人脸图像后(本地存储)，将通过三元组损失和十字交叉熵损失针对该家庭成员人脸进行定制化的微调优化。其中，第一步中得到的家庭成员和陌生人的标记，用于十字交叉熵损失函数的学习，以快速判定该人脸是否为陌生人；而具体的家庭成员角色标记用于三元组损失函数的学习，以准确区分该人脸在家庭中所扮演的角色。综上，通过十字交叉熵损失和三元组损失的联合优化，特征向量空间将被划分为家庭成员和陌生人两个区域，并且在家庭成员区域中，特征向量满足同角色之间的间隔小，不同角色间的间隔大，从而实现对该家庭成员快速且准确的人脸识别。
对抗生成网络给用户人脸替换为预设的虚拟形象的过程包括：
首先检测出真实人脸所属的家庭成员角色及关键特征(包括眼睛、鼻子、嘴巴所在位置、人脸的大小和角度等)；
根据人脸所属的家庭成员角色选择需要生成的虚拟形象角色；
将对应的虚拟形象角色和关键特征输入至生成对抗网络，通过生成模型和判别模型的互相博弈，获得该人脸对应的虚拟形象人脸；
用虚拟形象人脸替换掉视频中的真实人脸，最终实现真实人脸到虚拟人脸的转换。
图4是本发明实施例人脸隐私保护的流程图，如图4所示，包括：
S41，采用人脸识别算法-Softmax分支，判断是否为陌生人；
S42，如果否，采用人脸识别算法-TripLet分支，执行家庭角色判断；
S43，替换为通用的虚拟形象；
S44，如果是，保存人脸至本地人脸信息库；
S45，向用户推送告警信息；
S46，替换为通用的虚拟形象拟形象。
当本地AI芯片在监控摄像头中实时视频流中识别到用户的人脸信息后，首先通过人脸识别算法--Softmax分支快速判断该人脸是否为陌生人；如果属于家庭成员则通过人脸识别算法--Triplet分支准确的判断该人脸在家庭成员中的角色，然后使用相对应的预设虚拟形象替代该用户的原人脸，使得实时直播画面以及待上传的回放录像中都不会包含用户的原人脸，从而能对用户的家庭隐私进行保护；而当识别到非家庭用户的人脸时，将会保存该人脸至本地人脸信息库，并向用户推送告警信息。同时使用通用的虚拟形象替代该用户的原人脸，待设备拥有者添加为家庭成员后再替换为相应的形象，充分保障住户的个人隐私及居家安全。
本实施例所提出的具有人脸隐私保护功能的智能摄像头，通过内嵌的AI芯片实现一个独立的，在本地运行的人脸识别及保护算法。首先提出一种轻量化的级联神经网络，采用轻量级神经网络快速提取人脸特征向量，然后通过十字交叉熵和三元组损失的级联组合约束网络的优化目标，快速判断人脸是陌生人脸还是具体的家庭成员。如果是家庭成员，则通过AI算法将人脸替换为虚拟形象；如果是陌生人脸，会保存该人脸至本地人脸信息库，并向用户推送告警信息，为住户的居家安全提供更好的保障。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种视频帧的生成装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的一种视频帧的生成装置的结构框图，如图5所示，该装置包括：采集模块50，第一判断模块52，替换模块54，其中，
采集模块50，用于采集第一视频帧；
第一判断模块52，用于判断所述第一视频帧中是否包括预设用户集的人脸画面；
替换模块54，用于若所述第一视频帧中包括预设用户集的人脸画面，将所述第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。
可选的，所述第一判断模块包括：提取单元，用于提取所述第一视频帧中的人脸特征向量；判断单元，用于判断所述人脸特征向量与所述预设用户集的预设特征向量是否匹配，其中，所述预设用户集对应若干个预设用户，每个预设用户对应一个预设特征向量；确定单元，用于若所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配，确定所述第一视频帧中包括预设用户集的人脸画面；若所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配，确定所述第一视频帧中不包括预设用户集的人脸画面。
可选的，所述判断单元包括：处理子单元，用于将所述人脸特征向量输入逻辑回归Softmax人脸识别模型，并输出所述人脸特征向量所属的特征区域，其中，所述Softmax人脸识别模型使用十字交叉熵损失函数进行特征约束；判断子单元，用于若所述人脸特征向量所属的特征区域为预设用户区域，判定所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配；所述人脸特征向量所属的特征区域为陌生用户区域，判定所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配。
可选的，所述替换模块包括：识别单元，用于识别所述人脸画面对应的用户角色；第一替换单元，用于在遮挡画面列表中选择与所述用户角色匹配的预设遮挡画面，并将所述第一视频帧中的人脸画面替换为所述预设遮挡画面。
可选的，所述替换模块包括：识别单元，用于识别所述人脸画面对应的用户角色；第一处理单元，用于提取所述人脸画面的表情特征信息，并选择与所述用户角色匹配的虚拟形象角色；第二处理单元，用于将所述表情特征信息和所述虚拟形象角色输入至生成对抗网络，并输出与所述人脸画面对应的虚拟形象人脸；第二替换单元，用于在将所述第一视频帧中的人脸画面替换为虚拟形象人脸。
可选的，所述识别单元包括：处理子单元，用于将所述第一视频帧中的人脸特征向量输入三元组Triplet人脸识别模型，并输出所述人脸特征向量到各个预设角色特征之间的特征间隔，其中，所述Triplet人脸识别模型使用三元组损失函数进行特征约束，每个预设角色特征对应所述预设用户集中的一个用户角色；选择子单元，用于将特征间隔最小的用户角色选择为与所述人脸画面对应的用户角色。
可选的，所述装置还包括：第二判断模块，用于在所述第一判断模块判断所述第一视频帧中是否包括预设用户集的第一人脸画面之后，若所述第一视频帧中不包括预设用户集的人脸画面，判断所述第一视频帧中是否包括陌生用户的第二人脸画面，其中，所述陌生用户为除所述预设用户之外的其他用户；生成模块，用于若所述第一视频帧中包括陌生用户的第二人脸画面，截取所述第二人脸画像，并基于所述第二人脸画像生成告警信息，其中，所述告警信息用于指示出现陌生人员。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，采集第一视频帧；
S2，判断所述第一视频帧中是否包括预设用户集的人脸画面；
S3，若所述第一视频帧中包括预设用户集的人脸画面，将所述第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，采集第一视频帧；
S2，判断所述第一视频帧中是否包括预设用户集的人脸画面；
S3，若所述第一视频帧中包括预设用户集的人脸画面，将所述第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种视频帧的生成方法，其特征在于，包括：
采集第一视频帧；
判断所述第一视频帧中是否包括预设用户集的人脸画面；
若所述第一视频帧中包括预设用户集的人脸画面，将所述第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。
2.根据权利要求1所述的方法，其特征在于，判断所述第一视频帧中是否包括预设用户集的人脸画面包括：
提取所述第一视频帧中的人脸特征向量；
判断所述人脸特征向量与所述预设用户集的预设特征向量是否匹配，其中，所述预设用户集对应若干个预设用户，每个预设用户对应一个预设特征向量；
若所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配，确定所述第一视频帧中包括预设用户集的人脸画面；若所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配，确定所述第一视频帧中不包括预设用户集的人脸画面。
3.根据权利要求2所述的方法，其特征在于，判断所述人脸特征向量与所述预设用户集的预设特征向量是否匹配包括：
将所述人脸特征向量输入逻辑回归Softmax人脸识别模型，并输出所述人脸特征向量所属的特征区域，其中，所述Softmax人脸识别模型使用十字交叉熵损失函数进行特征约束；
若所述人脸特征向量所属的特征区域为预设用户区域，判定所述人脸特征向量与所述预设用户集中任一预设用户的预设特征向量匹配；所述人脸特征向量所属的特征区域为陌生用户区域，判定所述人脸特征向量与所述预设用户集中所有预设用户的预设特征向量均不匹配。
4.根据权利要求1所述的方法，其特征在于，将所述第一视频帧中的人脸画面替换为预设遮挡画面包括：
识别所述人脸画面对应的用户角色；
在遮挡画面列表中选择与所述用户角色匹配的预设遮挡画面，并将所述第一视频帧中的人脸画面替换为所述预设遮挡画面。
5.根据权利要求1所述的方法，其特征在于，将所述第一视频帧中的人脸画面替换为预设遮挡画面包括：
识别所述人脸画面对应的用户角色；
提取所述人脸画面的表情特征信息，并选择与所述用户角色匹配的虚拟形象角色；
将所述表情特征信息和所述虚拟形象角色输入至生成对抗网络，并输出与所述人脸画面对应的虚拟形象人脸；
将所述第一视频帧中的人脸画面替换为虚拟形象人脸。
6.根据权利要求4或5所述的方法，其特征在于，识别所述人脸画面对应的用户角色包括：
将所述第一视频帧中的人脸特征向量输入三元组Triplet人脸识别模型，并输出所述人脸特征向量到各个预设角色特征之间的特征间隔，其中，所述Triplet人脸识别模型使用三元组损失函数进行特征约束，每个预设角色特征对应所述预设用户集中的一个用户角色；
将特征间隔最小的用户角色选择为与所述人脸画面对应的用户角色。
7.根据权利要求1所述的方法，其特征在于，在判断所述第一视频帧中是否包括预设用户集的第一人脸画面之后，所述方法还包括：
若所述第一视频帧中不包括预设用户集的人脸画面，判断所述第一视频帧中是否包括陌生用户的第二人脸画面，其中，所述陌生用户为除所述预设用户之外的其他用户；
若所述第一视频帧中包括陌生用户的第二人脸画面，截取所述第二人脸画像，并基于所述第二人脸画像生成告警信息，其中，所述告警信息用于指示出现陌生人员。
8.一种视频帧的生成装置，其特征在于，包括：
采集模块，用于采集第一视频帧；
第一判断模块，用于判断所述第一视频帧中是否包括预设用户集的人脸画面；
替换模块，用于若所述第一视频帧中包括预设用户集的人脸画面，将所述第一视频帧中的人脸画面替换为预设遮挡画面，以生成第二视频帧。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法步骤。
CN202011410596.4A 2020-12-03 2020-12-03 视频帧的生成方法及装置、存储介质、电子设备 Pending CN112492383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011410596.4A CN112492383A (zh) 2020-12-03 2020-12-03 视频帧的生成方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011410596.4A CN112492383A (zh) 2020-12-03 2020-12-03 视频帧的生成方法及装置、存储介质、电子设备

Publications (1)

Publication Number Publication Date
CN112492383A true CN112492383A (zh) 2021-03-12

Family

ID=74939376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011410596.4A Pending CN112492383A (zh) 2020-12-03 2020-12-03 视频帧的生成方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN112492383A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489991A (zh) * 2021-06-30 2021-10-08 杭州海康威视数字技术股份有限公司 视频编码方法、装置、视频编码设备及存储介质
CN113747112A (zh) * 2021-11-04 2021-12-03 珠海视熙科技有限公司 一种多人视频会议头像的处理方法及处理装置
CN114727071A (zh) * 2022-06-08 2022-07-08 中航智能建设(深圳)有限公司 一种智慧园区数据传输方法及***

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049911A (zh) * 2015-07-10 2015-11-11 西安理工大学 一种基于人脸识别的视频特效处理方法
CN106507021A (zh) * 2015-09-07 2017-03-15 腾讯科技（深圳）有限公司 视频处理方法及终端设备
CN107423690A (zh) * 2017-06-26 2017-12-01 广东工业大学 一种人脸识别方法及装置
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108399395A (zh) * 2018-03-13 2018-08-14 成都数智凌云科技有限公司 基于端到端深度神经网络的语音和人脸复合身份认证方法
CN109886145A (zh) * 2019-01-29 2019-06-14 浙江泽曦科技有限公司 宠物脸部识别方法及***
CN110135195A (zh) * 2019-05-21 2019-08-16 司马大大（北京）智能***有限公司 隐私保护方法、装置、设备及存储介质
CN110620891A (zh) * 2019-09-27 2019-12-27 上海依图网络科技有限公司 摄像***以及视频处理方法
CN110633669A (zh) * 2019-09-12 2019-12-31 华北电力大学（保定） 家居环境中基于深度学习的移动端人脸属性识别方法
CN110909651A (zh) * 2019-11-15 2020-03-24 腾讯科技（深圳）有限公司 视频主体人物的识别方法、装置、设备及可读存储介质
CN110944227A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 目标隐私保护方法、装置、硬盘录像机及存储介质
CN111031348A (zh) * 2019-12-11 2020-04-17 浙江宇视科技有限公司 一种视频加扰方法、装置、服务器和存储介质
CN111080827A (zh) * 2019-12-16 2020-04-28 安徽信息工程学院 考勤***及方法
CN111145282A (zh) * 2019-12-12 2020-05-12 科大讯飞股份有限公司 虚拟形象合成方法、装置、电子设备和存储介质
CN111369428A (zh) * 2020-03-09 2020-07-03 北京百度网讯科技有限公司 虚拟头像生成方法和装置
CN111783681A (zh) * 2020-07-02 2020-10-16 深圳市万睿智能科技有限公司 大规模人脸库识别方法、***、计算机设备及存储介质
CN111859349A (zh) * 2020-07-30 2020-10-30 上海创功通讯技术有限公司 摄像头***及其控制方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049911A (zh) * 2015-07-10 2015-11-11 西安理工大学 一种基于人脸识别的视频特效处理方法
CN106507021A (zh) * 2015-09-07 2017-03-15 腾讯科技（深圳）有限公司 视频处理方法及终端设备
CN107423690A (zh) * 2017-06-26 2017-12-01 广东工业大学 一种人脸识别方法及装置
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108399395A (zh) * 2018-03-13 2018-08-14 成都数智凌云科技有限公司 基于端到端深度神经网络的语音和人脸复合身份认证方法
CN110944227A (zh) * 2018-09-25 2020-03-31 杭州海康威视数字技术股份有限公司 目标隐私保护方法、装置、硬盘录像机及存储介质
CN109886145A (zh) * 2019-01-29 2019-06-14 浙江泽曦科技有限公司 宠物脸部识别方法及***
CN110135195A (zh) * 2019-05-21 2019-08-16 司马大大（北京）智能***有限公司 隐私保护方法、装置、设备及存储介质
CN110633669A (zh) * 2019-09-12 2019-12-31 华北电力大学（保定） 家居环境中基于深度学习的移动端人脸属性识别方法
CN110620891A (zh) * 2019-09-27 2019-12-27 上海依图网络科技有限公司 摄像***以及视频处理方法
CN110909651A (zh) * 2019-11-15 2020-03-24 腾讯科技（深圳）有限公司 视频主体人物的识别方法、装置、设备及可读存储介质
CN111031348A (zh) * 2019-12-11 2020-04-17 浙江宇视科技有限公司 一种视频加扰方法、装置、服务器和存储介质
CN111145282A (zh) * 2019-12-12 2020-05-12 科大讯飞股份有限公司 虚拟形象合成方法、装置、电子设备和存储介质
CN111080827A (zh) * 2019-12-16 2020-04-28 安徽信息工程学院 考勤***及方法
CN111369428A (zh) * 2020-03-09 2020-07-03 北京百度网讯科技有限公司 虚拟头像生成方法和装置
CN111783681A (zh) * 2020-07-02 2020-10-16 深圳市万睿智能科技有限公司 大规模人脸库识别方法、***、计算机设备及存储介质
CN111859349A (zh) * 2020-07-30 2020-10-30 上海创功通讯技术有限公司 摄像头***及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘小沣: "基于深度学习的人脸图像识别技术的研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489991A (zh) * 2021-06-30 2021-10-08 杭州海康威视数字技术股份有限公司 视频编码方法、装置、视频编码设备及存储介质
CN113747112A (zh) * 2021-11-04 2021-12-03 珠海视熙科技有限公司 一种多人视频会议头像的处理方法及处理装置
CN114727071A (zh) * 2022-06-08 2022-07-08 中航智能建设(深圳)有限公司 一种智慧园区数据传输方法及***
CN114727071B (zh) * 2022-06-08 2022-08-09 中航智能建设(深圳)有限公司 一种智慧园区数据传输方法及***

Similar Documents

Publication Publication Date Title
CN112492383A (zh) 视频帧的生成方法及装置、存储介质、电子设备
CN109858371B (zh) 人脸识别的方法及装置
CN107886032B (zh) 终端设备、智能手机、基于脸部识别的认证方法和***
WO2021159609A1 (zh) 一种视频卡顿识别方法、装置及终端设备
CN110866236B (zh) 隐私图片显示方法、装置、终端及存储介质
CN108681390B (zh) 信息交互方法和装置、存储介质及电子装置
CN107844742B (zh) 人脸图像眼镜去除方法、装置及存储介质
CN108108711B (zh) 人脸布控方法、电子设备及存储介质
CN109872407B (zh) 一种人脸识别方法、装置、设备及打卡方法、装置和***
CN108540755A (zh) 身份识别方法和装置
CN110992502A (zh) 一种人脸识别考勤方法、***以及可读存储介质
CN111695495A (zh) 人脸识别方法、电子设备及存储介质
CN111860082A (zh) 信息处理方法、装置以及***
CN110991231A (zh) 活体检测方法、装置、服务器和人脸识别设备
US20230222843A1 (en) Method and device for registering biometric feature
CN114596639B (zh) 一种生物特征识别方法、装置、电子设备及存储介质
CN114596618A (zh) 戴口罩的人脸识别训练方法、装置、电子设备及存储介质
CN111738078A (zh) 一种人脸识别方法和装置
CN111507268A (zh) 报警方法及装置、存储介质和电子装置
CN111783677B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN108024148B (zh) 基于行为特征的多媒体文件识别方法、处理方法及装置
CN112689120A (zh) 一种监控方法及装置
CN111260697A (zh) 目标对象的识别方法、***、设备及介质
CN112560554A (zh) 基于唇语的活体检测方法、装置以及存储介质
CN115937938A (zh) 人脸身份识别模型的训练方法、人脸身份识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210312

RJ01 Rejection of invention patent application after publication