CN113691857A - 基于增强现实的唇语屏蔽***及方法 - Google Patents
基于增强现实的唇语屏蔽***及方法 Download PDFInfo
- Publication number
- CN113691857A CN113691857A CN202110997689.XA CN202110997689A CN113691857A CN 113691857 A CN113691857 A CN 113691857A CN 202110997689 A CN202110997689 A CN 202110997689A CN 113691857 A CN113691857 A CN 113691857A
- Authority
- CN
- China
- Prior art keywords
- lip
- shielding
- information
- target person
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000001815 facial effect Effects 0.000 claims description 67
- 230000000873 masking effect Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 11
- 230000033228 biological regulation Effects 0.000 claims description 5
- 230000010365 information processing Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 206010048232 Yawning Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及唇语屏蔽技术领域,具体公开了一种基于增强现实的唇语屏蔽***及方法,***包括目标实时定位模块、面部定位模块、特征采集模块、识别模块、处理模块、画面投射模块;其中识别模块,用于根据对应的屏蔽特征信息进行识别,识别出目标人员对应屏蔽特征的识别信息;处理模块,用于根据识别模块识别出目标人员对应屏蔽特征的识别信息进行条件判断,若识别信息满足条件,则发出对应屏蔽特征的投射指令;画面投射模块,根据对应屏蔽特征的投射指令,调用对应的屏蔽特征位置信息,对目标人员的屏蔽特征进行画面投射。本发明能够对用户的唇部动作进行屏蔽,避免他人通过分析唇部动作窃取信息的问题出现。
Description
技术领域
本发明涉及唇语屏蔽技术领域,尤其涉及一种基于增强现实的唇语屏蔽***及方法。
背景技术
在一些比较重要的会议中,参加会议的人员在抵达会议室后,需要里面的人员对所听和所说的话进行保密,以避免相应的机密或者消息被传出去,从而造成比较大的损失,例如一些重要的会议或者是一些保密单位的会议等重要场合。
而一般的会议室中通常都是有窗户的,以此来对会议室进行通风。这些窗户的设置增加了对会议室的保密困难,很有可能会被其他人通过窗户拍摄到会议室的情况同时也可以根据会议室内的人员的说话时的唇部动作分析出对应人员所要说的话,即通过唇语来对对应的人员所要讲的话进行窃取,这就造成机密或者信息被窃取等问题的出现。
发明内容
本发明的目的在于提供一种基于增强现实的唇语屏蔽***,能够对用户的唇部动作进行屏蔽,避免他人通过分析唇部动作窃取信息的问题出现。
为达到上述目的,本发明的技术方案提供一种基于增强现实的唇语屏蔽***,包括目标实时定位模块、面部定位模块、特征采集模块、识别模块、处理模块、画面投射模块;
目标实时定位模块,用于对进入会议室的目标人员进行实时的定位,得到实时位置信息;
面部定位模块,用于根据实时位置信息,对目标人员的面部位置进行确认,得到面部位置信息;所述面部位置信息包括屏蔽特征位置信息;
特征采集模块,用于根据屏蔽特征位置信息,对目标人员的屏蔽特征进行图像采集,得到对应的屏蔽特征信息;所述屏蔽特征包括唇部;
识别模块,用于根据对应的屏蔽特征信息进行识别,识别出目标人员对应屏蔽特征的识别信息;
处理模块,用于根据识别信息进行条件判断,若识别信息满足条件,则发出对应屏蔽特征的投射指令;
画面投射模块,根据对应屏蔽特征的投射指令,调用对应的屏蔽特征位置信息,对目标人员的屏蔽特征进行画面投射。
本方案的原理和效果是:第一时间对进入会议室的目标人员进行实时定位,通过对目标人员的定位来对目标人员的面部位置进行定位,其中就包括对屏蔽特征的位置信息,其中屏蔽特征包括唇部,之后根据屏蔽特征位置信息来对目标人员的屏蔽特征进行图像采集,对采集到屏蔽特征信息进行识别,识别出对应的识别信息,根据识别信息利用处理模块对识别信息是否满足投射条件进行判断,在满足时,发出对应屏蔽特征的投射指令,之后画面投射模块会根据投射指令,并调用前面采集到屏蔽特征位置信息来对目标人员的屏蔽特征进行画面的投射。
在本申请中屏蔽特征包括唇部,即完成了利用画面投射到唇部来实现对目标人员唇部的屏蔽,这样就可以屏蔽掉目标人员对应的唇部动作,使得其他人无法通过观察目标人员唇部动作来窃取到对应的目标人员所说的话,能够对用户的唇部动作进行屏蔽,避免他人通过分析唇部动作窃取信息的问题出现。
进一步的,还包括面部图像采集模块,用于在目标人员的屏蔽特征进行画面投射之后,对目标人员的面部图像进行采集,得到面部图像信息;
所述处理模块还用于根据面部图像采集模块采集到的面部图像信息进行特征识别,识别出面部图像信息中的画面特征与屏蔽特征,并计算出对应的画面特征与屏蔽特征的匹配度;将计算得到的匹配度与预设匹配阈值进行比较,当匹配度小于预设匹配阈值则判断画面投射与目标人员的唇部不匹配,发出调整指令;
所述画面投射模块还用于根据调控指令对投射在目标人员屏蔽特征上的画面进行调整。
在对目标人员的屏蔽特征进行画面投射之后通过对此时的目标人员的面部图像的采集到的信息来识别出对应的面部图像信息中的画面特征和屏蔽特征的匹配值与预设匹配阈值的比较来对画面投射效果进行判断,同时在判断不好时对投射的画面进行调整,通过这种判断使得画面投射的效果达到预设值,这样就可以使得目标人员的屏蔽特征上的画面充分覆盖在对应的屏蔽特征上,达到较好的屏蔽作用,提高其他人通过屏蔽动作获取信息的难度。
进一步的,所述屏蔽特征还包括面部;所述屏蔽特征信息包括面部特征图像信息和多组唇部特征图像信息。屏蔽特征包括面部实现了对多种特征的屏蔽,实现了特征屏蔽的多样化。
进一步的,所述识别模块包括唇部特征识别模块和面部特征识别模块;
所述唇部特征识别模块获取多组唇部特征图像信息,并根据多组唇部特征图像信息识别出所述多组唇部特征图像信息中每一组唇部特征图像信息中的唇部动作状态;根据每一组唇部特征图像信息中目标人员的唇部动作状态和所述多组唇部特征图像信息的采集时间,计算出目标人员的唇部动作频率;
所述面部特征识别模块,用于根据面部特征图像信息,对目标人员的身份进行识别,得到对应的身份识别信息。
不同的屏蔽特征进行不同的特征识别,使得在对屏蔽特征的识别更加的精准。
进一步的,还包括身份信息库,预先存储有特定人员的身份信息;
所述处理模块包括唇部特征处理模块和面部特征处理模块;
唇部特征处理模块用于根据唇部特征识别模块中得到的唇部动作频率进行第一判断,若识别出来的目标人员的唇部动作频率大于预设频率阈值,则判断目标人员是在说话,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员没有在说话,不满足条件;
面部特征处理模块还用于根据面部特征识别模块得到的身份识别信息,调用身份信息库中的特定人员的身份信息,将身份识别信息与身份信息进行匹配,若匹配成功,则判断目标人员为特定人员,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员不是特定人员,不满足条件。
通过唇部处理模块对唇部动作频率与预设频率阈值的比较,来实现对目标人员的唇部特征是否满足画面投射条件进行了判断,通过具体到唇部动作频率使得整个判断更加的科学。通过面部特征处理模块对目标人员是否有特定人员进行了准确的判断,可以实现对特定人员的面部的屏蔽,可以更好的对特定人员的身份进行保护。
本发明还提供一种基于增强现实的唇语屏蔽方法,包括以下步骤:
步骤一、对进入会议室的目标人员进行实时定位,得到实时位置信息;
步骤二、根据实时位置信息,对目标人员的面部位置进行确认,得到面部位置信息;所述面部位置信息包括屏蔽特征位置信息;
步骤三、根据屏蔽特征位置信息,对目标人员的屏蔽特征进行图像采集,得到对应的屏蔽特征信息;所述屏蔽特征包括唇部;
步骤四、根据对应的屏蔽特征信息进行识别,识别出目标人员对应屏蔽特征的识别信息;
步骤五、根据识别模块识别出目标人员对应屏蔽特征的识别信息进行条件判断,若识别信息满足条件,则发出对应屏蔽特征的投射指令;
步骤六、根据发出对应屏蔽特征的投射指令,调用对应的屏蔽特征位置信息,对目标人员的屏蔽特征进行画面投射。
本方案的原理和效果是:第一时间对进入会议室的目标人员进行实时定位,通过对目标人员的定位来对目标人员的面部位置进行定位,其中就包括对屏蔽特征的位置信息,其中屏蔽特征包括唇部,之后根据屏蔽特征位置信息来对目标人员的屏蔽特征进行图像采集,对采集到屏蔽特征信息进行识别,识别出对应的识别信息,根据识别信息利用处理模块对识别信息是否满足投射条件进行判断,在满足时,发出对应屏蔽特征的投射指令,之后画面投射模块会根据投射指令,并调用前面采集到屏蔽特征位置信息来对目标人员的屏蔽特征进行画面的投射。
在本申请中屏蔽特征包括唇部,这就使得唇部能够很好地被投射上来的画面遮挡住,完成了对目标人员唇部的屏蔽,也就对目标人员的唇部动作有一个很好的屏蔽,使得其他人无法通过对目标人员的唇部动作进行观察来窃取到目标人员所要说的话,能够对用户的唇部动作进行屏蔽,避免他人通过分析唇部动作窃取信息的问题出现。
进一步的,还包括以下步骤:
步骤七、在对目标人员的屏蔽特征进行画面投射之后,对目标人员的面部图像进行采集,得到面部图像信息;
步骤八、根据面部图像信息进行识别,识别处面部图像信息中的画面特征和屏蔽特征的匹配度;具体为根据面部图像采集模块采集到的面部图像信息进行特征识别,识别出面部图像信息中的画面特征与屏蔽特征;
根据识别出面部图像信息中的画面特征与屏蔽特征,计算出对应的画面特征与屏蔽特征的匹配度;
步骤九、将识别处理的匹配度与预设匹配阈值进行比较,当匹配度小于预设匹配阈值则判断画面投射与目标人员的唇部不匹配,发出调整指令;
步骤十、根据调控指令对投射在目标人员屏蔽特征上的画面进行调整。
在完成对目标人员的屏蔽特征处的画面投射完成之后,通过对此时的目标人员面部图像进行采集和对采集到信息进行一系列的识别和判断,实现了对目标人员屏蔽特征上的画面是否投射好进行了有效的判断,避免出现画面特征不能很好的遮挡住屏蔽特征,造成其他人可以通过没有遮挡住完全的屏蔽特征中获取到信息。
进一步的,所述屏蔽特征还包括面部;所述屏蔽特征信息包括面部特征图像信息和多组唇部特征图像信息。
屏蔽特征还包括面部,这样就可以使得整个***的涉及面更广,功能更加的复杂,同时使得整个***更加多样化。
进一步的,步骤四中根据对应的屏蔽特征信息进行识别,识别出目标人员对应屏蔽特征的识别信息的具体为:
获取多组唇部特征图像信息,并根据多组唇部特征图像信息识别出所述多组唇部特征图像信息中每一组唇部特征图像信息中的唇部动作状态;根据每一组唇部特征图像信息中目标人员的唇部动作状态和所述多组唇部特征图像信息的采集时间,计算出目标人员的唇部动作频率;
根据面部特征图像信息,对目标人员的身份进行识别,得到对应的身份识别信息。
唇部特征对应的识别信息为唇部动作频率,面部特征对应的识别信息为身份识别信息,不同的屏蔽特征进行不同的识别信息的生成,可以使得之后的对应屏蔽特征的识别更加的准确,同时也更有说服力。
进一步的,步骤五中根据识别模块识别出目标人员对应屏蔽特征的识别信息进行条件判断,若识别信息满足条件,则发出对应屏蔽特征的投射指令的具体为:
根据唇部特征识别模块中得到的唇部动作频率进行第一判断,若识别出来的目标人员的唇部动作频率大于预设频率阈值,则判断目标人员是在说话,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员没有在说话,不满足条件;
根据面部特征识别模块得到的身份识别信息,调用身份信息库中的特定人员的身份信息,将身份识别信息与身份信息进行匹配,若匹配成功,则判断目标人员为特定人员,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员不是特定人员,不满足条件。
对唇部特征的判断实现了在目标人员要讲话时,第一时间发出投射指令以此来对目标人员唇部的屏蔽,这样就使得其他人无法通过目标人员的唇部动作窃取到目标人员的话,也就无法窃取到信息。而对面部特征的判断实现了对目标人员的身份的认定,在其为特定人员时可以第一时间对其面部特征进行画面投射,使得其他无法认出目标人员的身份,起到很好的保密作用。
附图说明
图1为本发明实施例一中基于增强现实的唇语屏蔽***的逻辑框图。
图2为本发明实施例一中基于增强现实的唇语屏蔽方法的流程图。
具体实施方式
下面通过具体实施方式进一步详细说明:
实施例一:
实施例一基本如图1所示:一种基于增强现实的唇语屏蔽***,包括目标实时定位模块、面部定位模块、特征采集模块、识别模块、处理模块、画面投射模块、面部图像采集模块、身份信息库。
目标实时定位模块用于对进入会议室的目标人员进行实时的定位,得到实时位置信息。在本实施例中,会议室内设置有多个红外传感器,当目标人员出现在红外传感器的感应范围内时,红外传感器感应到时会第一时间向会议室内的多组摄像头发送信号,根据这个信号,摄像头会同时锁定目标人员,以此来完成对目标人员位置的实时定位。
面部定位模块,用于根据目标实时定位模块得到的实时位置信息,对目标人员的面部位置进行确认,得到面部位置信息;面部位置信息包括屏蔽特征位置信息。
在本实施例中,通过多组摄像头对目标人员的面部不同位置分别进行监控,在确定好对应的屏蔽特征之后,会找到对应采集屏蔽特征的摄像头以此来完成对目标人员的屏蔽特征位置信息的确定。
特征采集模块,用于根据面部位置信息,对目标人员的屏蔽特征进行图像采集,得到对应的屏蔽特征信息;屏蔽特征包括唇部和面部;屏蔽特征信息包括面部特征图像信息和多组唇部特征图像信息。
识别模块包括唇部特征识别模块和面部特征识别模块。
唇部特征识别模块获取多组唇部特征图像信息,并根据多组唇部特征图像信息识别出多组唇部特征图像信息中每一组唇部特征图像信息中的唇部动作状态;根据每一组唇部特征图像信息中目标人员的唇部动作状态和多组唇部特征图像信息的采集时间,计算出目标人员的唇部动作频率。在本实施例中,唇部动作状态为张开状态或闭合状态。
面部特征识别模块,用于根据面部特征图像信息,对目标人员的身份进行识别,得到对应的身份识别信息。在本实施例中,面部特征识别模块具体采用的是人脸识别技术,通过采集到图像信息对图像信息中的目标人员的头像进行识别。
身份信息库,预先存储有特定人员的身份信息。在本实施例中通常工作人员会提前录入一些特定人员的身份信息到身份信息库中,在本实施例中,特定人员是指那些不易被他人拍到的人员,可以是一些保密人员或者国家重点保护对象等,这些人的身份都是不能轻易泄漏的。
处理模块包括唇部特征处理模块和面部特征处理模块。
唇部特征处理模块用于根据唇部特征识别模块中得到的唇部动作频率进行第一判断,若识别出来的目标人员的唇部动作频率大于预设频率阈值,则判断目标人员是在说话,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员没有在说话,不满足条件。例如当目标人员只是张嘴打哈欠时,识别出来的唇部动作频率就会小于预设频率阈值,这样就避免在目标人员没有说话时还是被画面投射唇部。
面部特征处理模块还用于根据面部特征识别模块得到的身份识别信息,调用身份信息库中的特定人员的身份信息,将身份识别信息与身份信息进行匹配,若匹配成功,则判断目标人员为特定人员,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员不是特定人员,不满足条件。例如当目标人员是保密人员时,就会被认定为特定人员,针对这些人,在其达到会议室时会第一时间就对其身份进行认定,在确定其身份之后,就会第一时间对目标人员的面部进行画面投射,从而实现对目标人员面部的屏蔽,使得其他人无法知晓其画面下的真实身份,可以很好的对目标人员进行保护。
在本实施例中,处理模块还包括信息处理模块,信息处理模块用于根据面部图像采集模块采集到的面部图像信息进行特征识别,识别出面部图像信息中的画面特征与屏蔽特征,并计算出对应的画面特征与屏蔽特征的匹配度;将计算得到的匹配度与预设匹配阈值进行比较,当匹配度小于预设匹配阈值则判断画面投射与目标人员的唇部不匹配,发出调整指令。
在本实施例中为了防止画面投射到目标人员的屏蔽特征处没有很好的遮挡住屏蔽特征,利用信息处理模块来对目标人员的屏蔽特征和画面特征的匹配度来画面投射效果进行判断,可以在第一时间找出画面没有投射好的目标人员。
在本实施例中通过对屏蔽特征的识别知道对应屏蔽特征的面积大小,通过对屏蔽特征上的画面特征的面积大小的识别知道画面特征在屏蔽特征上的投射情况,通过屏蔽面积上的画面特征的面积大小与屏蔽特征的面积大小的比值来定义为匹配度。
画面投射模块,根据对应屏蔽特征的投射指令,调用对应的屏蔽特征位置信息,对目标人员的屏蔽特征进行画面投射。还用于根据调控指令对投射在目标人员屏蔽特征上的画面进行调整。在本实施例中,对目标人员的面部进行画面投射时所投射的画面不会遮挡住唇部。
面部图像采集模块,用于在目标人员的屏蔽特征进行画面投射之后,对目标人员的面部图像进行采集,得到面部图像信息。在本实施例中,利用摄像头对目标人员的面部的正面进行图像采集。
在本实施例中,目标人员在进入到会议室之后,会同时对目标人员是否是特定人员和目标人员是否在说话进行判断,当目标人员为特定人员时,会对目标人员的面部进行画面投射,以此来遮住目标人员的面部,如果此时目标人员在说话,就会同时对目标人员的唇部进行画面投射,以此来遮住目标人员的唇部。
基于上述的一种基于增强现实的唇语屏蔽***,本实施例还公开了一种基于增强现实的唇语屏蔽方法,如图2所示,包括以下步骤:
步骤一、对进入会议室的目标人员进行实时定位,得到实时位置信息。
步骤二、根据实时位置信息,对目标人员的面部位置进行确认,得到面部位置信息;所述面部位置信息包括屏蔽特征位置信息。
步骤三、根据面部位置信息,对目标人员的屏蔽特征进行图像采集,得到对应的屏蔽特征信息;屏蔽特征包括唇部和面部,屏蔽特征信息包括面部特征图像信息和多组唇部特征图像信息。
步骤四、根据对应的屏蔽特征信息进行识别,识别出目标人员对应屏蔽特征的识别信息;具体的包括:
获取多组唇部特征图像信息,并根据多组唇部特征图像信息识别出所述多组唇部特征图像信息中每一组唇部特征图像信息中的唇部动作状态;根据每一组唇部特征图像信息中目标人员的唇部动作状态和所述多组唇部特征图像信息的采集时间,计算出目标人员的唇部动作频率。唇部动作状态为张开状态或闭合状态。
根据面部特征图像信息,对目标人员的身份进行识别,得到对应的身份识别信息。
步骤五、根据识别模块识别出目标人员对应屏蔽特征的识别信息进行条件判断,若识别信息满足条件,则发出对应屏蔽特征的投射指令。
具体的,根据唇部特征识别模块中得到的唇部动作频率进行第一判断,若识别出来的目标人员的唇部动作频率大于预设频率阈值,则判断目标人员是在说话,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员没有在说话,不满足条件。
根据面部特征识别模块得到的身份识别信息,调用身份信息库中的特定人员的身份信息,将身份识别信息与身份信息进行匹配,若匹配成功,则判断目标人员为特定人员,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员不是特定人员,不满足条件。
步骤六、根据发出对应屏蔽特征的投射指令,调用对应的屏蔽特征位置信息,对目标人员的屏蔽特征进行画面投射。
步骤七、在对目标人员的唇部进行画面投射之后,对目标人员的面部图像进行采集,得到面部图像信息。
步骤八、根据面部图像信息进行识别,识别处面部图像信息中的画面特征和屏蔽特征的匹配度;具体为根据面部图像采集模块采集到的面部图像信息进行特征识别,识别出面部图像信息中的画面特征与唇部特征。
根据识别出面部图像信息中的画面特征与唇部特征,计算出对应的画面特征与唇部特征的匹配度。
步骤九、将识别处理的匹配度与预设匹配阈值进行比较,当匹配度小于预设匹配阈值则判断画面投射效果不好,发出调整指令;反之则判断画面投射效果很好。
步骤十、根据调控指令对投射在目标人员屏蔽特征上的画面进行调整。
以上的仅是本发明的实施例,该发明不限于此实施案例涉及的领域,方案中公知的具体结构及特性等常识在此未作过多描述,所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识,能够获知该领域中所有的现有技术,并且具有应用该日期之前常规实验手段的能力,所属领域普通技术人员可以在本申请给出的启示下,结合自身能力完善并实施本方案,一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.基于增强现实的唇语屏蔽***,其特征在于:包括目标实时定位模块、面部定位模块、特征采集模块、识别模块、处理模块、画面投射模块;
目标实时定位模块,用于对进入会议室的目标人员进行实时的定位,得到实时位置信息;
面部定位模块,用于根据目标实时定位模块得到的实时位置信息,对目标人员的面部位置进行确认,得到面部位置信息;所述面部位置信息包括屏蔽特征位置信息;
特征采集模块,用于根据屏蔽特征位置信息,对目标人员的屏蔽特征进行图像采集,得到对应的屏蔽特征信息;所述屏蔽特征包括唇部;
识别模块,用于根据对应的屏蔽特征信息进行识别,识别出目标人员对应屏蔽特征的识别信息;
处理模块,用于根据识别信息进行条件判断,若识别信息满足条件,则发出对应屏蔽特征的投射指令;
画面投射模块,根据对应屏蔽特征的投射指令,调用对应的屏蔽特征位置信息,对目标人员的屏蔽特征进行画面投射。
2.根据权利要求1所述的基于增强现实的唇语屏蔽***,其特征在于:还包括面部图像采集模块,用于在目标人员的屏蔽特征进行画面投射之后,对目标人员的面部图像进行采集,得到面部图像信息;
所述处理模块还用于根据面部图像采集模块采集到的面部图像信息进行特征识别,识别出面部图像信息中的画面特征与屏蔽特征,并计算出对应的画面特征与屏蔽特征的匹配度;将计算得到的匹配度与预设匹配阈值进行比较,当匹配度小于预设匹配阈值则判断画面投射与目标人员的唇部不匹配,发出调整指令;
所述画面投射模块还用于根据调控指令对投射在目标人员屏蔽特征上的画面进行调整。
3.根据权利要求2所述的基于增强现实的唇语屏蔽***,其特征在于:所述屏蔽特征还包括面部;所述屏蔽特征信息包括面部特征图像信息和多组唇部特征图像信息。
4.根据权利要求3所述的基于增强现实的唇语屏蔽***,其特征在于:所述识别模块包括唇部特征识别模块和面部特征识别模块;
所述唇部特征识别模块获取多组唇部特征图像信息,并根据多组唇部特征图像信息识别出所述多组唇部特征图像信息中每一组唇部特征图像信息中的唇部动作状态;根据每一组唇部特征图像信息中目标人员的唇部动作状态和所述多组唇部特征图像信息的采集时间,计算出目标人员的唇部动作频率;
所述面部特征识别模块,用于根据面部特征图像信息,对目标人员的身份进行识别,得到对应的身份识别信息。
5.根据权利要求4所述的基于增强现实的唇语屏蔽***,其特征在于:还包括身份信息库,预先存储有特定人员的身份信息;
所述处理模块包括唇部特征处理模块和面部特征处理模块;
唇部特征处理模块用于根据唇部特征识别模块中得到的唇部动作频率进行第一判断,若识别出来的目标人员的唇部动作频率大于预设频率阈值,则判断目标人员是在说话,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员没有在说话,不满足条件;
面部特征处理模块还用于根据面部特征识别模块得到的身份识别信息,调用身份信息库中的特定人员的身份信息,将身份识别信息与身份信息进行匹配,若匹配成功,则判断目标人员为特定人员,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员不是特定人员,不满足条件。
6.基于增强现实的唇语屏蔽方法,其特征在于,包括以下步骤:
步骤一、对进入会议室的目标人员进行实时定位,得到实时位置信息;
步骤二、根据实时位置信息,对目标人员的面部位置进行确认,得到面部位置信息;所述面部位置信息包括屏蔽特征位置信息;
步骤三、根据屏蔽特征位置信息,对目标人员的屏蔽特征进行图像采集,得到对应的屏蔽特征信息;所述屏蔽特征包括唇部;
步骤四、根据对应的屏蔽特征信息进行识别,识别出目标人员对应屏蔽特征的识别信息;
步骤五、根据识别模块识别出目标人员对应屏蔽特征的识别信息进行条件判断,若识别信息满足条件,则发出对应屏蔽特征的投射指令;
步骤六、根据发出对应屏蔽特征的投射指令,调用对应的屏蔽特征位置信息,对目标人员的屏蔽特征进行画面投射。
7.根据权利要求6所述的基于增强现实的唇语屏蔽方法,其特征在于:
还包括以下步骤:
步骤七、在对目标人员的唇部进行画面投射之后,对目标人员的面部图像进行采集,得到面部图像信息;
步骤八、根据面部图像信息进行识别,识别处面部图像信息中的画面特征和屏蔽特征的匹配度;具体为根据面部图像采集模块采集到的面部图像信息进行特征识别,识别出面部图像信息中的画面特征与唇部特征;
根据识别出面部图像信息中的画面特征与唇部特征,计算出对应的画面特征与唇部特征的匹配度;
步骤九、将识别处理的匹配度与预设匹配阈值进行比较,当匹配度小于预设匹配阈值则判断画面投射效果与目标人员的唇部不匹配,发出调整指令;
步骤十、根据调控指令对投射在目标人员屏蔽特征上的画面进行调整。
8.根据权利要求7所述的基于增强现实的唇语屏蔽方法,其特征在于:所述屏蔽特征还包括面部;所述屏蔽特征信息包括面部特征图像信息和多组唇部特征图像信息。
9.根据权利要求8所述的基于增强现实的唇语屏蔽方法,其特征在于:步骤四中根据对应的屏蔽特征信息进行识别,识别出目标人员对应屏蔽特征的识别信息的具体为:
获取多组唇部特征图像信息,并根据多组唇部特征图像信息识别出所述多组唇部特征图像信息中每一组唇部特征图像信息中的唇部动作状态;根据每一组唇部特征图像信息中目标人员的唇部动作状态和所述多组唇部特征图像信息的采集时间,计算出目标人员的唇部动作频率;
根据面部特征图像信息,对目标人员的身份进行识别,得到对应的身份识别信息。
10.根据权利要求9所述的基于增强现实的唇语屏蔽方法,其特征在于:步骤五中根据识别模块识别出目标人员对应屏蔽特征的识别信息进行条件判断,若识别信息满足条件,则发出对应屏蔽特征的投射指令的具体为:
根据唇部特征识别模块中得到的唇部动作频率进行第一判断,若识别出来的目标人员的唇部动作频率大于预设频率阈值,则判断目标人员是在说话,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员没有在说话,不满足条件;
根据面部特征识别模块得到的身份识别信息,调用身份信息库中的特定人员的身份信息,将身份识别信息与身份信息进行匹配,若匹配成功,则判断目标人员为特定人员,满足条件,发出对应屏蔽特征的投射指令;反之则判断目标人员不是特定人员,不满足条件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110997689.XA CN113691857A (zh) | 2021-08-27 | 2021-08-27 | 基于增强现实的唇语屏蔽***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110997689.XA CN113691857A (zh) | 2021-08-27 | 2021-08-27 | 基于增强现实的唇语屏蔽***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113691857A true CN113691857A (zh) | 2021-11-23 |
Family
ID=78583497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110997689.XA Pending CN113691857A (zh) | 2021-08-27 | 2021-08-27 | 基于增强现实的唇语屏蔽***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113691857A (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0646414A (ja) * | 1992-07-23 | 1994-02-18 | Matsushita Electric Ind Co Ltd | テレビ電話 |
CN1589007A (zh) * | 2004-07-28 | 2005-03-02 | C&S技术有限公司 | 一种用于可视电话间保密通话的方法 |
US20120095768A1 (en) * | 2010-10-14 | 2012-04-19 | Mcclung Iii Guy L | Lips blockers, headsets and systems |
CN105905727A (zh) * | 2016-06-27 | 2016-08-31 | 灞卞嘲 | 一种多功能电梯安全控制方法 |
CN106557711A (zh) * | 2016-11-04 | 2017-04-05 | 深圳大学 | 移动终端设备的屏幕隐私保护方法及*** |
CN106991360A (zh) * | 2016-01-20 | 2017-07-28 | 腾讯科技(深圳)有限公司 | 人脸识别方法及人脸识别*** |
CN107045385A (zh) * | 2016-08-01 | 2017-08-15 | 深圳奥比中光科技有限公司 | 基于深度图像的唇语交互方法以及唇语交互装置 |
CN208207844U (zh) * | 2018-04-20 | 2018-12-07 | 纳智源科技(唐山)有限责任公司 | 反人脸识别装置及包括其的可穿戴设备 |
CN109524006A (zh) * | 2018-10-17 | 2019-03-26 | 天津大学 | 一种基于深度学习的汉语普通话唇语识别方法 |
US10542339B1 (en) * | 2019-04-16 | 2020-01-21 | Ysidron Ruth | Mouth cover radio headset |
WO2020144364A1 (de) * | 2019-01-10 | 2020-07-16 | Werner Hans Ullrich | Datenübertragungsvorrichtung zur kommunikation und/oder steuerung |
CN111856422A (zh) * | 2020-07-03 | 2020-10-30 | 西安电子科技大学 | 基于宽带多通道毫米波雷达的唇语识别方法 |
CN112861791A (zh) * | 2021-03-11 | 2021-05-28 | 河北工业大学 | 一种结合图神经网络和多特征融合的唇语识别方法 |
WO2021149441A1 (ja) * | 2020-01-20 | 2021-07-29 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
-
2021
- 2021-08-27 CN CN202110997689.XA patent/CN113691857A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0646414A (ja) * | 1992-07-23 | 1994-02-18 | Matsushita Electric Ind Co Ltd | テレビ電話 |
CN1589007A (zh) * | 2004-07-28 | 2005-03-02 | C&S技术有限公司 | 一种用于可视电话间保密通话的方法 |
US20120095768A1 (en) * | 2010-10-14 | 2012-04-19 | Mcclung Iii Guy L | Lips blockers, headsets and systems |
CN106991360A (zh) * | 2016-01-20 | 2017-07-28 | 腾讯科技(深圳)有限公司 | 人脸识别方法及人脸识别*** |
CN105905727A (zh) * | 2016-06-27 | 2016-08-31 | 灞卞嘲 | 一种多功能电梯安全控制方法 |
CN107045385A (zh) * | 2016-08-01 | 2017-08-15 | 深圳奥比中光科技有限公司 | 基于深度图像的唇语交互方法以及唇语交互装置 |
CN106557711A (zh) * | 2016-11-04 | 2017-04-05 | 深圳大学 | 移动终端设备的屏幕隐私保护方法及*** |
CN208207844U (zh) * | 2018-04-20 | 2018-12-07 | 纳智源科技(唐山)有限责任公司 | 反人脸识别装置及包括其的可穿戴设备 |
CN109524006A (zh) * | 2018-10-17 | 2019-03-26 | 天津大学 | 一种基于深度学习的汉语普通话唇语识别方法 |
WO2020144364A1 (de) * | 2019-01-10 | 2020-07-16 | Werner Hans Ullrich | Datenübertragungsvorrichtung zur kommunikation und/oder steuerung |
US10542339B1 (en) * | 2019-04-16 | 2020-01-21 | Ysidron Ruth | Mouth cover radio headset |
WO2021149441A1 (ja) * | 2020-01-20 | 2021-07-29 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
CN111856422A (zh) * | 2020-07-03 | 2020-10-30 | 西安电子科技大学 | 基于宽带多通道毫米波雷达的唇语识别方法 |
CN112861791A (zh) * | 2021-03-11 | 2021-05-28 | 河北工业大学 | 一种结合图神经网络和多特征融合的唇语识别方法 |
Non-Patent Citations (2)
Title |
---|
DINH-LUAN NGUYEN, SUNPREET S. ARORA, YUHANG WU, AND HAO YANG: "Adversarial Light Projection Attacks on Face Recognition Systems: A Feasibility Study", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), pages 1 - 5 * |
NICOLE NICHOLS,ROBERT JASPER: "Projecting Trouble: Light Based Adversarial Attacks on Deep Learning Classifiers", ARXIV:1810.10337 [CS.CV] * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11528450B2 (en) | Secure nonscheduled video visitation system | |
KR101215948B1 (ko) | 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법 | |
CN110992561B (zh) | 一种安全验证方法及门禁*** | |
TWI780366B (zh) | 臉部辨識系統、臉部辨識方法及臉部辨識程式 | |
Wang et al. | Multi-source face tracking with audio and visual data | |
CN115512304B (zh) | 基于图像识别的地铁站安全监控*** | |
WO2013151205A1 (ko) | 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치 | |
JPH1115979A (ja) | 顔検出及び顔追跡方法並びにその装置 | |
CN111675059A (zh) | 基于人脸识别的电梯控制方法、装置和计算机设备 | |
JP2007249298A (ja) | 顔認証装置および顔認証方法 | |
CN113691857A (zh) | 基于增强现实的唇语屏蔽***及方法 | |
US11837018B1 (en) | System and method for access control using a plurality of images | |
KR102012719B1 (ko) | 전방위 영상 기반 화상회의 발언자 인식 장치 및 방법 | |
KR20020032048A (ko) | 얼굴 인식 보안방법 | |
KR20020079083A (ko) | 얼굴 촬영 데이터를 이용한 경비시스템 및 그 방법 | |
CN110046605A (zh) | 基于视觉追踪的多维信息校对机械加工现场管理*** | |
KR102194511B1 (ko) | 대표 영상프레임 결정시스템 및 이를 이용한 방법 | |
CN114360022A (zh) | 一种基于人脸识别的门禁控制方法及*** | |
KR102341083B1 (ko) | 인체 자세 추정 기술을 적용한 신체영상 보호 시스템 및 그 방법 | |
KR200240824Y1 (ko) | 얼굴 촬영 데이터를 이용한 경비장치 | |
Potucek et al. | Participant activity detection by hands and face movement tracking in the meeting room | |
JP7298952B1 (ja) | 画像判定装置、通行管理装置、および画像判定方法 | |
CN109993084A (zh) | 一种智能门禁多路人脸识别的方法 | |
CN112395922A (zh) | 面部动作检测方法、装置及*** | |
Trufasila et al. | Biometric System based on Facial Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |