CN105574525B - 一种复杂场景多模态生物特征图像获取方法及其装置 - Google Patents
一种复杂场景多模态生物特征图像获取方法及其装置 Download PDFInfo
- Publication number
- CN105574525B CN105574525B CN201510967025.3A CN201510967025A CN105574525B CN 105574525 B CN105574525 B CN 105574525B CN 201510967025 A CN201510967025 A CN 201510967025A CN 105574525 B CN105574525 B CN 105574525B
- Authority
- CN
- China
- Prior art keywords
- default
- scene
- image
- imaging
- photographed scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 215
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 230000008447 perception Effects 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims description 61
- 238000003331 infrared imaging Methods 0.000 claims description 28
- 238000005286 illumination Methods 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 11
- 238000011112 process operation Methods 0.000 claims description 9
- 238000002366 time-of-flight method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000005021 gait Effects 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 9
- 238000004587 chromatography analysis Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000035479 physiological effects, processes and functions Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Studio Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种复杂场景多模态生物特征图像获取装置，包括：主动多元成像单元，逻辑控制平台、并行数据计算平台，其中，逻辑控制平台，与主动多元成像单元相连接，并行数据计算平台与逻辑控制平台相连接，并行数据计算平台具体包括多元传感数据处理***、生物特征场景感知与建模***、多模态生物特征主动感知***和高级成像算法处理***。此外，本发明还公开了一种复杂场景多模态生物特征图像获取方法。本发明公开的一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取。
Description
技术领域
本发明涉及光学、计算机视觉和模式识别等技术领域，特别是涉及一种复杂场景多模态生物特征图像获取方法及其装置。
背景技术
目前，随着人类科学技术的不断发展，生物特征识别技术得到了广泛的应用。生物特征识别是指计算机通过获取和分析人体的生理和行为特征，实现自动身份鉴别的科学和技术。常见的生物特征模态包括指纹、虹膜、人脸、掌纹、手形、静脉、笔迹、步态、语音等。人体多种模态的生物特征信息主要分布于面部(人脸、虹膜)和手部(指纹、掌纹、手形、静脉)。相比手部生物特征，人体面部的人脸和虹膜特征具有表观可现、信息丰富、采集非接触的独特优势，在中远距离身份识别和智能视频监控应用场景具有不可替代的重要作用，因而得到了国际学术界、产业界乃至政府部门的高度关注。此外，步态生物特征具有远距离可感知、信息独特、易于秘密捕获、非侵犯性高、难于隐藏和伪装等优点，也逐渐受到一些研究机构的重视。
生物识别学科和技术领域经过多年的发展，在严格受控的条件下基本上可以正确识别高度配合的用户，但是，在数字化生物特征信息获取过程中，如果受到内在用户的生理变化(如眨眼、斜视、姿态、表情、运动等)和外界环境(即所在场景)变化(如光照、遮挡、距离等)的影响，生物识别的性能将急剧下降，无法满足复杂场景环境下对用户的身份识别的需求，因此严重制约了生物识别的学科进步、技术推广和产业发展。
当前，虹膜和人脸识别技术得到了快速发展，相比于虹膜和人脸成像，步态生物特征更易于远距离感知，一般使用市场上现成的摄像头即可进行数据采集。由于步态生物特征受成像装置视角的影响很大，如何布局多摄像机进行多视角采集，将直接影响步态识别的精度。
此外，多模态生物特征识别在适用人群范围、识别精度和安全防伪等方面比单模态的生物识别技术具有独特优势，因此多模态生物识别装置的研究也是最近几年的发展热点。
但是，现有的多模态生物特征获取设备主要面向受控环境，对成像目标的范围和姿态以及成像场景环境条件都具有较为严格的限制，同时，现有的多模态生物特征成像设备一次只能获取一个人的信息，无法同时采集多个目标的多模态生物特征，无法满足复杂成像场景中用户的身份识别需求。目前，高质量、多模态生物特征数据的便捷高效获取已经成为生物识别学科和技术应用从受控条件到复杂现实环境拓展和跨越的重大瓶颈，严重影响生物特征识别的精确性、鲁棒性、实时性甚至安全性。
因此，目前迫切需要开发出一种技术，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取。
发明内容
有鉴于此，本发明的目的是提供一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取，进一步提高识别的准确性，实现远距离、高分辨、高速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。
为此，本发明提供了一种复杂场景多模态生物特征图像获取方法，包括步骤：
第一步：向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；
第二步：采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像；第三步：对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
第四步：根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，以及检测获得所述预设拍摄场景中的预设生物特征信息；
第五步：判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件，同时所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。
其中，在所述第一步中，通过由多个多光谱光源组成的多光谱光源模块向所述预设拍摄场景提供多光谱的补偿照明。
其中，在所述第二步中，通过由多个光场成像传感器组成光场成像模块来采集所述预设拍摄场景中多个用户的虹膜和人脸图像；
通过由多个面阵图像传感器组成的高分辨率成像模块采集所述预设拍摄场景的高分辨率图像；
通过由多个高动态图像传感器组成的高动态成像模块采集所述预设拍摄场景的场景高动态图像；
通过由多个红外图像传感器组成的红外成像模块采集所述预设拍摄场景中多个用户的红外图像；
通过由多个深度摄像机组成的深度成像模块采集所述预设拍摄场景中多个用户的深度图像。
其中，所述深度摄像机为飞行时间法TOF摄像机。
此外，本发明还提供了一种复杂场景多模态生物特征图像获取装置，包括：
主动多元成像单元，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明，以及采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像，然后将所述多元图像发送给逻辑控制平台；
逻辑控制平台，与主动多元成像单元相连接，用于根据用户输入的图像获取开始或者停止指令，对应控制主动多元成像单元的启动或者停止运行，并且在接收到主动多元成像单元发来的所述预设拍摄场景的多元图像后，实时转发给并行数据计算平台，以及判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件且所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，发送所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息给并行数据计算平台中的高级成像算法处理***；
并行数据计算平台，具体包括多元传感数据处理***、生物特征场景感知与建模***、多模态生物特征主动感知***和高级成像算法处理***；其中：
多元传感数据处理***，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
生物特征场景感知与建模***，分别与多元传感数据处理***和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；
多模态生物特征主动感知***，分别与多元传感数据处理***和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；
高级成像算法处理***，与逻辑控制平台相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。
其中，所述主动多元成像单元包括多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块；
所述多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块分别与所述逻辑控制平台相连接。
其中，包括装置外壳，所述装置外壳的正面中心位置设置有主成像镜头；
所述主成像镜头的左侧设置有红外成像镜头，所述主成像镜头的右侧设置有深度成像镜头；
所述装置外壳的正面四周分别均匀分布有四个光场成像镜头组；
所述光场成像镜头组、红外成像镜头和深度成像镜头的周围分别有多个多光谱光源。
其中，所述逻辑控制平台包括现场可编程门阵列FPGA和单片机ARM逻辑控制芯片，其中：
现场可编程门阵列FPGA用于根据用户输入的图像获取开始或者停止指令，对主动多元成像单元中的多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块进行驱动控制，实现对应控制主动多元成像单元的启动或者停止运行及控制参数调节，以及数据的传输缓存；单片机ARM逻辑控制芯片用于负责逻辑控制平台与并行数据计算平台之间的数据调度配合。
由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取，进一步提高识别的准确性，实现远距离、高分辨、高速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。
附图说明
图1为本发明提供的一种复杂场景多模态生物特征图像获取方法的流程图；
图2为本发明提供的一种复杂场景多模态生物特征图像获取装置的结构示意图；
图3为本发明提供的一种复杂场景多模态生物特征图像获取装置的结构分布前视示意图；
图4为本发明提供的一种复杂场景多模态生物特征图像获取装置的光路结构示意图；
图5为本发明提供的一种复杂场景多模态生物特征图像获取装置的应用场景示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。
图1为本发明提供的一种复杂场景多模态生物特征图像获取方法的流程图；
参见图1，本发明提供的一种复杂场景多模态生物特征图像获取方法，包括以下步骤：
步骤S101：向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；
在本发明中，在步骤S101中，用户需要拍摄的预设拍摄场景根据用户的需要预设进行设置，可以是用户选择的任意一种场景，例如大厅门口场景。
在本发明中，在步骤S101中，具体实现上，可以通过由多个多光谱光源组成的多光谱光源模块向预设拍摄场景提供多光谱的补偿照明，目的在于满足全天候场景的高质量成像需求。
步骤S102：采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像(即获得用户的深度信息，如三维特征信息)；
在本发明中，在步骤S102中，具体实现上，可以通过由多个光场成像传感器组成光场成像模块来采集所述预设拍摄场景中多个用户的虹膜和人脸图像；
在步骤S102中，具体实现上，可以通过由多个面阵图像传感器组成的高分辨率成像模块采集所述预设拍摄场景的场景高分辨率图像；
在本发明中，需要说明的是，具体实现上，所述场景高分辨率图像具体具有的分辨率大小可以根据用户的需要对高分辨率成像模块进行设置后采集获得，例如为可以1280*800像素，当然还可以是其他用户设置的较高分辨率的图像。
在步骤S102中，具体实现上，可以通过由多个高动态图像传感器组成的高动态成像模块采集所述预设拍摄场景的场景高动态图像；
在本发明中，需要说明的是，具体实现上，所述场景高动态图像具体具有的分辨率大小可以根据用户的需要对高动态成像模块进行设置后采集获得，例如为可以1280*720像素的动态图像，当然还可以是其他用户设置的较高分辨率的动态图像。
在步骤S102中，具体实现上，可以通过由多个红外图像传感器组成的红外成像模块采集所述预设拍摄场景中多个用户的红外图像；
在步骤S102中，具体实现上，可以通过由多个深度摄像机组成的深度成像模块采集所述预设拍摄场景中多个用户的深度图像，所述深度摄像机优选为选用TOF(飞行时间法)摄像机。
步骤S103：对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
在步骤S103中，所述对多元图像进行的预设数据处理操作包括：对多元图像进行数据预处理、编码和融合，其中，预处理包括图像去躁、归一化、光场图像的标定及去渐晕等；编码是利用压缩感知理论对多元图像进行数据编码，减少多图像的数据冗余性，提高***性能；融合是将各成像模块处获得多元的图像进行优势互补，融合出具有多重特性的图像。对于本发明，去除图像的冗余信息，图像的质量更高并且有利于进一步的处理分析。
步骤S104：根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，以及检测获得所述预设拍摄场景中的预设生物特征信息(例如虹膜特征、人脸特征和步态特征信息)；
对于本发明，需要说明的是，多元图像数据用于对全时段、光照变化明显条件下的复杂场景进行感知，反演出涵盖时间、光照的真实结构场景模型，利用深度数据进行背景建模，利用形状和纹理进行完成场景三维建模，以降低复杂场景下光照、天气等可变因素对生物特征成像的不利影响。
对于本发明，需要说明的是，多元图像数据用于检测场景中的预设生物特征信息，具体实现上，是利用多模态生物特征主动感知***中的目标定位单元、感兴趣区域特征检测提取单元、多模态生物特征融合单元和多模态生物特征质量评价单元，通过多模态生物特征检测、特征提取、融合和质量评价技术，获得多目标人脸、虹膜和步态生物特征信息。
步骤S105：判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件，同时所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示；
否则，即如果所述预设拍摄场景的真实结构场景模型具有的建模信息不符合预设建模信息条件以及所述预设拍摄场景中的预设生物特征信息不符合预设生物特征条件，则根据真实结构场景模型具有的建模信息以及预设生物特征信息，调整向预设拍摄场景提供的多光谱补偿照明的参数以及采集所述预设拍摄场景多元图像的成像参数，然后返回执行步骤S101，直到所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件以及所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件为止。
在本发明中，所述真实结构场景模型具有的建模信息包括场景的光照情况、天气情况、场景范围、场景中的形状和纹理信息；
对于本发明，预设建模信息条件主要是指场景的属性，比如判断拍摄场景的光照情况、天气情况、场景范围、场景中的形状和纹理信息等。在本发明中，所述预设生物特征包括人脸、虹膜、步态等，预设生物特征条件主要包括人脸、虹膜、步态的图像质量要求，比如图像的分辨率、亮度、清晰度等。
在本发明中，将场景建模信息和多模态生物特征主动感知信息传输至并行数据计算平台中的高级成像算法处理***，再利用深度层析式算法、去遮挡算法、三维成像算法，完成图像的后续处理；
对于本发明，最终获得的多模态生物特征图像包括：多目标无遮挡的虹膜2D图像、人脸和步态近距离时的2D/3D图像以及远距离时的2D图像。(可以参考应用场景图5的说明)
对于本发明，其可以根据场景建模中的光照、天气、场景范围等属性和多模态生物特征图像质量信息，来调整多光谱光源模块的照明参数、以及各成像模块(光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块)的成像参数(分辨率、光圈、焦距、景深、增益系数等)。
需要说明的是，对于本发明，所述预设成像处理操作可以通过深度层析式算法、去遮挡算法、三维成像算法进行。其中，采用光场成像中的数字重对焦技术，利用一次曝光获取的光场信息，通过调整重对焦参数，对场景目标在深度方向上实现不同对焦面的多目标层析式成像。利用合成孔径成像技术，对被遮挡目标进行还原成像。利用深度信息重建目标高精度的三维形状。基于三维形状，利用全局光照模型，分析目标表面局部变化特征，应用如阴影恢复形状算法等恢复局部光照模型，再结合场景图像的表面纹理信息，最终实现多目标的三维成像。
因此，基于以上的技术方案可知，本发明提供的一种复杂场景多模态生物特征图像获取方法，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取，进一步提高识别的准确性，实现远距离、高分辨、高速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。
参见图2，具体实现上，为了运行上述本发明提供的一种复杂场景多模态生物特征图像获取方法，本发明还提供了一种复杂场景多模态生物特征图像获取装置，该装置包括：
主动多元成像单元201，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明，以及采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像(即获得用户的深度信息，如三维特征信息)，然后将所述多元图像发送给逻辑控制平台202；
逻辑控制平台202，与主动多元成像单元201相连接，用于根据用户输入的图像获取开始或者停止指令，对应控制主动多元成像单元的启动或者停止运行，并且在接收到主动多元成像单元201发来的所述预设拍摄场景的多元图像后，实时转发给并行数据计算平台203，以及判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件且所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，发送所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息给并行数据计算平台中的高级成像算法处理***；
需要说明的是，对于逻辑控制平台202，如果经过判断，所述预设拍摄场景的真实结构场景模型具有的建模信息不符合预设建模信息条件以及所述预设拍摄场景中的预设生物特征信息不符合预设生物特征条件，则根据真实结构场景模型具有的建模信息以及预设生物特征信息，调整向预设拍摄场景提供的多光谱补偿照明的参数以及采集所述预设拍摄场景多元图像的成像参数，调整向预设拍摄场景提供的多光谱补偿照明的参数以及采集所述预设拍摄场景多元图像的成像参数，然后返回运行主动多元成像单元201，直到所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件以及所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件为止；
并行数据计算平台203，具体包括多元传感数据处理***、生物特征场景感知与建模***、多模态生物特征主动感知***和高级成像算法处理***；其中：
多元传感数据处理***2031，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
生物特征场景感知与建模***2032，分别与多元传感数据处理***和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；
多模态生物特征主动感知***2033，分别与多元传感数据处理***和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；
高级成像算法处理***2034，与逻辑控制平台202相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示(可以通过计算机等数据终端平台显示)。
对于本发明，需要说明的是，通过生物特征场景感知与建模***和多模态生物特征主动感知***对真实物理场景进行感知建模、对生物特征信息进行检测，为主动多元成像单元提供反馈校正激励，以实现***整体的反馈闭环鲁棒控制。
在本发明中，需要说明的是，用户需要拍摄的预设拍摄场景根据用户的需要预设进行设置，可以是用户选择的任意一种场景，例如大厅门口场景。
在本发明中，可以通过由多个多光谱光源组成的多光谱光源模块向预设拍摄场景提供多光谱的补偿照明。
在本发明中，具体实现上，所述主动多元成像单元201包括以下模块：
多光谱光源模块2011，包括多个多光谱光源，与逻辑控制平台202相连接，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；目的在于满足全天候场景的高质量成像需求；
光场成像模块2012，包括多个光场成像传感器，与逻辑控制平台202相连接，用于采集所述预设拍摄场景中多个用户的虹膜和人脸图像；
高分辨率成像模块2013，包括多个面阵图像传感器，与逻辑控制平台202相连接，用于采集所述预设拍摄场景的场景高分辨率图像，因此可以实现所述预设拍摄场景的大视场的高分辨率成像；
高动态成像模块2014，包括多个高动态图像传感器，与逻辑控制平台202相连接，用于采集所述预设拍摄场景的场景高动态图像；
具体实现上，所述高动态成像模块2014可以利用两个具有不同曝光系数的高动态图像传感器来获取所述预设拍摄场景的大视场的高动态图像。
红外成像模块2015，包括多个红外图像传感器，与逻辑控制平台202相连接，用于采集所述预设拍摄场景中多个用户的红外图像；该红外成像模块2015可以方便地将所述预设拍摄场景中的背景与人以及人与人之间的图像进行分割；
深度成像模块2016，包括多个深度摄像机，与逻辑控制平台202相连接，用于采集所述预设拍摄场景中多个用户的深度图像，因此，所述深度成像模块2016可以通过对所述预设拍摄场景中的目标(人等)在深度方向上进行成像，获取场景深度信息，便于对所述预设拍摄场景中的目标(人等)进行感知以及建立场景的三维信息。
在本发明中，具体实现上，所述深度摄像机优选为选用TOF(飞行时间法)摄像机。
在本发明中，具体实现上，所述光场成像模块2012具体采用微透镜阵列光场成像方式，利用集成电路封装技术来采集高角度和高空间分辨率的多个用户的虹膜和人脸图像。
具体实现上，所述光场成像模块2012可以由光场成像子镜头组、高反射镜镜组、半反半透镜、视场拼接镜头组(包括第一视场拼接镜头和第二视场拼接镜头)和高分辨率光场传感器(第一高分辨光场传感器和第二高分辨光场传感器)组构成，其中，光场成像子镜头采用望远结构设计，接受场景的多个视角入射光束；高反射镜镜用于将场景的多个视角反射光线进行偏移；半反半透镜将入射光束分成透射光束和反射光束，透射光束经第一视场拼接镜头入射到第一高分辨光场传感器，由第一高分辨光场传感器用于近红外虹膜成像，反射光入射到经第二视场拼接镜头入射到第二高分辨光场传感器，由第二高分辨光场传感器用于可见光人脸成像。
在本发明中，具体实现上，所述逻辑控制平台202可以包括FPGA(现场可编程门阵列)和ARM(单片机)逻辑控制芯片，其中，FPGA用于根据用户输入的图像获取开始或者停止指令，对主动多元成像单元201中的多光谱光源模块2011、光场成像模块2012、高分辨率成像模块2013、高动态成像模块2014、红外成像模块2015以及深度成像模块2016进行驱动控制，实现对应控制主动多元成像单元的启动或者停止运行及控制参数调节，以及数据的传输缓存；ARM用于负责逻辑控制平台与并行数据计算平台之间的数据调度配合。
所述并行数据计算平台包括由FPGA、DSP和GPU联合构成的高性能计算处理***，根据功能实现进一步分为多元传感数据处理***、生物特征场景感知与建模***、多模态生物特征主动感知***和高级成像算法处理***。
所述多元传感数据处理***，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；具体实现上，所述多元传感数据处理***用于对主动多元成像***获取的数据进行处理加工，包括数据预处理单元、编码单元和融合单元。
所述生物特征场景感知与建模***，分别与多元传感数据处理***和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；具体实现上，所述生物特征场景感知与建模***用于对全时段、光照变化明显条件下的复杂场景进行感知，反演出涵盖时间、光照的真实结构场景模型，同时为主动多元成像***提供准确反馈运行参数。
所述多模态生物特征主动感知***，分别与多元传感数据处理***和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；具体实现上，所述多模态生物特征主动感知***用于对多目标多模态生物特征信息进行主动感知，包括复杂场景中的目标定位单元、感兴趣区域特征检测提取单元、多模态生物特征融合单元和多模态生物特征质量评价单元，根据主动感知信息指导主动多元成像***进行有针对性地成像参数配置。
如上所述，所述高级成像算法处理***，与逻辑控制平台202相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示(可以通过计算机等数据终端平台显示)。具体实现上，该高级成像算法处理***用于实现多目标多模态生物特征的深度层析式成像和穿透式三维成像，在增大装置的成像景深范围的同时，提高装置对遮挡目标的成像能力。
需要说明的是，对于本发明，所述预设成像处理操作可以通过深度层析式算法、去遮挡算法、三维成像算法进行。其中，采用光场成像中的数字重对焦技术，利用一次曝光获取的光场信息，通过调整重对焦参数，对场景目标在深度方向上实现不同对焦面的多目标层析式成像。利用合成孔径成像技术，对被遮挡目标进行还原成像。利用深度信息重建目标高精度的三维形状。基于三维形状，利用全局光照模型，分析目标表面局部变化特征，应用如阴影恢复形状算法等恢复局部光照模型，再结合场景图像的表面纹理信息，最终实现多目标的三维成像。
参见图3，图3为本发明提供的一种复杂场景多模态生物特征图像获取装置中主动多元成像单元的结构分布前视示意图，表示了多光谱光源模块与多元成像模块(包括光场成像模块2012、高分辨率成像模块2013、高动态成像模块2014、红外成像模块2015以及深度成像模块2016)的机械分布情况。
参见图3所示，本发明提供的一种复杂场景多模态生物特征图像获取装置包括装置外壳300，所述装置外壳的正面中心位置设置有主成像镜头303，所述主成像镜头303用于为高分辨率成像模块2013(高分辨率成像模块)和高动态成像模块2014(高动态成像模块)提供入射光镜头通路。
需要说明的是，对于本发明，所述高分辨率成像和高动态成像共用由主成像镜头303提供的同一主成像光路，主成像光路采用望远结构设计，孔径大，可以满足对场景大范围成像需要；经主成像光路的光线经一组半反半透镜分别入射到面阵图像传感器(一种高分辨率图像传感器)和高动态图像传感器组，分别用于高分辨率成像和高动态范围成像；所述高动态传感器组由两个具有不同曝光系数的高动态传感器组成。
在本发明中，所述主成像镜头303的左侧设置有红外成像镜头304，作为红外成像模块2015的入射光镜头通路；所述主成像镜头303的右侧设置有深度成像镜头305(具体为TOF深度成像镜头)，作为深度成像模块2016的入射光镜头通路；
所述装置外壳的正面四周分别均匀分布有四个光场成像镜头组306，每一组由4个光场成像镜头子镜头组成，作为光场成像模块2012的入射光镜头通路，每上下两个光场成像子镜头构成一个光场成像模块单元。需要说明的是，光场成像模块具有的光场成像镜头组306不限于如图3所示的四个，还可以是不少于两个的任意多个。
在本发明中，参见图3，所述光场成像镜头组306、红外成像镜头304和深度成像镜头305的周围分别有多个多光谱光源302，由所述多个多光谱光源302组成多光谱光源模块2011。也就是说明，所述多光谱光源模块2011呈阵列式分布于所述光场成像镜头组306、红外成像镜头304和深度成像镜头305的周围。
图4为本发明提供的主动多元成像***光路结构示意图，表示了光场成像模块2012、高分辨率成像模块2013、高动态成像模块2014、红外成像模块2015以及深度成像模块2016的光路构成。
一并参见图3、图4，其中2011为多光谱光源模块，呈阵列式分布于成像模块的四周，通过逻辑控制平台202来进行驱动控制，为多元成像模块(包括光场成像模块2012、高分辨率成像模块2013、高动态成像模块2014、红外成像模块2015以及深度成像模块2016)提供多光谱的补偿照明。
主成像光路402包括主成像镜头303，采用望远结构设计，位于主动多元成像单元201的中心位置，对大范围的预设拍摄场景的物方光束进行会聚，会聚后的光线经第一半反半透棱镜403分为透射光束和反射光束，其中，透射光束入射到面阵图像传感器(一种高分辨率图像传感器)404而生成大视场的高分辨率图像，面阵图像传感器404为采用集成电路封装技术加工得到；反射光束投射给第二半反半透棱镜405，第二半反半透棱镜405输出的透射光束和反射光束分别投射到两个高动态图像传感单元406，每个高动态图像传感单元406包括一个成像镜头和一个高动态图像传感器，其中成像镜头用于将入射光线进行会聚后投射到对应的传感器上，两个高动态传感成像单元的不同之处为各自的高动态图像传感器具有不同的曝光系数，可获得曝光不同的同一视场图像，以实现高动态成像。
红外成像模块2015位于主成像镜头303的一侧，如图4中所示，用于对场景进行红外成像，由红外成像镜头和红外成像传感器组成，入射光经红外成像镜头会聚后投射到其后端的红外成像传感器上，完成红外成像过程。
深度成像模块2016位于主成像镜头303的一侧，如图4中所示，用于对场景进行深度成像，获取场景深度信息；所述深度成像模块2016由深度成像镜头和深度成像传感器组成，入射光经深度成像镜头会聚后投射到其后端的深度成像传感器上，完成深度成像过程。
光场成像模块2012位于主成像光路402的四周，每四个光场成像镜头为一组，如图3中所示，上下两个为一个光场成像单元410，如图4所示，所述光场成像单元410包括两个光场成像镜头411、两个第一反射镜412、两个第二反射镜413、一个半反半透棱镜414、两个视场拼接镜头415、一个虹膜成像传感单元416和一个人脸成像传感单元418；
其中，每个所述光场成像镜头411的正后方倾斜分别设置有一个所述第一反射镜412，两个所述第一反射镜412的纵向中间位置倾斜设置有两个第二反射镜413，所述两个第二反射镜413的正后方倾斜分别设置有一个半反半透棱镜414；
所述半反半透棱镜414左端与水平面的夹角为锐角；所述半反半透棱镜414的正下方和正右侧分别设置有一个所述视场拼接镜头415，其中，位于所述半反半透棱镜414的正下方的视场拼接镜头415与一个人脸成像传感单元418相连接，位于所述半反半透棱镜414的正右侧的视场拼接镜头415与一个虹膜成像传感单元416相连接。
参见图4，对于光场成像模块2012，每四个光场成像镜头411为一组，每一个光场成像镜头组306包括两个光场成像单元410，如图4中所示，所述红外成像模块2015的上方和深度成像模块2016的下方分别具有一个所述光场成像单元410(实际包括两个，为了图4显示方便，只画出一个光场成像单元410示意)，入射光经上下两个光场成像镜头411会聚后分别投射到对应的第一反射镜412上，光场成像镜头411采用望远结构设计，以接受拍摄场景的多视角入射光束，第一反射镜412可以对入射光线进行反射；第一反射镜412的反射光线再经另外一组第二反射镜412反射后投射到半反半透棱镜414上；经过半反半透棱镜414后光线分为透射光束和反射光束，其中，透射光束入射到视场拼接镜头415，将上下两个光路得到的光束进行视场合并，再投射到其后端的高分辨率的虹膜成像传感单元416，高分辨率虹膜成像传感单元由微透镜阵列组和紧置于其后的采用集成电路封装技术加工的高分辨率虹膜光场成像传感器组成，而反射光束入射到视场拼接镜头415，将上下两个光路得到的光束进行视场合并，再投射到其后端的微透镜阵列形式的高分辨率的人脸成像传感单元418，高分辨率人脸成像传感单元由微透镜阵列组和紧置于其后的采用集成电路封装技术加工的高分辨率人脸光场成像传感器组成，也就是说光场成像模块2012通过其包括的所述高分辨率虹膜成像传感单元和高分辨率人脸成像传感单元，可以最终完成多视角大视场的虹膜、人脸光场成像。
参见图5，基于上述本发明提供的一种复杂场景多模态生物特征图像获取装置的应用场景如图所示。本发明提供的装置可以获取多目标(例如用户2000)的虹膜、人脸和步态图像信息，实现“多模态、多目标、多维度”的生物特征信息有效获取。
本发明所提供的装置1000具有虹膜生物特征有效感知区域1001，以及具有人脸和步态生物特征有效感知区域1002；具体实现上，经过检测，其中，虹膜生物特征有效感知区域1001的范围大概为距装置1000距离为1m(L1)至5m(L2)的区域范围；人脸和步态生物特征有效感知区域1002为距装置1000距离为5m(L2)-15m(L3)的区域范围。
此外，本发明提供的装置100可在虹膜生物特征有效感知区域1001内获取多目标的虹膜2D图像，以及可以在人脸和步态生物特征有效感知区域1002内的较近区域(距装置1000距离为5m-8m范围内)获取多目标人脸和步态的3D图像，在较远区域(距装置1000距离为8m-15m范围内)获取多目标人脸和步态的2D图像。对于本发明，其以生物特征识别为应用背景，面向现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)，通过光电技术、视觉计算技术等领域的技术融合与创新，对大范围内的虹膜、人脸、步态多模态生物特征进行有效检测获取，并层次化获取多模态生物特征的多维图像信息，在生物识别、视频监控、智能安防等领域具有广阔的应用前景。
此外，本发明还可以通过生物特征场景感知与建模***和多模态生物特征主动感知***对真实物理场景进行感知建模、对目标进行检测定位，为主动多元成像***提供反馈校正，完成室外大范围且背景复杂、昼夜和光照变化等条件下场景的目标生物特征感知，实现多场景多模态生物特征信息的鲁棒控制成像，利用成像端与算法端的协同有效控制来保障高质量的多元数据获取。
另外，本发明突破了传统生物特征获取设备成像景深有限且目标对象单一的局限，利用光场成像等计算成像技术，实现对处于场景不同深度的多目标生物特征进行选择性成像，不仅扩大场景的成像景深，亦可有选择性的确定成像平面，提高成像质量同时增强仪器设备的灵活性；针对复杂环境中多目标之间产生人群遮挡问题，本发明以深度信息为先验知识，利用相关计算成像技术，对场景目标的遮挡物进行识别、分割和剔除，实现对多人群目标环境下的生物特征信息更为全面精细的感知。
综上所述，与现有技术相比较，本发明提供了一种复杂场景多模态生物特征图像获取方法及其装置，其可以对现实复杂场景条件(如室外大范围且背景复杂、环境光照变化、目标人群多且存在运动、姿态变化及相互遮挡等情况)下多个用户的生物特征进行多模态识别，满足复杂成像场景中多用户的身份识别需求，实现对大范围内的虹膜、人脸、步态多模态生物特征进行有效获取，进一步提高识别的准确性，实现远距离、高分辨、高速的多模态生物特征识别，有利于提高用户的产品使用感受，具有重大的生产实践意义。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种复杂场景多模态生物特征图像获取方法，其特征在于，包括步骤：
第一步：向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明；
第二步：采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率图像、场景高动态图像、多个用户的红外图像以及多个用户的深度图像；
第三步：对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
第四步：根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，以及检测获得所述预设拍摄场景中的预设生物特征信息；
第五步：判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件，同时所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。
2.如权利要求1所述的方法，其特征在于，在所述第一步中，通过由多个多光谱光源组成的多光谱光源模块向所述预设拍摄场景提供多光谱的补偿照明。
3.如权利要求1所述的方法，其特征在于，在所述第二步中，通过由多个光场成像传感器组成光场成像模块来采集所述预设拍摄场景中多个用户的虹膜和人脸图像；
通过由多个面阵图像传感器组成的高分辨率成像模块采集所述预设拍摄场景的场景高分辨率；
通过由多个高动态图像传感器组成的高动态成像模块采集所述预设拍摄场景的场景高动态图像；
通过由多个红外图像传感器组成的红外成像模块采集所述预设拍摄场景中多个用户的红外图像；
通过由多个深度摄像机组成的深度成像模块采集所述预设拍摄场景中多个用户的深度图像。
4.如权利要求3所述的方法，其特征在于，所述深度摄像机为飞行时间法TOF摄像机。
5.一种复杂场景多模态生物特征图像获取装置，其特征在于，包括：
主动多元成像单元，用于向用户需要拍摄的预设拍摄场景提供多光谱的补偿照明，以及采集所述预设拍摄场景的多元图像，其中，所述预设拍摄场景的多元图像包括多个用户的虹膜和人脸图像、场景高分辨率、场景高动态图像、多个用户的红外图像以及多个用户的深度图像，然后将所述多元图像发送给逻辑控制平台；
逻辑控制平台，与主动多元成像单元相连接，用于根据用户输入的图像获取开始或者停止指令，对应控制主动多元成像单元的启动或者停止运行，并且在接收到主动多元成像单元发来的所述预设拍摄场景的多元图像后，实时转发给并行数据计算平台，以及判断所述预设拍摄场景的真实结构场景模型具有的建模信息是否符合预设建模信息条件，以及所述预设拍摄场景中的预设生物特征信息是否符合预设生物特征条件，当所述预设拍摄场景的真实结构场景模型具有的建模信息符合预设建模信息条件且所述预设拍摄场景中的预设生物特征信息符合预设生物特征条件时，发送所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息给并行数据计算平台中的高级成像算法处理***；
并行数据计算平台，具体包括多元传感数据处理***、生物特征场景感知与建模***、多模态生物特征主动感知***和高级成像算法处理***；其中：
多元传感数据处理***，与逻辑控制平台相连接，用于对所述预设拍摄场景的多元图像进行预设数据处理操作，获得初始化的多元图像数据；
生物特征场景感知与建模***，分别与多元传感数据处理***和逻辑控制平台相连接，用于根据所述初始化的多元图像数据，对所述预设拍摄场景进行感知建模，获得所述预设拍摄场景对应的真实结构场景模型，并发送给逻辑控制平台；
多模态生物特征主动感知***，分别与多元传感数据处理***和逻辑控制平台相连接，用于检测获得所述预设拍摄场景中的预设生物特征信息，并发送给逻辑控制平台；
高级成像算法处理***，与逻辑控制平台相连接，用于根据所述预设拍摄场景对应的真实结构场景模型具有的建模信息以及所述预设拍摄场景中的预设生物特征信息，执行预设成像处理操作，获得最终的多模态生物特征图像并进行显示。
6.如权利要求5所述的装置，其特征在于，所述主动多元成像单元包括多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块；
所述多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块分别与所述逻辑控制平台相连接。
7.如权利要求5所述的装置，其特征在于，包括装置外壳(300)，所述装置外壳的正面中心位置设置有主成像镜头(303)；
所述主成像镜头(303)的左侧设置有红外成像镜头(304)，所述主成像镜头(303)的右侧设置有深度成像镜头(305)；
所述装置外壳的正面四周分别均匀分布有四个光场成像镜头组(306)；
所述光场成像镜头组(306)、红外成像镜头(304)和深度成像镜头(305)的周围分别有多个多光谱光源(302)。
8.如权利要求5所述的装置，其特征在于，所述逻辑控制平台包括现场可编程门阵列FPGA和单片机ARM逻辑控制芯片，其中：
现场可编程门阵列FPGA用于根据用户输入的图像获取开始或者停止指令，对主动多元成像单元中的多光谱光源模块、光场成像模块、高分辨率成像模块、高动态成像模块、红外成像模块以及深度成像模块进行驱动控制，实现对应控制主动多元成像单元的启动或者停止运行及控制参数调节，以及数据的传输缓存；单片机ARM逻辑控制芯片用于负责逻辑控制平台与并行数据计算平台之间的数据调度配合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510967025.3A CN105574525B (zh) | 2015-12-18 | 2015-12-18 | 一种复杂场景多模态生物特征图像获取方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510967025.3A CN105574525B (zh) | 2015-12-18 | 2015-12-18 | 一种复杂场景多模态生物特征图像获取方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105574525A CN105574525A (zh) | 2016-05-11 |
| CN105574525B true CN105574525B (zh) | 2019-04-26 |
Family
ID=55884632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510967025.3A Active CN105574525B (zh) | 2015-12-18 | 2015-12-18 | 一种复杂场景多模态生物特征图像获取方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105574525B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504751A (zh) * | 2016-08-01 | 2017-03-15 | 深圳奥比中光科技有限公司 | 自适应唇语交互方法以及交互装置 |
| WO2018101049A1 (ja) | 2016-11-29 | 2018-06-07 | パナソニックＩｐマネジメント株式会社 | 固体撮像装置及び測距撮像装置 |
| CN107016339A (zh) * | 2017-03-01 | 2017-08-04 | 泰州市创新电子有限公司 | 具有信息反馈功能的多区域协同身份核准装置 |
| CN107590461B (zh) * | 2017-09-12 | 2021-04-02 | Oppo广东移动通信有限公司 | 人脸识别方法及相关产品 |
| WO2019110012A1 (en) * | 2017-12-08 | 2019-06-13 | Shanghaitech University | Face detection and recognition method using light field camera system |
| CN108108693B (zh) * | 2017-12-20 | 2019-02-19 | 深圳市安博臣实业有限公司 | 基于3d高清vr全景的智能识别监控装置及识别方法 |
| CN108197566B (zh) * | 2017-12-29 | 2022-03-25 | 成都三零凯天通信实业有限公司 | 一种基于多路神经网络的监控视频行为检测方法 |
| CN108478207B (zh) * | 2018-01-09 | 2021-08-06 | 南京航空航天大学 | 一种多模态大脑生理监测*** |
| CN108509868B (zh) * | 2018-03-12 | 2020-08-04 | 杭州软库科技有限公司 | 一种基于光场相机的人脸识别***及方法 |
| CN108710859A (zh) * | 2018-05-23 | 2018-10-26 | 曜科智能科技（上海）有限公司 | 人脸检测方法和设备、人脸识别方法和设备及存储介质 |
| GB202011144D0 (en) | 2019-08-28 | 2020-09-02 | ams Sensors Germany GmbH | Systems for characterizing ambient illumination |
| CN110610160B (zh) * | 2019-09-16 | 2022-04-19 | 长江师范学院 | 一种多生物特征融合身份鉴别装置 |
| CN110781856B (zh) * | 2019-11-04 | 2023-12-19 | 浙江大华技术股份有限公司 | 异质人脸识别模型训练方法、人脸识别方法及相关装置 |
| CN111191644B (zh) * | 2020-04-10 | 2020-10-20 | 支付宝(杭州)信息技术有限公司 | 身份识别方法、***及装置 |
| CN112507781B (zh) * | 2020-10-21 | 2023-11-21 | 天津中科智能识别产业技术研究院有限公司 | 一种多维度多模态群体生物特征识别***以及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800126A (zh) * | 2012-07-04 | 2012-11-28 | 浙江大学 | 基于多模态融合的实时人体三维姿态恢复的方法 |
| CN102810154A (zh) * | 2011-06-02 | 2012-12-05 | 国民技术股份有限公司 | 一种基于可信模块的生物特征采集融合方法和*** |
| CN103745242A (zh) * | 2014-01-30 | 2014-04-23 | 中国科学院自动化研究所 | 一种跨设备生物特征识别方法 |
| CN104246796A (zh) * | 2012-04-13 | 2014-12-24 | 高通股份有限公司 | 使用多模匹配方案的对象辨识 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130250087A1 (en) * | 2012-03-23 | 2013-09-26 | Peter A. Smith | Pre-processor imaging system and method for remotely capturing iris images |
-
2015
- 2015-12-18 CN CN201510967025.3A patent/CN105574525B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102810154A (zh) * | 2011-06-02 | 2012-12-05 | 国民技术股份有限公司 | 一种基于可信模块的生物特征采集融合方法和*** |
| CN104246796A (zh) * | 2012-04-13 | 2014-12-24 | 高通股份有限公司 | 使用多模匹配方案的对象辨识 |
| CN102800126A (zh) * | 2012-07-04 | 2012-11-28 | 浙江大学 | 基于多模态融合的实时人体三维姿态恢复的方法 |
| CN103745242A (zh) * | 2014-01-30 | 2014-04-23 | 中国科学院自动化研究所 | 一种跨设备生物特征识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105574525A (zh) | 2016-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105574525B (zh) | 一种复杂场景多模态生物特征图像获取方法及其装置 | |
| Bai et al. | Smart guiding glasses for visually impaired people in indoor environment | |
| US11693242B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| CN107635129B (zh) | 一种三维三目摄像装置及深度融合方法 | |
| JP6974873B2 (ja) | シーンから深度情報を取得するための装置および方法 | |
| KR101874494B1 (ko) | 특징점의 삼차원 위치 계산 장치 및 방법 | |
| CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| US9432593B2 (en) | Target object information acquisition method and electronic device | |
| Zhu et al. | Panoramic virtual stereo vision of cooperative mobile robots for localizing 3d moving objects | |
| CN105554385A (zh) | 一种远距离多模态生物特征识别方法及其*** | |
| CN102855471B (zh) | 远距离虹膜智能成像装置及方法 | |
| CN112507781B (zh) | 一种多维度多模态群体生物特征识别***以及方法 | |
| KR102441171B1 (ko) | 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법 | |
| WO2019036751A1 (en) | ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS | |
| CN116194866A (zh) | 使用6dof姿态信息对准来自分离相机的图像 | |
| KR20130107981A (ko) | 시선 추적 장치 및 방법 | |
| KR20140053647A (ko) | 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법 | |
| US11882354B2 (en) | System for acquisiting iris image for enlarging iris acquisition range | |
| EP3042341A1 (en) | Method and apparatus for eye detection from glints | |
| CN206378680U (zh) | 基于结构光多模块360度空间扫描和定位的3d相机 | |
| CN108415875A (zh) | 深度成像移动终端及人脸识别应用的方法 | |
| GB2544263A (en) | Systems and methods for imaging three-dimensional objects | |
| KR20120002723A (ko) | 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치 | |
| CN109443319A (zh) | 基于单目视觉的障碍物测距***及其测距方法 | |
| KR20080107345A (ko) | 입체 카메라, 및 입체 카메라의 입체 영상 인식 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190107 Address after: Unit 1005, Block MSD-G1, Teda, 57 Second Avenue, Jinshi Economic and Technological Development Zone, 300457 Applicant after: TIANJIN ZHONGKE HONGXING TECHNOLOGY CO.,LTD. Address before: 300457 No. 57, Second Avenue, Economic and Technological Development Zone, Binhai New Area, Tianjin Applicant before: TIANJIN ZHONGKE INTELLIGENT IDENTIFICATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and device for obtaining multimodal biological feature images in complex scenes Granted publication date: 20190426 Pledgee: Bohai Bank Co.,Ltd. Tianjin Branch Pledgor: TIANJIN ZHONGKE HONGXING TECHNOLOGY CO.,LTD. Registration number: Y2024120000040 |