CN214587005U - 一种图像处理器、三维成像装置及电子设备 - Google Patents

一种图像处理器、三维成像装置及电子设备 Download PDF

Info

Publication number
CN214587005U
CN214587005U CN202120623718.1U CN202120623718U CN214587005U CN 214587005 U CN214587005 U CN 214587005U CN 202120623718 U CN202120623718 U CN 202120623718U CN 214587005 U CN214587005 U CN 214587005U
Authority
CN
China
Prior art keywords
image
circuit
dimensional imaging
camera
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202120623718.1U
Other languages
English (en)
Inventor
王赟
张官兴
郭蔚
黄康莹
张铁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co Ltd
Original Assignee
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ewa Intelligent Technology Co ltd, Shaoxing Ewa Technology Co Ltd filed Critical Shanghai Ewa Intelligent Technology Co ltd
Priority to CN202120623718.1U priority Critical patent/CN214587005U/zh
Application granted granted Critical
Publication of CN214587005U publication Critical patent/CN214587005U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

本实用新型公开了一种图像处理器、三维成像装置及电子设备。其中,基于异构计算结构的图像处理器可包括图像预处理电路、控制模块电路、神经网络加速电路和立体匹配加速电路;控制模块电路根据控制参数和/或程序指令提供控制信号;图像预处理电路对输入的图像数据进行预处理输出;神经网络加速电路对图像卷积处理后输出图像特征数据;立体匹配加速电路对图像进行双目立体匹配。通过本申请的处理方案,采用异构计算的加速图像处理结构可实现3D视觉信息的实时计算获取目标识别、障碍物识别等AI应用场景中的3D视觉处理。

Description

一种图像处理器、三维成像装置及电子设备
技术领域
本实用新型涉及图像处理技术领域,具体涉及一种图像处理器、三维成像装置及电子设备。
背景技术
一方面,随着3D立体视觉及智能电子设备如手机、智能门锁、人脸识别支付装置等可内置3D视觉技术的智能设备发展,3D视觉技术将逐步应用到日常生活的各个方面中,因而在安全、低功耗、小体积、实时性、稳定性等方面,将对使用3D视觉技术的智能电子设备提出更高要求,如使用3D视觉技术的整个3D视觉设备及其控制***、所涉及的元器件、电路等。
另一方面,在嵌入式、集成等安装使用要求下,亦要求3D视觉***可以在不影响原电子设备性能的前提下,实现高性能、实时的3D信息输出。
但是,现有终端智能电子设备因算力、3D成像整体架构、结构等因素限制,大多只支持ToF(TimeofFlight,飞行时间传感器)或单目结构光所组成的3D视觉***,而且ToF和单目结构光不仅均采用了高功率激光器,具有寿命低、无法长时间使用(如实时性受限)、容易发生安全隐患(如激光功率过高容易灼伤人眼、长时间使用容易发生烧毁而酿成火灾等)等特点,还受限于 3D成像原理的复杂性和制造成本高,以及3D成像***不能获得密集深度信息、3D深度信息分辨率低。
实用新型内容
有鉴于此,本实用新型提供一种图像处理器、三维成像装置及电子设备,采用基于异构计算的图像处理器作为3D成像方案中的核心电路,不仅可方便现有智能设备支持3D视觉应用,简化3D成像方案的结构设计,降低集成成本,提高3D应用的性能等,还方便整机产品进行简化设计以及灵活应用3D数据。
本实用新型提供以下技术方案:
本公开实施例提供一种图像处理器,包括:图像预处理电路、控制模块电路、神经网络加速电路和立体匹配加速电路;
所述控制模块电路用于根据控制参数和/或程序指令分别向所述图像预处理电路、所述神经网络加速电路和所述立体匹配加速电路提供对应的控制信号;
所述图像预处理电路用于根据所述控制模块电路提供的控制信号,获取待处理图像数据,并根据预设的图像校正参数对所述待处理图像数据进行校正处理,以及将校正处理后的所述待处理图像数据向所述神经网络加速电路和所述立体匹配加速电路输出;
所述神经网络加速电路用于根据所述控制模块电路提供的控制信号和所述图像预处理电路输出的待处理图像数据,获取至少一路图像数据,并根据预设的卷积核对所述至少一路图像数据进行卷积运算后输出图像特征数据;
所述立体匹配加速电路用于根据所述控制模块电路提供的控制信号和所述图像预处理电路输出的待处理图像数据,获取参考图像和目标图像,并根据预设的匹配指令对所述参考图像和所述目标图像进行双目立体匹配。
本公开实施例还提供一种三维成像装置,包括:上述任意一项所述的图像处理器和相机模组;所述相机模组用于在所述图像处理器的控制下,对待识别目标采集目标图像;
所述图像处理器用于对所述目标图像进行图像处理,以获取所述待识别目标对应的图像特征数据和双目立体匹配结果作为三维成像数据。
本公开实施例还提供一种三维成像电子设备,包括:上述任意一项所述的图像处理器和处理***;
所述图像处理器用于对待识别目标的图像进行处理,并输出所述待识别目标对应的三维成像数据;
所述处理***用于对所述三维成像数据进行处理,以对所述待识别目标进行三维视觉应用。
本公开实施例还提供一种三维成像电子设备,包括:上述任意一项所述的三维成像装置和处理***;
所述三维成像装置用于对待识别目标进行图像采集,并输出所述待识别目标对应的三维成像数据;
所述处理***用于对所述三维成像数据进行处理,以对所述待识别目标进行三维视觉应用。
与现有技术相比,本实用新型能够达到的有益效果至少包括:
采用图像处理器可使现有智能设备支持双目、双目/单目结构光等3D视觉输入,不仅深度分辨率高、成本低、易于集成,同时采用基于异构计算的加速图像处理结构可实现3D视觉信息的实时计算获取,因而可作为内置AI加速器模块实现3D数据获取、目标识别、障碍物识别等AI应用场景中的3D视觉处理。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本实用新型实施例提供的一种图像处理器的结构示意图。
图2是本实用新型实施例提供的一种三维成像装置的结构示意图。
图3是本实用新型实施例提供的一种三维成像装置中相机模组的结构示意图。
图4是本实用新型实施例提供的一种三维成像电子设备的结构示意图。
图5是本实用新型实施例提供的一种三维成像电子设备的结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本申请的基本构想,图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
目前,3D成像方案的复杂度、成本、性能等诸多因素限制,即使现有智能电子设备,如智能手机、智能门锁、人脸识别支付装置等可内置3D视觉技术的智能设备,通常受到结构、处理算力等限制因素,3D成像应用场景中,3D成像应用仍无法实现小型化、低成本、高性能等优点。因此,作为人工智能非常重要的一环—3D视觉输入技术,仍无法推广并普及到人们生活中常用的智能电子设备中,无法让人们体验3D视觉应用。
基于此,本公开实施例提供一种用于三维成像处理的图像处理器,用于对输入图像数据进行处理,并可将处理所获得的三维成像数据向其他设备提供,以使其他设备通过简单改进设计,比如在现有智能电子设备中采用该图像处理器,可以在支持3D视觉应用的同时,还能具有产品结构紧凑、体积小型化、成本低、3D性能高、3D体验感好等优点。
参考图1,本公开实施例提供的一种图像处理器中,可包括:图像预处理电路、控制模块电路、神经网络加速电路和立体匹配加速电路。
实施中,控制模块电路可用于根据控制参数和/或程序指令分别向图像预处理电路、神经网络加速电路和立体匹配加速电路提供对应的控制信号。
需要说明的是,这里的控制参数可为图像处理器上电后加载及运行中所需的各类数据,比如初始化数据、配置数据等,程序指令可为控制模块电路加载及运行中所需要的各类指令,比如初始化指令、生成控制信号的指令等,以便于图像处理器在上电后,该图像处理器内的各个功能模块,比如控制模块电路、图像预处理电路、神经网络加速电路、立体匹配加速电路等,能够完成上电后的工作准备及工作中各类控制。还有,控制信号可为根据各个功能模块的配置需要而生成,比如针对图像预处理模块,可生成用于控制所连接的外部相机的控制信号以便图像处理器通过控制外部相机完成图像采集任务,这里不一一列举。
图像预处理电路可用于根据控制模块电路提供的控制信号,获取待处理图像数据(即图中所示的输入图像),并根据预设的图像校正参数对所述待处理图像数据进行校正处理,以及将校正处理后的所述待处理图像数据向所述神经网络加速电路和所述立体匹配加速电路输出。
具体实施中,可通过时钟同步信号控制外部相机进行同步图像信息采集。还有,还可根据图像校正参数(如相机内参矩阵、增益参数等)对采集输入图像进行校正处理,其中校正处理可包括但不限于:曝光度调整、黑电平校正、畸变校正、颜色校正、滤波、白平衡校正等,从而通过预处理,方便后续图像处理器内的其他模块进行处理。
神经网络加速电路可用于根据控制模块电路提供的控制信号和图像预处理电路输出的待处理图像数据,获取至少一路图像数据,并根据预设的卷积核对所述至少一路图像数据进行卷积运算后输出图像特征数据。
具体实施中,所述至少一路图像数据为针对待识别目标进行识别处理所需的至少一路图像数据。因此,神经网络加速电路所获取的所述至少一路图像数据,可为图像预处理电路经预处理后输出图像数据中的至少一路图像数据,比如外部输入图像数据为双目相机采集的双目图像,这时所述至少一路图像数据可为该双目图像中的至少一路图像数据。当然,所述至少一路图像数据还可以为从其他途径获取的图像数据,比如从存储器获取的图像数据。
具体实施中,卷积核可为针对图像处理的需要而预设的卷积核,比如可采用1×1卷积核、3×3卷积核等,这里不展开说明。
采用神经网络加速电路后,可对图像特征提取的卷积进行并行处理,快速获得图像特征数据,从而图像处理器可将该图像特征数据作为三维成像数据使用,可提高图像处理器的图像处理效率和性能。
立体匹配加速电路可用于根据控制模块电路提供的控制信号和图像预处理电路输出的待处理图像数据,获取参考图像和目标图像,并根据预设的匹配指令对所述参考图像和所述目标图像进行双目立体匹配。
目前,3D视觉通常可基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,比如将双目图像中的一路图像作为参考图像,而另一路图像作为目标图像,从而通过计算两幅图像对应点间的位置偏差,来获取目标物体对应的三维几何信息,因而可通过双目立体匹配获得三维信息。因此,通过立体匹配加速电路进行双目立体匹配,图像处理器可将双目立体匹配结果作为三维成像数据对外提供,可有效提高图像处理器的处理效率和性能。
需要说明的是,神经网络加速电路可为用于进行卷积处理的现有神经网络电路,立体匹配加速电路可为用于进行立体匹配的现有立体匹配电路,这里不展开说明。
本公开实施例通过采用基于异构计算的加速图像处理结构,可在图像处理器中采用神经网络加速电路、立体匹配加速电路等对图像处理进行异构计算处理,可通过不同尺度加速运算,快速获得3D视觉处理所需的数据(比如图像特征数据、双目立体匹配结果等),可实现3D视觉信息的实时计算获取,为 3D视觉提供快捷、准确的数据。这样,图像处理器可作为内置AI加速器模块,方便现有智能设备实现目标识别、障碍物识别等AI应用场景中的3D视觉处理。
在一些实施方式中,本公开实施例提供的图像处理器中还可包括存储器 (如图中所示的内部存储器),通过内部存储器可为图像处理器中的各个功能模块电路提供对应的程序指令和/或数据,以使各功能模块电路可以对图像处理进行操作。
具体实施中,存储器可存储图像处理器在加载及运行中所需的配置信息和 /或指令信息,比如上电中所需的初始化配置信息、上电后各个功能模块电路的工作状态配置的配置信息、各个功能模块电路在处理中所需的配置信息、各类控制指令等。
这时,控制模块电路可从存储器中获取所述配置信息或指令信息,以进一步获得针对各个功能模块电路进行控制所需的所述控制参数、程序指令。
采用存储器后,可预设图像处理器工作所需的各种配置信息、指令信息,不仅可提高图像处理器获取配置信息的效率,还能提高图像处理器的灵活性,从而图像处理器可作为独立部件,可灵活应用到现有智能电子设备中,以降低现有智能电子设备支持3D视觉中所做改进的难度和复杂度,便于3D视觉应用在现有智能电子设备中的推广应用。
在一些实施方式中,本公开实施例提供的图像处理器中,可将图像处理器的工作模式和/或工作任务阶段等预设在存储器保存的配置信息中。
例如,在图像处理器的一种工作方式中,该存储器中还可存储目标物体对应的图像特征向量模板数据,该数据可用于与当前相机获取的目标图像数据在经神经网络加速电路处理后获得的图像特征数据进行比对,从而可实现目标认证(如人脸识别、商品识别等)。
这时,在该图像处理器中,所述至少一路图像数据可包括第一图像数据,其中第一图像数据可为外部相机针对目标物体采集的图像,也可为已在存储器中存储的目标物体待识别的图像数据,存储器中存储的配置信息包括所述第一图像数据对应的特征向量模板数据,控制模块电路将所述特征向量模板数据与所述第一图像数据在经神经网络加速电路处理后获得的图像特征数据进行比对,从而根据比对结果图像处理器可输出认证结果。
例如,在图像处理器的一种工作方式中,该存储器中还可存储有图像处理器的配置信息,这时图像处理器可根据该配置信息,进入到不同工作模式和/ 或不同工作任务阶段状态中,以实现对应的图像处理操作。
比如,在当前工作模式中或当前任务阶段,只需要图像处理器获取3D信息,而不需要进行识别,这时可对如神经网络加速电路等功能模块电路的电源或时钟门控进行控制,以降低功耗。
在一些实施方式中,本公开实施例提供的图像处理器中,可将图像处理器所需的相机控制参数和/或图像校正参数等预设在存储器保存的配置信息中,这时图像预处理电路可通过调用这些控制参数和/或图像校正参数实现对外部相机的控制、对输入图像进行预处理等。
具体实施中,存储器中存储的配置信息可包括相机配置信息,所述相机配置信息用于所述控制模块电路产生控制信号以对与所述图像处理器连接的外部相机进行控制,这时图像预处理电路还可根据控制模块电路提供的控制信号对所述外部相机进行控制,比如外部相机的上电、图像采集等控制。
在一些实施方式中,本公开实施例提供的图像处理器中,还可将图像处理器所支持的采集设备参数等预设在存储器保存的配置信息中,以及还可在存储器中保存有场景相关的数据(比如特征模板),这时图像处理器可通过调用这些配置信息和场景数据来支持实际场景下的3D视觉。
例如,图像处理器可工作在支持单目结构光的工作模式中,这时存储器中可存储有不同深度距离条件下的结构光模板数据。
具体实施中,可将本公开实施例提供的图像处理器用于与支持单目结构光的外部相机连接,这时图像处理器可通过所述相机配置信息,确定出连接的外部相机为支持基于结构光原理采集的单目相机,立体匹配加速电路获取的参考图像可为所述外部相机采集的图像,立体匹配加速电路获取的目标图像可为存储在存储器(即存储器中的存储单元)中不同深度距离下的散斑图像,从而可基于存储器中的结构光模板数据完成双目立体匹配计算。
例如,图像处理器可工作在支持双目结构光的工作模式中,这时存储器中还可存储有不同深度距离条件下的结构光模板数据。
具体实施中,可将本公开实施例提供的图像处理器用于与支持双目结构光的外部相机连接,这时通过所述相机配置信息确定所述外部相机为支持基于结构光原理采集的双目相机时,立体匹配加速电路获取的参考图像可为所述外部相机采集的任一视角的图像,立体匹配加速电路获取的目标图像可为存储在存储器(即存储器中的存储单元)中不同深度距离下的散斑图像,从而可基于存储器中的结构光模板数据完成双目立体匹配计算。
例如,图像处理器可工作在支持双目相机(如RGB双目)的工作中。
具体实施中,可将本公开实施例提供的图像处理器用于与外部双目相机连接,这时通过所述相机配置信息确定所述外部相机为双目相机时,立体匹配加速电路获取的参考图像为双目相机采集的双目图像中一个视角的图像,获取的目标图像为双目相机采集的双目图像中另一个视角的图像。
需要说明的是,图像处理器工作所加载的前述数据(如配置信息、特征模板等信息),不仅可从前述内部存储器中获取,也可从外部获取,前述说明是以存储于内部存储器为例进行了说明。
在一些实施方式中,本公开实施例提供的图像处理器中,该图像处理器还可包括:接口电路,用于图像处理器与外部的其他设备进行连接。
在一些实施方式中,本公开实施例提供的图像处理器中,该图像处理器还可包括:内部总线,用于图像处理器中各功能电路之间的通信传输,比如图像预处理电路、所述控制模块电路、所述神经网络加速电路和所述立体匹配加速电路之间数据连接。
基于相同发明构思,本公开实施例提供一种三维成像装置,该三维成像装置可包括:前述任意一项实施例中所公开的图像处理器和相机模组。
通过采用基于异构计算结构的图像处理器,三维成像装置不仅具有深度分辨率高、成本低、易于集成等优点,还可支持双目、单目/双目结构光的3D视觉应用。
参考图2,相机模组可在图像处理器的控制下,对待识别目标物体进行目标图像的采集;图像处理器可用于对采集的目标图像进行图像处理,获取所述待识别目标对应的图像特征数据和双目立体匹配结果,从而可将图像特征数据和双目立体匹配结果作为三维成像数据输出,方便现有智能电子设备采用图像处理器输出的三维成像数据进行3D视觉应用。
在一些实施方式中,本公开实施例提供的三维成像装置中,该三维成像装置还可包括存储设备(即图中所示的外部存储器),该存储设备可用于存储所述三维成像数据。还有,该存储设备还可用于存储图像处理器、外部相机模组等设备运行工作中所需的程序指令和/或数据。
在一些实施方式中,本公开实施例提供的三维成像装置中,相机模组可包括双目RGB/红外采集***、单目结构光采集***和双目结构光采集***之中任意一种采集***。
在一些实施方式中,本公开实施例提供的三维成像装置中,可采用柔性排线实现相机模组与图像处理器之间的连接,方便相机模组和图像处理器在实际应用中的连接。
在一些实施方式中,本公开实施例提供的三维成像装置中,如图2中所示,相机模组中可采用一对相机组件801作为采集图像的相机,并可将相机组件设置于同一平面及基线上,使得相机模组在出厂后可灵活地在应用现场进行安装使用。
在一些实施方式中,可根据实际应用场景的需要,采用如红外相机或RGB 相机作为相机组件。
在一些实施方式中,本公开实施例提供的三维成像装置中,如图2中所示,相机模组还包括用于发射光线的发光器802。
进一步,相机组件801及发光器802可安装于同一个相机PCB电路板803 中。
进一步,可根据实际应用场景的需要,采用如泛可见光单元、泛红外单元、结构光单元、ToF激光单元之中的至少一种单元作为发光器。
在一些实施方式中,本公开实施例提供的三维成像装置中,相机模组可采用功能独立、封装完整的模块化模组。
参考图3,模块化的相机模组中包括壳体、相机组件920、发光器930、 PCB电路板940等,该壳体可包括第一壳体和第二壳体,如图中所示,第一壳体标识为上壳体911,第二壳体标识为下壳体912,
其中,上壳体911的顶部设置有相机组件920的光线通过的通孔9112,还可设置有发光器930光线通过的通孔;相机组件920、发光器930可安装于 PCB电路板940中;上壳体911的底部与下壳体912配合固定;PCB电路板 940可内置于上壳体11与下壳体912配合固定后的壳体内。
可选地,下壳体912在短边方向的两侧设置有固定孔9122,以便于将相机模组安装使用。实施中可根据实际需要设置固定孔9122的尺寸,这里不作限定。
可选地,上壳体911在长边方向设置有凸起卡扣9111,下壳体912在长边方向设置有所述凸起卡扣9111对应的凹陷9121,以通过所述凸起卡扣与所述凹陷进行配合固定。
可选地,可通过扭转凸起卡扣9111与凹陷9121配合实现上壳体911与下壳体912进行紧固。
可选地,PCB电路板940与下壳体912之间可设置有导热介质,避免相机PCB电路板中的发热器件(比如相机组件、发光器等)产生的热量,因相机PCB电路板与下壳体之间未紧密贴合而使得热量不能良好散发,影响相机模组的可靠性、安全性。
可选地,还可在通孔9112与相机组件920之间设置有密封介质,其中密封介质可采用如橡胶密封垫、密封胶等。
还有,可在上壳体911与下壳体912之间四周连接处设置有密封介质,进一步提高相机模组模块化后的环境适应性。
可选地,可采用柔性线排950在相机模块与图像处理器之间进行互连。还有,可在上壳体911的周测设置有用于柔性排线950通过的出线通孔。
基于相同发明构思,本公开实施例提供一种三维成像电子设备。
参考图4,3D视觉应用的电子设备中可包括:3D视觉应用处理***和如前述任意一实施例公开的图像处理器。其中,图像处理器可用于对待识别目标的图像数据进行处理,并输出所述待识别目标对应的三维成像数据(如图像特征数据、双目立体匹配结果等);处理***用于对所述三维成像数据进行处理,以对所述待识别目标进行三维视觉应用。
通过采用图像处理器,可对现有智能电子设备简单的改进设计,就能实现低成本、高性能的3D视觉应用,降低了3D视觉应用推广难度,提高了3D 视觉应用在现有智能电子设备中的应用灵活性。
基于相同总发明构思,本公开实施例提供一种三维成像电子设备。
参考图5,3D视觉应用的电子设备中可包括:3D视觉应用处理***和如前述任意一实施例公开的三维成像装置。其中,三维成像装置可用于对待识别目标进行图像采集和处理,并输出所述待识别目标对应的三维成像数据(如图像特征数据、双目立体匹配结果等);处理***用于对所述三维成像数据进行处理,以对所述待识别目标进行三维视觉应用。
通过采用三维成像装置,可对现有智能电子设备简单的改进设计,就能实现低成本、高性能的3D视觉应用,降低了3D视觉应用推广难度,提高了3D 视觉应用在现有智能电子设备中的应用灵活性,有利于3D视觉应用的推广。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (22)

1.一种图像处理器,其特征在于,包括:图像预处理电路、控制模块电路、神经网络加速电路和立体匹配加速电路;
所述控制模块电路用于根据控制参数和/或程序指令分别向所述图像预处理电路、所述神经网络加速电路和所述立体匹配加速电路提供对应的控制信号;
所述图像预处理电路用于根据所述控制模块电路提供的控制信号,获取待处理图像数据,并根据预设的图像校正参数对所述待处理图像数据进行校正处理,以及将校正处理后的所述待处理图像数据向所述神经网络加速电路和所述立体匹配加速电路输出;
所述神经网络加速电路用于根据所述控制模块电路提供的控制信号和所述图像预处理电路输出的待处理图像数据,获取至少一路图像数据,并根据预设的卷积核对所述至少一路图像数据进行卷积运算后输出图像特征数据;
所述立体匹配加速电路用于根据所述控制模块电路提供的控制信号和所述图像预处理电路输出的待处理图像数据,获取参考图像和目标图像,并根据预设的匹配指令对所述参考图像和所述目标图像进行双目立体匹配。
2.根据权利要求1所述的图像处理器,其特征在于,所述图像处理器还包括:
存储器,用于存储所述图像处理器在加载中所需的配置信息和/或指令信息;
所述控制模块电路还用于从所述存储器中获取所述配置信息和/或指令信息以获得所述控制参数或程序指令。
3.根据权利要求2所述的图像处理器,其特征在于,所述至少一路图像数据包括第一图像数据,所述存储器中存储的配置信息包括所述第一图像数据对应的特征向量模板数据;
所述控制模块电路还用于将所述特征向量模板数据与所述第一图像数据经所述神经网络加速电路处理后获得的图像特征数据进行比对。
4.根据权利要求2所述的图像处理器,其特征在于,所述存储器中存储的配置信息包括相机配置信息,所述相机配置信息用于所述控制模块电路产生控制信号以对与所述图像处理器连接的外部相机进行控制;
所述图像预处理电路还用于根据所述控制模块电路提供的控制信号对所述外部相机的图像数据进行校正预处理。
5.根据权利要求4所述的图像处理器,其特征在于,当通过所述相机配置信息确定所述外部相机为基于结构光采集的相机时,所述立体匹配加速电路获取的参考图像为所述外部相机采集的图像,所述立体匹配加速电路获取的目标图像为存储在所述存储器中不同深度距离下的散斑图像;
或者,当通过所述相机配置信息确定所述外部相机为双目相机时,所述立体匹配加速电路获取的参考图像为所述双目相机采集的双目图像中一个视角的图像,所述立体匹配加速电路获取的目标图像为所述双目相机采集的双目图像中另一个视角的图像。
6.根据权利要求1所述的图像处理器,其特征在于,所述图像处理器还包括:
接口电路,用于所述图像处理器与外部设备连接;
和/或,内部总线,用于所述图像预处理电路、所述控制模块电路、所述神经网络加速电路和所述立体匹配加速电路之间数据连接。
7.一种三维成像装置,其特征在于,包括:如权利要求1-6中任意一项所述的图像处理器和相机模组;
所述相机模组用于在所述图像处理器的控制下,对待识别目标采集目标图像;
所述图像处理器用于对所述目标图像进行图像处理,以获取所述待识别目标对应的图像特征数据和双目立体匹配结果作为三维成像数据。
8.根据权利要求7所述的三维成像装置,其特征在于,所述三维成像装置还包括:存储设备,用于存储所述三维成像数据。
9.根据权利要求7所述的三维成像装置,其特征在于,所述相机模组包括双目RGB/红外采集***、单目结构光采集***和双目结构光采集***之中任意一种采集***。
10.根据权利要求7所述的三维成像装置,其特征在于,所述三维成像装置还包括:用于所述相机模组与所述图像处理器之间连接的柔性排线。
11.根据权利要求7所述的三维成像装置,其特征在于,所述相机模组包括:设置于同一平面及基线的、用于采集图像的一对相机组件。
12.根据权利要求11所述的三维成像装置,其特征在于,所述相机模组还包括:用于发射光线的发光器。
13.根据权利要求12所述的三维成像装置,其特征在于,所述发光器包括泛可见光单元、泛红外单元、结构光单元、ToF激光单元之中的至少一种单元。
14.根据权利要求11所述的三维成像装置,其特征在于,所述相机组件包括红外相机或RGB相机。
15.根据权利要求11所述的三维成像装置,其特征在于,所述相机模组还包括:PCB电路板和壳体,所述壳体包括第一壳体和第二壳体,所述第一壳体的顶部设置有所述相机组件的光线通过的通孔;
所述相机组件安装于所述PCB电路板;
所述第一壳体的底部与所述第二壳体配合固定;
所述PCB电路板内置于所述第一壳体与所述第二壳体配合固定后的所述壳体内。
16.根据权利要求15所述的三维成像装置,其特征在于,所述第二壳体在短边方向的两侧设置有固定孔。
17.根据权利要求15所述的三维成像装置,其特征在于,所述第一壳体在长边方向设置有凸起卡扣,所述第二壳体在长边方向设置有所述凸起卡扣对应的凹陷,以通过所述凸起卡扣与所述凹陷进行配合固定。
18.根据权利要求15所述的三维成像装置,其特征在于,所述PCB电路板与所述第二壳体之间设置有导热介质。
19.根据权利要求15所述的三维成像装置,其特征在于,所述通孔与所述相机组件之间设置有密封介质。
20.根据权利要求15所述的三维成像装置,其特征在于,所述第一壳体的周测设置有用于柔性排线通过的出线通孔。
21.一种三维成像电子设备,其特征在于,包括:如权利要求1-6之中任意一项所述的图像处理器和处理***;
所述图像处理器用于对待识别目标的图像进行处理,并输出所述待识别目标对应的三维成像数据;
所述处理***用于对所述三维成像数据进行处理,以对所述待识别目标进行三维视觉应用。
22.一种三维成像电子设备,其特征在于,包括:如权利要求7-20之中任意一项所述的三维成像装置和处理***;
所述三维成像装置用于对待识别目标进行图像采集,并输出所述待识别目标对应的三维成像数据;
所述处理***用于对所述三维成像数据进行处理,以对所述待识别目标进行三维视觉应用。
CN202120623718.1U 2021-03-26 2021-03-26 一种图像处理器、三维成像装置及电子设备 Active CN214587005U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202120623718.1U CN214587005U (zh) 2021-03-26 2021-03-26 一种图像处理器、三维成像装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202120623718.1U CN214587005U (zh) 2021-03-26 2021-03-26 一种图像处理器、三维成像装置及电子设备

Publications (1)

Publication Number Publication Date
CN214587005U true CN214587005U (zh) 2021-11-02

Family

ID=78355920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202120623718.1U Active CN214587005U (zh) 2021-03-26 2021-03-26 一种图像处理器、三维成像装置及电子设备

Country Status (1)

Country Link
CN (1) CN214587005U (zh)

Similar Documents

Publication Publication Date Title
US11516455B2 (en) Electronic device and method for controlling the same
CN106817794A (zh) Tof电路模块及其应用
CN110099226B (zh) 阵列摄像模组及其深度信息采集方法和电子设备
CN113329219B (zh) 多输出参数可动态配置深度相机
WO2023284715A1 (zh) 一种物体重建方法以及相关设备
CN115526983B (zh) 一种三维重建方法及相关设备
CN112153306A (zh) 图像采集***、方法、装置、电子设备及可穿戴设备
EP4231629A1 (en) Electronic device for editing video by using object of interest, and operating method therefor
CN214587005U (zh) 一种图像处理器、三维成像装置及电子设备
CN210867879U (zh) 人脸识别模组及智能门锁
CN109389631B (zh) 深度计算***与方法
US20230007160A1 (en) Photographing method of electronic apparatus and electronic apparatus thereof
CN108696698B (zh) 摄像装置、电子设备及获取图像方法
CN215376329U (zh) 3d与2d多模人脸成像模块及电子设备
CN210694195U (zh) 一种集成3d成像装置及电子设备
CN113052884A (zh) 信息处理方法、信息处理装置、存储介质与电子设备
CN218830162U (zh) 一种成像装置及终端设备
CN220894916U (zh) 一种深度成像***
CN220893369U (zh) 一种算力盒和深度成像***
CN220022907U (zh) 光学动作捕捉镜头
CN210864758U (zh) 人脸识别模组及智能门锁
CN220754944U (zh) 摄像头及电子设备
CN217643549U (zh) 一种长基线深度摄像模组及电子设备
CN218006385U (zh) 一种光程差一致的高动态范围成像装置
CN212936030U (zh) 一种多摄像头组合拍摄减少反光和扩大视野的影像拍摄***

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant