CN112653881B - 3d图像自调整方法及***和3d图像深度处理方法及*** - Google Patents

3d图像自调整方法及***和3d图像深度处理方法及*** Download PDF

Info

Publication number
CN112653881B
CN112653881B CN202011018176.1A CN202011018176A CN112653881B CN 112653881 B CN112653881 B CN 112653881B CN 202011018176 A CN202011018176 A CN 202011018176A CN 112653881 B CN112653881 B CN 112653881B
Authority
CN
China
Prior art keywords
image
depth
processing module
signal processing
ram1
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011018176.1A
Other languages
English (en)
Other versions
CN112653881A (zh
Inventor
郭志
庄文福
杨国星
伍拂宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fuge Technology Co ltd
Original Assignee
Shenzhen Fuge Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fuge Technology Co ltd filed Critical Shenzhen Fuge Technology Co ltd
Priority to CN202011018176.1A priority Critical patent/CN112653881B/zh
Publication of CN112653881A publication Critical patent/CN112653881A/zh
Application granted granted Critical
Publication of CN112653881B publication Critical patent/CN112653881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种3D图像自调整方法及***和3D图像深度处理方法和***，包括驱动电路、垂直腔面发射激光器、TOF传感器、DMA控制器、RAM1和图像信号处理模块，所述驱动电路与垂直腔面发射激光器连接，驱动垂直腔面发射激光器将光投射至被拍摄物体上；所述TOF传感器采集被拍摄物体的3D图像通过AHB***总线，利用DMA控制器将3D图像搬移至RAM1内，所述图像信号处理模块根据RAM1内的3D图像进行统计分析，并计算出3D图像的质量，根据图像清晰度指标调整TOF传感器的参数或驱动电路的功率。本发明可以采集符合标准的3D图像数据，可以避免对主控CPU产生依赖，避免高性能CPU带来的高功耗和高成本。

Description

3D图像自调整方法及***和3D图像深度处理方法及***
技术领域
本发明涉及一种3D图像自调整方法及***和3D图像深度处理方法和***，属于3D图像处理技术领域。
背景技术
现有3D TOF模组都是将采集到的原始图像数据直接传输给主控CPU来进行处理，由于3D数据尤其是TOF的原始数据量比较大，这不仅需要主控CPU能够快速接收数据，同时还需要主控CPU在快速分析TOF原始数据后，再发命令动态调整3D TOF模组的发射功率等参数，因此这种图像数据处理方法对主控CPU的性能要求很高，在以手机为例的高性能主控的应用场景下问题不大，同时，CPU的高性能要求带来功耗增加，成本增大。
发明内容
本发明为了克服现有技术存在的不足，提供一种3D图像自调整方法及***和3D图像深度处理方法和***。
本发明可以通过采取以下技术方案予以实现：
一种3D图像自调整方法，包括以下步骤：
S1、将光投放至被拍摄物上，对被拍摄物进行图像采集形成3D图像并进行存储；
S2、对3D图像进行统计分析，计算出3D图像的质量，图像信号处理模块根据图像清晰度指标调整光的强度及采集参数。
优选的是，所述的3D图像自调整方法还包括以下步骤：
S3、根据实时环境温度对光的强度和采集参数进行温漂补偿。
一种3D图像自调整***，包括驱动电路、垂直腔面发射激光器、TOF传感器、DMA控制器、RAM1和图像信号处理模块，
所述驱动电路与垂直腔面发射激光器连接，驱动垂直腔面发射激光器将光投射至被拍摄物体上；
所述TOF传感器采集被拍摄物体的3D图像通过AHB***总线，利用DMA控制器将3D图像搬移至RAM1内，
所述图像信号处理模块根据RAM1内的3D图像进行统计分析，并计算出3D图像的质量，根据图像清晰度指标调整TOF传感器的参数或驱动电路的功率。
优选的是，所述3D图像自调整***还包括温度传感器，所述温度传感器与所述图像信号处理模块连接，将实时环境温度传送到图像信号处理模块，图像信号处理模块根据实时环境温度对发射光光器和TOF传感器进行温漂补偿。
一种3D图像深度处理方法，包括以下步骤：
S1、将光投放至被拍摄物上，对被拍摄物进行图像采集形成3D图像并进行存储；
S2、对3D图像进行统计分析，计算出3D图像的质量，图像信号处理模块根据图像清晰度指标调整光的强度及采集参数。
S3、利用算法加速器对3D图像进行深度计算得到深度数据，还原出红外图像并进行存储。
优选的是，在所述步骤S2中，根据实时环境温度对光的强度和采集参数进行温漂补偿。
一种3D图像深度处理***，包括上述的3D图像自调整***，以及深度算法计算装置，所述深度算法计算装置包括CPU Core、算法加速器和RAM2，所述算法加速器和所述RAM2通过AHB***总线与所述CPU Core电连接，所述图像信息处理模块与所述CPU Core电连接，所述CPU Core控制算法加速器对RAM1的3D图像进行深度计算得到深度数据，还原出红外图像并存储到RAM2中。
优选的是，所述算法加速器包括三角函数加速器、卷积加速器和汉明距加速引擎。
与现有技术相比较，本发明的有益效果是：本发明利用图像信号处理模块对TOF传感器采集的3D图像进行分析统计，根据图像清晰度指标调整TOF传感器的参数或驱动电路的功率，一方面可以采集符合标准的3D图像数据，另一方面可以避免对主控CPU产生依赖，避免高性能CPU带来的高功耗和高成本；另外，利用CPU Core控制算法加速器对3D图像进行深度算法计算得到深度数据，避免算法对CPU主频的依赖，有效降低了CPU的使用门槛，减少CPU功耗和降低整个***的成本。
附图说明
图1是本发明的3D图像深度处理***的结构框图；
图2是本发明的3D图像深度处理***的工作流程图。
具体实施方式
以下结合附图对本发明的具体实施方式作详细描述。
实施例1
如图1、图2所示，本实施例的3D图像自调整***包括驱动电路1、垂直腔面发射激光器(VSCEL)2、TOF传感器3、DMA控制器4、RAM1 5和图像信号处理模块(ISP)6；所述驱动电路1与垂直腔面发射激光器2连接，驱动垂直腔面发射激光器2将光投射至被拍摄物体上；所述TOF传感器3采集被拍摄物体的3D图像通过AHB***总线，利用DMA控制器4将3D图像搬移至RAM1 5内；所述图像信号处理模块6根据RAM1 5内的3D图像进行统计分析，并计算出3D图像的质量，根据图像清晰度指标调整TOF传感器3的参数或驱动电路1的功率。所述3D图像自调整***还包括温度传感器7，所述温度传感器7与所述图像信号处理模块6连接，将实时环境温度传送到图像信号处理模块6，图像信号处理模块6根据实时环境温度对垂直腔面发射激光器2和TOF传感器3进行温漂补偿。其中，TOF传感器3选择320pixel*240pixel及以上面阵；垂直腔面发射激光器2选择940nm波长，发散角度选择72°x55°，3W及以上功率；驱动电路、DMA控制器、RAM1和图像信号处理模块等采用常用部件。
该3D图像自调整***的工作过程如下：
1、垂直腔面发射激光器将光投放至被拍摄物上，TOF传感器对被拍摄物进行图像采集形成3D图像通过AHB***总线，利用DMA控制器将3D图像搬移至RAM1内；
2、图像信号处理模块对3D图像进行统计分析，计算出3D图像的质量，根据图像清晰度指标调整光的强度及采集参数。
在此过程，根据温度传感器采集的实时环境温度，图像信号处理模块根据实时环境温度对垂直腔面发射激光器的光强度和TOF传感器的采集参数进行温漂补偿。
实施例2
在实施例1的基础上，实施例2的3D图像深度处理***包括上述的3D图像自调整***，以及深度算法计算装置，所述深度算法计算装置包括CPU Core 8、算法加速器9和RAM210，所述算法加速器9和所述RAM2 10通过AHB***总线与所述CPU Core 8电连接，所述图像信息处理模块6与所述CPU Core 8电连接，CPU Core 8控制图像信息处理模块6的工作；所述CPU Core 8控制算法加速器9对RAM1 5的3D图像进行深度算法计算得到深度数据，还原出红外图像并存储到RAM2 10中。
其中，CPU Core 8采用较低功率的常用芯片内核，其辅助控制电路的SCM时钟发生器采用内置环振设计，以达到***最小化***器件的目的。SCM时钟发生器，时钟发生单元主要由模拟电路组成，其产生的时钟用于提供***和外设工作。时钟发生单元集成了1个内部振荡器和1个锁相环，内部振荡器分别为高频高精度环振HFROSC，1个锁相环可以挂接12MHz的外部晶体振荡器。高频高精度环振HFROSC主要用作***和外设工作的主时钟源，输出频率标称值为四级，分别为12MHz、48MHz、96MHz和144MHz；每级频率下都可进行校准，校准值通过在Wafer测试阶段给出，并记录在内嵌OTP校准域中，在上电引导时将校准值写入校准寄存器。HFROSC经过工厂校准后，精度达到±1.5％，并可通过集成的环振自动校准单元对其进行动态校准，以满足更高的时钟精度要求。外部12MHz的晶体振荡器用于产生精确的12MHz时钟用于***和外设工作，也可以作为环振自动校准单元的参考时钟，对高频高精度环振HFROSC进行校准。CPU的外设单元主要包含MIPI CSI-2发送和接收，包含通用的CVP、SPI、I2C、UART、GPIO等接口***，***从ROM中启动后，通过外部AP加载算法程序并运行，优选的预留SQI接口，可通过外部串行flash存储算法程序并运行。算法加速器优选的以三角函数加速器、卷积加速器和汉明距加速引擎为主，设计对应的汇编指令，针对深度算法进行优化，将其中大量的卷积运算通过汇编指令高速调用执行。卷积加速器，对图像处理算法中的卷积运算提供硬件加速处理能力，可支持二维卷积和一维卷积两种模式，其中对于一维卷积可支持横向、纵向两个方向的卷积运算。
该3D图像深度处理***的工作过程如下：
1、垂直腔面发射激光器将光投放至被拍摄物上，TOF传感器对被拍摄物进行图像采集形成3D图像通过AHB***总线，利用DMA控制器将3D图像搬移至RAM1内；
2、图像信号处理模块对3D图像进行统计分析，计算出3D图像的质量，根据图像清晰度指标调整光的强度及采集参数。
在此过程，根据温度传感器采集的实时环境温度，图像信号处理模块根据实时环境温度对垂直腔面发射激光器的光强度和TOF传感器的采集参数进行温漂补偿；
3、CPU控制算法加速器对RAM1的3D图像进行深度算法计算得到深度数据，还原出红外图像并存储到RAM2中。
以上结合较佳实施例对本发明进行了描述，但本发明并不局限于以上揭示的实施例，而应当涵盖各种根据本发明的本质进行的修改、等效组合。

Claims (5)

1.一种3D图像深度处理方法，其特征在于：包括以下步骤：
S1、将光投放至被拍摄物上，对被拍摄物进行图像采集形成3D图像并进行存储；
S2、对3D图像进行统计分析，计算出3D图像的质量，图像信号处理模块根据图像清晰度指标调整光的强度及采集参数；
S3、利用算法加速器对3D图像进行深度计算得到深度数据，还原出红外图像并进行存储。
2.根据权利要求1所述的3D图像深度处理方法，其特征在于：在所述步骤S2中，根据实时环境温度对光的强度和采集参数进行温漂补偿。
3.一种3D图像深度处理***，其特征在于：包括3D图像自调整***、以及深度算法计算装置，所述3D图像自调整***包括驱动电路、垂直腔面发射激光器、TOF传感器、DMA控制器、RAM1和图像信号处理模块，所述驱动电路与垂直腔面发射激光器连接，驱动垂直腔面发射激光器将光投射至被拍摄物体上；所述TOF传感器采集被拍摄物体的3D图像，通过AHB***总线，利用DMA控制器将3D图像搬移至RAM1内，所述图像信号处理模块根据RAM1内的3D图像进行统计分析，并计算出3D图像的质量，根据图像清晰度指标调整TOF传感器的参数或驱动电路的功率；所述深度算法计算装置包括CPU Core、算法加速器和RAM2，所述算法加速器和所述RAM2通过AHB***总线与所述CPU Core电连接，所述图像信号处理模块与所述CPUCore电连接，所述CPU Core控制算法加速器对RAM1的3D图像进行深度计算得到深度数据，还原出红外图像并存储到RAM2中。
4.根据权利要求3所述的3D图像深度处理***，其特征在于：所述3D图像自调整***还包括温度传感器，所述温度传感器与所述图像信号处理模块连接，将实时环境温度传送到图像信号处理模块，图像信号处理模块根据实时环境温度对发射激光器和TOF传感器进行温漂补偿。
5.根据权利要求3或4所述的3D图像深度处理***，其特征在于：所述算法加速器包括三角函数加速器、卷积加速器和汉明距加速引擎。
CN202011018176.1A 2020-09-24 2020-09-24 3d图像自调整方法及***和3d图像深度处理方法及*** Active CN112653881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011018176.1A CN112653881B (zh) 2020-09-24 2020-09-24 3d图像自调整方法及***和3d图像深度处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011018176.1A CN112653881B (zh) 2020-09-24 2020-09-24 3d图像自调整方法及***和3d图像深度处理方法及***

Publications (2)

Publication Number Publication Date
CN112653881A CN112653881A (zh) 2021-04-13
CN112653881B true CN112653881B (zh) 2023-05-09

Family

ID=75346461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011018176.1A Active CN112653881B (zh) 2020-09-24 2020-09-24 3d图像自调整方法及***和3d图像深度处理方法及***

Country Status (1)

Country Link
CN (1) CN112653881B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726247B (zh) * 2008-10-31 2012-10-10 鸿富锦精密工业（深圳）有限公司 光照调节方法及其计算机***
US9857167B2 (en) * 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
TWI676781B (zh) * 2018-08-17 2019-11-11 鑑微科技股份有限公司 三維掃描系統
CN110719454B (zh) * 2019-10-15 2021-09-14 浙江晶鲸科技有限公司 电控红外光发射器自适应驱动装置及驱动方法
CN111352098B (zh) * 2020-02-21 2021-11-19 奥比中光科技集团股份有限公司 一种ToF相机的温漂标定的方法及***
CN111462707B (zh) * 2020-04-27 2021-08-03 北京航空航天大学 一种基于建模补偿的液晶稳功率***温漂抑制方法

Also Published As

Publication number Publication date
CN112653881A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
EP3435655B1 (en) Electronic device for acquiring image using plurality of cameras and method for processing image using the same
EP3422699B1 (en) Camera module and control method
US11887321B2 (en) Three-dimensional scanning image acquisition and processing methods and apparatuses, and three-dimensional scanning device
CN110191266B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US11662471B2 (en) Water vapor observation device and water vapor observation method
KR20100102186A (ko) 뎁스 맵 생성을 이용하는 방법 및 장치
Bai et al. DepthNet: Real-time LiDAR point cloud depth completion for autonomous vehicles
CN107220954B (zh) 一种基于移动终端的3d扫描***
CN109978929B (zh) 深度信息摄像模组的rgb-d图像合成优化***及其方法
CN114627249B (zh) 三维扫描***及三维扫描方法
CN110491316A (zh) 一种投影仪及其投影控制方法
CN113554757A (zh) 基于数字孪生的工件轨迹三维重构方法及***
CN112653881B (zh) 3d图像自调整方法及***和3d图像深度处理方法及***
CN111372005A (zh) Tof摄像模组自动曝光补偿方法及其***
US20190195622A1 (en) Image processing apparatus, image processing system, and program therefor
US20220358678A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
CN115546379A (zh) 一种数据处理方法、装置和计算机设备
CN111368711A (zh) 一种调节显示屏升降的方法及装置
CN109905691A (zh) 深度图像采集装置和深度图像采集***及其图像处理方法
CN103140049B (zh) 一种基于fpga的贴片机快速定位***及方法
CN110609555B (zh) 用于信号控制的方法、装置、电子设备和计算机可读存储介质
KR20200117460A (ko) 전자 장치 및 그의 발열 제어 방법
CN110719454A (zh) 电控红外光发射器自适应驱动装置及驱动方法
KR101923373B1 (ko) 보정체를 이용한 3d 스캐닝 객체 측정 서비스 제공 방법
US11089220B2 (en) Electronic test device, method and computer-readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant