CN110365887B - 成像方法、装置、设备及计算机可读存储介质 - Google Patents

成像方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110365887B
CN110365887B CN201910709581.9A CN201910709581A CN110365887B CN 110365887 B CN110365887 B CN 110365887B CN 201910709581 A CN201910709581 A CN 201910709581A CN 110365887 B CN110365887 B CN 110365887B
Authority
CN
China
Prior art keywords
depth
imaging
image
color image
test point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910709581.9A
Other languages
English (en)
Other versions
CN110365887A (zh
Inventor
丁卫涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN201910709581.9A priority Critical patent/CN110365887B/zh
Publication of CN110365887A publication Critical patent/CN110365887A/zh
Application granted granted Critical
Publication of CN110365887B publication Critical patent/CN110365887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种成像方法、装置、设备及计算机可读存储介质，所述成像方法通过深度模组和摄像模组显示成像，成像方法包括：获取深度模组的测距景深；依据测距景深选取若干测试点，移动摄像模组至若干测试点的其中一点位置，摄像模组置于测试点的位置具有对应的成像清晰的成像景深，若干成像景深范围叠加包括测距景深范围；控制摄像模组于测试点的位置获取彩色图像，以及控制深度模组于测试点的位置获取深度图像；依据彩色图像和深度图像，生成立体彩色图像。本发明技术方案有效解决了景深范围小的摄像模组，无法适用TOF相机的工作景深的问题。

Description

成像方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及深度测距成像技术领域，特别涉及一种成像方法、装置、设备及计算机可读存储介质。
背景技术
TOF(Time of flight，飞行时间测距)，是一种发射光波，然后通过传感器记录接收反射回的光波，通过时间乘以光速计算光脉冲的往返距离，并得出物体的深度信息的技术，TOF相机也称为深度相机。
随着相关技术的发展，TOF技术的应用越来越广泛，例如人脸识别、快递扫描、行车安全、智能机器人和投影触控等领域。目前通过设置摄像模组的景深大于TOF相机的工作景深，保证拍摄得到的图像清晰，但是如此限制了摄像模组的选型范围，对于景深范围小的摄像模组无法适用。
发明内容
本发明的主要目的是提出一种成像方法、装置、设备及计算机可读存储介质，旨在解决景深范围小的摄像模组，无法适用TOF相机的工作景深的问题。
为实现上述目的，本发明提出的一种成像方法，所述成像方法通过深度模组和摄像模组显示成像，所述成像方法包括：
获取所述深度模组的测距景深；
依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，所述摄像模组置于所述测试点的位置具有对应的成像清晰的成像景深，若干所述成像景深范围叠加包括所述测距景深范围；
控制所述摄像模组于所述测试点的位置获取彩色图像，以及控制所述深度模组于所述测试点的位置获取深度图像；
依据所述彩色图像和所述深度图像，生成立体彩色图像。
可选地，所述摄像模组包括成像透镜，所述依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，所述摄像模组置于所述测试点的位置具有对应的成像清晰的成像景深，若干所述成像景深范围叠加包括所述测距景深范围的步骤包括：
依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值。
可选地，若干所述测试点包括具有第一成像景深的第一测试点、具有第二成像景深的第二测试点、具有第三成像景深的第三测试点和具有第四成像景深的第四测试点，所述第一成像景深、所述第二成像景深、所述第三成像景深和所述第四成像景深范围叠加包括所述测距景深范围，所述依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值的步骤包括：
移动所述摄像模组至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置；
驱动所述成像透镜移动，以确定所述第一测试点位置的第一彩色图像的图像对比度处于峰值；或
驱动所述成像透镜移动，确定所述第二测试点位置的第二彩色图像的图像对比度处于峰值；或
驱动所述成像透镜移动，确定所述第三测试点位置的第三彩色图像的图像对比度处于峰值；或
驱动所述成像透镜移动，确定所述第四测试点位置的第四彩色图像的图像对比度处于峰值。
可选地，所述拍摄获取所述第一测试点、所述控制所述深度模组于所述测试点的位置获取彩色图像，以及控制所述摄像模组于所述测试点的位置获取深度图像的步骤包括：
拍摄获取所述第一测试点位置的第一彩色图像和第一深度图像；或
拍摄获取所述第二测试点位置的第二彩色图像和第二深度图像；或
拍摄获取所述第三测试点位置的第三彩色图像和第三深度图像；或
拍摄获取所述第四测试点位置的第四彩色图像和第四深度图像；
所述依据所述彩色图像和所述深度图像，生成立体彩色图像的步骤包括：
依据所述第一彩色图像和所述第一深度图像，生成立体彩色图像；或
依据所述第二彩色图像和所述第二深度图像，生成立体彩色图像；或
依据所述第三彩色图像和所述第三深度图像，生成立体彩色图像；或
依据所述第四彩色图像和所述第四深度图像，生成立体彩色图像。
此外，为了实现上述目的，本发明还提供一种成像装置，所述成像装置通过深度模组和摄像模组显示成像，所述成像装置包括：
获取模块，用于获取所述深度模组的测距景深；
移动模块，用于移动所述摄像模组至若干所述测试点的其中一点位置；
拍摄模块，用于控制所述摄像模组于所述测试点的位置获取彩色图像，以及控制所述深度模组于所述测试点的位置获取深度图像；
生成模块，用于依据所述彩色图像和所述深度图像，生成立体彩色图像。
可选地，所述摄像模组包括成像透镜，所述成像装置还包括：
驱动模块，用于驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值。
可选地，若干所述测试点包括具有第一成像景深的第一测试点、具有第二成像景深的第二测试点、具有第三成像景深的第三测试点和具有第四成像景深的第四测试点，所述第一成像景深、所述第二成像景深、所述第三成像景深和所述第四成像景深范围叠加包括所述测距景深范围，所述移动模块还用于移动所述摄像模组至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置；
所述驱动模块还用于驱动所述成像透镜移动，以确定所述第一测试点位置的第一彩色图像的图像对比度处于峰值；或驱动所述成像透镜移动，确定所述第二测试点位置的第二彩色图像的图像对比度处于峰值；或驱动所述成像透镜移动，确定所述第三测试点位置的第三彩色图像的图像对比度处于峰值；或驱动所述成像透镜移动，确定所述第四测试点位置的第四彩色图像的图像对比度处于峰值。
可选地，所述拍摄模块还用于拍摄获取所述第一测试点位置的第一彩色图像和第一深度图像；或拍摄获取所述第二测试点位置的第二彩色图像和第二深度图像；或拍摄获取所述第三测试点位置的第三彩色图像和第三深度图像；或拍摄获取所述第四测试点位置的第四彩色图像和第四深度图像；
所述生成模块还用于依据所述第一彩色图像和所述第一深度图像，生成立体彩色图像；或依据所述第二彩色图像和所述第二深度图像，生成立体彩色图像；或依据所述第三彩色图像和所述第三深度图像，生成立体彩色图像；或依据所述第四彩色图像和所述第四深度图像，生成立体彩色图像。
此外，为了实现上述目的，本发明还提供一种成像设备，所述成像设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的成像程序；所述成像程序被所述处理器执行时实现如上文所述的成像方法的步骤。
此外，为了实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有成像程序，所述成像程序被处理器执行时实现如上文所述的成像方法的步骤。
本发明技术方案，选取若干测试点，所述测试点对应的成像景深范围均在测距景深范围内，且若干所述测试点的成像景深范围叠加在一起，则叠加后的景深范围包括了深度模组的测距景深，在对测距景深范围内某一点进行立体成像时，移动摄像模组至相应的测试点位置上，如此能够保证获得清晰的彩色图像和相应的深度图像，有效解决了景深范围小的摄像模组，无法适用TOF相机的工作景深的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明成像方法的第一实施例流程示意图；
图2为本发明成像方法的第二实施例流程示意图；
图3为图2中本发明成像方法的中选择第一测试点的流程示意图；
图4为图2中本发明成像方法的中选择第二测试点的流程示意图；
图5为图2中本发明成像方法的中选择第三测试点的流程示意图；
图6为图2中本发明成像方法的中选择第四测试点的流程示意图；
图7本发明成像装置的结构示意图；
图8本发明成像方法的四个测试点的距离示意图；
图9为本发明成像方法的校正示意图。
附图标号说明：
标号 名称 标号 名称
110 移动模块 200 深度模组
120 拍摄模块 300 摄像模组
130 生成模块 400 棋盘格图像
140 驱动模块 500 目标图像
150 获取模块
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1所示，本发明的第一实施例，一种成像方法，所述成像方法通过深度模组和摄像模组显示成像，所述成像方法包括：
步骤S10，获取所述深度模组的测距景深，深度模组即TOF(Time of flight，飞行时间测距)模组，能够测量与物体之间的距离，在有效的测量距离范围内，为测距景深。
步骤S20，依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，所述摄像模组置于所述测试点的位置具有对应的成像清晰的成像景深，若干所述成像景深范围叠加包括所述测距景深范围，其中所述深度模组包括有红外透镜，红外透镜的工作景深为深度测距的测距景深，例如测距景深范围在0.36m～1.63m，摄像模组包括成像透镜，所述成像透镜为RGB透镜，成像透镜具有成像清晰的成像景深，成像景深的范围小于测距景深，无法满足测试的要求，例如，选取测试点的成像景深范围分别为，0.356m～0.456m，0.43m～0.59m，0.58m～0.89m和0.82m～1.68m，通过若干测试点的成像景深范围的连接叠加，例如，叠加后的范围在0.356m～1.68m，包括测试景深范围0.36m～1.63m，使叠加后的景深范围包括红外透镜的测距景深，在拍摄不同物距范围的图像时，通过将成像透镜移动至对应的测试点的景深范围内，保证拍摄得到的深度图像是在工作景深范围内，同时保证拍摄得到的彩色图像的清晰。
步骤S30，控制所述摄像模组于所述测试点的位置获取彩色图像，以及控制所述深度模组于所述测试点的位置获取深度图像，通过摄像模组拍摄获得彩色图像，通过深度模组拍摄获得深度图像，所述彩色图像用于反映被拍摄物体平面的带有颜色的图像，所述深度图像用于反映被拍摄物体的三维立体图像。
步骤S40，依据所述彩色图像和所述深度图像，生成立体彩色图像，所述彩色图像反应的是物体表面的颜色信息，所述深度图像反应的是深度模组距离拍摄物体表面的距离，通过将二者的图像进行合致校正，生成立体彩色图像能够反应出物体的三维形状，并在三维形状的基础上渲染有色彩，能够更加形象展示立体图像。
本发明技术方案，选取若干测试点，所述测试点对应的成像景深范围均在测距景深范围内，且若干所述测试点的成像景深范围叠加在一起，则叠加后的景深范围包括了深度模组的测距景深，在对测距景深范围内某一点进行立体成像时，移动摄像模组至相应的测试点位置上，如此能够保证获得清晰的彩色图像和相应的深度图像，有效解决了景深范围小的摄像模组，无法适用TOF相机的工作景深的问题。
进一步地，参阅图2所示，在本发明的第一实施例的基础上提出本发明的第二实施例，所述摄像模组包括成像透镜，所述依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，所述摄像模组置于所述测试点的位置具有对应的成像清晰的成像景深，若干所述成像景深范围叠加包括所述测距景深范围的步骤S20包括：
步骤S21，依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值，具体地，成像透镜连接有驱动电机，通过对驱动电机输入不同的脉冲信号，能够驱动成像透镜移动在不同的位置上，在移动成像透镜的过程中，彩色图像的图像对比度产生一定变化，例如，图像的黑白对比度，当图像对比度处于最高峰值时，也就是说黑白对比度差异最大，此时图像最清晰，记录保存下此时驱动成像透镜移动脉冲信号，也便于后续依据该脉冲信号快速确定成像透镜的位置。
进一步地，在本发明的第二实施例的基础上提出本发明的第三实施例，参阅图3所示，若干所述测试点包括具有第一成像景深的第一测试点、具有第二成像景深的第二测试点、具有第三成像景深的第三测试点和具有第四成像景深的第四测试点，所述第一成像景深、所述第二成像景深、所述第三成像景深和所述第四成像景深范围叠加包括所述测距景深范围，例如，第一测试点的物距为0.4m，第二测试点的物距为0.5m，第三测试点的物距为0.7m，第四测试点的物距为1.1m，选取测试点的成像景深范围分别为，第一测试点对应的成像景深范围为0.356m～0.456m，第二测试点对应的成像景深范围为0.43m～0.59m，第三测试点对应的成像景深范围为0.58m～0.89m，第四测试点对应的成像景深范围为0.82m～1.68m，所述依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值的步骤S21包括：
步骤S210，移动所述摄像模组至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置，例如，目标图像500距离摄像模组300的距离，分别为0.4m，0.5m，0.7m，1.1m，具体来说，上述四个测试点的景深范围叠加起来包括了深度模组的测距景深，除此之外，本发明选取的测试不限于四个测试点，只要选取的测试点的范围叠加之后包括的范围大于或等于深度模组的测距景深后，都在本发明的保护范围之内。
步骤S220，驱动所述成像透镜移动，以确定所述第一测试点位置的第一彩色图像的图像对比度处于峰值；移动所述摄像模组置于所述第一测试点，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值，具体地，移动摄像模组置于物距0.4m位置，即第一测试点位置，成像透镜连接有驱动电机，通过驱动电机驱动成像透镜移动，使图像对比度处于峰值，此时图像最清晰，记录保存下此时驱动成像透镜移动的脉冲信号，即第一驱动信号，便于后续直接通过该第一驱动信号确定成像透镜的位置，节省再次调整的时间。
参阅图4所示，步骤S230，驱动所述成像透镜移动，确定所述第二测试点位置的第二彩色图像的图像对比度处于峰值，具体地，移动摄像模组置于物距0.5m位置，即第二测试点位置，成像透镜连接有驱动电机，通过驱动电机驱动成像透镜移动，使图像对比度处于峰值，此时图像最清晰，记录保存下此时驱动成像透镜移动的脉冲信号，即第二驱动信号，便于后续直接通过该第二驱动信号确定成像透镜的位置，节省再次调整的时间。
参阅图5所示，步骤S240，驱动所述成像透镜移动，确定所述第三测试点位置的第三彩色图像的图像对比度处于峰值，具体地，移动摄像模组置于物距0.7m位置，即第三测试点位置，成像透镜连接有驱动电机，通过驱动电机驱动成像透镜移动，使图像对比度处于峰值，此时图像最清晰，记录保存下此时驱动成像透镜移动的脉冲信号，即第三驱动信号，便于后续直接通过该第三驱动信号确定成像透镜的位置，节省再次调整的时间。
参阅图6所示，步骤S250，驱动所述成像透镜移动，确定所述第四测试点位置的第四彩色图像的图像对比度处于峰值，具体地，移动摄像模组置于物距1.1m位置，即第四测试点位置，成像透镜连接有驱动电机，通过驱动电机驱动成像透镜移动，使图像对比度处于峰值，此时图像最清晰，记录保存下此时驱动成像透镜移动的脉冲信号，即第四驱动信号，便于后续直接通过该第四驱动信号确定成像透镜的位置，节省再次调整的时间，此外，将上述四种驱动信号和对应的物距形成对应一一对应，将该对应信息保存记录。
进一步地，在本发明的第三实施例的基础上提出本发明的第四实施例，控制所述深度模组于所述测试点的位置获取彩色图像，以及控制所述摄像模组于所述测试点的位置获取深度图像的步骤S30包括：
步骤S310，拍摄获取所述第一测试点位置的第一彩色图像和第一深度图像，也就是说，摄像模组处于第一测试点时，通过控制摄像模组拍摄获得第一彩色图像，通过控制深度模组拍摄获得第一深度图像，由此，便于依据第一彩色图像和第一深度图像生成立体彩色图像。
或者，步骤S320，拍摄获取所述第二测试点位置的第二彩色图像和第二深度图像，也就是说，摄像模组处于第二测试点时，通过控制摄像模组拍摄获得第二彩色图像，通过控制深度模组拍摄获得第二深度图像，由此，便于依据第二彩色图像和第二深度图像生成立体彩色图像。
或者，步骤S330，拍摄获取所述第三测试点位置的第三彩色图像和第三深度图像，也就是说，摄像模组处于第三测试点时，通过控制摄像模组拍摄获得第三彩色图像，通过控制深度模组拍摄获得第三深度图像，由此，便于依据第三彩色图像和第三深度图像生成立体彩色图像。
或者，步骤S340，拍摄获取所述第四测试点位置的第四彩色图像和第四深度图像，也就是说，摄像模组处于第四测试点时，通过控制摄像模组拍摄获得第四彩色图像，通过控制深度模组拍摄获得第四深度图像，由此，便于依据第四彩色图像和第四深度图像生成立体彩色图像。
所述依据所述彩色图像和所述深度图像，生成立体彩色图像的步骤S40包括：
步骤S410，依据所述第一彩色图像和所述第一深度图像，生成立体彩色图像，通过将二者的图像进行合致校正，生成立体彩色图像能够反应出物体的三维形状，并在三维形状的基础上渲染有色彩，能够更加形象展现拍摄得到图像。
或者，步骤S420，依据所述第二彩色图像和所述第二深度图像，生成立体彩色图像。
或者，步骤S430，依据所述第三彩色图像和所述第三深度图像，生成立体彩色图像。
或者，步骤S440，依据所述第四彩色图像和所述第四深度图像，生成立体彩色图像。
除此之外，所述对图像进行校正是通过深度模组和摄像模组分别拍摄，黑白色的棋盘格图像，校准黑白图像的图像对比度，以此保证拍摄测量结果的准确性。
参阅图7所示，本发明还提供一种成像装置，所述成像装置通过深度模组200拍摄得到深度图像，所述成像装置还通过摄像模组300拍摄得到彩色图像，所述深度模组200具有用于深度测距的测距景深，所述测距景深范围内选取若干测试点，每一所述测试点具有的对应的成像景深，所述对应的成像景深叠加的范围包括所述测距景深范围，所述成像装置包括：获取模块150、移动模块110、拍摄模块120和生成模块130。
获取模块150用于获取所述深度模组的测距景深，深度模组即TOF模组，能够测量与物体之间的距离，在有效的测量距离范围内，为测距景深。
移动模块110用于移动所述摄像模组300至若干所述测试点的其中一点位置，其中所述深度模组200包括有红外透镜，红外透镜的工作景深为深度测距的测距景深，例如测距景深范围在0.36m～1.63m，摄像模组300包括成像透镜，所述成像透镜为RGB透镜，成像透镜具有成像清晰的成像景深，成像景深的范围小于测距景深，无法满足测试的要求，例如，选取测试点的成像景深范围分别为，0.356m～0.456m，0.43m～0.59m，0.58m～0.89m和0.82m～1.68m，通过若干测试点的成像景深范围的连接叠加，例如，叠加后的范围在0.356m～1.68m，包括测试景深范围0.36m～1.63m，使叠加后的景深范围包括红外透镜的测距景深，在拍摄不同物距范围的图像时，通过将成像透镜移动至对应的测试点的景深范围内，保证拍摄得到的深度图像是在工作景深范围内，同时保证拍摄得到的彩色图像的清晰。
拍摄模块120用于控制所述摄像模组300于所述测试点的位置获取彩色图像，以及控制所述深度模组200于所述测试点的位置获取深度图像，通过深度模组200拍摄获得彩色图像，通过摄像模组300拍摄获得深度图像，所述彩色图像用于反映被拍摄物体平面的带有颜色的图像，所述深度图像用于反映被拍摄物体的三维立体图像。
生成模块130用于依据所述彩色图像和所述深度图像，生成立体彩色图像，所述彩色图像反应的是物体表面的颜色信息，所述深度图像反应的是深度模组200距离拍摄物体表面的距离，通过将二者的图像进行合致校正，生成立体彩色图像能够反应出物体的三维形状，并在三维形状的基础上渲染有色彩。
本发明技术方案，选取若干测试点，所述测试点对应的成像景深范围均在测距景深范围内，且若干所述测试点的成像景深范围叠加在一起，则叠加后的景深范围包括了深度模组200的测距景深，在对测距景深范围内某一点进行立体成像时，移动摄像模组300至相应的测试点位置上，如此能够保证获得清晰的彩色图像和相应的深度图像，有效解决了景深范围小的摄像模组300，无法适用TOF相机的工作景深的问题。
进一步地，所述摄像模组300包括成像透镜，所述成像装置还包括：驱动模块140。
驱动模块140用于驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值，成像透镜连接有驱动电机，通过对驱动电机输入不同的脉冲信号，能够驱动成像透镜移动在不同的位置上，在移动成像透镜的过程中，彩色图像的图像对比度产生一定变化，例如，图像的黑白对比度，当图像对比度处于最高峰值时，也就是说黑白对比度差异最大，此时图像最清晰。
进一步地，若干所述测试点包括具有第一成像景深的第一测试点、具有第二成像景深的第二测试点、具有第三成像景深的第三测试点和具有第四成像景深的第四测试点，所述第一成像景深、所述第二成像景深、所述第三成像景深和所述第四成像景深范围叠加包括所述测距景深范围，所述移动模块110还用于移动所述摄像模组300至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置，例如，参阅图8所示，目标图像500距离摄像模组300的距离，分别为0.4m，0.5m，0.7m，1.1m。
所述驱动模块140还用于驱动所述成像透镜移动，以确定所述第一测试点位置的第一彩色图像的图像对比度处于峰值；或确定所述第二测试点位置的第二彩色图像的图像对比度处于峰值；或确定所述第三测试点位置的第三彩色图像的图像对比度处于峰值；或确定所述第四测试点位置的第四彩色图像的图像对比度处于峰值，具体地，成像透镜连接有驱动电机，通过对驱动电机输入不同的脉冲信号，能够驱动成像透镜移动在不同的位置上，在移动成像透镜的过程中，彩色图像的图像对比度产生一定变化，例如，图像的黑白对比度，当图像对比度处于最高峰值时，也就是说黑白对比度差异最大，此时图像最清晰，记录保存下此时驱动成像透镜移动脉冲信号。
进一步地，所述拍摄模块120还用于拍摄获取所述第一测试点位置的第一彩色图像和第一深度图像；或拍摄获取所述第二测试点位置的第二彩色图像和第二深度图像；或拍摄获取所述第三测试点位置的第三彩色图像和第三深度图像；或拍摄获取所述第四测试点位置的第四彩色图像和第四深度图像。
所述生成模块130还用于依据所述第一彩色图像和所述第一深度图像，生成立体彩色图像；或依据所述第二彩色图像和所述第二深度图像，生成立体彩色图像；或依据所述第三彩色图像和所述第三深度图像，生成立体彩色图像；或依据所述第四彩色图像和所述第四深度图像，生成立体彩色图像。
除此之外，参阅图8所示，能够了解到摄像模组300距离被拍摄的目标图像500不同距离的距离，参阅图9所示，所述对图像进行校正是通过深度模组200和摄像模组300分别拍摄，黑白色的棋盘格图像400，校准黑白图像的图像对比度，以此保证拍摄测量结果的准确性。
本发明还提供一种成像设备，所述成像设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的成像程序；所述成像设备通过处理器调用存储器中存储的成像程序，并执行以下操作：
获取所述深度模组的测距景深；
依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，所述摄像模组置于所述测试点的位置具有对应的成像清晰的成像景深，若干所述成像景深范围叠加包括所述测距景深范围；
控制所述摄像模组于所述测试点的位置获取彩色图像，以及控制所述深度模组于所述测试点的位置获取深度图像；
依据所述彩色图像和所述深度图像，生成立体彩色图像。
进一步地，所述摄像模组包括成像透镜，处理器调用存储器中存储的成像程序，还并执行以下操作：
依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值。
进一步地，若干所述测试点包括具有第一成像景深的第一测试点、具有第二成像景深的第二测试点、具有第三成像景深的第三测试点和具有第四成像景深的第四测试点，所述第一成像景深、所述第二成像景深、所述第三成像景深和所述第四成像景深范围叠加包括所述测距景深范围，处理器调用存储器中存储的成像程序，还并执行以下操作：
移动所述摄像模组至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置；
驱动所述成像透镜移动，以确定所述第一测试点位置的第一彩色图像的图像对比度处于峰值；或
确定所述第二测试点位置的第二彩色图像的图像对比度处于峰值；或
确定所述第三测试点位置的第三彩色图像的图像对比度处于峰值；或
确定所述第四测试点位置的第四彩色图像的图像对比度处于峰值。。
进一步地，处理器调用存储器中存储的成像程序，还并执行以下操作：
拍摄获取所述第一测试点位置的第一彩色图像和第一深度图像；或
拍摄获取所述第二测试点位置的第二彩色图像和第二深度图像；或
拍摄获取所述第三测试点位置的第三彩色图像和第三深度图像；或
拍摄获取所述第四测试点位置的第四彩色图像和第四深度图像；
依据所述第一彩色图像和所述第一深度图像，生成立体彩色图像；或
依据所述第二彩色图像和所述第二深度图像，生成立体彩色图像；或
依据所述第三彩色图像和所述第三深度图像，生成立体彩色图像；或
依据所述第四彩色图像和所述第四深度图像，生成立体彩色图像。
本发明技术方案，选取若干测试点，所述测试点对应的成像景深范围均在测距景深范围内，且若干所述测试点的成像景深范围叠加在一起，则叠加后的景深范围包括了深度模组的测距景深，在对测距景深范围内某一点进行立体成像时，移动摄像模组至相应的测试点位置上，如此能够保证获得清晰的彩色图像和相应的深度图像，有效解决了景深范围小的摄像模组，无法适用TOF相机的工作景深的问题。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有成像程序，所述成像程序可被一个或者一个以上处理器执行以用于：
获取所述深度模组的测距景深；
依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，所述摄像模组置于所述测试点的位置具有对应的成像清晰的成像景深，若干所述成像景深范围叠加包括所述测距景深范围；
控制所述摄像模组于所述测试点的位置获取彩色图像，以及控制所述深度模组于所述测试点的位置获取深度图像；
依据所述彩色图像和所述深度图像，生成立体彩色图像。
进一步地，所述摄像模组包括成像透镜，所述成像程序被处理器执行时还实现如下操作：
依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值。
进一步地，若干所述测试点包括具有第一成像景深的第一测试点、具有第二成像景深的第二测试点、具有第三成像景深的第三测试点和具有第四成像景深的第四测试点，所述第一成像景深、所述第二成像景深、所述第三成像景深和所述第四成像景深范围叠加包括所述测距景深范围，所述成像程序被处理器执行时还实现如下操作：
移动所述摄像模组至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置；
驱动所述成像透镜移动，以确定所述第一测试点位置的第一彩色图像的图像对比度处于峰值；或
确定所述第二测试点位置的第二彩色图像的图像对比度处于峰值；或
确定所述第三测试点位置的第三彩色图像的图像对比度处于峰值；或
确定所述第四测试点位置的第四彩色图像的图像对比度处于峰值。。
进一步地，所述成像程序被处理器执行时还实现如下操作：
移动所述摄像模组至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置；
依据记录下的所述驱动信号，驱动所述成像透镜移动；
拍摄获取所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点位置的彩色图像和深度图像。
进一步地，所述成像程序被处理器执行时还实现如下操作：
拍摄获取所述第一测试点位置的第一彩色图像和第一深度图像；或
拍摄获取所述第二测试点位置的第二彩色图像和第二深度图像；或
拍摄获取所述第三测试点位置的第三彩色图像和第三深度图像；或
拍摄获取所述第四测试点位置的第四彩色图像和第四深度图像；
依据所述第一彩色图像和所述第一深度图像，生成立体彩色图像；或
依据所述第二彩色图像和所述第二深度图像，生成立体彩色图像；或
依据所述第三彩色图像和所述第三深度图像，生成立体彩色图像；或
依据所述第四彩色图像和所述第四深度图像，生成立体彩色图像。
本发明技术方案，选取若干测试点，所述测试点对应的成像景深范围均在测距景深范围内，且若干所述测试点的成像景深范围叠加在一起，则叠加后的景深范围包括了深度模组的测距景深，在对测距景深范围内某一点进行立体成像时，移动摄像模组至相应的测试点位置上，如此能够保证获得清晰的彩色图像和相应的深度图像，有效解决了景深范围小的摄像模组，无法适用TOF相机的工作景深的问题。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种成像方法，其特征在于，所述成像方法通过深度模组和摄像模组显示成像，所述成像方法包括：
获取所述深度模组的测距景深；
依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，若干所述测试点包括具有第一成像景深的第一测试点、具有第二成像景深的第二测试点、具有第三成像景深的第三测试点和具有第四成像景深的第四测试点；
所述摄像模组置于所述测试点的位置具有对应的成像清晰的成像景深，若干所述成像景深范围叠加包括所述测距景深范围；
控制所述摄像模组于所述测试点的位置获取彩色图像，以及控制所述深度模组于所述测试点的位置获取深度图像，包括：拍摄获取所述第一测试点位置的第一彩色图像和第一深度图像；或拍摄获取所述第二测试点位置的第二彩色图像和第二深度图像；或拍摄获取所述第三测试点位置的第三彩色图像和第三深度图像；或拍摄获取所述第四测试点位置的第四彩色图像和第四深度图像；
依据所述彩色图像和所述深度图像，生成立体彩色图像，包括：依据所述第一彩色图像和所述第一深度图像，生成立体彩色图像；或依据所述第二彩色图像和所述第二深度图像，生成立体彩色图像；或依据所述第三彩色图像和所述第三深度图像，生成立体彩色图像；或依据所述第四彩色图像和所述第四深度图像，生成立体彩色图像。
2.如权利要求1所述的成像方法，其特征在于，所述摄像模组包括成像透镜，所述依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，所述摄像模组置于所述测试点的位置具有对应的成像清晰的成像景深，若干所述成像景深范围叠加包括所述测距景深范围的步骤包括：
依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度处于峰值。
3.如权利要求2所述的成像方法，其特征在于，所述第一成像景深、所述第二成像景深、所述第三成像景深和所述第四成像景深范围叠加包括所述测距景深范围，所述依据所述测距景深选取若干测试点，移动所述摄像模组至若干所述测试点的其中一点位置，驱动所述成像透镜移动，以确定所述彩色图像的图像对比度的处于峰值的步骤包括：
移动所述摄像模组至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置；
驱动所述成像透镜移动，以确定所述第一测试点位置的第一彩色图像的图像对比度处于峰值；或
驱动所述成像透镜移动，确定所述第二测试点位置的第二彩色图像的图像对比度处于峰值；或
驱动所述成像透镜移动，确定所述第三测试点位置的第三彩色图像的图像对比度处于峰值；或
驱动所述成像透镜移动，确定所述第四测试点位置的第四彩色图像的图像对比度处于峰值。
4.一种成像装置，其特征在于，所述成像装置通过深度模组和摄像模组显示成像，所述成像装置包括：
获取模块，用于获取所述深度模组的测距景深；
移动模块，用于移动所述摄像模组至若干测试点的其中一点位置，其中，若干所述测试点依据所述测距景深选取，包括具有第一成像景深的第一测试点、具有第二成像景深的第二测试点、具有第三成像景深的第三测试点和具有第四成像景深的第四测试点；
拍摄模块，用于控制所述摄像模组于所述测试点的位置获取彩色图像，以及控制所述深度模组于所述测试点的位置获取深度图像，包括：拍摄获取所述第一测试点位置的第一彩色图像和第一深度图像；或拍摄获取所述第二测试点位置的第二彩色图像和第二深度图像；或拍摄获取所述第三测试点位置的第三彩色图像和第三深度图像；或拍摄获取所述第四测试点位置的第四彩色图像和第四深度图像；
生成模块，用于依据所述彩色图像和所述深度图像，生成立体彩色图像，包括：依据所述第一彩色图像和所述第一深度图像，生成立体彩色图像；或依据所述第二彩色图像和所述第二深度图像，生成立体彩色图像；或依据所述第三彩色图像和所述第三深度图像，生成立体彩色图像；或依据所述第四彩色图像和所述第四深度图像，生成立体彩色图像。
5.如权利要求4所述的成像装置，其特征在于，所述摄像模组包括成像透镜，所述成像装置还包括：
驱动模块，用于驱动所述成像透镜移动，以确定所述彩色图像的图像对比度处于峰值。
6.如权利要求5所述的成像装置，其特征在于，所述第一成像景深、所述第二成像景深、所述第三成像景深和所述第四成像景深范围叠加包括所述测距景深范围，所述移动模块还用于移动所述摄像模组至所述第一测试点、所述第二测试点、所述第三测试点或所述第四测试点的其中一个测试点位置；
所述驱动模块还用于驱动所述成像透镜移动，以确定所述第一测试点位置的第一彩色图像的图像对比度处于峰值；或驱动所述成像透镜移动，确定所述第二测试点位置的第二彩色图像的图像对比度处于峰值；或驱动所述成像透镜移动，确定所述第三测试点位置的第三彩色图像的图像对比度处于峰值；或驱动所述成像透镜移动，确定所述第四测试点位置的第四彩色图像的图像对比度处于峰值。
7.一种成像设备，其特征在于，所述成像设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的成像程序；所述成像程序被所述处理器执行时实现如权利要求1-3中任一项所述的成像方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有成像程序，所述成像程序被处理器执行时实现如权利要求1-3中任一项所述的成像方法的步骤。
CN201910709581.9A 2019-07-30 2019-07-30 成像方法、装置、设备及计算机可读存储介质 Active CN110365887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910709581.9A CN110365887B (zh) 2019-07-30 2019-07-30 成像方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910709581.9A CN110365887B (zh) 2019-07-30 2019-07-30 成像方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110365887A CN110365887A (zh) 2019-10-22
CN110365887B true CN110365887B (zh) 2021-10-26

Family

ID=68222124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910709581.9A Active CN110365887B (zh) 2019-07-30 2019-07-30 成像方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110365887B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866370A (zh) * 2020-05-28 2020-10-30 北京迈格威科技有限公司 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件
CN112697042B (zh) * 2020-12-07 2023-12-05 深圳市繁维科技有限公司 手持式tof相机及其强适应包裹体积测量方法
CN112738958A (zh) * 2021-01-13 2021-04-30 王陈陈 车辆转向灯实时驱动***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765542A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像渲染方法、电子设备和计算机可读存储介质
CN109104583A (zh) * 2018-08-22 2018-12-28 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
CN109451228A (zh) * 2018-12-24 2019-03-08 华为技术有限公司 摄像组件及电子设备
CN109726614A (zh) * 2017-10-27 2019-05-07 北京小米移动软件有限公司 3d立体成像方法及装置、可读存储介质、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767586B2 (en) * 2014-07-11 2017-09-19 Microsoft Technology Licensing, Llc Camera system and method for hair segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726614A (zh) * 2017-10-27 2019-05-07 北京小米移动软件有限公司 3d立体成像方法及装置、可读存储介质、电子设备
CN108765542A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像渲染方法、电子设备和计算机可读存储介质
CN109104583A (zh) * 2018-08-22 2018-12-28 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
CN109451228A (zh) * 2018-12-24 2019-03-08 华为技术有限公司 摄像组件及电子设备

Also Published As

Publication number Publication date
CN110365887A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110365887B (zh) 成像方法、装置、设备及计算机可读存储介质
EP3531066B1 (en) Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner
US10237532B2 (en) Scan colorization with an uncalibrated camera
KR102559661B1 (ko) 부피 측량 방법, 시스템, 설비 및 컴퓨터 판독이 가능한 저장매체
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
CN108474658B (zh) 地面形态检测方法及***、无人机降落方法和无人机
CN110163898B (zh) 深度信息配准方法、装置、***、设备及存储介质
US20210227144A1 (en) Target tracking method and device, movable platform, and storage medium
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
JPH09187038A (ja) ３次元形状抽出装置
CN111815716A (zh) 一种参数标定方法及相关装置
JP7038729B2 (ja) 画像合成装置および画像合成方法
CN113160327A (zh) 一种点云补全的实现方法和***
CN113580380A (zh) 搅拌站智能卸料监控方法及***
Vechersky et al. Colourising point clouds using independent cameras
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制***
CN112734862A (zh) 深度图像的处理方法、装置、计算机可读介质以及设备
CN112700484A (zh) 一种基于单目深度相机的深度图彩色化方法
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN111654626B (zh) 一种包含深度信息的高分辨率相机
JPH1079029A (ja) 立体情報検出方法及びその装置
CN112419427A (zh) 用于提高飞行时间相机精度的方法
CN116228974A (zh) 三维模型构建方法、装置、计算机设备以及存储介质
KR20130041440A (ko) 영상 처리 장치 및 방법
CN106959747B (zh) 三维人体测量方法及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201013

Address after: 261031, north of Jade East Street, Dongming Road, Weifang hi tech Zone, Shandong province (GoerTek electronic office building, Room 502)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Applicant before: GOERTEK Inc.

GR01 Patent grant
GR01 Patent grant