CN110400342B - 深度传感器的参数调整方法、装置以及电子设备 - Google Patents

深度传感器的参数调整方法、装置以及电子设备 Download PDF

Info

Publication number
CN110400342B
CN110400342B CN201910623060.1A CN201910623060A CN110400342B CN 110400342 B CN110400342 B CN 110400342B CN 201910623060 A CN201910623060 A CN 201910623060A CN 110400342 B CN110400342 B CN 110400342B
Authority
CN
China
Prior art keywords
depth
distribution
confidence
pixel unit
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910623060.1A
Other languages
English (en)
Other versions
CN110400342A (zh
Inventor
康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910623060.1A priority Critical patent/CN110400342B/zh
Publication of CN110400342A publication Critical patent/CN110400342A/zh
Priority to PCT/CN2020/095024 priority patent/WO2021004216A1/zh
Priority to EP20836859.7A priority patent/EP3996041A4/en
Application granted granted Critical
Publication of CN110400342B publication Critical patent/CN110400342B/zh
Priority to US17/573,137 priority patent/US20220130073A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

本申请提出一种深度传感器的参数调整方法、装置以及电子设备，其中，方法包括：通过获取深度传感器采集的深度图；其中，深度图中各像素单元具有对应的深度和深度的置信度；对深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，深度的分布，用于指示各深度区间的像素单元占比；置信度的分布，用于指示各置信度区间的像素单元占比；根据深度的分布和置信度的分布，调整深度传感器的运行参数。由此，根据深度图中深度的分布和置信度的分布，确定深度传感器的运行参数，避免了现有技术中不同场景下，深度传感器采用固定的运行参数采集深度图时，导致采集的深度图质量较低的技术问题，从而确保了输出的深度图的质量。

Description

深度传感器的参数调整方法、装置以及电子设备
技术领域
本申请涉及电子设备技术领域，尤其涉及一种深度传感器的参数调整方法、装置以及电子设备。
背景技术
目前，为了改善深度图质量，可以对深度图进行滤波处理。现有技术中，采用双边滤波、各向异性滤波、基于固定阈值的滤波等通过滤波算法，对深度图进行滤波处理。
然而实际应用场景中，也存在对深度图的不同需求，例如，手势场景需要手部边缘清晰可见，及时定位与地图构建(Simultaneous Localization And Mapping，简称SLAM)场景需要尽量去除异常的深度值等等。但是，对于飞行时间(Time of Flight，简称TOF)相机的硬件设置目前也是对于不同场景采用固定参数，如运行于高频率或者低频率，TOF功率为固定值，从而导致采集的深度图质量较低。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种深度传感器的参数调整方法、装置以及电子设备，以实现根据深度图中深度的分布和置信度的分布，确定深度传感器的运行参数，避免了现有技术中不同场景下，深度传感器采用固定的运行参数采集深度图像，导致采集的深度图质量较低的技术问题。
本申请第一方面实施例提出了一种深度传感器的参数调整方法，包括：
获取深度传感器采集的深度图；其中，所述深度图中各像素单元具有对应的深度和所述深度的置信度；
对所述深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，所述深度的分布，用于指示各深度区间的像素单元占比；所述置信度的分布，用于指示各置信度区间的像素单元占比；
根据所述深度的分布和所述置信度的分布，调整所述深度传感器的运行参数。
本申请实施例的深度传感器的参数调整方法，通过获取深度传感器采集的深度图；其中，深度图中各像素单元具有对应的深度和深度的置信度；对深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，深度的分布，用于指示各深度区间的像素单元占比；置信度的分布，用于指示各置信度区间的像素单元占比；根据深度的分布和置信度的分布，调整深度传感器的运行参数。由此，根据深度图中深度的分布和置信度的分布，确定深度传感器的运行参数，避免了现有技术中不同场景下，深度传感器采用固定的运行参数采集深度图像，导致采集的深度图质量较低的技术问题，从而确保了输出的深度图的质量。
本申请第二方面实施例提出了一种深度传感器的参数调整装置，包括：
获取模块，用于获取深度传感器采集的深度图；其中，所述深度图中各像素单元具有对应的深度和所述深度的置信度；
统计模块，用于对所述深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，所述深度的分布，用于指示各深度区间的像素单元占比；所述置信度的分布，用于指示各置信度区间的像素单元占比；
调整模块，用于根据所述深度的分布和所述置信度的分布，调整所述深度传感器的运行参数。
本申请实施例的深度传感器的参数调整装置，通过获取深度传感器采集的深度图；其中，深度图中各像素单元具有对应的深度和深度的置信度；对深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，深度的分布，用于指示各深度区间的像素单元占比；置信度的分布，用于指示各置信度区间的像素单元占比；根据深度的分布和置信度的分布，调整深度传感器的运行参数。由此，根据深度图中深度的分布和置信度的分布，确定深度传感器的运行参数，避免了现有技术中不同场景下，深度传感器采用固定的运行参数采集深度图像，导致采集的深度图质量较低的技术问题，从而确保了输出的深度图的质量。
本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的深度传感器的参数调整方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的深度传感器的参数调整方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一提供的深度传感器的参数调整方法的流程示意图；
图2为本申请实施例二提供的深度传感器的参数调整方法的流程示意图；
图3为本申请实施例三提供的深度传感器的参数调整方法的流程示意图；
图4为本申请实施例四提供的深度传感器的参数调整方法的流程示意图；
图5为本申请实施例五提供的深度传感器的参数调整方法的流程示意图；
图6为本申请实施例提供的一种深度传感器的参数调整装置的结构示意图；
图7为本申请实施例提供的另一种深度传感器的参数调整装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
目前，单频率TOF相机的原始数据的处理流程主要包括以下步骤：
步骤1，将原始数据转换为i，q数据，其中，i，q表示收集的电荷，分别为距离对应延迟相角的正弦值和余弦值；
步骤2，将i，q转化为置信度p0(|i|+|q|)和相位差c0(arctan(i/q))；
步骤3，对置信度p0进行误差校正，得到p_cor；
步骤4，根据p_cor和c0确定i，q；
步骤5，对i，q进行滤波处理；
步骤6，对滤波处理后的径向深度图转为点云深度图。
其中，步骤5中对i，q进行滤波，是对i，q进行独立的滤波，主要涉及以下子步骤：
a)通过平滑相应的i，q数值，以平滑深度图的整体深度值，其中，平滑滤波采用的是诸如向异性滤波、中值滤波等通用的滤波算法；
b)将i，q转换为深度信息和置信度信息；
c)对产生的深度进行通用算法的滤波(包括时间以及空间滤波)，其中，采用的通用算法包括双边滤波、各向异性滤波、飞像素/置信度阈值滤波等等滤波算法，可以在一定程度改善输出深度图质量。
然而，上述滤波算法需要用户针对具体场景做合理的参数设置，对于没有相关专业经验的用户或者仅仅是利用深度图的应用开发者来说，这样的设置是非常困难的。并且，对于TOF相机硬件的设置目前也是对于不同场景采用固定参数，如，运行于高频率或者低频率，TOF功率为固定值，从而导致不同场景下采集的深度图质量不高。不同频率TOF原始数据的计算量也不同，工作在双频率与单频率模式相比大大增加了计算量。
针对上述现有技术中的问题，本申请实施例提供了一种深度传感器的参数调整方法，通过获取深度传感器采集的深度图；其中，深度图中各像素单元具有对应的深度和深度的置信度；对深度图中各像素单元进行统计，得到深度的分布和置信度的分布；根据深度的分布和置信度的分布，调整深度传感器的运行参数。由此，根据深度图中深度的分布和置信度的分布，确定深度传感器的运行参数，避免了现有技术中不同场景下，深度传感器采用固定的运行参数采集深度图像，导致采集的深度图质量较低的技术问题，从而确保了输出的深度图的质量。
下面参考附图描述本申请实施例的深度传感器的参数调整方法、装置以及电子设备。
图1为本申请实施例一提供的深度传感器的参数调整方法的流程示意图。
本申请实施例以该深度传感器的参数调整方法被配置于深度传感器的参数调整装置中来举例说明，该深度传感器的参数调整装置可以应用于任一具有拍照功能的电子设备中，以使该电子设备执行参数调整功能。
其中，电子设备可以为移动终端或者智能摄像机等，对此不作限制。移动终端可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作***、触摸屏和/或显示屏的硬件设备。
如图1所示，该深度传感器的参数调整方法包括以下步骤：
步骤101，获取深度传感器采集的深度图。
其中，深度图中各像素单元具有对应的深度和深度的置信度。
本申请实施例中，电子设备可以包括TOF相机或TOF摄像头，通过设置于TOF相机或TOF摄像头中的深度传感器采集得到深度图，采集得到的深度图中每个像素单元具有对应的深度和深度的置信度。
其中，TOF相机可以包括红外发射光源，通过红外发射光源向外发射光波信号，感光模组可以接收反射光波信号，从而根据发射光波信号与反射光波信号的相位变化，可以进行距离测量，得到对应的深度。
也就是说，每个像素单元对应的深度是根据红外光相位差生成的，而深度的置信度是根据反射光光强确定的，反射光光强越大，置信度越高。其中，距离TOF相机越近，深度越小，深度的置信度越大，距离TOF相机越远，深度越大，深度的置信度越小。
步骤102，对深度图中各像素单元进行统计，得到深度的分布和置信度的分布。
其中，深度的分布，用于指示各深度区间的像素单元占比；置信度的分布，用于指示各置信度区间的像素单元占比。
本申请实施例中，获取到深度传感器采集的深度图后，对深度图中各像素单元进行统计，可以得到深度的分布和置信度的分布。
作为一种可能的实现方式，对深度图中各像素单元进行统计得到深度的分布，具体地，对获取到的深度图，预先设定深度区间，进而统计深度图中各深度区间内像素单元的个数，计算各深度区间内像素单元的个数与深度图的像素单元总个数之比，得到各深度区间的像素单元占比，进而得到深度的分布。由此，可以确定有效测量范围内，场景的深度的分布。
作为另一种可能的实现方式，对深度图中各像素单元进行统计得到置信度的分布，具体地，对获取到的深度图，预先设定置信度区间，统计深度属于相应置信度区间的像素单元个数，计算各像素单元个数与深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比，进而得到置信度的分布。
步骤103，根据深度的分布和置信度的分布，调整深度传感器的运行参数。
其中，运行参数包括TOF发射的红外光的功率和红外光的频率。
本申请实施例中，在对深度图中各像素单元进行统计，得到深度的分布和置信度的分布后，根据深度的分布和置信度的分布，调整深度传感器的运行参数，也就是调整深度传感器工作时TOF发射的红外光的功率和红外光的频率。其中，红外光的频率包括高频、双频和低频。
需要说明的是，背景距离TOF相机越近，深度越小，深度的置信度越大，背景距离TOF相机越远，深度越大，深度的置信度越小，因此，本申请实施例中，根据深度的分布和置信度的分布，确定背景到TOF相机的距离，进而，根据深度图到TOF相机的距离，调整深度传感器的运行参数。
作为一种可能的实现方式，对深度图中各像素单元进行统计，确定深度较小，置信度较大时，可以调整深度传感器采用高频进行图像采集。在置信度较小，深度较大时，调整深度传感器采用低频进行图像采集，例如，置信度较小，深度在2.5m左右时，调整深度传感器的频率为40Hz。在置信度分布更小，深度更大时，调整深度传感器采用双频进行图像采集，例如，置信度较低，深度超过3m时，为了提高测量的准确度，可以调整深度传感器采用40Hz和60Hz同时采集图像。
作为另一种可能的实现方式，在对深度图中各像素单元进行统计，得到深度的分布和置信度的分布后，还可以根据深度的分布和置信度的分布，查询运行参数表，得到对应的目标参数。进而，将深度传感器的运行参数调整为目标参数。
其中，运行参数表，可以根据实验测试得到，还可以根据TOF硬件参数进行计算得到，当然，也可以通过其他方式产生，本实施例对此不做限制。
本申请实施例的深度传感器的参数调整方法，通过获取深度传感器采集的深度图；其中，深度图中各像素单元具有对应的深度和深度的置信度；对深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，深度的分布，用于指示各深度区间的像素单元占比；置信度的分布，用于指示各置信度区间的像素单元占比；根据深度的分布和置信度的分布，调整深度传感器的运行参数。由此，根据深度图中深度的分布和置信度的分布，确定深度传感器的运行参数，避免了现有技术中不同场景下，深度传感器采用固定的运行参数采集深度图像，导致采集的深度图质量较低的技术问题，从而确保了输出的深度图的质量。
作为一种可能的实现方式，在上述步骤101中获取深度传感器采集的深度图之前，可以检测连续采集的各帧成像图，以根据相邻两帧成像图之间的变化部分，确定场景变化程度，以根据场景变化程度，确定深度传感器的功率和频率，进而，根据确定的深度传感器的功率和频率采集深度图。下面结合实施例二对上述过程进行详细介绍，图2为本申请实施例二提供的深度传感器的参数调整方法的流程示意图。
如图2所示，该深度传感器的参数调整方法可以包括以下步骤：
步骤201，检测连续采集的各帧成像图，以根据相邻两帧成像图之间的变化部分，确定场景变化程度。
其中，成像图为二维图像，例如，电子设备可以包括RGB摄像头，通过该RGB摄像头采集得到成像图。
本申请实施例中，从电子设备连续采集的各帧成像图中，选取相邻两帧成像图，以根据相邻两帧成像图之间的变化部分，确定场景变化程度。
作为一种可能的实现方式，可以通过计算相邻两帧成像图之间的图像差异，以根据图像的差异程度，确定场景变化程度。也就是说，相邻两帧成像图之间的差异程度越大，场景变化程度越大，同样地，相邻两帧成像图之间的差异程度越小，场景变化程度越小。
作为另一种可能的实现方式，还可以通过计算相邻两帧成像图中各像素单元对应的坐标差值，确定场景变化程度。也就是说，相邻两帧成像图中各像素单元对应的坐标差值越大，场景变化程度越大，同样地，相邻两帧成像图之间的坐标差值越小，场景变化程度越小。
步骤202，若场景变化程度大于阈值程度，将深度传感器设置为最大功率和双频率。
本申请实施例中，根据相邻两帧成像图之间的变化部分，确定场景变化程度大于阈值程度时，确定采集相邻两帧成像图时拍摄场景发生了变化。此时，可以将深度传感器设置为最大功率和双频率，以尽可能准确的采集到场景的全部信息。
需要说明的是，TOF相机发射的红外光的频率包括单一频率和双频率两种情况，例如，可以发射40Hz和60Hz两种频率的光中的任一种，也可以同时发射40Hz和60Hz两种频率的光。
步骤203，获取深度传感器以最大功率和双频率采集的深度图。
本申请实施例中，将深度传感器设置为最大功率和双频率后，控制深度传感器以最大功率和双频率采集深度图，从而获取到深度传感器以最大功率和双频率采集的深度图。
本申请实施例中，将深度传感器设置为双频率采集深度图，是指控制深度传感器同时采用两种频率的光测量得到两个深度，进而，对两个深度求均值或者加权求和，得到一个深度，最终输出对应的深度图。
例如，控制深度传感器同时采用40Hz和60Hz两种频率的光，以采集得到深度图，具体地，通过对40Hz和60Hz两种频率的光测量得到的两个深度进行处理，得到一个深度，进而得到一张深度图。
需要说明的是，深度传感器采用双频采集深度图时，需要说两种频率下的数据进行合并和滤波，因此，与单频模式相比，大大增加了计算量。也就是说，双频模式下，深度传感器的计算量大于单频模式下两倍的计算量。但是，采用双频采集深度图时，提高了深度测量的准确度。
本申请实施例的深度传感器的参数调整方法，通过检测连续采集的各帧成像图，以根据相邻两帧成像图之间的变化部分，确定场景变化程度，确定场景变化程度大于阈值程度，将深度传感器设置为最大功率和双频率，获取以深度传感器以最大功率和双频率采集的深度图。由此，在确定图像采集时场景发生了变化，将深度传感器设置为最大功率和双频率以采集深度图，确保深度传感器能够尽可能的采集到场景的全部信息，提高了深度图采集的精度和准确度。
作为一种可能的实现方式，对深度图中各像素单元进行统计，得到深度的分布时，可以根据设定的深度区间，统计深度属于相应深度区间的像素单元个数，将各深度区间像素单元个数与深度图的像素单元总个数之比，得到相应深度区间的像素单元占比，进而，根据各深度区间的像素单元占比，得到深度的分布。下面结合实施例三对上述过程进行详细介绍，图3为本申请实施例三提供的深度传感器的参数调整方法的流程示意图。
如图3所示，步骤102还可以包括以下步骤：
步骤301，根据设定的深度区间，统计深度属于相应深度区间的像素单元个数，得到第一像素单元个数。
其中，设定的深度区间，可以为背景区域到TOF的距离，也可以为前景区域到TOF的距离，也可以为中景区域到TOF的距离，本实施例在此不做限定。
本申请实施例中，为了确定深度图中深度的分布，获取到深度传感器采集的深度图后，在设定的深度区间内，对深度图中各像素单元进行统计。具体地，统计深度图中深度属于相应深度区间的像素单元个数，得到第一像素单元个数。
例如，分别统计深度图中，前景区域、中景区域以及背景区域中像素单元个数。
步骤302，根据第一像素单元个数与深度图的像素单元总个数之比，得到相应深度区间的像素单元占比。
本申请实施例中，根据设定的深度区间，统计深度属于相应深度区间的像素单元个数，得到第一像素单元个数后，计算第一像素单元个数与深度图的像素单元总个数之比，进而得到相应深度区间的像素单元占比。
步骤303，根据各深度区间的像素单元占比，得到深度的分布。
本申请实施例中，根据第一像素单元个数与深度图的像素单元总个数之比，得到各深度区间的像素单元占比之后，可以根据各深度区间的像素单元占比，确定拍摄场景中深度图的深度的分布。
由此，可以根据深度的分布与运行参数之间的对应关系，通过查询运行参数表，确定与深度分布对应的运行参数，以实现根据深度分布，调整深度传感器的运行参数。
本申请实施例的深度传感器的参数调整方法，根据设定的深度区间，统计深度属于相应深度区间的像素单元个数，得到第一像素单元个数；根据第一像素单元个数与深度图的像素单元总个数之比，得到相应深度区间的像素单元占比；根据各深度区间的像素单元占比，得到深度的分布。由此，能够准确的判断场景的分布，以根据场景分布调整深度传感器的运行参数，从而提高了深度图的质量。
作为另一种可能的实现方式，在步骤102中，对深度图中各像素单元进行统计，得到置信度的分布，具体地，可以根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，根据像素单元个数与深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比，进而得到置信度的分布。下面结合实施例四对上述过程进行详细介绍，图4为本申请实施例四提供的深度传感器的参数调整方法的流程示意图。
如图4所示，步骤102还可以包括以下步骤：
步骤401，根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，得到第二像素单元个数。
其中，设定的置信度区间，可以根据反射光光强确定。
需要说明的是，由于深度图中可能存在异常点、干扰点，或者，深度图中只存在较小部分的背景区域，比如只存在一个小墙角，因此，若深度图中存在超出测量范围的背景显然是不合理的。因此，作为一种可能的实现方式，为了提升判断结果的准确性，可以对深度图中，根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，得到第二像素单元个数。
步骤402，根据第二像素单元个数与深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比。
本申请实施例中，根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，得到第二像素单元个数后，计算第二像素单元个数与深度图的像素单元总个数之比，即可得到相应置信度区间的像素单元占比。
步骤403，根据各置信度区间的像素单元占比，得到置信度的分布。
本申请实施例中，根据第二像素单元个数与深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比之后，可以得到深度图中置信度的分布。
由此，可以根据得到的置信度分布，通过查询运行参数表，确定与置信度分布对应的目标参数分布。
本申请实施例的深度传感器的参数调整方法，根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，得到第二像素单元个数；根据第二像素单元个数与深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比；根据各置信度区间的像素单元占比，得到置信度的分布。由此，可以根据置信度分布，确定场景类型，从而实现了深度传感器在不同场景下采用对应的运行参数，提高了深度图的图像质量。
作为一种可能的实现方式，在上述实施例的基础上，可以根据深度分布和置信度的分布，确定场景类型，以根据场景类型调整深度传感器的运行参数。下面结合实施例五对上述过程进行详细介绍，图5为本申请实施例五提供的深度传感器的参数调整方法的流程示意图。
如图5所示，该参数调整方法具体包括以下步骤：
步骤501，获取深度传感器采集的深度图。
步骤502，对深度图中各像素单元进行统计，得到深度的分布和置信度的分布。
本申请实施例中，步骤501至步骤502的实现过程，可以参见实施例一中步骤101至步骤102的实现过程，在此不再赘述。
步骤503，根据深度的分布和置信度的分布，确定场景类型。
本申请实施例中，可以从与深度图同步采集的成像图中识别感兴趣区域，根据深度图，确定感兴趣区域中各像素单元对应的深度和深度的置信度，以根据感兴趣区域中各像素单元对应的深度和深度的置信度，确定场景类型。
需要说明的是，背景距离TOF相机越近，深度的置信度越大，背景距离TOF相机越远，深度的置信度越小，因此，本申请实施例中，根据深度图中感兴趣区域中各像素单元对应的置信度的分布，可以确定感兴趣区域是否存在超出测量范围的背景。
作为一种可能的实现方式，可以判断感兴趣区域中是否存在置信度小于第一置信阈值的像素单元，若是，则确定感兴趣区域中存在超出测量范围的背景，若否，则确定感兴趣区域中不存在超出测量范围的背景。
其中，第一置信阈值可以根据可测量范围预先确定，比如，可以预先确定在近景拍摄时，对应的可测量范围，从而根据该可测量范围，确定第一置信阈值，或者，也可以预先确定在远景拍摄时，对应的可测量范围，从而根据该可测量范围，确定第一置信阈值。在用户拍摄图像时，可以根据用户的操作，确定为近景拍摄还是为远景拍摄，从而可以确定对应的第一置信阈值。
需要说明的是，由于感兴趣区域中可能存在异常点、干扰点，或者，感兴趣区域中只存在较小部分的背景区域，比如只存在一个小墙角，因此，若成像图中仅存在几个或较少个数的像素单元对应深度的置信度小于置信阈值，即确定感兴趣区域中存在超出测量范围的背景显然是不合理的。
因此，作为另一种可能的实现方式，为了提升判断结果的准确性，可以对感兴趣区域中，对应置信度小于置信阈值的像素单元统计个数，得到第一像素个数，并确定第一像素个数与所述感兴趣区域内总像素个数之比，得到第一比值，并判断第一比值是否大于第一阈值，若是，则确定感兴趣区域中存在超出测量范围的背景，若否，则确定所述感兴趣区域中不存在超出测量范围的背景。其中，第一比值为预先设置的，比如，第一比值可以为10％。
本申请实施例中，当确定存在超出测量范围的背景，即背景较远时，识别感兴趣区域所属场景类型为第一场景类型。
本申请实施例中，当确定不存在超出测量范围的背景时，可以根据感兴趣区域中各像素单元对应的深度分布，确定感兴趣区域中背景与前景之间的距离等级。
作为一种可能的实现方式，可以根据感兴趣区域中各像素单元的深度分布，确定最大深度和最小深度，根据最大深度和最小深度之比或之差，确定感兴趣区域中背景与前景之间的距离等级。
需要说明的是，由于感兴趣区域中可能存在异常点、干扰点，导致相应像素单元对应深度的置信度较小(距离摄像头较远)，若将该像素单元对应的深度，作为最大深度显然是不合理的。因此，作为又一种可能的实现方式，为了提升判断结果的准确性，可以对所述感兴趣区域，从各像素单元对应深度中，筛选出置信度大于第二置信阈值的目标深度，并从目标深度中，确定最大深度和最小深度，从而可以根据最大深度和最小深度之比或之差，确定感兴趣区域中背景与前景之间的距离等级。其中，第二置信阈值为预先确定的。
举例而言，当最大深度和最小深度之比越大，或者最大深度和最小深度之差越大时，可以确定距离等级越大，而当最大深度和最小深度之比越小，或者最大深度和最小深度之差越小，可以确定距离等级越小。其中，距离等级越大，前景与背景之间的距离越远，距离等级越小，前景与背景之间的距离越近。
本申请实施例中，在确定距离等级后，可以根据该距离等级，识别感兴趣区域属于第二场景类型还是第三场景类型。其中，第二场景类型中背景与前景之间的距离大于第三场景类型中背景与前景之间的距离。
作为一种可能的实现方式，可以预先建立距离等级与场景类型之间的对应关系，从而本申请中，在确定距离等级后，可以查询上述对应关系，确定感兴趣区域所属场景等级。
举例而言，当最大深度和最小深度之比或之差处于第一范围内，确定距离等级为等级一，当最大深度和最小深度之比或之差处于第二范围内，确定距离等级为等级二，建立等级一与场景类型三，等级二与场景类型二之间的对应关系。从而本申请中，在确定最大深度和最小深度后，可以判断最大深度和最小深度之比或之差是位于第一范围内还是位于第二范围内，若位于第一范围内，则确定距离等级为等级一，感兴趣区域属于第三场景类型，若位于第二范围内，则确定距离等级为等级二，感兴趣区域属于第二场景类型。
步骤504，根据场景类型，调整深度传感器的运行参数。
其中，运行参数表，可以根据实验测试得到，还可以根据TOF硬件参数进行计算得到，当然，也可以通过其他方式产生，本实施例对此不做限制。
作为一种可能的实现方式，可以预先在运行参数表中存储深度传感器的运行参数与场景类型之间的对应关系，从而本申请中，在根据深度的分布和置信度的分布确定场景类型后，可以查询上述运行参数表，以得到场景类型对应的频率和功率。
举例来说，运行参数表中存储的深度传感器的运行参数与场景类型之间的对应关系为，第一场景类型对应于双频和高功率；第二场景类型对应于单频或者双频和中功率；第三场景类型对应于单频和低功率。本示例中，假如确定场景类型为第三场景类型，此时，背景较近，控制深度传感器调整为单一频率和低功率的红外光即可。
需要说明的是，本实施例中，深度传感器采集深度图时，发射的红外光的频率包括单一频率和双频率两种情况，例如，可以发射40Hz和60Hz两种频率的光中的任一种，也可以同时发射40Hz和60Hz两种频率的光。
本申请实施例中，根据场景类型，查询运行参数表，得到对应的频率和功率之后，将深度传感器调整为查询到的频率和功率。
本申请实施例的深度传感器的参数调整方法，通过根据深度的分布和置信度的分布，确定场景类型，以根据场景类型，调整深度传感器的运行参数。由此，通过将深度传感器调整为不同场景类型对应的运行参数，避免了现有技术中不同场景下，深度传感器采用固定的运行参数采集深度图，导致采集的深度图质量较低的技术问题，从而确保了输出的深度图的质量。
为了实现上述实施例，本申请还提出一种深度传感器的参数调整装置。
图6为本申请实施例提供的一种深度传感器的参数调整装置的结构示意图。
本申请实施例的深度传感器的参数调整装置可以设置于电子设备中，该电子设备可以为移动终端或者智能摄像机等，对此不作限制。移动终端可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作***、触摸屏和/或显示屏的硬件设备。
如图7所示，该深度传感器的参数调整装置100包括：获取模块110、统计模块120以及调整模块130。
获取模块110，用于获取深度传感器采集的深度图；其中，深度图中各像素单元具有对应的深度和深度的置信度。
本申请实施例中，电子设备可以包括TOF相机或TOF摄像头，通过设置于TOF相机或TOF摄像头中的深度传感器采集得到深度图，采集得到的深度图中每个像素单元具有对应的深度和深度的置信度。
其中，TOF相机可以包括红外发射光源，通过红外发射光源向外发射光波信号，感光模组可以接收反射光波信号，从而根据发射光波信号与反射光波信号的相位变化，可以进行距离测量，得到对应的深度。
也就是说，每个像素单元对应的深度是根据红外光相位差生成的，而深度的置信度是根据红外光强确定的，其中，距离TOF相机越近，深度越小，深度的置信度越大，距离TOF相机越远，深度越大，深度的置信度越小。
统计模块120，用于对深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，深度的分布，用于指示各深度区间的像素单元占比；置信度的分布，用于指示各置信度区间的像素单元占比。
本申请实施例中，获取到深度传感器采集的深度图后，统计模块120对深度图中各像素单元进行统计，可以得到深度的分布和置信度的分布。
作为一种可能的实现方式，统计模块120对深度图中各像素单元进行统计得到深度的分布，具体地，对获取到的深度图，预先设定深度区间，进而统计深度图中各深度区间内像素单元的个数，计算各深度区间内像素单元的个数与深度图的像素单元总个数之比，得到各深度区间的像素单元占比，进而得到深度的分布。
作为另一种可能的实现方式，统计模块120对深度图中各像素单元进行统计得到置信度的分布，具体地，对获取到的深度图，预先设定置信度区间，统计深度属于相应置信度区间的像素单元个数，计算各像素单元个数与深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比，进而得到置信度的分布。
调整模块130，用于根据深度的分布和置信度的分布，调整深度传感器的运行参数。
本申请实施例中，在对深度图中各像素单元进行统计，得到深度的分布和置信度的分布后，调整模块130根据深度的分布和置信度的分布，调整深度传感器工作时TOF发射的红外光的功率和红外光的频率。其中，红外光的频率包括高频、双频和低频。
需要说明的是，背景距离TOF相机越近，深度越小，深度的置信度越大，背景距离TOF相机越远，深度越大，深度的置信度越小，因此，本申请实施例中，根据深度的分布和置信度的分布，确定拍摄的深度图到TOF相机的距离，进而，根据深度图到TOF相机的距离，调整深度传感器的运行参数。
作为一种可能的实现方式，对深度图中各像素单元进行统计，确定较小的深度区间内，像素单元占比最大，并且较大的置信度区间内，像素单元占比最大，这种情况下，可以调整深度传感器采用高频进行图像采集。在置信度分布较小，深度较大时，调整深度传感器采用低频进行图像采集，例如，置信度较小，深度在2.5m左右时，调整深度传感器的频率为40Hz。在置信度分布更小，深度更大时，调整深度传感器采用双频进行图像采集，例如，置信度较低，深度超过3m时，为了提高测量的准确度，可以调整深度传感器采用双频进行图像采集。
作为另一种可能的实现方式，在对深度图中各像素单元进行统计，得到深度的分布和置信度的分布后，还可以根据深度的分布和置信度的分布，查询运行参数表，得到对应的目标参数。进而，将深度传感器的运行参数调整为目标参数。
进一步地，在本申请实施例的一种可能的实现方式中，调整模块130，包括：
查询单元，用于根据深度的分布和置信度的分布，查询运行参数表，得到对应的目标参数。
调整单元，用于将深度传感器的运行参数调整为目标参数。
作为另一种可能的实现方式，所述深度传感器为飞行时间TOF相机，所述运行参数包括所述TOF发射的红外光的功率和所述红外光的频率。
作为另一种可能的实现方式，所述红外光的频率包括单一频率和双频率；在图6的基础上，参见图7，深度传感器的参数调整装置100，还包括：
检测模块140，用于检测连续采集的各帧成像图，以根据相邻两帧成像图之间的变化部分，确定场景变化程度。
其中，成像图为二维图像，例如，电子设备可以包括RGB摄像头，通过该RGB摄像头采集得到成像图。
本申请实施例中，检测模块140从电子设备连续采集的各帧成像图中，选取相邻两帧成像图，以根据相邻两帧成像图之间的变化部分，确定场景变化程度。
作为一种可能的实现方式，可以通过计算相邻两帧成像图之间的图像差异，以根据图像的差异程度，确定场景变化程度。也就是说，相邻两帧成像图之间的差异程度越大，场景变化程度越大，同样地，相邻两帧成像图之间的差异程度越小，场景变化程度越小。
作为另一种可能的实现方式，还可以通过计算相邻两帧成像图中各像素单元对应的坐标差值，确定场景变化程度。也就是说，相邻两帧成像图中各像素单元对应的坐标差值越大，场景变化程度越大，同样地，相邻两帧成像图之间的坐标差值越小，场景变化程度越小。
作为另一种可能的实现方式，获取模块110，还用于：
若场景变化程度大于阈值程度，将深度传感器设置为最大功率和双频率；获取深度传感器以最大功率和双频率采集的深度图。
本申请实施例中，根据相邻两帧成像图之间的变化部分，确定场景变化程度大于阈值程度时，确定采集相邻两帧成像图时拍摄场景发生了变化。此时，将深度传感器设置为最大功率和双频率，以尽可能准确的采集到场景的全部信息。
需要说明的是，TOF发射的红外光的频率包括单一频率和双频率两种情况，例如，可以发射40Hz和60Hz两种频率的光中的任一种，也可以同时发射40Hz和60Hz两种频率的光。
本申请实施例中，将深度传感器设置为最大功率和双频率后，控制深度传感器以最大功率和双频率采集深度图，从而获取到深度传感器以最大功率和双频率采集的深度图。
本申请实施例中，将深度传感器设置为双频率采集深度图，是指控制深度传感器同时采用两种频率的光测量得到两个深度，进而，对两个深度求均值或者加权求和，得到一个深度，最终输出对应的深度图。
作为另一种可能的实现方式，统计模块120，还用于：
根据设定的深度区间，统计深度属于相应深度区间的像素单元个数，得到第一像素单元个数；根据第一像素单元个数与深度图的像素单元总个数之比，得到相应深度区间的像素单元占比；根据各深度区间的像素单元占比，得到深度的分布。
本申请实施例中，为了确定深度图中深度的分布，获取到深度传感器采集的深度图后，在设定的深度区间内，对深度图中各像素单元进行统计。具体地，统计深度图中深度属于相应深度区间的像素单元个数，得到第一像素单元个数。例如，分别统计深度图中，前景区域、中景区域以及背景区域中像素单元个数。本申请实施例中，根据设定的深度区间，统计深度属于相应深度区间的像素单元个数，得到第一像素单元个数后，计算第一像素单元个数与深度图的像素单元总个数之比，进而得到相应深度区间的像素单元占比。根据第一像素单元个数与深度图的像素单元总个数之比，得到各深度区间的像素单元占比之后，可以根据各深度区间的像素单元占比，确定拍摄场景中深度图的深度的分布。
作为另一种可能的实现方式，统计模块120，还用于：
根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，得到第二像素单元个数；根据第二像素单元个数与深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比；根据各置信度区间的像素单元占比，得到置信度的分布。
需要说明的是，由于深度图中可能存在异常点、干扰点，或者，深度图中只存在较小部分的背景区域，比如只存在一个小墙角，因此，若深度图中存在超出测量范围的背景显然是不合理的。因此，作为一种可能的实现方式，为了提升判断结果的准确性，可以对深度图中，根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，得到第二像素单元个数。本申请实施例中，根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，得到第二像素单元个数后，计算第二像素单元个数与深度图的像素单元总个数之比，即可得到相应置信度区间的像素单元占比。根据第二像素单元个数与深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比之后，可以得到深度图中置信度的分布。
可以理解为，各置信度区间的像素单元占比越大，可以确定背景越远，可以识别场景类型为远距离拍摄场景。由此，可以根据得到的置信度分布，通过查询运行参数表，确定与置信度分布对应的目标参数分布。
需要说明的是，前述对深度传感器的参数调整方法实施例的解释说明也适用于该实施例的深度传感器的参数调整装置，此处不再赘述。
本申请实施例的深度传感器的参数调整装置，通过获取深度传感器采集的深度图；其中，深度图中各像素单元具有对应的深度和深度的置信度；对深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，深度的分布，用于指示各深度区间的像素单元占比；置信度的分布，用于指示各置信度区间的像素单元占比；根据深度的分布和置信度的分布，调整深度传感器的运行参数。由此，根据深度图中深度的分布和置信度的分布，确定深度传感器的运行参数，避免了现有技术中不同场景下，深度传感器采用固定的运行参数采集深度图像，导致采集的深度图质量较低的技术问题，从而确保了输出的深度图的质量。
为了实现上述实施例，本申请还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的深度传感器的参数调整方法。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的深度传感器的参数调整方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种深度传感器的参数调整方法，其特征在于，所述方法包括：
获取深度传感器采集的深度图；其中，所述深度图中各像素单元具有对应的深度和所述深度的置信度；
对所述深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，所述深度的分布，用于指示各深度区间的像素单元占比；所述置信度的分布，用于指示各置信度区间的像素单元占比；
根据所述深度的分布和所述置信度的分布，调整所述深度传感器的运行参数，所述深度的置信度根据反射光光强确定。
2.根据权利要求1所述的参数调整方法，其特征在于，所述根据所述深度的分布和所述置信度的分布，调整所述深度传感器的运行参数，包括：
根据所述深度的分布和所述置信度的分布，查询运行参数表，得到对应的目标参数；
将所述深度传感器的运行参数调整为所述目标参数。
3.根据权利要求1所述的参数调整方法，其特征在于，所述深度传感器为飞行时间TOF相机，所述运行参数包括所述TOF发射的红外光的功率和所述红外光的频率；所述红外光的频率包括单一频率和双频率；
所述获取深度传感器采集的深度图之前，还包括：
检测连续采集的各帧成像图，以根据相邻两帧成像图之间的变化部分，确定场景变化程度；
所述获取深度传感器采集的深度图，包括：
若所述场景变化程度大于阈值程度，将所述深度传感器设置为最大功率和所述双频率；
获取所述深度传感器以所述最大功率和所述双频率采集的所述深度图。
4.根据权利要求3所述的参数调整方法，所述置信度是根据所述TOF相机检测到的红外光的光强确定的。
5.根据权利要求1-4任一项所述的参数调整方法，其特征在于，所述对所述深度图中各像素单元进行统计，得到深度的分布和置信度的分布，包括：
根据设定的深度区间，统计深度属于相应深度区间的像素单元个数，得到第一像素单元个数；
根据所述第一像素单元个数与所述深度图的像素单元总个数之比，得到相应深度区间的像素单元占比；
根据各深度区间的像素单元占比，得到所述深度的分布。
6.根据权利要求1-4任一项所述的参数调整方法，其特征在于，所述对所述深度图中各像素单元进行统计，得到深度的分布和置信度的分布，包括：
根据设定的置信度区间，统计深度属于相应置信度区间的像素单元个数，得到第二像素单元个数；
根据所述第二像素单元个数与所述深度图的像素单元总个数之比，得到相应置信度区间的像素单元占比；
根据各置信度区间的像素单元占比，得到所述置信度的分布。
7.一种深度传感器的参数调整装置，其特征在于，所述装置包括：
获取模块，用于获取深度传感器采集的深度图；其中，所述深度图中各像素单元具有对应的深度和所述深度的置信度；
统计模块，用于对所述深度图中各像素单元进行统计，得到深度的分布和置信度的分布；其中，所述深度的分布，用于指示各深度区间的像素单元占比；所述置信度的分布，用于指示各置信度区间的像素单元占比；
调整模块，用于根据所述深度的分布和所述置信度的分布，调整所述深度传感器的运行参数，所述深度的置信度根据反射光光强确定。
8.根据权利要求7所述的参数调整装置，其特征在于，所述调整模块，包括：
查询单元，用于根据所述深度的分布和所述置信度的分布，查询运行参数表，得到对应的目标参数；
调整单元，用于将所述深度传感器的运行参数调整为所述目标参数。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的深度传感器的参数调整方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的深度传感器的参数调整方法。
CN201910623060.1A 2019-07-11 2019-07-11 深度传感器的参数调整方法、装置以及电子设备 Active CN110400342B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910623060.1A CN110400342B (zh) 2019-07-11 2019-07-11 深度传感器的参数调整方法、装置以及电子设备
PCT/CN2020/095024 WO2021004216A1 (zh) 2019-07-11 2020-06-09 深度传感器的参数调整方法、装置以及电子设备
EP20836859.7A EP3996041A4 (en) 2019-07-11 2020-06-09 METHOD AND DEVICE FOR ADJUSTING THE PARAMETERS OF A DEPTH SENSOR AND ELECTRONIC DEVICE
US17/573,137 US20220130073A1 (en) 2019-07-11 2022-01-11 Parameter adjustment method and device for depth sensor, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910623060.1A CN110400342B (zh) 2019-07-11 2019-07-11 深度传感器的参数调整方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN110400342A CN110400342A (zh) 2019-11-01
CN110400342B true CN110400342B (zh) 2021-07-06

Family

ID=68324592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910623060.1A Active CN110400342B (zh) 2019-07-11 2019-07-11 深度传感器的参数调整方法、装置以及电子设备

Country Status (4)

Country Link
US (1) US20220130073A1 (zh)
EP (1) EP3996041A4 (zh)
CN (1) CN110400342B (zh)
WO (1) WO2021004216A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400342B (zh) * 2019-07-11 2021-07-06 Oppo广东移动通信有限公司 深度传感器的参数调整方法、装置以及电子设备
CN110378946B (zh) 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
CN112099051A (zh) * 2020-08-13 2020-12-18 欧菲微电子技术有限公司 Tof测距方法、tof传感模组及电子设备和存储介质
CN112073708B (zh) * 2020-09-17 2022-08-09 君恒新信息科技(深圳)有限公司 一种tof相机光发射模组的功率控制方法及设备
CN112911091B (zh) * 2021-03-23 2023-02-24 维沃移动通信（杭州）有限公司 多点激光器的参数调整方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
CN107204012A (zh) * 2016-03-16 2017-09-26 美国亚德诺半导体公司 降低飞行时间深度成像的功耗
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN108564620A (zh) * 2018-03-27 2018-09-21 中国人民解放军国防科技大学 一种针对光场阵列相机的场景深度估计方法
CN109819238A (zh) * 2019-02-22 2019-05-28 北京旷视科技有限公司 Tof图像采集模块的工作频率调节方法、装置和电子***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US11209528B2 (en) * 2017-10-15 2021-12-28 Analog Devices, Inc. Time-of-flight depth image processing systems and methods
CN108765481B (zh) * 2018-05-25 2021-06-11 亮风台（上海）信息科技有限公司 一种单目视频的深度估计方法、装置、终端和存储介质
CN108833889B (zh) * 2018-08-22 2020-06-23 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法
CN110400342B (zh) * 2019-07-11 2021-07-06 Oppo广东移动通信有限公司 深度传感器的参数调整方法、装置以及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
CN107204012A (zh) * 2016-03-16 2017-09-26 美国亚德诺半导体公司 降低飞行时间深度成像的功耗
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN108564620A (zh) * 2018-03-27 2018-09-21 中国人民解放军国防科技大学 一种针对光场阵列相机的场景深度估计方法
CN109819238A (zh) * 2019-02-22 2019-05-28 北京旷视科技有限公司 Tof图像采集模块的工作频率调节方法、装置和电子***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多视图深度采样的自然场景三维重建;姜翰青 等;《计算机辅助设计与图形学学报》;20151031;第27卷(第10期);全文 *

Also Published As

Publication number Publication date
CN110400342A (zh) 2019-11-01
EP3996041A4 (en) 2022-08-10
WO2021004216A1 (zh) 2021-01-14
US20220130073A1 (en) 2022-04-28
EP3996041A1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
CN110400342B (zh) 深度传感器的参数调整方法、装置以及电子设备
CN110378946B (zh) 深度图处理方法、装置以及电子设备
CN110378945B (zh) 深度图处理方法、装置和电子设备
KR102660109B1 (ko) 이미지에 대한 깊이 맵을 결정하기 위한 방법 및 장치
EP3579546B1 (en) Exposure control method, exposure control device and electronic device
CN106851124B (zh) 基于景深的图像处理方法、处理装置和电子装置
CN110378944B (zh) 深度图处理方法、装置和电子设备
CN111091592B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN110400338B (zh) 深度图处理方法、装置和电子设备
CN111047615B (zh) 基于图像的直线检测方法、装置以及电子设备
US10616561B2 (en) Method and apparatus for generating a 3-D image
US20220084225A1 (en) Depth Map Processing Method, Electronic Device and Readable Storage Medium
CN110400340B (zh) 深度图处理方法和装置
CN110956603A (zh) 深度图像边缘飞点的检测方法、装置及电子设备
CN112889272B (zh) 深度图像获取方法、深度图像获取装置及电子装置
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
CN110956657A (zh) 深度图像获取方法及装置、电子设备及可读存储介质
CN111091507A (zh) 图像处理方法、装置、电子设备以及存储介质
CN115131215A (zh) 一种图像的校正方法及及屏下***
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN110390689B (zh) 深度图处理方法、装置和电子设备
CN108957914B (zh) 激光投射模组、深度获取装置和电子设备
CN107025636B (zh) 结合深度信息的图像去雾方法及装置和电子装置
CN112367476B (zh) Tof相机的曝光时间确定方法、装置及终端设备
CN113676706A (zh) 烹饪视频生成方法、装置、服务器及控制***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant