CN114866703A - 基于tof成像***的主动曝光方法、装置及电子设备 - Google Patents
基于tof成像***的主动曝光方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114866703A CN114866703A CN202110146847.0A CN202110146847A CN114866703A CN 114866703 A CN114866703 A CN 114866703A CN 202110146847 A CN202110146847 A CN 202110146847A CN 114866703 A CN114866703 A CN 114866703A
- Authority
- CN
- China
- Prior art keywords
- frame
- automatic exposure
- target scene
- exposure time
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 7
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000000737 periodic effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种基于TOF成像***的自动曝光方法。该方法包括：获取当前帧中的计算帧的目标场景图像的灰度信息；根据获取的灰度信息，计算自动曝光时间；以及根据自动曝光时间，对当前帧中的计算帧之后的多个子帧的曝光时间进行调整。采用该自动曝光方法的TOF成像***在成像过程中，能够将根据当前帧的目标场景计算出自动曝光时间应用于当前帧，有利于提高测量精度以及成像准确度。
Description
技术领域
本申请涉及机器视觉领域，更具体地，涉及一种基于TOF成像***的自动曝光方法、自动曝光装置、电子设备、计算机可读介质以及TOF成像***。
背景技术
目前，越来越多的移动机器人采用搭载诸如TOF(Time of Flight,飞行时间)相机等视觉传感器来感知外部环境，以实现自动导航和避障的功能。
TOF相机通过向目标场景发射光，然后使用图像传感器接收从目标场景反射的光，以计算发射光和反射光的飞行(往返)时间，从而获得TOF相机与目标场景的距离。这样TOF相机拍摄的图像在具有常规的二维图像信息的同时，还具有TOF相机与目标场景距离的深度信息，并且以此生成目标场景的三维图像。
随着机器人的移动速度的提高，在场景快速切换时，会导致TOF相机生成的图像呈现过曝或者欠曝的情况，从而导致机器人与目标场景的物体发生碰撞等。
发明内容
本申请提供了一种可至少部分解决上述技术问题的基于TOF成像***的自动曝光方法、自动曝光装置、电子设备、计算机可读介质以及TOF成像***。
本申请的一方面提供了一种自动曝光方法。该方法包括：获取当前帧中的计算帧的目标场景图像的灰度信息；根据获取的灰度信息，计算自动曝光时间；以及根据自动曝光时间，对当前帧中的计算帧之后的多个子帧的曝光时间进行调整。
在一个实施方式中，计算帧可包括有效帧和有效帧之后的无效帧，其中，获取灰度信息的步骤可包括：获取计算帧中的有效帧的目标场景图像的灰度信息。
在一个实施方式中，无效帧内的曝光时间可为零。
在一个实施方式中，无效帧内的曝光时间可为非零常量。
在一个实施方式中，获取灰度信息的步骤可包括：根据当前帧中的计算帧的目标场景图像的幅值信息，获取当前帧中的计算帧的灰度信息。
在一个实施方式中，目标场景图像的灰度信息可包括目标场景图像的多个像素的灰度值，其中，计算自动曝光时间的步骤可包括：根据多个像素的灰度值的平均值，计算自动曝光时间。
在一个实施方式中，该方法还包括：根据自动曝光时间，对后一帧中的计算帧的曝光时间进行调整。
在一个实施方式中，当前帧中的计算帧之后的多个子帧为四个子帧。
在一个实施方式中，调整多个子帧的曝光时间的步骤可包括：对多个子帧中的每个子帧按照相同的自动曝光时间进行调整。
在一个实施方式中，当前帧和后一帧之间可具有时间间隔。
本申请的另一方面提供了一种自动曝光装置，该装置包括：获取模块，用于获取当前帧中的计算帧的目标场景图像的灰度信息；计算模块，用于根据获取的灰度信息，计算自动曝光时间；以及调整模块，用于根据自动曝光时间，对当前帧中的计算帧之后的多个子帧的曝光时间进行调整。
在一个实施方式中，计算帧可包括有效帧和有效帧之后的无效帧，灰度信息可来自于计算帧中的有效帧的目标场景图像。
在一个实施方式中，无效帧内的曝光时间可为零。
在一个实施方式中，无效帧内的曝光时间可为非零常量。
在一个实施方式中，调整模块还可用于根据自动曝光时间，对后一帧中的计算帧的曝光时间进行调整。
本申请的另一方面还提供了一种电子设备，该电子设备包括：存储器，用于存储程序；处理器，用于执行该程序时，执行如上文描述的自动曝光方法的任一实施方式。
本申请的另一方面还提供了一种计算机可读介质。其上存储有计算机程序，当该计算机程序被处理器执行时，执行如上文描述的自动曝光方法的任一实施方式。
本申请的另一方面还提供了一种TOF成像***。该TOF成像***包括：光源模块，用于向目标场景发射光；感光模块，用于接收经由目标场景反射的光；工作模块，用于控制光源模块和感光模块，并且对感光模块接收的反射光进行处理以执行如上文描述的自动曝光方法的任一实施方式。
采用该自动曝光方法的TOF成像***在成像过程中，能够将根据当前帧的目标场景计算出自动曝光时间应用于当前帧，有利于提高测量精度以及成像质量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请实施方式的TOF成像***的工作原理图；
图2是根据本申请实施方式的TOF成像***的组成框图示意图；
图3是根据本申请实施方式的基于TOF成像***的自动曝光方法的流程图；
图4是根据本申请实施方式的当前帧格式和后一帧格式的示意图；
图5是现有的当前帧格式和后一帧格式的示意图；以及
图6是适于用实现本申请实施方式的自动曝光方法的电子设备的结构示意图。
具体实施方式
为了更好地理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。
本文使用的术语是为了描述特定示例性实施方式的目的，并且不意在进行限制。当在本说明书中使用时，术语“包含”、“包含有”、“包括”和/或“包括有”表示存在所述特征、整体、元件、部件和/或它们的组合，但是并不排除一个或多个其它特征、整体、元件、部件和/或它们的组合的存在性。
本文参考示例性实施方式的示意图来进行描述。本文公开的示例性实施方式不应被解释为限于示出的具体形状和尺寸，而是包括能够实现相同功能的各种等效结构以及由例如制造时产生的形状和尺寸偏差。附图中所示的位置本质上是示意性的，而非旨在对各部件的位置进行限制。
除非另有限定，否则本文使用的所有术语(包括技术术语和科学术语)具有与本公开所属技术领域的普通技术人员的通常理解相同的含义。诸如常用词典中定义的术语应被解释为具有与其在相关领域的语境下的含义一致的含义，并且将不以理想化或过度正式的意义来解释，除非本文明确地如此定义。
TOF成像***能够获取观测点(TOF成像***)到目标场景的距离信息，进而获取目标场景图像的深度信息，以生成三维图像。并且TOF成像***具有实时性高、精度稳定以及占用空间小等优势，可被实施为诸如相机等设备，广泛应用于机器视觉处理，例如物体识别、三维重建以及移动机器人导航等领域。
图1是本申请实施方式的TOF成像***100的工作原理图。如图1所示，TOF成像***100被适用于获取目标场景200的图像。与传统的成像***不同的是，TOF成像***100可根据飞行时间(TOF)法获取待测的目标场景200的三维图像信息。TOF成像***100获取目标场景200的三维图像信息的过程，简化而言，是通过目标场景200的反射光线进入到TOF成像***100，并被TOF成像***100的图像传感器接收，图像传感器对进入的光进行初步的分析处理后，将携带有图像信息的反射光转化为目标场景200的三维图像信息，以完成对目标场景200的拍摄。在TOF成像***100的成像过程中，TOF成像***100的曝光性能直接或间接地影响目标场景200的成像效果，尤其对于TOF成像***100与目标场景200切换速度过快的情况。
图2是根据本申请实施方式的TOF成像***100的组成框图示意图。如图2所示，TOF成像***100可包括光源模块110、感光模块120以及工作模块130。
光源模块110可向目标场景主动地发射光，该发射光可作为用于探测目标场景的光信号。光源模块110可包括至少一个光源，例如激光光源或者LED光源。在一些实施方式中，光源可被实施为垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser，简称VCSEL)。光源的核心参数为中心波长，可采用例如850nm或者940nm的红外光。太阳光在850nm波长时照度较强，在940nm波长时照度较弱，因此，940nm波长的红外光作为光源时更能够避免室外太阳光作为环境光的干扰。
光源模块110发射的光信号可为经过调制的光脉冲或者连续波，并且调制后的光脉冲的频率可达到100MHz。
感光模块120可接收经由目标场景反射后形成的反射光，反射光携带的反射光信号可包括目标场景200与TOF成像***100之间的距离信息，通过对该距离信息进行相应的处理可获得目标场景200图像的深度信息。
感光模块120可包括至少一个图像传感器，该图像传感器可例如为具有高速快门和曝光累计功能的CCD图像传感器或者CMOS图像传感器。图像传感器可包括布置成二维阵列的多个像素，与传统的图像传感器的差别在于，应用于TOF成像***100的图像传感器还包括调制控制单元和A/D转换单元等，用于对反射光信号进行解调以及初步的数据处理。因此，应用于TOF成像***100的图像传感器的单个像素的尺寸大于传统的图像传感器的单个像素尺寸，例如TOF成像***100的图像传感器的尺寸可为20μm。
在一些实施方式中，感光模块120还可包括设置于该图像传感器的感光路径上的镜头(未示出)，用于搜集经由目标场景反射的光。感光模块120还可包括滤光元件(未示出)，例如红外带通滤光片。将滤光元件设置于图像传感器和镜头之间，能够保证只有与光源模块110发出的发射光的波长相同的反射光进入图像传感器。滤光元件通过过滤掉散杂光，提高TOF成像***100的成像质量。
工作模块130可通信地连接于光源模块110和感光模块120，以实现对光源模块110和感光模块120的控制以及进行数据交互。应理解的是，通信连接的方式不限于被实施为有线或无线的连接方式，如电连接方式，信号连接方式等。
在一些实施方式中，工作模块130可包括控制单元131。控制单元131可通过向光源模块110和感光模块120传输控制信号，以控制光源模块110和感光模块120的工作状态。例如，控制单元131可控制光源模块110的光源发射具有预设波长和频率的发射光或者可控制感光模块120的接收反射光的曝光时间。换言之，光源模块110和感光模块120可藉由工作模块130改变其工作状态。可选地，控制单元131可同步地传输控制信号至光源模块110和感光模块120，以使光源模块110和感光模块120同步工作，用于提高TOF成像***100所获取的目标场景图像的深度信息的精确度。
在一些实施方式中，工作模块130还可包括处理单元132。处理单元132可通信地连接于感光模块120，用于接收感光单元120采集的目标场景图像信息进行进一步处理，以生成关于目标场景的图像的灰度信息或者深度信息，进而生成关于目标场景的三维图像。
处理单元132还可通信地连接于控制单元131，用于根据采集的关于目标场景图像的部分信息，经过相应的计算处理后，获得用于控制光源模块110和感光模块120的控制信号，传输至控制单元131。例如，处理单元132可根据自动曝光的控制需求，按照一定的自动曝光方法，计算并生成用于控制单元132执行自动曝光操作的控制信号，并将该控制信号传输至控制单元131，以使控制单元131控制感光模块120执行自动曝光操作。
TOF成像***100的工作过程可采用如下内容进行描述。光源模块110发射具有预设的波长的发射光，发射光遇到目标场景中的被测物体的表面后发生反射形成反射光。感光模块120可被控制地在不同时间段快速地接收反射光，以获得目标场景的灰度信息和深度信息。具体地，在光源模块110发出发射光之后，感光模块120快速地曝光以获取几张图片，并且基于这几张图片计算出发射光和反射光之间的时间差或者相位差，以计算出目标场景物体与TOF成像***100的距离信息，即深度信息。而且在获取目标场景深度信息的同时可获取目标场景的灰度信息。通过整合深度信息和灰度信息，从而获得目标场景的三维图像。
应理解的是，根据光源信号调制方式不同，测距方法可分为直接TOF测量法和间接TOF测量法。在直接TOF测量法中，光信号以脉冲的形式出现，通过获取光脉冲从发射到接收的时间，获取从目标场景反射的光信号到图像传感器的距离。在间接TOF测量法中，发射光信号经过调制后可为周期性光信号，例如正弦光信号，发射光信号经过往返距离延迟后，到达图像传感器的相位发生改变，通过一定的鉴相技术，计算出相位的变化，从而获取从目标场景反射的光信号到图像传感器的距离。
本申请提供了一种自动曝光方法1000，下面参考图2出示的TOF成像***100，对各个步骤进行详细地描述。工作模块130可通过方法1000控制感光模块120的曝光时间，使感光模块120以自动曝光的方式获取目标场景图像。通过对方法1000进行的描述，可进一步解释图2所示的TOF成像***100的各个模块的具体处理和相互协作。
图3是根据本申请实施方式的基于TOF成像***100的自动曝光方法1000的流程图。如图3所示，方法1000可包括如下步骤：
步骤S110，获取当前帧中的计算帧的目标场景图像的灰度信息。
步骤S120，根据获取的灰度信息，计算自动曝光时间。
步骤S130，根据自动曝光时间，对当前帧中的计算帧之后的多个子帧的曝光时间进行调整。
在步骤S110中，光源模块110通过主动地向目标场景发射光，并且该发射光探测到目标场景后形成反射光，感光模块120接收该反射光，以获取目标场景图像的灰度信息。上文中详细地描述了TOF成像***100获取目标场景图像的工作过程以及在工作过程中各个硬件的功能，在此不再赘述。
TOF成像***100能够以一定的帧率获取目标场景图像，并且随着帧率的提高，TOF成像***100可实时地生成关于目标场景的三维图像。示例性地，嵌入TOF成像***100的设备诸如相机可搭载于移动机器人上，基于SLAM(Simultaneous localization andmapping,同时定位和建图)技术，实现移动机器人的导航和避障功能。
每一帧(例如当前帧和后一帧)可被划分成计算帧以及该计算帧之后的多个子帧。计算帧可具有当前帧目标场景图像的灰度信息。多个子帧可具有一组类似的测量值，并且一组类似的测量值可用于获取当前帧的目标场景图像的深度信息。应理解的是，本申请所描述的当前帧可为TOF成像***100在工作过程中，连续地生成多帧目标场景图像中的任一帧。
在一些实施方式中，TOF成像***100的发射光可为具有预设的波长的周期性的发射光信号，例如正弦光信号。此时，如上文所述的测距原理，可利用发射光信号和反射光信号之间的相位差间接地计算光信号的往返行程的时间，从而计算TOF成像***100与目标场景的距离。换言之，可通过反射光信号在不同相位获取的目标场景图像信息，进而解算出目标场景图像的深度信息。因此，可通过在周期性的反射光信号的不同相位处以一定的曝光时间进行曝光，采集多个相位帧(子帧)处的目标场景图像信息，进而解算出目标场景图像的深度信息。对于正弦光信号，可采集反射光信号相位间隔90度的四个测量值，这样当前帧可通过四个子帧的测量值进行目标场景深度信息的解算。换言之，当前帧的计算帧之后的多个子帧可为四个子帧。
在一些实施方式中，计算帧可包括用于获取目标场景图像灰度的有效帧和该计算帧之后的无效帧。在计算帧获取的灰度信息需进一步进行处理，以计算出用于当前帧的自动曝光时间。由于发射光信号通常需要经过高频调制，计算帧中的有效帧与多个子帧之间的时间间隔非常短，在有效帧之后以及多个子帧之前增加无效帧，可为步骤S120预留出计算所需的时间。
在一些实施方式中，无效帧内的曝光时间可为零。换言之，在无效帧期间，感光模块120不执行曝光操作，无效帧可作为有效帧和后续的多个子帧的时间间隔。
在一些实施方式中，无效帧内的曝光时间可为非零常量。无效帧可不采用有效帧获取的灰度信息而计算出的当前帧的自动曝光时间执行曝光操作，而是以预设的固定曝光时间执行曝光操作。以这种自动曝光方法，可将无效帧采集的目标场景图像信息用于环境光的检测。同时，也能够为步骤S120预留出足够的计算所需的时间。
此外，获取目标场景灰度信息的方式，可为将TOF成像***100设置于灰度模式，使计算帧内采集目标场景图像的二维图像信息，利用该二维图像信息，获取当前帧的计算帧的目标场景图像的灰度信息。可选地，当TOF成像***发射周期性光信号时，例如正弦光信号，经由目标场景反射的反射光信号也可为周期性的，并且，由于目标场景中的各个物体的反射率不同，反射光光信号的幅值不同。因此，可根据当前帧的计算帧的目标场景图像的幅值信息，获取当前帧的计算帧的目标场景图像的灰度信息。
在步骤S120中，图像的灰度信息可为图像中各个像素的灰度值的集合。灰度值可为白色与黑色之间按对数关系分成的若干等级，范围一般为0至255，其中，白色为255，黑色为0。
为了满足动态的目标场景产生较大的距离跨度时有足够稳定的测量精度，可采用控制曝光时间的方式。而曝光情况在视觉上的表现可为灰度的变化，高曝光则灰度较高，图像趋亮；低曝光则灰度较低，图像趋暗。因此，可响应于当前帧的计算帧的目标场景图像的灰度信息，将其应用于TOF成像***100中的处理单元132，确定出与其相匹配的自动曝光时间。
在一些实施方式中，可根据图像各个像素的灰度值的平均值，作为计算自动曝光时间的参考依据，从而计算出当前帧的自动曝光时间。应理解的是，本申请实施方式的自动曝光时间的计算方法不应限于此，还可采用诸如局部采样法等其他自动曝光时间的计算方法，以计算出当前帧的自动曝光时间。
在步骤S130中，根据步骤S120中计算出的当前帧的自动曝光时间，通过工作模块130的控制单元131对当前帧的多个子帧中的每一个子帧的曝光时间进行调整。
在一些实施方式中，步骤S120中计算出的自动曝光时间还可用于对后一帧中的有效帧执行曝光操作，这样可使每一帧中的有效帧的曝光时间为可变化的。具体地，后一帧中的有效帧的曝光时间可为根据当前帧中的有效帧获取的目标场景图像的灰度信息进行调整，能够为后一帧中的有效帧获取后一帧的目标场景图像的灰度信息，提供更准确地曝光时间。
在一些实施方式中，当前帧和后一帧之间可具有时间间隔，这样可使TOF成像***100保持预设的帧率(例如10fps)工作。
在一些实施方式中，在多个子帧执行曝光程序时，每个子帧可按照步骤S120中获取的相同的自动曝光时间进行调整。这样有利于对当前帧中的多个子帧的曝光时间的控制，采用相同的自动曝光时间还有利于各个子帧采集的测量值的准确性。
图4为根据本申请实施方式的当前帧Fk格式后一帧Fk+1格式的示意图。如图4所示，当前帧Fk可包括计算帧Fc和四个子帧(第一子帧F1、第二子帧F2、第三子帧F3以及第四子帧F4)。TOF成像***在完整的当前帧Fk内可获取用于生成三维图像的目标场景图像信息。该目标场景图像信息可包括该图像的深度信息D以及灰度信息G。在计算帧Fc内，感光模块120可获取目标场景图像的灰度信息G；然后，灰度信息G可被传输至工作模块130中的处理单元132，采用例如全局灰度值平均值的算法，根据计算帧Fc内生成的灰度信息G，计算出适合于当前帧的自动曝光时间Ek。
示例性地，还可将计算帧Fc进一步划分为有效帧Fa和之后的无效帧Fna。在有效帧Fa内，感光模块120可获取目标场景图像的灰度信息G，而无效帧Fna可为计算出适合于当前帧Fk的自动曝光时间Ek提供时间间隔。
示例性地，当前帧Fk和后一阵Fk+1之间可具有时间间隔T，这样可使TOF成像***100处于工作状态时保持一定的帧率。
在第一子帧F1至第四子帧F4内，可通过使感光模块120中的图像传感器在自动曝光时间Ek内曝光来获取用于解算目标场景图像深度信息D的四个测量值。通过对四个测量值的解算可获取目标场景的深度信息D。结合在计算帧Fc内获取的目标场景图像的灰度信息G，可在完整的当前帧Fk内，通过工作模块130的处理单元132，生成关于目标场景的三维图像。
应理解的是，TOF成像***100在工作时，可连续地在一个帧周期内生成关于目标场景的三维图像，每个帧的格式可相同。这样在每个帧内，重复地执行上述命令，控制感光模块120以自动曝光的方式获取目标场景图像信息，以实现TOF成像***100的自动曝光功能。
图5是现有的当前帧F’k格式和后一帧F’k+1格式的示意图。如图5所示，在现有的自动曝光方法中，在当前帧F’k具有四个子帧(第一子帧F’1、第二子帧F’2。第三子帧F’3以及第四子帧F’4)的情况下，即在当前帧的目标场景图像信息(灰度信息G和深度信息D)通过四个子帧来获取时，当前帧F’k的自动曝光时间E’k需要根据前一帧(未示出)的目标场景图像信息的灰度信息来确定。换言之，当前帧F’k的目标场景图像信息的灰度信息G’用于确定后一帧F’k+1的自动曝光时间E’k+1。此外，还可在当前帧F’k和后一帧F’k+1之间设置时间间隔T’为计算后一帧F’k+1的自动曝光时间E’k提供足够的计算时间，同时可使TOF成像***100在正常工作时保持一定的帧率。
按照现有的自动曝光方法，当前帧F’k执行的自动曝光时间E’k为根据前一帧F’k-1的目标场景图像所确定的。这样会造成执行自动曝光时间E’k时滞后于获取的目标场景图像的灰度信息G’。例如，当TOF成像***以10fps连续地生成关于目标场景的三维图像时，当前帧F’k执行的自动曝光时间E’k滞后于获取的目标场景图像的灰度信息G’100ms。
当嵌入TOF成像***100的设备搭载于移动机器人用于避障及自动导航时，需要连续地生成目标场景的三维图像。在移动机器人(TOF成像***)与目标场景快速切换时，例如障碍物主动接近、机器人快速旋转或者当TOF成像***的帧率较低，当前帧与后一帧的时间间隔较长时，都会导致TOF成像***在相邻帧内获取目标场景图像差别较大。这样根据前一帧获取的目标场景图像的灰度信息而确定出的当前帧的自动曝光时间就不适用于当前帧进行曝光。换言之，若采用上一帧的目标场景图像的灰度信息确定出当前帧的自动曝光时间，可能会导致当前帧生成的目标场景图像过曝或者欠曝，还会影响目标场景图像的深度信息的准确性。
本申请提供的自动曝光方法，可将根据当前帧的目标场景图像的灰度信息确定出的自动曝光时间，应用于当前帧进行曝光。这样可避免在执行当前帧自动曝光时间时在时间上的延迟，从而可使当前帧的目标场景图像获得正确的曝光，并且有利于提高当前帧目标场景图像的深度信息的准确性。
图6是适用于实现本申请实施方式的自动曝光方法的电子设备300的结构示意图。应理解的是，图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备300包括一个或多个处理器301(例如，CPU)，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分306加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理器301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305包括：诸如硬盘等的存储部分306；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分307。通信部分307经由诸如因特网的网络执行通信处理。驱动器308也根据需要连接至I/O接口305。可拆卸介质309，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器308上，以便于从其上读出的计算机程序根据需要被安装入存储部分306。
本领域普通技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如下步骤：S110，获取当前帧中的计算帧的目标场景图像的灰度信息；S120，根据获取的灰度信息，计算自动曝光时间；以及S130，根据自动曝光时间，对当前帧中的计算帧之后的多个子帧的曝光时间进行调整。所述的存储介质包括例如ROM/RAM、磁碟、光盘等。
所述计算机程序可以被分割成多个模块，所述多个模块被存储在所述存储器中，并由所述处理器执行。所述多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述自动曝光装置中的执行过程。例如，所述计算机程序可以被分割成获取模块、计算模块以及调整模块，各模块具体功能如下：
获取模块，用于获取当前帧中的计算帧的目标场景图像的灰度信息。
计算模块，用于根据获取的灰度信息，计算自动曝光时间；以及
调整模块，用于根据自动曝光时间，对当前帧中的计算帧之后的多个子帧的曝光时间进行调整。
以上描述仅为本申请的较佳实施方式以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.基于TOF成像***的自动曝光方法，其特征在于，包括：
获取当前帧中的计算帧的目标场景图像的灰度信息；
根据获取的所述灰度信息，计算自动曝光时间；以及
根据所述自动曝光时间，对所述当前帧中的计算帧之后的多个子帧的曝光时间进行调整。
2.根据权利要求1所述的自动曝光方法，其特征在于，所述计算帧包括有效帧和所述有效帧之后的无效帧，其中，获取所述灰度信息的步骤包括：
获取所述计算帧中的有效帧的目标场景图像的灰度信息。
3.根据权利要求2所述的自动曝光方法，其特征在于，所述无效帧内的曝光时间为零。
4.根据权利要求2所述的自动曝光方法，其特征在于，所述无效帧内的曝光时间为非零常量。
5.根据权利要求1至4中任一项所述的自动曝光方法，其特征在于，获取所述灰度信息的步骤包括：
根据所述当前帧中的计算帧的目标场景图像的幅值信息，获取所述当前帧中的计算帧的灰度信息。
6.根据权利要求1至4中任一项所述的自动曝光方法，其特征在于，所述目标场景图像的灰度信息包括目标场景图像的多个像素的灰度值，其中，计算所述自动曝光时间的步骤包括：
根据所述多个像素的灰度值的平均值，计算所述自动曝光时间。
7.自动曝光装置，其特征在于，
获取模块，用于获取当前帧中的计算帧的目标场景图像的灰度信息；
计算模块，用于根据获取的所述灰度信息，计算自动曝光时间；以及
调整模块，用于根据所述自动曝光时间，对所述当前帧中的计算帧之后的多个子帧的曝光时间进行调整。
8.电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述程序时，执行如权利要求1至10中任一项所述的方法。
9.计算机可读介质，其特征在于，其上存储有计算机程序，当所述计算机程序被处理器执行时，执行如权利要求1至10任一项所述的方法。
10.TOF成像***，其特征在于，包括：
光源模块，用于向目标场景发射光；
感光模块，用于接收经由目标场景反射的所述光；以及
工作模块，用于控制所述光源模块和所述感光模块，并且对所述感光模块接收的反射光进行处理以执行如权利要求1至10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110146847.0A CN114866703A (zh) | 2021-02-03 | 2021-02-03 | 基于tof成像***的主动曝光方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110146847.0A CN114866703A (zh) | 2021-02-03 | 2021-02-03 | 基于tof成像***的主动曝光方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114866703A true CN114866703A (zh) | 2022-08-05 |
Family
ID=82623692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110146847.0A Pending CN114866703A (zh) | 2021-02-03 | 2021-02-03 | 基于tof成像***的主动曝光方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114866703A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117154530A (zh) * | 2023-11-01 | 2023-12-01 | 江苏博睿光电股份有限公司 | 大功率vcsel激光器及其制作方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635597A (zh) * | 2015-12-21 | 2016-06-01 | 湖北工业大学 | 车载相机的自动曝光方法及*** |
| CN106851123A (zh) * | 2017-03-09 | 2017-06-13 | 广东欧珀移动通信有限公司 | 曝光控制方法、曝光控制装置及电子装置 |
| CN109819174A (zh) * | 2017-11-22 | 2019-05-28 | 浙江舜宇智能光学技术有限公司 | 基于tof成像***的自动曝光方法及自动曝光时间计算方法和tof相机 |
| CN109903324A (zh) * | 2019-04-08 | 2019-06-18 | 京东方科技集团股份有限公司 | 一种深度图像获取方法及装置 |
| CN111372005A (zh) * | 2018-12-25 | 2020-07-03 | 浙江舜宇智能光学技术有限公司 | Tof摄像模组自动曝光补偿方法及其*** |
-
2021
- 2021-02-03 CN CN202110146847.0A patent/CN114866703A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635597A (zh) * | 2015-12-21 | 2016-06-01 | 湖北工业大学 | 车载相机的自动曝光方法及*** |
| CN106851123A (zh) * | 2017-03-09 | 2017-06-13 | 广东欧珀移动通信有限公司 | 曝光控制方法、曝光控制装置及电子装置 |
| CN109819174A (zh) * | 2017-11-22 | 2019-05-28 | 浙江舜宇智能光学技术有限公司 | 基于tof成像***的自动曝光方法及自动曝光时间计算方法和tof相机 |
| CN111372005A (zh) * | 2018-12-25 | 2020-07-03 | 浙江舜宇智能光学技术有限公司 | Tof摄像模组自动曝光补偿方法及其*** |
| CN109903324A (zh) * | 2019-04-08 | 2019-06-18 | 京东方科技集团股份有限公司 | 一种深度图像获取方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117154530A (zh) * | 2023-11-01 | 2023-12-01 | 江苏博睿光电股份有限公司 | 大功率vcsel激光器及其制作方法 |
| CN117154530B (zh) * | 2023-11-01 | 2024-02-02 | 江苏博睿光电股份有限公司 | 大功率vcsel激光器及其制作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7418340B2 (ja) | 機械学習を使用した画像増強深度感知 | |
| US9194953B2 (en) | 3D time-of-light camera and method | |
| EP3264364A1 (en) | Unmanned aerial vehicle depth image acquisition method, device and unmanned aerial vehicle | |
| US11892573B2 (en) | Real-time estimation of dc bias and noise power of light detection and ranging (LiDAR) | |
| US10429508B2 (en) | Distance measuring device, moving system, and distance measurement method | |
| KR102664396B1 (ko) | 라이다 장치 및 그 동작 방법 | |
| US20220221584A1 (en) | Laser radar and method for generating laser point could data | |
| CN111487648A (zh) | 一种基于飞行时间的非视域成像方法和*** | |
| CN114866703A (zh) | 基于tof成像***的主动曝光方法、装置及电子设备 | |
| EP3276576A1 (en) | Disparity estimation by fusion of range data and stereo data | |
| WO2022195954A1 (ja) | センシングシステム | |
| CN116299341A (zh) | 基于tof的双目深度信息获取***及方法 | |
| JP2020051991A (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
| US20230033352A1 (en) | Time-of-flight object detection circuitry and time-of-flight object detection method | |
| US20220018940A1 (en) | Vision first light detection and ranging system | |
| JP7147729B2 (ja) | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム | |
| EP4078221A1 (en) | Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method | |
| CN111445507A (zh) | 一种非视域成像的数据处理方法 | |
| US20240134053A1 (en) | Time-of-flight data generation circuitry and time-of-flight data generation method | |
| CN114697560A (zh) | 基于tof成像***的主动曝光方法及曝光时间的计算方法 | |
| US10698111B2 (en) | Adaptive point cloud window selection | |
| US20220108554A1 (en) | Vision based light detection and ranging system using multi-fields of view | |
| WO2022149466A1 (ja) | 信号処理装置および方法、並びにプログラム | |
| WO2023057343A1 (en) | Apparatuses and methods for event guided depth estimation | |
| CN117764840A (zh) | 一种图像复原效果评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |