CN115190288B - 多相机同步采集图像的方法及设备 - Google Patents

多相机同步采集图像的方法及设备 Download PDF

Info

Publication number
CN115190288B
CN115190288B CN202210718630.7A CN202210718630A CN115190288B CN 115190288 B CN115190288 B CN 115190288B CN 202210718630 A CN202210718630 A CN 202210718630A CN 115190288 B CN115190288 B CN 115190288B
Authority
CN
China
Prior art keywords
depth camera
led lamp
image
camera
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210718630.7A
Other languages
English (en)
Other versions
CN115190288A (zh
Inventor
史灿灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Electronic Technology Shenzhen Co ltd
Original Assignee
Hisense Electronic Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Electronic Technology Shenzhen Co ltd filed Critical Hisense Electronic Technology Shenzhen Co ltd
Priority to CN202210718630.7A priority Critical patent/CN115190288B/zh
Publication of CN115190288A publication Critical patent/CN115190288A/zh
Application granted granted Critical
Publication of CN115190288B publication Critical patent/CN115190288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉计算机视觉技术领域，提供一种多相机同步采集图像的方法及设备，考虑到深度相机没有硬件同步接口，无法直接接收与多个工业相机同步曝光的硬件同步信号，因此，借助LED灯实现深度相机与多个工业相机的同步曝光，通过深度相机采集的LED灯的图像，获取反应深度相机曝光信息的目标参数集合，由于工业相机具备硬件同步接口，可通过控制信号控制器将深度相机的目标参数集合发送给多个工业相机，从而实现多个工业相机与深度相机的同步曝光，这样，基于同步曝光后的深度相机和多个工业相机，采集用于训练手部关键点估计模型的3D手势数据集，从而提高3D手势数据的标注质量，进而提升手部模型的真实性，提升用户的沉浸式体验。

Description

多相机同步采集图像的方法及设备
技术领域
本申请涉及计算机视觉技术领域，提供一种多相机同步采集图像的方法及设备。
背景技术
随着虚拟现实(Virtual Realiyy，VR)技术的发展，其应用场景越来越广泛。在虚拟场景中，通过手势技术精准地还原手部3D姿势，以准确地表达虚拟人物手部表述的含义，或者准确地做出相应的手部动作，而手势技术的延迟性、混乱性取决于神经网络模型的性能，大量的、高质量的手势标注数据是手部检测模型和手势关节点估计模型性能提升的重要支撑。
由于3D手势数据是复杂的，人工标注成本相对较高，且标注质量不尽人意。为了提高3D手势数据的标注效率，目前大多采用深度相机生成手势3D模型再投影到工业相机产生标注数据的自动标注方法，这就需要深度相机和工业相机同步曝光。然而，深度相机不具备硬件同步接口，因此，目前仅采用软同步方法实现深度相机和工业相机的同步曝光，其中，软同步是指搜集时间戳接近的一组图像作为同步结果，同步精度较低，无法满足同步曝光的3D手势数据的采集要求，进而无法还原出真实、自然的3D手部姿势，影响沉浸式体验。
因此，需要提供一种通过实现深度相机和工业相机的同步曝光来提高3D手势数据的标注质量。
发明内容
本申请实施例提供了一种多相机同步采集图像的方法及设备，用于提高3D手势数据的标注质量。
一方面，本申请实施例提供一种多相机同步采集图像的方法，包括：
通过信号控制器控制深度相机视野内的LED灯连续闪烁，并获取所述深度相机采集的所述LED灯的多帧RGB图像；
根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述RGB图像；
控制所述信号控制器将所述目标参数集合发送给多个工业相机，并设置所述LED灯为单次闪烁；
根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。
另一方面，本申请实施例提供一种3D图像采集设备，包括处理器、存储器、USB虚拟串口，数据接口；所述数据接口、所述USB虚拟串口，所述存储器与所述处理器通过总线连接；
所述存储器包括数据存储单元和程序存储单元，所述程序存储单元存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
通过所述USB虚拟串口向所述信号控制器发送第一控制指令，以使所述信号控制器控制深度相机视野内的LED灯连续闪烁；
通过所述数据接口，获取所述深度相机采集视野内的所述LED灯的多帧RGB图像，并存储于所述数据存储单元；
根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述数据存储单元中存储的所述RGB图像；
通过所述USB虚拟串口将所述目标参数集合发送给所述信号控制器，以使所述信号控制器将所述目标参数集合发送给多个工业相机，并通过所述USB虚拟串口向所述信号控制器发送第二控制指令，以使所述信号控制器控制所述LED灯单次闪烁；
通过所述数据接口，分别获取所述深度相机采集的所述LED灯单次闪烁的多帧RGB图像，和每个工业相机采集的RGB图像；
根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。
另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的多相机同步采集图像的方法。
本申请实施例提供的一种多相机同步采集图像的方法及设备中，考虑到深度相机没有硬件同步接口，无法直接接收与多个工业相机同步曝光的硬件同步信号，因此，借助LED灯实现深度相机与多个工业相机的同步曝光，通过深度相机采集的LED灯的图像，获取反应深度相机曝光信息的LED灯的目标参数集合，由于工业相机具备硬件同步接口，可通过控制信号控制器将LED灯的目标参数集合发送给多个工业相机，从而实现多个工业相机与深度相机的同步曝光，这样，基于同步曝光后的深度相机和多个工业相机，采集用于训练手部关键点估计模型的3D手势数据集，从而提高3D手势数据的标注质量，进而提升手部模型的真实性，提升用户的沉浸式体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供的从图像中还原3D手势的效果图；
图1B为本申请实施例提供的另一从图像中还原3D手势的效果图；
图2为本申请实施例提供的手部关键点示意图；
图3为本申请实施例提供的图像采集***的架构图；
图4为本申请实施例提供的深度相机与LED灯的位置关系图；
图5为本申请实施例提供的单片机、LED灯、工业相机三者的信号波形图；
图6为本申请实施例提供的LED灯的参数与RGB图像中暗条纹的关系图；
图7为本申请实施例提供的深度相机与多个工业相机同步曝光的方法流程图；
图8为本申请实施例提供的确定LED灯的目标参数集合的方法流程图；
图9为本申请实施例提供的确定LED灯的目标帧率的方法流程图；
图10为本申请实施例提供的确定LED灯的目标相位的方法流程图；
图11为本申请实施例提供的深度相机采集的LED灯单次闪烁的相邻两帧图像；
图12为本申请实施例提供的利用同步曝光的深度相机与多个工业相机采集图像的方法流程图；
图13为本申请实施例提供的多个相机同步采集图像的完整方法流程图；
图14为本申请实施例提供的主机的结构图。
具体实施方式
为清楚描述本申请的实施例，下面对本申请的名词给出解释说明。
软同步：是指搜集时间戳接近的一组图像作为同步结果。
硬同步：是指通过外部触发信号使多个相机同一时刻曝光(即进行图像采集)，需要所有相机具备硬件同步接口以及配备同步信号发生装置。
深度相机：包含一个RGB传感器和深度传感器，可以同步采集RGB图像和深度图像。一般不具备硬件同步接口。
工业相机：包含RGB传感器，具备硬件同步接口。
3D手势估计：是指利用RGB图像或深度图像或二者结合对表征手部关键点位置的三维坐标进行估计。
下面对本申请实施例的设计思想进行概述。
目前，虚拟化市场愈发令人期待，其应用场景逐渐丰富，在当前市场需求中应用最广泛的便是虚拟会议和虚拟交友等虚拟场景，其中，手势技术决定了虚拟场景的沉浸式体验，这是因为在多相机不同曝光的情况下，依然能够实时检测出现实场景中用户整个手部的位置以及每个手指关节点的位置，并且在任意一个视角都能够同步还原出精确的、真实的用户手部位置和手部姿势，才能够在虚拟场景下通过手势技术精准地还原手部3D姿势，这样才能够更好地表达出用户手部表述的含义，或者准确地做出相应的手部动作，如：播放幻灯片、抓取物品等。一旦虚拟场景离开了上述多视角和同步的手势技术，用户的手势会变得无法受控，手势图像或者手指关节点在虚拟场景中会频频出现异常跳动，导致用户无法通过手部来表达其意愿，甚至带来不可逆的、毁灭性的产品体验，这就失去了虚拟场景的沉浸式体验或者跨空间相聚的意义。
例如，在虚拟会议交互过程中，多相机错误识别手部或没有同步识别手部，会导致VR设备针对某一视角采集的手部图像能够准确还原3D手势，如图1A中的(a)所示，但针对另一视角采集的手部图像则无法准确地还原3D手势，如图1A中的(b)所示，从图1A可以清晰的看出，用户的手部图像在(a)的视角下能够准确进行手势标注，当在(b)的视角下，手势标注偏离了用户的手部位置，这是由于多相机未能同步曝光造成的问题，这种情况将会严重破坏用户的VR体验，甚至造成虚拟会议场景下，无法触发虚拟物品，或者无法还原用户手部实际动作的问题。
再例如，当对多视角下采集的手部图像进行手势标注时，手部姿态能后准确地反映手部真实位置，如图1B中的(c)所示，当缺乏对多视角下采集的手部图像进行手势标注时，会导致手部姿态与手部真实位置存在一定偏差，造成体验感效果欠佳，如图1B中的(d)所示。
如图1A中的(a)和图1B中的(c)所示，当还原的手部姿态恰好贴合实际手部位置时才会令用户产生真实、自然的沉浸式体验。
目前，3D手势关键点估计的主流技术是基于深度学习的估计方法，而导致手势技术产生延迟性、混乱性等异常现象的根本原因是深度神经网络模型的性能。这是因为深度学习方法是数据饥渴的，大量的、高质量的手势标注数据是手部检测模型和手势关键点估计模型性能提升的重要支撑，数据的数量和质量将直接影响手势关键点估计的准确率和泛化性，所以，一个AI产品的表现好坏依赖于其应用场景中采集到的数据质量得好坏。
在基于深度学习估计手部关键点时，大多提取21个关键点，各关键点的位置如图2所示。由于3D手势数据获取困难且处理复杂，目前，在国内和国际公开的3D手势数据集中存在较大噪声，不利于手部关键点估计模型的训练，影响其在AR/VR上的应用。为确保手部关键点估计模型在虚拟场景中的准确度和实时性，就要求其学习到的参数足够精确，这就要求提供给模型学习的数据集要精准且高质量。因此，在训练手部关键点模型时，可能需要采集一些应用场景中的3D手势数据并标注。
考虑到人工标注成本相对较高，且标注质量不尽人意，目前，大多采用深度相机生成手势3D模型再投影到工业相机产生标注数据的自动标注方法。由于手部可以高速运动，当深度相机和多个工业相机曝光不同步时，每个相机拍摄手部图像的运动时刻不同，手部实际位置也不一样。例如，手部运动速度为1m/s，相机曝光时间相差15ms，对应手部距离为15mm，已经与一根手指宽度相当。所以，将不同位置的多幅手部图像当成同一位置进行手势标注时产生的误差，会影响手势关键点估计模型的准确率和泛化性，因此，亟需深度相机与工业相机曝光高度同步，以增加标注精度，减少数据集噪声。然而，高质量的深度相机并没有硬件同步接口，如果仅仅采用软同步，标注的数据质量将降低。
鉴于此，本申请实施例提供了一种多相机同步采集图像的方法及设备，考虑到深度相机没有硬件同步接口，无法直接接收信号控制器发送的硬件同步信号，因此，借助LED灯实现深度相机与多个相机的同步曝光，通过对深度相机采集的视野内LED灯的RGB图像进行分析，确定深度相机的采集帧率并设置给LED灯，以及确定LED灯的目标相位，进一步地，可通过硬件同步信号，由信号控制器将用于同步曝光的目标参数集合发送给多个工业相机，使得工业相机和LED灯的频率、宽度和相位完全相同，且多个工业相机的硬件同步信号和LED灯的控制信号可以独立开启和关闭，由于LED灯的目标参数集合可以准确的反应深度相机的曝光信息，从而实现多个工业相机与深度相机的同步曝光，且在无需改造深度相机的情况下，达到了与硬同步相当的效果。当多个工业相机与深度相机能够同步曝光后，可以采集同步曝光时间段内用于训练手部关键点估计模型的手部图像，并将根据深度相机采集的手部图像生成的手势3D模型投影到工业相机，得到带有标注的高质量3D手势数据集，进而保证训练的手部关键点估计模型在虚拟场景中能够准确地还原3D手势，提升用户的沉浸式体验。
参见图3，为本申请实施例提供的一种图像采集***，包括主机、信号控制器、LED灯、一个深度相机和多个工业相机。其中，LED灯是可以移动的，当设置多相机同步曝光时，LED灯移进深度相机的视野内，当利用多相机进行数据采集时，LED灯移出深度相机的视野内，LED灯和信号控制器组成了曝光同步装置，如图4所示，通过曝光同步装置，可以弥补深度相机不具备硬件同步接口的缺陷，实现深度相机与多个工业相机硬同步的效果。
在图3示出的图像采集***中，主机通过USB虚拟串口向信号控制器发送控制指令，信号控制器根据控制指令，通过信号线向LED灯发送控制信号，以控制LED灯的频率(周期)、相位、脉冲宽度、开关状态和闪烁模式(包括连续闪烁和单次闪烁)等参数。其中，LED灯灯亮时发射白光，且位于深度相机的视野内，因此，深度相机可以采集LED灯的RGB图像，并通过数据接口传输给主机，机通过对接收的RGB图像进行分析，确定LED灯最终的目标参数集合。由于目标参数集合是基于深度相机采集的LED灯的RGB图像确定的，因此，LED灯的参数可以反应深度相机的曝光信息。
在图3示出的图像采集***中，由于每个工业相机具备硬件同步接口，因此，信号控制器可以根据主机的控制，直接向每个工业相机发送硬件同步信号，所有工业相机的硬件同步信号并联在一起。每个工业相机接收到硬件同步信号后，与LED灯具有相同的频率、相位和脉冲宽度等目标参数集合，这样，每个工业相机受硬件同步信号的控制，也会采集RGB图像，并通过数据接口传输给主机。主机通过对深度相机采集的RGB图像和每个工业相机采集的RGB图像进行分析，确定深度相机与多个相机同步曝光的时间关系，并将LED灯移出深度相机的视野内。
在图3示出的图像采集***中，确定深度相机与多个相机同步曝光的时间关系后，利用该时间关系，可以采集同步曝光的多帧手部图像对，利用深度相机采集的手部图像，重建手部三维模型，并将手部三维模型投影到多个工业相机采集的手部图像后，得到每个工业相机采集的手部图像的3D手势，从而生成用于训练手部关键点估计模型的3D手势数据集。
其中，图3中的信号控制器可以是单片机。如图5所示，为本申请实施例提供的单片机、LED灯和工业相机间的信号波形图，如图5示出的，当单片机上电后，产生高低电平组成的方形脉冲信号，当前高电平的上升沿到下一高电平的上升沿为一个周期，脉冲信号的周期由单片机内部晶振的频率决定的。LED灯的亮灭受单片机发送的控制信号的控制，单片机脉冲信号的波形以周期形式变化，将单片机高电平的上升沿到LED灯高电平的上升沿这段时间内的角度，作为LED灯的相位。工业相机和LED灯信号的频率、相位和脉冲宽度相同，且单片机可以同时向LED灯和工业相机发送用于同步曝光的信号，也可以独立发送，如图5所示中的虚线圈出部分，当LED灯的控制信号为低电平但工业相机的硬件同步信号为高电平时，表示单片机仅向工业相机发送硬件同步信号，当LED灯的控制信号为高电平但工业相机的硬件同步信号为低电平时，表示单片机仅向LED灯发送控制信号，当LED灯的控制信号和工业相机的硬件同步信号同时为高电平时，表示单片机同时向LED灯和工业相机发送信号。
在本申请的实施例中，脉冲信号的周期以1纳秒为最小步进单位，相位和脉冲宽度以1微妙为最小步进单位。
深度相机包含一个用于采集RGB图像的RGB传感器和一个用于采集深度图像的深度传感器，RGB传感器和深度传感器是同步曝光的。一般的，RGB传感器为逐行曝光的卷帘相机，即RGB图像的每一行所有像素同一时段曝光，不同行像素曝光的时间段不同，曝光行数从上到下依次曝光，如图6所示。
如图6示出的，LED灯不同的频率、宽度和相位对应不同的RGB图像内容，具体表现为：RGB图像存在一个水平的暗条纹。当暗条纹经过LED灯在RGB图像中的位置时，除了暗条纹部分灯珠为亮；当暗条纹不经过LED灯在RGB图像中的位置时，灯珠灭，同时暗条纹也很不明显。当RGB传感器的帧率与LED灯的帧率不同时，暗条纹垂直滚动，帧率差异越大，暗条纹滚动速度越大；当RGB传感器的帧率与LED灯的帧率相同时，LED灯的相位变化与暗条纹垂直位置变化成线性正比关系；LED灯的脉冲宽度与暗条纹的宽度成线性反比关系，LED灯的脉冲宽度越宽，暗条纹的宽度越窄。其中，LED灯的控制信号高电平的下降沿与RGB传感器的开始曝光时间基本一样，实际实验测得二者仅差不到0.1毫秒。
基于图3示出的图像采集***，本申请实施例提供了一种通过实现深度相机和工业相机的同步曝光来提高3D手势数据的标注质量的方法，该方法由图3中的主机执行，如图7所示，主要包括以下几步：
S701：通过信号控制器控制深度相机视野内的LED灯连续闪烁，并获取深度相机采集的LED灯的多帧RGB图像。
在执行S701时，将LED灯移进深度相机的视野内，开启多相机同步曝光程序，为信号控制器上电，通过USB虚拟串口，主机向信号控制器发送第一控制指令，信号控制器根据第一控制指令，通过信号线向LED灯发送控制信号以控制LED灯以初始参数(包括初始频率、初始相位、初始脉冲宽度等)进行连续闪烁。LED灯连续闪烁的过程中，深度相机采集视野内LED灯的多帧(如：1000帧)RGB图像，并通过数据接口发送给主机，由主机存储在本地。
S702：根据深度相机采集的多帧RGB图像，确定LED灯与深度相机同步的目标参数集合，并清空深度相机采集的多帧RGB图像。
其中，目标参数集合至少包括LED灯的目标帧率和目标相位。在S702中，通过深度相机采集的多帧RGB图像确定深度相机的采集帧率，并将确定的采集帧率作为LED灯的目标频率，并根据多帧RGB图像调整LED灯的初始相位得到目标相位，从而得到深度相机与LED灯同步的目标参数集合，该目标同步参数可以反应深度相机的曝光信息。确定目标参数集合后，为防止多帧RGB图像对后续程序的影响，将多帧RGB图像从主机的本地内存中清空。
目标参数集合的确定过程参见图8，主要包括以下几步：
S7021：对多帧RGB图像进行暗条纹检测，确定深度相机的采集帧率，并将采集帧率作为目标帧率设置给LED灯，使得LED灯按照设置的目标帧率进行连续闪烁。
由上述图6可知，LED灯不同的频率、宽度和相位对应不同的RGB图像内容，视觉表现为：RGB图像存在一个水平的暗条纹。通过RGB图像中检测到的暗条纹，可以确定深度相机的采集帧率，具体过程参见图9：
S7021_1：根据多帧RGB图像的时间戳，确定深度相机的采样周期，并将采样周期作为LED灯的闪烁周期。
在执行S7021_1时，根据深度相机采集的LED灯以初始采集帧率连续闪烁的多帧RGB图像中，第一帧RGB图像和最后一帧RGB图像的时间戳，确定二者之间的时间差，结合多帧RGB图像的总帧数，确定深度相机的采集周期，具体的，采集周期为时间差与总帧数的商，并通过信号控制器，将采集周期设置为LED灯的闪烁周期。
S7021_2：对多帧RGB图像进行LED灯的暗条纹检测，根据暗条纹在RGB图像中的行号，确定暗条纹的滚动方向。
在执行S7021_2时，依次读取多帧RGB图像中的每帧RGB图像，针对每帧RGB图像，检测该RGB图像中LED灯的局部区域是否出首次现暗条纹，若未出现，则继续读取下一帧RGB图像，若出现，则记录暗条纹在该RGB图像中的行号以及该RGB图像的帧号，并继续读取下一帧RGB图像，再次检测下一帧RGB图像中是否出现暗条纹，若下一帧RGB图像中出现暗条纹，则记录暗条纹在下一帧RGB图像中的行号以及下一帧RGB图像的帧号，并继续读取下一帧RGB图像直到下一帧RGB图像中未出现暗条纹，此时，根据暗条纹在RGB图像中行号的变化，确定暗条纹的滚动方向。
S7021_3：根据暗条纹首次出现在图像顶部的图像帧号，以及暗条纹回到首次位置时的图像帧号，确定深度相机的采集帧数。
从S7021_2的过程可知，主机对依次读取到的每帧RGB图像进行暗条纹检测时，会记录暗条纹出现在RGB图像中的行号外，还会记录暗条纹出现在RGB图像中的图像帧号，这样，在SS7021_3中，从在RGB图像的顶部首次检测出暗条纹时开始，每读取下一帧RGB图像，获取暗条纹在下一帧RGB图像中的行号，并判断该行号是否与暗条纹首次出现在RGB图像中的行号相同(即，判断暗条纹是否回到首次位置)，若相同，则停止读取，此时，根据记录的暗条纹首次出现在图像顶部的图像帧号，以及暗条纹回到首次位置时的图像帧号，确定深度相机的采集帧数。
S7021_4：根据闪烁周期、采集帧数和滚动方向，确定深度相机的采集帧率。
本申请的实施例中，当暗条纹滚动一周回到原来的首次位置时，深度相机的RGB传感器采集的RGB图像的数量与LED灯闪烁的次数相差1帧，依次，可以计算深度相机的采集帧率，计算公式为：
Figure BDA0003709619340000091
其中，frgb表示深度相机的采集帧率，Trgb表示深度相机的采集周期，Tled表示LED灯的闪烁周期，n表示深度相机的采集帧数，当暗条纹的滚动方向向下时，取减号，当暗条纹的滚动方向向上时，取加号。
在S7021_4中确定深度相机的采集帧率后，主机通过USB虚拟串口向信号控制器发送控制指令，信号控制器根据接收的控制指令将该采集帧率作为目标帧率设置给LED灯，使得LED灯按照目标帧率进行连续闪烁。
S7022：获取深度相机采集的LED灯按照设置的目标帧率连续闪烁的RGB图像，将图像顶部出现暗条纹的RGB图像对应的相位，确定为LED灯的目标相位。
在S7022中，主机设置好LED灯连续闪烁的目标帧率后，通过信号控制器控制LED灯的相位，根据不同相位对应的RGB图像，确定LED灯的目标相位，具体过程参见图10，主要包括以下几步：
S7022_1：读取深度相机采集的LED的初始相位对应的当前RGB图像。
在执行S7022_1时，主机通过信号控制器为LED灯设置一个初始相位，LED灯以目标帧率和初始相位进行闪烁，闪烁过程中，深度相机采集视野内LED灯的当前RGB图像，并将采集的当前RGB图像发送给主机。
S7022_2：检测当前RGB图像的顶部是否出现暗条纹，若否，则执行S7022_3，若是，则执行S7022_4。
在执行S7022_2时，主机接收到初始相位对应的当前RGB图像后，检测当前RGB图像的顶部是否出现暗条纹，若未出现，表明LED灯的初始相位与深度相机的曝光信息不匹配，需要调整LED灯的初始相位，执行S7022_3；若出现，表明LED灯的初始相位与深度相机的曝光信息匹配，无需调整LED灯的初始相位，执行S7022_4。
可选的，本申请实施例设置LED灯的初始相位为0。需要说明的是，本申请实施例对LED灯的初始相位不做限制要求，可根据实际需求进行设置。
S7022_3：按照设定的相位步长，将LED灯的初始相位增加一次，并再次读取初始相位增加后的下一帧RGB图像，返回S7022_2。
在执行S7022_3时，在当前RGB图像的顶部未检测出暗条纹时，将LED灯的初始相位增加设定的相位步长，使得LED灯以目标帧率、增加后的相位进行闪烁，闪烁过程中，深度相机再次采集视野内LED灯的下一帧RGB图像，并将下一帧RGB图像发送给主机，主机返回S7022_2，检测下一帧RGB图像的顶部是否出现暗条纹。
S7022_4：停止调节LED灯的相位，并将图像顶部出现暗条纹的RGB图像对应的相位，确定为LED灯的目标相位。
在执行S7022_4时，在检测出RGB图像的顶部出现暗条纹时，表明LED灯的闪烁情况与深度相机的曝光信息相匹配，应停止调节LED灯的相位，将图像顶部出现暗条纹的RGB图像对应的相位，确定为LED灯的目标相位。
S7023：将目标帧率和目标相位组成为LED灯与深度相机同步的目标参数集合。
本申请的实施例中，确定好LED灯的目标帧率和目标相位后，将二者作为LED灯与深度相机同步的目标参数集合，并停止向LED灯发送控制信号，清空本地内存中深度相机采集的RGB图像，防止LED灯连续闪烁的RGB图像对后续步骤的干扰。
S703：控制信号控制器将目标参数集合发送给多个工业相机，并设置LED灯为单次闪烁。
由于工业相机具备硬件同步接口，因此，在S703中，主机通过USB虚拟串口将确定的目标参数集合发送给信号控制器，信号控制器接收到目标参数集合后，将目标参数集合携带在硬件同步信号中，通过硬件同步接口发送给每个工业相机。同时，主机通过USB虚拟串口向信号控制器发送第二控制指令，信号控制器根据第二控制指令向LED灯发送控制信号，使LED灯的闪烁模式为单次闪烁。
在一些实施例中，目标参数集合还包括LED灯的脉冲宽度。
S704：根据深度相机采集的LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。
在S704中，深度相机采集LED灯单次闪烁的多帧RGB图像，如图11所示，为深度相机采集的LED灯单次闪烁的相邻两帧RGB图像。图像采集后，深度相机将LED单次闪烁的多帧RGB图像发送给主机进行存储，主机从存储的多帧RGB图像中LED灯亮的一帧RGB图像作为同步曝光的第一起始帧图像，并获取第一起始帧图像的时间戳。同时，每个工业相机接收到硬件同步信号后，各自按照目标参数集合采集一帧RGB图像，将各自采集的RGB图像作为与深度相机同步曝光的第二起始帧图像，并分别获取第二起始帧图像的时间戳，通过对比第一起始帧图像分别与第二起始帧图像的时间戳，确定深度相机与相应的工业相机之间同步曝光的时间关系。
本申请上述实施例在令深度相机与多个工业相机同步曝光的过程中，考虑到深度相机没有硬件同步接口，无法直接接收与多个工业相机同步曝光的硬件同步信号，因此，借助LED灯实现深度相机与多个相机的同步曝光。具体的，通过对LED灯以初始帧率连续闪烁的多帧RGB图像进行分析，确定深度相机的采集帧率并设置给LED灯，使得LED灯按照目标帧率进行连续闪烁，闪烁过程中，通过对深度相机采集的LED灯以不同相位闪烁时对应的RGB图像，调整LED灯的相位，将调整后的目标相位和目标帧率作为目标参数集合，使得工业相机和LED灯的频率、宽度和相位完全相同，由于目标相位和目标帧率是根据LED灯的RGB图像确定的，因此，目标参数集合可以反应深度相机的曝光信息，这样，通过多个工业相机的硬件同步接口，可以将目标参数集合发送给每个工业相机，每个工业相机可以获取到深度相机的曝光信息，并根据接收的目标参数集合与深度相机同步曝光。进一步地，通过对深度相机采集的LED灯单次闪烁的RGB图像以及每个工业相机接收到硬件同步信号后采集的RGB图像进行分析，确定了深度相机与相应的工业相机之间同步曝光的时间关系。本申请实施例在无需改造深度相机的情况下，达到了与硬同步相当的效果。
本申请的实施例中，深度相机与多个工业相机同步曝光且确定了同步曝光的时间关系后，当利用深度相机与多个工业相机同步采集3D手势数据时，能够提高采集数据的标注质量，从而还原出真实、自然的3D手部姿势，提升用户的沉浸式体验。
参见图12，为本申请实施例提供的基于同步曝光的深度相机和多个工业相机同步采集图像的方法流程图，该流程由主机执行，主要包括以下几步：
S1201：控制信号控制器停止向LED灯发送控制信号，并持续向多个工业相机发送硬件同步信号，使得相应的工业相机按照目标参数集合与深度相机同步曝光。
本申请的实施例中，在进行图像采集时，由于深度相机与多个工业相机已经能够同步曝光，无需LED灯进行闪烁，因此，在S1201中，主机通过UEB虚拟串口向信号控制器发送第三控制指令，信号控制器根据第三控制指令停止向LED灯发送控制信号，同时，信号控制器根据第三控制指令，持续向多个工业相机发送硬件同步信号，使得相应的工业相机按照目标参数集合与深度相机同步曝光。
S1202：根据深度相机与每个工业相机之间同步曝光的时间关系，获取深度相机和每个工业相机同步曝光的手部图像对。
在进行图像采集时，深度相机和多个工业相机分别位于人手的不同视角，从而能够同步采集到不同视角下的手部图像，并将各自采集的手部图像发送给主机。在S1202中，主机接收到深度相机和多个工业相机发送的手部图像后，根据深度相机与每个工业相机之间同步曝光的时间关系，将深度相机采集的手部图像与每个工业相机采集的手部图像组成一组手部图像对。
其中，深度相机采集的手部图像包括手部RGB图像和手部深度图像，工业相机采集的手部图像为手部RGB图像。
S1203：确定深度相机与每个工业相机同步曝光的时限是否超过设定的时限阈值，若否，则执行S1204，若是，则执行S1205。
本申请的实施例中，由于深度相机与多个工业相机同步曝光的过程中采集的LED灯的RGB图像是离散的，多帧RGB图像检测出的暗条纹的位置(行号)可能不一样，所以，公式1中的采集帧数n会存在测量误差，计算出的深度相机的采集帧率(即RGB图像的帧率)与实际帧率会有微小差异，这样，经过一段时间后积累的误差可能会造成深度相机与多个工业相机同步曝光的效果丧失，因此，图像采集时，需要确定深度相机与每个工业相机同步曝光的时限是否超过设定的时限阈值。
需要说明的是，在S1203中，深度相机与每个工业相机的同步曝光时限是以小时为单位计算的，因此，不会影响图像的采集效率。
S1204：继续获取手部图像对并存储。
在S1204中，当确定深度相机与每个工业相机同步曝光的时限未超过设定的时限阈值时，表明手部图像对中深度相机采集的手部图像与每个工业相机采集的手部图像几乎是同步曝光的，因此，确定获取的手部图像对是有效，可以进行存储，并继续获取同步曝光时限内的手部图相对。
S1205：重新确定深度相机与每个工业相机之间同步曝光的时间关系，以减小深度相机和每个工业相机同步曝光的累积时间误差。
在S1205中，当确定深度相机与每个工业相机同步曝光的时限超过设定的时限阈值时，表明手部图像对中深度相机采集的手部图像与每个工业相机采集的手部图像同步曝光的误差较大，会影响3D手势的标注质量，因此，需要重新执行图7所示的流程使深度相机和多个工业相机同步曝光，并重新确定深度相机与每个工业相机之间同步曝光的时间关系，从而较少由于时间累积造成的深度相机与每个工业相机同步曝光的误差，进而提高3D手势标注的质量。
S1206：根据按照重新确定的同步曝光的时间关系，继续获取深度相机和每个工业相机同步曝光的手部图像对并存储。
在S1206中，深度相机与每个工业相机重新同步曝光后，从不同视角采集手部图像，并发送给主机。主机接收到深度相机和多个工业相机发送的手部图像后，根据重新确定的同步曝光的时间关系，继续获取深度相机和每个工业相机同步曝光的手部图像对。
S1207：针对每一组手部图像对，根据该手部图像对中深度相机采集的手部图像，生成手部三维模型，并将手部三维模型投影到所述手部图像对中相应的工业相机同步曝光的手部图像中，获得相应的3D手势。
当获取的手部图像对的数量达到训练需求后，停止获取手部图像对。针对存储的每一组手部图像对，采用三维重建算法，根据该手部图像对中深度相机采集的手部深度图像，生成手部三维模型，并将手部三维模型投影到该手部图像对中相应工业相机同步曝光的手部RGB图像中，获得相应的3D手势，从而完成3D手势的自动标注。
S1208：根据多组手部图像对中每个工业相机采集的手部图像和相应的3D手势，生成用于训练手部关键点估计模型的3D手势数据集。
本申请上述实施例利用同步曝光的深度相机与多个工业相机采集图像的过程中，在同步曝光时限内获取的手部图相对中，深度相机和多个工业相机的手部图像几乎是同步曝光的，对3D手势标注的误差非常小，可以忽略，因此，在利用深度相机采集的手部图像生成的手部三维模型，为同步曝光的多个工业相机采集的手部图像标注3D手势时，标注的3D手势能够准确的反应手部真实位置，这样，在利用手部图像和标注的3D手势生成的高质量的3D手势数据集对手部关键点估计模型进行训练时，使得训练好的手部关键点估计模型在虚拟场景中能够准确的还原出3D手势，提高手部的真实性，进而提升用户的沉浸式体验。
下面从设备交互的角度，描述本申请实施例提供的多相机同步采集3D图像的方法流程图，参见图13，该流程主要包括以下几步：
S1301：主机向单片机发送第一控制指令以控制深度相机视野内的LED灯闪烁。
S1302：单片机根据第一控制指令控制LED灯以初始帧率进行连续闪烁。
S1303：深度相机采集LED灯以初始帧率闪烁的多帧RGB图像，并发送给主机。
S1304：主机根据接收的多帧RGB图像，确定深度相机的采集帧率。
S1305：主机向单片机发送第二控制指令，第二控制指令携带深度相机的采集帧率。
S1306：单片机根据第二控制指令，将采集帧率作为目标帧率设置给LED灯，使得LED灯以目标帧率和不同的相位进行连续闪烁。
S1307：深度相机采集LED灯以目标帧率、不同相位闪烁的多帧RGB图像，并发送给主机。
S1308：主机将多帧RGB图像中顶部出现暗条纹的RGB图像对应的相位，作为LED灯的目标相位。
S1309：主机向单片机发送第三控制指令，第三控制指令携带目标相位。
S1310：单片机将目标相位设置给LED灯。
S1311：主机向单片机发送第四控制指令，并清空多帧RGB图像。
S1312：单片机根据第四控制指令停止向LED灯发送控制信号。
S1313：主机向单片机发送第五控制指令。
S1314～1315：单片机根据第五控制指令，开始向LED灯发送携带目标帧率和目标相位的控制信号，并设置LED灯为单次闪烁，同时，向多个工业相机发送携带目标帧率和目标相位的硬件同步信号。
S1316：深度相机采集LED灯以目标帧率、目标相位单次闪烁的多帧RGB图像，并发送给主机。
S1317：多个工业相机根据硬件同步信号采集RGB图像，并发送给主机。
S1318：主机从深度相机发送的多帧RGB图像中选择一帧LED灯亮起的RGB图像。
S1319：主机根据选择的RGB图像和每个工业相机发送的RGB图像的时间戳，确定深度相机与多个工业相机同步曝光的时间关系。
S1320：主机向单片机发送第六控制指令。
S1321：单片机根据第六控制指令，停止向LED灯发送控制信号，并持续向多个工业相机发送硬件同步信号。
S1322：深度相机采集多帧手部图像并发送给主机。
S1323：多个工业相机根据接收的硬件同步信号持续采集多帧手部图像，并发送给主机。
S1324：主机根据深度相机与多个工业相机同步曝光的时间关系，获取深度相机和多个工业相机同步曝光的手部图像对并保存。
S1325：主机确定深度相机与多个工业相机同步曝光的时限是否超过设定的时限阈值，若超过，则返回1301，若未超过，则执行S1326。
S1326：针对保存的每一组手部图像对，主机根据手部图像对中深度相机采集的手部图像，生成手部三维模型，将手部三维模型投影到手部图像对中相应的工业相机同步曝光的手部图像中，获得相应的3D手势。
S1327：主机根据多组手部图像对中每个工业相机采集的手部图像和相应的3D手势，生成用于训练手部关键点估计模型的3D手势数据集，完成图像采集。
基于相同的技术构思，本申请实施例提供一种3D图像采集设备，该3D图像采集设备可以是笔记本电脑、台式计算机、微型服务器等主机，该3D图像采集设备可实现上述实施例中多相机同步采集图像的方法步骤，且能达到相同的技术效果。
参见图14，该3D图像采集设备包括处理器1401、存储器1402、USB虚拟串口1403，数据接口1404；所述数据接口1404、所述USB虚拟串口1403，所述存储器1402与所述处理器1401通过总线1405连接；
所述存储器1402包括数据存储单元和程序存储单元，所述程序存储单元存储有计算机程序，所述处理器1401根据所述计算机程序，执行以下操作：
通过所述USB虚拟串口1403向信号控制器发送第一控制指令，以使所述信号控制器控制深度相机视野内的LED灯连续闪烁；
通过所述数据接口1404，获取所述深度相机采集视野内的所述LED灯的多帧RGB图像，并存储于所述数据存储单元；
根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述数据存储单元中存储的所述RGB图像；
通过所述USB虚拟串口1403将所述目标参数集合发送给所述信号控制器，以使所述信号控制器将所述目标参数集合发送给多个工业相机并通过所述USB虚拟串口1403向所述信号控制器发送第二控制指令，以使所述信号控制器控制所述LED灯单次闪烁；
通过所述数据接口1404，分别获取所述深度相机采集的所述LED灯单次闪烁的多帧RGB图像，和每个工业相机采集的RGB图像；
根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。
可选的，所述处理器1401确定所述深度相机与每个工业相机之间同步曝光的时间关系后，还执行以下操作：
通过所述USB虚拟串口1403向所述信号控制器发送第三控制指令，以使所述信号控制器停止向所述LED灯发送控制信号，同时持续向所述多个工业相机发送硬件同步信号；
通过所述数据接口1404，接收所述深度相机和每个工业相机采集的手部图像，并根据所述深度相机与每个工业相机之间同步曝光的时间关系，获得所述深度相机和每个工业相机同步曝光的手部图像对，并存储于所述数据存储单元；
确定所述深度相机与每个工业相机同步曝光的时限是否超过设定的时限阈值；
若超过，则重新确定所述深度相机与每个工业相机之间同步曝光的时间关系，以减小所述深度相机和每个工业相机同步曝光的累积时间误差，并根据重新确定的同步曝光的时间关系，通过所述数据接口1404，继续获取所述深度相机和每个工业相机同步曝光的手部图像对并保存于所述数据存储单元；
针对每一帧手部图像对，根据所述手部图像对中所述深度相机采集的手部图像，生成手部三维模型，将所述手部三维模型投影到所述手部图像对中相应的工业相机同步曝光的手部图像中，获得相应的3D手势；
根据各组手部图像对中每个工业相机采集的手部图像和相应的3D手势，生成用于训练手部关键点估计模型的3D手势数据集。
可选的，所述目标参数集合至少包括目标帧率和目标相位，所述处理器1401根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，具体操作为：
对多帧RGB图像进行暗条纹检测，确定所述深度相机的采集帧率，并将所述采集帧率作为目标帧率设置给LED灯，使得LED灯以所述目标帧率进行连续闪烁；
获取所述深度相机采集的所述LED灯以所述目标帧率、不同相位连续闪烁的RGB图像，将图像顶部出现所述暗条纹的RGB图像对应的相位，确定为所述LED灯的目标相位；
将所述目标帧率和所述目标相位作为所述LED灯与所述深度相机同步的目标参数集合。
可选的，所述处理器1401对多帧RGB图像进行暗条纹检测，确定所述深度相机的采集帧率，具体操作为：
根据多帧RGB图像的时间戳，确定所述深度相机的采样周期，并将所述采样周期作为所述LED灯的闪烁周期；
对多帧RGB图像进行所述LED灯的暗条纹检测，根据所述暗条纹分别在RGB图像中的行号，确定所述暗条纹的滚动方向；
根据所述暗条纹首次出现在图像顶部的图像帧号，以及所述暗条纹回到首次位置时的图像帧号，确定所述深度相机的采集帧数；
根据所述闪烁周期、所述采集帧数和所述滚动方向，确定所述深度相机的采集帧率。
可选的，所述深度相机的采集帧率的计算公式为：
Figure BDA0003709619340000161
其中，frgb表示所述深度相机的采集帧率，Tled表示所述LED灯的闪烁周期，n表示所述深度相机的采集帧数，当所述暗条纹的滚动方向向下时，取减号，当所述暗条纹的滚动方向向上时，取加号。
可选的，所述处理器1401获取所述深度相机采集的所述LED灯以所述目标帧率、不同相位连续闪烁的RGB图像，具体操作为：
读取所述深度相机采集的所述LED的初始相位对应的当前RGB图像，检测所述当前RGB图像的顶部是否出现所述暗条纹；
若未出现，则按照设定的相位步长，将所述LED灯的初始相位增加一次，并再次读取所述初始相位增加后的下一帧RGB图像，直到RGB图像的顶部出现所述暗条纹时停止调节所述LED灯的相位。
可选的，所述目标参数集合还包括脉冲宽度。
需要说明的是，图14仅是一种示例，给出3D图像采集设备执行本申请实施例提供的多相机同步采集图像的方法步骤所必要的硬件，未示出的，该3D图像采集设备还包含显示屏、电源等具有数据处理功能的电子设备的常用器件。
本申请实施例图14中涉及的处理器可以是中央处理器(Central ProcessingUnit，CPU)，通用处理器，图形处理器(Graphics Processing Unit，GPU)数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-specific IntegratedCircuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。
本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。
本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种多相机同步采集3D图像的方法，其特征在于，包括：
通过信号控制器控制深度相机视野内的LED灯连续闪烁，并获取所述深度相机采集的所述LED灯的多帧RGB图像；
根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述RGB图像；
控制所述信号控制器将所述目标参数集合发送给多个工业相机，并设置所述LED灯为单次闪烁；
根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。
2.如权利要求1所述的方法，其特征在于，确定所述深度相机与每个工业相机之间同步曝光的时间关系后，所述方法还包括：
控制所述信号控制器停止向所述LED灯发送控制信号，并持续向所述多个工业相机发送硬件同步信号，使得相应的工业相机按照所述目标参数集合与所述深度相机同步曝光；
根据所述深度相机与每个工业相机之间同步曝光的时间关系，获取所述深度相机和每个工业相机同步曝光的手部图像对并保存；
确定所述深度相机与每个工业相机同步曝光的时限是否超过设定的时限阈值；
若超过，则重新确定所述深度相机与每个工业相机之间同步曝光的时间关系，以减小所述深度相机和每个工业相机同步曝光的累积时间误差，并根据重新确定的同步曝光的时间关系，继续获取所述深度相机和每个工业相机同步曝光的手部图像对并保存；
针对保存的每一组手部图像对，根据所述手部图像对中所述深度相机采集的手部图像，生成手部三维模型，将所述手部三维模型投影到所述手部图像对中相应的工业相机同步曝光的手部图像中，获得相应的3D手势；
根据多组手部图像对中每个工业相机采集的手部图像和相应的3D手势，生成用于训练手部关键点估计模型的3D手势数据集。
3.如权利要求1所述的方法，其特征在于，所述目标参数集合至少包括目标帧率和目标相位，根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，包括：
对多帧RGB图像进行暗条纹检测，确定所述深度相机的采集帧率，并将所述采集帧率作为目标帧率设置给LED灯，使得LED灯以所述目标帧率进行连续闪烁；
获取所述深度相机采集的所述LED灯以所述目标帧率、不同相位连续闪烁的RGB图像，将图像顶部出现所述暗条纹的RGB图像对应的相位，确定为所述LED灯的目标相位；
将所述目标帧率和所述目标相位作为所述LED灯与所述深度相机同步的目标参数集合。
4.如权利要求3所述的方法，其特征在于，所述对多帧RGB图像进行暗条纹检测，确定所述深度相机的采集帧率，包括：
根据多帧RGB图像的时间戳，确定所述深度相机的采样周期，并将所述采样周期作为所述LED灯的闪烁周期；
对多帧RGB图像进行所述LED灯的暗条纹检测，根据所述暗条纹分别在RGB图像中的行号，确定所述暗条纹的滚动方向；
根据所述暗条纹首次出现在图像顶部的图像帧号，以及所述暗条纹回到首次位置时的图像帧号，确定所述深度相机的采集帧数；
根据所述闪烁周期、所述采集帧数和所述滚动方向，确定所述深度相机的采集帧率。
5.如权利要求4所述的方法，其特征在于，所述深度相机的采集帧率的计算公式为：
其中，frgb表示所述深度相机的采集帧率，Tled表示所述LED灯的闪烁周期，n表示所述深度相机的采集帧数，当所述暗条纹的滚动方向向下时，取减号，当所述暗条纹的滚动方向向上时，取加号。
6.如权利要求3所述的方法，其特征在于，所述获取所述深度相机采集的所述LED灯以所述目标帧率、不同相位连续闪烁的RGB图像，包括：
读取所述深度相机采集的所述LED的初始相位对应的当前RGB图像，检测所述当前RGB图像的顶部是否出现所述暗条纹；
若未出现，则按照设定的相位步长，将所述LED灯的初始相位增加一次，并再次读取所述初始相位增加后的下一帧RGB图像，直到RGB图像的顶部出现所述暗条纹时停止调节所述LED灯的相位。
7.如权利要求1-6中任一项所述的方法，其特征在于，所述目标参数集合还包括脉冲宽度。
8.一种3D图像采集设备，其特征在于，包括处理器、存储器、USB虚拟串口，数据接口；所述数据接口、所述USB虚拟串口，所述存储器与所述处理器通过总线连接；
所述存储器包括数据存储单元和程序存储单元，所述程序存储单元存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
通过所述USB虚拟串口向信号控制器发送第一控制指令，以使所述信号控制器控制深度相机视野内的LED灯连续闪烁；
通过所述数据接口，获取所述深度相机采集视野内的所述LED灯的多帧RGB图像，并存储于所述数据存储单元；
根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述数据存储单元中存储的所述RGB图像；
通过所述USB虚拟串口将所述目标参数集合发送给所述信号控制器，以使所述信号控制器将所述目标参数集合发送给多个工业相机，并通过所述USB虚拟串口向所述信号控制器发送第二控制指令，以使所述信号控制器控制所述LED灯单次闪烁；
通过所述数据接口，分别获取所述深度相机采集的所述LED灯单次闪烁的多帧RGB图像，和每个工业相机采集的RGB图像；
根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。
9.如权利要求8所述的3D图像采集设备，其特征在于，所述处理器确定所述深度相机与每个工业相机之间同步曝光的时间关系后，还执行：
通过所述USB虚拟串口向所述信号控制器发送第三控制指令，以使所述信号控制器停止向所述LED灯发送控制信号，同时持续向所述多个工业相机发送硬件同步信号；
通过所述数据接口，接收所述深度相机和每个工业相机采集的手部图像，并根据所述深度相机与每个工业相机之间同步曝光的时间关系，获得所述深度相机和每个工业相机同步曝光的手部图像对，并存储于所述数据存储单元；
确定所述深度相机与每个工业相机同步曝光的时限是否超过设定的时限阈值；
若超过，则重新确定所述深度相机与每个工业相机之间同步曝光的时间关系，以减小所述深度相机和每个工业相机同步曝光的累积时间误差，并根据重新确定的同步曝光的时间关系，通过所述数据接口，继续获取所述深度相机和每个工业相机同步曝光的手部图像对并保存于所述数据存储单元；
针对每一帧手部图像对，根据所述手部图像对中所述深度相机采集的手部图像，生成手部三维模型，将所述手部三维模型投影到所述手部图像对中相应的工业相机同步曝光的手部图像中，获得相应的3D手势；
根据各组手部图像对中每个工业相机采集的手部图像和相应的3D手势，生成用于训练手部关键点估计模型的3D手势数据集。
10.如权利要求8所述的3D图像采集设备，其特征在于，所述目标参数集合至少包括目标帧率和目标相位，所述处理器根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，具体操作为：
对多帧RGB图像进行暗条纹检测，确定所述深度相机的采集帧率，并将所述采集帧率作为目标帧率设置给LED灯，使得LED灯以所述目标帧率进行连续闪烁；
获取所述深度相机采集的所述LED灯以所述目标帧率、不同相位连续闪烁的RGB图像，将图像顶部出现所述暗条纹的RGB图像对应的相位，确定为所述LED灯的目标相位；
将所述目标帧率和所述目标相位作为所述LED灯与所述深度相机同步的目标参数集合。
CN202210718630.7A 2022-06-23 2022-06-23 多相机同步采集图像的方法及设备 Active CN115190288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210718630.7A CN115190288B (zh) 2022-06-23 2022-06-23 多相机同步采集图像的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210718630.7A CN115190288B (zh) 2022-06-23 2022-06-23 多相机同步采集图像的方法及设备

Publications (2)

Publication Number Publication Date
CN115190288A CN115190288A (zh) 2022-10-14
CN115190288B true CN115190288B (zh) 2023-04-25

Family

ID=83515652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210718630.7A Active CN115190288B (zh) 2022-06-23 2022-06-23 多相机同步采集图像的方法及设备

Country Status (1)

Country Link
CN (1) CN115190288B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889689A (zh) * 2017-12-06 2019-06-14 洛克威尔柯林斯公司 同步相机和照明***
CN109963136A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种智能手机结构光深度相机的工作方法及装置
WO2019184183A1 (zh) * 2018-03-31 2019-10-03 深圳奥比中光科技有限公司 目标图像获取***与方法
CN110493593A (zh) * 2019-07-30 2019-11-22 中国科学院西安光学精密机械研究所 一种摄像装置帧频测试***及其测试方法
CN112565733A (zh) * 2020-12-09 2021-03-26 广州科莱瑞迪医疗器材股份有限公司 基于多相机同步拍摄的三维成像方法、装置及拍摄***
CN113676725A (zh) * 2021-08-19 2021-11-19 江苏集萃智能光电***研究所有限公司 一种二进制激光编码多相机同步性测量方法及装置
CN114138121A (zh) * 2022-02-07 2022-03-04 北京深光科技有限公司 用户手势识别方法、装置、***、存储介质及计算设备
CN114283241A (zh) * 2021-12-27 2022-04-05 熵智科技(深圳)有限公司 一种结构光三维重建装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227245A (ja) * 2005-02-17 2006-08-31 Eastman Kodak Co カメラシステムおよびそのカメラシステムにおいて用いる無線ネットワークに接続可能なカメラ
US8723923B2 (en) * 2010-01-14 2014-05-13 Alces Technology Structured light system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889689A (zh) * 2017-12-06 2019-06-14 洛克威尔柯林斯公司 同步相机和照明***
CN109963136A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种智能手机结构光深度相机的工作方法及装置
WO2019184183A1 (zh) * 2018-03-31 2019-10-03 深圳奥比中光科技有限公司 目标图像获取***与方法
CN110493593A (zh) * 2019-07-30 2019-11-22 中国科学院西安光学精密机械研究所 一种摄像装置帧频测试***及其测试方法
CN112565733A (zh) * 2020-12-09 2021-03-26 广州科莱瑞迪医疗器材股份有限公司 基于多相机同步拍摄的三维成像方法、装置及拍摄***
CN113676725A (zh) * 2021-08-19 2021-11-19 江苏集萃智能光电***研究所有限公司 一种二进制激光编码多相机同步性测量方法及装置
CN114283241A (zh) * 2021-12-27 2022-04-05 熵智科技(深圳)有限公司 一种结构光三维重建装置及方法
CN114138121A (zh) * 2022-02-07 2022-03-04 北京深光科技有限公司 用户手势识别方法、装置、***、存储介质及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wenxiong Shi ; Yangyang Li ; Ru Chen ; Chenghao Zhang ; Zhanwei Liu ; Huimin Xie ; Fei Liu.Research on synchronous measurement technique of temperature and deformation fields using multispectral camera with bilateral telecentric lens.力学快报(英文版).2022,第12卷(第003期),全文. *
梁华刚 ; 程加乐 ; 孙小喃 ; 茹锋 ; .道路监控***中非同步相机时间校正方法.交通运输工程学报.2015,(第04期),全文. *

Also Published As

Publication number Publication date
CN115190288A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
EP3864491B1 (en) Method for hmd camera calibration using synchronised image rendered on external display
KR102291461B1 (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
CN111417983A (zh) 基于事件相机的可变形对象跟踪
WO2020076396A1 (en) Real-world anchor in a virtual-reality environment
WO2015000286A1 (zh) 基于增强现实的三维互动学习***及方法
TW201915831A (zh) 對象識別方法
CN109727271A (zh) 用于跟踪对象的方法和设备
CN102780893A (zh) 图像处理设备及其控制方法
JP2009048616A (ja) ビデオカメラをポインティング装置として使用するときの画面上のカーソルの動的制御方法、システム、およびプログラム
JP2017129904A (ja) 情報処理装置、情報処理方法、及び記録媒体
EP3349095B1 (en) Method, device, and terminal for displaying panoramic visual content
CN101930628A (zh) 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
US20160078685A1 (en) Display control device, display control method, and recording medium
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
CN102799271A (zh) 一种基于人手手势的交互命令识别方法及***
CN103514429A (zh) 检测对象的特定部位的方法及图像处理设备
CN109445583A (zh) 页面控制方法、装置及移动终端
WO2020054298A1 (ja) 情報処理装置、描画制御方法及びそのプログラムを記録した記録媒体
CN115190288B (zh) 多相机同步采集图像的方法及设备
CN104170367B (zh) 一种图像捕获方法、装置及计算机可读介质
KR101824808B1 (ko) 영상처리 기술을 이용한 골프 스윙 3d 모델과 학습자를 촬영한 동영상 간의 골프 스윙 동기화 장치 및 그 방법
CN105469048A (zh) 一种提高人脸检测性能的方法
CN107690067B (zh) 头戴式显示设备帧率的检测方法及装置
CN105511649B (zh) 一种多点定位***及多点定位方法
CN108491066A (zh) 一种手势交互方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant