CN114095713A - 成像模组及其处理方法、***、装置、介质 - Google Patents

Abstract

本申请涉及一种成像模组及其处理方法、***、装置、介质，该成像模组包括第一光源和与所述第一光源对应设置的图像传感器组，其处理方法包括：依据所述第一光源的调制频率和所述图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息；依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息；依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息；依据所述目标深度信息生成目标图像。本申请提升成像模组的性能，使得成像模组可以满足各种场景的应用需求，扩大成像模组的应用范围。

Description

成像模组及其处理方法、***、装置、介质

技术领域

本申请实施例涉及三维(3-Dimension，3D)成像技术领域，尤其涉及一种成像模组及其处理方法、***、装置、介质。

背景技术

随着3D技术的快速发展，市场对飞行时间技术(Time-of-Flight，ToF)相机的需求和要求也越来越高。相较于直接测量飞行时间(direct Time-of-Flight，dToF)，间接光飞行时间(indirect Time-of-Flight，iToF)相机凭借其较低的成本和较高的分辨率在3D市场占得一席之地。

具体而言，iToF技术广泛应用于3D相关应用中。在3D交互领域中，随着裸眼3D技术和显示屏性能的飞速发展，对iToF的精度和帧频的要求也越来越高，传统iToF相机的结构已经不能保证未来市场的需求。

发明内容

鉴于此，为解决上述技术问题或部分技术问题，本申请实施例提供一种成像模组及其处理方法、***、装置、介质。

第一方面，本申请实施例提供一种成像模组的处理方法，该成像模组包括第一光源和与所述第一光源对应设置的图像传感器组，处理方法包括：依据所述第一光源的调制频率和所述图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息；依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息；依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息；依据所述目标深度信息生成目标图像。

在一种可能的实施方式中，所述依据所述第一光源的调制频率和所述图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息，包括：若所述图像传感器组的数量为一，则将所述调制频率对应的时间周期确定为所述采集时间间隔信息；若所述图像传感器组的数量大于一，则基于所述调制频率对应的时间周期和所述数量确定采集时间间隔，并基于所述采集时间间隔确定每一所述图像传感器组对应的采集时间间隔信息。

在一种可能的实施方式中，依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息，包括：针对每一图像传感器组，按照所述图像传感器组对应的采集时间间隔信息，向所述图像传感器组中的每一个目标传感器提供触发信号，所述触发信号用于触发所述目标传感器采集反射光信号；针对每一个目标传感器，依据采集到的反射光信号与调制光信号之间的相位差确定所述目标传感器的采集图片信息，其中，所述调制光信号为所述第一光源发射的光信号。

在一种可能的实施方式中，所述依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息，包括：将所述各目标传感器的采集图片信息转换到目标坐标系中，得到各采集图片信息对应的像素坐标信息，所述像素坐标信息包含：公共区域的像素坐标信息和非公共区域的像素坐标信息；对所述公共区域的像素坐标信息进行平均处理，得到所述公共区域的像素坐标平均值信息；依据所述像素坐标平均值信息和所述非公共区域的像素坐标信息，确定所述目标深度信息。

在一种可能的实施方式中，所述成像模组还包括：彩色成像模组，所述依据所述目标深度信息生成目标图像包括：基于所述目标深度信息进行三维重建，得到三维图像模型；依据所述彩色成像模组输出的彩色图像信息，对所述三维图像模型进行纹理处理，得到所述目标图像。

在一种可能的实施方式中，成像模组的处理方法还包括：将所述目标图像发送给目标客户端，所述目标客户端用于依据所述目标图像进行输出。

第二方面，本申请实施例提供一种成像模组，包括：第一光源和与所述第一光源对应设置的图像传感器组；其中，所述第一光源用于发射调制光信号；所述图像传感器组包括至少两个目标传感器，所述目标传感器用于采集所述调制光信号对应的反射光信号。

在一种可能的实施方式中，所述成像模组还包括：读出计算模块；所述读出计算模块，用于依据每一个目标传感器采集到的反射光信号与所述调制光信号之间的相位差，确定每一个目标传感器的采集图片信息，并依据各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息。

在一种可能的实施方式中，所述第一光源为红外光源，所述目标传感器为间接光飞行时间iToF传感器。

在一种可能的实施方式中，所述成像模组还包括：彩色成像模组；所述彩色成像模组用于获取彩色图像信息；所述读出计算模块，还用于基于所述目标深度信息进行三维重建，得到三维图像模型；并依据所述彩色图像信息对所述三维图像模型进行纹理处理，得到目标图像。

第三方面，本申请实施例提供一种显示装置，包括如第二方面任一所述的成像模组。

在一种可能的实施方式中，显示装置还包括：处理器，以及用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为执行如第一方面任一所述的处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一所述的成像模组的处理方法。

第五方面，本申请实施例提供一种成像模组的处理***，所述成像模组包括第一光源和与所述第一光源对应设置的图像传感器组，所述处理***包括：

采集时间确定模块，用于依据所述第一光源的调制频率和所述图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息；

控制模块，用于依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息；

降噪处理模块，用于依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息；

目标图像生成模块，用于依据所述目标深度信息生成目标图像。

本申请实施例提供的成像模组及其处理方法、***、装置、介质，通过改进成像模组的结构，并通过依据成像模组中第一光源的调制频率和图像传感器组的数量，确定图像传感器组对应的采集时间间隔信息，随后依据采集时间间隔信息控制图像传感器组中各目标传感器进行采集，使得图像传感器组与图像传感器组组之间采用等间隔滚动工作的方式进行图像采集，得到各目标传感器的采集图片信息，随后依据各目标传感器的采集图片信息进行平均降噪处理，以依据得到的目标深度信息生成目标图像，从而可能够有效降低随机噪声，提升精度，进而提升成像模组的性能，使得成像模组可以满足各种场景的应用需求，扩大成像模组的应用范围。

附图说明

图1为现有传统的iToF相机的结构示意图；

图2为本申请一个示例中的一种成像模组的结构示意图；

图3为本申请实施例提供的一种成像模组的处理方法的步骤流程图；

图4本申请一个示例中图像传感器组之间采用等间隔滚动工作方式的时序示意图；

图5为本申请一个示例中通过4个iToF传感器的采集图片信息提升精度的示意图；

图6为本申请一个示例中的iToF相机在工作平台移动的示意图；

图7为本申请可选实施例提供的一种成像模组的处理方法的步骤流程图；

图8为本申请一个示例中的帧频提升时序示意图；

图9为本申请一个示例中光场相机应用模型的示意图；

图10为本申请一个示例中深度精度影响视点映射的示意图；

图11为本申请一个示例中相机间隔与深度精度的关系示意图；

图12为本申请一个示例中的成像模组工作原理的示意图；

图13为本申请实施例提供的一种成像模组的处理***的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在光场相机等3D交互应用背景下，随着对手势识别要求的提升和显示屏刷新率的提升，iToF的精度和帧频亟待提高。例如，目前市面上iToF相机的帧频大都在60fps以内；而显示器的帧频已经到了480Hz，并且仍然在飞速发展，在未来的3D交互应用中，iToF相机的帧频也亟需提升到与之匹配的程度。需要说明的是，iToF通过测量相位偏移来间接测量光的飞行时间。iToF相机的核心是iToF Sensor和红外光源，如图1所示，传统的iToF相机采用单个光源搭配单个iToF传感器(Sensor)的方式，具体而言，在光源发出调制光打到目标上，与该光源搭配设置的Sensor可以接收到经该目标反射所形成的发射光，并可通过计算反射光与入射光(即光源发出的调制光)的相位差

以根据公式

进行计算，得到目标处的景深信息D；其中公式中的c表示的是光速，f表示的是调制频率，具体可以是光源发射调制光信号的频率。可见，在调制频率f和光源功率等外在条件确定的情况下，iToF相机的测量精度很难进一步提升，并且测量精度与传感器的信噪比成直接关系。

有鉴于此，本申请实施例的核心构思之一在于，采用单个光源搭配两个或两个以上传感器的方式改进成像模组的相机结构，以采用单光源多传感器的方式工作提升精度和/或帧频，使得成像模组的相机性能能够满足市场需求。

在具体实现中，本申请实施例中的成像模组可以包括第一光源和与第一光源对应设置的图像传感器组，且每一图像传感器组可以包含一个或多个的目标传感器。具体而言，与第一光源对应设置的图像传感器组可以用于接收第一光源所发射的调制光信号对应的反射光信号，该调制光信号可以用于表示第一光源按照一定调制频率f所发射的调制光，反射光信号可以用于表示调制光经过目标对象反射后所形成的反射光，如在红外光源作为第一光源的情况下，调制光信号可以是指红外光源所发射的红外调制光信号，该红外调制光信号经过作为目标的检测物反射后形成的反射光信号。

作为本申请的一个示例，在第一光源为iToF相机的红外光源的情况下，可以针对该红外光源设置4个iToF传感器，以作为红外光源对应设置的图像传感器组中的目标传感器，该目标传感器可以用于接收红外光源发射的调制光经目标反射所形成的发射光，进而可以根据公式

基于反射光与调制光的相位差

确定iToF传感器所采集到的深度信息。示例性的，如图2所示，这4个iToF传感器可以相对第一光源紧密对称排列，这样一方面能够保证单个iToF传感器的测量精度，另一方面能够尽可能提高4个iToF传感器获取图像的公共区域像素面积，以便后续通过公共区域像素做平均降噪处理提高像素精度，即做均值处理提高精度的像素数，进而能够提高成像模组的整体性能。

需要说明的是，因为iToF工作原理限制，如果简单采用4个相机(即4光源+4个传感器)工作的方式，为了避免光源的互相干扰，必须采用分时曝光的方式，这样会牺牲帧频和增加很大的功耗和成本；如果采用单个相机(1光源+1传感器)多次工作的方式，将直接降低四倍帧频，这在实际应用中是不可取的。

为便于对本申请实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本申请实施例的限定。

如图3所示，本申请实施例提供的成像模组的处理方法具体可以包括如下步骤：

步骤310，依据第一光源的调制频率和图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息。

在实际应用中，不同应用场景对精度和帧频的需求不一样。本申请实施例可以按照帧频需求对将第一光源对应设置的目标传感器进行分组，以将第一光源对应设置的目标传感器划分为一个或多个图像传感器组，且每个传感器组可以包含两个或两个以上的目标传感器，如结合上述例子，在第一光源对应设置的4个iToF传感器作为目标传感器的情况下，可以将这4个iToF传感器分为2组，即得到两个图像传感器组，且每个图像传感器组包含2个iToF传感器；每个iToF传感器作为目标传感器可以用于接收、采集调制光信号的反射光信号，且该调制光信号是第一光源按照预设的调制频率所发射的光信号。应用过程中，本申请实施例可以根据第一光源的调制频率和图像传感器组的数量，如可以基于第一光源的调制频率确定出单个目标传感器的一帧时间，然后可以按照该图像传感器组的数量对该一帧时间进行平分，得到采集间隔时间，以作为各图像传感器组对应的采集时间间隔信息，以便后续可以依据图像传感器组对应的采集时间间隔信息，按照等间隔滚动工作方式控制每个图像传感器组中的目标传感器进行图像采集，即执行步骤320。

其中，图像传感器组对应的采集时间间隔信息可以用于控制各图像传感器组之间采用等间隔滚动工作方式进行图像采集，如采集时间间隔信息可以是图像传感器组采集的间隔时间，该间隔时间可以根据单个传感器一帧时间和图像传感器组的数量来确定。需要说明的是，单个目标传感器的一帧时间可以根据第一光源的调制频率f确定，如可以按照公式T＝1/f，采用第一光源的调制频率f确定单个目标传感器的一帧时间T。

作为本申请的一个示例，在图像传感器组的数量为X的情况下，可以按照公式t＝T/X来确定间隔时间t，如在图像传感器组的数量为2时间，间隔时间t为T/2，即t＝1/2f；而在图像传感器组的数量为4时，间隔时间t为T/4，即t＝1/4f,等等。可见，本示例可以依据所述第一光源的调制频率f和图像传感器组的数量X，按照公式t＝1/(X×f)，确定图像传感器组的采集间隔时间，以作为图像传感器组对应的采集时间间隔信息。

步骤320，依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息。

具体而言，本申请实施例在确定出图像传感器组对应的采集时间间隔信息后，可以按照该采集时间间隔信息，采用滚动式工作方式控制各图像传感器组中的目标传感器进行图像采集，如可以按照采集时间间隔信息中的采集时间间隔，向各图像传感器器组中的目标传感器发送触发信号，以通过触发信号触发各图像传感器组中的目标传感器采集第一光源的反射光信号，从而可以依据每个目标传感器采集到的反射光信号与第一光源发射的调制光信号之间的相位差，生成每个目标传感器目标传感器的采集图片信息，达到控制各图像传感器组中按照滚动式工作方式进行工作的目的，进而可以得到各目标传感器的采集图片信息。其中，目标传感器的采集图片信息可以包含目标传感器采集到的图片信息，可以用于表示通过该目标传感器采集到的图片。

作为本申请的一个示例，可以在0时刻向第一个图像传感器组中的目标图像传感器发送触发信号，以触发第一个图像传感器组中的目标图像传感器在0～T时间内采集反射光信号，即控制第一个图像传感器组中的目标图像传感器在0～T时间内采集反射光信号，进而可以依据第一个图像传感器组中每一个目标图像传感器采集到反射光信号与第一光源发射的调制光信号之间的相位差，生成第一个图像传感器组中每一个目标图像传感器的采集图片信息；而在T/X时刻向第二个图像传感器组中的目标图像传感器发送触发信号，以触发第二个图像传感器组中的目标图像传感器在T/X～(T+T/X)时间内采集反射光信号，即控制第二个图像传感器组中的目标图像传感器在T/X～(T+T/X)时间内采集反射光信号，进而可以依据第二个图像传感器组中每一个目标图像传感器采集到反射光信号与第一光源发射的调制光信号之间的相位差，生成第二个图像传感器组中每一个目标图像传感器的采集图片信息；在2T/X时刻向第三个图像传感器组中的目标图像传感器发送触发信号，以触发第三个图像传感器组中的目标图像传感器在2T/X～(T+2T/X)时间内采集反射光信号，即控制第三个图像传感器组中的目标图像传感器在2T/X～(T+2T/X)时间内采集反射光信号，进而可以依据第三个图像传感器组中每一个目标图像传感器采集到反射光信号与第一光源发射的调制光信号之间的相位差，生成第三个图像传感器组中每一个目标图像传感器的采集图片信息……如此类推，可以在n×T/X时刻向第(n+1)个图像传感器组中的目标图像传感器发送触发信号，以触发第(n+1)个图像传感器组中的目标图像传感器在(n×T)/X～(T+n×T/X)时间内采集反射光信号，即控制第(n+1)个图像传感器组中的目标图像传感器在在(n×T)/X～(T+n×T/X)时间内采集反射光信号，进而可以依据第(n+1)个图像传感器组中每一个目标图像传感器采集到反射光信号与第一光源发射的调制光信号之间的相位差，生成第(n+1)个图像传感器组中每一个目标图像传感器的采集图片信息。需要说明的是，(n+1)小于或等于X，且n和X均为大于零的整数。

例如，在将第一光源的4个iToF传感器分为2个图像传感器组的情况下，即在图像传感器组的数量X为2的情况下，在依据第一光源的调制频率和图像传感器组的数量确定采集时间间隔信息后，可以基于该采集时间间隔信息控制2个图像传感器组之间采用等间隔滚动工作的方式进行采集，间隔时间为T/2，如图4所示，在第一光源的调制频率对应的一个时钟周期为T的情况下，2个图像传感器组中的4个iToF传感器采用等间隔滚动工作的方式进行图像采集，间隔时间为T/2，期间光源一直工作，后端处理器可以采用2倍频对数据进行处理依次读出，以保证最大化2倍帧频输出，达到提高成像模组的帧频的目的。需要说明的是，frame1可以表示第一个图像传感器组中的一个目标传感器iToF1第一次采集到的图片信息；frame2可以表示第一个图像传感器组中的另一个目标传感器iToF2第一次采集到的图片信息，以便后续可采用frame1和frame2输出(output)成像模组的第一张图片信息AVE(f1,f2)；同理，frame3可以表示第二个图像传感器组中的一个目标传感器iToF3第一次采集到的图片信息；frame4可以表示第二个图像传感器组中的另一个目标传感器iToF4第一次采集到的图片信息，以便后续可采用frame3和frame4输出成像模组的第二张图片信息AVE(f3,f4)；frame5可以表示目标传感器iToF1第二次采集到的图片信息；frame6可以表示目标传感器iToF2第二次采集到的图片信息，以便后续可采用frame5和frame6输出成像模组的第三张图片信息AVE(f5,f6)；frame7可以表示目标传感器iToF3第二次采集到的图片信息；frame8可以表示目标传感器iToF4第二次采集到的图片信息，以便后续可采用frame8和frame9输出成像模组的第四张图片信息AVE(f7,f8)。

步骤330，依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息。

具体的，本申请实施例在得到各目标传感器的采集图片信息后，可以将该各目标传感器的采集图片信息统一投影到对应的坐标系上，随后可对公共区域进行取均值处理，得到目标深度信息。该目标深度信息可以是指最终得到的目标图片信息的深度信息。例如，在得到4个iToF传感器的采集图片信息后，可以将这4个iToF传感器的采集图片信息统一投影变换到左上角对应的坐标系，如图5所示，并可对公共部分进行平均处理，即对公共区域进行取均值处理，以通过平均处理有效降低噪声，得到最终的目标图片信息，随后可将最终得到的目标片信息的深度信息确定为最终的目标深度信息。其中，图5中的a可以表示4个目标sensor采集到的图片；b可以表示将4个目标sensor采集到的图片统一投影变换到左上角对应的坐标系后所得到的目标图片。

需要说明的是，本申请实施例中目标图片的不同区域精度提升的程度与该部分对应目标Sensor的个数有关，如图5中数值为理论上可以提升的最大精度(2倍以内)。具体而言，测量误差通常由***误差和随机误差组成，iToF工作时，***误差可通过出厂校准、算法标定等方式优化，但是随机带来的数据抖动不可避免，随机误差基本服从正态分布X～N(μ,σ²)，因此可以用标准差来衡量随机误差的大小，即S＝σ。减少随机误差的方式之一是多次测量求均值，理论上平均后的数据服从正态分布，标准差可以按照公式

来确定，由此可见通过平均降噪处理，精度提升近

倍。其中，

可以表示随机误差的平均值，n可以是指一个图像传感器组中目标传感器的数量。

在实际处理中，可以采用单个iToF相机对本申请实施例中提升精度的概念进行验证，如可采用如图6所示的工作平台，采用可编程移动滑块，其中可移动导轨可以沿y轴移动，固定在可移动滑块上的iToF相机可以沿x轴移动，保证每次移动时间和空间间隔都相同，每个位置都可对同一场景进行拍摄；在得到25幅图像后，可以将所有图像通过相机内外参和深度信息投影变换到13号相机对应的位置，随后对公共部分进行取均值处理，如选取某一区域，计算得到均值处理前后的噪声为1.33mm和0.49mm，有此可见均值处理后能够有效降低噪声，进而提升精度。

步骤340，依据所述目标深度信息生成目标图像。

具体的，本申请实施例在得到目标深度信息后，可以依据该目标深度信息生成最终的目标图像，以便后续采用该目标图像完成相应的应用处理，满足各种应用需求。其中，目标图像可以是指针对目标对象最终生成的图像，如在3D相关场景中的应用过程中，可以依据该目标深度信息进行三维重建，并可通过RGB相机获取彩色图像信息进行纹理细节贴图，实时重建出场景的3D模型图像，作为目标图像，以便后续可以将该3D模型图像作为目标图像传输给另一客户端进行诸如3D视频聊天的应用。

综上，本申请实施例提供的成像模组的处理方法，通过依据成像模组中第一光源的调制频率和图像传感器组的数量，确定图像传感器组对应的采集时间间隔信息，随后依据采集时间间隔信息控制图像传感器组中各目标传感器进行采集，使得图像传感器组与图像传感器组组之间采用等间隔滚动工作的方式进行图像采集，得到各目标传感器的采集图片信息，随后依据各目标传感器的采集图片信息进行平均降噪处理，以依据得到的目标深度信息生成目标图像，从而可能够有效降低随机噪声，提升精度，进而能够提升成像模组的性能，使得成像模组可以满足各种场景的应用需求，扩大成像模组的应用范围。

在上述实施例的基础上，可选的，本申请实施例提供的成像模组的处理方法还可以包括：将所述目标图像发送给目标客户端，所述目标客户端用于依据所述目标图像进行输出。

参照图7，示出了本申请可选实施例提供的一种成像模组的处理方法的步骤流程图。本申请实施例提供的成像模组的处理方法具体可以包括如下步骤：

步骤710，依据第一光源的调制频率和图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息。

在实际处理中，本申请实施例可以根据帧频的需求将第一光源对应设置的目标传感器划分为一个或多个图像传感器组，以按照图像传感器组的数量和第一光源的调制频率确定出图像传感器组与图像传感器组之间等间隔滚动工作方式对应的采集时间间隔。进一步而言，本申请实施例依据第一光源的调制频率和图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息，具体可以包括：若所述图像传感器组的数量为一，则将所述调制频率对应的时间周期确定为所述采集时间间隔信息；若所述图像传感器组的数量大于一，则基于所述调制频率对应的时间周期和所述数量确定采集时间间隔，并基于所述采集时间间隔确定每一所述图像传感器组对应的采集时间间隔信息。其中，调制频率对应的时间周期可以用于确定单个目标传感器的一帧时间。

步骤720，依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息。

进一步而言，本申请实施例依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息，具体包括：针对每一图像传感器组，按照所述图像传感器组对应的采集时间间隔信息，向所述图像传感器组中的每一个目标传感器提供触发信号，所述触发信号用于触发所述目标传感器采集反射光信号；针对每一个目标传感器，依据采集到的反射光信号与调制光信号之间的相位差确定所述目标传感器的采集图片信息，其中，所述调制光信号为所述第一光源发射的光信号。具体的，本实施例在确定出图像传感器组对应的采集时间间隔信息后，可以基于该采集时间间隔信息中的间隔时间，按照等间隔滚动工作方式向各图像传感器组中的目标传感器提供触发信号，以触发同一个图像传感器组中的目标传感器进行图像采集，即采集反射光信号，从而可以依据每一个目标传感器采集到的反射光信号与调制光信号之间的相位差确定该目标传感器的采集图片信息，进而可以得到各个目标传感器的采集图片信息。

例如，在iToF传感器作为与第一光源对应设置的目标传感器，且单个目标传感器一帧时间为T的情况下，可以将4个iToF传感器划分为4个图像传感器组，即每个图像传感器组包含1个iToF传感器，使得这4个iToF传感器采用等间隔滚动工作的方式进行图像采集，如图8所示，间隔时间为T/4，期间第一光源一直工作，后端处理器可以采用4倍频对数据进行处理依次读出，同精度提升一样，将所有iToF传感器的采集图像信息都投影变换到相同的坐标系下，从而可以保证最大化4倍帧频输出的目的。可见，本示例可以通过严格控制4个iToF传感器的工作时序，采用滚动式工作方式，配合后端的数据处理达到最高提升至4倍帧频的目的

步骤730，依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息。

进一步而言，本申请实施例依据依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息，包括：将所述各目标传感器的采集图片信息转换到目标坐标系中，得到各采集图片信息对应的像素坐标信息，所述像素坐标信息包含：公共区域的像素坐标信息和非公共区域的像素坐标信息；对所述公共区域的像素坐标信息进行平均处理，得到所述公共区域的像素坐标平均值信息；依据所述像素坐标平均值信息和所述非公共区域的像素坐标信息，确定所述目标深度信息。具体的，本申请实施例得到在各目标传感器的采集图片信息后，可以通过相机内外参数和深度信息将各目标传感器的采集图片信息统一投影到对应的坐标系上，如可以针对采集图片信息的任一像素点，利用相机的内外参数将该像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，得到深度像素点的像素坐标，以作为采集图片信息对应的像素坐标信息，从而可以得到各采集图片信息对应的像素坐标信息；随后可针对公共区域的像素坐标信息进行平均处理，以对公共区域中同一深度像素点的像素坐标取均值处理，得到该深度像素点的像素坐标平均值，作为公共区域的像素坐标平均值信息，以便后续可依据该公共区域的像素坐标平均值信息和非公共区域的像素坐标信息进行计算，得到目标深度信息。

步骤740，依据所述目标深度信息生成目标图像。

在实际处理中，可以由本申请实施例中的第一光源和与该第一光源对应设置的目标传感器组成深度成像模组，如该深度成像模组可以是iToF相机，用于获取深度信息进行3维重建。当然，本申请实施例除了可以包含有第一光源和与第一光源对应设置的目标传感器之外，还可以包含有其他模组模块，如还可以包含有彩色成像模组等，本申请申请实施例对此不作具体限制。进一步而言，本申请实施例成像模组还包括：彩色成像模组。该彩色成像模组可以用于获取彩色图像信息，以便后续可以依据该彩色图像信息进行纹理处理，如该彩色成像模组可以是RGB相机。可选的，本申请实施例依据所述目标深度信息生成目标图像的步骤具体包括：基于所述目标深度信息进行三维重建，得到三维图像模型；依据所述彩色成像模组输出的彩色图像信息，对所述三维图像模型进行纹理处理，得到所述目标图像。

步骤750，将所述目标图像发送给目标客户端。

其中，目标客户端用于依据所述目标图像进行输出。

作为本申请的一个示例，在3D相关场景中的应用，以光场相机为例，可以在显示屏上集成若干组RGB相机和改进后的iToF相机，如图9所示，可以在显示屏上集成6个相机模组(即成像模组)，分别为模组A、模组B、模组C、模组D、模组E、模组F；图9左侧为实际相机模组(RGB+iToF)摆放位置，初期验证可将相机模组集成到屏幕边框，后期最终目标是集成到屏幕内部；右侧是相机模组正面示意图，0代表RGB相机镜头(背后对应传感器)，1～4代表4个iToF镜头，L代表红外光源。目标对象在屏幕前活动时，每个相机模组可以通过iToF相机获取深度信息进行三维重建，并可通过RGB相机获取彩色图像信息进行纹理细节贴图，实时重建出场景的3D模型，随后可将该该3D模型作为目标图像传输到另一个客户终端进行诸如3D视频聊天的应用，从而能够满足3D项目的应用需求。

需要说明的是，光场相机的目的是为了给光场显示提供三维数据源，传统方案是采用大量的RGB相机进行视点插值计算，但是这种方式需要耗费大量算力，影响设计成本和实时性。本示例通过采用RGB+iToF(后续称为一组)的方式实现三维渲染，其中，iToF相机负责获取目标深度信息进行几何建模，RGB相机负责获取彩色图像信息进行细节纹理贴图。

具体而言，在实际应用中需要多组相机模组协同工作来获取各个视点的信息，如图10所示，A点在B点的左侧，由于误差△D的存在，会导致视点映射位置发生错误。例如，真实视点观察到的为A’点和B点，这时距离真实视点tx距离的虚拟视点所观测到的结果就是A点在B点右侧，这会直接导致建模错误。假设观看距离为1.2m，按照人眼分辨力1角分来计算，得到相邻相机最大间隔与深度精度的关系如图11所示(相邻两个视点间隔最大为2tx)，可以发现随着深度精度的提升，可以有效减少实际需要的相机组数。因此，本示例可以根据不同的需求可以将精度和帧频的提升进行取舍相互配合，若条件允许可以提高相机的个数，从而进一步提升iToF模组的性能。

综上，本申请实施例通过改进成像模组的结构，依据改进后的成像模组中第一光源的调制频率和图像传感器组的数量，确定图像传感器组对应的采集时间间隔信息，随后依据采集时间间隔信息控制图像传感器组中各目标传感器进行采集，使得图像传感器组与图像传感器组组之间采用等间隔滚动工作的方式进行图像采集，得到各目标传感器的采集图片信息，随后依据各目标传感器的采集图片信息进行平均降噪处理，以依据得到的目标深度信息生成目标图像，从而可能够有效降低随机噪声，进而可以在提升帧频的同时提升精度，达到提升成像模组的性能的目的，使得成像模组可以满足各种场景的应用需求，扩大成像模组的应用范围。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。

进一步的，本申请实施例提供一种成像模组。本申请实施例提供的成像模组具体可以包括：第一光源和与所述第一光源对应设置的图像传感器组；其中，所述第一光源用于发射调制光信号；所述图像传感器组包括至少两个目标传感器，所述目标传感器用于采集所述调制光信号对应的反射光信号。

在本申请实施例中，调制光信号可以用于表征第一光源发出的调制光。调制光信号对应的反射光信号可以用于表征第一光源发出的调制光经目标对象发射后得到的反射光。例如，在第一光源发射调制光信号的过程中，如图12所示，第一光源发出的调制光可以通过照明光学***打到到目标对象上，形成反射光，使得图像传感器组中的目标传感器可以通过透镜采集到调制光信号对应的反射光信号，随后可依据每一个目标传感器采集到的反射光信号与所述调制光信号之间的相位差，确定每一个目标传感器的采集图片信息，并可依据平均法降低随机噪声的思想，对各目标传感器的采集图片信息进行平均降噪处理，提升精度，进而提升成像模组的性能。

进一步而言，本申请实施例中的成像模组还可以包括有：读出计算模块。该读出计算模块可以用于依据每一个目标传感器采集到的反射光信号与所述调制光信号之间的相位差，确定每一个目标传感器的采集图片信息，并依据各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息。

可选的，本申请实施例中的第一光源为红外光源，所述目标传感器为间接光飞行时间iToF传感器。

可选的，本申请实施例中的成像模组还可以包括：彩色成像模组。其中，所述彩色成像模组用于获取彩色图像信息；所述读出计算模块，还用于基于所述目标深度信息进行三维重建，得到三维图像模型；并依据所述彩色图像信息对所述三维图像模型进行纹理处理，得到目标图像。

进一步的，本申请实施例还提供了一种成像模组的处理***。在本申请实施例中，成像模组可以包括第一光源和与所述第一光源对应设置的图像传感器组。如图13所示，成像模组的处理***1200可以包括如下模块：

采集时间确定模块1210，用于依据所述第一光源的调制频率和所述图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息；

控制模块1220，用于依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息；

降噪处理模块1230，用于依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息；

目标图像生成模块1240，用于依据所述目标深度信息生成目标图像。

可选的，所述采集时间确定模块1210可以包括如下子模块：

第一确定子模块，用于在所述图像传感器组的数量为一时，将所述调制频率对应的时间周期确定为所述采集时间间隔信息；

第二确定子模块，用于在所述图像传感器组的数量大于一时，基于所述调制频率对应的时间周期和所述数量确定采集时间间隔，并基于所述采集时间间隔确定每一所述图像传感器组对应的采集时间间隔信息。

可选的，控制模块1220可以包括如下子模块：

触发子模块，用于针对每一图像传感器组，按照所述图像传感器组对应的采集时间间隔信息，向所述图像传感器组中的每一个目标传感器提供触发信号，所述触发信号用于触发所述目标传感器采集反射光信号；

采集图片子模块，用于针对每一个目标传感器，依据采集到的反射光信号与调制光信号之间的相位差确定所述目标传感器的采集图片信息，其中，所述调制光信号为所述第一光源发射的光信号。

可选的，降噪处理模块1230可以包括如下子模块：

转换子模块，用于将所述各目标传感器的采集图片信息转换到目标坐标系中，得到各采集图片信息对应的像素坐标信息，所述像素坐标信息包含：公共区域的像素坐标信息和非公共区域的像素坐标信息；

平均处理子模块，用于对所述公共区域的像素坐标信息进行平均处理，得到所述公共区域的像素坐标平均值信息；

深度确定子模块，用于依据所述像素坐标平均值信息和所述非公共区域的像素坐标信息，确定所述目标深度信息。

可选的，本申请实施例中的成像模组还可以包括：彩色成像模组，所述目标图像生成模块1240可以包括如下子模块：

三维重建子模块，用于基于所述目标深度信息进行三维重建，得到三维图像模型；

目标图像子模块，用于依据所述彩色成像模组输出的彩色图像信息，对所述三维图像模型进行纹理处理，得到所述目标图像。

可选的，本申请实施例提供的成像模组的处理***1200还包括：图像传输模块。该图像传输模块用于将所述目标图像发送给目标客户端。所述目标客户端用于依据所述目标图像进行输出。

需要说明的是，上述提供的成像模组的处理***可执行本申请任意实施例所提供的成像模组的处理方法，具备执行方法相应的功能和有益效果。

在具体实现中，上述成像模组的处理***可以应用在诸如显示屏、手机、显示器等显示装置中，使得显示设备在做KVM时不仅可以切换键盘鼠标等USB设备还可以把显示信号源一起切换，简单方便的实现键鼠视频同步切换。进一步的，本申请实施例还提供了一种显示装置，包括本申请上述任一实施例所述的成像模组。

可选的，本申请实施例提供的显示装置还可以包括：处理器，以及用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为执行如上述任意一个方法实施例所述的成像模组的处理方法。。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一个方法实施例所述的成像模组的处理方法的步骤。

需要说明的是，对于***、装置、存储介质实施例而言，由于其与方法、模组实施例基本相似，所以描述的比较简单，相关之处参见方法和装置实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种成像模组的处理方法，其特征在于，所述成像模组包括第一光源和与所述第一光源对应设置的图像传感器组，所述处理方法包括：

依据所述第一光源的调制频率和所述图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息；

依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息；

依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息；

依据所述目标深度信息生成目标图像。

2.根据权利要求1所述的成像模组的处理方法，其特征在于，所述依据所述第一光源的调制频率和所述图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息，包括：

若所述数量为一，则将所述调制频率对应的时间周期确定为所述采集时间间隔信息；

若所述数量大于一，则基于所述调制频率对应的时间周期和所述数量确定采集时间间隔，并基于所述采集时间间隔确定每一所述图像传感器组对应的采集时间间隔信息。

3.根据权利要求2所述的成像模组的处理方法，其特征在于，所述依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息，包括：

针对每一图像传感器组，按照所述图像传感器组对应的采集时间间隔信息，向所述图像传感器组中的每一个目标传感器提供触发信号，所述触发信号用于触发所述目标传感器采集反射光信号；

针对每一个目标传感器，依据采集到的反射光信号与调制光信号之间的相位差确定所述目标传感器的采集图片信息，其中，所述调制光信号为所述第一光源发射的光信号。

4.根据权利要求1所述的成像模组的处理方法，其特征在于，所述依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息，包括：

将所述各目标传感器的采集图片信息转换到目标坐标系中，得到各采集图片信息对应的像素坐标信息，所述像素坐标信息包含：公共区域的像素坐标信息和非公共区域的像素坐标信息；

对所述公共区域的像素坐标信息进行平均处理，得到所述公共区域的像素坐标平均值信息；

依据所述像素坐标平均值信息和所述非公共区域的像素坐标信息，确定所述目标深度信息。

5.根据权利要求1至4任一所述的成像模组的处理方法，其特征在于，所述成像模组还包括：彩色成像模组，所述依据所述目标深度信息生成目标图像包括：

基于所述目标深度信息进行三维重建，得到三维图像模型；

依据所述彩色成像模组输出的彩色图像信息，对所述三维图像模型进行纹理处理，得到所述目标图像。

6.根据权利要求5所述的成像模组的处理方法，其特征在于，还包括：

将所述目标图像发送给目标客户端，所述目标客户端用于依据所述目标图像进行输出。

7.一种成像模组，其特征在于，所述成像模组包括：第一光源和与所述第一光源对应设置的图像传感器组；

其中，所述第一光源用于发射调制光信号；

所述图像传感器组包括至少两个目标传感器，所述目标传感器用于采集所述调制光信号对应的反射光信号。

8.根据权利要求7所述的成像模组，其特征在于，所述成像模组还包括：读出计算模块；

所述读出计算模块，用于依据每一个目标传感器采集到的反射光信号与所述调制光信号之间的相位差，确定每一个目标传感器的采集图片信息，并依据各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息。

9.根据权利要求8所述的成像模组，其特征在于，所述第一光源为红外光源，所述目标传感器为间接光飞行时间iToF传感器。

10.根据权利要求9所述的成像模组，其特征在于，所述成像模组还包括：彩色成像模组；

所述彩色成像模组用于获取彩色图像信息；

所述读出计算模块，还用于基于所述目标深度信息进行三维重建，得到三维图像模型；并依据所述彩色图像信息对所述三维图像模型进行纹理处理，得到目标图像。

11.一种显示装置，其特征在于，包括如权利要求7至10任一所述的成像模组。

12.根据权利要求11所述的显示装置，其特征在于，还包括：处理器，以及用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为执行如权利要求1至6任一所述的处理方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一所述的成像模组的处理方法。

14.一种成像模组的处理***，其特征在于，所述成像模组包括第一光源和与所述第一光源对应设置的图像传感器组，所述处理***包括：

采集时间确定模块，用于依据所述第一光源的调制频率和所述图像传感器组的数量，确定所述图像传感器组对应的采集时间间隔信息；

控制模块，用于依据所述采集时间间隔信息，控制所述图像传感器组中各目标传感器进行采集，得到各目标传感器的采集图片信息；

降噪处理模块，用于依据所述各目标传感器的采集图片信息进行平均降噪处理，得到目标深度信息；

目标图像生成模块，用于依据所述目标深度信息生成目标图像。

Images