CN111626929A - 深度图像的生成方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开涉及图像处理技术领域，具体涉及一种深度图像的生成方法、深度图像的生成装置、计算机可读介质和电子设备。所述方法包括：获取原始深度数据，并对所述原始深度数据进行质量恢复处理，以获取所述原始深度数据对应的高质量深度数据；基于所述高质量深度数据确定深度图像中各像素点的赋值，以生成所述原始深度数据对应的深度图像。本公开可以在通过原始深度数据生成深度图像之前，先对原始深度数据进行质量恢复处理，进而可以根据质量恢复后的高质量深度数据生成分辨率较高、精确度较好的深度图像；同时可以在一定程度上避免由于原始深度数据出现错误造成的深度图像出现明显错误的问题。

Description

深度图像的生成方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体涉及一种深度图像的生成方法、深度图像的生成装置、计算机可读介质和电子设备。

背景技术

深度图像，也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它可以直接反映景物可见表面的几何形状。随着图像、视频技术的不断发展，深度图像也得到了广泛的应用。

在相关技术中，通常可以通过传感器采集传感器距离场景或场景中物体的实际距离，进而根据实际距离确定像素值得方式生成深度图像。然而，在传感器出现器件功耗、精度下降的问题，或者传感器的收集环境较差等恶劣条件下，传感器收集到的数据质量往往会出现问题。在这种情况下，输出的深度图像不仅会出现分辨率较低的问题，还可能出现精确度下降，甚至存在明显错误的问题。

发明内容

本公开的目的在于提供一种深度图像的生成方法、深度图像的生成装置、计算机可读介质和电子设备，进而至少在一定程度上避免恶劣环境下传感器收集到的数据质量较差，进而导致深度图像的分辨率较低，精确度下降的问题。

根据本公开的第一方面，提供一种深度图像的生成方法，包括：获取原始深度数据，并对原始深度数据进行质量恢复处理，以获取原始深度数据对应的高质量深度数据；质量恢复处理至少包括数据清洗过程和超分辨率重建过程；基于高质量深度数据确定深度图像中各像素点的赋值，以生成原始深度数据对应的深度图像。

根据本公开的第二方面，提供一种深度图像的生成装置，包括：质量恢复模块，用于获取原始深度数据，并对原始深度数据进行质量恢复处理，以获取原始深度数据对应的高质量深度数据；质量恢复处理至少包括数据清洗过程和超分辨率重建过程；图像生成模块，用于基于高质量深度数据确定深度图像中各像素点的赋值，以生成原始深度数据对应的深度图像。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的深度图像的生成方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的深度图像的生成方法。

本公开的一种实施例所提供的深度图像的生成方法中，在获取到的原始深度数据后，可以在通过原始深度数据生成深度图像之前，先对原始深度数据进行质量恢复处理，进而可以根据质量恢复后的高质量深度数据生成分辨率较高、精确度较好的深度图像；此外，由于在生成深度图像之前已经进行了数据清洗和超分辨率重建，因此能够在一定程度上避免由于原始深度数据出现错误造成的深度图像出现明显错误的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性***架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种深度图像的生成方法的示意图；

图4示意性示出本公开示例性实施例中一种获取高质量深度数据的方法的示意图；

图5示意性示出本公开示例性实施例中根据权重策略对第一深度数据和第二深度数据进行融合的方法的示意图；

图6示意性示出本公开示例性实施例中根据第一权重和第二权重进行融合计算的方法的示意图；

图7示意性示出本公开示例性实施例中另一种获取高质量深度数据的方法的示意图；

图8示意性示出本公开示例性实施例中又一种获取高质量深度数据的方法的示意图；

图9示意性示出相关技术中TOF(time of flight)模组的***框架示意图；

图10示意性示出本公开示例性实施例中一种TOF模组的***框架示意图；

图11示意性示出本公开示例性实施例中深度图像的生成装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种深度图像的生成方法及装置的示例性应用环境的***架构的示意图。

如图1所示，***架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的深度图像的生成方法一般由终端设备101、102、103中执行，相应地，深度图像的生成装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的深度图像的生成方法也可以由服务器105执行，相应的，深度图像的生成装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103包括的用于采集深度图像的深度传感器收集原始深度数据，然后将原始深度数据上传至服务器105，服务器通过本公开实施例所提供的深度图像的生成方法生成深度图像后，将深度图像传输给终端设备101、102、103等。

本公开的示例性实施方式提供一种用于实现深度图像的生成方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行深度图像的生成方法。

电子设备可以以各种形式来实施，例如可以包括手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、导航装置、可穿戴设备、无人机等移动设备，以及台式电脑、智能电视等固定设备。下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber Identification Module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等。

其中，处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。在一些实施方式中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了***的效率。

在一些实施方式中，处理器210可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit，I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、通用输入输出(General-PurposeInput/Output，GPIO)接口、用户标识模块(Subscriber Identity Module，SIM)接口和/或通用串行总线(Universal Serial Bus，USB)接口等。通过不同的接口和移动终端200的其他部件形成连接。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为移动终端200充电，也可以连接耳机，通过耳机播放音频，还可以用于移动终端200连接其他电子设备，例如连接电脑、***设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施方式中，充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施方式中，充电管理模块240可以通过移动终端200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为电子设备供电。

电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施方式中，电源管理模块241也可以设置于处理器210中。在另一些实施方式中，电源管理模块241和充电管理模块240也可以设置于同一个器件中。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。移动终端200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施方式中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(Low Noise Amplifier，LNA)等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波、放大等处理，传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施方式中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施方式中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器271，受话器272等)输出声音信号，或通过显示屏290显示图像或视频。在一些实施方式中，调制解调处理器可以是独立的器件。在另一些实施方式中，调制解调处理器可以独立于处理器210，与移动通信模块250或其他功能模块设置在同一个器件中。

无线通信模块260可以提供应用在移动终端200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星***(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施方式中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯***(Global System for Mobile communications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入(CodeDivision Multiple Access，CDMA)，宽带码分多址(Wideband Code Division MultipleAccess，WCDMA)，时分码分多址(Time Division-Synchronous Code Division MultipleAccess，TD-SCDMA)，长期演进(Long Term Evolution，LTE)，新空口(New Radio，NR)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位***(GlobalPositioning System，GPS)，全球导航卫星***(Global Navigation Satellite System，GLONASS)，北斗卫星导航***(Beidou Navigation Satellite System，BDS)，准天顶卫星***(Quasi-Zenith Satellite System，QZSS)和/或星基增强***(Satellite BasedAugmentation Systems，SBAS)。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏290用于显示图像，视频等。显示屏290包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display，LCD)，有机发光二极管(Organic Light-EmittingDiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode，AMOLED)，柔性发光二极管(Flexlight-Emitting Diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(Quantum dot Light EmittingDiodes，QLED)等。在一些实施方式中，移动终端200可以包括1个或N个显示屏290，N为大于1的正整数。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。

ISP用于处理摄像模组291反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施方式中，ISP可以设置在摄像模组291中。

摄像模组291用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施方式中，移动终端200可以包括1个或N个摄像模组291，N为大于1的正整数，若移动终端200包括N个摄像头，N个摄像头中有一个是主摄像头。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当移动终端200在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。移动终端200可以支持一种或多种视频编解码器。这样，移动终端200可以播放或录制多种编码格式的视频，例如：动态图像专家组(Moving Picture Experts Group，MPEG)1，MPEG2，MPEG3，MPEG4等。

外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施方式中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。移动终端200可以通过扬声器271收听音乐，或收听免提通话。

受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当移动终端200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。

麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。移动终端200可以设置至少一个麦克风273。在另一些实施方式中，移动终端200可以设置两个麦克风273，除了采集声音信号，还可以实现降噪功能。在另一些实施方式中，移动终端200还可以设置三个，四个或更多麦克风273，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口274用于连接有线耳机。耳机接口274可以是USB接口230，也可以是3.5mm的开放移动电子设备平台(Open Mobile Terminal Platform，OMTP)标准接口，美国蜂窝电信工业协会(Cellular Telecommunications Industry Association of the USA，CTIA)标准接口。

深度传感器2801用于获取景物的深度信息。在一些实施方式中，深度传感器可以设置于摄像模组291。

压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施方式中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。

陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器2803检测移动终端200抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消移动终端200的抖动，实现防抖。陀螺仪传感器2803还可以用于导航，体感游戏场景。

气压传感器2804用于测量气压。在一些实施方式中，移动终端200通过气压传感器2804测得的气压值计算海拔高度，辅助定位和导航。

此外，根据实际需要，还可以在传感器模块280中设置其他功能的传感器，例如磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等等。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。移动终端200可以接收按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。

马达293可以产生振动提示，例如来电、闹钟、接收信息等的振动提示，也可以用于触摸振动反馈，例如作用于不同应用(如拍照、游戏、音频播放等)的触摸操作，或者作用于显示屏290不同区域的触摸操作，可以对应不同的振动反馈效果。触摸振动反馈效果可以支持自定义。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口295用于连接SIM卡。SIM卡可以通过***SIM卡接口295，或从SIM卡接口295拔出，实现和移动终端200的接触和分离。移动终端200可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口295可以同时***多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口295也可以兼容不同类型的SIM卡。SIM卡接口295也可以兼容外部存储卡。移动终端200通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施方式中，移动终端200采用eSIM，即：嵌入式SIM卡。eS IM卡可以嵌在移动终端200中，不能和移动终端200分离。

在相关技术中，为了能够得到分辨率较高的深度图像，往往会在根据原始深度数据生成深度图像之后，通过上采样或者超分辨率重建技术对深度图像进行处理，以提高深度图像的分辨率。然而，由于在生成深度图像时已经将一部分原始深度信息丢失了，因此通过上述两种方式得到的深度图像虽然分辨率较高，但仍然存在准确度较低的问题。例如，在现有TOF模组的***架构中，参照图9所示，信号发射模块910发射调试信号后，调试信号接触到任意对象920后被反射返回，信号接收模块930接收返回的信号并对返回的信号进行处理得到原始深度数据，中央处理模块940接收到信号接收器处理后的原始深度数据后，对原始深度数据进行滤波、编码、数据转换后，直接将得到的深度数据输入深度图像生成模块950生成深度图像。由于深度图像生成模块950在生成深度图像的过程中，会丢失一部分深度数据，因此即使再通过上采样或者超分辨率重建技术对深度图像进行处理，得到的深度图像仍然存在准确度较低的问题。

下面对本公开示例性实施方式的深度图像的生成方法和深度图像的生成装置进行具体说明。

图3示出了本示例性实施方式中一种深度图像的生成方法的流程，包括以下步骤S310和S320：

在步骤S310中，获取原始深度数据，并对原始深度数据进行质量恢复处理，以获取原始深度数据对应的高质量深度数据。

在一示例性实施例中，质量恢复处理的过程至少应该包括数据清洗过程和超分辨率重建过程，此外还可以包括其它处理过程，本公开对数据清洗和超分辨率重建过程的执行顺序，以及包括的其它处理过程不做特殊限定。例如，可以先对原始深度数据进行数据清洗，然后进行超分辨率重建的过程。

其中，数据清洗过程可以包括滤波处理、编码处理、格式转换处理中的至少一种。例如，清洗过程可以同时包括滤波处理、编码处理和格式转换处理；超分辨率重建过程可以通过卷积神经网络、方向性插值、深度学习等方式实现，本公开对此不做特殊限制。

在一示例性实施例中，原始深度数据可以包括二维图像信息。但是由于不同传感器或者摄像模组直接收集到的数据的形式不同，因此可以对传感器或者摄像模组直接收集到的数据进行转换处理。

具体的，在直接收集到的数据为一维信息时，可以根据一定顺序对一维信息进行排列，生成二维图像信息。例如，可以将CMOS感光元件上按行采集得到的电信号，按列排布形成二维电荷图像，得到二维图像信息；在直接收集到的数据为二维信息时，还可以对二维信息按照一定顺序进行重排，生成二维图像信息。例如，可以对相位图像进行逆序重排；在直接收集到的数据为三维信息时，可以按时间轴顺序得到一系列的二维信息，然后按照一定顺序进行像素级加权映射等操作，生成二维图像信息。其中，一定顺序可以是时间顺序、位置顺序或者预先指定的其它顺序。

在一示例性实施例中，在获取原始深度数据时，可以通过用于采集深度图像的深度传感器进行数据收集；其中，深度传感器可以设置于摄像模组中，例如，可以基于TOF(time of flight)模组进行原始深度数据进行收集。此外，还可以通过其他设备进行数据收集，并通过接收或者读取其他设备收集的数据的方式获取原始深度数据。

在一示例性实施例中，参照图4所示，对原始深度数据进行质量恢复处理，以获取原始深度数据对应的高质量深度数据，可以包括以下步骤S410至S430：

在步骤S410中，对原始深度数据进行数据清洗过程，并对数据清洗得到的第一中间数据进行超分辨率重建过程，得到原始深度数据对应的第一深度数据。

在一示例性实施例中，在得到原始深度数据后，可以先对原始深度数据进行数据清洗过程，然后对清洗后得到的第一中间数据进行超分辨率重建过程，以得到原始深度数据对应的第一深度数据。通过对原始深度数据进行数据清洗过程，可以去除原始深度数据中存在的噪点数据或者错误数据，进而根据正确的数据进行超分辨率重建过程，得到质量更好的第一深度数据。

在步骤S420中，对原始深度数据进行超分辨率重建过程，并对重建得到的第二中间数据进行数据清洗过程，得到原始深度数据对应的第二深度数据。

在一示例性实施例中，在得到原始深度数据后，还可以先对原始深度数据进行超分辨率重建过程，然后对重建后的第二中间数据进行数据清洗过程，以得到原始深度数据对应的第二深度数据。通过先对原始深度数据进行超分辨率重建过程，能够基于未处理的原始深度数据进行重建，得到能够反映原始深度数据的第二中间数据，然后对第二数据进行数据清洗过程，去除第二中间数据中的噪点等错误数据，进而得到质量更好的第二深度数据。

在步骤S430中，根据预设融合策略对第一深度数据和第二深度数据进行融合，以获取原始深度数据对应的高质量深度数据。

在一示例性实施例中，由于第一深度数据和第二深度数据的各自的生成过程，第一深度数据更侧重于原始深度数据中清洗后剩余部分的数据，而第二深度数据更侧重于原始深度数据，因此可以根据预设融合策略，将第一深度数据和第二深度数据融合起来，进而得到没有侧重方向的高质量深度数据。

在一示例性实施例中，预设融合策略可以包括权重策略。此时，参照图5所示，根据预设融合策略对第一深度数据和第二深度数据进行融合，以获取原始深度数据对应的高质量深度数据，可以包括如下步骤S510和S520：

在步骤S510中，根据第一深度数据确定深度图像中各像素点对应的第一深度数值，并根据第一深度数据确定深度图像中各像素点对应的第二深度数值。

在一示例性实施例中，由于深度数据可以用于确定深度图像中各像素点对应的深度数值，在存在第一深度数据和第二深度数据时，可以先分别根据第一深度数据和第二深度数据确定深度图像中各像素点对应的第一深度数值和第二深度数值，再根据深度数据进行融合。

在步骤S520中，根据权重策略对各像素点对应的第一深度数值和第二深度数值进行计算，并根据计算结果确定原始深度数据对应的高质量深度数据。

在一示例性实施例中，在得到第一深度数值和第二深度数值后，可以根据权重策略对第一深度数值和第二深度数值进行计算，并根据得到的计算结果确定深度图像中各像素点对应的深度数值。最后，根据确定的各像素点的深度数值确定深度图像对应的高质量深度数据。

在一示例性实施例中，权重策略可以包括第一权重和第二权重，其中，第一权重和第二权重的数值可以根据不同场景下对深度图像的需求进行设定，也可以对每一像素点进行单独设定，本公开对第一权重和第二权重的具体设定方式不做特殊限定。此时，根据权重策略对各像素点对应的第一深度数值和第二深度数值进行计算，并根据计算结果确定原始深度数据对应的高质量深度数据，参照图6所示，可以包括如下步骤S610和S620：

在步骤S610中，以第一权重为第一深度数值的权重，以第二权重为第二深度数值的权重，计算各像素点对应的第一深度数值和第二深度数值的加权平均值。

在步骤S620中，以各加权平均值作为对应像素点的高质量深度数值，并根据高质量深度数值生成原始深度数据对应的高质量深度数据。

在一示例性实施例中，可以分别以第一权重和第二权重为第一深度数值和第二深度数值的权重，计算第一深度数据和第二深度数据的加权平均值，并以加权平均值的计算结果作为对应像素点的高质量深度数值，然后根据高质量深度数值生成对应的高质量深度数据。上述计算过程可以通过如下公式(1)表示：

其中，

为高质量深度数据中第i个像素对应的高质量深度数值；

为第一深度数据中的第i个像素对应的第一深度数值，

为第一深度数据在第i个像素位置的对应的第一权重；

为第二深度数据中的第i个像素对应的第二深度数值，

为第二深度数据在第i个像素位置的对应的第二权重。

需要说明的是，在采用预设权重进行融合时，还可以根据其它方式对第一深度数值、第二深度数值和第一权重、第二权重进行计算，得到深度图像中各像素点对应的高质量深度数值，本公开对计算方式也不做特殊限定。

在一示例性实施例中，对原始深度数据进行质量恢复过程，以获取原始深度数据对应的高质量深度数据，参照图7所示，还可以包括如下步骤S710和S720：

在步骤S710中，对原始深度数据进行数据清洗过程，以获取第三中间数据。

在一示例性实施例中，在得到原始深度数据后，可以先对原始深度数据进行数据清洗过程，去除原始深度数据中存在的噪点数据或者错误数据，得到第三中间数据。通过对数据进行清洗，能够得到不存在噪点数据或者错误数据的第三中间数据。

在步骤S720中，对第三中间数据进行超分辨率重建过程，以获取原始深度数据对应的高质量深度数据。

在一示例性实施例中，在得到第三中间数据后，可以再对第三中间数据进行超分辨率重建过程，得到原始深度数据对应的高质量深度数据。通过对第三中间数据进行超分辨率重建过程，能够基于不存在噪点数据或者错误数据的数据基础进行超分辨率重建，有效提高深度数据的质量。

在一示例性实施例中，对原始深度数据进行质量恢复过程，以获取原始深度数据对应的高质量深度数据，参照图8所示，还可以包括如下步骤S810和S820：

在步骤S810中，对原始深度数据进行超分辨率重建过程，以获取第四中间数据。

在一示例性实施例中，在得到原始深度数据后，可以先对原始深度数据进行超分辨率重建过程，以对未做任何处理的原始深度数据细节修复和增大分辨率处理，得到第四中间数据。通过直接对原始深度数据进行超分辨率重建，能够避免基于处理后的原始深度数据进行重建时，由于数据丢失造成的重建失真的问题。

在步骤S820中，对第四中间数据进行数据清洗过程，以获取原始深度数据对应的高质量深度数据。

在一示例性实施例中，在得到第四中间数据后，可以再对第四中间数据进行数据清洗过程，得到原始深度数据对应的高质量深度数据。由于第四中间数据是通过原始深度数据直接进行超分辨率重建得到的，因此第四中间数据中可能还存在一些噪点数据或者错误数据，因此可以通过数据清洗的过程去除其中的噪点数据或者错误数据。

在步骤S320中，基于高质量深度数据确定深度图像中各像素点的赋值，以生成原始深度数据对应的深度图像。

在一示例性实施例中，在确定了高质量深度数据后，可以根据高质量身故的数据确定深度图像中各像素点的赋值，生成对应的深度图像。由于高质量深度数据为通过数据清洗过程和超分辨率重建过程得到的深度数据，因此基于高质量深度数据生成的深度图像具有较高的分辨率，且准确度较高。

在一示例性实施例中，为了进一步提高深度图像的准确度，可以在收集原始深度数据时，通过连续采集的方式得到不同相位的多个原始深度数据，然后对多个原始深度数据分别进行质量恢复处理后，将得到的多个高质量深度数据输入深度图像生成模块，确定深度图像中各像素点的赋值，得到对应的深度数据。

需要说明的是，在基于高质量深度数据生成深度图像后，还可以对深度图像进行其他处理，本公开对后续处理过程不做特殊限制。

以下以TOF模组为例，参照图10所示的TOF模组框架示意图，对本公开实施例的技术方案进行详细说明。

参照图10所示，信号反射模块1010发射调试信号后，调试信号接触到任意对象1020后被反射返回，信号接收模块1030返回的信号后，对返回的信号进行处理得到原始深度数据。得到的原始深度数据被分为两路进行处理：第一路，先通过中央处理模块1040进行数据清洗过程，得到第一中间数据，然后通过超分辨率重建(SR)模块1050进行超分辨率重建过程，得到第一深度数据；第二路，先通过SR模块1050进行超分辨率重建过程，得到第二中间数据，然后通过中央处理模块1040进行数据清洗过程，得到第二深度数据。将两路处理得到的第一深度数据与第二深度数据输入融合模块1060进行融合得到高质量深度数据，最后将高质量深度数据输入深度图像生成模块1070，以根据高质量深度数据生成深度图像。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图11所示，本示例的实施方式中还提供一种深度图像的生成装置1100，包括质量恢复模块1110和图像生成模块1120。其中：

质量恢复模块1110可以用于获取原始深度数据，并对原始深度数据进行质量恢复处理，以获取原始深度数据对应的高质量深度数据；质量恢复处理至少包括数据清洗过程和超分辨率重建过程。

图像生成模块1120可以用于基于高质量深度数据确定深度图像中各像素点的赋值，以生成原始深度数据对应的深度图像。

在一示例性实施例中，质量恢复模块1110可以用于对原始深度数据进行数据清洗过程，并对数据清洗得到的第一中间数据进行超分辨率重建过程，得到原始深度数据对应的第一深度数据；对原始深度数据进行超分辨率重建过程，并对重建得到的第二中间数据进行数据清洗过程，得到原始深度数据对应的第二深度数据；根据预设融合策略对第一深度数据和第二深度数据进行融合，以获取原始深度数据对应的高质量深度数据。

在一示例性实施例中，质量恢复模块1110可以用于根据第一深度数据确定深度图像中各像素点对应的第一深度数值，并根据第一深度数据确定深度图像中各像素点对应的第二深度数值；根据权重策略对各像素点对应的第一深度数值和第二深度数值进行计算，并根据计算结果确定原始深度数据对应的高质量深度数据。

在一示例性实施例中，质量恢复模块1110可以用于以第一权重为第一深度数值的权重，以第二权重为第二深度数值的权重，计算各像素点对应的第一深度数值和第二深度数值的加权平均值；以各加权平均值作为对应像素点的高质量深度数值，并根据高质量深度数值生成原始深度数据对应的高质量深度数据。

在一示例性实施例中，质量恢复模块1110可以用于对原始深度数据进行数据清洗过程，以获取第三中间数据；对第三中间数据进行超分辨率重建过程，以获取原始深度数据对应的高质量深度数据。

在一示例性实施例中，质量恢复模块1110可以用于对原始深度数据进行超分辨率重建过程，以获取第四中间数据；对第四中间数据进行数据清洗过程，以获取原始深度数据对应的高质量深度数据。

在一示例性实施例中，数据清洗过程包括滤波处理、编码处理、格式转换处理中的至少一种。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图8中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种深度图像的生成方法，其特征在于，包括：

获取原始深度数据，并对所述原始深度数据进行质量恢复处理，以获取所述原始深度数据对应的高质量深度数据；所述质量恢复处理至少包括数据清洗过程和超分辨率重建过程；

基于所述高质量深度数据确定深度图像中各像素点的赋值，以生成所述原始深度数据对应的深度图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述原始深度数据进行质量恢复过程，以获取所述原始深度数据对应的高质量深度数据，包括：

对所述原始深度数据进行数据清洗过程，并对数据清洗得到的第一中间数据进行超分辨率重建过程，得到所述原始深度数据对应的第一深度数据；

对所述原始深度数据进行超分辨率重建过程，并对重建得到的第二中间数据进行数据清洗过程，得到所述原始深度数据对应的第二深度数据；

根据预设融合策略对所述第一深度数据和第二深度数据进行融合，以获取所述原始深度数据对应的高质量深度数据。

3.根据权利要求2所述的方法，其特征在于，所述预设融合策略包括权重策略；

根据预设融合策略对所述第一深度数据和第二深度数据进行融合，以获取所述原始深度数据对应的高质量深度数据，包括：

根据所述第一深度数据确定所述深度图像中各像素点对应的第一深度数值，并根据所述第一深度数据确定所述深度图像中各像素点对应的第二深度数值；

根据权重策略对各所述像素点对应的第一深度数值和第二深度数值进行计算，并根据所述计算结果确定所述原始深度数据对应的高质量深度数据。

4.根据权利要求3所述的方法，其特征在于，所述权重策略包括第一权重和第二权重；

所述根据权重策略对各所述像素点对应的第一深度数值和第二深度数值进行计算，并根据所述计算结果确定所述原始深度数据对应的高质量深度数据，包括：

以所述第一权重为所述第一深度数值的权重，以所述第二权重为所述第二深度数值的权重，计算各所述像素点对应的所述第一深度数值和所述第二深度数值的加权平均值；

以各所述加权平均值作为对应像素点的高质量深度数值，并根据所述高质量深度数值生成所述原始深度数据对应的高质量深度数据。

5.根据权利要求1所述的方法，其特征在于，所述对所述原始深度数据进行质量恢复过程，以获取所述原始深度数据对应的高质量深度数据，包括：

对所述原始深度数据进行数据清洗过程，以获取第三中间数据；

对所述第三中间数据进行超分辨率重建过程，以获取所述原始深度数据对应的高质量深度数据。

6.根据权利要求1所述的方法，其特征在于，所述对所述原始深度数据进行质量恢复过程，以获取所述原始深度数据对应的高质量深度数据，包括：

对所述原始深度数据进行超分辨率重建过程，以获取第四中间数据；

对所述第四中间数据进行数据清洗过程，以获取所述原始深度数据对应的高质量深度数据。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述数据清洗过程包括滤波处理、编码处理、格式转换处理中的至少一种。

8.一种深度图像的生成装置，其特征在于，包括：

质量恢复模块，用于获取原始深度数据，并对所述原始深度数据进行质量恢复处理，以获取所述原始深度数据对应的高质量深度数据；所述质量恢复处理至少包括数据清洗过程和超分辨率重建过程；

图像生成模块，用于基于所述高质量深度数据确定深度图像中各像素点的赋值，以生成所述原始深度数据对应的深度图像。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的深度图像的生成方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的深度图像的生成方法。

Images