CN108564613A - 一种深度数据获取方法及移动终端 - Google Patents
一种深度数据获取方法及移动终端 Download PDFInfo
- Publication number
- CN108564613A CN108564613A CN201810325685.5A CN201810325685A CN108564613A CN 108564613 A CN108564613 A CN 108564613A CN 201810325685 A CN201810325685 A CN 201810325685A CN 108564613 A CN108564613 A CN 108564613A
- Authority
- CN
- China
- Prior art keywords
- data
- rgb
- cameras
- depth
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种深度数据获取方法及移动终端,其中方法包括:获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一红外IR摄像头采集到的图像的IR数据;将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据;其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。本发明实施例能够根据RGB数据、IR数据以及目标算法计算得到对应的深度数据,使得本发明实施例计算得到的深度数据更加接近于实际的深度数据,能够有效提高通过RGB摄像头结合IR摄像头的摄影方案得到的深度数据的准确度。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种深度数据获取方法及移动终端。
背景技术
随着电子信息技术的不断发展,移动终端(例如智能手机、平板电脑等)的功能越来越强大,3D(Three Dimensions,三维)成像技术成为图像处理技术中的一种趋势,目前的3D成像技术中,深度摄像头是不可或缺的。然而,现有技术中,深度摄像头依赖于处理芯片的结构设计以及计算能力,硬件成本普遍较高。双目成像的深度摄像头使用两个RGB摄像头同时进行拍摄,基于视差原理,通过形成两个RGB图像的差异,然后计算出被拍摄物体的深度信息,虽然硬件成本较其他深度摄像头低,但不适用于昏暗环境。
这样一来,衍生出了同样基于视差原理的RGB摄像头结合IR摄像头(InfraredRadiation Camera,红外摄像头)的深度摄影方案,即采用RGB摄像头以及IR摄像头替代传统的双RGB摄像头进行测距。其中,通过IR摄像头接收红外光形成IR图像,能够解决传统双目成像的深度摄像头受限于昏暗环境的问题。然而,该方案对RGB图像和IR图像的配准有较高的要求,容易导致深度数据的准确性较低。
可见,现有的3D成像技术中,通过RGB摄像头结合IR摄像头的摄影方案得到的深度数据准确度较低。
发明内容
本发明实施例提供一种深度数据获取方法及移动终端,以解决现有技术中通过RGB摄像头结合IR摄像头的摄影方案得到的深度数据准确度较低的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种深度数据获取方法,应用于移动终端,所述方法包括:
获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据;
将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据;
其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。
第二方面,本发明实施例提供了一种移动终端,所述移动终端包括:
获取模块,用于获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据;
计算模块,用于将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据;
其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。
第三方面,本发明实施例提供了另一种移动终端,包括处理器,存储器,存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述深度数据获取方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述深度数据获取方法的步骤。
这样,本发明实施例能够根据RGB数据、IR数据以及目标算法计算得到对应的深度数据,所述目标算法为在前期采集训练数据,对原始RGB数据以及IR数据与深度数据之间的对应关系进行深度学习得到的算法,使得本发明实施例计算得到的深度数据更加接近于实际的深度数据,能够有效提高通过RGB摄像头结合IR摄像头的摄影方案得到的深度数据的准确度。此外,本发明实施例不需要使用深度摄像头也能得到准确度较高的深度数据,能够有效节省成本。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种深度数据获取方法的流程图;
图2是本发明实施例提供的另一种深度数据获取方法的流程图;
图3是本发明实施例提供的移动终端的结构图之一;
图4是本发明实施例提供的移动终端的结构图之二;
图5是本发明实施例提供的移动终端的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的一种深度数据获取方法的流程图,所述深度数据获取方法应用于移动终端,如图1所示,包括以下步骤:
步骤101、获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据。
该步骤中,所述方法获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据。所述方法可以在需要获取深度数据时获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据。
可以理解的是,在发明一些实施例中,所述方法在获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据之前,还控制所述移动终端的第一RGB摄像头以及第一IR摄像头同步采集图像。需要说明的是,本发明实施例中,所述第一RGB摄像头以及所述第一IR摄像头拍摄的场景一致,即所述第一RGB摄像头以及所述第一IR摄像头的拍摄角度以及拍摄方向相同。
举例而言,假设用户对所述移动终端上目标应用程序执行用于触发所述目标应用程序获取深度数据的触发操作,例如开启所述移动终端上的人脸识别功能等,所述方法响应于所述触发操作,控制所述移动终端的第一RGB摄像头以及第一IR图像同步采集图像。
步骤102、将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据,其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。
该步骤中,所述方法将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据。所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。所述目标算法可以是所述移动终端预先通过对多组训练数据进行机器学习得到的算法,也可以由其他终端(例如计算机、笔记本电脑或者其他移动终端等)通过对多组训练数据进行机器学习得到的,并向所述移动终端发送的算法,本发明实施例对此不做具体限定。具体地,所述目标算法可以是将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习得到的算法。
所述多组训练数据可以是第二RGB摄像头以及第一深度摄像头在多个不同场景下同步采集的图像的数据,对应地,所述第一RGB数据为所述第二RGB摄像头采集的图像的数据,所述第一IR数据为所述第一深度摄像头的IR摄像头采集的图像的数据,所述第一深度数据为所述第一深度摄像头采集的图像的数据。所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第一深度摄像头的IR摄像头与所述第一IR摄像头的配置及参数均相同。可以理解的是,所述第二RGB摄像头与所述第一RGB摄像头可以为同一个RGB摄像头,也可以为配置及参数均相同的两个RGB摄像头,也就是说,所述方法可以直接使用所述第一RGB摄像头采集训练数据,也可以使用与所述第一RGB摄像头的配置及参数均相同的其他RGB摄像头采集训练数据。所述第一深度摄像头为包括IR摄像头的深度摄像头,例如结构光(Structured Light)摄像头或者TOF(Time of Flight,飞行时间测距法)摄像头,所述第一深度摄像头的IR摄像头的配置及参数与所述第一IR摄像头的配置及参数均相同。
所述多组训练数据可以是第二RGB摄像头、第二IR摄像头以及第二深度摄像头在多个不同场景下同步采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第二IR摄像头与所述第一IR摄像头的配置及参数均相同。同样地,所述第二IR摄像头与所述第一IR摄像头可以为同一个IR摄像头,也可以为配置及参数均相同的两个IR摄像头,即所述方法可以直接使用所述第一IR摄像头采集训练数据,也可以使用与所述第一IR数据的配置及参数均相同的其他IR摄像头采集训练数据。需要说明的是,采集训练数据时,所述第二RGB摄像头、第二IR摄像头以及第二深度摄像头在同一时刻的拍摄场景一致,即所述第二RGB摄像头、第二IR摄像头以及第二深度摄像头的拍摄角度以及拍摄方向一致。所述第二深度摄像头可以是任何能够计算深度数据的深度摄像头,例如可以是结构光摄像头,也可以是TOF摄像头,还可以是双目摄像头。
本发明实施例中,上述移动终端可以是任何移动终端,例如:手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personaldigital assistant,简称PDA)、移动上网装置(Mobile Internet Device,MID)或可穿戴式设备(Wearable Device)等。
本实施例中,所述深度数据获取方法能够根据RGB数据、IR数据以及目标算法计算得到对应的深度数据,所述目标算法为在前期采集训练数据,对原始RGB数据以及IR数据与深度数据之间的对应关系进行深度学习得到的算法,使得本发明实施例计算得到的深度数据更加接近于实际的深度数据,能够有效提高通过RGB摄像头结合IR摄像头的摄影方案得到的深度数据的准确度。此外,本发明实施例不需要使用深度摄像头也能得到准确度较高的深度数据,能够有效节省成本。
可选地,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头以及第一深度摄像头在多个不同场景下同步采集的图像的数据,每组训练数据中的第一IR数据为所述第一深度摄像头的IR摄像头采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第一深度摄像头的IR摄像头与所述第一IR摄像头的配置及参数均相同。
该实施例中,所述通过对多组训练数据进行机器学习,包括将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习。也就是说,所述目标算法为将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习得到的算法。
具体地,获取多组训练数据的方式可以是控制第二RGB摄像头以及第一深度摄像头在多个不同场景下同步采集图像,然后获取所述第二RGB摄像头、所述第一深度摄像头的IR摄像头以及所述第一深度摄像头在多个不同场景下同步采集的图像的数据。相应地,所述第一RGB数据为所述第二RGB摄像头采集的图像的数据,所述第一IR数据为所述第一深度摄像头的IR摄像头采集的图像的数据,所述第一深度数据为所述第一深度摄像头采集的图像的数据。
可选地,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头、第二IR摄像头以及第二深度摄像头在多个不同场景下同步采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第二IR摄像头与所述第一IR摄像头的配置及参数均相同。
该实施例中,所述通过对多组训练数据进行机器学习,包括将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习。也就是说,所述目标算法为将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习得到的算法。
具体地,获取多组训练数据的方式可以是控制第二RGB摄像头、第二IR摄像头以及第二深度摄像头在多个不同场景下同步采集图像,然后获取所述第二RGB摄像头、第二IR摄像头以及第二深度摄像头在多个不同场景下同步采集的图像的数据。相应地,所述第一RGB数据为所述第二RGB摄像头采集的图像的数据,所述第一IR数据为所述第二IR摄像头采集的图像的数据,所述第一深度数据为所述第二深度摄像头采集的图像的数据。
本发明的实施例中,所述不同的场景可以包括相同背景下的不同物体、不同背景下的相同物体、不同背景下的不同物体、与相同背景相隔不同距离的相同物体中的一种或者多种,本发明实施例对此不做具体限定。可以理解的是,所述多组训练数据覆盖的场景越多,进行机器学习得到的算法的准确度越高。
可选地,所述目标算法为计算第二RGB数据以及第二IR数据得到目标深度数据,且所述目标深度数据与第二深度数据之间的误差落入预设误差范围的算法;
其中,所述第二RGB数据、第二IR数据以及第二深度数据为第二RGB摄像头、第二IR摄像头以及深度摄像头同步采集的图像的数据。
该实施例中,所述目标算法为计算第二RGB数据以及第二IR数据得到目标深度数据,且所述目标深度数据与第二深度数据之间的误差落入预设误差范围的算法。目标算法的生成过程中,可以对生成的算法不断进行检验,将计算误差落入预设误差范围的算法作为目标算法。
具体地,可以在将每组训练数据中的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习,得到第一算法;然后获取第二RGB摄像头、第一深度摄像头的IR摄像头以及第一深度摄像头同步采集的图像的数据,或者获取第二RGB摄像头、第二IR摄像头以及第二深度摄像头同步采集的图像的数据,得到至少一组检验数据,每组检验数据包括第二RGB数据、第二IR数据以及第二深度数据。将每组检验数据中的第二RGB数据以及第二IR数据作为所述第一算法的输入数据,计算得到该组检验数据对应的目标深度数据,并在目标深度数据与第二深度数据之间的误差落入预设误差范围的情况下,将所述第一算法作为目标算法;否则,即在所述目标深度数据与所述第二深度数据之间的误差没有落入预设误差范围时,继续获取训练数据进行机器学习。
计算一组检验数据的目标深度数据与该组检验数据的第二深度数据之间的误差的方式,可以是计算图像上像素点的目标深度值与该像素点的第二深度值之间的差值,然后根据图像上多个像素点的差值计算该组检验数据的误差。例如计算多个像素点的差值的平均值作为该组检验数据的误差,或者计算多个像素点的差值的方差或者平方差作为该组检验数据的误差。所述图像上多个像素点可以包括图像上的所有像素点,也可以是仅包括图像的主体部分的多个像素点。
可以理解的是,当检验数据为多组时,可以基于每组检验数据的误差与所述预设误差范围分别进行比对,若多组检验数据中的至少一组检验数据的误差没有落入所述预设误差范围,则确定所述第一算法的误差没有落入预设误差范围。也可以将多组检验数据作为一个整体与所述预设误差范围进行比对,例如计算多组检验数据的误差的平均值,然后将多组检验数据的误差的平均值与所述预设误差范围进行比对,若多组检验数据的误差的平均值没有落入所述预设误差范围,则确定所述第一算法的误差没有落入预设误差范围。
这样,通过对学习得到的算法进行检验,使得得到的目标算法的误差落入预设误差范围,从而能够严格控制通过目标算法计算得到的图像的深度数据的误差,提高深度数据的准确度。
可选地,所述同步采集的图像的数据包括:
在采集帧率相同的情况下,同步采集的图像的数据。
该实施例中,所述同步采集的图像的数据具体包括在采集帧率相同的情况下,同步采集的图像的数据。这样,能够保证第二RGB摄像头、第二IR摄像头以及深度摄像头三者同步采集图像,有效避免因三者不同步导致学习得到的算法误差增大,从而能够有效保证机器学习得到的目标算法的精度。
参见图2,图2是本发明实施例提供的另一种深度数据获取方法的流程图,所述方法应用于移动终端,如图2所示,包括以下步骤:
步骤201、接收用户对目标应用程序的触发操作。
该步骤中,所述方法接收用户对目标应用程序的触发操作。所述目标应用程序可以为需要获取深度数据的应用程序,例如用于实现人脸识别的应用程序,所述触发操作可以为用于触发所述目标应用程序获取深度数据的触发操作,例如开启目标应用程序的人脸识别功能。
步骤202、响应于所述触发操作,控制所述移动终端的第一RGB摄像头以及第一IR摄像头同步采集图像。
该步骤中,所述方法响应于所述触发操作,控制所述移动终端的第一RGB摄像头以及第一IR摄像头同步采集图像。所述同步采集图像为在采集帧率相同的情况下,在同一时刻采集图像。
步骤203、获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据。
步骤204、将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据,其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。
所述步骤203以及步骤204与本发明图1所示的实施例中的步骤101以及步骤102相同,此处不再赘述。
步骤205、向所述目标应用程序发送所述计算得到的深度数据。
该步骤中,所述方法在通过所述目标算法计算得到对应的深度数据后,向所述目标应用程序发送所述计算得到的深度数据,这样,所述目标应用程序可以根据所述深度数据实现相应的功能。
本实施例中,所述深度数据获取方法目标应用程序需要获取深度数据时,根据RGB数据、IR数据以及目标算法计算得到对应的深度数据,所述目标算法为在前期采集训练数据,对原始RGB数据以及IR数据与深度数据之间的对应关系进行深度学习得到的算法,使得本发明实施例计算得到的深度数据更加接近于实际的深度数据,能够有效提高通过RGB摄像头结合IR摄像头的摄影方案得到的深度数据的准确度。此外,本发明实施例不需要使用深度摄像头也能得到准确度较高的深度数据,能够有效节省成本。
参见图3,图3是本发明实施例提供的移动终端的结构图之一,如图3所示,移动终端300包括:
获取模块301,用于获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据;
计算模块302,用于将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据;
其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。
可选地,参见图4,图4是本发明实施例提供的移动终端的结构图之二,如图4所示,所述移动终端300还包括:
接收模块303,用于接收用户对目标应用程序的触发操作;
控制模块304,用于响应于所述触发操作,控制所述移动终端的第一RGB摄像头以及第一IR摄像头同步采集图像;
发送模块305,用于向所述目标应用程序发送所述计算得到的深度数据。
可选地,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头以及第一深度摄像头在多个不同场景下同步采集的图像的数据,每组训练数据中的第一IR数据为所述第一深度摄像头的IR摄像头采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第一深度摄像头的IR摄像头与所述第一IR摄像头的配置及参数均相同。
可选地,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头、第二IR摄像头以及第二深度摄像头在多个不同场景下同步采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第二IR摄像头与所述第一IR摄像头的配置及参数均相同。
可选地,所述同步采集的图像的数据包括在采集帧率相同的情况下,同步采集的图像的数据。
本实施例提供的移动终端能够根据RGB数据、IR数据以及目标算法计算得到对应的深度数据,所述目标算法为在前期采集训练数据,对原始RGB数据以及IR数据与深度数据之间的对应关系进行深度学习得到的算法,使得本发明实施例计算得到的深度数据更加接近于实际的深度数据,能够有效提高通过RGB摄像头结合IR摄像头的摄影方案得到的深度数据的准确度。此外,本发明实施例不需要使用深度摄像头也能得到准确度较高的深度数据,能够有效节省成本。
图5为实现本发明实施例提供的一种移动终端的硬件结构示意图,如图5所示,该移动终端500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解,图5中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,处理器510,用于:
获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据;
将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据;
其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。
可选地,所述处理器510执行获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据之前,还可实现如下步骤:
接收用户对目标应用程序的触发操作;
响应于所述触发操作,控制所述移动终端的第一RGB摄像头以及第一IR摄像头同步采集图像;
所述通过所述目标算法计算得到对应的深度数据之后,所述方法还包括:
向所述目标应用程序发送所述计算得到的深度数据。
可选地,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头以及第一深度摄像头在多个不同场景下同步采集的图像的数据,每组训练数据中的第一IR数据为所述第一深度摄像头的IR摄像头采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第一深度摄像头的IR摄像头与所述第一IR摄像头的配置及参数均相同。
可选地,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头、第二IR摄像头以及第二深度摄像头在多个不同场景下同步采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第二IR摄像头与所述第一IR摄像头的配置及参数均相同。
可选地,所述同步采集的图像的数据包括:
在采集帧率相同的情况下,同步采集的图像的数据。
本发明实施例中,移动终端能够根据RGB数据、IR数据以及目标算法计算得到对应的深度数据,所述目标算法为在前期采集训练数据,对原始RGB数据以及IR数据与深度数据之间的对应关系进行深度学习得到的算法,使得本发明实施例计算得到的深度数据更加接近于实际的深度数据,能够有效提高通过RGB摄像头结合IR摄像头的摄影方案得到的深度数据的准确度。此外,本发明实施例不需要使用深度摄像头也能得到准确度较高的深度数据,能够有效节省成本。
应理解的是,本发明实施例中,射频单元501可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器510处理;另外,将上行的数据发送给基站。通常,射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元501还可以通过无线通信***与网络和其他设备通信。
移动终端通过网络模块502为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元503还可以提供与移动终端500执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(Graphics Processing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
移动终端500还包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度,接近传感器可在移动终端500移动到耳边时,关闭显示面板5061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器510,接收处理器510发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071,用户输入单元507还可以包括其他输入设备5072。具体地,其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板5071可覆盖在显示面板5061上,当触控面板5071检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图5中,触控面板5071与显示面板5061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板5071与显示面板5061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元508为外部装置与移动终端500连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端500内的一个或多个元件或者可以用于在移动终端500和外部装置之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器510可包括一个或多个处理单元;优选的,处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
移动终端500还可以包括给各个部件供电的电源511(比如电池),优选的,电源511可以通过电源管理***与处理器510逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外,移动终端500包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种移动终端,包括处理器510,存储器509,存储在存储器509上并可在所述处理器510上运行的计算机程序,该计算机程序被处理器510执行时实现上述深度数据获取方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述深度数据获取方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (11)
1.一种深度数据获取方法,应用于移动终端,其特征在于,所述方法包括:
获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一红外IR摄像头采集到的图像的IR数据;
将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据;
其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。
2.如权利要求1所述的深度数据获取方法,其特征在于,所述获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一IR摄像头采集到的图像的IR数据之前,所述方法还包括:
接收用户对目标应用程序的触发操作;
响应于所述触发操作,控制所述移动终端的第一RGB摄像头以及第一IR摄像头同步采集图像;
所述通过所述目标算法计算得到对应的深度数据之后,所述方法还包括:
向所述目标应用程序发送所述计算得到的深度数据。
3.如权利要求1所述的深度数据获取方法,其特征在于,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头以及第一深度摄像头在多个不同场景下同步采集的图像的数据,每组训练数据中的第一IR数据为所述第一深度摄像头的IR摄像头采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第一深度摄像头的IR摄像头与所述第一IR摄像头的配置及参数均相同。
4.如权利要求1所述的深度数据获取方法,其特征在于,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头、第二IR摄像头以及第二深度摄像头在多个不同场景下同步采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第二IR摄像头与所述第一IR摄像头的配置及参数均相同。
5.如权利要求3或4所述的深度数据获取方法,其特征在于,所述同步采集的图像的数据包括:
在采集帧率相同的情况下,同步采集的图像的数据。
6.一种移动终端,其特征在于,所述移动终端包括:
获取模块,用于获取所述移动终端第一RGB摄像头采集到的图像的RGB数据以及第一红外IR摄像头采集到的图像的IR数据;
计算模块,用于将所述RGB数据以及所述IR数据作为目标算法的输入数据,通过所述目标算法计算得到对应的深度数据;
其中,所述目标算法为通过对多组训练数据进行机器学习得到的算法,每组训练数据包括相同场景下的第一RGB数据、第一IR数据以及第一深度数据。
7.如权利要求6所述的移动终端,其特征在于,所述移动终端还包括:
接收模块,用于接收用户对目标应用程序的触发操作;
控制模块,用于响应于所述触发操作,控制所述移动终端的第一RGB摄像头以及第一IR摄像头同步采集图像;
发送模块,用于向所述目标应用程序发送所述计算得到的深度数据。
8.如权利要求6所述的移动终端,其特征在于,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头以及第一深度摄像头在多个不同场景下同步采集的图像的数据,每组训练数据中的第一IR数据为所述第一深度摄像头的IR摄像头采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第一深度摄像头的IR摄像头与所述第一IR摄像头的配置及参数均相同。
9.如权利要求6所述的移动终端,其特征在于,所述通过对多组训练数据进行机器学习,包括:
将多组训练数据中的每组训练数据的第一RGB数据以及第一IR数据作为输入数据,第一深度数据作为输出数据,进行机器学习;
其中,所述多组训练数据为第二RGB摄像头、第二IR摄像头以及第二深度摄像头在多个不同场景下同步采集的图像的数据,所述第二RGB摄像头与所述第一RGB摄像头的配置及参数均相同,所述第二IR摄像头与所述第一IR摄像头的配置及参数均相同。
10.如权利要求8或9所述的移动终端,其特征在于,所述同步采集的图像的数据包括在采集帧率相同的情况下,同步采集的图像的数据。
11.一种移动终端,其特征在于,包括处理器,存储器,存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的深度数据获取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810325685.5A CN108564613A (zh) | 2018-04-12 | 2018-04-12 | 一种深度数据获取方法及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810325685.5A CN108564613A (zh) | 2018-04-12 | 2018-04-12 | 一种深度数据获取方法及移动终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108564613A true CN108564613A (zh) | 2018-09-21 |
Family
ID=63534796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810325685.5A Pending CN108564613A (zh) | 2018-04-12 | 2018-04-12 | 一种深度数据获取方法及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108564613A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109544616A (zh) * | 2018-12-11 | 2019-03-29 | 维沃移动通信有限公司 | 一种深度信息确定方法和终端 |
CN109615648A (zh) * | 2018-12-07 | 2019-04-12 | 深圳前海微众银行股份有限公司 | 景深数据转换方法、装置、设备及计算机可读存储介质 |
CN112912896A (zh) * | 2018-12-14 | 2021-06-04 | 苹果公司 | 机器学习辅助的图像预测 |
CN112967328A (zh) * | 2021-03-20 | 2021-06-15 | 杭州知存智能科技有限公司 | 图像深度信息局部动态生成方法和装置 |
WO2023103559A1 (zh) * | 2021-12-07 | 2023-06-15 | 中兴通讯股份有限公司 | 三维识别装置、终端、标定方法、存储介质 |
US20240119561A1 (en) * | 2019-10-14 | 2024-04-11 | Lg Innotek Co., Ltd. | Image processing device and image processing method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102467661A (zh) * | 2010-11-11 | 2012-05-23 | Lg电子株式会社 | 多媒体设备及其控制方法 |
WO2014172226A1 (en) * | 2013-04-15 | 2014-10-23 | Microsoft Corporation | Multimodal foreground background segmentation |
WO2014172228A1 (en) * | 2013-04-15 | 2014-10-23 | Microsoft Corporation | Robust stereo depth system |
WO2016018393A1 (en) * | 2014-07-31 | 2016-02-04 | Hewlett-Packard Development Company, Lp | Touch region projection onto a touch-sensitive surface |
EP3101893A1 (en) * | 2014-01-29 | 2016-12-07 | LG Innotek Co., LTD. | Depth information extracting device and method |
CN206470834U (zh) * | 2016-12-09 | 2017-09-05 | 深圳奥比中光科技有限公司 | 一种获取目标深度图像的装置 |
CN107407959A (zh) * | 2014-09-30 | 2017-11-28 | 惠普发展公司,有限责任合伙企业 | 基于姿势的三维图像的操纵 |
CN107466411A (zh) * | 2015-04-14 | 2017-12-12 | 微软技术许可有限责任公司 | 二维红外深度感测 |
CN107862259A (zh) * | 2017-10-24 | 2018-03-30 | 重庆虚拟实境科技有限公司 | 人像采集方法及装置、终端装置和计算机可读存储介质 |
-
2018
- 2018-04-12 CN CN201810325685.5A patent/CN108564613A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102467661A (zh) * | 2010-11-11 | 2012-05-23 | Lg电子株式会社 | 多媒体设备及其控制方法 |
WO2014172226A1 (en) * | 2013-04-15 | 2014-10-23 | Microsoft Corporation | Multimodal foreground background segmentation |
WO2014172228A1 (en) * | 2013-04-15 | 2014-10-23 | Microsoft Corporation | Robust stereo depth system |
EP3101893A1 (en) * | 2014-01-29 | 2016-12-07 | LG Innotek Co., LTD. | Depth information extracting device and method |
WO2016018393A1 (en) * | 2014-07-31 | 2016-02-04 | Hewlett-Packard Development Company, Lp | Touch region projection onto a touch-sensitive surface |
CN107407959A (zh) * | 2014-09-30 | 2017-11-28 | 惠普发展公司,有限责任合伙企业 | 基于姿势的三维图像的操纵 |
CN107466411A (zh) * | 2015-04-14 | 2017-12-12 | 微软技术许可有限责任公司 | 二维红外深度感测 |
CN206470834U (zh) * | 2016-12-09 | 2017-09-05 | 深圳奥比中光科技有限公司 | 一种获取目标深度图像的装置 |
CN107862259A (zh) * | 2017-10-24 | 2018-03-30 | 重庆虚拟实境科技有限公司 | 人像采集方法及装置、终端装置和计算机可读存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615648A (zh) * | 2018-12-07 | 2019-04-12 | 深圳前海微众银行股份有限公司 | 景深数据转换方法、装置、设备及计算机可读存储介质 |
CN109544616A (zh) * | 2018-12-11 | 2019-03-29 | 维沃移动通信有限公司 | 一种深度信息确定方法和终端 |
CN112912896A (zh) * | 2018-12-14 | 2021-06-04 | 苹果公司 | 机器学习辅助的图像预测 |
US11915460B2 (en) | 2018-12-14 | 2024-02-27 | Apple Inc. | Machine learning assisted image prediction |
US20240119561A1 (en) * | 2019-10-14 | 2024-04-11 | Lg Innotek Co., Ltd. | Image processing device and image processing method |
CN112967328A (zh) * | 2021-03-20 | 2021-06-15 | 杭州知存智能科技有限公司 | 图像深度信息局部动态生成方法和装置 |
WO2023103559A1 (zh) * | 2021-12-07 | 2023-06-15 | 中兴通讯股份有限公司 | 三维识别装置、终端、标定方法、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108564613A (zh) | 一种深度数据获取方法及移动终端 | |
CN107483836B (zh) | 一种拍摄方法及移动终端 | |
CN107682639B (zh) | 一种图像处理方法、装置及移动终端 | |
CN108495029A (zh) | 一种拍照方法及移动终端 | |
CN108307109A (zh) | 一种高动态范围图像预览方法及终端设备 | |
CN109688322A (zh) | 一种生成高动态范围图像的方法、装置及移动终端 | |
CN107566749A (zh) | 拍摄方法及移动终端 | |
CN110213485A (zh) | 一种图像处理方法及终端 | |
CN108320263A (zh) | 一种图像处理的方法、装置及移动终端 | |
CN109544486A (zh) | 一种图像处理方法及终端设备 | |
CN108347558A (zh) | 一种图像优化的方法、装置以及移动终端 | |
CN113365085B (zh) | 一种直播视频生成方法及装置 | |
CN108881544A (zh) | 一种拍照的方法及移动终端 | |
CN108683850A (zh) | 一种拍摄提示方法及移动终端 | |
CN108462826A (zh) | 一种辅助拍照的方法及移动终端 | |
CN108881721A (zh) | 一种显示方法及终端 | |
CN109005355A (zh) | 一种拍摄方法及移动终端 | |
CN108718389A (zh) | 一种拍摄模式选择方法及移动终端 | |
CN107959755A (zh) | 一种拍照方法及移动终端 | |
CN108317992A (zh) | 一种物距测量方法及终端设备 | |
CN110086998A (zh) | 一种拍摄方法及终端 | |
CN109358913A (zh) | 一种应用程序的启动方法及终端设备 | |
CN108833791A (zh) | 一种拍摄方法和装置 | |
CN108551562A (zh) | 一种视频通信的方法及移动终端 | |
CN108391011A (zh) | 一种人脸识别方法和移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180921 |
|
RJ01 | Rejection of invention patent application after publication |