CN113096172B - 一种iToF深度数据到原始raw数据的反向生成方法 - Google Patents
一种iToF深度数据到原始raw数据的反向生成方法 Download PDFInfo
- Publication number
- CN113096172B CN113096172B CN202110304693.3A CN202110304693A CN113096172B CN 113096172 B CN113096172 B CN 113096172B CN 202110304693 A CN202110304693 A CN 202110304693A CN 113096172 B CN113096172 B CN 113096172B
- Authority
- CN
- China
- Prior art keywords
- itof
- raw data
- camera
- plane
- original raw
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 230000001052 transient effect Effects 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 36
- 238000005259 measurement Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种iToF深度数据到原始raw数据的反向生成方法,方法中,采集郎伯平面、朗伯平面和标定板平面组和无限远距离三种场景下iToF摄像头拍摄的原始raw数据;构建iToF深度数据到原始raw数据的反向生成模型;基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值;所述参数值代入反向生成模型,将合成场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。
Description
技术领域
本发明属于计算机视觉领域,特别是一种iToF深度数据到原始raw数据的反向生成方法。
背景技术
随着成像技术和摄像头技术的发展,为了获取深度信息,深度摄像头孕育而生。而其中iToF(Indirect Timeof Flight,间接ToF)深度摄像头广泛活跃于深度信息获取领域中,iToF深度摄像头通过相移法间接测量得到深度,比如通过调制后的多帧相移图计算得到相位,再通过深度计算公式得到距离值。iToF虽然凭借着体积小的优势而备受青睐,但其自身也存在着一些不可避免的问题,比如MPI(Multipath Interference多径干涉)问题。在理想的iToF成像原理中,假设投射信号在场景中只是经过一次反射后就被接收Sensor接收。而在实际的3D成像过程中,光线会在场景中发生多次反射接收现象。因此,在同一像素中接收的信号往往是多个信号的叠加,从而影响iToF的深度测量精度。
目前,一种解决MPI问题的方法是通过神经网络学习的方法解决多径干涉问题。然而在现实中,iToF深度摄像头很难获取到大量只经过一次反射就被深度摄像头接收的真实数据。而对神经网络学习方法来说大量标签数据常常是训练所需。为解决iToF的MPI问题,需要率先解决网络训练所需的数据集缺乏问题。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解,因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
针对现有技术中的问题,本发明提出一种iToF深度数据到原始raw数据的反向生成方法。通过对已有场景的深度数据,反向生成大批量原始的raw数据,解决神经网络训练的数据集缺乏问题。
本发明的目的是通过以下技术方案予以实现,一种iToF深度数据到原始raw数据的反向生成方法包括以下步骤:
第一步骤,采集郎伯平面、郎伯平面和标定板平面组、无限远距离三种场景下iToF摄像头拍摄的原始raw数据;
第二步骤,构建iToF深度数据到原始raw数据的反向生成模型;
第三步骤,基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值;
第四步骤,所述参数值代入反向生成模型,将三维建模合成的虚拟场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。
所述的方法中,第一步骤中,郎伯平面为漫反射面,当入射照度一定时,从任何角度观察反射面,其反射亮度是一个常数,对郎伯平面进行拍摄时,拍摄过程中相机和郎伯平面平行,拍摄距离为摄像头能够计算深度的最近距离到最远距离,设置多个等距拍摄间隔并要求对同一位置拍摄多张求得原始raw数据平均值。
所述的方法中,第一步骤中,以郎伯平面和标定板为一组进行拍摄,拍摄同一组平面和标定板的过程中摄像头保持不动,并针对每组的平面和标定板拍摄多组求平均值,其中,iToF摄像头对不同位置的标定板拍摄多组作为标定基,然后固定摄像头并保持与郎伯平面平行,将标定板放置于郎伯平面上进行拍摄多张并求均值,摘除标定板后对郎伯平面继续拍摄多张并求均值,这两组认定为一个对应组,然后移动摄像头以相同的方式拍摄多组。
所述的方法中,第一步骤中,无限远距离场景下的拍摄中,将iToF摄像头放置于空旷区、关闭或遮挡iToF的投射器拍摄多张,并求其原始raw数据的平均值。
所述的方法中,iToF摄像头包括单频摄像头或多频摄像头。
所述的方法中,第二步骤中,iToF摄像头的反向生成模型为:其中,i代表iToF摄像头不同的调制频率,j代表iToF摄像头不同的调制相位,k代表图像的像素位置,ri,k为光强系数,Ti为频率周期,/>为相位,Bi,j,k为偏移量,dreal,k为真实深度,dtest,k为iToF摄像头的测量深度,dreal,k=akdtest,k+bk,其中k代表图像的像素位置,ak为一次项,bk为截距。
所述的方法中,第二步骤中,对于部分相机,其还存在如下关系:Rawi,j,k=maX(min(Rawi,j,k,Ci),-Ci),其中Ci为最大阈值。所述的方法中,采集的空旷区或者关闭或遮挡iToF摄像头投射器采集的多组原始raw数据求其平均值得到模型中的参数Bi,j,k,将所有的采集到的原始rsw数据减去所述参数Bi,j,k;
通过采集的郎伯平面和标定板平面为一组的数据,通过标定基和各个不同距离标定板的原始raw数据得到各自对应的置信度图,置信度图通过标定的方法得到所有的标定板的真实深度dreal,k,通过每个标定板对应的郎伯平面得到原始的raw数据,并计算出每个对应的dtest,k,通过最小二乘法对每个像素进行拟合得到不同像素对应的ak和bk;
通过采集的不同距离的郎伯平面得到所有对应的测量深度值dtest,k,然后计算出所有对应的dreal,k,将所有的raw数据乘以对应的d2 real,k,得到其中,/>以深度值dtest,k为自变量,以深度值dtest,k所对应的Raw* i,j,k为因变量,将每个像素进行最小二乘拟合得到所对应的参数ri,k,Ti和/>
所述的方法中,当存在过度曝光情况时,基于Rawi,j,k=max(min(Rawi,j,k,Ci),-Ci),标定出最大曝光值Ci。
所述的方法中,第四步骤中,瞬态渲染以飞秒为单位分析光线的传播过程,场景中的光源经过不同次数的反射后,每个像素接收到光源的时间tk,m,通过dreal,k.m=ctk,m得到对应的dreal,k,m其中m是光反射的次数,c为光速,基于dreal,k,m得到对应的dtest,k,m以得到每个场景对应的原始raw数据Rawi,j,k,m,将所有m情况下的Rawi,j,k,m进行加和得到实际场景下的原始raw数据集Rawi,j,k。
有益效果
本发明将分别采集不同距离的郎伯平面,郎伯平面和标定板组,空旷区、关闭或遮挡投射器三种不同场景下的原始数据。然后构建了iToF深度数据到原始raw数据的反向生成模型,并以iToF采集的三种场景的原始数据对模型中的所有未知参数进行标定,得到参数值。最后利用该模型针对合成场景批量生成单次反射或多次反射的原始raw数据集,最终解决了神经网络训练的数据集缺乏问题。
上述说明仅是本发明技术方案的概述,为了能够使得本发明的技术手段更加清楚明白,达到本领域技术人员可依照说明书的内容予以实施的程度,并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂,下面以本发明的具体实施方式进行举例说明。
附图说明
通过阅读下文优选的具体实施方式中的详细描述,本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。显而易见地,下面描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。而且在整个附图中,用相同的附图标记表示相同的部件。
在附图中:
图1是本发明实施例的iToF深度数据到原始raw数据的反向生成方法流程图;
图2是本发明实施例的iToF摄像头采集不同距离郎伯平面的示意图;
图3是本发明实施例的iToF摄像头采集一组郎伯平面和标定板的示意图;
图4是本发明实施例的iToF摄像头采集标定基的示意图;
图5是本发明实施例的iToF摄像头在空旷区、关闭或遮挡投射器采集数据的示意图;
图6是本发明实施例的iToF反向生成模型参数求解流程图;
图7是本发明实施例的一种调制频率下iToF摄像头原始raw数据过饱和时的拟合曲线图;
图8是本发明实施例的一种调制相位下iToF摄像头的反向生成模型参数求解流程图。
以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
下面将参照附图1至图8更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解,下面将结合附图以具体实施例为例做进一步的解释说明,且各个附图并不构成对本发明实施例的限定。
iToF深度数据到原始raw数据的反向生成方法包括,
第一步骤,采集郎伯平面、标定板平面和无限远距离三种场景下iToF摄像头拍摄的原始raw数据;
第二步骤,构建iToF深度数据到原始raw数据的反向生成模型;
第三步骤,基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值;
第四步骤,所述参数值代入反向生成模型,将合成场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。可以理解的是,生成的原始raw数据不是第一步采集的原始raw数据集合。
本发明首先构建了iToF的深度数据到原始raw数据的反向生成模型;再通过采集指定场景下iToF的原始raw数据集对反向生成模型的各个参数进行标定;得到已知参数值的反向生成模型后,将合成场景批量生成单次反射或多次反射的原始raw数据集。
所述的方法的优选实施方式中,第一步骤中,郎伯平面为漫反射面,当入射照度一定时,从任何角度观察反射面,其反射亮度是一个常数,对郎伯平面进行拍摄时,拍摄过程中相机和郎伯平面平行,拍摄距离为摄像头能够计算深度的最近距离到最远距离,设置多个等距拍摄间隔并要求对同一位置拍摄多张求得原始raw数据平均值。
所述的方法的优选实施方式中,第一步骤中,以郎伯平面和标定板为一组进行拍摄,拍摄同一组平面和标定板的过程中摄像头保持不动,并针对每组的平面和标定板拍摄多组求平均值,其中,iToF摄像头对不同位置的标定板拍摄多组作为标定基,然后固定摄像头并保持与郎伯平面平行,将标定板放置于郎伯平面上进行拍摄多张并求均值,摘除标定板后对郎伯平面继续拍摄多张并求均值,这两组认定为一个对应组,然后移动摄像头以相同的方式拍摄多组。
所述的方法的优选实施方式中,第一步骤中,无限远距离场景下的拍摄中,将iToF摄像头放置于空旷区、关闭或遮挡iToF的投射器拍摄多张,并求其原始raw数据的平均值。
所述的方法的优选实施方式中,iToF摄像头包括单频摄像头或多频摄像头。所述的方法的优选实施方式中,第二步骤中,iToF摄像头的反向生成模型为:其中,i代表iToF摄像头不同的调制频率,j代表iToF摄像头不同的调制相位,k代表图像的像素位置,ri,k为光强系数,Ti为频率周期,/>为相位,Bi,j,k为偏移量,dreal,k为真实深度,dtest,k为iToF摄像头的测量深度,dreal,k=akdtest,k+bk,其中k代表图像的像素位置,ak为一次项,bk为截距。
所述的方法的优选实施方式中,第二步骤中,对于部分相机,其还存在如下关系:Rawi,j,k=max(min(Rawi,j,k,Ci),-Ci),其中Ci为最大阈值。所述的方法的优选实施方式中,采集的空旷区或者关闭或遮挡iToF摄像头投射器采集的多组原始raw数据求其平均值得到模型中的参数Bi,j,k,将所有的采集到的原始raw数据减去所述参数Bi,j,k;
通过采集的郎伯平面和标定板平面为一组的数据,通过标定基和各个不同距离标定板的原始raw数据得到各自对应的置信度图,置信度图通过标定的方法得到所有的标定板的真实深度dreal,k,通过每个标定板对应的郎伯平面得到原始的raw数据,并计算出每个对应的dtest,k,通过最小二乘法对每个像素进行拟合得到不同像素对应的ak和bk;
通过采集的不同距离的郎伯平面得到所有对应的测量深度值dtest,k,然后计算出所有对应的dreal,k,将所有的raw数据乘以对应的d2 real,k,得到其中,/>以深度值dtest,k为自变量,以深度值dtest,k所对应的Raw* i,j,k为因变量,将每个像素进行最小二乘拟合得到所对应的参数ri,k,Ti和/>
所述的方法的优选实施方式中,当存在过度曝光情况时,基于Rawi,j,k=max(min(Rawi,j,k,Ci),-Ci),标定出最大曝光值Ci。
所述的方法的优选实施方式中,第四步骤中,瞬态渲染以飞秒为单位分析光线的传播过程,场景中的光源经过不同次数的反射后,每个像素接收到光源的时间tk,m,通过dreal,k.m=ctk,m得到对应的dreal,k,m,其中m是光反射的次数,c为光速,基于dreal,k,m得到对应的dtest,k,m以得到每个场景对应的原始raw数据Rawi,j,k,m,将所有m情况下的Rawi,j,k,m进行加和得到实际场景下的Rawi,j,k。
在一个实施例中,方法包括:
步骤1:采集郎伯平面(即对于漫反射面,当入射照度一定时,从任何角度观察反射面,其反射亮度是一个常数)、标定板平面和无限远距离三种场景下iToF摄像头拍摄的原始raw数据;
步骤2:构建iToF深度数据到原始raw数据的反向生成模型;
步骤3:根据步骤2构建的反向生成模型和步骤1采集的原始raw数据,将反向生成模型中的参数进行标定,得到参数值。
步骤4:根据步骤3得到代入参数值的反向生成模型,将合成场景通过瞬态渲染后(以飞秒为单位,分析光线的传播过程),批量生成单次反射或多次反射的原始raw数据。
本发明通过构建iToF深度数据到原始raw数据的反向生成模型,并通过采集指定场景的raw数据标定其参数,实现了深度数据到原始raw数据的反向生成。本发明提出的iToF深度数据到原始raw数据的反向生成方法既可适用于单频的iToF深度摄像头,也适用于多频工作的iToF深度摄像头。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。
总体而言,本发明实施例的iToF深度数据到原始raw数据的反向生成方法,是基于iToF摄像头模型的构建、标定和反向生成数据技术,首先使用iToF摄像头拍摄郎伯平面、标定板平面和无限远距离三种不同场景的原始raw数据。然后针对本发明构建的iToF摄像头模型通过之前采集的三种场景下的原始raw数据对模型中的未知参数进行一一标定,最终实现深度数据到原始raw数据的反向生成。
图1示意性图示了本发明实施例的iToF深度数据到原始raw数据的反向生成方法整体流程。为了清楚说明,下文中将结合图2、图3、图4、图5、图6、图7、图8来描述该方法。
步骤1:采集郎伯平面(即对于漫反射面,当入射照度一定时,从任何角度观察反射面,其反射亮度是一个常数)、朗伯平面和标定板平面、无限远距离三种场景下iToF摄像头拍摄的原始raw数据。
如图2所示,首先需要通过iToF摄像头对郎伯平面进行拍摄,拍摄过程中相机和郎伯平面尽量平行,拍摄距离为摄像头能够计算深度的最近距离到最远距离,拍摄间隔尽量密集,并要求对同一位置拍摄多张求得原始数据平均值,以消除高斯噪声和散粒噪声造成的影响。
如图3所示,以郎伯平面和标定板为一组进行拍摄,拍摄同一组平面和标定板的过程中摄像头要求保持不动,并针对每组的平面和标定板拍摄多组求平均值以消除噪声影响。其中该场景拍摄细节如下:
如图4所示,首先需要用iToF摄像头对不同位置的标定板拍摄多组作为标定基,然后固定摄像头并保持与郎伯平面平行,将标定板放置于郎伯平面上进行拍摄多张并求均值,摘除标定板后对郎伯平面继续拍摄多张并求均值,这两组认定为一个对应组。然后移动摄像头以相同的方式拍摄多组。
如图5所示,将iToF摄像头放置于空旷区、关闭或遮挡iToF的投射器拍摄多张,并求其原始raw数据的平均值。其中如果在空旷区拍摄,则要保证iToF摄像头距离物体足够远,iToF投射器投射出的光无法反射回到接收器中。
步骤2:构建iToF深度数据到原始raw数据的反向生成模型;
本发明的iToF摄像头并不局限于单频摄像头,针对于多频摄像头同样适用。其中iToF摄像头的反向生成模型如下:
其中,1代表iToF不同的调制频率,j代表iToF不同的调制相位,k代表图像的像素位置。ri,k为光强系数,与调制频率和像素位置相关。Ti为频率周期,只与调制频率有关。为相位,与调制频率和调制相位有关。Bi,j,k为偏移量,为相机本身的固定模式噪声,同一类型的不同的相机其参数值不同。dreal,k为真实深度,dtest,k为iToF摄像头的测量深度。
对于上述公式,当存在过度曝光,造成摄像头像素饱和时,满足如下条件:
Rawi,j,k=max(min(Rawi,j,k,Ci),-Ci) (2)
其中Ci为最大曝光值。
公式1中,dreal,k可由dtest,k得到:
dreal,k=f(dtest,k) (3)
在实施项中,本发明假设两者存在如下一次关系:
dreal,k=akdtest,k+bk (4)
其中k为像素位置,ak一次项,bk为截距。
步骤3:根据步骤2构建的反向生成模型和步骤1采集的原始raw数据,将反向生成模型中的参数进行标定,得到参数值。
如图6所示,iToF摄像头反向生成模型的参数标定顺序是首先为Bi,j,k,其次为ak,bk,最后为ri,k,Ti,和Ci。具体实施过程如下:
由步骤1中,采集的空旷区或者关闭或遮挡iToF摄像头投射器采集的多组原始raw数据求其平均值,可以得到模型中的参数Bi,j,k。
然后将所有的采集到的原始raw数据减去该参数Bi,j,k,因此以下操作都是基于原始raw数据减去偏移量Bi,j,k之后的raw数据进行的操作。
通过采集的郎伯平面和标定板平面为一组的数据,首先可以通过标定基和各个不同距离标定板的原始raw数据得到各自对应的置信度图,然后通过置信度图通过标定的方法可以得到所有的标定板的真实深度dreal,k。此时通过每个标定板对应的郎伯平面可以得到原始的raw数据,并以此计算出每个对应的dtest,k。通过最小二乘法对每个像素进行拟合,最终可以得到不同像素对应的ak和bk。当采集的拟合数据量不够多时,此时得到的ak和bk仍然存在一定的误差,其产生的影响为生成的真实深度图的平面凹凸不平。此时通过滤波的方法,将ak和bk进行平滑滤波,可以进一步减小误差。
通过步骤1中采集的不同距离的郎伯平面可以得到所有对应的测量深度值dtest,k,然后通过公式(4)可以计算出所有对应的dreal,k,此时将所有的raw数据乘以对应的d2 real,k,由公式(1)最终可以的到如下对应关系:
此时的Raw* i,j,k为:
以深度值dtest,k为自变量,以dtest,k所对应的Raw* i,j,k,为因变量,将每个像素进行最小二乘拟合,最终可以得到所对应的参数ri,k,Ti和当存在过度曝光情况时,则结合公式(2),标定出参数Ci。
在一个实施例中,iToF摄像头有三个调制频率,即i=0,1,2,每个调制频率有三个调制相位,即j=1,2,3,其像素总的数量为k=512×424=217088。首先,根据按照上述过程,我们通过采集遮挡iToF摄像头投射器拍摄的原始raw数据并求平均值,得到了Rawi,j,k,即就得到了Bi,j,k=Rawi,j,k。然后我们通过采集的郎伯平面数据生成了一系列的Rawi,j,k,并通过Rawi,j,k我们可以算出了对应的一系列的dtest,k,通过标定板,我们也可以算出对应的dreal,k。知道了每个像素对应的dtest,k和dreal,k,通过对每个像素进行最小二乘法拟合,得到了ak和bk。此时,我们可以将所有采集到的郎伯平面的原始raw数据求出全部的dtest,k和dreal,k(即没有标定板对应的郎伯平面)。此时我们将采集到的郎伯平面的一系列RaWi,j,k与之前得到的Bi,j,k相减后再与d2 real,k相乘,得到公式(5)中一系列的Raw* i,j,k。通过将一系列的Raw* i,j,k和dtest,k进行最小二乘法拟合,可以得到ri,k,Ti和在拟合过程中,发现第二个调制频率产生的对应点坐标如图7所示。此时说明该调制频率下的像素存在饱和现象。对该频率对公式(2)进行拟合,得到了该调制频率下对应的C2。而其他频率为正常的正弦波。因此只拟合公式(1)。
部分iToF相机采用了一些相对特殊的调制相位,此时可以利用这些特殊的调制相位,进行参数标定。在一个实施例中,分别为0,π/2,π,3π/2时,其标定参数的Bi,j,k和ak,bk的过程仍保持不变。对于ri,k,Ti和/>则可以采用如下方法进行标定。其标定过程如图8所示。
首先利用三角变换,通过公式:
可以得到Ai,k,其中:
其中Ai,0,k,Ai,1,k,Ai,2,k,Ai,3,k都可以通过原始raw数据减去Bi,j,k得到。因此可最终得到实际的Ai,k。
通过公式(7)得到的Ai,k,可将Rawi,j,k归一化以消除dreal,k误差产生的影响,得到:
其中满足如下条件:
此时需要标定的参数不存在像素位置信息,可以将所有的像素通过最小二乘法进行拟合,可进一步提升拟合的数据量,得到Ti和
最后通过公式(8),对每个像素进行最小二乘法拟合可得到ri,k。
步骤4:根据步骤3得到代入参数值的反向生成模型,将合成场景通过瞬态渲染后(以飞秒为单位,分析光线的传播过程),批量生成单次反射或多次反射的原始raw数据。
对于已有的合成场景,通过瞬态渲染技术,我们可以得到场景中的光源经过不同次数的反射后,每个像素接收到光源的时间tk,m,通过公式:
dtest,k.m=ctk,m (15)
可以得到对应的dreal,k,m。其中m是光反射的次数,c为光速。当m=1,即只经过一次反射时,为最理想情况。
将dreal,k,m带入公式(4)中,可以得到对应的dtest,k,m。将dtest,k,m和dreal,k,m带入到公式(1)和公式(2)中,可以得到每个场景对应的原始raw数据Rawi,j,k,m。将所有m情况下的Rawi,j,k,m进行加和,可以得到实际场景下的Rawi,j,k。而理想情况下,m=1。此时可以得到Rawi,j,k,1。最终可以得到实际情况下的raw数据和对应的理想情况下的raw数据。
尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。
Claims (7)
1.一种iToF深度数据到原始raw数据的反向生成方法,所述方法包括以下步骤:
第一步骤,采集郎伯平面、朗伯平面和标定板平面组、无限远距离三种场景下iToF摄像头拍摄的原始raw数据;
第二步骤,构建iToF深度数据到原始raw数据的反向生成模型,iToF摄像头的反向生成模型为:其中,i代表iToF摄像头不同的调制频率,j代表iToF摄像头不同的调制相位,k代表图像的像素位置,ri,k为光强系数,Ti为频率周期,/>为相位,Bi,j,k为偏移量,dreal,k为真实深度,dtest,k为iToF摄像头的测量深度,dreal,k=akdtest,k+bk,其中k代表图像的像素位置,ak为一次项,bk为截距,对于部分相机,其还存在如下关系:Rawi,j,k=max(min(Rawi,j,k,Ci),-Ci),其中Ci为最大阈值;
第三步骤,基于所述反向生成模型和所述原始raw数据标定所述反向生成模型中的参数以得到参数值,其中,采集的空旷区或者关闭或遮挡iToF摄像头投射器采集的多组原始raw数据求其平均值得到模型中的参数Bi,j,k,将所有的采集到的原始raw数据减去所述参数Bi,j,k;
通过采集的郎伯平面和标定板平面为一组的数据,通过标定基和各个不同距离标定板的原始raw数据得到各自对应的置信度图,置信度图通过标定的方法得到所有的标定板的真实深度dreal,k,通过每个标定板对应的郎伯平面得到原始的raw数据,并计算出每个对应的dtest,k,通过最小二乘法对每个像素进行拟合得到不同像素对应的ak和bk;
通过采集的不同距离的郎伯平面得到所有对应的测量深度值dtest,k,然后计算出所有对应的dreal,k,将所有的raw数据乘以对应的d2 real,k,得到其中,/>以深度值dtest,k为自变量,以深度值dtest,k所对应的Raw* i,j,k为因变量,将每个像素进行最小二乘拟合得到所对应的参数ri,k,Ti和/>
第四步骤,所述参数值代入反向生成模型,将三维建模合成的虚拟场景通过瞬态渲染后批量生成单次反射或多次反射的原始raw数据集。
2.根据权利要求1所述的方法,其中,第一步骤中,郎伯平面为漫反射面,当入射照度一定时,从任何角度观察反射面,其反射亮度是一个常数,对郎伯平面进行拍摄时,拍摄过程中相机和郎伯平面平行,拍摄距离为摄像头能够计算深度的最近距离到最远距离,设置多个等距拍摄间隔并要求对同一位置拍摄多张求得原始raw数据平均值。
3.根据权利要求1所述的方法,其中,第一步骤中,以郎伯平面和标定板为一组进行拍摄,拍摄同一组平面和标定板的过程中摄像头保持不动,并针对每组的平面和标定板拍摄多组求平均值,其中,iToF摄像头对不同位置的标定板拍摄多组作为标定基,然后固定摄像头并保持与郎伯平面平行,将标定板放置于郎伯平面上进行拍摄多张并求均值,摘除标定板后对郎伯平面继续拍摄多张并求均值,这两组认定为一个对应组,然后移动摄像头以相同的方式拍摄多组。
4.根据权利要求1所述的方法,其中,第一步骤中,无限远距离场景下的拍摄中,将iToF摄像头放置于空旷区、关闭或遮挡iToF的投射器拍摄多张,并求其原始raw数据的平均值。
5.根据权利要求1所述的方法,其中,iToF摄像头包括单频摄像头或多频摄像头。
6.根据权利要求1所述的方法,其中,当存在过度曝光情况时,基于Rawi,j,k=max(min(Rawi,j,k,Ci),-Ci),标定出最大曝光值Ci。
7.根据权利要求1所述的方法,其中,第四步骤中,瞬态渲染以飞秒为单位分析光线的传播过程,场景中的光源经过不同次数的反射后,每个像素接收到光源的时间tk,m,通过dreal,k.m=ctk,m得到对应的dreal,k,m,其中m是光反射的次数,c为光速,
基于dreal,k,m得到对应的dtest,k,m以得到每个场景对应的原始raw数据Rawi,j,k,m,将所有m情况下的Rawi,j,k,m进行加和得到实际场景下的原始raw数据集Rawi,j,k。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110304693.3A CN113096172B (zh) | 2021-03-22 | 2021-03-22 | 一种iToF深度数据到原始raw数据的反向生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110304693.3A CN113096172B (zh) | 2021-03-22 | 2021-03-22 | 一种iToF深度数据到原始raw数据的反向生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113096172A CN113096172A (zh) | 2021-07-09 |
CN113096172B true CN113096172B (zh) | 2023-10-27 |
Family
ID=76668870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110304693.3A Active CN113096172B (zh) | 2021-03-22 | 2021-03-22 | 一种iToF深度数据到原始raw数据的反向生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113096172B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114095713A (zh) * | 2021-11-23 | 2022-02-25 | 京东方科技集团股份有限公司 | 成像模组及其处理方法、***、装置、介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104567718A (zh) * | 2015-01-08 | 2015-04-29 | 四川大学 | 一种基于多角度投影pmp的集成成像微图像阵列生成方法 |
CN105488534A (zh) * | 2015-12-04 | 2016-04-13 | 中国科学院深圳先进技术研究院 | 交通场景深度解析方法、装置及*** |
CN109801365A (zh) * | 2019-01-25 | 2019-05-24 | 上海小萌科技有限公司 | 一种三维建模数据采集装置及其三维建模方法 |
CN110211061A (zh) * | 2019-05-20 | 2019-09-06 | 清华大学 | 基于神经网络的单深度相机深度图实时增强方法及装置 |
WO2020062393A1 (zh) * | 2018-09-28 | 2020-04-02 | 成都臻识科技发展有限公司 | 一种基于机器学习的初始数据处理方法和*** |
-
2021
- 2021-03-22 CN CN202110304693.3A patent/CN113096172B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104567718A (zh) * | 2015-01-08 | 2015-04-29 | 四川大学 | 一种基于多角度投影pmp的集成成像微图像阵列生成方法 |
CN105488534A (zh) * | 2015-12-04 | 2016-04-13 | 中国科学院深圳先进技术研究院 | 交通场景深度解析方法、装置及*** |
WO2020062393A1 (zh) * | 2018-09-28 | 2020-04-02 | 成都臻识科技发展有限公司 | 一种基于机器学习的初始数据处理方法和*** |
CN109801365A (zh) * | 2019-01-25 | 2019-05-24 | 上海小萌科技有限公司 | 一种三维建模数据采集装置及其三维建模方法 |
CN110211061A (zh) * | 2019-05-20 | 2019-09-06 | 清华大学 | 基于神经网络的单深度相机深度图实时增强方法及装置 |
Non-Patent Citations (2)
Title |
---|
ToF深度相机测量误差校正模型;王乐;罗宇;王海宽;费敏锐;;***仿真学报(第10期);全文 * |
基于瞬态成像技术的穿透散射介质成像;吴日辉;代锋;尹冬;刘烨斌;戴琼海;张勇东;;计算机学报(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113096172A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Plotz et al. | Benchmarking denoising algorithms with real photographs | |
CN104104882B (zh) | 图像闪烁检测方法及装置、图像捕获设备 | |
CN103337094B (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN103477644B (zh) | 记录图像和从图像获得3d信息的方法、相机*** | |
Bando et al. | Extracting depth and matte using a color-filtered aperture | |
US8989517B2 (en) | Bokeh amplification | |
US7929804B2 (en) | System and method for tracking objects with a synthetic aperture | |
CN108063932B (zh) | 一种光度标定的方法及装置 | |
WO2015098288A1 (ja) | 画像処理装置、および画像処理方法 | |
US9807372B2 (en) | Focused image generation single depth information from multiple images from multiple sensors | |
CN110009672A (zh) | 提升ToF深度图像处理方法、3D图像成像方法及电子设备 | |
CN112150528A (zh) | 一种深度图像获取方法及终端、计算机可读存储介质 | |
GB2465072A (en) | Combining range information with images to produce new images of different perspective | |
CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
AU2013273843A1 (en) | Motion blur compensation for depth from defocus | |
CN104424640A (zh) | 对图像进行虚化处理的方法和装置 | |
CN113096172B (zh) | 一种iToF深度数据到原始raw数据的反向生成方法 | |
CN110135434A (zh) | 基于颜色线模型的水下图像质量提升算法 | |
CN110520768A (zh) | 高光谱光场成像方法和*** | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
US20220329771A1 (en) | Method of pixel-by-pixel registration of an event camera to a frame camera | |
CN106878697A (zh) | 一种拍摄方法及其成像方法、装置和设备 | |
CN117061868A (zh) | 一种基于图像识别的自动拍照装置 | |
WO2022193288A1 (zh) | 图像处理方法、装置及计算机可读存储介质 | |
US11184561B2 (en) | Method for improved acquisition of images for photogrammetry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |