CN112991532B - 基于光度立体法和激光三角法的水下高精度三维重建方法 - Google Patents

基于光度立体法和激光三角法的水下高精度三维重建方法 Download PDF

Info

Publication number
CN112991532B
CN112991532B CN202110293067.9A CN202110293067A CN112991532B CN 112991532 B CN112991532 B CN 112991532B CN 202110293067 A CN202110293067 A CN 202110293067A CN 112991532 B CN112991532 B CN 112991532B
Authority
CN
China
Prior art keywords
underwater
camera
point
light source
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110293067.9A
Other languages
English (en)
Other versions
CN112991532A (zh
Inventor
范浩
董军宇
陈昌浩
孔令辉
饶源
亓琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202110293067.9A priority Critical patent/CN112991532B/zh
Publication of CN112991532A publication Critical patent/CN112991532A/zh
Application granted granted Critical
Publication of CN112991532B publication Critical patent/CN112991532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

基于光度立体法和激光三角法的水下高精度三维重建方法,包括标定相机、设置光源角度、获取激光平面参数、获取图像,在水下光度立体法步骤中设定水下成像模型、水下光度立体模型和水下相机折射模型,通过激光三角法获得激光平面与目标物体相交点的高度,在水下光度立体融合步骤中进行弱透视图像、水下图像复原和之后的光度立体高度重建,最后进行水下光度立体高度矫正,得到物体表面高度重建结果。本发明可针对海底局部地表或者海底小目标物体进行高分辨率高精度三维重建;以水下相机折射成像模型为依据实现水下光度立体法和水下激光三角法;使用激光来获取物体表面真实尺度,配合水下光度立体技术来获取待重建物体的真实尺度和重建模型。

Description

基于光度立体法和激光三角法的水下高精度三维重建方法
技术领域
本发明属于计算机视觉水下三维重建技术领域,尤其涉及一种基于光度立体法和激光三角法的水下高精度三维重建方法。
背景技术
三维重建是指对现实世界中的物体建立计算机能够表示和处理的数学模型,是计算机表达现实世界的重要技术。通过三维重建,计算机获得真实场景中物体的三维信息,能够在多方面展示物体的特性。因此,三维重建技术可应用于多个领域,例如:文化遗产保护、临床医学、自动驾驶、地形勘探、装备制造等。
光度立体是一种根据物体表面反射光强变化恢复三维结构的技术。相比于结构光法、三角测距法、阴影恢复形状法等方法,光度立体法的重建精度更高,能够恢复连续表面的细节变化。然而光度立体法应用于水下三维重建时会产生畸变。在激光三角法中,线激光器发出结构光照射在被测物体上,通过计算图像中激光线上的像素点的深度值,就能够恢复出物体的三维结构。在水下环境中,复杂的水质对光源产生影响从而导致传统光度立体法的精度降低,导致三维重建结果与实际物体高度存在误差。水下线激光三角法虽然可以获得准确的三维物体点信息,但重建结果稀疏。综上,水下光度立体技术受限于水质的要求,现有的光度立体技术无法应用到复杂多变的水质中三维重建,需要提出一种新型水下三维重建方法。
发明内容
本发明针对水下光度立体法三维重建误差大的局限性,提供了一种基于光度立体法和激光三角法的水下高精度三维重建方法。依靠本发明提供的装置及方法可以对水下环境的物体进行三维重建,重建出误差小、表面细节丰富的三维模型。
1、基于光度立体法和激光三角法的水下高精度三维重建方法,其特征是包括以下步骤:
0)设计水下高精度三维重建装置
该装置包括一个圆形的框架,该框架上固定六个光源灯和两个线激光器,相机位于圆形支撑框架中心的正上方,光源以相机为圆心且环形等间距均匀分布;
以相机世界坐标系为准,光源在XOY平面的分布角度(Tilt角)为0°、60°、120°、180°、240°、300°,光源的主轴方向指向相机的光轴,与垂直方向(Z轴)的夹角(Slant角)为45°;
两个线激光器的光路在XOY平面中相互垂直;框架的正下方是一个物体托盘,用于放置被重建物体;该装置中,相机的成像平面、光源的分布平面、物体的放置平面相对平行;
1)标定相机、设置光源角度、获取激光平面参数
开启相机,调整线激光器的位置,使得垂直激光线和平行激光器的交叉点位于相机成像的正中心;将标定板放于相机的正下方,手动控制标定板的旋转和平移,依次拍摄垂直激光线和水平激光线照射在标定板上的多张图片;通过标定获得相机内参数,再根据两个激光线与标定板的交点坐标得到两个激光平面方程;
2)获取图像
为了避免环境光的干扰,该装置在黑暗环境下进行拍摄,把该装置放入水下环境中,使得相机浸入水中,六个光源灯按照Tilt角从0°到300°依次照射,通过相机拍摄六个角度光照下的待重建物体图片;关闭所有光源灯,依次打开两个线激光器,拍摄垂直激光线照射在物体上的图片和水平激光线照射在物体上的图片;
3)水下光度立体法
a.水下成像模型
采用Jaffe-McGlamery水下成像模型,水下光源用极坐标角度θs表示Tilt角,用
Figure BDA0002983171910000011
表示Slant角,定义为
Figure BDA0002983171910000021
单位为
Figure BDA0002983171910000022
表示距离光源1米的辐射度;
x,y,z的值表示反射点的坐标;Lk(x,y,z)表示光源到反射点的方向向量,|Lk(x,y,z)|表示物体表面点到第k个光源的距离,k=1,...,6,由于不同光源到反射点的距离之差远小于光源到反射的距离,故将不同光源到反射点的距离视为相等,统一以光源到物体的中心点的距离Rs作为每一个|Lk(x,y,z)|的数值;同理以相机到物体的中心点的距离Rc表示相机到物体表面各个反射点到的距离;n(x,y,z)表示物体表面反射点的表面单位法向量,为待求量;c表示水中的衰减系数;γ表示物体表面单位法向量和单位光源矢量的夹角,
Figure BDA0002983171910000023
则待重建物体表面的入射光强为:
Figure BDA0002983171910000024
ρ(x,y,z)表示重建物表面反射点的反射率,为待求量,根据朗伯反射规律可得待重建物体反射到相机的光照强度为:
Figure BDA0002983171910000025
b.水下光度立体模型
该模型以水下成像模型为基础,由水下成像模型与朗伯反射模型结合得到,待重建物体表面上的反射点在第k个光源下的亮度Ik为:
Figure BDA0002983171910000026
I0表示光源的初始光强,即
Figure BDA0002983171910000027
Rc表示物体表面反射点到相机的距离;
水下光度立体模型采用传统光度立体方法,假设初始光强I0=1,综上得坐标(x,y,z)在第k束光源下的光照强度Ik为:
Figure BDA0002983171910000028
c.水下相机折射模型
令(Xr,Yr,Zr)为相机坐标系下的真实点坐标,(x,y)为归一化平面(即相机焦距为1时的成像平面)上真实点的坐标,(u,v)为相机焦距所产生物理平面坐标,n为水介质中的折射率,h为相机原点到玻璃界面的距离,则归一化平面上的点(x,y)与相机坐标系下真实点坐标(Xr,Yr,Zr)的关系为:
Figure BDA0002983171910000029
Figure BDA00029831719100000210
4)水下激光三角法
通过激光三角法获得激光器产生的激光平面与目标物体相交点的高度,根据步骤3c)构建的水下相机折射模型,能够得到水下待重建物体的三维坐标点信息;令P(Xr,Yr,Zr)表示待重建物体的P点在真实世界中的坐标,P(x,y)表示P点在归一化平面上的坐标;
AX+BY+CZ+D=0为激光平面方程,经标定而得到,将该激光平面方程与步骤3c)的水下相机折射模型结合,可以得到激光在物体上的投影点在相机坐标系下的真实值(Xc,Yc,Zc):
Xc=αx
Yc=αy
Zc=h+(α-h)δ
其中,
Figure BDA0002983171910000031
α=(Ch(δ-1)-D)/(Ax+By+Cδ);
5)水下光度立体融合方法
根据水下相机折射模型修正折射成像的影响,高精度重建水下目标物体的三维形状;
a.弱透视图像
光线在空气进入水中会发生折射,相比较于空气中的图像,水下拍摄的图像发生畸变,因此水下相机捕获图片不再适用小孔成像模型;传统的光度立体法以相机成像是平行投影为基础,待重建物体像素级高度积分即真实尺度高度积分,然而水下图像的非线性变化会影响光度立体法的效果,使得高度积分过程产生误差,导致像素级高度积分与真实尺度高度积分不一致。
本发明提出使用弱透视投影解决像素级高度和真实高度不一致的问题,根据步骤3c)的水下相机折射模型实现水下图像复原:以
Figure BDA0002983171910000032
表示待重建物体的每一个弱透视成像点,
Figure BDA0002983171910000033
为待重建物体的近似平均深度值,由步骤4)的水下激光三角法得到,Xr,Yr由步骤3c)的水下光度立体模型得到;根据弱透视成像点
Figure BDA0002983171910000034
计算出符合光度立体高度估算的透视图像pb
b.水下图像复原
但是,水下目标物体的三维未知,无法通过弱透视投影和透视投影来获得水下弱透视复原图像pb;根据步骤4中的水下激光三角法求得水下待重建物体的真实三维信息,以步骤5a)得到的近似平均深度
Figure BDA0002983171910000035
为水下图像恢复的标准,求出近似为弱透视投影的水下复原图像ps(xs,ys):
Figure BDA0002983171910000036
Figure BDA0002983171910000037
c.水下图像复原之后的光度立体高度重建
假设目标物体上一点Pw在世界坐标系下的坐标为(xw,yw,zw),第k个光源在世界坐标系下的坐标为
(rcosθ,rsinθ,d0),则第k个光源到物体点Pw的方向为
Lk(xw,yw,zw)=(rcosθ-xw,rsinθ-yw,d0)
其中,θ表示Tilt角,r表示圆盘半径,d0为光源距离托盘的高度,均为已知量;
根据朗伯反射模型,第k个光源下的物体点Pw的亮度Ik为:
Figure BDA0002983171910000038
I0表示光源的初始光强,Lk(xw,yw,zw)表示第k个光源方向向量;|Lk(xw,yw,zw)|含义同上;n(xw,yw,zw)表示物体表面反射点的单位法向量,为待求量;ρ(xw,yw,zw)表示重建物表面反射点的反射率,为待求量;
已知I0,Lk(xw,yw,zw),可通过多于三张的图片来求得n(xw,yw,zw)、ρ(xw,yw,zw),从而恢复物体的表面高度;
6)水下光度立体高度矫正
因本发明需要在步骤5b)过程得到的水下复原图像上进行光度立体高度重建,相比较于空气中的经典光度立体法,水下光度立体法由于成像设备、光源条件限制产生低频偏差;令Hf表示低频偏差,误差可以通过以下公式求得:
Hf(x,y)=ax2+by2+cx+dy+e
其中,a,b,c,d,e为待定误差系数,根据最小二乘法拟合曲线求出误差系数,得到低频偏差Hf(x,y);
最后,将步骤5得到的传统的光度立体法求出的物体表面高度结果减去估计的误差Hf(x,y),并转换到真实尺度,得到矫正后物体表面高度重建结果。
本发明提供了一种水下光度立体法和水下激光三角法融合的装置及方法,具有以下良好技术效果:
(1)可针对海底局部地表或者海底小目标物体进行高分辨率高精度三维重建;
(2)以水下相机折射成像模型为依据实现水下光度立体法和水下激光三角法;
(3)使用激光来获取物体表面真实尺度,配合水下光度立体技术来获取待重建物体的真实尺度和重建模型。
依靠本发明提供的装置及方法,可以对海底局部地表或海底小目标物体进行三维成像,重建出高精度、表面重建细节丰富的三维表面模型,其效果如图3、4所示。
附图说明
图1是本发明的方法流程图。
图2是本发明使用的装置示意图。
其中,1.卤素灯光源一,2.卤素灯光源二,3.卤素灯光源三,4.卤素灯光源四,5.卤素灯光源五,6.线激光器一,7.卤素灯光源六,8.线激光器二,9.相机支撑架,10.相机。
图3是本发明进行实际水下高精度三维重建的目标物体图。
图4是本发明对图3所示的目标物体进行水下高精度三维重建的效果图。
具体实施方式
如图2所示,基于光度立体法和激光三角法的水下高精度三维重建装置,主体是一个圆形的支撑框架,该框架上固定六个光源灯(卤素灯光源一1至卤素灯光源六7,和两个线激光器:线激光器一6、线激光器二8。相机10位于圆形支撑框架中心的正上方,由相机支撑架9进行支撑,光源以相机10为圆心且环形等间距均匀分布。以相机10世界坐标系为准,光源在XOY平面的分布角度(Tilt角)为0°、60°、120°、180°、240°、300°,光源的主轴方向指向相机10的光轴,与垂直方向(Z轴)的夹角(Slant角)为45°;两个线激光器的光路在XOY平面中相互垂直。框架的正下方是一个正方形的物体托盘,用于放置被重建物体。相机的成像平面、光源的分布平面、物体的放置平面相对平行。
如图1所示,基于光度立体法和激光三角法的水下高精度三维重建方法采用以下技术方案:
1)标定相机、设置光源角度、获取激光平面参数
开启相机,调整线激光器的位置,使得垂直激光线和平行激光器的交叉点位于相机成像的正中心;将标定板放于相机的正下方,手动控制标定板的旋转和平移,依次拍摄垂直激光线和水平激光线照射在标定板上的多张图片;通过标定获得相机内参数,再根据两个激光线与标定板的交点坐标得到两个激光平面方程;
2)获取图像
为了避免环境光的干扰,该装置在黑暗环境下进行拍摄,把该装置放入水下环境中,使得相机浸入水中,六个光源灯按照Tilt角从0°到300°依次照射,通过相机拍摄六个角度光照下的待重建物体图片;关闭所有光源灯,依次打开两个线激光器,拍摄垂直激光线照射在物体上的图片和水平激光线照射在物体上的图片;
3)水下光度立体法
a.水下成像模型
采用Jaffe-McGlamery水下成像模型,水下光源用极坐标角度θs表示Tilt角,用
Figure BDA0002983171910000041
表示Slant角,定义为
Figure BDA0002983171910000043
单位为
Figure BDA0002983171910000042
表示距离光源1米的辐射度;
x,y,z的值表示反射点的坐标;Lk(x,y,z)表示光源到反射点的方向向量,|Lk(x,y,z)|表示物体表面点到第k个光源的距离,k=1,...,6,由于不同光源到反射点的距离之差远小于光源到反射的距离,故将不同光源到反射点的距离视为相等,统一以光源到物体的中心点的距离Rs作为每一个|Lk(x,y,z)|的数值;同理以相机到物体的中心点的距离Rc表示相机到物体表面各个反射点到的距离;n(x,y,z)表示物体表面反射点的表面单位法向量,为待求量;c表示水中的衰减系数;γ表示物体表面单位法向量和单位光源矢量的夹角,
Figure BDA0002983171910000051
则待重建物体表面的入射光强为:
Figure BDA0002983171910000052
ρ(x,y,z)表示重建物表面反射点的反射率,为待求量,根据朗伯反射规律可得待重建物体反射到相机的光照强度为:
Figure BDA0002983171910000053
b.水下光度立体模型
该模型以水下成像模型为基础,由水下成像模型与朗伯反射模型结合得到,待重建物体表面上的反射点在第k个光源下的亮度Ik为:
Figure BDA0002983171910000054
I0表示光源的初始光强,即
Figure BDA0002983171910000055
Rc表示物体表面反射点到相机的距离;
水下光度立体模型采用传统光度立体方法,假设初始光强I0=1,综上得坐标(x,y,z)在第k束光源下的光照强度Ik为:
Figure BDA0002983171910000056
c.水下相机折射模型
本发明的相机密封在防水壳内,当光线穿过防水壳的玻璃平面时,发生了两次折射,分别是:“水和玻璃”界面、“玻璃和空气”界面,本发明采用的防水壳玻璃厚度较小,因此不考虑玻璃的折射,该折射模型只考虑水和空气的折射。
令(Xr,Yr,Zr)为相机坐标系下的真实点坐标,(x,y)为归一化平面(即相机焦距为1时的成像平面)上真实点的坐标,(u,v)为相机焦距所产生物理平面坐标,n为水介质中的折射率,h为相机原点到玻璃界面的距离,则归一化平面上的点(x,y)与相机坐标系下真实点坐标(Xr,Yr,Zr)的关系为:
Figure BDA0002983171910000057
Figure BDA0002983171910000058
4)水下激光三角法
通过激光三角法获得激光器产生的激光平面与目标物体相交点的高度,根据步骤3c)构建的水下相机折射模型,能够得到水下待重建物体的三维坐标点信息;令P(Xr,Yr,Zr)表示待重建物体的P点在真实世界中的坐标,P(x,y)表示P点在归一化平面上的坐标;
AX+BY+CZ+D=0为激光平面方程,经标定而得到,根据该激光平面方程和步骤3c)的水下相机折射模型可以得到激光在物体上的投影点在相机坐标系下的真实值(Xc,Yc,Zc):
Xc=αx
Yc=αy
Zc=h+(α-h)δ
其中,
Figure BDA0002983171910000061
α=(Ch(δ-1)-D)/(Ax+By+Cδ);
5)水下光度立体融合方法
根据水下相机折射模型修正折射成像的影响,高精度重建水下目标物体的三维形状,(传统的光度立体假设相机为平行投影,即像素级的高度等于真实高度;但是,在现实中物体表面有深度变化,相同间距的像素不能表示相同间距的真实尺度间隔,因此需要矫正得到准确的结果)。
a.弱透视图像
光线在空气进入水中会发生折射,相比较于空气中的图像,水下拍摄的图像发生畸变,因此水下相机捕获图片不再适用小孔成像模型;传统的光度立体法以相机成像是平行投影为基础,待重建物体像素级高度积分即真实尺度高度积分,然而水下图像的非线性变化会影响光度立体法的效果,使得高度积分过程产生误差,导致像素级高度积分与真实尺度高度积分不一致。
本发明提出使用弱透视投影解决像素级高度和真实高度不一致的问题,根据步骤3c)的水下相机折射模型实现水下图像复原:以
Figure BDA0002983171910000062
表示待重建物体的每一个弱透视成像点,
Figure BDA0002983171910000063
为待重建物体的近似平均深度值,由步骤4)的水下激光三角法得到,Xr,Yr由步骤3c)的水下光度立体模型得到;根据弱透视成像点
Figure BDA0002983171910000064
计算出符合光度立体高度估算的透视图像pb
b.水下图像复原
但是,水下目标物体的三维未知,无法通过弱透视投影和透视投影来获得水下弱透视复原图像pb;根据步骤4中的水下激光三角法求得水下待重建物体的真实三维信息,以步骤5a)得到的近似平均深度
Figure BDA0002983171910000065
为水下图像恢复的标准,求出近似为弱透视投影的水下复原图像ps(xs,ys):
Figure BDA0002983171910000066
Figure BDA0002983171910000067
c.水下图像复原之后的光度立体高度重建
假设目标物体上一点Pw在世界坐标系下的坐标为(xw,yw,zw),第k个光源在世界坐标系下的坐标为(rcosθ,rsinθ,d0),则第k个光源到物体点Pw的方向为
Lk(x,y,z)=(rcosθ-x,rsinθ-y,d0)
其中,θ表示Tilt角,r表示圆盘半径,d0为光源距离托盘的高度,均为已知量;
根据朗伯反射模型,第k个光源下的物体点Pw的亮度Ik为:
Figure BDA0002983171910000068
I0表示光源的初始光强,Lk(xw,yw,zw)表示第k个光源方向向量;|Lk(x,y,z)|含义同上;n(xw,yw,zw)表示物体表面反射点的单位法向量,为待求量;ρ(xw,yw,zw)表示重建物表面反射点的反射率,为待求量;
已知I0,Lk(xw,yw,zw),可通过多于三张的图片来求得n(xw,yw,zw)、ρ(xw,yw,zw),从而恢复物体的表面高度。
还包括步骤6)水下光度立体高度矫正
因本发明需要在步骤5b)过程得到的水下复原图像上进行光度立体高度重建,相比较于空气中的经典光度立体法,水下光度立体法由于成像设备、光源条件限制产生低频偏差;令Hf表示低频偏差,误差可以通过以下公式求得:
Hf(x,y)=ax2+by2+cx+dy+e
其中,a,b,c,d,e为待定误差系数,根据最小二乘法拟合曲线求出误差系数,得到低频偏差Hf(x,y);最后,将步骤5得到的传统的光度立体法求出的物体表面高度结果减去估计的误差Hf(x,y),并转换到真实尺度,得到矫正后物体表面高度重建结果。

Claims (1)

1.基于光度立体法和激光三角法的水下高精度三维重建方法,其特征是包括以下步骤:
0)设计水下高精度三维重建装置
该装置包括一个圆形的框架,该框架上固定六个光源灯和两个线激光器,相机位于圆形支撑框架中心的正上方,光源以相机为圆心且环形等间距均匀分布;
以相机世界坐标系为准,光源在XOY平面的分布角度为0°、60°、120°、180°、240°、300°,光源的主轴方向指向相机的光轴,与垂直方向的夹角角为45°;
两个线激光器的光路在XOY平面中相互垂直;框架的正下方是一个物体托盘,用于放置被重建物体;该装置中,相机的成像平面、光源的分布平面、物体的放置平面相对平行;
1)标定相机、设置光源角度、获取激光平面参数
开启相机,调整线激光器的位置,使得垂直激光线和平行激光线的交叉点位于相机成像的正中心;将标定板放于相机的正下方,手动控制标定板的旋转和平移,依次拍摄垂直激光线和水平激光线照射在标定板上的多张图片;通过标定获得相机内参数,再根据两个激光线与标定板的交点坐标得到两个激光平面方程;
2)获取图像
为了避免环境光的干扰,该装置在黑暗环境下进行拍摄,把该装置放入水下环境中,使得相机浸入水中,六个光源灯按照Tilt角从0°到300°依次照射,通过相机拍摄六个角度光照下的待重建物体图片;关闭所有光源灯,依次打开两个线激光器,拍摄垂直激光线照射在物体上的图片和水平激光线照射在物体上的图片;
3)水下光度立体法
a.水下成像模型
采用Jaffe-McGlamery水下成像模型,水下光源用极坐标角度θs表示Tilt角,用
Figure FDA0003499862320000011
表示Slant角,定义为
Figure FDA0003499862320000012
单位为
Figure FDA0003499862320000013
表示距离光源1米的辐射度;
x,y,z的值表示反射点的坐标;Lk(x,y,z)表示光源到反射点的方向向量,|Lk(x,y,z)|表示物体表面点到第k个光源的距离,k=1,...,6,由于不同光源到反射点的距离之差远小于光源到反射点的距离,故将不同光源到反射点的距离视为相等,统一以光源到物体的中心点的距离Rs作为每一个|Lk(x,y,z)|的数值;同理以相机到物体的中心点的距离Rc表示相机到物体表面各个反射点到的距离;n(x,y,z)表示物体表面反射点的表面单位法向量,为待求量;c表示水中的衰减系数;γ表示物体表面单位法向量和单位光源矢量的夹角,
Figure FDA0003499862320000014
则待重建物体表面的入射光强为:
Figure FDA0003499862320000015
ρ(x,y,z)表示重建物表面反射点的反射率,为待求量,根据朗伯反射规律可得待重建物体反射到相机的光照强度为:
Figure FDA0003499862320000016
b.水下光度立体模型
该模型以水下成像模型为基础,由水下成像模型与朗伯反射模型结合得到,待重建物体表面上的反射点在第k个光源下的亮度Ik为:
Figure FDA0003499862320000021
I0表示光源的初始光强,即
Figure FDA0003499862320000022
Rc表示物体表面反射点到相机的距离;
水下光度立体模型采用传统光度立体方法,假设初始光强I0=1,综上得坐标(x,y,z)在第k束光源下的光照强度Ik为:
Figure FDA0003499862320000023
c.水下相机折射模型
令(Xr,Yr,Zr)为相机坐标系下的真实点坐标,(x,y)为归一化平面——即相机焦距为1时的成像平面上真实点的坐标,(u,v)为相机焦距所产生物理平面坐标,n为水介质中的折射率,h为相机原点到玻璃界面的距离,则归一化平面上的点(x,y)与相机坐标系下真实点坐标(Xr,Yr,Zr)的关系为:
Figure FDA0003499862320000024
Figure FDA0003499862320000025
4)水下激光三角法
通过激光三角法获得激光器产生的激光平面与目标物体相交点的高度,根据步骤3)c构建的水下相机折射模型,得到水下待重建物体的三维坐标点信息;令P(Xr,Yr,Zr)表示待重建物体的P点在真实世界中的坐标,P(x,y)表示P点在归一化平面上的坐标;
AX+BY+CZ+D=0为激光平面方程,经标定而得到,将该激光平面方程与步骤3)c的水下相机折射模型结合,得到激光在物体上的投影点在相机坐标系下的真实值(Xc,Yc,Zc):
Xc=αx
Yc=αy
Zc=h+(α-h)δ
其中,
Figure FDA0003499862320000026
α=(Ch(δ-1)-D)/(Ax+By+Cδ);
5)水下光度立体融合方法
根据水下相机折射模型修正折射成像的影响,高精度重建水下目标物体的三维形状;
a.弱透视图像
根据步骤3)c的水下相机折射模型实现水下图像复原:以
Figure FDA0003499862320000027
表示待重建物体的每一个弱透视成像点,
Figure FDA0003499862320000028
为待重建物体的近似平均深度值,由步骤4)的水下激光三角法得到,Xr,Yr由步骤3)c的水下光度立体模型得到;根据弱透视成像点
Figure FDA0003499862320000029
计算出符合光度立体高度估算的透视图像pb
b.水下图像复原
根据步骤4)中的水下激光三角法求得水下待重建物体的真实三维信息,以步骤5)a得到的近似平均深度
Figure FDA00034998623200000210
为水下图像恢复的标准,求出近似为弱透视投影的水下复原图像ps(xs,ys):
Figure FDA00034998623200000211
Figure FDA00034998623200000212
c.水下图像复原之后的光度立体高度重建
假设目标物体上一点Pw在世界坐标系下的坐标为(xw,yw,zw),第k个光源在世界坐标系下的坐标为(rcosθ,rsinθ,d0),则第k个光源到物体点Pw的方向为
Lk(xw,yw,zw)=(rcosθ-xw,rsinθ-yw,d0)
其中,θ表示Tilt角,r表示圆盘半径,d0为光源距离托盘的高度,均为已知量;
根据朗伯反射模型,第k个光源下的物体点Pw的亮度Ik为:
Figure FDA0003499862320000031
I0表示光源的初始光强,Lk(xw,yw,zw)表示第k个光源方向向量;|Lk(xw,yw,zw)|含义同上;n(xw,yw,zw)表示物体表面反射点的单位法向量,为待求量;ρ(xw,yw,zw)表示重建物表面反射点的反射率,为待求量;
已知I0,Lk(xw,yw,zw),通过多于三张的图片来求得n(xw,yw,zw)、ρ(xw,yw,zw),从而恢复物体的表面高度;
6)水下光度立体高度矫正
在步骤5)b过程得到的水下复原图像上进行光度立体高度重建,相比较于空气中的经典光度立体法,水下光度立体法由于成像设备、光源条件限制产生低频偏差;令Hf表示低频偏差,误差通过以下公式求得:
Hf(x,y)=ax2+by2+cx+dy+e
其中,a,b,c,d,e为待定误差系数,根据最小二乘法拟合曲线求出误差系数,得到低频偏差Hf(x,y);
最后,将步骤5)得到的传统的光度立体法求出的物体表面高度结果减去估计的误差Hf(x,y),并转换到真实尺度,得到矫正后物体表面高度重建结果。
CN202110293067.9A 2021-03-18 2021-03-18 基于光度立体法和激光三角法的水下高精度三维重建方法 Active CN112991532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110293067.9A CN112991532B (zh) 2021-03-18 2021-03-18 基于光度立体法和激光三角法的水下高精度三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110293067.9A CN112991532B (zh) 2021-03-18 2021-03-18 基于光度立体法和激光三角法的水下高精度三维重建方法

Publications (2)

Publication Number Publication Date
CN112991532A CN112991532A (zh) 2021-06-18
CN112991532B true CN112991532B (zh) 2022-03-22

Family

ID=76332705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110293067.9A Active CN112991532B (zh) 2021-03-18 2021-03-18 基于光度立体法和激光三角法的水下高精度三维重建方法

Country Status (1)

Country Link
CN (1) CN112991532B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429431B (zh) * 2022-04-01 2022-06-21 西南科技大学 一种水下到空气中图像转化的辨识方法及***
CN116330667B (zh) * 2023-03-28 2023-10-24 云阳县优多科技有限公司 一种玩具的3d打印模型设计方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654549A (zh) * 2015-12-31 2016-06-08 中国海洋大学 基于结构光技术和光度立体技术的水下三维重建装置及方法
CN208907956U (zh) * 2018-11-21 2019-05-28 中国海洋大学 一种遥控水下三维重建***
CN109920007A (zh) * 2019-01-26 2019-06-21 中国海洋大学 基于多光谱光度立体与激光扫描的三维成像装置及方法
CN109919911A (zh) * 2019-01-26 2019-06-21 中国海洋大学 基于多视角光度立体的移动三维重建方法
GB202020689D0 (en) * 2019-12-25 2021-02-10 Univ Hohai 3-D imaging apparatus and method for dynamically and finely detecting small underwater objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654549A (zh) * 2015-12-31 2016-06-08 中国海洋大学 基于结构光技术和光度立体技术的水下三维重建装置及方法
CN208907956U (zh) * 2018-11-21 2019-05-28 中国海洋大学 一种遥控水下三维重建***
CN109920007A (zh) * 2019-01-26 2019-06-21 中国海洋大学 基于多光谱光度立体与激光扫描的三维成像装置及方法
CN109919911A (zh) * 2019-01-26 2019-06-21 中国海洋大学 基于多视角光度立体的移动三维重建方法
GB202020689D0 (en) * 2019-12-25 2021-02-10 Univ Hohai 3-D imaging apparatus and method for dynamically and finely detecting small underwater objects

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Refractive laser triangulation and photometric stereo in underwater environment;范浩;《Optional Engineering》;20171110;全文 *
光度立体与结构光融合的水下三维重建;吴泽举;《中国优秀硕士学位论文全文数据库信息科技辑》;20190430;全文 *
基于激光三角法和光度立体的三维表面重构;方艳霞;《中国优秀硕士学位论文全文数据库信息科技辑》;20110630;全文 *
水下结构光三维测量***建模与标定;赫连雪艳;《中国优秀硕士学位论文全文数据库信息科技辑》;20201214;全文 *

Also Published As

Publication number Publication date
CN112991532A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN110763152B (zh) 一种水下主动旋转结构光三维视觉测量装置及测量方法
CN105654549B (zh) 基于结构光技术和光度立体技术的水下三维重建装置及方法
CN112991532B (zh) 基于光度立体法和激光三角法的水下高精度三维重建方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
CN102509261B (zh) 一种鱼眼镜头的畸变校正方法
CN109166154B (zh) 用于光场三维粒子图像重构的光场相机校准方法
CN111351446B (zh) 一种用于三维形貌测量的光场相机校准方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及***
US6628298B1 (en) Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
US20040070565A1 (en) Method and apparatus for displaying images
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN106949836B (zh) 一种立体视觉摄像头同侧目标位置标定装置及方法
CN109903227A (zh) 基于相机几何位置关系的全景影像拼接方法
CN109741400B (zh) 一种工业双目摄像头与红外热成像仪联合标定的装置和方法
CN108627121B (zh) 一种镜面面形检测装置及其检测方法
CN108447096B (zh) kinect深度相机与热红外相机的信息融合方法
CN108550171B (zh) 基于交比不变性的含有八卦编码信息的线阵相机标定方法
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN207115502U (zh) 一种鱼眼全景镜头的标定装置
CN114693583A (zh) 基于光场相机的缺陷分层检测方法和***及检测产线
CN114136544B (zh) 基于高速视频测量的水下振动模拟测试***及测试方法
CN113963065A (zh) 一种基于外参已知的镜头内参标定方法及装置、电子设备
CN109541714B (zh) 一种分布动态场景下的光学目标模拟方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant