CN111815709A - 一种基于普通数码相机的单位姿多像面三维重建方法 - Google Patents
一种基于普通数码相机的单位姿多像面三维重建方法 Download PDFInfo
- Publication number
- CN111815709A CN111815709A CN201910285788.8A CN201910285788A CN111815709A CN 111815709 A CN111815709 A CN 111815709A CN 201910285788 A CN201910285788 A CN 201910285788A CN 111815709 A CN111815709 A CN 111815709A
- Authority
- CN
- China
- Prior art keywords
- camera
- map
- image
- dimensional reconstruction
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明是一种基于普通数码相机的单位姿多像面的三维重建方法。首先对数码相机进行标定,获得深度及相机成像平面之间的距离映射关系。然后对目标场景进行单位姿多像面拍摄得到的图片集,使用清晰度评价函数获取最佳在焦区域并融合成标记图,并用形态学开闭操作进行降噪处理。最后利用标记图、映射关系、原始图片集得到深度图、去深度图,并进行三维重建。由此实现基于普通数码相机的单位姿多像面三维重建方法。
Description
技术领域
本发明涉及一种基于普通数码相机的三维重建方法,特别是使用了单个位姿多成像面交叠的方式提取深度区域,以进行三维重建,应用于计算机视觉领域。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是计算机环境下对其进行处理、操作和分析其性质的基础。常用的三维重建方法大都包含图像获取、摄像机标定、特征提取等步骤。近年来三维计算机视觉的应用从传统工业领域逐渐走向生活、娱乐、服务等,比如AR/VR,SLAM,自动驾驶等都离不开三维视觉的技术。
目前三维重建根据相机的不同,有单目重建、双目重建、RGBD相机重建三种。对于单目重建,主要有离线重建和在线重建两大类,对于离线重建,最经典的是SFM重建,SFM算法是一种基于各种收集到的无序图片进行三维重建的离线算法;对于在线重建主要有渐进式重建和直接式重建,渐进式重建利用下一时刻的图像不断融合之前的三维信息,主要的算法有REMODE算法。对于双目重建,主要利用左右相机得到的两幅校正图像,运用找到左右图片的匹配点,然后根据三角测量原理恢复出环境的三维信息,目前比较流行的算法有:SGBM算法、BM算法。对于RGBD重建,根据地图形式的不同,存在两大种不同的建图方式,第一种方式,先估算相机的位姿,将RGBD数据转换为点云,然后进行拼接,最后得到一个由离散点形成的点云地图。另一种方式,如果希望知道地图上的障碍物并在地图上导航,也可通过体素建立占据网格地图。基于RGBD相机的三维重建,有很多成熟的算法,主要有KinectFusion、Dynamic Fusion、Elastic Fusion、Fusion 4D、Volumn Deform等。
发明内容
本发明使用普通数码相机作为数据采集设备,其特点是应用广泛、生活中常见。本发明所解决的问题是三维重建从理论应用到日常数码相机甚至是手机相机的使用上,并解决三维重建所需数据来源的相机条件及数据采集方式的复杂性。进而提供一种人人可用的简易重建方式,也可用于三维建模、深度探测等领域。
本发明的解决方案是:1)提出普通数码相机一次性标定方式。2)提出一整套单位姿、多像面三维重建***流程。
本发明为实现上诉解决方案,及其方法步骤如下所示:
1.对相机进行标定:通过对标定场景进行多像面拍摄,并结合双目视觉进行标定;
2.数据采集:对目标场景进行多像面拍摄获的不同对焦平面图像集;
3.确定对焦平面:通过清晰度评价函数获的每一像面图片的最佳对焦区域;
4.标记图生成及优化:融合对焦区域获得标记图,使用形态学处理进行优化;
5.生成重建图:根据标记图生成去深度图,并进行三维重建。
附图说明
说明书附图图1是本发明的***架构图。
说明书附图图2是相机成像模型。空间物体点Object反射的光经过透镜,投射到点V0处所在的成像面上,当相机位置不变时,移动成像平面到V,点Object变成以IV为圆心的光斑圆。
说明书附图图3是双目视觉中的两个相机。为了便于计算,我们如图建立世界坐标,其中x表示水平方向,y表示竖直方向,z表示深度方向。V为Object对焦清晰时像距,左右两个图片分别为左右相机光传感器。Object在左右两个相机照片上分别坐标为(XL,Y)和(XR,Y)。
具体实施方案
下面结合附图对方法的实施作进一步的详细描述:
1.参照说明书附图图1,首先通过相机标定获得深度及相机成像平面之间的距离映射关系。固定相机位姿,连续变化成像元件位置,通过对目标场景进行拍摄,获得一系列不同对焦平面的图片。通过点扩展函数提取每个图层中最佳对焦平面位置,融合成为标记图。根据标记图和相机标定得到的映射关系,可以得到深度图;根据标记图和图像集得到去深度图。建立两者之间的联系,进行三维重建。
2.在进行正式实验前,我们需要对相机进行标定,以得到相机对物理空间及像空间的映射关系。首先需要固定好相机及两个待测量的、不同深度的目标物体Object1和Object2位置。使用相机分别对两个目标在不同聚焦平面拍摄,得到的一系列图片,选取图片上目标所在区域,使用清晰度评价函数,计算出最佳聚焦平面位置,即对焦环旋转角度。由此我们可以得到两个目标物体的像平面位置,在最佳对焦深度用双目方法进行测距,从而可以得到真实空间位置与当下相机状态的映射关系;
参照说明书附图图2,当空间物体点Object反射的光线通过光圈半径为ro的圆形光圈进入透镜,光束在像空间汇聚到点I0上,其所在的像平面位置为V0。现在在像空间内取任一深度V处,图像传感器处于此处时,空间内的物体点Object在该处的传感器上呈现一个半径大小为rv的正圆,其圆心为过点O和I0所在直线与V处像平面交于点IV。我们可以证明,说明书附图图2中,OO1与OO2相等,且等于光圈半径大小,由相似关系可知IVIV1和IVIV2相等,我们可以推论出O为圆心的透镜平面相似于IV为圆心的光斑圆,因此光斑为一个正圆;
建立均值模糊核模型作为失焦模糊模型:
其中IV(x,y)为成像平面在V处的图片,为成像平面在V0处的object所在深度z-object呈现的清晰图像,★为卷积,Rv(x,y)为一个光斑同样大小的圆形均值滤波器。用表示评价函数清晰度的函数,将它表示为一个关于v的方程,用来表示图片的清晰程度:
根据清晰度评价函数我们从得到的这些图片中计算出目标物体在每张图片中的清晰度,通过作图可得到其对应的最佳相机对焦环位置。像平面与对焦环位置关系为:
参考说明书附图图3,根据双目视觉原理,我们得到空间中任意点坐标:
由此可以得到在同一坐标系下目标Obj1和Obj2的空间坐标(X1,Y1,Z1)和(X2,Y2,Z2),及两者对应的焦距v0和vt,结合两者对应的对焦环位置s0和st,进而可完善得到映射方程ui。
3.固定相机位置后,旋转相机对焦环并对目标场景进行连续拍摄,对同一目标物体可以得到一组对Pi,si,Pi表示第i张图片,si表示对应的对焦环位置(或对焦环相对于初始位置的旋转角度)。由此我们可以得到一系列同一位姿、同一相机参数。建立标记图如下,其中为第i张图在点(x,y)处的清晰程度:
然后使用形态学开闭操作进行降噪处理。
4.根据标记图和映射关系可以得到深度图D(x,y):
并且结合标记图和输入的连续图集可以得到去深度图F(x,y)。
5.根据已经得到的深度图D(x,y)、去深度图F(x,y),获取到三维空间中所需要的三维坐标及对应颜色值,进行三维重建,得到最终所需要的重建结果。这种重建方式只需在相机出厂时完成标定工作,而在后续拍摄过程中不需要再次标定,在计算机视觉领域可用于定点拍摄进行三维重建,及通过相机、手机进行环境深度探测等。
Claims (1)
1.提出一种基于普通数码相机的单位姿多像面三维重建方法,建立一种针对普通数码相机的三维重建方法,具体步骤如下:
(1)对数码相机标定,并计算映射关系:固定好相机及两个待测量的、不同深度的目标物体,使用相机分别对两个目标在不同聚焦平面拍摄,得到的一系列图片,选取图片上目标所在区域,使用清晰度评价函数,计算出最佳聚焦平面位置;由此我们可以得到两个目标物体的像平面位置,在最佳对焦深度用双目方法进行测距,从而可以得到真实空间位置与当下相机状态的映射关系ui:
两目标物体对应的焦距v0和vt,对焦环位置s0和st;
焦距的确定通过清晰度评价函数获得:
结合双目视觉进行标定,可以得到对应目标物体的真实深度及空间坐标:
其中目标物体在左右两个相机照片上分别坐标为(XL,Y)和(XR,Y),通过以上方法完成相机标定;
然后使用形态学开闭操作进行降噪处理;
(3)根据标记图和映射关系可以得到深度图D(x,y):
并且结合标记图和输入的连续图集可以得到去深度图F(x,y):
(4)根据已经得到的深度图D(x,y)、去深度图F(x,y),获取到三维空间中所需要的三维坐标及对应颜色值,进行三维重建,得到最终所需要的重建结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910285788.8A CN111815709B (zh) | 2019-04-10 | 2019-04-10 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910285788.8A CN111815709B (zh) | 2019-04-10 | 2019-04-10 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111815709A true CN111815709A (zh) | 2020-10-23 |
CN111815709B CN111815709B (zh) | 2023-04-21 |
Family
ID=72843794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910285788.8A Active CN111815709B (zh) | 2019-04-10 | 2019-04-10 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111815709B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819928A (zh) * | 2021-01-27 | 2021-05-18 | 成都数字天空科技有限公司 | 一种模型重建方法、装置、电子设备及存储介质 |
CN117706942A (zh) * | 2024-02-05 | 2024-03-15 | 四川大学 | 一种环境感知与自适应驾驶辅助电子控制方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011099896A1 (ru) * | 2010-02-12 | 2011-08-18 | Viakhirev Georgiy Ruslanovich | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) |
WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
WO2018209969A1 (zh) * | 2017-05-19 | 2018-11-22 | 成都通甲优博科技有限责任公司 | 深度图创建方法与***及图像虚化方法与*** |
CN109345568A (zh) * | 2018-09-19 | 2019-02-15 | 深圳市赢世体育科技有限公司 | 基于计算机视觉算法的运动场智能化实现方法及*** |
-
2019
- 2019-04-10 CN CN201910285788.8A patent/CN111815709B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011099896A1 (ru) * | 2010-02-12 | 2011-08-18 | Viakhirev Georgiy Ruslanovich | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) |
WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
WO2018209969A1 (zh) * | 2017-05-19 | 2018-11-22 | 成都通甲优博科技有限责任公司 | 深度图创建方法与***及图像虚化方法与*** |
CN109345568A (zh) * | 2018-09-19 | 2019-02-15 | 深圳市赢世体育科技有限公司 | 基于计算机视觉算法的运动场智能化实现方法及*** |
Non-Patent Citations (3)
Title |
---|
周鹏;车进;张英;: "基于CVUT的双目视觉图像三维信息构建" * |
黄德天;吴志勇;刘雪超;张红胜;: "一种适用于任意目标的离焦深度快速自动聚焦技术" * |
黄真理;周维虎;曲兆松;: "三维激光诱导荧光(3DLIF)技术及测量水体标量场设备研究" * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819928A (zh) * | 2021-01-27 | 2021-05-18 | 成都数字天空科技有限公司 | 一种模型重建方法、装置、电子设备及存储介质 |
CN112819928B (zh) * | 2021-01-27 | 2022-10-28 | 成都数字天空科技有限公司 | 一种模型重建方法、装置、电子设备及存储介质 |
CN117706942A (zh) * | 2024-02-05 | 2024-03-15 | 四川大学 | 一种环境感知与自适应驾驶辅助电子控制方法及*** |
CN117706942B (zh) * | 2024-02-05 | 2024-04-26 | 四川大学 | 一种环境感知与自适应驾驶辅助电子控制方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111815709B (zh) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Subbarao et al. | Accurate recovery of three-dimensional shape from image focus | |
CN112634341B (zh) | 多视觉任务协同的深度估计模型的构建方法 | |
US11210804B2 (en) | Methods, devices and computer program products for global bundle adjustment of 3D images | |
Veľas et al. | Calibration of rgb camera with velodyne lidar | |
CN104424640B (zh) | 对图像进行虚化处理的方法和装置 | |
Muñoz-Bañón et al. | Targetless camera-LiDAR calibration in unstructured environments | |
CN111127540B (zh) | 一种三维虚拟空间自动测距方法及*** | |
Zeller et al. | From the calibration of a light-field camera to direct plenoptic odometry | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
KR20200049207A (ko) | 왜곡계수 추정을 통한 영상 보정 시스템 및 방법 | |
CN116222543B (zh) | 用于机器人环境感知的多传感器融合地图构建方法及*** | |
CN108694713B (zh) | 一种基于立体视觉的星箭对接环局部环段识别与测量方法 | |
CN111815709B (zh) | 一种基于普通数码相机的单位姿多像面三维重建方法 | |
CN110675436A (zh) | 基于3d特征点的激光雷达与立体视觉配准方法 | |
CN108924408A (zh) | 一种深度成像方法及*** | |
CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建***和方法 | |
CN116309813A (zh) | 一种固态激光雷达-相机紧耦合位姿估计方法 | |
CN105335959B (zh) | 成像装置快速对焦方法及其设备 | |
CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及*** | |
CN105574875B (zh) | 一种基于极曲线几何的鱼眼图像稠密立体匹配方法 | |
CN114494582A (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
CN114485648B (zh) | 一种基于仿生复眼惯性***的导航定位方法 | |
Córdova-Esparza et al. | Multiple kinect v2 calibration | |
CN114663599A (zh) | 一种基于多视图的人体表面重建方法及*** | |
Alouache et al. | An adapted block-matching method for optical flow estimation in catadioptric images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |