CN109214982B - 一种基于双圆柱投影模型的三维点云成像方法 - Google Patents
一种基于双圆柱投影模型的三维点云成像方法 Download PDFInfo
- Publication number
- CN109214982B CN109214982B CN201811054928.2A CN201811054928A CN109214982B CN 109214982 B CN109214982 B CN 109214982B CN 201811054928 A CN201811054928 A CN 201811054928A CN 109214982 B CN109214982 B CN 109214982B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- pixel
- dimensional
- dimensional point
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 150000001875 compounds Chemical class 0.000 claims description 2
- 238000010008 shearing Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000003709 image segmentation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于双圆柱投影模型的三维点云成像方法,属于三维点云成像技术领域。该方法利用双圆柱投影模型,将整幅三维点云场景置于两个圆柱模型之间的区域中,然后将全局坐标系中的三维点云数据转换到选取视点位置所在的柱坐标系中,进一步将该坐标系下的三维点云投射到两个圆柱面上的像素栅格中,最后展开圆柱侧面并计算每个像素栅格的像素值,得到整幅三维点云场景的按给定像素尺寸要求的二维灰度图像。相比于传统点云成像方法,该成像方法生成的图像无畸变、纹理清晰,有利于进行图像的分割处理,可用于场景理解等人工智能领域。
Description
技术领域
本发明属于三维点云成像技术领域,涉及到一种将全景三维点云转化为二维图像的方法。
背景技术
以激光雷达为代表的主动感光传感器,相较于被动感光的视觉传感器而言,不易受光照条件的影响,对于环境的适应性更强,同时也提供了精准的三维空间信息。但是直接处理三维点云数据较为困难,且计算量大,所以将三维点云转换为二维图像,利用图像领域的成熟算法进行后续处理具有较大的优势。将三维点云转换为二维图像的方法主要有:基于几何模型投影变换的三维点云成像方法和基于方位角图的三维点云成像方法。
在文献(Feng kui Cao,Fei Yan,Yu feng Gu,Chao Ding,Yan Zhuang and WeiWang.ANovel Image Model of Point Clouds and Its Application in PlaceRecognition[C].The 8th Annual IEEE International Conference on CYBERTechnology in Automation,Control,and Intelligent Systems.July,2018.)中提出了一种将三维点云投射到球模型上,然后展开球面得到二维图像表示的方法;该方法能够有效表述整幅三维点云场景,但是通过球面展开得到的二维图像存在畸变的现象,不利于后续处理。在中国发明专利说明书CN105809615A中公开了一种利用圆柱和球模型,将三维点云转化为二维图像表示的方法;该方法能够实现三维点云的降维表示,但是在将点云投射到对应像素栅格时,仅仅保留了离视点最近的点,导致部分信息丢失;且该方法使用距离值作为像素值,在图像纹理细节方面较弱。
在文献(Scaramuzza D,Harati A,Siegwart R.Extrinsic self calibration ofa camera and a 3d laser range finder from natural scenes[C].IntelligentRobots and Systems,2007.IROS 2007.IEEE/RSJ International Conference on.IEEE,2007:4164-4169)中提出了方位角图,该图模型利用相邻点间的位置关系生成像素值,能够较好刻画纹理细节信息,但是该方法仅适用于有序排列的三维点云,通用性方面有待提高。
发明内容
针对现有三维点云成像方法的局限性,本发明提出了一种基于双圆柱投影模型的三维点云成像方法。该方法利用激光雷达传感器获取场景的三维点云数据,选取合适的视点作为双圆柱投影模型的成像焦点,读取三维点云数据并记录特定的点,利用特定点计算两个圆柱投影模型的尺寸,使得该模型能够将整幅三维点云场景包含在两个圆柱模型之间的区域中;接下来将三维点云坐标由全局坐标系转换到视点所在位置的柱坐标系中;然后将所有的点云数据投射到圆柱模型上,并计算点所在的像素栅格下标,对于每个像素栅格,仅保留离当前投影侧面最近的点;最后将圆柱模型的侧面展开并计算每个像素栅格的像素值,生成两幅无畸变的按给定像素尺寸要求的二维灰度图像。
本发明的技术方案:
一种基于双圆柱投影模型的三维点云成像方法,具体步骤如下:
(1)获取三维点云场景数据;
(2)选取合适的视点作为双圆柱投影模型的成像焦点;
(3)建立双圆柱投影模型;
(3.1)读取整幅三维点云数据,记录离视点所在坐标系X′Y′Z′O′中Z′O′轴最近的点pnear(x′near,y′near,z′near)、最远的点pfar(x′far,y′far,z′far),相对于X′Y′O′平面仰角最大的点pup(x′up,y′up,z′up)、俯角最大的点pdown(x′down,y′down,z′down)。
(3.2)根据步骤(3.1)读取的四个点确定双圆柱投影模型的尺寸,具体计算方式为:
圆柱投影模型C1的半径RC1:
圆柱投影模型C1的上顶面圆心pc11(x′c11,y′c11,z′c11):
圆柱投影模型C1的下顶面圆心pc12(x′c12,y′c12,z′c12):
圆柱投影模型C2的半径RC2:
圆柱投影模型C2的上顶面圆心pc21(x′c21,y′c21,z′c21):
圆柱投影模型C2的下顶面圆心pc22(x′c22,y′c22,z′c22):
(3.3)依据步骤(3.2)的尺寸,建立圆柱投影模型C1和C2,将整幅三维点云场景包含在两个圆柱模型之间;
(4)将三维点云的坐标由全局坐标系转换到视点所在位置的柱坐标系中;
(4.1)在全局坐标系XYZO中选取坐标点p(xp,yp,zp),视点在全局坐标系中的位置为O′(xo′,yo′,zo′),将点p(xp,yp,zp)转换到视点所在位置的坐标系X′Y′Z′O′中,得到坐标p(x′p,y′p,z′p):
(5)将所有点云数据投射到双圆柱投影模型上对应的像素栅格中;
(6)生成两幅无畸变的按给定像素尺寸要求的二维灰度图像;
(6.1)将双圆柱投影模型的侧面沿着竖直方向剪切展开,得到三维点云的二维栅格表示,圆柱投影模型C1和C2的侧面展开栅格中均保存距离投影面最近的点。
(6.2)采用方位角图的方法计算每个像素栅格的像素值
利用右上角像素栅格(i-1,j+1)中存储的点和当前视点形成的夹角∠O′pi, jpi-1,j+1来计算像素栅格(i,j)的灰度值;当没有右上角像素栅格,或者当有右上角像素栅格,但为空栅格的退化情况时,将∠O′pi,jpi-1,j+1的值取为零,采用公式(12)计算得到每个像素栅格的像素值pv:
(6.3)根据像素值pv生成两幅无畸变的按给定像素尺寸要求的二维灰度图像。
本发明的有益效果:本发明采用双圆柱投影模型,将整幅点云场景置于两个圆柱模型之间的区域,然后将点分别向两个圆柱模型侧面中的像素栅格进行投射,然后展开侧面得到三维点云的二维栅格表示,接下来利用方位角图的像素值计算方法为每个像素栅格计算一个大小在[0,255]之间的像素值,生成的两幅二维灰度图像能够较为全面真实的反映三维点云所包含的信息。
附图说明
图1为双圆柱投影模型生成示意图。
图2为全局坐标系到视点坐标系转换示意图。
图3为点云到双圆柱投影模型投影示意图。
图4为三维点云的二维栅格表示示意图。
图5为方位角图像素值计算方法示意图。
图6为一幅典型三维点云数据示意图。
图7为里侧圆柱模型生成的二维灰度图像。
图8为外侧圆柱模型生成的二维灰度图像。
具体实施方式
下面将结合具体实施例和附图对本发明的技术方案进行进一步的说明。
一种基于双圆柱投影模型的三维点云成像方法,步骤如下:
(1)获取三维点云场景数据
本实施例使用的三维点云数据由激光雷达传感器采集获得,图6给出了一幅典型的数据,该数据由激光雷达定点采集得到。
(2)选取合适的视点作为双圆柱投影模型的成像焦点;
对于视点的选取,原则上是可以随意选取的,但是,为了能够获得更好的成像效果,将更多的点投射到二维图像中,通常会采用一定的选取策略。本实施例将激光雷达采集数据时的位置,也就是全局坐标系原点选做视点O′。
(3)建立双圆柱投影模型
(3.1)在读取完整幅三维点云数据后,记录下当前视点所在坐标系X′Y′Z′O′中离Z′O′轴最近的点pnear(0.469,0.462,-0.329)、最远的点pfar(106.242,148.648,15.233),相对于X′Y′O′平面仰角最大的点pup(-4.464,1.079,4.478)、俯角最大的点pdown(-1.867,-0.493,-1.945)。
(3.2)将四个点带入公式(1)至(6),得到圆柱模型C1和C2的尺寸大小为:圆柱模型C1的半径RC1=182.712、上顶面圆心pc11(0,0,178.154)、下顶面圆心pc12(0,0,-184.037),同理,圆柱模型C2的半径RC2=0.658、上顶面圆心pc21(0,0,0.642)、下顶面圆心pc22(0,0,-0.663)。
(3.3)如图1所示,双圆柱投影模型中包含两个圆柱模型C1和C2,这两个圆柱模型将整幅三维点云场景包含在两者之间,所以需要根据整幅三维点云场景的大小来计算圆柱模型的尺寸。
(4)将三维点云的坐标由全局坐标系转换到视点所在位置的柱坐标系中:如图2所示,在步骤(2)中选取的视点为O′(0,0,0),所以此时视点坐标系X′Y′Z′O′和全局坐标系XYZO重合,再将所有的三维点云坐标按公式(8)转换为视点所在柱坐标系RΦH下的坐标。
(5)将所有点云数据投射到双圆柱投影模型上对应的像素栅格中;
如图3所示,将视点位置柱坐标系RΦH下的三维点云,按照公式(9)至(11)投影到步骤(3)中生成的两个圆柱模型C1和C2的侧面上,这里我们给定需要生成的二维灰度图像的像素尺寸为(1440×360),然后将每个像素栅格中离所投圆柱面最近的一个点之外的其它点丢弃,仅仅保留一个点用作像素值计算。
(6)生成两幅无畸变的按给定像素尺寸要求的二维灰度图像:如图4所示,将两个圆柱侧面沿着过X轴与圆柱面交点且与竖直方向平行的直线剪切展开,得到三维点云的二维栅格表示,需要说明的是圆柱模型C1和C2的侧面展开栅格中均保存距离投影面最近的点。对于每个像素值的计算,我们采用方位角图的计算方法,如图5所示,对于像素栅格(i,j)的灰度值的计算需借助右上角像素栅格(i-1,j+1)中存储的点和当前视点形成的夹角∠O′pi,jpi-1,j+1来进行计算,对于没有右上角像素栅格,或者即使有但为空栅格的退化情况,这里将∠O′pi,jpi-1,j+1值取为零,然后按公式(12)计算像素值,最后生成对应的二维灰度图像。
Claims (1)
1.一种基于双圆柱投影模型的三维点云成像方法,其特征在于,具体步骤如下:
(1)获取三维点云场景数据;
(2)选取合适的视点作为双圆柱投影模型的成像焦点;
(3)建立双圆柱投影模型;
(3.1)读取整幅三维点云数据,记录离视点所在坐标系X′Y′Z′O′中Z′O′轴最近的点pnear(x′near,y′near,z′near)、最远的点pfar(x′far,y′far,z′far),相对于X′Y′O′平面仰角最大的点pup(x′up,y′up,z′up)、俯角最大的点pdown(x′down,y′down,z′down);
(3.2)根据步骤(3.1)读取的四个点确定双圆柱投影模型的尺寸,具体计算方式为:
圆柱投影模型C1的半径RC1:
圆柱投影模型C1的上顶面圆心pc11(x′c11,y′c11,z′c11):
圆柱投影模型C1的下顶面圆心pc12(x′c12,y′c12,z′c12):
圆柱投影模型C2的半径RC2:
圆柱投影模型C2的上顶面圆心pc21(x′c21,y′c21,z′c21):
圆柱投影模型C2的下顶面圆心pc22(x′c22,y′c22,z′c22):
(3.3)依据步骤(3.2)的尺寸,建立圆柱投影模型C1和C2,将整幅三维点云场景包含在两个圆柱模型之间;
(4)将三维点云的坐标由全局坐标系转换到视点所在位置的柱坐标系中;
(4.1)在全局坐标系XYZO中选取坐标点p(xp,yp,zp),视点在全局坐标系中的位置为O′(xo′,yo′,zo′),将点p(xp,yp,zp)转换到视点所在位置的坐标系X′Y′Z′O′中,得到坐标p(x′p,y′p,z′p):
(5)将所有点云数据投射到双圆柱投影模型上对应的像素栅格中;
(6)生成两幅无畸变的按给定像素尺寸要求的二维灰度图像;
(6.1)将双圆柱投影模型的侧面沿着竖直方向剪切展开,得到三维点云的二维栅格表示,圆柱投影模型C1和C2的侧面展开栅格中均保存距离投影面最近的点;
(6.2)采用方位角图的方法计算每个像素栅格的像素值
利用右上角像素栅格(i-1,j+1)中存储的点和当前视点形成的夹角∠O′pi,jpi-1,j+1来计算像素栅格(i,j)的灰度值;当没有右上角像素栅格,或者当有右上角像素栅格,但为空栅格的退化情况时,将∠O′pi,jpi-1,j+1的值取为零,采用公式(12)计算得到每个像素栅格的像素值pv:
(6.3)根据像素值pv生成两幅无畸变的按给定像素尺寸要求的二维灰度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811054928.2A CN109214982B (zh) | 2018-09-11 | 2018-09-11 | 一种基于双圆柱投影模型的三维点云成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811054928.2A CN109214982B (zh) | 2018-09-11 | 2018-09-11 | 一种基于双圆柱投影模型的三维点云成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109214982A CN109214982A (zh) | 2019-01-15 |
CN109214982B true CN109214982B (zh) | 2022-09-20 |
Family
ID=64987498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811054928.2A Active CN109214982B (zh) | 2018-09-11 | 2018-09-11 | 一种基于双圆柱投影模型的三维点云成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109214982B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509143A (zh) * | 2018-10-31 | 2019-03-22 | 太原理工大学 | 一种三维点云转换二维图像的方法 |
CN111754385B (zh) * | 2019-03-26 | 2024-06-11 | 深圳中科飞测科技股份有限公司 | 数据点模型处理方法及***、检测方法及***、可读介质 |
CN111899152A (zh) * | 2019-05-06 | 2020-11-06 | 上海交通大学 | 基于投影及视频拼接的点云数据压缩方法及*** |
CN110222626B (zh) * | 2019-06-03 | 2021-05-28 | 宁波智能装备研究院有限公司 | 一种基于深度学习算法的无人驾驶场景点云目标标注方法 |
CN113269891B (zh) * | 2020-02-14 | 2022-06-24 | 魔门塔(苏州)科技有限公司 | 一种点云数据的三维边界框确定方法及装置 |
CN112348781A (zh) * | 2020-10-26 | 2021-02-09 | 广东博智林机器人有限公司 | 一种基准面高度检测方法、装置、设备及存储介质 |
CN113160398B (zh) * | 2020-12-25 | 2023-03-28 | 中国人民解放军国防科技大学 | 一种快速三维栅格构建***、方法、介质、设备、无人车 |
CN114913252A (zh) * | 2021-02-08 | 2022-08-16 | 荣耀终端有限公司 | 点云数据的预处理方法及点云几何编解码方法、装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101726855A (zh) * | 2009-11-13 | 2010-06-09 | 河北工业大学 | 基于立方体投影对鱼眼图像畸变校正方法 |
JP2010287156A (ja) * | 2009-06-15 | 2010-12-24 | Mitsubishi Electric Corp | モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム |
CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
CN103295239A (zh) * | 2013-06-07 | 2013-09-11 | 北京建筑工程学院 | 一种基于平面基准影像的激光点云数据的自动配准方法 |
CN105678683A (zh) * | 2016-01-29 | 2016-06-15 | 杭州电子科技大学 | 一种三维模型的二维存储方法 |
CN105809615A (zh) * | 2016-03-10 | 2016-07-27 | 广州欧科信息技术股份有限公司 | 点云数据影像化方法 |
WO2018039871A1 (zh) * | 2016-08-29 | 2018-03-08 | 北京清影机器视觉技术有限公司 | 三维视觉测量数据的处理方法和装置 |
WO2018154130A1 (en) * | 2017-02-27 | 2018-08-30 | Koninklijke Kpn N.V. | Processing spherical video data |
-
2018
- 2018-09-11 CN CN201811054928.2A patent/CN109214982B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287156A (ja) * | 2009-06-15 | 2010-12-24 | Mitsubishi Electric Corp | モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム |
CN101726855A (zh) * | 2009-11-13 | 2010-06-09 | 河北工业大学 | 基于立方体投影对鱼眼图像畸变校正方法 |
CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
CN103295239A (zh) * | 2013-06-07 | 2013-09-11 | 北京建筑工程学院 | 一种基于平面基准影像的激光点云数据的自动配准方法 |
CN105678683A (zh) * | 2016-01-29 | 2016-06-15 | 杭州电子科技大学 | 一种三维模型的二维存储方法 |
CN105809615A (zh) * | 2016-03-10 | 2016-07-27 | 广州欧科信息技术股份有限公司 | 点云数据影像化方法 |
WO2018039871A1 (zh) * | 2016-08-29 | 2018-03-08 | 北京清影机器视觉技术有限公司 | 三维视觉测量数据的处理方法和装置 |
WO2018154130A1 (en) * | 2017-02-27 | 2018-08-30 | Koninklijke Kpn N.V. | Processing spherical video data |
Non-Patent Citations (3)
Title |
---|
Extrinsic Self Calibration of a Camera and a 3D Laser Range Finder from Natural Scenes;Davide Scaramuzza等;《IEEE》;20071231;参见第4164-4169页 * |
基于三维激光扫描点云的矿山巷道三维建模方法研究;江记洲等;《煤矿开采》;20160415(第02期);参见第109-113页 * |
基于全景影像序列的球面立体视觉多视图几何模型研究;王力;《中国博士学位论文全文数据库》;20180515;参见第113-166页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109214982A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109214982B (zh) | 一种基于双圆柱投影模型的三维点云成像方法 | |
CN107945220B (zh) | 一种基于双目视觉的重建方法 | |
CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
US10796151B2 (en) | Mapping a space using a multi-directional camera | |
CN112396664B (zh) | 一种单目摄像机与三维激光雷达联合标定及在线优化方法 | |
CN106599108B (zh) | 一种三维环境中多模态环境地图构建方法 | |
CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、***及应用 | |
CN107843251B (zh) | 移动机器人的位姿估计方法 | |
KR102206108B1 (ko) | 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법 | |
CN106548486A (zh) | 一种基于稀疏视觉特征地图的无人车位置跟踪方法 | |
CN112837383B (zh) | 相机与激光雷达重标定方法、装置及计算机可读存储介质 | |
CN111273312B (zh) | 一种智能车辆定位与回环检测方法 | |
CN112669354B (zh) | 一种基于车辆非完整约束的多相机运动状态估计方法 | |
CN111768449B (zh) | 一种双目视觉结合深度学习的物体抓取方法 | |
WO2021195939A1 (zh) | 一种双目拍摄装置的外参的标定方法、可移动平台及*** | |
CN110349249B (zh) | 基于rgb-d数据的实时稠密重建方法及*** | |
JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
CN112229380A (zh) | 一种基于多旋翼无人机协同的无源目标实时定位方法 | |
CN107123135B (zh) | 一种无序三维点云的无畸变成像方法 | |
CN116704112A (zh) | 一种用于对象重建的3d扫描*** | |
CN111292367B (zh) | 一种基线可变的双目相机深度图生成方法 | |
Deng et al. | Underwater circular object positioning system based on monocular vision | |
CN117826129B (zh) | 一种单目相机和激光雷达在轨外参标定方法 | |
CN114757964B (zh) | 双视觉飞行机械臂***及动态目标位姿估计与主动重建方法 | |
CN117872398B (zh) | 一种大规模场景实时三维激光雷达密集建图方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |