CN111862185A - 一种从图像中提取平面的方法 - Google Patents
一种从图像中提取平面的方法 Download PDFInfo
- Publication number
- CN111862185A CN111862185A CN202010725544.XA CN202010725544A CN111862185A CN 111862185 A CN111862185 A CN 111862185A CN 202010725544 A CN202010725544 A CN 202010725544A CN 111862185 A CN111862185 A CN 111862185A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- plane
- image
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种从图像中提取平面的方法，涉及图像处理技术领域，包括以下步骤：获取深度图像并进行像素窗口遍历；遍历中将二维图像坐标转为三维世界坐标，获取三维点集；三维点集中任意取若干点，求解三维平面方程；获取三维点集中所有点与求解的三维平面的距离，确定内点；筛选平面。本发明通过从深度图像和彩色图像中提取三维平面的方法，能够高效的利用深度图所提供的信息，快速准确的查找出图像中的三维平面，同时具有较强的抗噪声抗干扰能力，为三维测绘和增强现实等行业应用提供了良好的底层支持。
Description
技术领域
本发明涉及图像处理技术领域，具体来说，涉及一种从图像中提取平面的方法。
背景技术
图像是人类视觉的基础，是自然景物的客观反映，是人类认识世界和人类本身的重要源泉。图像是客观对象的一种相似性的、生动性的描述或写真，是人类社会活动中最常用的信息载体。或者说图像是客观对象的一种表示，它包含了被描述对象的有关信息。
目前，对于三维平面的提取方法，由于生成三维模型的计算复杂并且精度较低，查找平面的速度较慢，所以一直无法做到实时运算，对于这一问题一直没有稳定有效的解决方案。
中国专利申请CN 101639355公开了“一种三维平面提取方法”，该方案利用已知的三维模型和其中的线段特征，利用直线计算平面方程，使得找出的平面准确有效，但是该方案并没有克服复杂模型难获取的问题，同时基于直线的方案，运算量相对较大，无法做到实时运算。
中国专利申请CN 102945551B公开了“一种基于图论的三维点云数据平面提取方法”，该方案在已知三维点云的基础上，通过最近邻连接三角形的方法提取共面的三角形，使得查找的平面准确度极高，但是此方案的计算量异常庞大，几乎无法做到实时处理，并且三维点云的获取方式没有一个很好的途径。
中国专利申请CN 105260737A公开了“一种融合多尺度特征的激光扫描数据物理平面自动化提取方法”，该方案通过激光扫描的数据提取平面信息，由于激光扫描具有很高的精度和很高的检测频率，使得提取的平面准确度很高，但是此方案利用了昂贵的激光扫描设备，无法应用到消费级市场。
综上所述，如何克服现有技术在简单三维信息获取和运算性能上的不足已成为当今三维平面提取技术中亟待解决的重点难题。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种从图像中提取平面的方法，通过从深度图像和彩色图像中提取三维平面的方法，能够高效的利用深度图所提供的信息，快速准确的查找出图像中的三维平面，同时具有较强的抗噪声抗干扰能力，为三维测绘和增强现实等行业应用提供了良好的底层支持，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种从图像中提取平面的方法，包括以下步骤：
步骤S1，获取深度图像并进行像素窗口遍历；
步骤S2，遍历中将二维图像坐标转为三维世界坐标，获取三维点集；
步骤S3，三维点集中任意取若干点，求解三维平面方程；
步骤S4，获取三维点集中所有点与求解的三维平面的距离，确定内点；
步骤S5，筛选平面。
进一步的，所述像素窗口遍历包括：大小为64*64个像素的窗口对深度图进行遍历。
进一步的，所述二维图像坐标转为三维世界坐标，包括：
以x为成像平面上的二维坐标，X为x对应的三维世界坐标；C为相机的光心；F为相机的焦点，其表示为：
其中，X、Y和Z分别为当前点在三维世界坐标系中的坐标，x和y为当前点在二维图像坐标系中的坐标，z为当前点的深度值，cx和cy为光心C在二维图像坐标系中的坐标，fx和fy为相机焦点F在水平和垂直方向的长度。
进一步的，所述任意取若干点为任意取3点。
进一步的，所述求解三维平面方程，包括：
其三维平面方程，表示为：
Ax+By+Cz+D＝0
将取出3个点的坐标分别代入三维平面方程，把系数D固定为1，则生成一个三元一次方程组：
Ax0+By0+Cz0+1＝0
Ax1+By1+Cz1+1＝0
Ax2+By2+Cz2+1＝0
求解，获取过此3点的唯一三维平面方程。
进一步的，所述三维点集中所有点与求解的三维平面的距离，包括：
其点到面的距离，表示为：
获取窗口内其余点与计算出的平面的距离，其中，若距离小于阈值，即认为此点在平面上，表示为内点，否则为外点。
进一步的，包括以下步骤：
步骤S401，选取内点数量最多的平面为当前窗口的最佳三维平面。
本发明的有益效果：
本发明从图像中提取平面的方法，通过从深度图像和彩色图像中提取三维平面的方法，能够高效的利用深度图所提供的信息，快速准确的查找出图像中的三维平面，同时具有较强的抗噪声抗干扰能力，为三维测绘和增强现实等行业应用提供了良好的底层支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种从图像中提取平面的方法的流程示意图一；
图2是根据本发明实施例的一种从图像中提取平面的方法的流程示意图二；
图3是根据本发明实施例的一种从图像中提取平面的方法的坐标场景示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种从图像中提取平面的方法。
如图1-图3所示，根据本发明实施例的从图像中提取平面的方法，包括以下步骤：
步骤S1，获取深度图像并进行像素窗口遍历；
步骤S2，遍历中将二维图像坐标转为三维世界坐标，获取三维点集；
步骤S3，三维点集中任意取若干点，求解三维平面方程；
步骤S4，获取三维点集中所有点与求解的三维平面的距离，确定内点；
步骤S5，筛选平面。
另外，具体的，步骤S1，获取深度图像并进行像素窗口遍历；获取深度图的方式包括基于结构光的深度图，基于光的飞行时间的深度图以及基于多目视觉的深度图。获得的深度图为一个二维矩阵形式，矩阵中的每个位置的点为图像的像素点，像素点的数值表征的是场景中的物体距离深度图设备的物理距离。
另外，其中，所述像素窗口遍历包括：大小为64*64个像素的窗口对深度图进行遍历。
利用大小为64*64个像素的窗口对深度图进行遍历。具体现实如下：从深度图像的第一行的第一个像素开始，取64个像素，再跳转到第二行的第一个像素，开始取64个像素，以此类推，直到第64行为止；完成后，从第一行的第65个像素开始，取64个像素，依照上述规则，直到第64行为止；此后利用上述规则，遍历完整幅图像，此时把图像分成了大小为64*64个像素的若干个窗口。
具体的，如图3所示，其中，所述二维图像坐标转为三维世界坐标，包括：
二维图像坐标转三维世界坐标。根据小孔相机模，x为成像平面上的二维坐标，即图像中的坐标；X为x对应的三维世界坐标；C为相机的光心；F为相机的焦点，其表示为：
其中，X、Y和Z分别为当前点在三维世界坐标系中的坐标，x和y为当前点在二维图像坐标系中的坐标，z为当前点的深度值，cx和cy为光心C在二维图像坐标系中的坐标，fx和fy为相机焦点F在水平和垂直方向的长度。其中，所述任意取若干点为任意取3点。
其中，所述求解三维平面方程，包括：
其三维平面方程，表示为：
Ax+By+Cz+D＝0
将取出3个点的坐标分别代入三维平面方程，把系数D固定为1，则生成一个三元一次方程组：
Ax0+By0+Cz0+1＝0
Ax1+By1+Cz1+1＝0
Ax2+By2+Cz2+1＝0
求解，获取过此3点的唯一三维平面方程。
其中，所述三维点集中所有点与求解的三维平面的距离，包括：
其点到面的距离，表示为：
获取窗口内其余点与计算出的平面的距离，其中，若距离小于阈值，即认为此点在平面上，表示为内点，否则为外点。
其中，包括以下步骤：
步骤S401，选取内点数量最多的平面为当前窗口的最佳三维平面。
而对于上述步骤S5，筛选平面来书，由于窗口大小为64*64，图像中的墙面和地面等大一些的平面会同时存在于多个窗口之中，此时需要对比每个窗口算出的最佳三维平面，去除相同的平面和过小的平面(内点数过少)。
综上所述，借助于本发明的上述技术方案，从图像中提取平面的方法，通过从深度图像和彩色图像中提取三维平面的方法，能够高效的利用深度图所提供的信息，快速准确的查找出图像中的三维平面，同时具有较强的抗噪声抗干扰能力，为三维测绘和增强现实等行业应用提供了良好的底层支持。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种从图像中提取平面的方法，其特征在于，包括以下步骤：
获取深度图像并进行像素窗口遍历；
遍历中将二维图像坐标转为三维世界坐标，获取三维点集；
三维点集中任意取若干点，求解三维平面方程；
获取三维点集中所有点与求解的三维平面的距离，确定内点；
筛选平面。
2.根据权利要求1所述的从图像中提取平面的方法，其特征在于，所述像素窗口遍历包括：大小为64*64个像素的窗口对深度图进行遍历。
3.根据权利要求1所述的从图像中提取平面的方法，其特征在于，所述二维图像坐标转为三维世界坐标，包括：
以x为成像平面上的二维坐标，X为x对应的三维世界坐标；C为相机的光心；F为相机的焦点，其表示为：
其中，X、Y和Z分别为当前点在三维世界坐标系中的坐标，x和y为当前点在二维图像坐标系中的坐标，z为当前点的深度值，cx和cy为光心C在二维图像坐标系中的坐标，fx和fy为相机焦点F在水平和垂直方向的长度。
4.根据权利要求1所述的从图像中提取平面的方法，其特征在于，所述任意取若干点为任意取3点。
5.根据权利要求4所述的从图像中提取平面的方法，其特征在于，所述求解三维平面方程，包括：
其三维平面方程，表示为：
Ax+By+Cz+D＝0
将取出3个点的坐标分别代入三维平面方程，把系数D固定为1，则生成一个三元一次方程组：
Ax0+By0+Cz0+1＝0
Ax1+By1+Cz1+1＝0
Ax2+By2+Cz2+1＝0
求解，获取过此3点的唯一三维平面方程。
6.根据权利要求5所述的从图像中提取平面的方法，其特征在于，所述三维点集中所有点与求解的三维平面的距离，包括：
其点到面的距离，表示为：
获取窗口内其余点与计算出的平面的距离，其中，若距离小于阈值，即认为此点在平面上，表示为内点，否则为外点。
7.根据权利要求6所述的从图像中提取平面的方法，其特征在于，进一步包括以下步骤：
选取内点数量最多的平面为当前窗口的最佳三维平面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010725544.XA CN111862185A (zh) | 2020-07-24 | 2020-07-24 | 一种从图像中提取平面的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010725544.XA CN111862185A (zh) | 2020-07-24 | 2020-07-24 | 一种从图像中提取平面的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111862185A true CN111862185A (zh) | 2020-10-30 |
Family
ID=72949497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010725544.XA Pending CN111862185A (zh) | 2020-07-24 | 2020-07-24 | 一种从图像中提取平面的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862185A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106813568A (zh) * | 2015-11-27 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 物体测量方法及装置 |
| CN107464258A (zh) * | 2017-07-28 | 2017-12-12 | 南京华捷艾米软件科技有限公司 | 一种从图像中提取三维平面的方法 |
| US20180302603A1 (en) * | 2015-11-11 | 2018-10-18 | Sony Corporation | Image processing apparatus and image processing method |
| CN110675360A (zh) * | 2019-08-02 | 2020-01-10 | 杭州电子科技大学 | 一种基于深度图像的实时平面检测及提取的方法 |
| US20200090358A1 (en) * | 2018-09-13 | 2020-03-19 | Arcsoft Corporation Limited | Depth data processing system capable of performing image registration on depth maps to optimize depth data |
| CN111223053A (zh) * | 2019-11-18 | 2020-06-02 | 北京邮电大学 | 基于深度图像的数据增强方法 |
-
2020
- 2020-07-24 CN CN202010725544.XA patent/CN111862185A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180302603A1 (en) * | 2015-11-11 | 2018-10-18 | Sony Corporation | Image processing apparatus and image processing method |
| CN106813568A (zh) * | 2015-11-27 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 物体测量方法及装置 |
| CN107464258A (zh) * | 2017-07-28 | 2017-12-12 | 南京华捷艾米软件科技有限公司 | 一种从图像中提取三维平面的方法 |
| US20200090358A1 (en) * | 2018-09-13 | 2020-03-19 | Arcsoft Corporation Limited | Depth data processing system capable of performing image registration on depth maps to optimize depth data |
| CN110675360A (zh) * | 2019-08-02 | 2020-01-10 | 杭州电子科技大学 | 一种基于深度图像的实时平面检测及提取的方法 |
| CN111223053A (zh) * | 2019-11-18 | 2020-06-02 | 北京邮电大学 | 基于深度图像的数据增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| Schauer et al. | The peopleremover—removing dynamic objects from 3-d point cloud data by traversing a voxel occupancy grid | |
| US10049492B2 (en) | Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds | |
| US9846946B2 (en) | Objection recognition in a 3D scene | |
| US11720766B2 (en) | Systems and methods for text and barcode reading under perspective distortion | |
| JP6261489B2 (ja) | ３次元点群から平面を抽出する、方法、画像処理装置およびプログラムを記憶した非一次的なコンピュータ可読媒体 | |
| EP2959456B1 (en) | Real time stereo matching | |
| CN100371952C (zh) | 识别视频图像对象及应用视频图像注释的设备和方法 | |
| WO2019119567A1 (en) | Systems and methods for block based edgel detection with false edge elimination | |
| CN111046843B (zh) | 一种智能驾驶环境下的单目测距方法 | |
| US20150138193A1 (en) | Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium | |
| WO2021114776A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| CN113686314A (zh) | 船载摄像头的单目水面目标分割及单目测距方法 | |
| CN110207702B (zh) | 目标定位的方法及装置 | |
| Magee et al. | Using multisensory images to derive the structure of three-dimensional objects—A review | |
| WO2021114775A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| JP3919722B2 (ja) | 肌形状計測方法及び肌形状計測装置 | |
| CN111862185A (zh) | 一种从图像中提取平面的方法 | |
| Ruf et al. | Towards real-time change detection in videos based on existing 3D models | |
| JP2018067127A (ja) | 監視用画像処理装置および監視装置 | |
| Xu et al. | Multimodal 3D Facade Reconstruction Using 3D LiDAR and Images | |
| CN114719759B (zh) | 一种基于slam算法和图像实例分割技术的物体表面周长和面积测量方法 | |
| Zhu et al. | Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair | |
| Rodriguez | A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201030 |
|
| RJ01 | Rejection of invention patent application after publication |