CN110334372B - 一种基于图纸配准的bim增强现实仿真方法 - Google Patents

Abstract

本发明一种基于图纸配准的BIM增强现实仿真方法，通过采集待配准子图和参考子图的角点，预估待配准子图和参考子图的轮廓特征，先使用轮廓特征初选参考子图，再计算待配准子图中角点与初选后参考子图中角点的相对位置，判断两个图中的角点集合是否相似，取相似度最大的参考子图作为配准参考子图，本发明还将检索参考子图的方法应用于调取对应于配准参考图的bim3d模型，并悬浮在ar智能终端显示屏显示，这样施工人员在现场扫描了施工图纸后就可调取出图纸对应的立体模型，将增强现实技术作为教具，可以使使用者在虚拟与真实的环境中流畅地进行互动，使用者可以沉浸于虚拟内容，改变了使用者仅仅面对静态图纸的传统阅读方式。

Description

一种基于图纸配准的BIM增强现实仿真方法

技术领域

本发明属于计算机增强现实技术和交互技术在建筑施工中的混合应用，具体涉及一种基于图纸配准的BIM增强现实仿真方法。

背景技术

建筑智能化行业发展迅猛，然而熟练的建筑智能化劳务人员较为短缺，在工程应用中，大量的施工工艺有赖于现场“老师傅”的“帮传带”，将如今新潮的AR技术与传统施工结合，尤其是与bim方面的结合，可以加强信息化施工的普及，是最为直观的视觉化带给施工作业人员最大的信息化，脱离以人力为基础的密集型劳动，转化为新型科技型劳动。

但建筑蓝图、机械设备蓝图线条复杂，包含多个几何图形，在与参考图配准时，不能通过比较两图的少量灰度信息进行配准，该方法只能处理平移及小角度旋转的情况，大角度旋转或尺度缩放必然增加计算复杂度，对于高复杂度、鲁棒的特征描述，匹配搜索效率低。现有技术中也有Harris角点法，能识别线条交叉点的位置信息，角点数量，但依据角点数量或角点相对位置，对全角点进行匹配，存在多张参考图，角点数量相同或角点相对位置区别小，匹配搜索误差高或计算效率低的问题。

发明内容

鉴于此，本发明的目的在于提供一种基于图纸配准的BIM增强现实仿真方法，通过采集待配准子图和参考子图的角点，预估待配准子图和参考子图的轮廓特征，先使用轮廓特征初选参考子图，再计算待配准子图中角点与初选后参考子图中角点的相对位置，判断两个图中的角点集合是否相似，取相似度最大的参考子图作为配准参考子图。

本发明是这样实现的：

一种基于图纸配准的BIM增强现实仿真方法，其特征在于，步骤如下：

S01.bim建模：对对象建立对应的bim模型，并将模型导入naviswork；导入的模型存储在云服务端；

S02.建立数据库：建立bim模型与参考子图对应的数据库,所述参考子图为二维设计图纸；

S03.获得二维设计图纸的特征，具体包括：

J01.扫描二维设计图纸；

J02.在扫描图中放置1个矩形框，所述矩形框的尺寸小于扫描图中二维设计图纸的图纸框，矩形框位置根据二维设计图纸的顶点设置；

J03.用Harris角点检测法提取矩形框内二维设计图纸的角点，获得n个角点，n为大于等于1的整数，计算所有角点在x方向和y方向距离d_xi，d_yi，i为所有角点中第i个角点；

J04.采用Graham扫描算法，计算从二维设计图纸提取出的角点构成的凸包，计算所有k个凸包点在x方向和y方向距离的均值L_x，L_y和方差σ_x，σ_y，并提取所有k个凸包点在x方向和y方向的最小坐标值X_min，Y_min；

J05.读取凸包图像，得到二维设计图纸凸包后面积s；

S04.依步骤S03分别获取参考子图和待配准子图的特征建立特征集；

S05.设定凸包后面积阈值系数θ，遍历所有参考子图凸包后的面积S_dj和参考子图凸包后的周长Q_dj，j为数据库中第j个参考子图，S_c和Q_c分别为待配准子图凸包后面积和周长，判断第j个参考子图凸包后的面积是否满足下式，若满足则选为预选参考子图，否则视为误匹配参考子图，将其删除，选出m个预选参考子图，

|S_dj-S_c|≤S_cθ，

|Q_dj-Q_c|≤Q_cθ，

k^j＝k^d，

n^j≤n^d，

(L^j _y-Y^j _min)/(L^j _x-X^j _min)＝(L^d _y-Y^d _min)/(L^d _x-X^d _min)，

k^j为数据库中第j个参考子图的凸包点数，k^d待配准子图的凸包点数，n^j为数据库中第j个参考子图的角点数，n^d为待配准子图的角点数，L^j _x、L^j _y为第j个参考子图的所有k个凸包点在x方向和y方向距离的均值，L^d _x、L^d _y为待配准子图的所有k个凸包点在x方向和y方向距离的均值，X^j _min，Y^j _min表示第j个参考子图所有凸包点在在x方向和y方向的最小坐标值，Y^d _min，X^d _min表示待配准子图所有凸包点在在x方向和y方向的最小坐标值；

S06.从步骤S04中的特征集中提取出第m个预选参考子图的所有n个角点在x方向和y方向距离的均值d^m _x，d^m _y和方差σ^m _x，σ^m _y；遍历待配准子图的所有角点的距离与第m个预选参考子图的所有角点的距离均值，判断待配准子图的角点是否满足下式，若满足则视为匹配点，否则视为误匹配点，计算待配准子图与m个预选参考子图的匹配点数，

|d_xi-d^m _x|≤σ^m _xw，

|d_yi-d^m _y|≤σ^m _yw；

S07.选取匹配点数最多的预选参考子图作为配准参考子图；

S08.若配准参考子图数量p大于1，则统计各配准参考子图中像素的灰度值面积M^p，及待配准子图中像素的灰度值面积M^d，计算M^d与M^p的差值绝对值，产生该绝对值最小的一个配准参考子图作为配准参考图；

S09.模型下载：从云服务端下载对应配准参考图且经过naviswork处理的bim3d模型，并悬浮在ar智能终端显示屏显示。

进一步地，在对待配准子图执行步骤J02前，还需对扫描图像进行矫正，所述的扫描图像是将待配准子图平放在平面上使用摄像装置采集的。

有益效果：

1.本方法适用于对二维设计图纸的检索，对于建筑、机械设备的二维设计图纸都具有被描绘对象的轮廓，轮廓特征即轮廓的面积、轮廓点数、轮廓周长，本发明通过角点扫描识别二维设计图纸的线条特征，再通过凸包识别，生成二维设计图纸中图形的轮廓特征，利用待配准子图的轮廓特征检索比较每个参考子图的轮廓特征，可快速缩小参考子图的检索范围，大幅减小计算量。

2.在利用轮廓特征缩小了参考子图的检索范围后，预选参考子图的区别在于轮廓内角点的密度不同、角点的分布范围不同，本方法利用轮廓内角点的分布范围作为特征值，比较待配准子图与预选参考子图的轮廓内角点的分布范围是否匹配，以匹配度最高的参考子图作为配准参考子图。

3.本发明还将检索参考子图的方法应用于调取对应于配准参考图的bim3d模型，并悬浮在ar智能终端显示屏显示，这样施工人员在现场扫描了施工图纸后就可调取出图纸对应的立体模型，将增强现实技术作为教具，可以使使用者在虚拟与真实的环境中流畅地进行互动，使用者可以沉浸于虚拟内容，改变了使用者仅仅面对静态图纸的传统阅读方式。

附图说明

图1为轮廓相似但轮廓内角点分布不同的设计图件示意图；

图2为角点分布相同但轮廓不同的设计图件示意图；

图3为本发明的基于图纸配准的BIM增强现实仿真方法模型构建示意

图4为本发明的基于图纸配准的BIM增强现实仿真方法检测出的角点的示意图；

图5为本发明的基于图纸配准的BIM增强现实仿真方法扫描出凸包点的示意图；

图6为轮廓相似角点分布均值相似但图形像素不同的设计图件示意图；

图7为轮廓面积、周长、点数相似但轮廓均值斜率不同的设计图件示意图；

图8为轮廓类似但角点数不一致的设计图件示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的说明。

一种基于图纸配准的BIM增强现实仿真方法，其特征在于，步骤如下：

S01.bim建模：如图3，对对象(图3a)建立对应的bim模型(图3b)，并将模型导入naviswork；导入的模型存储在云服务端。

S02.建立数据库：建立bim模型与参考子图对应的数据库,所述参考子图为二维设计图纸；

S03.获得参考子图的二维设计图纸的特征，具体包括：

J01.扫描二维设计图纸，参考子图如图图3a；

J02.在扫描图中放置1个矩形框，所述矩形框的尺寸小于扫描图中二维设计图纸的图纸框，矩形框位置根据二维设计图纸的顶点设置；

J03.用Harris角点检测法提取矩形框内二维设计图纸的角点，提取出n个角点，如图4，图3a经检测，获得56个角点，计算所有角点在x方向和y方向距离d_xi，d_yi，i为所有角点中第i个角点；文献“Harris角点检测”https://www.cnblogs.com/king-lps/p/6375424.htmlHarris记载了角点测量步骤：取一个小窗口，将窗口沿上、下、左、右四个方向移动，计算窗口内的灰度变化，并取最小值为该像素点的角点响应函数值，再将该兴趣值与阈值相比对，若大于则认为该像素点为角点。

J04.如图5，采用Graham扫描算法，计算从二维设计图纸提取出的角点构成的凸包，计算所有k个凸包点在x方向和y方向距离的均值L_x，L_y和方差σ_x，σ_y，并提取所有k个凸包点在x方向和y方向的最小坐标值X_min，Y_min；图3a经计算得14个凸包点。

J05.读取凸包图像，得到二维设计图纸凸包后面积s；

文献“graham扫描法求凸包”https://blog.csdn.net/neau2014/article/details/48225965介绍了求解凸包点数、位置、周长、面积的步骤。

S04.依步骤S03获取参考子图的特征建立特征集；该特征集能区别如图2中角点分布分布相同，但凸包轮廓不同的参考子图。

再扫描待配准子图，对扫描图像进行矫直，克服扫描待配准子图时，扫描出的图的像素相对于平面扫描图有像素旋转、像素平移的问题。

对扫描图像进行矫直方法，直接调用了富士通株式会社的图像扫描软件，在使用时要将待配准子图平放在平面上，再实用安装图像扫描软件的手机或其他采集设备对整个图纸进行拍照扫描，在专利106991649A中已有介绍，主要过程如下：

确定所述文档图像的四个顶点的世界坐标；

基于所述四个顶点的世界坐标与所述四个顶点在射影空间的射影坐标的对应关系以及所述摄像装置的内参矩阵和所述摄像装置的外参矩阵的特性来计算所述文档图像的原始的宽高比；

基于所述四个顶点的世界坐标和所述宽高比来确定射影变换矩阵；以及

基于所确定的所述射影变换矩阵和所述文档图像来获得校正的文档图像。

然后在重复步骤J02～J05，获得待配准子图的特征建立特征集；

S05.设定凸包后面积阈值系数θ，遍历所有参考子图凸包后的面积S_dj和参考子图凸包后的周长Q_dj，j为数据库中第j个参考子图，S_c和Q_c分别为待配准子图凸包后面积和周长，判断第j个参考子图凸包后的面积是否满足下式，若满足则选为预选参考子图，否则视为误匹配参考子图，将其删除，选出m个预选参考子图，

|S_dj-S_c|≤S_cθ，用于比较待选参考子图的凸包面积是否与待配准子图的凸包面积相似，

|Q_dj-Q_c|≤Q_cθ，用于比较待选参考子图的凸包周长是否与待配准子图的凸包周长相似，

k^j＝k^d，

n^j≤n^d，

用于比较待选参考子图的凸包点数、角点数是否与待配准子图的凸包点数相同、角点数相似，即轮廓点数相同，即用于剔除与图5中轮廓类似，但凸包点数不同的图纸，和图8中轮廓类似但角点数明显不同的图纸，图8a中角点数较多若不被提前剔除，在步骤S06中将被选为最佳配准参考子图，

以本步骤中以n^j≤n^d作为选择条件，可以用于识别被人为增加了少量标记(即增加了角点)的待配准子图，

(L^j _y-Y^j _min)/(L^j _x-X^j _min)＝(L^d _y-Y^d _min)/(L^d _x-X^d _min)，用于比较选参考子图的凸包中心点的斜率是否与待配准子图的凸包中心点的斜率相同，排除凸包点数相同、凸包面积近似，但凸包形状不同的图纸，如图7。

用于剔除图2情况所示的角点分布近似，但轮廓不同的图纸，

k^j为数据库中第j个参考子图的凸包点数，k^d待配准子图的凸包点数，n^j为数据库中第j个参考子图的角点数，n^d为待配准子图的角点数，L^j _x、L^j _y为第j个参考子图的所有k个凸包点在x方向和y方向距离的均值，L^d _x、L^d _y为待配准子图的所有k个凸包点在x方向和y方向距离的均值，X^j _min，Y^j _min表示第j个参考子图所有凸包点在在x方向和y方向的最小坐标值，Y^d _min，X^d _min表示待配准子图所有凸包点在在x方向和y方向的最小坐标值；

S06.从步骤S04中的特征集中提取出第m个预选参考子图的所有n个角点在x方向和y方向距离的均值d^m _x，d^m _y和方差σ^m _x，σ^m _y；遍历待配准子图的所有角点的距离与第m个预选参考子图的所有角点的距离均值，判断待配准子图的角点是否满足下式，若满足则视为匹配点，否则视为误匹配点，计算待配准子图与m个预选参考子图的匹配点数，

|d_xi-d^m _x|≤σ^m _xw，

|d_yi-d^m _y|≤σ^m _yw；

S07.选取匹配点数最多的预选参考子图作为配准参考子图；

用于区别如图1中所示的，轮廓类似，但轮廓内角点分布不同的图纸。

S08.若配准参考子图数量p大于1，则统计各配准参考子图中像素的灰度值面积M^p，及待配准子图中像素的灰度值面积M^d，计算M^d与M^p的差值绝对值，产生该绝对值最小的一个配准参考子图作为配准参考图；

如图6，用于区别轮廓相似，但轮廓内角点分布均值相同，但角点分布不同的图纸。本发明对于建筑领域、机械结构领域的复杂线条的图纸配准效率高,便于使用者对结构复杂的构件进行立体解析，提高构件的安装效率，对于结构简单的构件，使用者容易理解其立体构形和安装方法也没有必要使用本发明的图纸建设建模方法辅助操作。

S09.从云服务端下载对应配准参考图且经过naviswork处理的bim3d模型，并悬浮在ar智能终端显示屏显示。

Claims (2)

1.一种基于图纸配准的BIM增强现实仿真方法，其特征在于，步骤如下：

S01.bim建模：对对象建立对应的bim模型，并将模型导入naviswork；导入的模型存储在云服务端；

S02.建立数据库：建立bim模型与参考子图对应的数据库,所述参考子图为二维设计图纸；

S03.获得二维设计图纸的特征，具体包括：

J01.扫描二维设计图纸；

J02.在扫描图中放置1个矩形框，所述矩形框的尺寸小于扫描图中二维设计图纸的图纸框，矩形框位置根据二维设计图纸的顶点设置；

J03.用Harris角点检测法提取矩形框内二维设计图纸的角点，获得n个角点，n为大于等于1的整数，计算所有角点在x方向和y方向距离d_xi，d_yi，i为所有角点中第i个角点；

J04.采用Graham扫描算法，计算从二维设计图纸提取出的角点构成的凸包，计算所有k个凸包点在x方向和y方向距离的均值L_x，L_y和方差σ_x，σ_y，并提取所有k个凸包点在x方向和y方向的最小坐标值X_min，Y_min；

J05.读取凸包图像，得到二维设计图纸凸包后面积s；

S04.依步骤S03分别获取参考子图和待配准子图的特征建立特征集；

S05.设定凸包后面积阈值系数θ，遍历所有参考子图凸包后的面积S_dj和参考子图凸包后的周长Q_dj，j为数据库中第j个参考子图，S_c和Q_c分别为待配准子图凸包后面积和周长，判断第j个参考子图凸包后的面积是否满足下式，若满足则选为预选参考子图，否则视为误匹配参考子图，将其删除，选出m个预选参考子图，

|S_dj-S_c|≤S_cθ，

|Q_dj-Q_c|≤Q_cθ，

k^j＝k^d，

n^j≤n^d，

(L^j _y-Y^j _min)/(L^j _x-X^j _min)＝(L^d _y-Y^d _min)/(L^d _x-X^d _min)，

k^j为数据库中第j个参考子图的凸包点数，k^d待配准子图的凸包点数，n^j为数据库中第j个参考子图的角点数，n^d为待配准子图的角点数，L^j _x、L^j _y为第j个参考子图的所有k个凸包点在x方向和y方向距离的均值，L^d _x、L^d _y为待配准子图的所有k个凸包点在x方向和y方向距离的均值，X^j _min，Y^j _min表示第j个参考子图所有凸包点在在x方向和y方向的最小坐标值，Y^d _min，X^d _min表示待配准子图所有凸包点在在x方向和y方向的最小坐标值；

S06.从步骤S04中的特征集中提取出第m个预选参考子图的所有n个角点在x方向和y方向距离的均值d^m _x，d^m _y和方差σ^m _x，σ^m _y；遍历待配准子图的所有角点的距离与第m个预选参考子图的所有角点的距离均值，判断待配准子图的角点是否满足下式，若满足则视为匹配点，否则视为误匹配点，计算待配准子图与m个预选参考子图的匹配点数，

|d_xi-d^m _x|≤σ^m _xw，

|d_yi-d^m _y|≤σ^m _yw；

S07.选取匹配点数最多的预选参考子图作为配准参考子图；

S08.若配准参考子图数量p大于1，则统计各配准参考子图中像素的灰度值面积M^p，及待配准子图中像素的灰度值面积M^d，计算M^d与M^p的差值绝对值，产生该绝对值最小的一个配准参考子图作为配准参考图；

S09.模型下载：从云服务端下载对应配准参考图且经过naviswork处理的bim3d模型，并悬浮在ar智能终端显示屏显示。

2.根据权利要求1所述的方法，其特征在于，在对待配准子图执行步骤J02前，还需对扫描图像进行矫正，还需对扫描图像进行矫正，所述的扫描图像是将待配准子图平放在平面上使用摄像装置采集的。

Images