CN102903101B - 使用多台相机进行水面数据采集与重建的方法 - Google Patents
使用多台相机进行水面数据采集与重建的方法 Download PDFInfo
- Publication number
- CN102903101B CN102903101B CN201210328270.6A CN201210328270A CN102903101B CN 102903101 B CN102903101 B CN 102903101B CN 201210328270 A CN201210328270 A CN 201210328270A CN 102903101 B CN102903101 B CN 102903101B
- Authority
- CN
- China
- Prior art keywords
- high speed
- speed camera
- camera
- water
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
使用多台相机进行水面数据采集与重建方法。（1）采集***搭建，在待采集的水面以下放置黑白棋盘格，使用标定过的两台高速相机在不同视角下同步进行拍摄采集；（2）多视图中像素映射关系，使用Harris角点检测方法计算得到各视图中的角点和角点映射关系，再使用双线性插值得到逐像素的映射关系；根据已知的棋盘格平面空间，确定各像素空间与物理空间的映射关系；（3）每个像素根据光学传播的物理特性可以得到一组可能的光线传播路径及该路径中的折射点，由不同视图下的对应像素所对应的折射点应该是相同的，在所有像素对的路径组中找到重合的折射点即找到了水面上的点，求得它们的三维坐标和对应法向量，便得到了水面的重建结果。
Description
技术领域
本发明属于计算机虚拟现实技术领域，具体地说是涉及易用的水面数据采集***设计与搭建，根据采集数据，结合光线传播特性进行水面信息求解，该方法可用于一般水面的物理数据采集和重建。
背景技术
近些年来，对随着时间动态变化的液体表面进行重建逐渐成为许多研究领域的热点问题。虽然液体的计算机仿真得到了长足的进步，更加符合物理规律、视觉效果更加真实的仿真液体已经出现，但是通过采集的方法，获取真实液体随时间变化的物理性质等依然是一个挑战性的问题。
很多研究方法都是利用了物体表面处的反射、折射等物理规律对采集的表面进行求解，参见Murase H.，Surface shape reconstruction of an undulatingtransparent object.In Proceedings of IEEE International Conference onComputer Vision(ICCV)(1990)，pp.313-317.和Murase H.，Surface ShapeReconstruction of a Non-rigid Transparent Object Using Refraction andMotion.IEEE Transactions on Pattern Analysis and MachineIntelligence(PAMI)14，10(October1992)，1045-1052。现有的基于采集图像进行可反射表面（水面、镜面等）重建的方法主要包括以下几类：
使用一台相机拍摄来恢复液体表面，这是约束条件最多的一种方法。它假定液体表面是分段的表面，将表面恢复的问题转化为一个广义的运动恢复结构问题，参见P.Flach and H.-G.Maas.Vision-based techniques for refractionanalysis in applications of terrestial geodes y.Int.Archives of Photogrammetryand Remote Sensing，pages195-201，2000.2，从扭曲过的模式中重建折射或者反射光线，然后估计表面的微分属性例如曲率等。这种方法有很大的局限性，它只能用于求解近似平面的表面，对于随时间动态变化的表面如水的波纹等就很难得到理想结果。
另一种常见的方法则是使用多台相机从不同角度进行拍摄。Sanderson指出，这种采集方式可以解决单相机***采集中经常遇到的二义性问题，参见A.Sanderson，L.Weiss，andS.Nayar，“Structured highlight inspection ofspecular surfaces,”IEEE T-PAMI，v.10，n.1，pp.44-55，1988。Morris创新引入了“折射偏差”的概念，提出了可以同时求解表面的高度场与法向量场的优化算法框架，参见Morris N.J.W.，Kutulakos，Dynamic Refraction Stereo.InProceedings of IEEE International Conference on ComputerVision(ICCV)(2005)，pp.1573-1580。
上述方法中，无论单相机还是多个相机，反射、折射现象都会造成拍摄图像中出现特征扭曲甚至模糊等现象，对于这种情况，Ding等人设计了多相机***并引入体素切割方法解决这一问题，参见Y.Ding，J.Yu，and P.F.E Sturm.Recovering specular surfaces using curved line images.In CVPR’09.2，即在某一时刻如果多台相机中某一台拍摄的图像中出现了扭曲或者模糊，则使用其他相机拍摄的图像进行求解并反求出在该相机中发生扭曲处本来的的正确的位置，这样就保证了多台相机在整个过程中的所有特征点都可以正确的匹配和追踪。
发明内容
本发明的技术解决问题：克服现有技术的一些局限性，提供一种水面数据采集与重建的方法，该方法进行方便的水面数据采集，且易于重建。
本发明的技术解决方案：使用多台相机进行水面数据采集与重建方法，实现步骤如下：
（1）设计marker板，即黑白棋盘格用于之后的相机标定与数据采集，棋盘格角点将作为后续采集及重建的特征点；
（2）使用步骤（1）中的marker板进行高速相机标定，然后再设置高速相机同步，所述高速相机同步是指曝光时间相等，帧率相同和所拍摄图像数据的高速存储；所述高速相机是指帧率30帧/秒以上的相机；所述高速存储是指存储速率应等于或高于高速相机拍摄帧率；
（3）搭建采集***，将marker板平铺在水底，将高速相机置于能拍摄到完整marker板的不同位置，并使用三脚架固定，保持其在整个采集过程中的稳定，在不同视角下拍摄由marker板位置所确定的同一水面区域，拍摄同一水面区域在不同视角下的图像序列；
（4）根据步骤（3）中拍摄得到的图像序列，首先使用Harris角点检测方法搜索特征点，再使用Lucas-Kanade光流法对各个高速相机拍摄所得图像序列分别进行角点匹配，最后对不同高速相机在同一时间所拍摄的图像进行特征点匹配；
（5）当完成不同高速相机在同一时间所拍摄的图像间特征点匹配后，使用插值法得到这些图像间逐像素的映射关系；
（6）根据步骤（5）中得到的逐像素映射关系，计算位于水面上的点，每个像素根据光学传播的物理特性，折射点位于高速相机到可能的水面以及水面到水下marker这两条连线的交点处，根据该点到相机距离的不同得到一个光线传播路径及该路径中的折射点的集合，而由不同视图下的对应像素所对应的折射点应该是相同的，在所有像素对的折射点集合中找到重合的折射点即位于水面上的点；
（7）按照步骤（6），同一时刻多个高速相机拍摄的图像计算得到该时刻位于水面上的所有点，即重建水面结果，对多个高速相机拍摄所得的整个图像序列分别重建水面，便得到了全程的动态水面。
所述步骤（1）中marker板的设计，其步骤为：将marker板的纵向与横向角点数目分别设计为奇数和偶数或者相反，保证其平整以及防水性，采用黑白色制作棋盘格。
所述的步骤（3）搭建采集***，其步骤为首先将marker板平铺在水槽底部，与水水面直接接触以防发生二次折射，再将多个高速相机置于视图可以完整覆盖marker板所在的整个水面区域的位置上，用三脚架固定这些高速相机，设定高速相机的焦距、拍摄帧率（至30fps）、曝光时间（至8ms），在整个相机标定过程与采集过程中保证marker板、高速相机位置不变，并且保证采集环境中没有高光现象影响。
所述步骤（4）中对不同高速相机在同一时间所拍摄的图像进行特征点匹配的步骤如下：根据高速相机的标定结果，得到高速相机在三维空间中的位置及高速相机的旋转矩阵、平移矩阵和焦距，再由marker板在三维空间的位置得到该高速相机图像中特征点与三维空间位置的对应关系，不同的高速相机所拍摄的marker板位置固定不变，得到由不同高速相机所拍摄的图像间的特征点的对应关系，从而完成对不同高速相机在同一时间所拍摄的图像进行特征点匹配。
本发明与现有技术相比的优点在于：
（1）本发明所设计的水面数据采集方式仅需要相机与简易的marker板，轻量且易于操作。
（2）本发明在进行数据采集的基础上，可以建立数据间的映射关系，可以快速方便的进行水面数据求解，且对图像中可能发生的扭曲与模糊做了特殊处理，增加了***鲁棒性和可靠性。
附图说明
图1为本发明方法的流程图；
图2为本发明算法原理示意图；
图3和图4为采用本发明方法重建得到的水面图。
具体实施方式
如图1所示，本发明包括搭建采集***，从标定过的多台相机所拍摄的固定marker图像序列中求解水面深度与法向量信息的过程。
1、marker板（黑白棋盘格）的设计，其步骤为：由于棋盘格将置于水下，故应保证它的平整和防水性，同时由于水和空气的折射会导致成像中颜色的不可靠性，所以应采用黑白色而非彩色marker；为了保证不同相机中marker的空间位置可识别性，应将marker板的纵向与横向角点数目分别设计为奇数和偶数或者相反。使用各个格边长1cm，共计25*40个格。使用时将棋盘格铺在缸底，棋盘格应该平整并直接与水接触，避免发生多次折射。
2、搭建采集***，其步骤为：当采集动态水面时，需设定高速相机的帧率与曝光时间等关键参数到合适的值，采集的帧率以及精度（分辨率）需要达到教高的标准，否则水面在动态变化时，水底的棋盘格在水面折射作用下成像到相机时会出现严重的扭曲变形，并且随着水面的变化也在不断的变化，因此如果帧率过低，所拍摄的图像就会出现模糊现象；拍摄图像的分辨率也需要满足较高需求，因为在重建过程中需要首先精确找到图像中棋盘格的角点，若图像分辨率不足的话，会给角点查找带来很大困难，导致查找不准甚至无法找到角点，经过多次试验，采用了Adimec公司的CameraLink接口相机POAL-1000C/Q相机，它最高可以达到120fps的采集频率，我们在实际试验中使用的是30fps频率，采集图像为1024*1024的256位灰度图，还采用了IOIndustries公司的DVR Express SAS图像采集卡，使用一台计算机连接两台高速相机进行同步的采集和存储。其次，采集环境中的光源影响也很重要，点光源或者线光源都可能会在水面上形成明显的折射、反射，导致拍摄图片中出现光斑、光带等现象，这些都会严重影响之后的数据处理，造成结果不精确甚至无法求解，在采集过程中应尽量保证环境光的可用性。
3、步骤（4）中不同视角下特征点的匹配，其步骤如下：设两张有水面运动发生的图像分别为WImgA和WImgB，并以无水面时的图片NWImgA和NWImgB作为参照，角点WPA和NWPA为图像WImgA和NWImgA中的一对互相映射的角点，则容易求得像素NWPA所对应的棋盘格上的点P，显然WPA也是映射到该点；再由相机A位置、WPA像素在无水情况下对应的三维点位置T（高度值为0），由此可知存在一条光线在水面上经过折射，而折射点位于由相机A位置C、三维点T确定的这条直线上，设折射点为Q，则相机A位置C、折射点Q和三维点P确定了一条光线传播路径L1，现在要求点Q在相机B中拍摄图像的对应像素，设此点是WPB，显然WPB并不一定在图像WImgB的角点上，因此此时需要通过插值求它所对应的水平面上的三维点位置，具体方法是：在WImgB中找到距离WPB最近的四个角点，这时WPB应该位于这四个角点围成的四边形中（或边缘上），由NWImgB和WImgB的对应关系，与WPB相对应的NWPB应该也位于这四个角点分别对应的NWimgB中的四个角点所围成的四边形中（或边缘上），至此通过双线性插值或者其他插值方法可以得到NWPB，于是也就得到了它所对应的棋盘格上的三维点，记作P’，这时由相机B位置C’、折射点Q、三维点P’可以得到又一条折射光线L2。
4、步骤（6）中设水的折射率r；在某一时刻t相机拍摄的图片中某个像素的位置记作q；该像素对应的置于水下的黑白棋盘格上的三维点坐标记作C(q，t)，其中C是像素到三维点坐标的映射关系，将折射发生的位置记作p，该点的法向量为n，由于折射发生在不同介质的接触处，则显然p点位于水面上，也即要求解的结果，此时，q和p构成入射光线，与法向量n的夹角记作入射角α，p和C(q，t)构成折射光线，与法向量n的夹角记作折射角β，当p点与C(q，t)的的距离d（也相当于离水平面）改变时，都可以有相应的p和n的值符合上述关系，也即存在一个p/n的解集，该集合中所有的p/n的取值都满足上述约束条件，根据上述像素与物理空间的映射以及水的折射率，设某一对映射关系确定的路径分别为L1和L2，则L1上折点Q处的法向量N1和对应光线传播路径L2上折点Q处的法向量N2，比较N1和N2，如果二者不相同，说明这个Q点并非实际水面上的点，如果二者相同，则可以确定该点Q位于水面上，进而可以求得所有像素所对应的水面点。
试验结果
图3是轻微波动的水面重建结果上下分别为角点网格和由此恢复出的水面，可以看出求解是比较准确的。
图4是波纹状水面图像序列的重建结果，即对连续拍摄的图像每一帧分别求解得到。
实验证明，在不同视角下对已知的水下固定黑白棋盘格进行拍摄得到高分辨率的图像序列后，根据水的折射特性等光学几何约束，可以计算出较为准确的水面的高度、法向量等信息，进而得到真实水面的重建结果。
总之，本发明可以使用多台相机进行水面数据采集与重建，搭建采集***，从标定过的多台相机所拍摄的固定marker图像序列中求解水面深度与法向量信息的过程。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.使用多台相机进行水面数据采集与重建方法，其特征在于实现步骤如下：
(1)设计marker板，即黑白棋盘格，用于之后的相机标定与数据采集，棋盘格角点将作为后续采集及重建的特征点；所述marker板的设计为：将marker板的纵向与横向角点数目分别设计为奇数和偶数或者相反；
(2)使用步骤(1)中的marker板进行高速相机标定，然后再设置高速相机同步，所述高速相机同步是指曝光时间相等，帧率相同和所拍摄图像数据的高速存储；所述高速相机是指帧率30帧/秒以上的相机；所述高速存储是指存储速率应等于或高于高速相机帧率；
(3)搭建采集***，将marker板平铺在水底，将高速相机置于能拍摄到完整marker板的不同位置，并使用三脚架固定，保持其在整个采集过程中的稳定，在不同视角下拍摄由marker板位置所确定的同一水面区域，拍摄同一水面区域在不同视角下的图像序列；
(4)根据步骤(3)中拍摄得到的图像序列，首先使用Harris角点检测方法搜索特征点，再使用Lucas-Kanade光流法对各个高速相机拍摄所得整个图像序列分别进行角点匹配，最后对不同高速相机在同一时间所拍摄的图像进行特征点匹配；
(5)当完成不同高速相机在同一时间所拍摄的图像间特征点匹配后，使用插值法得到这些图像间逐像素的映射关系；
(6)根据步骤(5)中得到的逐像素的映射关系，计算位于水面上的点的坐标值，根据每个像素光学传播的物理特性，折射点位于高速相机到可能的水面以及水面到水下marker板这两条连线的交点处，根据该点到相机距离的不同得到一个光线传播路径及该路径中的折射点的集合，而由不同视角下的对应像素所对应的折射点是相同的，在所有像素对的折射点集合中找到重合的折射点即位于水面上的点；
(7)按照步骤(6)，对不同高速相机在同一时间拍摄的图像计算，得到该时刻位于水面上的所有点，即重建水面结果，对各个高速相机拍摄所得的整个图像序列分别重建水面，便得到了全程的动态水面。
2.根据权利要求1所述使用多台相机进行水面数据采集与重建方法，其特征在于：所述的步骤(3)搭建采集***，其步骤为首先将marker板平铺在水槽底部，与水面直接接触以防发生二次折射，再将多个高速相机置于视图能够完整覆盖marker板所在的整个水面区域的位置上，用三脚架固定这些高速相机，设定高速相机的焦距、拍摄帧率和曝光时间，在整个相机标定过程与采集过程中保证marker板、高速相机位置不变，并且保证采集环境中没有高光现象影响。
3.根据权利要求1所述使用多台相机进行水面数据采集与重建方法，其特征在于：所述步骤(4)中对不同高速相机在同一时间所拍摄的图像进行特征点匹配的步骤如下：根据高速相机的标定结果，得到高速相机在三维空间中的位置及高速相机的旋转矩阵、平移矩阵和焦距，再由marker板在三维空间的位置得到高速相机所拍摄的图像中特征点与三维空间位置的对应关系，不同的高速相机所拍摄的marker板位置固定不变，得到由不同高速相机所拍摄的图像间的特征点的对应关系，从而完成对不同高速相机在同一时间所拍摄的图像进行特征点匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210328270.6A CN102903101B (zh) | 2012-09-06 | 2012-09-06 | 使用多台相机进行水面数据采集与重建的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210328270.6A CN102903101B (zh) | 2012-09-06 | 2012-09-06 | 使用多台相机进行水面数据采集与重建的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102903101A CN102903101A (zh) | 2013-01-30 |
| CN102903101B true CN102903101B (zh) | 2015-02-18 |
Family
ID=47575314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210328270.6A Expired - Fee Related CN102903101B (zh) | 2012-09-06 | 2012-09-06 | 使用多台相机进行水面数据采集与重建的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102903101B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700138B (zh) * | 2013-11-27 | 2016-09-28 | 北京航空航天大学 | 一种基于采样数据的动态水面重建方法 |
| CN104764445B (zh) * | 2015-04-20 | 2017-06-30 | 中测新图(北京)遥感技术有限责任公司 | 水下物点坐标确定方法及装置 |
| CN105678742B (zh) * | 2015-12-29 | 2018-05-22 | 哈尔滨工业大学深圳研究生院 | 一种水下相机标定方法 |
| CN106293092A (zh) * | 2016-08-15 | 2017-01-04 | 成都通甲优博科技有限责任公司 | 基于多目立体视觉三维技术实现虚拟穿戴的方法 |
| CN108629807A (zh) * | 2017-03-22 | 2018-10-09 | 中国人民解放军海军工程大学 | 一种获取空泡的分布特征的方法和装置 |
| CN107256563B (zh) * | 2017-06-13 | 2020-04-07 | 中国人民解放军国防科学技术大学 | 基于差异液位图像序列的水下三维重建***及其方法 |
| CN110188665B (zh) * | 2019-05-28 | 2022-02-22 | 阿波罗智联(北京)科技有限公司 | 图像处理方法、装置以及计算机设备 |
| CN110702066B (zh) * | 2019-10-15 | 2022-03-18 | 哈尔滨工程大学 | 一种水下双目相机视觉定位方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101982741A (zh) * | 2010-09-08 | 2011-03-02 | 北京航空航天大学 | 一种水下光场采样及模拟方法 |
| CN102194249A (zh) * | 2011-05-19 | 2011-09-21 | 北京航空航天大学 | 一种利用红外线和可见光相结合的水流建模数据捕获装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7630077B2 (en) * | 2006-10-13 | 2009-12-08 | University Of Massachusetts | System and method for imaging through an irregular water surface |
-
2012
- 2012-09-06 CN CN201210328270.6A patent/CN102903101B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101982741A (zh) * | 2010-09-08 | 2011-03-02 | 北京航空航天大学 | 一种水下光场采样及模拟方法 |
| CN102194249A (zh) * | 2011-05-19 | 2011-09-21 | 北京航空航天大学 | 一种利用红外线和可见光相结合的水流建模数据捕获装置 |
Non-Patent Citations (2)
| Title |
|---|
| Recovering specular surfaces using curved line images;Yuanyuan Ding等;《Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on》;20090625;2326-2333 * |
| 湿地场景的实时动态模拟;张龙等;《计算机辅助设计与图形学学报》;20080831;第20卷(第8期);1007-1014 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102903101A (zh) | 2013-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102903101B (zh) | 使用多台相机进行水面数据采集与重建的方法 | |
| CN105678742B (zh) | 一种水下相机标定方法 | |
| Zhang et al. | A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection | |
| Chang et al. | Multi-view 3D reconstruction for scenes under the refractive plane with known vertical direction | |
| Fathi et al. | Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features | |
| Ahmadabadian et al. | A comparison of dense matching algorithms for scaled surface reconstruction using stereo camera rigs | |
| US11521311B1 (en) | Collaborative disparity decomposition | |
| CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
| KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
| CN107274483A (zh) | 一种物体三维模型构建方法 | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| WO2010133007A1 (en) | Techniques for rapid stereo reconstruction from images | |
| CN108399631B (zh) | 一种尺度不变性的倾斜影像多视密集匹配方法 | |
| Shan et al. | Refractive height fields from single and multiple images | |
| CN108629829A (zh) | 一种球幕相机与深度相机结合的三维建模方法和*** | |
| CN105654547A (zh) | 三维重建方法 | |
| Liu et al. | High quality depth map estimation of object surface from light-field images | |
| Xu et al. | Hybrid mesh-neural representation for 3D transparent object reconstruction | |
| CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
| Harvent et al. | Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system | |
| Coorg | Pose imagery and automated three-dimensional modeling of urban environments | |
| Gava et al. | Dense scene reconstruction from spherical light fields | |
| Hu et al. | Multiple-view 3-D reconstruction using a mirror | |
| Roncella et al. | Comparison of two structure and motion strategies | |
| Skuratovskyi et al. | Outdoor mapping framework: from images to 3d model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150218 Termination date: 20170906 |