CN116129037B - 视触觉传感器及其三维重建方法、***、设备及存储介质 - Google Patents
视触觉传感器及其三维重建方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN116129037B CN116129037B CN202211596160.8A CN202211596160A CN116129037B CN 116129037 B CN116129037 B CN 116129037B CN 202211596160 A CN202211596160 A CN 202211596160A CN 116129037 B CN116129037 B CN 116129037B
- Authority
- CN
- China
- Prior art keywords
- matching
- image
- reference image
- points
- edge point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 19
- 238000003708 edge detection Methods 0.000 claims description 16
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 13
- 239000000741 silica gel Substances 0.000 claims description 13
- 229910002027 silica gel Inorganic materials 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003706 image smoothing Methods 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000000084 colloidal system Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供了一种视触觉传感器及其三维重建方法、***、设备及存储介质，涉及传感器技术领域，这里视触觉传感器使用双目相机拍摄图像，能够对图像分区域实现立体匹配过程，进而更好地完成多曲率物体的三维重建。该方法包括：对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像，将参考图像和匹配图像划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域，结合边缘点区域内匹配点对应的视差和非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。
Description
技术领域
本申请涉及传感器技术领域，尤其涉及一种视触觉传感器及其三维重建方法、***、设备及存储介质。
背景技术
近年来，相关研究者已经研发出基于不同原理的触觉传感器，并用于各类机器人感知与任务操作，例如，压阻式、磁场式、光电式等，但是它们受力之后所产生的信号十分微弱，在经过信号放大处理电路之后，数据往往包含了很多干扰，对于研究形成了巨大阻碍。相较于传统的压力阵列触觉传感器，视触觉传感器通过相机***捕捉由接触产生的胶体形变信息，然后采用计算机视觉算法将其建模为不同的触觉特征，具有空间分辨率高、成本低以及传感器信息丰富等优势，已逐渐成为目标触觉传感器研究领域的热点方向。
目前主要使用的是GelSight类视触觉传感器、深度相机触觉传感器和双目视触觉传感器。其中，GelSight类视触觉传感器采用单目与RGB彩色光源相结合的结构设计，并通过光度立体算法对接触三维几何形状进行高精度感知，但目前仍存在光源结构设计及标定复杂、难以拓展到多曲率接触表面场景等问题。深度相机触觉传感器除了可以捕获触觉图像，还可以获取传感器表面的接触深度图，但需要保证一定的成像距离，这导致其结构设计比较冗余。双目视触觉传感器采用双目立体匹配算法对接触表面进行三维重建，有效降低了光源结构设计要求，并且该传感器原理可被扩展到多曲率接触表面，需要额外度对双目多介质光线折射传播误差进行建模。但目前的双目立体匹配算法获取的深度值精度不够理想，也不适合获取表面纹理单一的物体深度值信息，同时，立体匹配计算复杂度较高、计算量较大、实施重建物体表面存在困难。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的视触觉传感器及其三维重建方法、***、设备及存储介质，能够解决相关技术中双目立体匹配算法获取的深度值精度不够理想的问题，进而更好地完成多曲率物体的三维重建。所述技术方案如下：
第一方面，提供了一种视触觉传感器的三维重建方法，所述视触觉传感器使用双目相机拍摄图像，所述方法包括：
对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像；
针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域；
利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差；
利用匹配算法对所述参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差；
结合所述边缘点区域内匹配点对应的视差和所述非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用所述参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。
第二方面，提供了一种视触觉传感器的三维重建***，所述视触觉传感器使用双目相机拍摄图像，所述***包括：
标定单元，用于对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像；
划分单元，用于针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域；
第一匹配单元，用于利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差；
第二匹配单元，用于利用匹配算法对所述参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差；
重构单元，用于结合所述边缘点区域内匹配点对应的视差和所述非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用所述参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。
第三方面，提供了一种视触觉传感器，包括：多层软体硅胶、双目相机、支撑体和光源，其中，所述双目相机为两个RGB摄像头，用于获取参考图像像素点和匹配图像中对应像素点；
所述视触觉传感器对应的模组结构为指尖形状，由一个半球体和一个圆柱体组成，用于计算双目相机拍摄得到双目对应像素点之间的视差，利用所述视差对多曲率物体的表面执行上述的视触觉传感器的三维重建方法。
第四方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述视触觉传感器的三维重建方法的步骤。
第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视触觉传感器的三维重建方法的步骤。
借由上述技术方案，本申请实施例提供的视触觉传感器及其三维重建方法、***、设备及存储介质、计算机设备、计算机可读存储介质，与目前现有方式中使用的立体匹配进行三维重建相比，本申请通过针对参考图像和匹配图像分别进行边缘检测，将参考图像和匹配图像划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域，进一步利用预先在视触觉传感器上设置的标记点对参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差，利用匹配算法对参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差，能够分区域实现立体匹配过程，以提高图像匹配速度，进一步结合边缘点区域内匹配点对应的视差和非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构，使得双目相机获取的图像实现精准像素点匹配，进而更好地完成多曲率物体的三维重建，提高了三维重建的效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种视触觉传感器的三维重建方法的流程示意图；
图2是图1中步骤101的一具体实施方式流程示意图；
图3是本申请实施例提供的相机成像模型对应坐标系之间的映射关系示意图；
图4是本申请实施例提供的坐标转换过程示意图；
图5是申请实施例提供的极线校正的标定过程示意图；
图6是申请实施例提供的双目测距模型示意图
图7是申请实施例提供的中值滤波平滑图像的流程示意图；
图8是图1中步骤103的一具体实施方式流程示意图；
图9是图1中步骤104的一具体实施方式流程示意图；
图10为本申请实施例提供的另一种视触觉传感器的三维重建方法的流程示意图；
图11是本申请一实施例提供的视触觉传感器的结构示意图；
图12是本申请一实施例提供的视触觉传感器的三维重建装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。
需要说明的是，本申请提供的视触觉传感器的三维重建方法，可以应用于终端，例如终端可以是各种商业用途大平板、手机或电脑、普通消费平板电脑、智能电视、便携计算机终端，也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。
本申请实施例可以应用于计算机***/服务器，其可与众多其它通用或专用计算***环境或配置一起操作。适于与计算机***/服务器一起使用的众所周知的计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
计算机***/服务器可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
本申请实施例提供了一种视触觉传感器的三维重建方法，这里视触觉传感器使用双目相机拍摄图像，能够解决相关技术中双目立体匹配算法获取的深度值精度不够理想的问题，进而更好地完成多曲率物体的三维重建，如图1所示，该方法可以包括：
101、对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像。
其中，标定处理包括摄像机的标定和极线校正的标定，摄像机的标定主要是对双目相机的成像参数进行标准化处理的过程，使得拍摄的图像经过标准化处理后能够处于世界坐标系中，便于后续图像匹配，极线校正的标定主要是将双目相机在视野上对准到同一观察平面上，使得相机上像素行是严格对齐的，这样双目相机对应成像平面平行且对齐，匹配点在同一行，只需要在同行上查找，大大节约时间。
具体在摄像机的标定过程中，相机成像模型决定了场景中物体可视面某点的世界坐标值与其在图像中对应点图像坐标之前的相互关系，这里通过计算相机成像模型中涉及到的相机参数，然后使用相机参数来实现摄像机的标定过程，该相机成像模型中涉及到的相机参数包括内参矩阵和外参矩阵，内参矩阵包括相机内部集合特性和光学特性，外参矩阵包括相机坐标系相对于世界坐标系的三维方向和位置。
通常情况下，摄像机的标定需要使用世界坐标系的三维图像，利用线性代数的方法，对相机参数进行求解，这里可以使用棋盘格标定法，即利用棋盘格的多视角拍摄，利用二维图像代替三维图像进行标定，可减少标定的计算量，并且利用棋盘格角点明显的特点，也大大增强了标定结果的准确性。具体棋盘格标定流程中，可首先准备一张标准的棋盘格，以及合适的平面，拍摄多视角的图像，从图像中提取棋盘格角点，预估理想情况下五个内参和六个外参，使用最小二乘法估算实际存在径向畸变下的畸变参数，再使用极大似然法提高估计精确度，使用畸变参数确定相机的标定矩阵，包括内参矩阵和外参矩阵。
具体在极线校正的标定过程中，可计算两个相机平面校正至水平的变换矩阵，计算两个平行平面将中心变换到一致的变换矩阵，即将两个坐标系一起进行变换直到基线与X轴平行，虽然相机坐标系已经校正，但是左右摄像机的内参仍然不同，图像坐标系上仍然不会对齐，因此需要对内参进行更改，将左右相机焦距设置成相同。
可以理解的是，经过极线校正的标定后，双目相机对应两个相机平面变成一个平面，然后每一行像素相互对应，通过将双目相机拍摄得到的左右两个图像的进行变换，使其左右图像的极线左右平行。也就是说，使左图像中某一行(或列)中的每一个点，都出现在右图像中对应的行(或列)中，能够极大地减少立体匹配的计算量。
102、针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域。
可以理解的是，现有的立体匹配算法主要有全局匹配算法、半全局匹配算法和局部匹配算法。但都存在着典型的立体匹配问题，如对光照、噪声等外界环境比较敏感，在视差不连续区域、无纹理/弱纹理/重复纹理区域和遮挡区域的匹配效果不好等。通过视触觉传感器可将双目相机拍摄得到的图像与硅胶变形程度相融合，可很好的解决上述问题。
103、利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差。
考虑到边缘点区域受到噪声、光照的影响极大，利用现有方式极容易造成深度不连续、特征点突变的错误，且计算速度慢。为了提高边缘点区域的匹配精度，采用双目相机提供的立体视觉信息和多层软体硅胶的形变程度来进行逐个像素点匹配，大大提高了匹配准确率和计算速度，满足实时性要求。
具体地，预先在视触觉传感器上设置的标记点会划分至边缘点区域，该边缘点区域可使用标记点完成粗匹配，然后设立匹配范围的约束条件，使用匹配范围的约束条件分别在参考图像和匹配图像对应的边缘点区域中划定匹配点范围，然后在匹配点范围内确定出唯一匹配点，并根据唯一匹配点的像素点坐标计算边缘点区域内匹配点对应的视差。
104、利用匹配算法对所述参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差。
对于非边缘点区域，弱纹理区域和重复纹理区域匹配错误率极高，考虑利用自适应权重AD-Census算法作为代价函数，用十字支撑自适应窗口作为滤波窗口进行代价聚合，采用WTA策略进行视差选择，采用左右一致检测、深度不连续区域边缘修正法、亚像素求精进行多过程视差优化。
具体地，针对图像中心像素点构建代价函数，一方面使用图像中心像素点对变换值的汉明窗距离构建第一代价函数，另一方面使用图像中心像素点对灰度的绝对差构建第二代价函数，然后基于融合函数将第一代价函数和第二代价函数加权汇总后得到匹配代价，利用预先配置的条件构建十字支撑自适应窗口，进行代价聚合，得到视差范围，进一步采用WTA算法在视差范围内选择具有最低代价值的像素点作为匹配得到的像素点，并根据匹配得到像素点坐标计算非边缘点区域内匹配点对应的视差。
进一步地，为了对视差值进行优化，这里还可以利用左右一致性检查剔除因噪声和遮挡导致的错误视差，并进行亚像素求精。
105、结合所述边缘点区域内匹配点对应的视差和所述非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用所述参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。
可以理解的是，视差和深度是反比关系，通过视差可计算得到匹配点的深度，这样就可以计算出匹配点的三维坐标，进一步使用匹配点的三维坐标，对拍摄得到物体的表面进行三维重建。
本申请实施例提供的视触觉传感器的三维重建方法，与目前现有方式中使用的立体匹配进行三维重建相比，本申请通过针对参考图像和匹配图像分别进行边缘检测，将参考图像和匹配图像划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域，进一步利用预先在视触觉传感器上设置的标记点对参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差，利用匹配算法对参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差，能够分区域实现立体匹配过程，以提高图像匹配速度，进一步结合边缘点区域内匹配点对应的视差和非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构，使得双目相机获取的图像实现精准像素点匹配，进而更好地完成多曲率物体的三维重建，提高了三维重建的效果。
作为本实施例中一种实现方式，具体地，在对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像的过程中，如图2所示，可以包括：
201、对视触觉传感器中双目相机进行摄像机的标定处理，得到双目相机在成像过程中涉及到的第一参数，使用所述第一参数将双目相机拍摄得到的两个图像处理为世界坐标系中的参考图像和匹配图像。
202、对视触觉传感器中双目相机进行极线校正的标定处理，得到双目相机在成像过程中涉及到的第二参数，使用所述第二参数将双目相机拍摄得到的两个图像处理为同一观察平面上的参考图像和匹配图像。
可以理解的是，上述双目相机进行标定的过程中，不但要求取双目相机中左右两个摄像机的内外参数并校正畸变，完成摄像机的标定，而且要标定左右两个摄像机之间的位置关系，完成极线校正的标定。
具体在摄像机的标定处理过程中，可以对视触觉传感器中双目相机进行摄像机的标定处理，获取双目相机在成像过程涉及的内参矩阵和外参矩阵，使用标定工具确定图像特征点之间对应的关系估计参数，利用关系估计参数对所述内参矩阵进行优化处理，利用优化处理后的内参矩阵和外参矩阵将双目相机拍摄得到的两个图像对应的图像坐标系转换至世界坐标系，得到世界坐标系中的参考图像和匹配图像。
在实际应用场景中，相机成像模型涉及四个坐标系，一个是图像像素坐标系(μ，v)，它根据图像建立，坐标原点一般建立在图像的第一个像素坐标上；第二个是图像物理坐标系O-xy，坐标原点一般建立在图像的中心像素上；第三个是相机坐标系Oc-XcYcZc，坐标原点一般是左摄像机的光心上；第四个是世界坐标系Oω-XωYωZω，坐标原点可以是任何位置。设图像坐标系原点位于(μ0，v0)像素点上，单位为mm，dx和dy分别表示每一列和每一行代表多少mm，即1piexl＝dx mm。具体相机成像模型对应坐标系之间的映射关系如图3所示，像素坐标系与世界坐标系的转化关系可以表示为：
其中，M为内参矩阵，R3×3为旋转矩阵,平移向量T3×1为目标从世界坐标系移动到相机坐标系的向量，它们由摄像机相对于场景的方向和位置决定，为外部参数，P也称为外参矩阵。
本发明实施例中，上述摄像机的标定过程能够获取到内参矩阵和畸变系数，可以进行畸变矫正，通过将源图像像素坐标系通过内参矩阵转换成相机坐标系，通过畸变参数校正图像的相机坐标，校正后通过内参矩阵将相机坐标系转换成图像坐标系，并利用插值的方式，根据源图像坐标的像素值赋值给新的图像坐标，整个坐标系转换过程如图4所示，图4中像素坐标经过二次转换得到图像坐标，图像坐标经过透视投影可得到相机坐标，相机坐标经过刚体变换可得到世界坐标。
具体在极线校正的标定过程中，可以对视触觉传感器中双目相机进行极线校正的标定处理，获取双目相机经过旋转矩阵后得到的两个成像平面，其中双目相机中一个摄像机对应成像平面的极点到无限远处，然后针对两个成像平面内像素点所处的坐标系进行尺度调整，以使得调整后两个成像平面平行且对齐，使用调整尺度对双目相机拍摄得到的两个图像进行处理，得到同一观察平面上的参考图像和匹配图像。
在实际应用场景中，上述极线校正的标定过程如图5所示，假设双目相机中两个摄像机绕着各自的光心旋转，当旋转到两个摄像机的焦平面共勉的时候，原来的图像平面Ro转换为Rn。首先，使用旋转矩阵Rrec旋转左摄像机，使得左成像平面的极点到无限远处，然后同样使用旋转矩阵Rrec旋转右摄像机，使用外参数中R继续旋转右摄像机，并对坐标系调整尺度，使得经过调整后两幅图像的二维匹配搜索变成一维，节省计算量，排除了虚假匹配点。
进一步地，通过极限校准后，可从双目相机中选取一个摄像机作为参考相机，例如，左摄像机，此时参考相机拍摄得到的图像为参考图像，另一个相机拍摄得到的图像为匹配图像，整个相机坐标系对应为参考相机的坐标系。假设点P为空间中一个物体，该物体在两个摄像机中的成像点为pl和pr，对应的横坐标分别为xl和xr。Ol和Or分别为两个摄像机的光心，b为两个摄像机之间的距离，又称为基线距离，设物体P在两幅图像的映射点的横坐标差值为视差d＝xl-xr，其深度值为Z，f为两个摄像机的焦距。具体双目测距模型如图6所示，进一步由相似三角形定理可得到如下公式：
由上述公式可知，视差和深度是反比关系，当视差接近于0时，视差的微小变化会导致较大的深度变化，所以双目测距模型与两个摄像机距离较近的物体有着较高的精度，通过双目图像立体匹配以及视差到深度的转换，完成摄像机拍摄到图像由二维到三维的转换。
考虑到参考图像和匹配图像，这里可通过对参考图像和匹配图像进行图像预处理，针对图像预处理后的参考图像和匹配图像分别进行边缘检测，其中，图像预处理包括图像灰度化处理、图像平滑滤波和图像边缘特征提取中的一种或多种相结合，通过图像预处理一方面可改善图像的视觉效果，提高图像清晰度，另一方面可使得图像变得有利于计算机的处理，便于各种特征分析。这里图像边缘特征提取具体包括：使用高斯滤波器将参考图像和匹配图像中高斯噪声滤除，通过非极大值抑制方式获取参考图像和匹配图像对应的图像边缘信息。
针对图像灰度化处理，可利用加权平均值将RGB图像转换为灰度图像。
针对图像平滑滤波，可利用非线性的中值滤波进行图像平滑，即把数字图像中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。具体中值滤波平滑图像的流程如图7所示，中值滤波器的主要功能就是让与周围像素灰度值的差比较大的像素让与周围像素值接近的值，消除孤立的噪声点。由于它不是简单的取均值，所以产生的模糊比较少，并且滤去图像中的高频噪声和随机噪声。
针对图像边缘特征提取，可利用Canny算子进行边缘提取，其思路就是先对图像选择合适的Gauss滤波器滤除高斯噪声，然后再通过非极大值抑制手段来处理得到的图像边缘信息，最后应用双阈值检测来确定真实的和潜在的边缘，具体实现步骤如下：
首先，使用高斯滤波器平滑图像，滤除高斯噪声，其表达式如下：
其中，σ为标准差，G(x,y)为高斯函数，(x,y)为图像的像素坐标。
然后，利用一阶偏导数的有限差分求取梯度的强度和方向，使用的一阶差分卷积模板为：
其中，f(x,y)表示图像的灰度值，表示卷积运算，则有：
其中，φ(x,y)、θφ分别为其幅值和其相应的方向。
再然后，施加梯度幅值的非极大值抑制，在得到全局的梯度以后，还不能完全确定边缘信息，这是需要保留下局部梯度的极大值点，同时抑制非极大值，即将非局部极大值的点进行置零以得到更细化的边缘信息，即当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。
最后，在非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘，然而，仍然存在由于噪声和颜色变化引起的一些边缘像素，为了解决这些杂散响应，必须用弱梯度值过滤边缘像素，并保留具有高梯度值的边缘像素，可以通过选择高低阈值T1、T2来实现，T1<T2，其数值的选择取决于输入图像的内容，φ表示边缘像素的梯度值，则令：
使得边缘尽可能闭合。
作为本实施例中一种实现方式，具体地，在利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差过程中，如图8所示，可以包括：
301、利用预先在视触觉传感器上设置的标记点，获取分布在边缘点区域上的标记点，按照坐标顺序针对所述分布在边缘点区域上的标记点进行匹配，以使得所述参考图像与匹配图像上标记点为具有相同顺序的像素点。
302、使用预先设立匹配范围的约束条件，在所述参考图像和匹配图像对应的边缘点区域内分别划定标记点对应的匹配范围。
303、利用所述标记点对应的匹配范围对所述参考图像和匹配图像中每个像素点进行相互匹配操作，确定所述参考图像和匹配图像中的唯一匹配点。
304、根据所述参考图像和匹配图像中的唯一匹配点对应的像素点坐标，计算边缘点区域内匹配点对应的视差。
其中，约束条件至少包括匹配点对应像素横坐标在预设视差范围内以及匹配点对应像素纵坐标在预设极限带宽度范围内、匹配点对应像素的相似灰度差分强度值在第一相似度阈值内和匹配点对应像素的相似灰度梯度方向值在第二相似度阈值内，第一相似度阈值为衡量两个像素对应灰度差分强度值相似程度的阈值，第二相似度阈值为衡量两个像素对应灰度梯度方向值相似度的阈值，两者可根据实际情况进行选取。
可以理解的是，为了便于参考图像和匹配图像中像素点匹配，这里可以利用斐波那契网格在视触觉传感器中多层软体硅胶上选定预设数量网格点，使用预设数量的网格点作为在视触觉传感器上设置的标记点，以参考图像和匹配图像对应的光心为原点，结合视触觉传感器给定的设计参数计算在多层软体硅胶未发生形变时所述标记点对应的初始深度。具体地，使用网格在多层软体硅胶上设置N个均匀分布的标记点，N的数量可根据实际需求设置，分别以两个摄像机的光心作为原点，根据视触觉传感器的设计参数，计算得到多层软体硅胶在没有发生形变时的初始深度， 完成程序初始化，然后对双目相机拍摄得到的参考图像和匹配图像分别进行Canny边缘检测，将参考图像和匹配图像分别划分为边缘点区域和非边缘点区域，最后采用数学方法的最优化原则对边缘点区域进行匹配，采用自适应权重AD+Census作为代价函数对非边缘点区域进行匹配。
在像素点对应的匹配范围过程中，可设落在边缘区域的标记点个数为M，M小于标记点数量，将其进行一一对应完成匹配，之后便能以这M个点的坐标顺序一致性约束对边缘点进行匹配，即在参考图像中像素点具有的顺序，在匹配图像中像素点也应具有同样的顺序，大大减少了搜索范围。
在设立匹配范围的约束条件过程中，可设参考图像中某一边缘点像素坐标为(μ,v)，则匹配图像中候选匹配边缘点像素坐标为(μn ′,n ’)，n＝1,2,…，满足以下水平视差以及极线带宽度的约束条件：
{(μn ′,n ’)|μ-Hmax≤μn ′≤μ＝max,-Vmax≤vn ’≤v+Vmax}
其中，Hmax是最大水平视察，Vmax为极线带宽度，由标记点的间距决定。
参考图像与匹配图像对应边缘像素有相似度的灰度差分强度值为：
|fl(μ,v)-r(μn ′,n ’)|<ε
其中，fl(μ,ν)和fr(μn ′,n ’)分别是参考图像和匹配图像中边缘点的灰度差分强度值，是衡量两者灰度差分强度值相似程度的阈值。
参考图像与匹配图像对应边缘像素有相似度的灰度梯度方向值有：
|θl(μ,v)-r(μn ′,n ’)|<ε
其中，θl(μ,ν)和θr(μn ′,n ’)分别是参考图像和匹配图像中边缘点的梯度方向值，是衡量两者梯度方向值相似程度的阈值。
具体使用预先设立匹配范围的约束条件，在参考图像和匹配图像对应的边缘点区域内分别划定像素点对应的匹配范围的过程中，可以利用像素点对应的匹配范围对参考图像和匹配图像中每个像素点进行相互匹配操作，在参考图像和匹配图像中分别获取到匹配点集合，通过小邻域连续性约束将参考图像和匹配图像中获取到的匹配点集合进行二次匹配，确定参考图像和匹配图像中的唯一匹配点，其中，相互匹配操作具体包括：针对参考图像中每个像素点，利用像素点对应的匹配范围在所述匹配图像中划定第一匹配区域，获取第一匹配区域内的每个像素点，针对匹配区域内的每个像素点，利用像素点对应的匹配范围在参考图像中划定第二匹配区域，获取第二匹配区域内的每个像素点。
在设立匹配范围的约束条件时，可使用上述水平视差以及极线带宽度的约束条件、参考图像与匹配图像对应灰度差分强度值相似程度的阈值以及参考图像与匹配图像对应梯度方向值相似程度的阈值相结合进行区域规划筛选，通过对参考图像进行搜索，对参考图像中每一边缘点(x,y)，在匹配图像中确定满足上述约束条件的候选对应边缘的匹配集合为Sl＝(μm′,vm’),m＝1,2,…}，进一步利用小邻域连续约束进行匹配，针对一对匹配的标记点，参考图像中记为A，匹配图像中记为A’。UA为以A为中心的邻域，选取边缘点a∈UA，其匹配集为Sl a＝(μn′,vn’),n＝1,2,…}，选取匹配图像的边缘点像素b∈Sl a，其匹配集为Sr b＝(μm′,vm’),m＝1,2,…}。
定义连续算子有：
其中，dAA′表示A和A’的视差，dab表示a和b的视差，根据连续性约束，当与匹配像素对相邻的像素匹配后的视差与其视差保持连续性时，T＝1，此时对应有唯一匹配点，否则，T<1。
进一步可定义目标函数如下：
即使用目标函数在匹配图像中寻找(c,d)为在匹配图像中(a,b)唯一对应的匹配点，进而完成边缘区域的匹配过程。
在本实施例中，具体地，在利用匹配算法对所述参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差过程中，如图9所示，可以包括：
401、针对所述参考图像和匹配图像的两个中心像素点，构建所述参考图像和匹配图像对应的匹配代价函数。
402、利用预先构建的十字支撑自适应窗口对所述参考图像和匹配图像对应的匹配代价函数进行代价聚合，确定所述参考图像和匹配图像形成的视差范围，在所述视差范围内选取代价值最低的中心像素点对应的视差作为非边缘点区域内匹配点对应的视差。
其中，参考图像和匹配图像对应的匹配代价函数包括第一匹配代价函数和第二匹配代价函数，具体地，可以针对参考图像和匹配图像的两个中心像素点，利用自适应权重法分别定义两个中心像素点在预设视差时的第一匹配代价函数和第二匹配代价函数，第一匹配代价函数为两个中心像素点对应变换码的汉明距离，第二匹配代价函数为两个中心像素点对应灰度值的绝对差，根据两个中心像素点在预设视差时的第一匹配代价函数和第二匹配代价函数，构建参考图像和匹配图像对应的匹配代价函数。
对于一个中心点像素(u,v)，选择大小m×n为的邻域窗口(m,n均为奇数)，其Census变换码构建过程为：
其中，表示连续的比特位连接运算；m′和n’分别为不大于m和n的一半的最大整数；I(u,v)表示邻域窗口中心像素灰度值；I(u+i,v+j)表示邻域窗口中的像素灰度值；ξ(x,y)表示两个像素灰度值的大小关系；其计算方法如下：
进一步定义第一匹配代价函数为参考图像与匹配图像对应的两个像素的Census变换值的汉明距离Ccen(u,v,d)＝aming(Ccenl(u,v),cenr(u-d,v))，以像素点和像素点的Census变化码的汉明距离作为初始匹配代价，Ccen(u,v,d)表示中心像素点在视差d时的匹配代价值，其中，Ccenl(u,v)表示参考图像中心像素点(u,v)的Census变换码，Ccenr(u-d,v)表示匹配图像中心像素点(u-d,v)的Census变换码。
进一步定义第二匹配代价函数为灰度的绝对差CAD(u,v,d)＝|IL(u,v)-IR(u-d,v)|，其中，IL(u,v)表示参考图像(u,v)在视差为d的像素灰度值，IR(u-d,v)表示匹配图像视差为d的像素灰度值。
然后定义融合函数：
通过融合函数将第一匹配代价函数与第二匹配代价函数融合，其中，C为匹配代价值，λ为控制参数，具体C的计算方法如下：
C(u,v,d)＝(CAD(u,v,d)，λAD)+(Ccen(u,v,d)，λcen)
其中，λAD和λcen分别为代价函数CAD(u,v,d)和代价函数Ccen(u,v,d)的控制参数。
可以理解的是，Census可更好的处理参考图像与匹配图像整体亮度不一致的情况，且基于窗口的方式对影像噪声更加鲁棒性，对弱纹理也有一定的鲁棒性，相对更能反映真实的相关性，但缺点是对重复的纹理会产生歧义。而基于单像素亮度差的方式可以从一定程度上缓解重复纹理的歧义性问题。但每张图像的特征都不一样，上述C的计算方式固定了Census算法和基于单像素亮度差算法的权重，所以考虑对两种算法设定权重，上述C的计算方式可调整如下：
C(u,v,d)＝αρ(CAD(u,v,d)，λAD)+(1-α)ρ(Ccen(u,v,d)，λcen)
当像素点在图像平滑区域时，对于α赋予更低的权重，使得Census变换对该区域匹配代价计算影响更大，而在图像纹理丰富即图像边缘区域，赋予α更高的权重，使得基于单像素亮度差算法对该区域匹配代价计算影响更大。
进一步具体可使用下述条件构建十字支撑自适应窗口，对代价进行聚合。
其中，D(p,pi)表示像素点p(u,v)和pi(ui,vi)的距离，τ2<τ1为阈值，l2<l1为实验所定的臂长。
最后采用WTA算法在视差范围内选择具有最低代价值的像素点作为非边缘区域内的最佳匹配点，并计算最佳匹配点对应的视差。
可以理解的是，为了保证视差的准确性，这里可以还可以利用左右一致性检查剔除因为噪声和遮挡导致的错误视差，并进行亚像素求精。
在实际应用场景中，图10示出了另一种视触觉传感器的三维重建方法的流程示意图，总体架构中，首先设计视触觉传感器，对双目相机进行标定，包括摄像机标定和极线校正，然后对拍摄得到的图像进行图像预处理，包括灰度化、中值滤波平滑图像和Canny算法进行边缘检测，再对双目相机拍摄得到的图像进行双目立体匹配，一方面利用最优化匹配边缘点区域，另一方面非边缘区域匹配，具体结合自适应权重AD-Census算法作为代价函数、利用十字支撑自适应窗口进行代价聚合、选择WTA策略计算视差以及视差优化，得到图像中匹配点对应的视差，使用图像中匹配点对应的视差进行三维重建。
进一步的，基于同一发明构思，如图11所示，本申请实施例还提供了一种视触觉传感器，具体为基于双目相机的视触觉传感器，该基于双目相机的视触觉传感器包括：多层软体硅胶、双目相机、支撑体和光源，其中，所述双目相机为两个RGB摄像头，用于获取参考图像像素点和匹配图像中对应像素点；这里视触觉传感器对应的模组结构为指尖形状，由一个半球体和一个圆柱体组成，用于计算双目相机拍摄得到双目对应像素点之间的视差，利用视差对多曲率物体的表面执行上述视触觉传感器的三维重建方法。
可以理解的是，现有的立体匹配算法主要有全局匹配算法、半全局匹配算法和局部匹配算法。但都存在着典型的立体匹配问题，如对光照、噪声等外界环境比较敏感，在视差不连续区域、无纹理/弱纹理/重复纹理区域和遮挡区域的匹配效果不好等。通过视触觉传感器可将双目相机拍摄得到的图像与硅胶变形程度相融合，可很好的解决上述问题。
进一步的，基于同一发明构思，本申请实施例还提供了一种视触觉传感器的三维重建***，所述视触觉传感器使用双目相机拍摄图像，如图12所示，所述***包括：标定单元51、划分单元52、第一匹配单元53、第二匹配单元54和重构单元55。
标定单元51，用于对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像；
划分单元52，用于针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域；
第一匹配单元53，用于利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差；
第二匹配单元54，用于利用匹配算法对所述参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差；
重构单元55，用于结合所述边缘点区域内匹配点对应的视差和所述非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用所述参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。
在具体的应用场景中，所述标定单元51包括：
第一标定模块，用于对视触觉传感器中双目相机进行摄像机的标定处理，得到双目相机在成像过程中涉及到的第一参数，使用所述第一参数将双目相机拍摄得到的两个图像处理为世界坐标系中的参考图像和匹配图像；
第二标定模块，用于对视触觉传感器中双目相机进行极线校正的标定处理，得到双目相机在成像过程中涉及到的第二参数，使用所述第二参数将双目相机拍摄得到的两个图像处理为同一观察平面上的参考图像和匹配图像。
在具体的应用场景中，所述第一标定模块，具体用于对视触觉传感器中双目相机进行摄像机的标定处理，获取双目相机在成像过程涉及的内参矩阵和外参矩阵；使用标定工具确定图像特征点之间对应的关系估计参数，利用所述关系估计参数对所述内参矩阵进行优化处理；利用优化处理后的内参矩阵和所述外参矩阵将双目相机拍摄得到的两个图像对应的图像坐标系转换至世界坐标系，得到世界坐标系中的参考图像和匹配图像。
在具体的应用场景中，所述第二标定模块，具体用于对视触觉传感器中双目相机进行极线校正的标定处理，获取双目相机经过旋转矩阵后得到的两个成像平面，其中双目相机中一个摄像机对应成像平面的极点到无限远处；针对所述两个成像平面内像素点所处的坐标系进行尺度调整，以使得调整后两个成像平面平行且对齐；使用调整尺度对双目相机拍摄得到的两个图像进行处理，得到同一观察平面上的参考图像和匹配图像。
在具体的应用场景中，所述装置还包括：
预处理单元，用于在所述对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像之后，对所述参考图像和匹配图像进行图像预处理，针对图像预处理后的参考图像和匹配图像分别进行边缘检测；
其中，所述图像预处理包括图像灰度化处理、图像平滑滤波和图像边缘特征提取中的一种或多种相结合；
所述图像边缘特征提取具体包括：使用高斯滤波器将所述参考图像和匹配图像中高斯噪声滤除，通过非极大值抑制方式获取所述参考图像和匹配图像对应的图像边缘信息。
在具体的应用场景中，所述装置还包括：
设置单元，用于在所述针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域之前，在所述视触觉传感器上选定预设数量网格点，使用所述预设数量的网格点作为在视触觉传感器上设置的标记点，以所述参考图像和匹配图像对应的光心为原点，结合视触觉传感器给定的设计参数计算在多层软体硅胶未发生形变时所述标记点对应的初始深度。
在具体的应用场景中，所述第一匹配单元53包括：
获取模块，用于利用预先在视触觉传感器上设置的标记点，获取分布在边缘点区域上的标记点，按照坐标顺序针对所述分布在边缘点区域上的标记点进行匹配，以使得所述参考图像与匹配图像上标记点为具有相同顺序的像素点；
划定模块，用于使用预先设立匹配范围的约束条件，在所述参考图像和匹配图像对应的边缘点区域内分别划定像素点对应的匹配范围，所述约束条件至少包括匹配点对应像素横坐标在预设视差范围内以及匹配点对应像素纵坐标在预设极限带宽度范围内、所述匹配点对应像素的相似灰度差分强度值在第一相似度阈值内和所述匹配点对应像素的相似灰度梯度方向值在第二相似度阈值内；
匹配模块，用于利用所述像素点对应的匹配范围对所述参考图像和匹配图像中每个像素点进行相互匹配操作，确定所述参考图像和匹配图像中的唯一匹配点；
计算模块，用于根据所述参考图像和匹配图像中的唯一匹配点对应的像素点坐标，计算边缘点区域内匹配点对应的视差。
在具体的应用场景中，所述匹配模块，具体用于利用所述像素点对应的匹配范围对所述参考图像和匹配图像中每个像素点进行相互匹配操作，在所述参考图像和匹配图像中分别获取到匹配点集合；通过小邻域连续性约束将所述参考图像和匹配图像中获取到的匹配点集合进行二次匹配，确定所述参考图像和匹配图像中的唯一匹配点；其中，所述相互匹配操作具体包括：针对所述参考图像中每个像素点，利用所述像素点对应的匹配范围在所述匹配图像中划定第一匹配区域，获取所述第一匹配区域内的每个像素点；针对所述匹配区域内的每个像素点，利用所述像素点对应的匹配范围在所述参考图像中划定第二匹配区域，获取所述第二匹配区域内的每个像素点。
在具体的应用场景中，所述第二匹配单元54包括：
构建模块，用于针对所述参考图像和匹配图像的两个中心像素点，构建所述参考图像和匹配图像对应的匹配代价函数；
确定模块，用于对所述参考图像和匹配图像对应的匹配代价函数进行代价聚合，确定所述参考图像和匹配图像形成的视差范围，在所述视差范围内选取代价值最低的中心像素点对应的视差作为非边缘点区域内匹配点对应的视差。
在具体的应用场景中，所述构建模块，具体用于针对所述参考图像和匹配图像的两个中心像素点，利用自适应权重法分别定义两个中心像素点在预设视差时的第一匹配代价函数和第二匹配代价函数，所述第一匹配代价函数为两个中心像素点对应变换码的汉明距离，所述第二匹配代价函数为两个中心像素点对应灰度值的绝对差；根据所述两个中心像素点在预设视差时的第一匹配代价函数和第二匹配代价函数，构建所述参考图像和匹配图像对应的匹配代价函数。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述任意一个实施例的视触觉传感器的三维重建方法。
所属领域的技术人员可以清楚地了解到，上述描述的***、装置、模块的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：在本申请的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本申请的保护范围。
Claims (13)
1.一种视触觉传感器的三维重建方法，其特征在于，所述视触觉传感器使用双目相机拍摄图像，所述方法包括：
对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像；
针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域；
利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差，具体预先在视触觉传感器上设置的标记点会划分至边缘点区域，所述边缘点区域使用标记点完成粗匹配，设立匹配范围的约束条件，使用所述匹配范围的约束条件分别在参考图像和匹配图像对应的边缘点区域中划定匹配点范围，在所述匹配点范围内确定出唯一匹配点，并根据所述唯一匹配点的像素点坐标计算边缘点区域内匹配点对应的视差；
利用匹配算法对所述参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差，具体针对所述参考图像和匹配图像的两个中心像素点，构建所述参考图像和匹配图像对应的匹配代价函数；对所述参考图像和匹配图像对应的匹配代价函数进行代价聚合，确定所述参考图像和匹配图像形成的视差范围，在所述视差范围内选取代价值最低的中心像素点对应的视差作为非边缘点区域内匹配点对应的视差；
结合所述边缘点区域内匹配点对应的视差和所述非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用所述参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。
2.根据权利要求1所述的方法，其特征在于，所述对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像，包括：
对视触觉传感器中双目相机进行摄像机的标定处理，得到双目相机在成像过程中涉及到的第一参数，使用所述第一参数将双目相机拍摄得到的两个图像处理为世界坐标系中的参考图像和匹配图像；
对视触觉传感器中双目相机进行极线校正的标定处理，得到双目相机在成像过程中涉及到的第二参数，使用所述第二参数将双目相机拍摄得到的两个图像处理为同一观察平面上的参考图像和匹配图像。
3.根据权利要求2所述的方法，其特征在于，所述对视触觉传感器中双目相机进行摄像机的标定处理，得到双目相机在成像过程中涉及到的第一参数，使用所述第一参数将双目相机拍摄得到的两个图像处理为世界坐标系中的参考图像和匹配图像，包括：
对视触觉传感器中双目相机进行摄像机的标定处理，获取双目相机在成像过程涉及的内参矩阵和外参矩阵；
使用标定工具确定图像特征点之间对应的关系估计参数，利用所述关系估计参数对所述内参矩阵进行优化处理；
利用优化处理后的内参矩阵和所述外参矩阵将双目相机拍摄得到的两个图像对应的图像坐标系转换至世界坐标系，得到世界坐标系中的参考图像和匹配图像。
4.根据权利要求2所述的方法，其特征在于，所述对视触觉传感器中双目相机进行极线校正的标定处理，得到双目相机在成像过程中涉及到的第二参数，使用所述第二参数将双目相机拍摄得到的两个图像处理为同一观察平面上的参考图像和匹配图像，包括：
对视触觉传感器中双目相机进行极线校正的标定处理，获取双目相机经过旋转矩阵后得到的两个成像平面，其中双目相机中一个摄像机对应成像平面的极点到无限远处；
针对所述两个成像平面内像素点所处的坐标系进行尺度调整，以使得调整后两个成像平面平行且对齐；
使用调整尺度对双目相机拍摄得到的两个图像进行处理，得到同一观察平面上的参考图像和匹配图像。
5.根据权利要求1所述的方法，其特征在于，在所述对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像之后，所述方法还包括：
对所述参考图像和匹配图像进行图像预处理，针对图像预处理后的参考图像和匹配图像分别进行边缘检测。
6.根据权利要求1所述的方法，其特征在于，在所述针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域之前，所述方法还包括：
在所述视触觉传感器上选定预设数量网格点，使用所述预设数量的网格点作为在视触觉传感器上设置的标记点，以所述参考图像和匹配图像对应的光心为原点，结合视触觉传感器给定的设计参数计算在多层软体硅胶未发生形变时所述标记点对应的初始深度。
7.根据权利要求1所述的方法，其特征在于，所述利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差，包括：
利用预先在视触觉传感器上设置的标记点，获取分布在边缘点区域上的标记点，按照坐标顺序针对所述分布在边缘点区域上的标记点进行匹配，以使得所述参考图像与匹配图像上标记点为具有相同顺序的像素点；
使用预先设立匹配范围的约束条件，在所述参考图像和匹配图像对应的边缘点区域内分别划定像素点对应的匹配范围；
利用所述像素点对应的匹配范围对所述参考图像和匹配图像中每个像素点进行相互匹配操作，确定所述参考图像和匹配图像中的唯一匹配点；
根据所述参考图像和匹配图像中的唯一匹配点对应的像素点坐标，计算边缘点区域内匹配点对应的视差。
8.根据权利要求7所述的方法，其特征在于，所述利用所述像素点对应的匹配范围对所述参考图像和匹配图像中每个像素点进行相互匹配操作，确定所述参考图像和匹配图像中的唯一匹配点，包括：
利用所述像素点对应的匹配范围对所述参考图像和匹配图像中每个像素点进行相互匹配操作，在所述参考图像和匹配图像中分别获取到匹配点集合；
将所述参考图像和匹配图像中获取到的匹配点集合进行二次匹配，确定所述参考图像和匹配图像中的唯一匹配点。
9.根据权利要求1所述的方法，其特征在于，所述针对所述参考图像和匹配图像的两个中心像素点，构建所述参考图像和匹配图像对应的匹配代价函数，包括：
针对所述参考图像和匹配图像的两个中心像素点，分别定义两个中心像素点在预设视差时的第一匹配代价函数和第二匹配代价函数；
根据所述两个中心像素点在预设视差时的第一匹配代价函数和第二匹配代价函数，构建所述参考图像和匹配图像对应的匹配代价函数。
10.一种视触觉传感器的三维重建***，所述视触觉传感器使用双目相机拍摄图像，其特征在于，所述***包括：
标定单元，用于对视触觉传感器中双目相机进行标定处理，将双目相机拍摄得到的两个图像处理为参考图像和匹配图像；
划分单元，用于针对所述参考图像和匹配图像分别进行边缘检测，划分为参考图像对应的边缘点区域和非边缘点区域、匹配图像对应的边缘点区域和非边缘点区域；
第一匹配单元，用于利用预先在视触觉传感器上设置的标记点对所述参考图像和匹配图像对应的边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算边缘点区域内匹配点对应的视差，具体预先在视触觉传感器上设置的标记点会划分至边缘点区域，所述边缘点区域使用标记点完成粗匹配，设立匹配范围的约束条件，使用所述匹配范围的约束条件分别在参考图像和匹配图像对应的边缘点区域中划定匹配点范围，在所述匹配点范围内确定出唯一匹配点，并根据所述唯一匹配点的像素点坐标计算边缘点区域内匹配点对应的视差；
第二匹配单元，用于利用匹配算法对所述参考图像和匹配图像对应的非边缘点区域进行逐点匹配，使用匹配得到的像素点坐标计算非边缘点区域内匹配点对应的视差，具体针对所述参考图像和匹配图像的两个中心像素点，构建所述参考图像和匹配图像对应的匹配代价函数；对所述参考图像和匹配图像对应的匹配代价函数进行代价聚合，确定所述参考图像和匹配图像形成的视差范围，在所述视差范围内选取代价值最低的中心像素点对应的视差作为非边缘点区域内匹配点对应的视差；
重构单元，用于结合所述边缘点区域内匹配点对应的视差和所述非边缘点区域内匹配点对应的视差，计算参考图像和匹配图像中所有匹配点的深度值，使用所述参考图像和匹配图像中所有匹配点的深度值对双目图像的表面进行三维重构。
11.一种视触觉传感器，其特征在于，包括：多层软体硅胶、双目相机、支撑体和光源，其中，所述双目相机为两个RGB摄像头，用于获取参考图像像素点和匹配图像中对应像素点；
所述视触觉传感器对应的模组结构为指尖形状，由一个半球体和一个圆柱体组成，用于计算双目相机拍摄得到双目对应像素点之间的视差，利用所述视差对多曲率物体的表面执行上述权利要求1-9中任一项所述的视触觉传感器的三维重建方法。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述视触觉传感器的三维重建方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述视触觉传感器的三维重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211596160.8A CN116129037B (zh) | 2022-12-13 | 2022-12-13 | 视触觉传感器及其三维重建方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211596160.8A CN116129037B (zh) | 2022-12-13 | 2022-12-13 | 视触觉传感器及其三维重建方法、***、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116129037A CN116129037A (zh) | 2023-05-16 |
| CN116129037B true CN116129037B (zh) | 2023-10-31 |
Family
ID=86294754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211596160.8A Active CN116129037B (zh) | 2022-12-13 | 2022-12-13 | 视触觉传感器及其三维重建方法、***、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116129037B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503570B (zh) * | 2023-06-29 | 2023-11-24 | 聚时科技(深圳)有限公司 | 图像的三维重建方法及相关装置 |
| CN117115242B (zh) * | 2023-10-17 | 2024-01-23 | 湖南视比特机器人有限公司 | 标志点的识别方法、计算机存储介质和终端设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
| WO2014044126A1 (zh) * | 2012-09-21 | 2014-03-27 | Wei Yiqun | 坐标获取装置、实时三维重建***和方法、立体交互设备 |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航***及方法 |
| CN105894499A (zh) * | 2016-03-25 | 2016-08-24 | 华南理工大学 | 一种基于双目视觉的空间物体三维信息快速检测方法 |
| CN106910222A (zh) * | 2017-02-15 | 2017-06-30 | 中国科学院半导体研究所 | 基于双目立体视觉的人脸三维重建方法 |
| CN111508068A (zh) * | 2020-04-20 | 2020-08-07 | 华中科技大学 | 一种应用于双目内窥镜图像的三维重建方法及*** |
| WO2022021912A1 (zh) * | 2020-07-31 | 2022-02-03 | 南方科技大学 | 一种低功耗立体匹配***及获取深度信息的方法 |
| CN114255286A (zh) * | 2022-02-28 | 2022-03-29 | 常州罗博斯特机器人有限公司 | 一种多视角双目视觉感知的目标尺寸测量方法 |
-
2022
- 2022-12-13 CN CN202211596160.8A patent/CN116129037B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
| WO2014044126A1 (zh) * | 2012-09-21 | 2014-03-27 | Wei Yiqun | 坐标获取装置、实时三维重建***和方法、立体交互设备 |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航***及方法 |
| CN105894499A (zh) * | 2016-03-25 | 2016-08-24 | 华南理工大学 | 一种基于双目视觉的空间物体三维信息快速检测方法 |
| CN106910222A (zh) * | 2017-02-15 | 2017-06-30 | 中国科学院半导体研究所 | 基于双目立体视觉的人脸三维重建方法 |
| CN111508068A (zh) * | 2020-04-20 | 2020-08-07 | 华中科技大学 | 一种应用于双目内窥镜图像的三维重建方法及*** |
| WO2022021912A1 (zh) * | 2020-07-31 | 2022-02-03 | 南方科技大学 | 一种低功耗立体匹配***及获取深度信息的方法 |
| CN114255286A (zh) * | 2022-02-28 | 2022-03-29 | 常州罗博斯特机器人有限公司 | 一种多视角双目视觉感知的目标尺寸测量方法 |
Non-Patent Citations (3)
| Title |
|---|
| 双目立体视觉的三维人脸重建方法;贾贝贝;阮秋琦;;智能***学报(第06期);全文 * |
| 基于Rank变换的农田场景三维重建方法;翟志强;杜岳峰;朱忠祥;郎健;毛恩荣;;农业工程学报(第20期);全文 * |
| 基于Snake模型的特定人脸三维重建方法;王宣银;潘锋;向桂山;梁冬泰;;机械工程学报(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116129037A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| WO2019170164A1 (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| WO2018127007A1 (zh) | 深度图获取方法及*** | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、***、设备及存储介质 | |
| CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
| CN114399554B (zh) | 一种多相机***的标定方法及*** | |
| CN113330486A (zh) | 深度估计 | |
| CN103106688A (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| CN112381847B (zh) | 管路端头空间位姿测量方法及*** | |
| CN113643414B (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| CN111981982A (zh) | 一种基于加权sfm算法的多向合作靶标光学测量方法 | |
| CN112288826A (zh) | 双目相机的标定方法、装置及终端 | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| Perdigoto et al. | Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems | |
| CN116309880A (zh) | 基于三维重建的物***姿确定方法、装置、设备及介质 | |
| CN112929626A (zh) | 一种基于智能手机影像的三维信息提取方法 | |
| CN112652020A (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
| US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| Sun et al. | A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines | |
| CN117152330B (zh) | 一种基于深度学习的点云3d模型贴图方法和装置 | |
| CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及*** | |
| CN116883590A (zh) | 一种三维人脸点云优化方法、介质及*** | |
| CN113436269B (zh) | 图像稠密立体匹配方法、装置和计算机设备 | |
| Otero et al. | Local iterative DLT soft-computing vs. interval-valued stereo calibration and triangulation with uncertainty bounding in 3D reconstruction | |
| CN113808070B (zh) | 一种双目数字散斑图像相关的视差测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |