CN109816724A - 基于机器视觉的三维特征提取方法及装置 - Google Patents

基于机器视觉的三维特征提取方法及装置 Download PDF

Info

Publication number
CN109816724A
CN109816724A CN201811474153.4A CN201811474153A CN109816724A CN 109816724 A CN109816724 A CN 109816724A CN 201811474153 A CN201811474153 A CN 201811474153A CN 109816724 A CN109816724 A CN 109816724A
Authority
CN
China
Prior art keywords
measured
characteristic point
dimensional feature
machine vision
extracting method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811474153.4A
Other languages
English (en)
Other versions
CN109816724B (zh
Inventor
沈震
熊刚
李志帅
彭泓力
郭超
董西松
商秀芹
王飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201811474153.4A priority Critical patent/CN109816724B/zh
Publication of CN109816724A publication Critical patent/CN109816724A/zh
Priority to PCT/CN2019/105962 priority patent/WO2020114035A1/zh
Application granted granted Critical
Publication of CN109816724B publication Critical patent/CN109816724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于机器视觉领域，具体提供一种基于机器视觉的三维特征提取方法及装置。本发明旨在解决现有技术中的三维模型重建过程复杂耗时、普及困难等问题。为此目的，本发明的基于机器视觉的三维特征提取方法的步骤包括：获取包含目标物的预设待测特征点的多角度图像；提取所述待测特征点在每个所述图像中的位置信息；根据所述待测特征点在每个所述图像中的位置信息获取所述待测特征点的空间位置信息；基于所述空间位置信息和预设的三维特征类别，计算某个待测特征点对应的第一距离信息和/或第二距离信息。通过机器视觉获取包含待测特征点的不同角度图像进而获取待测特征点的空间位置信息以便计算得到目标物的距离信息。

Description

基于机器视觉的三维特征提取方法及装置
技术领域
本发明属于机器视觉领域，具体涉及一种基于机器视觉的三维特征提取方法及装置。
背景技术
随着云制造、云计算的发展和“工业4.0”的临近，社会制造模式，即面向顾客定制生产的模式应运而生。社会制造的特点是能够将消费者的需求直接转化为产品，以社会计算理论为基础，基于移动互联网技术、社会媒体与3D打印技术，通过众包等形式让社会民众充分参与产品的全生命制造过程，实现个性化、实时化、经济化的生产和消费模式。也就是说，在社会制造中，每个消费者都可以参与产品生产全生命周期的各个阶段，包括产品的设计、制造和消费。以制鞋为例，社会制造在制鞋过程中的应用体现在用户可以根据自己的需求来进行个性化的定制与选取，这就要求能够简单、快捷、准确地获取用户的脚型三维特征。
但是，原始的手工测量能够得到的脚型参数较少，并不能准确描述脚型，只有具有制鞋行业的专业工具才能获得准确的测量结果。为使非专业人士也能获得较为准确的脚型参数以便实现鞋子的个性化定制，本发明提出了采用建立模型计算获得脚型参数的方法。由于每个人的足弓高和脚趾与脚底平面夹角都是不同的，若只获得脚长和脚宽两个特征尺寸是不能准确反映属于同一型号的不同个体脚型的差异，因此就需要对脚型进行三维模型重建来获得准确的脚型参数。目前，可以通过激光三维扫描等设备进行脚型三维模型重建，但是这种方法操作复杂耗时、硬件成本高、普及困难。这样一来，就需要一种更为简便的三维模型方法来准确获取脚型参数。
相应地，本领域需要一种新的三维模型重建方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的三维模型重建过程复杂耗时、普及困难等问题，本发明第一方面公开了一种基于机器视觉的三维特征提取方法，所述三维特征提取方法包括下列步骤：获取包含参照物及相对于所述参照物设置的目标物的预设待测特征点的多角度图像；提取所述待测特征点在每个所述图像中的位置信息；根据所述待测特征点在每个所述图像中的位置信息获取所述待测特征点的空间位置信息；基于所述空间位置信息和预设的三维特征类别，计算某个待测特征点对应的第一距离信息和/或第二距离信息；其中，所述第一距离信息是所述某个待测特征点与其他待测特征点之间的距离信息，所述第二距离信息是所述某个待测特征点与预设平面之间的垂直距离信息；所述某个待测特征点、所述其他待测特征点与所述平面均取决于所述三维特征类别。
在上述基于机器视觉的三维特征提取方法的优选技术方案中，“提取所述待测特征点在每个所述图像中的位置信息”的步骤包括：利用手动标记法获取某个所述图像中的所述待测特征点的像素位置；利用预设的特征点匹配法并且根据所获取的像素位置，提取所述待测特征点在其他图像中对应的像素位置。
在上述基于机器视觉的三维特征提取方法的优选技术方案中，“提取所述待测特征点在每个所述图像中的位置信息”的步骤包括：获取所述目标物中所述待测特征点所在区域对应的区域形状；根据所述区域形状获取所述每个图像对应的待测区域；根据所述待测特征点与所述区域形状之间的相对位置以及每个所述待测区域，获取所述待测特征点在所述每个图像中的位置信息。
在上述基于机器视觉的三维特征提取方法的优选技术方案中，“提取所述待测特征点在每个所述图像中的位置信息”的步骤包括：利用预先构建的神经网络获取所述待测特征点在每个所述图像中的位置信息；其中，所述神经网络是基于预设的训练集并利用深度学习相关算法训练的深度神经网络。
在上述基于机器视觉的三维特征提取方法的优选技术方案中，“根据所述待测特征点在每个所述图像中的位置信息获取所述待测特征点的空间位置信息”的步骤包括：利用三角化方法并且根据所述待测特征点在所述每个图像中的位置信息与相机内外参数获取所述待测特征点的欧氏位置。
在上述基于机器视觉的三维特征提取方法的优选技术方案中，“根据所述待测特征点在每个所述图像中的位置信息获取所述待测特征点的空间位置信息”的步骤包括：利用增量式SFM方法和每个所述图像中所述待测特征点的位置信息构建稀疏模型，并利用三角化方法计算所述待测特征点在世界坐标系下的空间位置信息；利用预先获取的尺度系数恢复上述步骤中得到的所述待测特征点在世界坐标系下的空间位置信息，得到所述待测特征点的真实位置。
在上述基于机器视觉的三维特征提取方法的优选技术方案中，在“利用预先获取的尺度系数恢复上述步骤中得到的所述特征点在世界坐标系下的空间位置信息，得到所述待测特征点的真实位置”之前，所述基于机器视觉的三维特征提取方法还包括：利用所述稀疏模型并根据在相机坐标系下参照物顶点的像素位置，获取在世界坐标系下所述参照物顶点的坐标，需要注意的是，世界坐标系下的顶点坐标与空间真实位置相差尺度系数λ；根据在世界坐标系下所述参照物顶点的坐标以及参照物顶点的空间真实位置，计算该尺度系数λ。
在上述基于机器视觉的三维特征提取方法的优选技术方案中，所述三角化方法包括：根据所述相机内外参数与所述待测特征点在所述每个图像中的位置信息，获取所述待测特征点的射影空间位置，以及对所述射影空间位置进行齐次化处理得到所述待测特征点的欧氏空间位置。
本领域技术人员可以理解的是，在本发明的技术方案中，通过获取目标物的不同角度图像并提取待测特征点在图像中的位置，然后利用三角化方法或者稀疏重建问题求解来计算待测特征点在世界坐标系下的空间位置，根据计算得到的待测特征点的空间位置信息计算特征点之间的第一距离信息和/或第二距离信息。本发明的三维特征提取方法仅通过拍照设备获取的多角度图像即可快速确定目标物的三维特征点，进而计算得到目标物的距离信息，无需使用激光三维扫描等高成本、操作复杂的硬件设备，简化了三维重建过程。
在本发明的优选技术方案中，通过手动标记或者自动方法确定待测特征点在每一幅图像中的像素位置，其中自动方法包括根据待测特征点所在区域对应的区域形状再利用每个图像的待测区域或者利用预先构建的神经网络来获取待测特征点在每个图像中的位置信息。然后利用参照物自动标定相机参数再三角化或者通过稀疏重建问题求解来求取待测特征点的真实空间位置，不需要对整个目标物的模型重建，能够减少计算量，简化模型建立过程。最后基于待测特征点的真实空间位置以及预设的三维特征类别，计算待测特征点对应的距离信息。
本发明第二方面提供了一种存储装置，所述存储装置存储有多条程序，所述程序适于由处理器加载以执行前述任一项所述的基于机器视觉的三维特征提取方法。
需要说明的是，该存储装置具有前述的基于机器视觉的三维特征提取方法的所有技术效果，在此不再赘述。
本发明第三方面还提供了一种控制装置，所述控制装置包括处理器和存储设备，所述存执设备适于存储多条程序，所述程序适于由所述处理器加载以执行前述任一项所述的基于机器视觉的三维特征提取方法。
需要说明的是，该控制装置具有前述的基于机器视觉的三维特征提取方法的所有技术效果，在此不再赘述。
附图说明
下面参照附图并结合脚型来描述本发明的基于机器视觉的三维特征提取方法。附图中：
图1是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的主要步骤流程图；
图2是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的以圆形为模板使用广义霍夫变换检测特征点的示意图；
图3是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的以圆形为模板使用广义霍夫变换检测特征点的示意图；
图4是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的以圆形为模板使用广义霍夫变换检测特征点的示意图；
图5是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的以直线为模板使用广义霍夫变换检测参照物的示意图；
图6是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的三角化过程求解特征点空间位置信息的过程示意图；
图7是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的稀疏重建过程求解特征点空间位置信息的过程示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。例如，虽然本发明是以脚型为例来描述的，但是还可以是其他可以通过建立模型转化为产品的目标物，如衣服。另外，本发明是以A4纸作为参照物来进行描述的，但是还可以是其他已知尺寸的物体(如地板砖)。本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合。
需要说明的是，在本发明的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
下面结合附图对本发明提供的基于机器视觉的脚型三维特征提取方法进行说明。
在本发明的一种具体实施方式中，将脚型的三维特征参数的提取计算过程转化为确定对应特征点的空间位置，然后利用欧氏距离公式计算得到需要测量的脚型的特征参数。其中，可以得到的脚型的基本参数包括：脚长、脚围、脚背围高度、弓上弯点高度、脚宽、拇指高度、足后跟凸度点高度、足外踝骨中心点高度等制鞋所需的脚型参数信息。下面以获取脚长、脚宽以及脚踝点高度三个参数为例来说明了本发明的基于机器视觉的脚型三维特征提取方法的可能的实现方式。
首先参照图1，图1示例性地示出了本发明实施例中基于机器视觉的脚型三维特征提取方法的主要步骤，本发明中基于机器视觉的脚型三维特征提取方法可以包括下述步骤：
步骤S100，获取包含目标物的预设待测特征点的多角度图像。
具体地，将脚正放在A4纸上，利用移动拍照设备，如照相机，拍摄多个角度的脚型的图像，以便能够充分表现脚型特征，能够获取足够的待测特征点，如最长脚趾顶点和脚后跟凸点以便计算待测脚型的长度，又如指拇指球外侧点和尾趾根部外侧点以便计算待测脚型的宽度，又如脚踝点以便计算脚踝点的高度等。需要说明的是，拍摄的脚型的图像的数量应至少在三张以上，包含待测特征点的图像的数量越多，根据待测特征点计算出来的脚型参数越准确。
步骤S200，提取待测特征点在每个图像中的位置信息。
具体地，在本实施例的一个优选实施方案中图1所示的三维特征提取方法可以按照以下步骤获取待测特征点在每个图像中的像素位置(x，y)，具体为：
首先通过手动标记待测特征点在某个图像中的像素位置，然后利用特征点匹配方法，如尺度不变特征转换(Scale Invariant Feature Transform，SIFT)或者迭代最近点(Iterative Closest Point，ICP)等，找到该待测特征点在其他图像中对应的像素位置。以测量脚踝的高度为例，选取包含脚踝点的一个图像，手动标记脚踝点在该图像中的像素位置，然后使用SIFT或者ICP等特征点匹配方法找到脚踝点在包含脚踝点的其他角度的图像中对应的像素位置。通过这种方法可以快速找到待测特征点在所有图像中对应的像素位置而不需要对每个图像都进行特征点的手动标记，提高了获取特征点的像素位置的效率。
可选的，在本实施例的另一个优选实施方案中图1所示的三维特征提取方法还可以按照以下步骤获取待测特征点在每个图像中的像素位置(x，y)，具体为：
根据待测特征点的所在区域形状的唯一性，利用特征检测的方法，如广义霍夫变换检测特定形状进而确定每个图像中的待测特征点的位置信息。具体而言，首先确定待测特征点所在区域对应的区域形状，然后根据该区域形状并利用广义霍夫变换自动找到待测特征点在每个图像中对应的待测区域，再根据待测特征点与该区域形状之间的相对位置以及在每个图像中的待测区域得到待测特征点在每个图像中的位置信息。下面以圆形为模板并利用广义霍夫变换找到特征点为例来说明的可能的实现方式。
参照图2、图3和图4，图2是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的以圆形为模板使用广义霍夫变换检测特征点的示意图；图3是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的以圆形为模板使用广义霍夫变换检测特征点的示意图；图4是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的以圆形为模板使用广义霍夫变换检测特征点的示意图，图2、图3和图4中分别示出了不同角度下以脚踝点所在区域是圆形为模板来利用广义霍夫变换找到特征点的具体实现方式。如图2、图3和图4所示，脚踝中心所在的脚踝是圆形的，从图中可以看出，这个圆形轮廓在脚型中是唯一的，这样一来，在利用广义霍夫变换时，以圆形为模板，在图像中自动找到圆形的位置(如图2-4中虚线所示的圆形模板)，该位置即是脚踝所在的位置，搜索到圆形位置的中心G点即是待测特征点脚踝点在图像中的位置。
可以理解的是，在确定最长脚趾顶点的位置信息时，可以以最长脚趾的轮廓作为广义霍夫变换的模板，在图像中进行搜索，找到脚趾轮廓后，通过该轮廓与最长脚趾顶点的相对位置来确定该特征点的像素位置。
可选的，在本实施例的另一个优选实施方案中图1所示的三维特征提取方法还可以按照以下步骤获取待测特征点在每个图像中的像素位置(x，y)，具体为：
基于足够量标记好的脚型的特征点的数据样本并利用深度学习算法构建深度神经网络，然后利用该神经网络获取待测特征点在每个图像中的位置信息。具体地，训练该神经网络时，输入的是包含待测特征点的图像数据，输出的是待测特征点在图像中的像素位置(x，y)，其中，输出包括真实输出和期望输出，网络的最后全连接层真实输出的是待测特征点在该图像中对应的像素位置(x，y)，网络的期望输出的是待测特征点在图像中标记好的实际像素位置。然后利用网络的真实输出与期望输出产生的误差反向训练整个网络，迭代训练直到网络收敛，神经网络训练完毕后输入某个包含待测特征点的待测图像，神经网络自动输出神经网络自动输出在该图像中的像素位置。以获取脚踝点的像素位置为例，选择足够量的标记好脚踝点的图像样本作为训练集，并搭建深层神经网络，然后用训练集训练该深度神经网络，训练完毕后，输入一个包含脚踝点的待测图像，神经网络自动输出脚踝点在该图像中的像素位置。可以理解的是，确定其他特征点的像素位置时，使用与该特征点对应的图像数据样本训练预先搭建的深度神经网络，然后输入包含该特征点的待测图像从而得到该特征点在图像中的像素位置。
步骤S300，根据待测特征点在每个图像中的位置信息获取待测特征点的空间位置信息。
具体地，在本实施例的一个优选实施方案中图1所示的三维特征提取方法可以按照以下步骤获取待测特征点的空间位置信息，具体为：
首先利用参照物标定相机参数，然后利用三角化方法计算待测特征点的空间位置信息。具体而言，以A4纸作为参照物为例，将脚型放置在A4纸上，利用摄像设备，如相机获取多个不同角度的图像，这些不同角度的图像中包含了A4纸的轮廓。利用这些不同角度的图像来标定相机，确定相机内参数矩阵K，外参数相对世界坐标系旋转矩阵R、平移矩阵t。然后根据步骤S200得到的待测特征点在图像中的像素位置(x，y)，并利用三角化方法以及齐次化求解待测特征点在世界坐标系下的空间位置信息(X，Y，Z)。下面结合图5和图6来说明通过三角化方法获取特征点真实空间位置的可能的实现方式。
参照图5，图5是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的以直线为模板使用广义霍夫变换检测参照物的示意图。如图5所示，利用直线模板并利用随机霍夫变换检测图像中的A4纸的边缘直线。可以看出，检测到四条边缘直线，各直线两两相交，交点即为A4纸的四个顶点(A、B、C、D)的像素位置(xi，yi)，i＝1，2，3，4。继续参照图2、图3和图4，由空间几何变换知识可得A点在欧氏空间和射影空间的如下关系：
公式(1)中参数K、R和t分别是相机内参数矩阵、相机相对世界坐标系的旋转矩阵和平移矩阵([R|t]合称为相机外参数矩阵)。其中，符号“|”代表增广矩阵，r1、r2、r3分别是相机相对世界坐标系的旋转矩阵R的展开形式，由矩阵乘法可知，r3与0元素相乘消掉。
其中，是A4纸顶点A的像素位置，(XA，YA，ZA)T是其在世界坐标系下的真实位置，K[R|t]是相机的内外参数。单应矩阵H＝K[r1r2|t]有8个自由度，将世界坐标系建立在A4纸的顶点A上，则A4纸的四个顶点的世界坐标系为(0，0，0)，(X，0，0)，(0，Y，0)，(X，Y，0)，其中，X＝210mm，Y＝297mm。每个顶点都能写成式(1)形式以构造两组线性方程。因此，四组顶点可以构建8组线性方程，通过直接线性变换(Direct Linear Transform，DLT)方式来求解H。
由于获取三张照片的角度不同，因而三张照片的相机位姿不同，按照上述同样方法可以得到世界坐标系在相机中的三组单应矩阵H1，H2，H3。
从单应矩阵H中可求得K，由于H＝[h1 h2 h3]＝K[r1 r2|t]，因此可得：
K-1[h1 h2 h3]＝[r1 r2|t] (2)
公式(2)中参数K-1、R、t和H分别是相机内参数矩阵的逆矩阵、相机相对世界坐标系旋转矩阵、平移矩阵和单应矩阵。其中，r1、r2分别是通过两张不同角度的图像得到的相机外参数相对世界坐标系的旋转矩阵，h1、h2、h3分别是通过三张不同角度的图像得到的相对世界坐标系在相机中的三组单应矩阵。
其中，R＝[r1 r2 r3]为旋转矩阵，具有正交性质，即：r1 Tr2＝0且‖r1‖＝‖r2‖＝1。因此，可以得到：h1 TK-TK-1h2＝0，进而可以得到：
h1 TK-TK-1h1＝h2 TK-TK-1h2 (3)
公式(3)中参数K-T和K-1分别是相机内参数矩阵的转置矩阵的正交矩阵和逆矩阵，h1、h2分别是通过其中两张不同角度的图像得到的相对世界坐标系在相机中的两组单应矩阵，h1 T、h2 T是单应矩阵h1、h2的转置矩阵，由上述可得，每两张图像可以获得两个相机的内参数的约束方程。
相机内参数矩阵K是上三角矩阵，w＝K-TK-1是对称阵，根据图2、图3和图4的三个不同角度的图像并通过DLT线性求解出w，进而通过正交分解可求解得出K。根据公式(1)可知，[r1 r2|t]＝K-1[h1 h2 h3]，结合前述求解得出的h1、h2、h3以及K，可以求解得出r1、r2、t。由旋转矩阵的正交性得到r3＝r1×r2，因此R＝[r1 r2 r3]。由该方法得到拍摄图2、图3和图4时的相机的内外参数K[R1|t1]、K[R2|t2]、K[R3|t3]。
参照图6，图6是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的三角化过程求解特征点空间位置信息的过程示意图。如图6所示，图6中示出了以图3和图4(即Image1和Image2)中的脚踝点G为例的三角化过程，根据步骤S200中得到的脚踝点G在Image1和Image2中的像素位置x1和x2，以及上述步骤中求得的相机的内外参数P1＝K1[R1|t1]、P2＝K2[R2|t2]，依次进行重投影误差平方和最小化min∑i‖PiX-xi‖，从而得到待测特征点在射影空间的位置X＝(M，N，O，w)，其中，P1、P2分别是根据标定方法得到的相机拍摄Image1和Image2两张图像时的内外参数，K1、K2分别是相机拍摄Image1和Image2两张图像时的相机内参数矩阵，R1、R2分别是相机拍摄Image1和Image2两张图像时的相对世界坐标系的旋转矩阵，t1、t2分别是平移矩阵。最后，通过齐次化射影空间坐标，即可得到待测特征点G的欧氏空间位置X＝(M/w，N/w，O/w)＝(X，Y，Z)，其中，M，N，O，w分别是特征点G在射影空间下的位置坐标。
可选的，在本实施例的另一个优选实施方案中图1所示的三维特征提取方法还可以按照以下步骤获取待测特征点的真实空间位置，具体为：
将三维重建问题转换成待测特征点的稀疏重建问题，如利用增量式SFM方法构建稀疏模型并利用三角化方法来解决稀疏重建问题。具体而言，根据步骤S200得到的待测特征点在多张图像中的像素位置(x，y)，与上一实施方案不同的是利用增量式SFM方法来直接求解相机内参数矩阵K、相机旋转矩阵R、相对与世界坐标的平移量t、待测特征点在世界坐标系下的坐标λ(X，Y，Z)，略去了用参照物标定相机过程，然后使用已知规格的参照物确定尺度系数λ，进而得到特征点的真实空间位置坐标(X，Y，Z)。下面结合附图7来说明利用增量式SFM方法来解决稀疏重建问题的可能的实现方式，以3个不同角度的图像为例。
参照图7，图7是本发明实施例中一种基于机器视觉的脚型三维特征提取方法的稀疏重建过程求解特征点空间位置信息的过程示意图。如图7所示，利用增量式SFM方法来解决稀疏重建问题的步骤具体包括：
步骤1：在3个不同角度的图像中随机挑选两张图像Image1和Image2以确定初始图像对，利用增量式SFM方法计算拍摄图像Image1和Image2的相机的内外参数的初始值[R|t]矩阵：利用图像Image1和Image2中的5组特征点对(最长脚趾顶点和脚后跟凸点、指拇指球外侧点和尾趾根部外侧点、脚踝点)，利用5点法分别计算图像Image1和Image2对应的本质矩阵E1和E2，其中E＝[R|t]，可以从本质矩阵E中分解出相机旋转矩阵R1、R2和相对于世界坐标的平移量t1、t2矩阵。然后，结合步骤S200中得到的在相机坐标系下的待测特征点在图像Image1和Image2中的像素位置，构建初始稀疏模型；
步骤2：根据步骤1的中构建的初始稀疏模型，并且利用三角化方法计算待测特征点在图像Image1和Image2中的世界坐标系下的位置坐标λ(X1，Y1，Z1)和λ(X2，Y2，Z2)；
步骤3：将图像Image3在步骤S200中得到的相机坐标系下待测特征点的像素位置输入步骤2的得到的初始稀疏模型中，可以重新获取相机内外参数[R|t]矩阵，即相机旋转矩阵R3和相对于世界坐标的平移量t3，并且利用该相机内外参数修正初始稀疏模型；
步骤4：根据步骤3修正后的稀疏模型，并且利用三角化方法计算待测特征点在图像Image3中的世界坐标系下的空间位置坐标λ(X3，Y3，Z3)；
步骤5：利用捆绑调整(Bundle Adjustment,BA)方法对步骤2和4中得到的特征点的位置坐标进行修正，得到优化后的稀疏模型。
其中，步骤5中对待测特征点在剩余其他图像中得到不同的坐标位置反复进行捆绑调整，直至前后两次计算得到的待测特征点的坐标λ(X，Y，Z)的误差小于等于预设的阈值。
虽然本发明仅提供了利用增量式SFM方法来求解三个图像中待测特征点的空间位置信息这一种具体实施方案，但是本领域技术人员可以理解的是，本发明提供的增量式SFM方法还可以用来求解多个不同角度的图像，在利用增量式SFM方法构建稀疏模型的过程中，反复代入新图像中待测特征点在相机坐标系下的像素位置信息，重新获取相机内外参数并且利用该相机内外参数修正稀疏模型，直至得到所有的图像都被添加至稀疏模型。可以理解的是，获取的图像的不同角度越多，迭代计算的次数就越多，得到的相机内外参数也就越精确，根据其构建的稀疏模型计算得到的待测特征点在世界坐标系下的空间位置信息也就越精确。
步骤6：以图4中的A点为坐标原点，根据步骤S200中得到的A4纸的顶点D在相机坐标系下的像素位置信息，再利用步骤5中得到的稀疏模型计算得到顶点D的空间坐标为(M，N，0)，而顶点D的真实的空间位置为(210mm，297mm，0)，因此，可以得到尺度系数λ＝210mm/M＝297mm/N。再结合步骤5中得到的待测特征点在世界坐标系下的空间坐标λ(X，Y，Z)，除以尺度系数λ得到待测特征点的真实空间位置(X，Y，Z)。
步骤S400，基于空间位置信息和预设的三维特征类别，计算某个待测特征点对应的第一距离信息和/或第二距离信息。
需要说明的是，第一距离信息是某个待测特征点与其他待测特征点之间的距离信息，如长度，第二距离信息是某个待测特征点与预设平面之间的垂直距离信息，如高度。
具体地，以脚型为例，根据步骤S300中计算得到的五个待测特征点的空间位置信息，如，最长脚趾顶点为(X1，Y1，Z1)、脚后跟凸点为(X2，Y2，Z2)、指拇指球外侧点为(X3，Y3，Z3)、尾趾根部外侧点为(X4，Y4，Z4)、脚踝点为(X5，Y5，Z5)，利用距离公式，如欧氏距离公式可以得到如下的计算公式：
公式(4)中参数L、W和H分别是脚长、脚宽和脚踝高度。
这样一来，脚长、脚宽以及脚踝点高度三个参数即可求出。虽然本发明仅提供了通过提取三维特征点来计算脚长、脚宽以及脚踝点高度三个参数这一种具体实施方案，但是本领域技术人员可以理解的是，本发明提供的三维特征提取方法还可以计算其他的脚型参数，如计算脚背高度，此时，不同角度的图像中均需包含特征点脚背点，然后依次根据上述实施例中所述的本发明的三维特征提取方法的步骤来计算脚背高度。
综上所述，在本发明的优选技术方案中，采用摄像设备获取包含脚型的最长脚趾顶点、脚后跟凸点、指拇指球外侧点、尾趾根部外侧点以及脚踝点五个待测特征点的五个不同角度的图像，通过手动标记或者自动方法确定每个待测特征点在每一幅图像中的像素位置信息，然后利用手动标定相机参数再三角化或者通过稀疏重建问题求解来求取待测特征点的真实空间位置，不需要对整个目标物的模型重建，能够减少计算量，简化模型建立过程。最后基于五个待测特征点的空间位置，利用欧氏距离公式，从而能够计算得到脚长、脚宽以及脚踝点高度三个脚型参数。依次类推，获取不同特征点的不同角度的图像，亦可计算得到该特征点对应的脚型参数，如获取包含脚背点的不同角度的图像，根据上述步骤可以计算得到脚背点的空间位置信息，从而计算得到脚背高度这个参数。
进一步地，基于上述方法实施例，本发明还提供了一种存储装置，该存储装置中存储有多条程序，该程序可以适用于由处理器加载以执行上述方法实施例所述的基于机器视觉的三维特征提取方法。
更进一步地，基于上述方法实施例，本发明还提供了一种控制装置，该控制装置包括处理器和存储设备，其中，存储设备可以适用于存储多条程序，该程序能够适用于由所述处理器加载以执行上述方法实施例所述的基于机器视觉的三维特征提取方法。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的三维特征提取方法，其特征在于，所述三维特征提取方法包括下列步骤：
获取包含参照物及相对于所述参照物设置的目标物的预设待测特征点的多角度图像；
提取所述待测特征点在每个所述图像中的位置信息；
根据所述待测特征点在每个所述图像中的位置信息获取所述待测特征点的空间位置信息；
基于所述空间位置信息和预设的三维特征类别，计算某个待测特征点对应的第一距离信息和/或第二距离信息；
其中，所述第一距离信息是所述某个待测特征点与其他待测特征点之间的距离信息，所述第二距离信息是所述某个待测特征点与预设平面之间的垂直距离信息；所述某个待测特征点、所述其他待测特征点与所述平面均取决于所述三维特征类别。
2.根据权利要求1所述的基于机器视觉的三维特征提取方法，其特征在于，“提取所述待测特征点在每个所述图像中的位置信息”的步骤包括：
利用手动标记法获取某个所述图像中的所述待测特征点的像素位置；
利用预设的特征点匹配法并且根据所获取的像素位置，提取所述待测特征点在其他图像中对应的像素位置。
3.根据权利要求1所述的基于机器视觉的三维特征提取方法，其特征在于，“提取所述待测特征点在每个所述图像中的位置信息”的步骤包括：
获取所述目标物中所述待测特征点所在区域对应的区域形状；
根据所述区域形状获取所述每个图像对应的待测区域；
根据所述待测特征点与所述区域形状之间的相对位置以及每个所述待测区域，获取所述待测特征点在所述每个图像中的位置信息。
4.根据权利要求1所述的基于机器视觉的三维特征提取方法，其特征在于，“提取所述待测特征点在每个所述图像中的位置信息”的步骤包括：
利用预先构建的神经网络获取所述待测特征点在每个所述图像中的位置信息；
其中，所述神经网络是基于预设的训练集并利用深度学习相关算法训练的深度神经网络。
5.根据权利要求1-4中任一项所述的基于机器视觉的三维特征提取方法，其特征在于，“根据所述待测特征点在每个所述图像中的位置信息获取所述待测特征点的空间位置信息”的步骤包括：
利用三角化方法并且根据所述待测特征点在所述每个图像中的位置信息与相机内外参数获取所述待测特征点的欧氏位置。
6.根据权利要求1-4中任一项所述的基于机器视觉的三维特征提取方法，其特征在于，“根据所述待测特征点在每个所述图像中的位置信息获取所述待测特征点的空间位置信息”的步骤包括：
利用增量式SFM方法和每个所述图像中所述待测特征点的位置信息构建稀疏模型，并利用三角化方法计算所述待测特征点在世界坐标系下的空间位置信息；
利用预先获取的尺度系数恢复上述步骤中得到的所述待测特征点在世界坐标系下的空间位置信息，得到所述待测特征点的真实位置。
7.根据权利要求6所述的基于机器视觉的三维特征提取方法，其特征在于，在“利用预先获取的尺度系数恢复上述步骤中得到的所述特征点在世界坐标系下的空间位置信息，得到所述待测特征点的真实位置”之前，所述基于机器视觉的三维特征提取方法还包括：
利用所述稀疏模型并根据在相机坐标系下参照物顶点的像素位置，获取在世界坐标系下所述参照物顶点的空间位置；
根据在世界坐标系下所述参照物顶点的空间位置以及参照物顶点的真实位置，计算尺度系数。
8.根据权利要求7所述的基于机器视觉的三维特征提取方法，其特征在于，所述三角化方法包括：
根据所述相机内外参数与所述待测特征点在所述每个图像中的位置信息，获取所述待测特征点的射影空间位置，以及
对所述射影空间位置进行齐次化处理得到所述待测特征点的欧氏位置。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载以执行权利要求1-8中任一项所述的基于机器视觉的三维特征提取方法。
10.一种控制装置，包括处理器和存储设备，所述存储设备适于存储多条程序，其特征在于，所述程序适于由所述处理器加载以执行权利要求1-8中任一项所述的基于机器视觉的三维特征提取方法。
CN201811474153.4A 2018-12-04 2018-12-04 基于机器视觉的三维特征提取方法及装置 Active CN109816724B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811474153.4A CN109816724B (zh) 2018-12-04 2018-12-04 基于机器视觉的三维特征提取方法及装置
PCT/CN2019/105962 WO2020114035A1 (zh) 2018-12-04 2019-09-16 基于机器视觉的三维特征提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811474153.4A CN109816724B (zh) 2018-12-04 2018-12-04 基于机器视觉的三维特征提取方法及装置

Publications (2)

Publication Number Publication Date
CN109816724A true CN109816724A (zh) 2019-05-28
CN109816724B CN109816724B (zh) 2021-07-23

Family

ID=66601919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811474153.4A Active CN109816724B (zh) 2018-12-04 2018-12-04 基于机器视觉的三维特征提取方法及装置

Country Status (2)

Country Link
CN (1) CN109816724B (zh)
WO (1) WO2020114035A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110133443A (zh) * 2019-05-31 2019-08-16 中国科学院自动化研究所 基于平行视觉的输电线路部件检测方法、***、装置
CN110223383A (zh) * 2019-06-17 2019-09-10 重庆大学 一种基于深度图修补的植物三维重建方法及***
CN110796705A (zh) * 2019-10-23 2020-02-14 北京百度网讯科技有限公司 误差消除方法、装置、设备及计算机可读存储介质
WO2020114035A1 (zh) * 2018-12-04 2020-06-11 中国科学院自动化研究所 基于机器视觉的三维特征提取方法及装置
CN112070883A (zh) * 2020-08-28 2020-12-11 哈尔滨理工大学 一种基于机器视觉的3d打印过程三维重建方法
CN114841959A (zh) * 2022-05-05 2022-08-02 广州东焊智能装备有限公司 一种基于计算机视觉的自动焊接方法及***

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487979B (zh) * 2020-11-30 2023-08-04 北京百度网讯科技有限公司 目标检测方法和模型训练方法、装置、电子设备和介质
CN112541936B (zh) * 2020-12-09 2022-11-08 中国科学院自动化研究所 执行机构操作空间视觉信息确定方法及***
CN114113163B (zh) * 2021-12-01 2023-12-08 北京航星机器制造有限公司 一种基于智能机器人的自动化数字射线检测装置和方法
CN115112098B (zh) * 2022-08-30 2022-11-08 常州铭赛机器人科技股份有限公司 一种单目视觉的一维二维测量方法
CN116672082B (zh) * 2023-07-24 2024-03-01 苏州铸正机器人有限公司 一种手术导航标尺的导航配准方法及装置
CN118010751A (zh) * 2024-04-08 2024-05-10 杭州汇萃智能科技有限公司 一种用于工件缺陷检测的机器视觉检测方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04349583A (ja) * 1991-05-27 1992-12-04 Nippon Telegr & Teleph Corp <Ntt> 一般化ハフ変換回路
WO2002025592A2 (en) * 2000-09-22 2002-03-28 Hrl Laboratories, Llc Sar and flir image registration method
CN102157013A (zh) * 2011-04-09 2011-08-17 温州大学 由多个相机同时摄取的多幅图像全自动重建脚型三维表面的***
CN102354457A (zh) * 2011-10-24 2012-02-15 复旦大学 基于广义霍夫变换的交通信号灯位置检测方法
CN102376089A (zh) * 2010-12-09 2012-03-14 深圳大学 一种标靶校正方法及***
CN105184857A (zh) * 2015-09-13 2015-12-23 北京工业大学 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN106127258A (zh) * 2016-07-01 2016-11-16 华中科技大学 一种目标匹配方法
JP2017191022A (ja) * 2016-04-14 2017-10-19 有限会社ネットライズ 三次元点群データに実寸法を付与する方法とそれを用いた管路等の位置測定
CN107767442A (zh) * 2017-10-16 2018-03-06 浙江工业大学 一种基于Kinect和双目视觉的脚型三维重建与测量方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7580546B2 (en) * 2004-12-09 2009-08-25 Electronics And Telecommunications Research Institute Marker-free motion capture apparatus and method for correcting tracking error
CN106204727A (zh) * 2016-07-11 2016-12-07 北京大学深圳研究生院 一种足部三维扫描重建的方法及装置
CN108305286B (zh) * 2018-01-25 2021-09-07 哈尔滨工业大学深圳研究生院 基于颜色编码的多目立体视觉脚型三维测量方法、***和介质
CN109816724B (zh) * 2018-12-04 2021-07-23 中国科学院自动化研究所 基于机器视觉的三维特征提取方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04349583A (ja) * 1991-05-27 1992-12-04 Nippon Telegr & Teleph Corp <Ntt> 一般化ハフ変換回路
WO2002025592A2 (en) * 2000-09-22 2002-03-28 Hrl Laboratories, Llc Sar and flir image registration method
CN102376089A (zh) * 2010-12-09 2012-03-14 深圳大学 一种标靶校正方法及***
CN102157013A (zh) * 2011-04-09 2011-08-17 温州大学 由多个相机同时摄取的多幅图像全自动重建脚型三维表面的***
CN102354457A (zh) * 2011-10-24 2012-02-15 复旦大学 基于广义霍夫变换的交通信号灯位置检测方法
CN105184857A (zh) * 2015-09-13 2015-12-23 北京工业大学 基于点结构光测距的单目视觉重建中尺度因子确定方法
JP2017191022A (ja) * 2016-04-14 2017-10-19 有限会社ネットライズ 三次元点群データに実寸法を付与する方法とそれを用いた管路等の位置測定
CN106127258A (zh) * 2016-07-01 2016-11-16 华中科技大学 一种目标匹配方法
CN107767442A (zh) * 2017-10-16 2018-03-06 浙江工业大学 一种基于Kinect和双目视觉的脚型三维重建与测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUN SHEN等: ""Trinocular stereovision by generalized Hough transform"", 《INTELLIGENT ROBOTS AND COMPUTER VISION XIV: ALGORITHMS, TECHNIQUES, ACTIVE VISION, AND MATERIALS HANDLING》 *
ZHU T等: ""A generalized Hough transform template and its applications in computer vision"", 《JOURNAL OF COMPUTATIONAL INFORMATION SYSTEMS》 *
史传飞等: ""面向大型装备的工业摄影测量技术及实现"", 《航空制造技术》 *
秦绪功: ""低成本多目立体视觉脚型三维测量方法研究"", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020114035A1 (zh) * 2018-12-04 2020-06-11 中国科学院自动化研究所 基于机器视觉的三维特征提取方法及装置
CN110133443A (zh) * 2019-05-31 2019-08-16 中国科学院自动化研究所 基于平行视觉的输电线路部件检测方法、***、装置
CN110133443B (zh) * 2019-05-31 2020-06-16 中国科学院自动化研究所 基于平行视觉的输电线路部件检测方法、***、装置
CN110223383A (zh) * 2019-06-17 2019-09-10 重庆大学 一种基于深度图修补的植物三维重建方法及***
CN110796705A (zh) * 2019-10-23 2020-02-14 北京百度网讯科技有限公司 误差消除方法、装置、设备及计算机可读存储介质
CN112070883A (zh) * 2020-08-28 2020-12-11 哈尔滨理工大学 一种基于机器视觉的3d打印过程三维重建方法
CN114841959A (zh) * 2022-05-05 2022-08-02 广州东焊智能装备有限公司 一种基于计算机视觉的自动焊接方法及***
CN114841959B (zh) * 2022-05-05 2023-04-04 广州东焊智能装备有限公司 一种基于计算机视觉的自动焊接方法及***

Also Published As

Publication number Publication date
CN109816724B (zh) 2021-07-23
WO2020114035A1 (zh) 2020-06-11

Similar Documents

Publication Publication Date Title
CN109816724A (zh) 基于机器视觉的三维特征提取方法及装置
CN112002014B (zh) 面向精细结构的三维人脸重建方法、***、装置
CN104392426B (zh) 一种自适应的无标志点三维点云自动拼接方法
Bogo et al. FAUST: Dataset and evaluation for 3D mesh registration
Bernardini et al. The 3D model acquisition pipeline
US6664956B1 (en) Method for generating a personalized 3-D face model
CN106709947A (zh) 一种基于rgbd相机的三维人体快速建模***
WO2015188684A1 (zh) 三维模型重建方法与***
CN107767442A (zh) 一种基于Kinect和双目视觉的脚型三维重建与测量方法
JP2001283229A (ja) ３次元空間内の物体の位置及び向きを計算する方法
US20170053422A1 (en) Mobile device human body scanning and 3d model creation and analysis
CN102222357B (zh) 基于图像分割和网格细分的脚型三维表面重建方法
CN105608737B (zh) 一种基于机器学习的人体足部三维重建方法
CN104487999B (zh) 姿势估计装置和姿势估计方法
CN107392947A (zh) 基于轮廓共面四点集的2d‑3d图像配准方法
US9715759B2 (en) Reference object for three-dimensional modeling
US10755433B2 (en) Method and system for scanning an object using an RGB-D sensor
CN109559371A (zh) 一种用于三维重建的方法和装置
CN109074666B (zh) 用于估计无纹理对象的姿势的***和方法
CN105139007B (zh) 人脸特征点定位方法和装置
CN106705849A (zh) 线结构光传感器标定方法
CN108564619A (zh) 一种基于两张照片的真实感三维人脸重建方法
CN108830888A (zh) 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
CN107949851A (zh) 在场景内的物体的端点的快速和鲁棒识别
CN111274944A (zh) 一种基于单张图像的三维人脸重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant