CN111368802A - 一种基于双目图像视觉的物资形状识别方法 - Google Patents

一种基于双目图像视觉的物资形状识别方法 Download PDF

Info

Publication number
CN111368802A
CN111368802A CN202010232598.2A CN202010232598A CN111368802A CN 111368802 A CN111368802 A CN 111368802A CN 202010232598 A CN202010232598 A CN 202010232598A CN 111368802 A CN111368802 A CN 111368802A
Authority
CN
China
Prior art keywords
view
isosurface
image
front side
shape recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010232598.2A
Other languages
English (en)
Inventor
倪江楠
朱西方
李永飚
靳果
张云岗
党淼
田达奇
张晓栋
石新龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Polytechnic Institute
Original Assignee
Henan Polytechnic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Polytechnic Institute filed Critical Henan Polytechnic Institute
Priority to CN202010232598.2A priority Critical patent/CN111368802A/zh
Publication of CN111368802A publication Critical patent/CN111368802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目图像视觉的物资形状识别方法，包括如下步骤：S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集；S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取；S3、基于前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像实现目标物资的三维图像的重构；S4、调用ssd_Inception_V2_coco模型实现三维图像的监测，从而实现目标物资形状的识别。本发明可以实现物资形状的快速精确识别，适用范围广。

Description

一种基于双目图像视觉的物资形状识别方法
技术领域
本发明涉及图像识别领域，具体涉及一种基于双目图像视觉的物资形状识别方法。
背景技术
目前，通常采用以下几种识别技术来进行物资形状的识别：
（1）射频设别：利用扫描条形码的技术来识别物资的种类。
（2）材质识别：利用传感器来识别物资的材质。
（3）超声波测距+称重识别：利用超声波测距技术大致计算物资的长度和直径，并利用称重技术来识别物资的重量。
（4）常规图像识别：利用背景差分法来识别物资。
然而实践表明，上述物资识别技术由于自身原理所限，普遍存在如下问题：一、射频设别技术要求物资必须带有条形码，一旦物资的条形码脱落，其便无法进行物资的识别，由此导致其适用范围受限。二、材质识别技术存在实现成本高、技术难度大、识别效率低的问题。三、超声波测距+称重识别技术存在识别精确度低的问题。四、常规图像识别技术要求图像的背景是均匀且不变的，导致其存在技术难度大、识别效率低的问题。基于此，有必要发明一种全新的物资识别技术，以解决现有物资识别技术存在的上述问题。
发明内容
为解决上述问题，本发明提供了一种基于双目图像视觉的物资形状识别方法，可以实现物资形状的快速精确识别，适用范围广。
为实现上述目的，本发明采取的技术方案为：
一种基于双目图像视觉的物资形状识别方法，包括如下步骤：
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集；
S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取；
S3、将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接，拼接时，使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合，从而得到目标物资的三维图像；
S4、调用ssd_Inception_V2_coco模型实现三维图像的监测，从而实现目标物资形状的识别。
进一步地，所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面。
进一步地，还包括根据目标物资形状识别的结果调用对应的测量标尺进行目标物资尺寸测量的步骤。
进一步地，还包括进行三维图像各个面上测量点坐标标定的步骤，测量标尺以上述坐标为节点进行测量。
进一步地，还包括驱动三维图像旋转的步骤，从而实现各个面的测量。
进一步地，所述ssd_Inception_V2_coco模型采用ssd目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的物资三维图像数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测物资形状的目标检测模型。
进一步地，还包括基于 Tiramisu_coco模型实现前侧视图、后侧视图、左侧视图以及右侧视图背景的清除的步骤。
本发明可以实现物资形状的快速精确识别，适用范围广。
附图说明
图1为本发明实施例1的流程图。
图2为本发明实施例2的流程图。
图3为本发明实施例3的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例1
如图1所示，一种基于双目图像视觉的物资形状识别方法，包括如下步骤：
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集；所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面，便于后续的拼接操作；
S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取；
S3、基于前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像实现目标物资的三维图像的重构，具体的，将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接，拼接时，使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合，从而得到目标物资的三维图像；
S4、调用ssd_Inception_V2_coco模型实现三维图像的监测，从而实现目标物资形状的识别。
本实施例中，所述ssd_Inception_V2_coco模型采用ssd目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的物资三维图像数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测物资形状的目标检测模型。
实施例2
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集；所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面，便于后续的拼接操作；
S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取；
S3、基于前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像实现目标物资的三维图像的重构，具体的，将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接，拼接时，使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合，从而得到目标物资的三维图像；
S4、调用ssd_Inception_V2_coco模型实现三维图像的监测，从而实现目标物资形状的识别；
S5、根据目标物资形状识别的结果调用对应的测量标尺进行目标物资尺寸测量，测量时首先进行三维图像各个面上测量点坐标标定，测量标尺以上述坐标为节点进行测量，然后根据需要测量的面驱动三维图像旋转，从而实现各个面的测量。
本实施例中，所述ssd_Inception_V2_coco模型采用ssd目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的物资三维图像数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测物资形状的目标检测模型。
实施例3
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集；所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面，便于后续的拼接操作；
S2、基于 Tiramisu_coco模型实现前侧视图、后侧视图、左侧视图以及右侧视图背景的清除；
S3、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取；
S4、基于前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像实现目标物资的三维图像的重构，具体的，将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接，拼接时，使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合，从而得到目标物资的三维图像；
S5、调用ssd_Inception_V2_coco模型实现三维图像的监测，从而实现目标物资形状的识别。
本实施例中，所述ssd_Inception_V2_coco模型采用ssd目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的物资三维图像数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测物资形状的目标检测模型。所述Tiramisu_coco模型用coco数据集训练，然后用先前准备好的带目标物资和背景的数据集训练该模型，微调模型中的各项参数，最后得到合适的模型。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于双目图像视觉的物资形状识别方法，其特征在于：包括如下步骤：
S1、基于双目视觉传感器实现目标物资前侧视图、后侧视图、左侧视图以及右侧视图的采集；
S2、通过kinect深度传感器进行前侧视图、后侧视图、左侧视图以及右侧视图的获取；
S3、将所获得的前侧视图深度图像、后侧视图深度图像、左侧视图深度图像、右侧侧视图深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,将获得的前侧视图等值面、后侧视图等值面、左侧视图等值面、右侧视图等值面进行拼接，拼接时，使得前侧视图等值面、后侧视图等值面、左侧视图、右侧视图等值面的顶面完全重合，从而得到目标物资的三维图像；
S4、调用ssd_Inception_V2_coco模型实现三维图像的监测，从而实现目标物资形状的识别。
2.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法，其特征在于：所述前侧视图、后侧视图、左侧视图以及右侧视图均需全覆盖顶面及对应的侧面。
3.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法，其特征在于：还包括根据目标物资形状识别的结果调用对应的测量标尺进行目标物资尺寸测量的步骤。
4.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法，其特征在于：还包括进行三维图像各个面上测量点坐标标定的步骤，测量标尺以上述坐标为节点进行测量。
5.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法，其特征在于：还包括驱动三维图像旋转的步骤，从而实现各个面的测量。
6.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法，其特征在于：所述ssd_Inception_V2_coco模型采用ssd目标检测算法，用coco数据集预训练Inception_V2深度神经网络，然后用先前准备好的物资三维图像数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测物资形状的目标检测模型。
7.如权利要求1所述的一种基于双目图像视觉的物资形状识别方法，其特征在于：还包括基于 Tiramisu_coco模型实现前侧视图、后侧视图、左侧视图以及右侧视图背景的清除的步骤。
CN202010232598.2A 2020-03-28 2020-03-28 一种基于双目图像视觉的物资形状识别方法 Pending CN111368802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010232598.2A CN111368802A (zh) 2020-03-28 2020-03-28 一种基于双目图像视觉的物资形状识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010232598.2A CN111368802A (zh) 2020-03-28 2020-03-28 一种基于双目图像视觉的物资形状识别方法

Publications (1)

Publication Number Publication Date
CN111368802A true CN111368802A (zh) 2020-07-03

Family

ID=71205027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010232598.2A Pending CN111368802A (zh) 2020-03-28 2020-03-28 一种基于双目图像视觉的物资形状识别方法

Country Status (1)

Country Link
CN (1) CN111368802A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763562A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328601A1 (en) * 2014-04-25 2016-11-10 Tencent Technology (Shenzhen) Company Limited Three-dimensional facial recognition method and system
CN106845481A (zh) * 2017-01-19 2017-06-13 中北大学 一种基于双目图像视觉的物资形状识别方法
CN108062546A (zh) * 2018-02-11 2018-05-22 厦门华厦学院 一种计算机人脸情绪识别***
CN110189330A (zh) * 2019-04-08 2019-08-30 杭州电子科技大学 一种基于深度学习的背景去除的方法
CN110826529A (zh) * 2019-11-21 2020-02-21 桂林电子科技大学 一种基于深度学习的海面船只检测方法
CN110852282A (zh) * 2019-11-13 2020-02-28 榆林学院 一种基于机器视觉的农田病害监测***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160328601A1 (en) * 2014-04-25 2016-11-10 Tencent Technology (Shenzhen) Company Limited Three-dimensional facial recognition method and system
CN106845481A (zh) * 2017-01-19 2017-06-13 中北大学 一种基于双目图像视觉的物资形状识别方法
CN108062546A (zh) * 2018-02-11 2018-05-22 厦门华厦学院 一种计算机人脸情绪识别***
CN110189330A (zh) * 2019-04-08 2019-08-30 杭州电子科技大学 一种基于深度学习的背景去除的方法
CN110852282A (zh) * 2019-11-13 2020-02-28 榆林学院 一种基于机器视觉的农田病害监测***
CN110826529A (zh) * 2019-11-21 2020-02-21 桂林电子科技大学 一种基于深度学习的海面船只检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
江都等: "基于双目视觉的手势识别研究", 《长江大学学报(自科版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763562A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法
CN113763562B (zh) * 2021-08-31 2023-08-29 哈尔滨工业大学（威海） 基于双目视觉的立面特征检测及立面特征处理方法

Similar Documents

Publication Publication Date Title
KR102210715B1 (ko) 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기
CN110059608B (zh) 一种物体检测方法、装置、电子设备和存储介质
CN108921925B (zh) 基于激光雷达和视觉融合的语义点云生成方法和装置
CN102463990B (zh) 用于跟踪物体的***和方法
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
JP6180999B2 (ja) たわみ推定装置、及びプログラム
US20100310176A1 (en) Apparatus and Method for Measuring Depth and Method for Computing Image Defocus and Blur Status
CN105335955A (zh) 对象检测方法和对象检测装置
EP4286892A1 (en) Window occlusion detection method and apparatus
CN109948630B (zh) 靶纸图像的识别方法、装置、***和存储介质
WO2018145308A1 (en) Filter reusing mechanism for constructing robust deep convolutional neural network
CN114502937A (zh) 触觉传感器
CN112712129A (zh) 多传感器融合方法、装置、设备及存储介质
CN111709988A (zh) 一种物体的特征信息的确定方法、装置、电子设备及存储介质
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN110136186A (zh) 一种用于移动机器人目标测距的检测目标匹配方法
CN111429515A (zh) 基于深度学习的机器人避障行为的学习方法
JP2021033510A (ja) 運転支援装置
CN111368802A (zh) 一种基于双目图像视觉的物资形状识别方法
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN110291771B (zh) 一种目标对象的深度信息获取方法及可移动平台
CN113378694B (zh) 生成目标检测和定位***及目标检测和定位的方法及装置
CN116242255A (zh) 基于多视角的手机中框尺寸智能检测***
CN108197628B (zh) 基于深度神经网络的图像特征的联合判断方法
CN116343143A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703

RJ01 Rejection of invention patent application after publication