CN109493369A - 一种智能机器人视觉动态定位跟踪方法及*** - Google Patents
一种智能机器人视觉动态定位跟踪方法及*** Download PDFInfo
- Publication number
- CN109493369A CN109493369A CN201811058413.XA CN201811058413A CN109493369A CN 109493369 A CN109493369 A CN 109493369A CN 201811058413 A CN201811058413 A CN 201811058413A CN 109493369 A CN109493369 A CN 109493369A
- Authority
- CN
- China
- Prior art keywords
- target
- product
- image
- video
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 239000003814 drug Substances 0.000 abstract description 3
- 229940079593 drug Drugs 0.000 abstract description 3
- 238000001914 filtration Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010054949 Metaplasia Diseases 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000015689 metaplastic ossification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种智能机器人视觉动态定位跟踪方法，所述方法包括以下步骤：S10、特征信息提取步骤；S20、视频获取步骤；S30、视频处理步骤，S40、物体识别步骤；S50、精细化识别步骤，S60、目标定位跟踪步骤。利用本发明，可实现在智能生产过程中多品种产品进行分类识别以及不合格产品的拣选，可有效提高生产效率和降低生产成本，尤其对于食品、药品等行业的智能化、灵活化生产具有重要意义。
Description
技术领域
本发明涉及一种定位跟踪方法，尤其涉及一种智能机器人视觉动态定位跟踪方法及***。
背景技术
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。目前基于视觉的定位方法主要分两类，二维视觉定位与三维建模定位。二维视觉定位方法是用单目对所控制对像及周边环境进行视觉标定，然后通过标定好的坐标进行精确操作。而三维建模定位主要应用2个及以上的摄像头对目标进行拍摄，将所拍图像进行融合，从而建立目标的三维坐标，仿真三维环境，实现对目标的精准操作。
工业机器人广泛应用于工业生产中，在工作人员的指引操作下，可以完成许多的指令，但是机器人没有感知外界的信息的能力，不能调整已改变的工作环境，导致工业生产事物质量与精准度受到严重的影响。因此，在工业机生产中引入计算机视觉技术，可以提高工业机器人作业的精度以及实现实时跟踪纠偏的功能，可以满足生产过程中对机器人的实时性要求，并且使工业机器人更好的适应复杂的现场环境。
目前，国内的很多企业已经可实现智能化生产，但是在产品的分类识别、不合格产品的挑选等方面还存在许多不足，从而使得产品的智能化生产受到许多限制。
发明内容
为克服现有技术的不足及存在的问题，本发明提供一种智能机器人视觉动态定位跟踪方法及***，利用本发明提供的技术方案，可使得在智能化生产过程中实现产品的分类识别和不合格产品的挑选。
本发明是通过以下技术方案实现的：一种智能机器人视觉动态定位跟踪方法，所述方法包括以下步骤：
S10、特征信息提取步骤，对产品进行分类，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；
S20、视频获取步骤，利用图像传感器获取生产过程中产品的生产视频流和/或图片；
S30、视频处理步骤，对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还包括标定训练集处理；
S40、物体识别步骤，依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；
S50、精细化识别步骤，将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；
S60、目标定位跟踪步骤，对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。
优选地，所述目标定位跟踪步骤中，根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。
较佳地，所述目标定位跟踪步骤中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。
根据上述方法的发明构思，本发明还提供了一种智能机器人视觉动态定位跟踪***，所述***包括有：
特征信息提取模块，用于对产品进行分类，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；
视频获取模块，用于利用图像传感器获取生产过程中产品的生产视频流和/或图片；
视频处理模块，用于对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还用于标定训练集处理；
物体识别模块，用于依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；
精细化识别模块，用于将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；
目标定位跟踪模块，用于对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。
优选地，所述目标定位跟踪模块中，根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。
较佳地，所述目标定位跟踪模块中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。
利用本发明，可实现在智能生产过程中多品种产品进行分类识别以及不合格产品的拣选，可有效提高生产效率和降低生产成本，尤其对于食品、药品等行业的智能化、灵活化生产具有重要意义。
附图说明
图1是本发明实施例所述方法的流程示意图。
图2是本发明实施例所述***的模块结构示意图。
图3是本发明实施例所述目标定位跟踪模块实现目标定位跟踪的简要过程示意图。
具体实施方式
为了便于本领域技术人员的理解，以下结合附图和具体实施例对本发明作进一步详细描述。
如附图1所示，一种智能机器人视觉动态定位跟踪方法，所述方法包括以下步骤：
S10、特征信息提取步骤，对产品进行分类(可采用人工分类)，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；本实施例中，所述特征信息包括目标产品的形状信息和外观轮廓信息等特征信息；
S20、视频获取步骤，利用图像传感器获取生产过程中产品的生产视频流和/或图片；
S30、视频处理步骤，对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还包括标定训练集处理；
S40、物体识别步骤，依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；
S50、精细化识别步骤，将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；
S60、目标定位跟踪步骤，对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。
作为优选的实施例，所述目标定位跟踪步骤中，根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。本实施例中，所述目标定位跟踪步骤中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。
根据上述方法的发明构思，本发明实施例还提供了一种智能机器人视觉动态定位跟踪***，所述***如附图2所示，其包括有：
特征信息提取模块，用于对产品进行分类，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；所述特征信息包括目标产品的形状信息和外观轮廓信息等特征信息；
视频获取模块，用于利用图像传感器获取生产过程中产品的生产视频流和/或图片；
视频处理模块，用于对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还用于标定训练集处理；
物体识别模块，用于依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；
精细化识别模块，用于将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；
目标定位跟踪模块，用于对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。
在其中一个优选的实施例中，所述目标定位跟踪模块，其根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。本实施例中，所述目标定位跟踪模块中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。本实施例中的目标定位跟踪模块的实现目标定位跟踪的简要过程如附图3所示。
作为较佳的实施例，所述视频获取模块包含具有视频采集功能的CCD摄像机或者具有类似功能的成像传感器，同时所述视频获取模块与视频处理模块具有数据传输接口，以使得所述视频获取模块与视频处理模块之间可进行数据传输。所述视频获取模块可通过有线或者无线的方式从智能机器人外设设备CCD摄像机获取智能化生产线上的多品种物体进行动态的拍照或者摄像，并通过TCP/IP协议传输到视频处理模块中进行存储并处理，视频处理模块对实时的视频进行预处理，可通过截取一段初始化后有效的视频或者图像信息，通过解码生成清晰有效的序列化图像，同时对训练集进行标定。
利用本发明提供的技术方案，可实现在智能生产过程中多品种的产品进行分类识别以及不合格产品的拣选，可有效提高生产效率和降低生产成本，尤其对于食品、药品等行业的智能化、灵活化生产具有重要意义。
上述实施例为本发明的较佳的实现方式，并非是对本发明的限定，在不脱离本发明的发明构思的前提下，任何显而易见的替换均在本发明的保护范围之内。
Claims (8)
1.一种智能机器人视觉动态定位跟踪方法，其特征在于，所述方法包括以下步骤：
S10、特征信息提取步骤，对产品进行分类，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；
S20、视频获取步骤，利用图像传感器获取生产过程中产品的生产视频流和/或图片；
S30、视频处理步骤，对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还包括标定训练集处理；
S40、物体识别步骤，依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；
S50、精细化识别步骤，将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；
S60、目标定位跟踪步骤，对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。
2.根据权利要求1所述的方法，其特征在于：所述目标定位跟踪步骤中，根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。
3.根据权利要求2所述的方法，其特征在于：所述目标定位跟踪步骤中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。
4.根据权利要求1～3中任意一项所述的方法，其特征在于：所述特征信息包括目标产品的形状信息和外观轮廓信息。
5.一种智能机器人视觉动态定位跟踪***，其特征在于，所述***包括有：
特征信息提取模块，用于对产品进行分类，并进行多方位、多场景的形式对不同的产品进行图像采集，进行目标物体的框图和去燥处理，从中提取目标产品的特征信息，并建立训练集；
视频获取模块，用于利用图像传感器获取生产过程中产品的生产视频流和/或图片；
视频处理模块，用于对所述生产视频流和/或图片进行预处理，以生成便于处理的序列化图像，同时还用于标定训练集处理；
物体识别模块，用于依据预先建立的产品模型对序列化的图像进行处理，并对图像中的产品进行标定；
精细化识别模块，用于将标定处理后的产品进行分类处理，并将同类目标进行精细化识别，通过将当前图像与上一帧图像目标进行相似性度量，建立视频帧间关系，以实现目标跟踪；
目标定位跟踪模块，用于对经过精细化识别步骤处理后的图像在视频中进行定位跟踪。
6.根据权利要求5所述的***，其特征在于：所述目标定位跟踪模块中，根据上一帧图像来预测目标位置，同时根据当前图像来检测目标位置；然后采用融合的度量方式，根据目标预测位置和检测位置在马氏空间中的距离、以及边界区域之间表现特征的余弦距离，再采用匈牙利算法进行级联匹配，从而最终实现定位跟踪。
7.根据权利要求6所述的***，其特征在于：所述目标定位跟踪模块中，利用卡尔曼滤波来预测目标位置，并利用目标检测算法来检测目标位置。
8.根据权利要求5～7中任意一项所述的***，其特征在于：所述特征信息包括目标产品的形状信息和外观轮廓信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811058413.XA CN109493369B (zh) | 2018-09-11 | 2018-09-11 | 一种智能机器人视觉动态定位跟踪方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811058413.XA CN109493369B (zh) | 2018-09-11 | 2018-09-11 | 一种智能机器人视觉动态定位跟踪方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109493369A true CN109493369A (zh) | 2019-03-19 |
| CN109493369B CN109493369B (zh) | 2020-12-29 |
Family
ID=65689594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811058413.XA Active CN109493369B (zh) | 2018-09-11 | 2018-09-11 | 一种智能机器人视觉动态定位跟踪方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109493369B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110154036A (zh) * | 2019-06-24 | 2019-08-23 | 山东大学 | 视觉动态***下的室内服务机器人控制器设计方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101236599A (zh) * | 2007-12-29 | 2008-08-06 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
| US7564455B2 (en) * | 2002-09-26 | 2009-07-21 | The United States Of America As Represented By The Secretary Of The Navy | Global visualization process for personal computer platforms (GVP+) |
| CN101576956A (zh) * | 2009-05-11 | 2009-11-11 | 天津普达软件技术有限公司 | 基于机器视觉的在线字符检测方法和*** |
| CN107169519A (zh) * | 2017-05-18 | 2017-09-15 | 重庆卓来科技有限责任公司 | 一种工业机器人视觉***及其示教方法 |
| CN107516127A (zh) * | 2017-08-21 | 2017-12-26 | 山东大学 | 服务机器人自主获取人穿携物品归属语义的方法及*** |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108363997A (zh) * | 2018-03-20 | 2018-08-03 | 南京云思创智信息科技有限公司 | 一种在视频中对特定人的实时跟踪方法 |
-
2018
- 2018-09-11 CN CN201811058413.XA patent/CN109493369B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7564455B2 (en) * | 2002-09-26 | 2009-07-21 | The United States Of America As Represented By The Secretary Of The Navy | Global visualization process for personal computer platforms (GVP+) |
| CN101236599A (zh) * | 2007-12-29 | 2008-08-06 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
| CN101576956A (zh) * | 2009-05-11 | 2009-11-11 | 天津普达软件技术有限公司 | 基于机器视觉的在线字符检测方法和*** |
| CN107169519A (zh) * | 2017-05-18 | 2017-09-15 | 重庆卓来科技有限责任公司 | 一种工业机器人视觉***及其示教方法 |
| CN107516127A (zh) * | 2017-08-21 | 2017-12-26 | 山东大学 | 服务机器人自主获取人穿携物品归属语义的方法及*** |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108363997A (zh) * | 2018-03-20 | 2018-08-03 | 南京云思创智信息科技有限公司 | 一种在视频中对特定人的实时跟踪方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110154036A (zh) * | 2019-06-24 | 2019-08-23 | 山东大学 | 视觉动态***下的室内服务机器人控制器设计方法及*** |
| CN110154036B (zh) * | 2019-06-24 | 2020-10-13 | 山东大学 | 视觉动态***下的室内服务机器人控制器设计方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109493369B (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107688391B (zh) | 一种基于单目视觉的手势识别方法和装置 | |
| CN107660039B (zh) | 一种识别动态手势的灯具控制*** | |
| CN104156726B (zh) | 一种基于几何形状特征的工件识别方法及装置 | |
| CN107992881A (zh) | 一种机器人动态抓取方法及*** | |
| CN108536157A (zh) | 一种智能水下机器人及其***、物标跟踪方法 | |
| CN106022213A (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| CN108942923A (zh) | 一种机械臂抓取控制方法 | |
| CN102930334B (zh) | 视频人体轮廓识别计数器 | |
| EP3120294A1 (en) | System and method for motion capture | |
| CN112396658A (zh) | 一种基于视频的室内人员定位方法及定位*** | |
| CN102704215A (zh) | 基于dst文件解析与机器视觉结合的绣布自动切割方法 | |
| CN111027432A (zh) | 基于步态特征的视觉跟随机器人方法 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及*** | |
| CN104281839A (zh) | 一种人体姿势识别方法和装置 | |
| CN107145226A (zh) | 眼控人机交互***及方法 | |
| CN110458025A (zh) | 一种基于双目摄像头的人员识别与定位方法 | |
| CN108582075A (zh) | 一种智能机器人视觉自动化抓取*** | |
| Faisal et al. | Depth estimation from video using computer vision and machine learning with hyperparameter optimization | |
| CN111399634B (zh) | 一种手势引导物体识别的方法及装置 | |
| CN207752527U (zh) | 一种机器人动态抓取*** | |
| RU2004123248A (ru) | Система и способ отслеживания объекта | |
| CN109137448B (zh) | 基于机器视觉的织物智能整花整纬*** | |
| CN115035546A (zh) | 三维人体姿态检测方法、装置及电子设备 | |
| CN109493369A (zh) | 一种智能机器人视觉动态定位跟踪方法及*** | |
| CN109636856A (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210513 Address after: Room 215-6, No.10, Siwei Road, Dongli Economic and Technological Development Zone, Dongli District, Tianjin Patentee after: Tianjin tieshe Intelligent Technology Co.,Ltd. Address before: 8j, block B, Konka R & D building, 28 Keji South 12th Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Patentee before: SHENZHEN KONGSHI INTELLIGENCE SYSTEM Co.,Ltd. |
|
| TR01 | Transfer of patent right |