CN116385949B - 一种移动机器人的区域检测方法、***、装置及介质 - Google Patents

一种移动机器人的区域检测方法、***、装置及介质 Download PDF

Info

Publication number
CN116385949B
CN116385949B CN202310297047.8A CN202310297047A CN116385949B CN 116385949 B CN116385949 B CN 116385949B CN 202310297047 A CN202310297047 A CN 202310297047A CN 116385949 B CN116385949 B CN 116385949B
Authority
CN
China
Prior art keywords
data set
mobile robot
trained
neural network
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310297047.8A
Other languages
English (en)
Other versions
CN116385949A (zh
Inventor
彭广德
王睿
满天荣
李卫铳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ligong Industrial Co ltd
Original Assignee
Guangzhou Ligong Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ligong Industrial Co ltd filed Critical Guangzhou Ligong Industrial Co ltd
Priority to CN202310297047.8A priority Critical patent/CN116385949B/zh
Publication of CN116385949A publication Critical patent/CN116385949A/zh
Application granted granted Critical
Publication of CN116385949B publication Critical patent/CN116385949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种移动机器人的区域检测方法、***、装置及介质。该方法通过获取图像数据；通过多任务神经网络模型对图像数据进行识别分析，得到移动机器人的目标可行驶区域，多任务神经网络模型通过以下步骤训练得到：获取多类别数据集并标注，得到标注数据集并输入至一级网络框架中进行训练，输出第一数据集和第二数据集；将第二数据集输入至二级网络框架，得到第三数据集；将第一数据集、第三数据集和雷达接口数据进行多元融合，得到并根据融合数据集，更新多任务神经网络模型的参数，得到多任务神经网络模型。该区域检测方法可以节约模型的训练资源，提高模型的准确性和检测速度，减少硬件算力成本。本发明可广泛应用于自动导航技术领域。

Description

一种移动机器人的区域检测方法、***、装置及介质
技术领域
本发明涉及自动导航技术领域，尤其是一种移动机器人的区域检测方法、***、装置及介质。
背景技术
近年来，移动机器人的智能化是一个正在发展的火热趋势，其中自动导航方向，是相对成熟的领域。自动导航主要方向是对可行驶区域进行实时监测并规划最优路线，包括视觉与雷达对可行使区域的感知检测，预警检测等。使用卷积神经网络对实时传感器采取的信息进行监测处理，判断可行使区域与实时路径规划，可以极大地减少机器人作业时的安全与行驶预警保护。
目前，使用单个卷积神经网络处理一种分类问题能取得很高的准确率，若要同时分析图片在n个任务上的结果，需要分别训练n个模型，预测时同样需要运行n个模型，造成硬件的资源和时间浪费。有一些多任务分类方法，在一个共享的基础网络后直接连接多个任务分支，共享基础网络的参数。由于各个任务互相影响，训练起来非常困难，导致某个任务准确率提高，其它任务准确率却降低，很难同时取得高准确率。
因此，现有技术存在的问题还亟需解决和优化。
发明内容
本发明的目的在于至少一定程度上解决相关技术中存在的技术问题之一。
为此，本发明实施例的一个目的在于提供一种移动机器人的区域检测方法，该区域检测方法不仅可以有效节约模型的训练资源，还可以提高模型的准确性和检测速度，有效减少硬件算力的使用成本。
本申请实施例的另一个目的在于提供一种移动机器人的区域检测***。
为了达到上述技术目的，本申请实施例所采取的技术方案包括：
第一方面，本申请实施例提供了一种移动机器人的区域检测***，包括：
获取来自移动机器人的待检测的图像数据；
通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，其中，所述多任务神经网络模型包括一级网络框架和二级网络框架；
其中，所述多任务神经网络模型通过以下步骤训练得到：
获取多类别数据集和雷达接口数据，并对所述多类别数据集进行标注，得到标注数据集；
将所述标注数据集输入至初始化的一级网络框架中进行训练，得到训练好的一级网络框架，以及所述训练好的一级网络框架输出的第一数据集和第二数据集，其中，所述第一数据集是不需要提取候选框的特征图像数据集合，所述第二数据集是需要提取候选框的特征图像数据集合；
将所述第二数据集输入至训练好的二级网络框架，得到第三数据集；
将所述第一数据集、所述第三数据集和所述雷达接口数据进行多元融合，得到融合数据集；
根据所述融合数据集，更新所述多任务神经网络模型的参数，得到所述训练好的多任务神经网络模型。
另外，根据本申请上述实施例的一种移动机器人的区域检测方法，还可以具有以下附加的技术特征：
进一步地，在本申请的一个实施例中，所述通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，包括：
通过所述训练好的多任务神经网络模型对所述图像数据进行识别，得到移动机器人的初始可行驶区域；
获取预设的判定规则，其中，所述判定规则用于表征所述初始可行驶区域内各任务对应的判定逻辑；
根据所述判定规则及标定信息对所述初始可行驶区域进行分析，得到所述目标可行驶区域。
进一步地，在本申请的一个实施例中，所述二级网络框架通过以下步骤训练得到：
获取第一正样本，其中，所述第一正样本用于表征所述标注数据集输入至初始化的一级网络框架处理后得到的样本数据集；
根据所述第一正样本对所述第一数据集进行切片及特征提取，得到特征样本集；
将所述特征样本集和所述标注数据集输入至初始化的二级网络框架中进行训练，得到所述训练好的二级网络框架。
进一步地，在本申请的一个实施例中，还包括以下步骤：所述将所述标注数据集输入至初始化的一级网络框架中进行训练，包括：
对所述标注数据集进行预处理，得到处理数据集；
计算所述处理数据集输入至所述初始化的一级网络框架的损失权重；根据所述损失权重更新所述初始化的一级网络框架的参数。
进一步地，在本申请的一个实施例中，所述二级网络框架包括：特征融合模块；
所述特征融合模块用于实现以下步骤：
获取所述一级网络框架输出的第二数据集；
根据所述特征融合模块对所述第二数据集中的多个特征图像数据进行卷积融合，获得多个特征融合数据；
其中，所述特征数据之间的宽度不同且高度不同；所述特征融合数据之间的通道数量相同、宽度不同且高度不同。
进一步地，在本申请的一个实施例中，所述第二数据集通过以下步骤得到：
获取所述训练好的一级网络框架输出的初始数据集以及多个预设的分类规则；
根据所述多个预设的分类规则对所述初始数据集进行分类；
若所述初始数据集满足所述多个预设的分类规则中的至少之一，得到所述第二数据集。
第二方面，本申请实施例提供了一种移动机器人的区域检测***，包括：
获取模块，用于获取来自移动机器人的待检测的图像数据；
识别分析模块，用于通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，其中，所述多任务神经网络模型包括一级网络框架和二级网络框架；
其中，所述多任务神经网络模型通过以下步骤训练得到：
获取多类别数据集和雷达接口数据，并对所述多类别数据集进行标注，得到标注数据集；
将所述标注数据集输入至初始化的一级网络框架中进行训练，得到训练好的一级网络框架，以及所述训练好的一级网络框架输出的第一数据集和第二数据集，其中，所述第一数据集是不需要提取候选框的特征图像数据集合，所述第二数据集是需要提取候选框的特征图像数据集合；
将所述第二数据集输入至训练好的二级网络框架，得到第三数据集；
将所述第一数据集、所述第三数据集和雷达接口数据进行多元融合，得到融合数据集；
根据所述融合数据集，更新所述多任务神经网络模型的参数，得到所述训练好的多任务神经网络模型。
进一步地，在本申请的一个实施例中，所述二级网络框架通过以下步骤训练得到：
获取第一正样本，其中，所述第一正样本用于表征所述标注数据集输入至初始化的一级网络框架处理后得到的样本数据集；
根据所述第一正样本对所述第一数据集进行切片及特征提取，得到特征样本集；
将所述特征样本集和所述标注数据集输入至初始化的二级网络框架中进行训练，得到所述训练好的二级网络框架。
第三方面，本申请实施例还提供了一种移动机器人的区域检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述第一方面的移动机器人的区域检测方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现上述第一方面的移动机器人的区域检测方法。
本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
本申请实施例所公开的一种移动机器人的区域检测方法、***、装置及介质，通过获取来自移动机器人的待检测的图像数据；通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，其中，所述多任务神经网络模型包括一级网络框架和二级网络框架；其中，所述多任务神经网络模型通过以下步骤训练得到：获取多类别数据集和雷达接口数据，并对所述多类别数据集进行标注，得到标注数据集；将所述标注数据集输入至初始化的一级网络框架中进行训练，得到训练好的一级网络框架，以及所述训练好的一级网络框架输出的第一数据集和第二数据集，其中，所述第一数据集是不需要提取候选框的特征图像数据集合，所述第二数据集是需要提取候选框的特征图像数据集合；将所述第二数据集输入至训练好的二级网络框架，得到第三数据集；将所述第一数据集、所述第三数据集和所述雷达接口数据进行多元融合，得到融合数据集；根据所述融合数据集，更新所述多任务神经网络模型的参数，得到所述训练好的多任务神经网络模型。该区域检测方法不仅可以有效节约模型的训练资源，还可以提高模型的准确性和检测速度，有效减少硬件算力的使用成本。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表达本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本申请实施例提供的一种移动机器人的区域检测方法的流程示意图；
图2为本申请实施例提供的一种多任务神经网络模型的流程示意图；
图3为本申请实施例提供的一种SE单元示意图；
图4为本申请实施例提供的一种实施步骤150的具体网络框架示意图；
图5为本申请实施例提供的一种biFPN网络模块的卷积融合示意图；
图6为本申请实施例提供的一种实施步骤155的具体网络框架示意图；
图7为本申请实施例提供的另外一种实施步骤150的具体网络框架示意图；
图8为本申请实施例提供的一种实施步骤150的二级网络框架训练原理示意图；
图9为本申请实施例提供的一种移动机器人的区域检测***的结构示意图；
图10为本申请实施例提供的一种移动机器人的区域检测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
目前，使用单个卷积神经网络处理一种分类问题能取得很高的准确率，若要同时分析图片在n个任务上的结果，需要分别训练n个模型，预测时同样需要运行n个模型，造成硬件的资源和时间浪费。有一些多任务分类方法，在一个共享的基础网络后直接连接多个任务分支，共享基础网络的参数。由于各个任务互相影响，训练起来非常困难，导致某个任务准确率提高，其它任务准确率却降低，很难同时取得高准确率。
有鉴于此，本发明实施例提供一种移动机器人的区域检测方法，该区域检测方法不仅可以有效节约模型的训练资源，还可以提高模型的准确性和检测速度，有效减少硬件算力的使用成本。
参照图1和图2，本申请实施例中，一种移动机器人的区域检测方法，包括：
步骤110、获取来自移动机器人的待检测的图像数据；
本步骤中，移动机器人可以是移动机器人，是采用自动或人工方式装载货物，按设定的路线自动行驶或牵引着载货台车至指定地点，再用自动或人工方式装卸货物的工业车辆。来自移动机器人的待检测的图像数据可以是移动机器人上设置在不同位置、类型不同的传感器获取的图像数据，具体地，图像数据可以是激光雷达传感器输出的数据、声纳传感器输出的点云图像数据、视觉传感器输出的视觉图像数据(包括鸟瞰图)等，多个传感器共同工作，可以为移动机器人的区域检测提供全方位无死角的检测数据。
步骤120、通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，其中，所述多任务神经网络模型包括一级网络框架和二级网络框架；
可以理解的是，所述步骤120、通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，包括：
步骤121、通过所述训练好的多任务神经网络模型对所述图像数据进行识别，得到移动机器人的初始可行驶区域；
步骤122、获取预设的判定规则，其中，所述判定规则用于表征所述初始可行驶区域内各任务对应的判定逻辑；
步骤123、根据所述判定规则及标定信息对所述初始可行驶区域进行分析，得到所述目标可行驶区域。
可以理解的是，初始可行驶区域是训练好的多任务神经网络模型输出的初步筛选结果；标定信息可以是初步筛选结果中，判定目的可行驶区域需要的标签结果及其对应的标签分数，标签结果包括车道线、语义分割、人、机床、杂物等标签；判定规则可以是预设的判定阈值，具体数值可根据实际需求自行设置，本申请在此就不再多余赘述。具体地，在本申请实施例中，可以通过训练好的多任务神经网络模型对多个传感器获取的图像数据进行连续100ms内的进行推理，得到初始可行驶区域，随后，根据标签结果、标签分数以及判定规则分析移动机器人的可行驶区域，最后，结合多个传感器中的特定传感器获取的区域鸟瞰图图像，输出移动机器人的目标可行驶区域。
其中，所述多任务神经网络模型通过以下步骤训练得到：
步骤130、获取多类别数据集和雷达接口数据，并对所述多类别数据集进行标注，得到标注数据集；
本步骤中，多类别数据集可以是多个传感器获取的不同任务所需的图片数据的集合，标注时，每一个图片数据都会标注有一个或多个可对应的任务标注。在本申请实施例中，多类别数据集包括工厂车间生产状态分类、行人、障碍物等检测、车道线检测、全景语义分割、人体关键点等任务。
步骤140、将所述标注数据集输入至初始化的一级网络框架中进行训练，得到训练好的一级网络框架，以及所述训练好的一级网络框架输出的第一数据集和第二数据集，其中，所述第一数据集是不需要提取候选框的特征图像数据集合，所述第二数据集是需要提取候选框的特征图像数据集合；
可以理解的是，所述步骤140、将所述标注数据集输入至初始化的一级网络框架中进行训练，包括：
步骤141、对所述标注数据集进行预处理，得到处理数据集；
步骤142、计算所述处理数据集输入至所述初始化的一级网络框架的损失权重；根据所述损失权重更新所述初始化的一级网络框架的参数。
可以理解的是，对标注数据集进行预处理可以是对标注数据集中的各个图像数据进行灰度化处理、二值化处理、图像增强处理、降噪处理等。在本申请实施例中，对标注数据集进行预处理后，处理数据集中的各个图像数据大小一样，具体地，图像的大小可以是3×960×544。还可以理解的是，对于一级网络框架来说，一级网络框架预测结果的准确性可以通过损失函数(Loss Function)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签和一级网络框架对该训练数据的预测结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(Cost Function)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出一级网络框架的预测效果。对于一般的一级网络框架来说，基于前述的代价函数，再加上衡量模型复杂度的正则项即可作为训练的目标函数，基于该目标函数便能求出整个训练数据集的损失值。常用的损失函数种类有很多，例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为一级网络框架的损失函数，在此不再一一阐述。本申请实施例中，可以从中任选一种损失函数来确定训练的损失值，例如交叉熵损失函数。还有，处理数据集用于作为一级网络框架的训练数据；由于损失函数包括损失权重，基于训练的损失值，可以采用反向传播算法对模型的参数进行更新。还可以理解的是，第一数据集可以是车道线分割等不需要RPN候选框网络结构进行特征提取，可以经一级网络框架直接预测得出的多任务数据。
可以理解的是，在本申请实施例中，一级网络框架可以是采用ibn-resnet网络结构的网络框架，并在基本的ibn-resnet网络框架中额外增加了特征注意力机制单元(SE单元,SE全称为Squeeze-and-Excitation Networks)，参照图3，该特征注意力机制单元可以显式地对输入的图像数据中各个通道的关系进行建模，具体可以通过Global AveragePooling、两侧FC层连接学习得到各个通道的权重，对原图像数据中的各个通道重新加权，以达到增强表征图像数据中信息更多的特征通道、抑制次要通道的效果，可以同时利用不同尺度大小的特征信息，有利于对不同尺度da小的目标进行分类，参数量少、推理速度快且精度高。
可以理解的是，所述步骤140中，所述第二数据集通过以下步骤得到：
步骤143、获取所述训练好的一级网络框架输出的初始数据集以及多个预设的分类规则；
步骤144、根据所述多个预设的分类规则对所述初始数据集进行分类；
步骤145、若所述初始数据集满足所述多个预设的分类规则中的至少之一，得到所述第二数据集。
可以理解的是，第二数据集可以是目标检测、关键点检测、分类检测等需要RPN候选框网络结构进行特征提取，需要输入至二级网络框架预测才能得出的多任务数据。初始数据集包括第一数据集合第二数据集，预设的分类规则包括车道线分类规则、障碍物(包括人、机床、杂物等)检测框分类规则、人体关键点检测规则、车间生产状态分类规则，当初始数据集中的某个图像数据符合预设的分类规则中的至少之一时，将初始数据集的该图像数据分类为第二数据集中的图像数据，直至初始数据集的图像数据都完成分类，得到最终的第二数据集。
步骤150、将所述第二数据集输入至训练好的二级网络框架，得到第三数据集；
可以理解的是，所述步骤150、二级网络框架通过以下步骤训练得到：
步骤151、获取第一正样本，其中，所述第一正样本用于表征所述标注数据集输入至初始化的一级网络框架处理后得到的样本数据集；
步骤152、根据所述第一正样本对所述第一数据集进行切片及特征提取，得到特征样本集；
步骤153、将所述特征样本集和所述标注数据集输入至初始化的二级网络框架中进行训练，得到所述训练好的二级网络框架。
可以理解的是，第一正样本为初始化的一级网络框架模型推理得到的样本数据集，随后根据第一正样本对第一数据集进行切片处理，得到第一数据集的RPN候选框，并根据RPN候选框提取第一数据集中的特征数据，得到特征样本集，并根据得到的特征样本集和标注数据集训练二级网络框架，得到训练好的二级网络框架。
可以理解的是，在本申请实施例中，参照图4，第一正样本为图6中的的Featuremap层的图像数据，在二级网络框架训练时，使用RPN候选框模块和Roi Alignm模块对第一正样本和第一数据集进行切片记特征提取，使得二级网络框架的训练速度和训练精度较高。
可以理解的是，步骤150中，所述二级网络框架包括：特征融合模块；
所述特征融合模块用于实现以下步骤：
步骤154、获取所述一级网络框架输出的第二数据集；
步骤155、根据所述特征融合模块对所述第二数据集中的多个特征图像数据进行卷积融合，获得多个特征融合数据；
其中，所述特征图像数据之间的宽度不同且高度不同；所述特征融合数据之间的通道数量相同、宽度不同且高度不同。
可以理解的是，第二数据集的某个特征图像数据可以首先进行不同倍数的下采样处理，具体地下采样倍数可以是1/4、1/8、1/16、1/32、1/64、1/128等；随后输出多个不同下采样倍数处理过后的特征图像数据，此时特征图像数据的宽度不同且高度不同，并将该采样特征图像数据输入至特征融合模块，特征融合模块对多个特征图像数据进行卷积融合后对特征融合数据的通道数量进行调整，得到通道数量相同、宽度不同且高度不同的特征融合数据。
可以理解的是，在本申请实施例中，特征融合模块可以是biFPN网络模块，具体地，如图5和图6所示，可以从一级网络框架中的ibn-resnet网络结构获取第二数据集，第二数据集经六个不同采样倍数的下采样层处理并输出，其输出分别记为P1层、P2层、P3层、P4层、P5层和P6层，统称为P系列层，P1层的高度为P2层的高度的2倍，P1层的宽度为P2层的宽度的2倍，其余的P2层、P3层、P4层、P5层和P6层同理，本申请在此不再多余赘述。P1层、P2层、P3层、P4层、P5层和P6层经biFPN网络模块卷积融合后，得到与P1层、P2层、P3层、P4层、P5层和P6层分别对应的B1层、B2层、B3层、B4层、B5层和B6层，统称为B系列层。B系列层中，各层的通道数相同，宽度不同且高度不同，其中，B1层的特征图像数据最大，特征更加全局抽象，有利于大目标的检测任务，B6层的特征图像数据最小，特征更细节，有利于小目标的检测任务。
还可以理解的是，在本申请实施例中，B系列层中的各层分别输出至特定的任务head层，在对应的decoder层得到对应的任务解码输出，即分别获取各任务对应所需的特征。在二级网络框架的训练中，参照图7和图8，可以引入针对不同任务的辅助学习head层，并分别接入对应的B1层、B2层、B3层、B4层、B5层和B6层，让每个任务都可以从一级网络框架中获取所需的任务特征，且不影响其他任务分支的训练学习，也不需进行前向推理过程，能够快速收敛，提高精度，避免损失。
步骤160、将所述第一数据集、所述第三数据集和所述雷达接口数据进行多元融合，得到融合数据集；
步骤170、根据所述融合数据集，更新所述多任务神经网络模型的参数，得到所述训练好的多任务神经网络模型。
可以理解的是，雷达接口数据可以实现对移动机器人的高精度定位，为移动机器人的可行驶区域判定提供区域依据，第三数据集是训练好的二级网络框架对第二数据集的预测结果，将第一数据集、第三数据集合雷达接口数据多元融合，可以利用数据之间的互补性提升融合数据集的质量。还可以理解的是，根据融合数据集，更新多任务神经网络模型的参数这一内容，与一级网络框架训练，二级网络框架训练的内容相似，本申请在此就不再多余赘述。值得说明的是，多元数据结合将可行驶区域分割复杂计算过程变成一次推理即可完成，大大减少了代码量与复杂的预测逻辑结构，与前述的一级网络框架、二级网络框架等共同作用，使得多任务神经网络模型易于训练，各个任务都能取得较高的准确率。
下面参照附图详细描述根据本申请实施例提出的移动机器人的区域检测***。
参照图9，本申请实施例中提出的移动机器人的区域检测***，包括：
获取模块101，用于获取来自移动机器人的待检测的图像数据；
识别分析模块102，用于通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，其中，所述多任务神经网络模型包括一级网络框架和二级网络框架；
其中，所述多任务神经网络模型通过以下步骤训练得到：
获取多类别数据集和雷达接口数据，并对所述多类别数据集进行标注，得到标注数据集；
将所述标注数据集输入至初始化的一级网络框架中进行训练，得到训练好的一级网络框架，以及所述训练好的一级网络框架输出的第一数据集和第二数据集，其中，所述第一数据集是不需要提取候选框的特征图像数据集合，所述第二数据集是需要提取候选框的特征图像数据集合；
将所述第二数据集输入至训练好的二级网络框架，得到第三数据集；
将所述第一数据集、所述第三数据集和雷达接口数据进行多元融合，得到融合数据集；
根据所述融合数据集，更新所述多任务神经网络模型的参数，得到所述训练好的多任务神经网络模型。
在一些实施例中，所述二级网络框架通过以下步骤训练得到：
获取第一正样本，其中，所述第一正样本用于表征所述标注数据集输入至初始化的一级网络框架处理后得到的样本数据集；
根据所述第一正样本对所述第一数据集进行切片及特征提取，得到特征样本集；
将所述特征样本集和所述标注数据集输入至初始化的二级网络框架中进行训练，得到所述训练好的二级网络框架。
可以理解的是，上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图10，本申请实施例还提供了一种移动机器人的区域检测装置，包括：
至少一个处理器201；
至少一个存储器202，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器201执行，使得所述至少一个处理器201实现上述的移动机器人的区域检测方法实施例。
同理，可以理解的是，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本申请实施例还提供了一种计算机可读存储介质，其中存储有处理器201可执行的程序，处理器201可执行的程序在由所述处理器201执行时用于实现上述的移动机器人的区域检测方法实施例。
同理，上述方法实施例中的内容均适用于本计算机可读存储介质实施例中，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种移动机器人的区域检测方法，其特征在于，包括：
获取来自移动机器人的待检测的图像数据；
通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，其中，所述多任务神经网络模型包括一级网络框架和二级网络框架；
其中，所述多任务神经网络模型通过以下步骤训练得到：
获取多类别数据集和雷达接口数据，并对所述多类别数据集进行标注，得到标注数据集；
将所述标注数据集输入至初始化的一级网络框架中进行训练，得到训练好的一级网络框架，以及所述训练好的一级网络框架输出的第一数据集和第二数据集，其中，所述第一数据集是不需要提取候选框的特征图像数据集合，所述第二数据集是需要提取候选框的特征图像数据集合；
将所述第二数据集输入至训练好的二级网络框架，得到第三数据集；
将所述第一数据集、所述第三数据集和所述雷达接口数据进行多元融合，得到融合数据集；
根据所述融合数据集，更新所述多任务神经网络模型的参数，得到所述训练好的多任务神经网络模型。
2.根据权利要求1所述的一种移动机器人的区域检测方法，其特征在于，所述通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，包括：
通过所述训练好的多任务神经网络模型对所述图像数据进行识别，得到移动机器人的初始可行驶区域；
获取预设的判定规则，其中，所述判定规则用于表征所述初始可行驶区域内各任务对应的判定逻辑；
根据所述判定规则及标定信息对所述初始可行驶区域进行分析，得到所述目标可行驶区域。
3.根据权利要求1所述的一种移动机器人的区域检测方法，其特征在于，所述二级网络框架通过以下步骤训练得到：
获取第一正样本，其中，所述第一正样本用于表征所述标注数据集输入至初始化的一级网络框架处理后得到的样本数据集；
根据所述第一正样本对所述第一数据集进行切片及特征提取，得到特征样本集；
将所述特征样本集和所述标注数据集输入至初始化的二级网络框架中进行训练，得到所述训练好的二级网络框架。
4.根据权利要求3所述的移动机器人的区域检测方法，其特征在于，所述将所述标注数据集输入至初始化的一级网络框架中进行训练，包括：
对所述标注数据集进行预处理，得到处理数据集；
计算所述处理数据集输入至所述初始化的一级网络框架的损失权重；根据所述损失权重更新所述初始化的一级网络框架的参数。
5.根据权利要求1所述的移动机器人的区域检测方法，其特征在于，所述二级网络框架包括：特征融合模块；
所述特征融合模块用于实现以下步骤：
获取所述一级网络框架输出的第二数据集；
根据所述特征融合模块对所述第二数据集中的多个特征图像数据进行卷积融合，获得多个特征融合数据；
其中，所述特征图像数据之间的宽度不同且高度不同；所述特征融合数据之间的通道数量相同、宽度不同且高度不同。
6.根据权利要求1所述的一种移动机器人的区域检测方法，其特征在于，所述第二数据集通过以下步骤得到：
获取所述训练好的一级网络框架输出的初始数据集以及多个预设的分类规则；
根据所述多个预设的分类规则对所述初始数据集进行分类；
若所述初始数据集满足所述多个预设的分类规则中的至少之一，得到所述第二数据集。
7.一种移动机器人的区域检测***，其特征在于，包括：
获取模块，用于获取来自移动机器人的待检测的图像数据；
识别分析模块，用于通过训练好的多任务神经网络模型对所述图像数据进行识别分析，得到移动机器人的目标可行驶区域，其中，所述多任务神经网络模型包括一级网络框架和二级网络框架；
其中，所述多任务神经网络模型通过以下步骤训练得到：
获取多类别数据集和雷达接口数据，并对所述多类别数据集进行标注，得到标注数据集；
将所述标注数据集输入至初始化的一级网络框架中进行训练，得到训练好的一级网络框架，以及所述训练好的一级网络框架输出的第一数据集和第二数据集，其中，所述第一数据集是不需要提取候选框的特征图像数据集合，所述第二数据集是需要提取候选框的特征图像数据集合；
将所述第二数据集输入至训练好的二级网络框架，得到第三数据集；
将所述第一数据集、所述第三数据集和雷达接口数据进行多元融合，得到融合数据集；
根据所述融合数据集，更新所述多任务神经网络模型的参数，得到所述训练好的多任务神经网络模型。
8.根据权利要求7所述的一种移动机器人的区域检测***，其特征在于，所述二级网络框架通过以下步骤训练得到：
获取第一正样本，其中，所述第一正样本用于表征所述标注数据集输入至初始化的一级网络框架处理后得到的样本数据集；
根据所述第一正样本对所述第一数据集进行切片及特征提取，得到特征样本集；
将所述特征样本集和所述标注数据集输入至初始化的二级网络框架中进行训练，得到所述训练好的二级网络框架。
9.一种移动机器人的区域检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6中任一项所述的移动机器人的区域检测方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求1-6任一项所述的移动机器人的区域检测方法。
CN202310297047.8A 2023-03-23 2023-03-23 一种移动机器人的区域检测方法、***、装置及介质 Active CN116385949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310297047.8A CN116385949B (zh) 2023-03-23 2023-03-23 一种移动机器人的区域检测方法、***、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310297047.8A CN116385949B (zh) 2023-03-23 2023-03-23 一种移动机器人的区域检测方法、***、装置及介质

Publications (2)

Publication Number Publication Date
CN116385949A CN116385949A (zh) 2023-07-04
CN116385949B true CN116385949B (zh) 2023-09-08

Family

ID=86960833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310297047.8A Active CN116385949B (zh) 2023-03-23 2023-03-23 一种移动机器人的区域检测方法、***、装置及介质

Country Status (1)

Country Link
CN (1) CN116385949B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及***和应用
CN110298262A (zh) * 2019-06-06 2019-10-01 华为技术有限公司 物体识别方法及装置
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
CN113343875A (zh) * 2021-06-18 2021-09-03 深圳亿嘉和科技研发有限公司 一种用于机器人的可行驶区域感知方法
WO2021226921A1 (en) * 2020-05-14 2021-11-18 Harman International Industries, Incorporated Method and system of data processing for autonomous driving
CN114677446A (zh) * 2022-03-21 2022-06-28 华南理工大学 基于路侧多传感器融合的车辆检测方法、装置及介质
CN114816719A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 多任务模型的训练方法及装置
CN115482518A (zh) * 2022-09-26 2022-12-16 大连理工大学 一种面向交通场景的可扩展多任务视觉感知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11608084B1 (en) * 2021-08-27 2023-03-21 Motional Ad Llc Navigation with drivable area detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及***和应用
CN110298262A (zh) * 2019-06-06 2019-10-01 华为技术有限公司 物体识别方法及装置
WO2021226921A1 (en) * 2020-05-14 2021-11-18 Harman International Industries, Incorporated Method and system of data processing for autonomous driving
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
CN113343875A (zh) * 2021-06-18 2021-09-03 深圳亿嘉和科技研发有限公司 一种用于机器人的可行驶区域感知方法
CN114677446A (zh) * 2022-03-21 2022-06-28 华南理工大学 基于路侧多传感器融合的车辆检测方法、装置及介质
CN114816719A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 多任务模型的训练方法及装置
CN115482518A (zh) * 2022-09-26 2022-12-16 大连理工大学 一种面向交通场景的可扩展多任务视觉感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于YOLOv5的多任务自动驾驶环境感知算法;张凯祥等;《计算机***应用》;第31卷(第9期);226-232 *

Also Published As

Publication number Publication date
CN116385949A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Kim et al. Surface crack detection using deep learning with shallow CNN architecture for enhanced computation
Mery Aluminum casting inspection using deep learning: a method based on convolutional neural networks
US10796201B2 (en) Fusing predictions for end-to-end panoptic segmentation
Doshi et al. Road damage detection using deep ensemble learning
CN109800658B (zh) 基于神经网络的泊车位类型在线识别与定位***及方法
CN113807355B (zh) 一种基于编解码结构的图像语义分割方法
Li et al. Automatic recognition and analysis system of asphalt pavement cracks using interleaved low-rank group convolution hybrid deep network and SegNet fusing dense condition random field
CN114723709A (zh) 隧道病害检测方法、装置和电子设备
CN111738114A (zh) 基于无锚点精确采样遥感图像车辆目标检测方法
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN116626177A (zh) 钢轨伤损识别方法及装置
Hoang et al. Optimizing YOLO performance for traffic light detection and end-to-end steering control for autonomous vehicles in Gazebo-ROS2
Anwar et al. YOLOv4 based deep learning algorithm for defects detection and classification of rail surfaces
Tang et al. Visual navigation control for agricultural robot using serial BP neural network
Yang et al. Train intelligent detection system based on convolutional neural network
CN116385949B (zh) 一种移动机器人的区域检测方法、***、装置及介质
Lee et al. Automation of trimming die design inspection by zigzag process between AI and CAD domains
Liu Learning-based defect recognitions for autonomous UAV inspections
CN116128879B (zh) 一种轻量化输电线路缺陷检测方法和装置
Sun et al. Cross validation for CNN based affordance learning and control for autonomous driving
CN114092817B (zh) 目标检测方法、存储介质、电子设备及目标检测装置
Khidhir et al. Comparative Transfer Learning Models for End-to-End Self-Driving Car
Kuzmic et al. Comparison between Filtered Canny Edge Detector and Convolutional Neural Network for Real Time Lane Detection in a Unity 3D Simulator.
CN115620006A (zh) 一种货物杂质含量检测方法、***、装置与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant