CN116597361A - 清洗机的图像识别跟踪方法、装置、设备及可读存储介质 - Google Patents

清洗机的图像识别跟踪方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN116597361A
CN116597361A CN202310627921.XA CN202310627921A CN116597361A CN 116597361 A CN116597361 A CN 116597361A CN 202310627921 A CN202310627921 A CN 202310627921A CN 116597361 A CN116597361 A CN 116597361A
Authority
CN
China
Prior art keywords
cleaning
instrument
image
target
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310627921.XA
Other languages
English (en)
Inventor
韦红娟
蒋志奇
张婧
姚顺
曾方华
廖代洲
刘霞
常相辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Laoken Medical Technology Co Ltd
Original Assignee
Laoken Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Laoken Medical Technology Co Ltd filed Critical Laoken Medical Technology Co Ltd
Priority to CN202310627921.XA priority Critical patent/CN116597361A/zh
Publication of CN116597361A publication Critical patent/CN116597361A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了清洗机的图像识别跟踪方法、装置、设备及可读存储介质，涉及清洗机的图像识别跟踪技术领域，包括基于多摄像头获取至少两个区域的器械清洗移动过程中的视频数据信息；将视频数据信息中变化的待识别器械目标与背景图像进行分割；将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标后，定位不合格的清洗检测目标的盲区污染位置；提取有关于不合格的清洗检测目标的盲区污染位置所属图像序列中不同帧的运动轨迹，对跟踪运动轨迹进行全局规划，提取最小代价路径信息。本发明的有益效果为自动检测替代人工检查，节约人工检查清洗效果的成本，实现智能化，保证清洗效果。

Description

清洗机的图像识别跟踪方法、装置、设备及可读存储介质
技术领域
本发明涉及清洗机的图像识别跟踪技术领域，具体而言，涉及清洗机的图像识别跟踪方法、装置、设备及可读存储介质。
背景技术
清洗机在清洗前一般是人为摆放器械，不能完全按照摆放要求进行摆放，清洗结束后也就无法保证达到清洗效果，摆放过程中会有重叠现象造成有些器械也并未清洗干净，清洗完成后需人工对器械进行逐个检查，检查是否清洗干净，造成了人工成本的浪费。
发明内容
本发明的目的在于提供一种清洗机的图像识别跟踪方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了清洗机的图像识别跟踪方法，包括：
基于多摄像头获取至少两个区域的器械清洗移动过程中的视频数据信息；
将至少两个区域的器械清洗移动过程中的视频数据信息中变化的待识别器械目标与背景图像进行分割，得到分割后的待识别器械目标，记作清洗检测目标；
将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标后，定位不合格的清洗检测目标的盲区污染位置；
提取有关于不合格的清洗检测目标的盲区污染位置所属图像序列中不同帧的运动轨迹，综合所有运动轨迹得到跟踪运动轨迹，对跟踪运动轨迹进行全局规划，提取最小代价路径信息，基于最小代价路径信息对盲区污染位置进行反复清洗直到符合预设清洗标准为止。
优选地，所述将至少两个区域的器械清洗移动过程中的视频数据信息中变化的待识别器械目标与背景图像进行分割，得到分割后的待识别器械目标，其中包括：
提取至少两个区域的器械清洗移动过程中的视频数据信息中有关待识别器械目标的图像信息；
采用双边滤波法对图像信息进行预处理，得到预处理后的待识别器械目标图像信息；
针对待识别器械目标图像信息，去除超过预设比例的背景区域，得到去除背景后的待识别器械目标图像信息；
基于小波变换的多尺度边缘检测分析，对待识别器械目标图像信息进行优化处理，得到处理后的待识别器械目标。
优选地，所述将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标，其中包括：
将清洗检测目标的图像进行灰度变换，并将灰度变换得到的灰度图发送至训练后的卷积神经网络进行处理，得到多摄像头多角度拍摄的图像信息；
基于多摄像头多角度拍摄的图像信息和预设在清洗行为识别***中的标准信息进行关联分析，并基于关联分析得到的关联度值的大小，将关联度值最大的轮廓作为不合格的清洗检测目标所对应的轮廓。
优选地，所述对跟踪运动轨迹进行全局规划，提取最小代价路径信息，其中包括：
根据传感器确认盲区污染位置附近的障碍物位置，基于障碍物位置构建栅格地图，利用栅格法将障碍物进行划分，其中障碍物为遮挡在盲区污染位置的物体；
基于划分后的栅格地图，建立达到盲区污染位置的估值函数；
根据估值函数，结合A*算法，得到达到盲区污染位置的最小代价路径。
第二方面，本申请还提供了一种清洗机的图像识别跟踪装置，包括获取模块、分割模块、分析模块和规划模块，其中：
获取模块：用于基于多摄像头获取至少两个区域的器械清洗移动过程中的视频数据信息；
分割模块：用于将至少两个区域的器械清洗移动过程中的视频数据信息中变化的待识别器械目标与背景图像进行分割，得到分割后的待识别器械目标，记作清洗检测目标；
分析模块：用于将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标后，定位不合格的清洗检测目标的盲区污染位置；
规划模块：用于提取有关于不合格的清洗检测目标的盲区污染位置所属图像序列中不同帧的运动轨迹，综合所有运动轨迹得到跟踪运动轨迹，对跟踪运动轨迹进行全局规划，提取最小代价路径信息，基于最小代价路径信息对盲区污染位置进行反复清洗直到符合预设清洗标准为止。
第三方面，本申请还提供了一种清洗机的图像识别跟踪设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述清洗机的图像识别跟踪方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于清洗机的图像识别跟踪方法的步骤。
本发明的有益效果为：
本发明采用图像识别跟踪方法用自动检测替代人工检查，节约人工检查清洗效果的成本，实现智能化，此方法存储相应数据，追溯未清洗干净器械，并且分析根本原因，保证清洗效果。
本发明采用多摄像头获取视频数据信息的方法可利用多摄像头扩大监控范围，从而更加不易受到遮挡以及目标本身在清洗过程中状态的影响，实现了追踪鲁棒性及清洗的准确性的提升，保证了清洗顺利完成。
本发明采用小波变换的多尺度边缘检测通过将待识别器械目标图像信息分成多种尺度的成分，并对不同尺度成分采用相应的时域采样步长，从而能够不断聚焦到对象的任意微小细节，达到了有效抑制噪声，也能提取出图像边缘细节的目的，这样可以有效的判断出清洁效果是否到位。
本发明通过对灰度图进行行卷积平滑处理，确定图像信息中不同未清洗干净的区域，进而识别未清洗干净的关键图像的像素关键点，其中将每个灰度值的像素点进行聚类，确定聚类簇的中心点进而确定图中的关键部位的位置。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的清洗机的图像识别跟踪方法流程示意图；
图2为本发明实施例中所述的清洗机的图像识别跟踪装置结构示意图；
图3为本发明实施例中所述的清洗机的图像识别跟踪设备结构示意图。
图中：701、获取模块；702、分割模块；7021、提取单元；7022、第一处理单元；7023、第一获得单元；7024、第二处理单元；703、分析模块；7031、第三处理单元；7032、关联单元；704、规划模块；7041、划分单元；7042、建立函数单元；7043、第二获得单元；800、清洗机的图像识别跟踪设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种清洗机的图像识别跟踪方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。
在本实施例中清洗机的结构组成包括清洗机本体、清洗机控制***(显示屏、控制器、传感器)、智能行为识别***(由污染区图片提取单元、洁净区图片提取单元和摄像单元)和数据处理***组成，其中数据处理***包括存储单元、分析单元、通讯模块和报警模块组成。
S100、基于多摄像头获取至少两个区域的器械清洗移动过程中的视频数据信息。
可以理解的是，在本步骤中，首先摆放好器械后，使用多摄像头多角度对每个器械进行拍摄，将数据存取；器械清洗完成后多角度采集照片，将照片进行存储。
需要说明的是，若采用单一摄像头的方法，容易受到器械在放置过程中互相遮挡的影响，导致无法有效的对每一个器械进行清洗，采用多摄像头获取视频数据信息的方法可利用多摄像头扩大监控范围，从而更加不易受到遮挡以及目标本身在清洗过程中状态的影响，实现了追踪鲁棒性及清洗的准确性的提升，保证了清洗顺利完成。在本实施例中，多摄像头当前帧进行输入，得到至少两个区域的器械清洗移动过程中的视频数据信息中的图像，利用全局搜索待识别器械目标，当前帧小于20帧，利用相似度度量所有待识别器械目标与前一帧目标的相似度，并在线训练，训练包括空间及尺度平滑训练，并输出相似度最高的器械视频数据信息。
S200、将至少两个区域的器械清洗移动过程中的视频数据信息中变化的待识别器械目标与背景图像进行分割，得到分割后的待识别器械目标，记作清洗检测目标，其中变化为待识别器械目标在清洗移动的过程中器械上的污染物由有到无的变化过程，器械图像前后会发生变化。
可以理解的是，在本S200步骤中包括S201、S202、S203和S204，其中：
S201、提取至少两个区域的器械清洗移动过程中的视频数据信息中有关待识别器械目标的图像信息；
S201、采用双边滤波法对图像信息进行预处理，得到预处理后的待识别器械目标图像信息；
S201、针对待识别器械目标图像信息，去除超过预设比例的背景区域，得到去除背景后的待识别器械目标图像信息；
需要说明的是，在对于噪音弱化方面，可以对待识别器械目标图像进行高斯滤波处理，经过之前的几个操作，去除背景等已经可以将图像进行读取，但是图像中的噪声也会跟着操作有可能被增强，选择高斯滤波对图像进行滤波操作，这样可以在尽可能保留微动脉瘤信息的同时弱化噪声，并得到去除背景后的待识别器械目标图像信息。
S204、基于小波变换的多尺度边缘检测分析，对待识别器械目标图像信息进行优化处理，得到处理后的待识别器械目标。
需要说明的是，小波变换的多尺度边缘检测通过将待识别器械目标图像信息分成多种尺度的成分，并对不同尺度成分采用相应的时域采样步长，从而能够不断聚焦到对象的任意微小细节，达到了有效抑制噪声，也能提取出图像边缘细节的目的，这样可以有效的判断出清洁效果是否到位。
S300、将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标后，定位不合格的清洗检测目标的盲区污染位置。
可以理解的是，在本S300步骤中包括S301和S302，其中：
S301、将清洗检测目标的图像进行灰度变换，并将灰度变换得到的灰度图发送至训练后的卷积神经网络进行处理，得到多摄像头多角度拍摄的图像信息；
在本步骤S301中包括步骤S3011、S3012和S3013，其中：
S3011、基于均值漂移算法对所述灰度图进行卷积平滑处理，得到所述灰度图内的图像信息；
S3012、对图像信息中不同灰度值的像素点进行关键点识别，其中关键点识别为是否有未清洗干净的关键地方进行识别，其中通过将不同灰度值的像素点进行聚类，并计算中心点，并将中心点作为关键点；
S3013、将关键点进行插值处理，将处理后的点进行连线，得到图像信息的轮廓。
本步骤中通过对灰度图进行行卷积平滑处理，确定图像信息中不同未清洗干净的区域，进而识别未清洗干净的关键图像的像素关键点，其中将每个灰度值的像素点进行聚类，确定聚类簇的中心点进而确定图中的关键部位的位置。
S302、基于多摄像头多角度拍摄的图像信息和预设在清洗行为识别***中的标准信息进行关联分析，并基于关联分析得到的关联度值的大小，将关联度值最大的轮廓作为不合格的清洗检测目标所对应的轮廓，其中包括将获取的图片与***中存储的标准清洗干净的图片进行对比，自动得出结果，合格或不合格；提取不合格的器械摆放的图片和标准摆放要求图片进行对比，找出未清洗干净的原因，并记录下来，指导正确摆放器械。
通过对清洗检测目标的图像转换为灰度图，然后基于灰度图确定未清洗干净部位的轮廓，进而确定未清洗部分的情况和大小，增加清洗的准确性。
S400、提取有关于不合格的清洗检测目标的盲区污染位置所属图像序列中不同帧的运动轨迹，综合所有运动轨迹得到跟踪运动轨迹，对跟踪运动轨迹进行全局规划，提取最小代价路径信息，基于最小代价路径信息对盲区污染位置进行反复清洗直到符合预设清洗标准为止。
可以理解的是，在本S400步骤中包括S401、S402和S403，其中：
S401、根据传感器确认盲区污染位置附近的障碍物位置，基于障碍物位置构建栅格地图，利用栅格法将障碍物进行划分，其中障碍物为遮挡在盲区污染位置的物体；
需要说明的是，不合格清洗检测目标有可能会被挤压重叠在其他器械之下，所以造成未被有效清洗到位，所以根据传感器先确认是否有其他器械(即障碍物)遮挡到不合格清洗检测目标，若有障碍物，则基于障碍物构建栅格地图，需要保证机械臂或机械手在移动和清洗任务同时进行，实现清洗过程中无死角清洗，障碍物需要机械臂或机械手在工作中进行抓取或者避让，因此需要制定合理的规划路线来保证清洗效率提高。
S＝{(x，y)x，y为可移动的坐标点}
其中，S为清洗工作区域，Sφ为机械臂(手)可达到区域，ocup(x，y)表示为：
其中，Sφ为机械臂(手)不可达到区域，栅格赋值为Sf＝ocup(x，y)＝2。
根据障碍物的复杂程度，根据栅格法对障碍物进行划分，结合工作场景，从而建立环境栅格地图。
S402、基于划分后的栅格地图，建立达到盲区污染位置的估值函数；
需要说明的是，A*算法采用启发式搜索，往往能在静态环境中有效快速地求解出最优路径，A*算法启发中的估价通过一个估价函数表示(如下式所示)，以确定搜索方向：
f(n)＝g(n)+h(n)
式中，f(n)表示乘客疏散起始位置由节点n到达安全出口的估价函数，g(n)表示疏散起始位置到节点n的实际代价，h(n)表示节点n到达安全出口的估价代价。
S403、根据估值函数，结合A*算法，得到达到盲区污染位置的最小代价路径。
需要说明的是，根据估值函数，以最小的代价到达下一个节点，直到达到目标地，从而完成起始点到目标点的最优路径。当前节点和目标节点之间的直线距离，可表示为：
式中，(x1,y1,z1)和(x2,y2,z2)分别表示节点n1、n2的空间坐标。
因此，可以根据估值函数和A*算法，得到达到盲区污染位置的最小代价路径，然后根据最下代价路径对待清洗目标进行清洗，进行反复清洗直到符合预设清洗标准为止。
综上，本发明还采用预警***，图像采集模块包括多种检测单元，检测单元可以用于监测器械的不同状态，包括是否严重破损或者缺少标签；提高后续分析精准性，同时***中设置的警报模块中，连接多个报警器，不同的报警器可以分别对严重破损的器械进行预警，方便工作人员进行了解器械破损类别，便于第一时间进行对应的操作。
实施例2：
如图2所示，本实施例提供了一种清洗机的图像识别跟踪装置，参见图2所述装置包括包括获取模块701、分割模块702、分析模块703和规划模块704，其中：
获取模块701：用于基于多摄像头获取至少两个区域的器械清洗移动过程中的视频数据信息；
分割模块702：用于将至少两个区域的器械清洗移动过程中的视频数据信息中变化的待识别器械目标与背景图像进行分割，得到分割后的待识别器械目标，记作清洗检测目标；
分析模块703：用于将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标后，定位不合格的清洗检测目标的盲区污染位置；
规划模块704：用于提取有关于不合格的清洗检测目标的盲区污染位置所属图像序列中不同帧的运动轨迹，综合所有运动轨迹得到跟踪运动轨迹，对跟踪运动轨迹进行全局规划，提取最小代价路径信息，基于最小代价路径信息对盲区污染位置进行反复清洗直到符合预设清洗标准为止。
具体地，所述分割模块702，其中包括提取单元7021、第一处理单元7022、第一获得单元7023和第二处理单元7024：
提取单元7021：用于提取至少两个区域的器械清洗移动过程中的视频数据信息中有关待识别器械目标的图像信息；
第一处理单元7022：用于采用双边滤波法对图像信息进行预处理，得到预处理后的待识别器械目标图像信息；
第一获得单元7023：用于针对待识别器械目标图像信息，去除超过预设比例的背景区域，得到去除背景后的待识别器械目标图像信息；
第二处理单元7024：用于基于小波变换的多尺度边缘检测分析，对待识别器械目标图像信息进行优化处理，得到处理后的待识别器械目标。
具体地，所述分析模块703，其中包括第三处理单元7031和关联单元7032：
第三处理单元7031：用于将清洗检测目标的图像进行灰度变换，并将灰度变换得到的灰度图发送至训练后的卷积神经网络进行处理，得到多摄像头多角度拍摄的图像信息；
关联单元7032：用于基于多摄像头多角度拍摄的图像信息和预设在清洗行为识别***中的标准信息进行关联分析，并基于关联分析得到的关联度值的大小，将关联度值最大的轮廓作为不合格的清洗检测目标所对应的轮廓。
具体地，所述规划模块704，其中包括划分单元7041、建立函数单元7042和第二获取单元，其中：
划分单元7041：用于根据传感器确认盲区污染位置附近的障碍物位置，基于障碍物位置构建栅格地图，利用栅格法将障碍物进行划分，其中障碍物为遮挡在盲区污染位置的物体；
建立函数单元7042：用于基于划分后的栅格地图，建立达到盲区污染位置的估值函数；
第二获得单元7043：用于根据估值函数，结合A*算法，得到达到盲区污染位置的最小代价路径。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
对应于上面的方法实施例，本实施例中还提供了一种清洗机的图像识别跟踪设备，下文描述的一种清洗机的图像识别跟踪设备与上文描述的一种清洗机的图像识别跟踪方法可相互对应参照。
图3是根据示例性实施例示出的一种清洗机的图像识别跟踪设备800的框图。如图3所示，该清洗机的图像识别跟踪设备800包括：处理器801和存储器802。该清洗机的图像识别跟踪设备800还包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该清洗机的图像识别跟踪设备800的整体操作，以完成上述的清洗机的图像识别跟踪方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该清洗机的图像识别跟踪设备800的操作，这些数据例如可以包括用于在该清洗机的图像识别跟踪设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandom Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘、鼠标或按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该清洗机的图像识别跟踪设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi、蓝牙、近场通信(Near FieldCommunication，简称NFC)、2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块、蓝牙模块或NFC模块。
在一示例性实施例中，清洗机的图像识别跟踪设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的清洗机的图像识别跟踪方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的清洗机的图像识别跟踪方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由清洗机的图像识别跟踪设备800的处理器801执行以完成上述的清洗机的图像识别跟踪方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种清洗机的图像识别跟踪方法可相互对应参照。
可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的清洗机的图像识别跟踪方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.清洗机的图像识别跟踪方法，其特征在于，包括：
基于多摄像头获取至少两个区域的器械清洗移动过程中的视频数据信息；
将至少两个区域的器械清洗移动过程中的视频数据信息中变化的待识别器械目标与背景图像进行分割，得到分割后的待识别器械目标，记作清洗检测目标；
将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标后，定位不合格的清洗检测目标的盲区污染位置；
提取有关于不合格的清洗检测目标的盲区污染位置所属图像序列中不同帧的运动轨迹，综合所有运动轨迹得到跟踪运动轨迹，对跟踪运动轨迹进行全局规划，提取最小代价路径信息，基于最小代价路径信息对盲区污染位置进行反复清洗直到符合预设清洗标准为止。
2.根据权利要求1所述的清洗机的图像识别跟踪方法，其特征在于，所述将至少两个区域的器械清洗移动过程中的视频数据信息中变化的待识别器械目标与背景图像进行分割，得到分割后的待识别器械目标，其中包括：
提取至少两个区域的器械清洗移动过程中的视频数据信息中有关待识别器械目标的图像信息；
采用双边滤波法对图像信息进行预处理，得到预处理后的待识别器械目标图像信息；
针对待识别器械目标图像信息，去除超过预设比例的背景区域，得到去除背景后的待识别器械目标图像信息；
基于小波变换的多尺度边缘检测分析，对待识别器械目标图像信息进行优化处理，得到处理后的待识别器械目标。
3.根据权利要求1所述的清洗机的图像识别跟踪方法，其特征在于，所述将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标，其中包括：
将清洗检测目标的图像进行灰度变换，并将灰度变换得到的灰度图发送至训练后的卷积神经网络进行处理，得到多摄像头多角度拍摄的图像信息；
基于多摄像头多角度拍摄的图像信息和预设在清洗行为识别***中的标准信息进行关联分析，并基于关联分析得到的关联度值的大小，将关联度值最大的轮廓作为不合格的清洗检测目标所对应的轮廓。
4.根据权利要求1所述的清洗机的图像识别跟踪方法，其特征在于，所述对跟踪运动轨迹进行全局规划，提取最小代价路径信息，其中包括：
根据传感器确认盲区污染位置附近的障碍物位置，基于障碍物位置构建栅格地图，利用栅格法将障碍物进行划分，其中障碍物为遮挡在盲区污染位置的物体；
基于划分后的栅格地图，建立达到盲区污染位置的估值函数；
根据估值函数，结合A*算法，得到达到盲区污染位置的最小代价路径。
5.一种清洗机的图像识别跟踪装置，其特征在于，包括：
获取模块：用于基于多摄像头获取至少两个区域的器械清洗移动过程中的视频数据信息；
分割模块：用于将至少两个区域的器械清洗移动过程中的视频数据信息中变化的待识别器械目标与背景图像进行分割，得到分割后的待识别器械目标，记作清洗检测目标；
分析模块：用于将清洗检测目标与预设在清洗行为识别***中的标准信息进行关联对比分析，确定不合格的清洗检测目标后，定位不合格的清洗检测目标的盲区污染位置；
规划模块：用于提取有关于不合格的清洗检测目标的盲区污染位置所属图像序列中不同帧的运动轨迹，综合所有运动轨迹得到跟踪运动轨迹，对跟踪运动轨迹进行全局规划，提取最小代价路径信息，基于最小代价路径信息对盲区污染位置进行反复清洗直到符合预设清洗标准为止。
6.根据权利要求5所述的清洗机的图像识别跟踪装置，其特征在于，所述分割模块，其中包括：
提取单元：用于提取至少两个区域的器械清洗移动过程中的视频数据信息中有关待识别器械目标的图像信息；
第一处理单元：用于采用双边滤波法对图像信息进行预处理，得到预处理后的待识别器械目标图像信息；
第一获得单元：用于针对待识别器械目标图像信息，去除超过预设比例的背景区域，得到去除背景后的待识别器械目标图像信息；
第二处理单元：用于基于小波变换的多尺度边缘检测分析，对待识别器械目标图像信息进行优化处理，得到处理后的待识别器械目标。
7.根据权利要求5所述的清洗机的图像识别跟踪装置，其特征在于，所述分析模块，其中包括：
第三处理单元：用于将清洗检测目标的图像进行灰度变换，并将灰度变换得到的灰度图发送至训练后的卷积神经网络进行处理，得到多摄像头多角度拍摄的图像信息；
关联单元：用于基于多摄像头多角度拍摄的图像信息和预设在清洗行为识别***中的标准信息进行关联分析，并基于关联分析得到的关联度值的大小，将关联度值最大的轮廓作为不合格的清洗检测目标所对应的轮廓。
8.根据权利要求5所述的清洗机的图像识别跟踪装置，其特征在于，所述规划模块，其中包括：
划分单元：用于根据传感器确认盲区污染位置附近的障碍物位置，基于障碍物位置构建栅格地图，利用栅格法将障碍物进行划分，其中障碍物为遮挡在盲区污染位置的物体；
建立函数单元：用于基于划分后的栅格地图，建立达到盲区污染位置的估值函数；
第二获得单元：用于根据估值函数，结合A*算法，得到达到盲区污染位置的最小代价路径。
9.一种清洗机的图像识别跟踪设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述清洗机的图像识别跟踪方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述清洗机的图像识别跟踪方法的步骤。
CN202310627921.XA 2023-05-31 2023-05-31 清洗机的图像识别跟踪方法、装置、设备及可读存储介质 Pending CN116597361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310627921.XA CN116597361A (zh) 2023-05-31 2023-05-31 清洗机的图像识别跟踪方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310627921.XA CN116597361A (zh) 2023-05-31 2023-05-31 清洗机的图像识别跟踪方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116597361A true CN116597361A (zh) 2023-08-15

Family

ID=87599011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310627921.XA Pending CN116597361A (zh) 2023-05-31 2023-05-31 清洗机的图像识别跟踪方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116597361A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061189A (zh) * 2023-08-26 2023-11-14 上海六坊信息科技有限公司 一种基于数据加密的数据包传输方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061189A (zh) * 2023-08-26 2023-11-14 上海六坊信息科技有限公司 一种基于数据加密的数据包传输方法及***
CN117061189B (zh) * 2023-08-26 2024-01-30 上海六坊信息科技有限公司 一种基于数据加密的数据包传输方法及***

Similar Documents

Publication Publication Date Title
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
JP2953712B2 (ja) 移動物体検知装置
CN108460362B (zh) 一种检测人体部位的***及方法
CN109727275B (zh) 目标检测方法、装置、***和计算机可读存储介质
CN110335313B (zh) 音频采集设备定位方法及装置、说话人识别方法及***
CN112785628B (zh) 一种基于全景视角检测跟踪的轨迹预测方法及***
JP2009265827A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
CN116597361A (zh) 清洗机的图像识别跟踪方法、装置、设备及可读存储介质
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
JP4427052B2 (ja) 画像処理装置および領域追跡プログラム
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
CN112183412A (zh) 人员身份识别方法、装置、电子设备及存储介质
CN111753587B (zh) 一种倒地检测方法及装置
CN114331961A (zh) 用于对象的缺陷检测的方法
JP2009123150A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
CN112070053A (zh) 背景图像的自更新方法、装置、设备及存储介质
CN115690554A (zh) 目标识别方法、***、电子设备及存储介质
CN115767424A (zh) 一种基于rss与csi融合的视频定位方法
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
JP2019075051A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination