CN113221808A - 一种基于图像识别的餐盘计数统计方法及装置 - Google Patents
一种基于图像识别的餐盘计数统计方法及装置 Download PDFInfo
- Publication number
- CN113221808A CN113221808A CN202110575488.0A CN202110575488A CN113221808A CN 113221808 A CN113221808 A CN 113221808A CN 202110575488 A CN202110575488 A CN 202110575488A CN 113221808 A CN113221808 A CN 113221808A
- Authority
- CN
- China
- Prior art keywords
- dinner plate
- dinner
- algorithm
- tracking
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 235000003166 Opuntia robusta Nutrition 0.000 title claims abstract description 67
- 244000218514 Opuntia robusta Species 0.000 title claims abstract description 67
- 238000007619 statistical method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims abstract description 3
- 235000012054 meals Nutrition 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000000903 blocking effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 206010070834 Sensitisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像识别的餐盘计数统计方法及装置，方法包括以下步骤：构建餐盘识别的网络模型；获取传送装置上餐盘的视频图像，读取视频帧；使用网络模型识别出各个视频帧中的餐盘，并使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；使用电子围栏技术对餐盘进行计数。本发明能够显著提高对餐盘检测计数的准确性。
Description
技术领域
本发明涉及图像识别技术领域，具体来说，涉及一种基于图像识别的餐盘计数统计方法及装置。
背景技术
现有对餐盘进行计数统计的***大都为光感计数器，通过在传送带两侧放置发光组件和光感组件进行计数，餐盘通过光感组件时会遮住发光组件的光，通过后，光感组件再次感光，计数加1，完成一次计数操作，但其计数原理有一定局限性，就是两个餐盘在发光组件和感光组件之间不能有遮挡，否则计数会减少，出现计数偏差。
发明内容
本发明的目的在于提出一种基于图像识别的餐盘计数统计方法及装置，以克服现有技术中存在的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种基于图像识别的餐盘计数统计方法，所述方法包括以下步骤：
构建餐盘识别的网络模型；
获取传送装置上餐盘的视频图像，读取视频帧；
使用网络模型识别出各个视频帧中的餐盘，并使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；
使用电子围栏技术对餐盘进行计数。
一种基于图像识别的餐盘计数统计装置，所述装置包括：
餐盘传送模块，用于传送餐盘；
图像采集模块，用于采集餐盘的视频图像，并将所述视频图像发送给餐盘识别模块；
餐盘识别模块，用于读取视频帧，并识别出各个视频帧中的餐盘；
餐盘跟踪模块，使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；
餐盘计数模块，用于使用电子围栏技术对餐盘进行计数。
本发明的有益效果：本发明能够显著提高对餐盘检测计数的准确性。
附图说明
图1是本发明实施例所述方法的流程图；
图2是本发明实施例所述方法的应用示例图；
图3是本发明实施例所述装置的功能模块结构框图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，根据本发明的实施例所述的一种基于图像识别的餐盘计数统计方法，所述方法包括以下步骤：
构建餐盘识别的网络模型。
获取传送装置上餐盘的视频图像，读取视频帧。
使用网络模型识别出各个视频帧中的餐盘，并使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧。具体的，使用网络模型Yolov3对餐盘进行识别，结果的形式为目标位置、置信度和分类置信度，基础构造为基于卷积神经网络的特征提取层以及基于anchor的目标检测结构，目标位置的检测以固定的anchor为基准，回归出偏离值以获得最终的结果，目标的多个不同的置信度在输出后需要经过sigmoid函数处理。
获取的每一帧的目标检测结果采用跟踪算法处理，具体使用卡尔曼滤波算法，细节如下：
预测模型
这里我们描述对象模型，即表示和用于将目标的标识传播到下一帧。我们近似的框架间位移都有一个线性等速模型独立于其他物体和相机运动。状态每个目标的模型如下：
其中u和v分别代表目标的中心横纵坐标，s和r表示目标的BBox的尺寸大小和比例，注意长宽比应该为一个常量。因此后面三个量表示预测的下一帧，当检测与目标关联时，检测到的边界框用于更新目标状态，其中通过卡尔曼方法对速度分量进行了优化求解。如果没有检测与目标关联，则只需使用线性速度模型。
数据关联
使用匈牙利指派算法进行数据关联，使用的cost矩阵为原有目标在当前帧中的预测位置和当前帧目标检测框之间的IOU，当然小于指定IOU阈值的指派结果是无效的。使用IOU能够解决目标的短时被遮挡问题，这是因为目标被遮挡时，检测到了遮挡物，没有检测到原有目标，假设把遮挡物和原有目标进行了关联。那么在遮挡结束后，因为相近大小的目标IOU往往较大，因此很快就可以恢复正确的关联。这是建立在遮挡物面积大于目标的基础上的。
如果连续T帧没有实现已追踪目标预测位置和检测框的IOU匹配，则认为目标消失。***中设置T＝1，原因有二，一是匀速运动假设不合理，二是***主要关注短时目标追踪。此时，尽早删除已丢失的目标有助于提升追踪效率。但是，问题就出现了，这样的话目标的ID一定会频繁的切换，这样就会造成跟踪计数的不准确。此时应使用KFC算法匹配丢失帧，保证跟踪计数的准确性。
使用电子围栏技术对餐盘进行计数。具体的，如图2所示，视频中的餐盘水平移动，由于跟踪算法的参与，每个框将会获得一个数字ID标识身份，每当有一个框跨越了设定的线(电子围栏)后，计数增加，并记录ID。
如图3所示，基于以上本发明公开的一种基于图像识别的餐盘计数统计方法，本发明还公开了一种基于图像识别的餐盘计数统计装置，所述装置包括：
餐盘传送模块，用于传送餐盘；
图像采集模块，用于采集餐盘的视频图像，并将所述视频图像发送给餐盘识别模块；
餐盘识别模块，用于读取视频帧，并识别出各个视频帧中的餐盘；
餐盘跟踪模块，使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；
餐盘计数模块，用于使用电子围栏技术对餐盘进行计数。
本发明实施例所述的基于图像识别的餐盘计数统计装置的上述各个功能模块，分别对应本发明的基于图像识别的餐盘计数统计方法的各个操作步骤，这里不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于图像识别的餐盘计数统计方法，其特征在于，所述方法包括以下步骤：
1)构建餐盘识别的网络模型；
2)获取传送装置上餐盘的视频图像，读取视频帧；
3)使用网络模型识别出各个视频帧中的餐盘，并使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；
4)使用电子围栏技术对餐盘进行计数。
2.一种基于图像识别的餐盘计数统计装置，其特征在于，所述装置包括：
餐盘传送模块，用于传送餐盘；
图像采集模块，用于采集餐盘的视频图像，并将所述视频图像发送给餐盘识别模块；
餐盘识别模块，用于读取视频帧，并识别出各个视频帧中的餐盘；
餐盘跟踪模块，使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；
餐盘计数模块，用于使用电子围栏技术对餐盘进行计数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575488.0A CN113221808A (zh) | 2021-05-26 | 2021-05-26 | 一种基于图像识别的餐盘计数统计方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110575488.0A CN113221808A (zh) | 2021-05-26 | 2021-05-26 | 一种基于图像识别的餐盘计数统计方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113221808A true CN113221808A (zh) | 2021-08-06 |
Family
ID=77098581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110575488.0A Withdrawn CN113221808A (zh) | 2021-05-26 | 2021-05-26 | 一种基于图像识别的餐盘计数统计方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221808A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104835323A (zh) * | 2015-05-19 | 2015-08-12 | 银江股份有限公司 | 一种结合电子围栏的多目标公交客流检测方法 |
| CN109522854A (zh) * | 2018-11-22 | 2019-03-26 | 广州众聚智能科技有限公司 | 一种基于深度学习和多目标跟踪的行人流量统计方法 |
| CN110852283A (zh) * | 2019-11-14 | 2020-02-28 | 南京工程学院 | 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法 |
| CN111860282A (zh) * | 2020-07-15 | 2020-10-30 | 中国电子科技集团公司第三十八研究所 | 地铁断面客流量统计和行人逆行检测方法及*** |
| CN111986237A (zh) * | 2020-09-01 | 2020-11-24 | 安徽炬视科技有限公司 | 一种人数无关的实时多目标跟踪算法 |
| CN112669349A (zh) * | 2020-12-25 | 2021-04-16 | 北京竞业达数码科技股份有限公司 | 一种客流统计方法、电子设备及存储介质 |
| CN112836639A (zh) * | 2021-02-03 | 2021-05-25 | 江南大学 | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 |
-
2021
- 2021-05-26 CN CN202110575488.0A patent/CN113221808A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104835323A (zh) * | 2015-05-19 | 2015-08-12 | 银江股份有限公司 | 一种结合电子围栏的多目标公交客流检测方法 |
| CN109522854A (zh) * | 2018-11-22 | 2019-03-26 | 广州众聚智能科技有限公司 | 一种基于深度学习和多目标跟踪的行人流量统计方法 |
| CN110852283A (zh) * | 2019-11-14 | 2020-02-28 | 南京工程学院 | 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法 |
| CN111860282A (zh) * | 2020-07-15 | 2020-10-30 | 中国电子科技集团公司第三十八研究所 | 地铁断面客流量统计和行人逆行检测方法及*** |
| CN111986237A (zh) * | 2020-09-01 | 2020-11-24 | 安徽炬视科技有限公司 | 一种人数无关的实时多目标跟踪算法 |
| CN112669349A (zh) * | 2020-12-25 | 2021-04-16 | 北京竞业达数码科技股份有限公司 | 一种客流统计方法、电子设备及存储介质 |
| CN112836639A (zh) * | 2021-02-03 | 2021-05-25 | 江南大学 | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 任珈民 等: "基于YOLOv3与卡尔曼滤波的多目标跟踪算法", 《计算机应用与软件》, no. 05 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN110598558B (zh) | 人群密度估计方法、装置、电子设备及介质 | |
| CN111160434B (zh) | 目标检测模型的训练方法、装置及计算机可读存储介质 | |
| CN111680551A (zh) | 监控牲畜数量的方法、装置、计算机设备及存储介质 | |
| CN111242108B (zh) | 基于目标检测的皮带转载点堵煤识别方法 | |
| CN108564579B (zh) | 一种基于时空相关的混凝土裂缝检测方法及检测装置 | |
| CN110992305A (zh) | 基于深度学习和多目标跟踪技术的包裹计数方法及*** | |
| CN101477641A (zh) | 基于视频监控的人数统计方法和*** | |
| CN111311630A (zh) | 在仓储管理中通过视频智能统计货物数量的方法和*** | |
| CN113191180B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN103581620A (zh) | 图像处理设备、图像处理方法及程序 | |
| CN111751279A (zh) | 光学取像参数调整方法及感测装置 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| WO2021022698A1 (zh) | 尾随检测方法、装置、电子设备及存储介质 | |
| CN116311063A (zh) | 监控视频下基于人脸识别的人员细粒度跟踪方法及*** | |
| CN115953719A (zh) | 一种多目标识别的计算机图像处理*** | |
| CN106504242A (zh) | 目标检测方法及*** | |
| WO2022142416A1 (zh) | 目标跟踪方法及相关设备 | |
| CN112329495B (zh) | 一种条形码识别方法、装置及*** | |
| CN113221808A (zh) | 一种基于图像识别的餐盘计数统计方法及装置 | |
| KR20220146225A (ko) | 딥러닝 영상분석 기술 기반 양돈수 카운팅 및 환돈 탐지 시스템 | |
| Sutopo et al. | Appearance-based passenger counting in cluttered scenes with lateral movement compensation | |
| CN115984780A (zh) | 工业固体废物出入库判别方法、装置、电子设备及介质 | |
| CN108280402B (zh) | 一种基于双目视觉的客流量统计方法及*** | |
| CN116246298A (zh) | 一种空间占用人数统计方法、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210806 |