CN114037937A - 一种基于多目标追踪的实时冰箱食材识别方法 - Google Patents

一种基于多目标追踪的实时冰箱食材识别方法 Download PDF

Info

Publication number
CN114037937A
CN114037937A CN202111320020.3A CN202111320020A CN114037937A CN 114037937 A CN114037937 A CN 114037937A CN 202111320020 A CN202111320020 A CN 202111320020A CN 114037937 A CN114037937 A CN 114037937A
Authority
CN
China
Prior art keywords
food material
video
real
target tracking
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111320020.3A
Other languages
English (en)
Inventor
李宗民
白云
张玉鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202111320020.3A priority Critical patent/CN114037937A/zh
Publication of CN114037937A publication Critical patent/CN114037937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明结合深度学习与计算机视觉算法，具体公开了一种多目标追踪的实时冰箱食材识别方法，该方法包括如下步骤：s1、通过摄像头获取冰箱中的食材信息；s2、将获取食材的视频信息上传到本地服务器；s3、对上传的视频进行预处理，进行等间隔的分帧；s4、使用卷积神经网络，对视频信息进行特征提取，使用多目标追踪方法，对视频信息进行检测和匹配特征提取；s5、使用深度学习的方法，对特征进行综合分析，判断食材种类以及运动轨迹；s6、对食材状态进行判断，将结果实时反馈。本发明方法通过使用卷积神经网络对于食材视频信息的分析，使用多目标追踪方法，充分挖掘视频每帧之间的关系特征，实时的检测待检测食材状态。

Description

一种基于多目标追踪的实时冰箱食材识别方法
技术领域
本发明结合深度学习与计算机视觉算法，具体公开了一种基于多目标追踪的实时冰箱食材识别方法。
背景技术
智能家居***是利用先进的计算机技术、网络通讯技术、智能云端控制、综合布线技术、医疗电子技术依照人体工程学原理，融合个性需求，将与家居生活有关的各个子***如安防、灯光控制、窗帘控制、煤气阀控制、信息家电、场景联动、地板采暖、健康保健、卫生防疫、安防保安等有机地结合在一起，通过网络化综合智能控制和管理，实现“以人为本”的全新家居生活体验。智能冰箱是智能家居的一部分，而在智能冰箱的发展之中，冰箱食材的识别是一个不可避免的难题。
就目前的实现方法来说，一种方法是对放入冰箱的食材打上电子标签，待其被取出后，再扫描电子标签，以此判定其放入、取出、保存时间等信息。但是这种方法会使得用户的使用体验变得糟糕，会使食材识别这个功能变得繁琐；另外还有方法是基于图像的冰箱食材识别，该方法通过使用深度学习方法对图像进行处理，判别图像中食材的种类，以达到识别的目的，但是这种方法目前存在很大的缺陷，一个是没有消除背景的影响，另外就是无法得知食材运动轨迹，这就没办法判别其是被放入还是被取出。
现在的方法可以分为传统方法和基于深度学***。而基于深度学习的方法现在还不完善，背景的影响、摄像头位置、特征提取方法等还存在着很大的改进空间。
因此，结合深度学习与计算机视觉的方法，构建一种更便利的冰箱食材识别方法是非常必要的。
发明内容
本发明的目的在于提出一种多目标追踪额实时冰箱食材识别方法，其采用如下方案：
一种基于多目标追踪的实时冰箱食材识别方法，包括如下步骤：
s1、通过摄像头获取冰箱中的食材信息；
s2、将获取食材的视频信息上传到本地服务器；
s3、对上传的视频进行预处理，进行等间隔的分帧；
s4、使用卷积神经网络，对视频信息进行特征提取，使用目标追踪方法，对视频信息进行检测和匹配特征提取；
s5、使用深度学习的方法，对特征进行综合分析，判断食材种类以及运动轨迹；
s6、对食材状态进行判断，将结果实时反馈。
进一步，上述步骤s1中，通过调整摄像头角度，并且进行多摄像头融合，实时并且全方位地捕获食材运动特征信息。
进一步，上述步骤s2中，需要将对于s1中获取到的信息每隔一定时间上传到本地服务器中，分析食材所处状态。
进一步，上述步骤s3中，通过视频分帧技术，根据算法响应时间，每秒提取10张视频帧图片。
进一步，上述步骤s4中，完成对于检测和匹配融合的特征提取。
进一步，数据处理的具体步骤为：
s41、通过检测网络，在步骤s3的基础上，完成对于每一帧图片食材进行检测并提取出相应种类和位置特征；
s42、通过对下一帧图像的检测特征提取，在步骤s41的基础上，计算IOU差值与特征差值；
s43、通过匈牙利算法，在步骤s42的基础上，完成相连帧之间的检测框匹配，并且记录其种类；
进一步，上述步骤s5中，根据s4中的特征提取结果进行分析处理，送入轨迹判别和优化模块，以识别食材运动轨迹。
进一步，上述步骤s6中，根据s5中的分析结果实时的反馈食材所处状态。
本发明具有如下优点：
本发明方法通过深度神经网络与计算机视觉的方法，在冰箱食材的检测工作中，创造性的提出了使用视频的方法来进行食材状态的判断，并且加入了匈牙利匹配算法来使用IOU差值和特征差值对检测框进行匹配，增强匹配的高效性，采用目标检测加匹配的视频处理方法，大大缩短了算法处理时间，使得识别食材状态更加高效快捷，相较于图像的方法，考虑了时间域的特征，并且参数量小运行速度快。
附图说明
图1为本发明中一种基于多目标追踪的实时冰箱食材识别方法的流程框图。
具体实施方法
下面结合附图以及具体实施方式对本发明作进一步详细说明：
结合图1所示，一种基于多目标追踪的实时冰箱食材识别方法，包括如下步骤：
s1、通过摄像头获取冰箱中的食材信息；
为了充分获取冰箱中食材特征信息，本方法要使用多摄像头进行拍摄，并对图像进行融合，从而使得食材的信息能够被摄像头充分的捕捉到。
s2、将获取食材的视频信息上传到本地服务器
完成对于食材状态的实时获取，由于需要实时检测食材的变化，因此本方法每隔一小段时间需要完成数据的上传以便进行食材的检测。
s3、对视频进行预处理，进行等间隔的分帧，转化为标准的数据形式；
由于上传到服务器的是一段完成的视频，而如果对完整的视频进行检测会大大增加检测的复杂性，为此，通过视频分帧技术，将视频进行分帧，具体为每秒提取10帧，并将其转化为标准的数据形式。
s4、使用卷积神经网络，对视频信息进行特征提取；
为了充分提取食材运动的所有视觉特征，本方法考虑检测和匹配对于食材识别的影响，构建了相应的特征提取架构。
s41、通过检测网络，在步骤s3的基础上，完成对于每一帧图片食材进行检测并提取出相应种类和位置特征；
s42、通过对下一帧图像的检测特征提取，在步骤s41的基础上，计算IOU差值与特征差值；
s43、通过匈牙利算法，在步骤s42的基础上，完成相连帧之间的检测框匹配，并且记录其种类；
通过以上操作，完成对于当前数据的特征提取工作。
s5、基于深度神经网络模型，对特征进行综合分析，判断判断食材种类以及运动轨迹；
根据之前的数据处理得到的特征，对特征进行处理分析，采用Softmax分类器对食材种类进行判别，并记录食材运动轨迹。
s6、完成食材状态判断工作，将结果实时反馈。
当然，以上说明仅仅为本发明的较好实施例子，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。

Claims (7)

1.一种基于多目标追踪的实时冰箱食材识别方法，其特征在于，包括如下步骤：
s1、通过摄像头获取冰箱中的食材信息；
s2、将获取食材的视频信息上传到本地服务器；
s3、对上传的视频进行预处理，进行等间隔的分帧；
s4、使用卷积神经网络，对视频信息进行特征提取，使用目标追踪方法，对视频信息进行检测和匹配特征提取；
s5、使用深度学习的方法，对特征进行综合分析，判断食材种类以及运动轨迹；
s6、对食材状态进行判断，将结果实时反馈。
2.根据权利要求1所述的一种基于多目标追踪的实时冰箱食材识别方法，其特征在于，所述步骤s1中，在食材运动的过程中获取视频特征信息。
3.根据权利要求1所述的一种基于多目标追踪的实时冰箱食材识别方法，其特征在于，所述步骤s2中，完成对于s1中获取到的数据上传本地服务器进行分析。
4.根据权利要求1所述的一种基于多目标追踪的实时冰箱食材识别方法，其特征在于，所述步骤s3中，完成对于数据的预处理，使用视频分帧技术，固定每秒提取10帧图片，提取连续的视频帧。
5.根据权利要求1所述的一种基于多目标追踪的实时冰箱食材识别方法，其特征在于，所述步骤s4中，特征提取的具体的处理过程如下：
s41、通过检测网络，在步骤s3的基础上，完成对于每一帧图片食材进行检测并提取出相应种类和位置特征；
s42、通过对下一帧图像的检测特征提取，在步骤s41的基础上，计算IOU差值与特征差值；
s43、通过匈牙利算法，在步骤s42的基础上，完成相连帧之间的检测框匹配，并且记录其种类；
6.根据权利要求1所述的一种基于多目标追踪的实时冰箱食材识别方法，其特征在于，所述步骤s5中，根据s4提取的特征，送入深度学习网络中进行目标食材种类判别以及轨迹判断。
7.根据权利要求1所述的一种基于多目标追踪的实时冰箱食材识别方法，其特征在于，所述步骤s6中，根据s5分析结果完成食材状态的实时反馈工作，以减少因时间滞后而引起的错误判别以及带来的财产损失。
CN202111320020.3A 2021-11-09 2021-11-09 一种基于多目标追踪的实时冰箱食材识别方法 Pending CN114037937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111320020.3A CN114037937A (zh) 2021-11-09 2021-11-09 一种基于多目标追踪的实时冰箱食材识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111320020.3A CN114037937A (zh) 2021-11-09 2021-11-09 一种基于多目标追踪的实时冰箱食材识别方法

Publications (1)

Publication Number Publication Date
CN114037937A true CN114037937A (zh) 2022-02-11

Family

ID=80143596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111320020.3A Pending CN114037937A (zh) 2021-11-09 2021-11-09 一种基于多目标追踪的实时冰箱食材识别方法

Country Status (1)

Country Link
CN (1) CN114037937A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746304A (zh) * 2024-02-21 2024-03-22 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746304A (zh) * 2024-02-21 2024-03-22 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及***
CN117746304B (zh) * 2024-02-21 2024-05-14 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及***

Similar Documents

Publication Publication Date Title
CN110543867B (zh) 一种多摄像头条件下的人群密度估测***及方法
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
CN108846365B (zh) 视频中打架行为的检测方法、装置、存储介质及处理器
Lao et al. Automatic video-based human motion analyzer for consumer surveillance system
CN111626201B (zh) 商品检测方法、装置及可读存储介质
CN113139521B (zh) 一种用于电力监控的行人越界标监测方法
Nater et al. Exploiting simple hierarchies for unsupervised human behavior analysis
CN102521578B (zh) 一种入侵检测和识别方法
TW201737134A (zh) 用於藉由機器學習訓練物件分類器之系統及方法
CN109727275B (zh) 目标检测方法、装置、***和计算机可读存储介质
EP2549759B1 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras
US20150334267A1 (en) Color Correction Device, Method, and Program
CN107654406B (zh) 风扇送风控制设备、风扇送风控制方法及装置
EP4035070B1 (en) Method and server for facilitating improved training of a supervised machine learning process
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
WO2022213540A1 (zh) 目标检测、属性识别与跟踪方法及***
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
Shirsat et al. Proposed system for criminal detection and recognition on CCTV data using cloud and machine learning
CN114037937A (zh) 一种基于多目标追踪的实时冰箱食材识别方法
US20240096094A1 (en) Multi-view visual data damage detection
KR20200123324A (ko) 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법
Dotti et al. Unsupervised discovery of normal and abnormal activity patterns in indoor and outdoor environments
CN112883836A (zh) 一种煤矿井下巷道形变视频检测方法
CN116886874A (zh) 一种生态园安防监控预警数据的采集方法及其***
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication