CN111126133A - 一种基于深度学习的智能冰箱存取动作识别方法 - Google Patents
一种基于深度学习的智能冰箱存取动作识别方法 Download PDFInfo
- Publication number
- CN111126133A CN111126133A CN201911089592.8A CN201911089592A CN111126133A CN 111126133 A CN111126133 A CN 111126133A CN 201911089592 A CN201911089592 A CN 201911089592A CN 111126133 A CN111126133 A CN 111126133A
- Authority
- CN
- China
- Prior art keywords
- hand
- food material
- state
- information
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 235000013305 food Nutrition 0.000 claims abstract description 67
- 239000000463 material Substances 0.000 claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 244000302512 Momordica charantia Species 0.000 description 2
- 235000009811 Momordica charantia Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 235000009812 Momordica cochinchinensis Nutrition 0.000 description 1
- 235000018365 Momordica dioica Nutrition 0.000 description 1
- 241000581835 Monodora junodii Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的智能冰箱存取动作识别方法，包括以下步骤：S1、通过摄像头获得视频数据进行输入；S2、采用当前先进的目标检测器对输入的视频按帧切分图像并检测图像中的手部信息；S3、当检测出手部信息位于裁剪区域内时，裁剪手部信息图片并送入食材分类网络进行食材分类，并获得食材分类结果；S4、当检测出手部信息位于跟踪区域内时，将手部信息送入Staple目标跟踪算法，获得手部动作的跟踪轨迹；S5、利用存取状态判断规则对跟踪轨迹内的手部状态进行判断，获得用户的存取状态；S6、将用户的存取状态与食材分类结果相结合并输出存取动作结果；S7、重新初始化，等待进入下一轮动作识别检测。
Description
本发明涉及计算机视觉领域，尤其涉及一种基于深度学习的智能冰箱存取动作识别方法。
背景技术
动作识别是实现人与智能设备交互的前提与基础，在物联网越来越普及的趋势下，动作识别将越来越重要。目前有一些成熟非深度学习的动作识别方法，例如基于时空识别方法、序列法以及分层法。然而由于动作的差异性、障碍物遮挡、视频长短不一难以确定起始点，因而难以提取到有效、稳定的特征对行为进行描述，且难以兼顾识别率与实时性。近年来，基于深度学习的视频动作识别逐渐成为主流，如基于单帧的识别方法、基于CNN扩展网络的识别方法、双路CNN的识别方法、基于LSTM的识别方法、三维卷积核法，但是这些方法的算法比较复杂，且部署较为困难，难以达到实时性，无法满足人们的使用需求。
发明内容
本发明目的是针对上述问题，提供一种有效提高识别效果的基于深度学习的智能冰箱存取动作识别方法。
为了实现上述目的，本发明的技术方案是：
一种基于深度学习的智能冰箱存取动作识别方法，包括以下步骤：
S1、通过摄像头获得视频数据进行输入；
S2、采用当前先进的目标检测器对输入的视频按帧切分图像并检测图像中的手部信息；
S3、当检测出手部信息位于裁剪区域内时，裁剪手部信息图片并送入食材分类网络进行食材分类，并获得食材分类结果；
S4、当检测出手部信息位于跟踪区域内时，将手部信息送入Staple目标跟踪算法，获得手部动作的跟踪轨迹；
S5、利用存取状态判断规则对跟踪轨迹内的手部状态进行判断，获得用户的存取状态；
S6、将用户的存取状态与食材分类结果相结合并输出存取动作结果；
S7、重新初始化，等待进入下一轮动作识别检测。
进一步的，所述步骤S2中的目标检测器采用Caffe-SSD-MobaileNetV1。
进一步的，所述步骤S2中的手部信息包括手部食材信息和手部位置信息；手部信息的检测方法包括以下步骤：
S21、首先通过目标检测器获得手部区域的候选窗口和边界框的回归向量，并用边界框做回归,对候选窗口进行校准,然后通过非极大值抑制来合并高度重叠的边界框；
S22、去掉那些误检区域，精细调整后得到手部框，通过手部框得到手部位置信息；
S23、通过手部框获得手部拿取类别向量，并手部拿取类别向量做分类任务，获得手部食材信息。
进一步的，所述步骤S3中的裁剪手部信息图片采用OpenCV进行裁剪操作。
进一步的，所述步骤S3中的食材分类网络采用多分类模型SqueezeNet。
进一步的，所述步骤S5中的存取状态判断规则为：当一段跟踪轨迹中，开始时手部状态为有食材，结束时为无食材，则用户的存取状态为“存”；当一段跟踪轨迹中，开始时手部状态为无食材，结束时为有食材，则用户的存取状态为“取”；当一段跟踪轨迹中，开始时手部状态为有食材，结束时为有食材，则用户的存取状态为“既存又取”；当一段跟踪轨迹中，开始时手部状态为无食材，结束时为无食材，则用户的存取状态为“犹豫”。
进一步的，所述存取状态判断规则中，开始时的手部状态和结束时的手部状态均采用多次检测取多数方式进行判断。
与现有技术相比，本发明具有的优点和积极效果是：
本发明提出了一种在智能冰箱场景下的全新动作识别方案，其采用MobaileNetV1模型作为目标检测器并与Staple跟踪算法相结合的设计，由于MobaileNetV1模型参数量并不大且Staple跟踪算法并不是神经网络，因此可以避免大的内存开销；另一方面，本发明采用SqueezeNet作为分类网络对手部拿取的食材进行分类，SqueezeNet具有速度快、实时性高、占用内存小、高准确率和易于嵌入式部署的特点，并且本发明采用只对存取动作前后的几帧进行手部图像截取分类，这样的策略可以大大减少在时间上和内存上的开销，有效提高了运算速率。本发明的技术方案算法复杂度较低，可以部署在嵌入式设备中，算法鲁棒性较强且能达到实时处理的要求，其不仅仅可以用于智能冰箱，也符合其他智能家居设备的使用要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的框架流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
如图1所示，本发明提出了一种利用目标检测和目标跟踪联合使用来判断存取状态，以及利用分类网络来对食材进行识别的存取动作识别方案。
一、存取动作识别
智能冰箱中存取动作识别是实现人与冰箱交互的关键步骤。本动作识别模块实现了对四种行为动作的识别，分别为：存、取、犹豫、既存又取。简单的四个动作识别，既大大提高了冰箱的易用性又提高了识别的准确率。四种动作的活动主体是手部，即手腕关节以上的手部，因此摄像头只需要检测到人体的手部信息即可。检测手部采用当前先进的目标检测器来检测获得手部的状态和手部位置信息。通过手部状态来判断是否拿食材，提供手部初始的位置信息给目标***来跟踪整个存取的动作。实时分析整个动作的前后手部状态，从而达到动作识别的目的。
检测器采用CNN（卷积神经网络）来检测手部，采用网络复杂性较低、检测效果较好且实时性较高的目标检测器Caffe-SSD-MobaileNetV1。行为动作识别不能仅仅依靠单帧的静态图像来实现，因为单帧图像只能判断本帧图像的状态，并不能知道动作的开始与结束，所以需要整段的视频来综合判断行为动作。而且对每一帧图像都进行检测会大大降低算法运行的帧率，所以仅仅依靠CNN网络是不够。因此需要利用目标跟踪算法来对整个动作进行跟踪。它可以记录整个动作多帧图像的手部状态信息，通过判断动作的前后的手部信息可以准确判断一段视频内的动作行为。
本模块选取了对颜色变化和运动形变较为鲁棒且能够实时处理的Staple目标跟踪算法，该算法融合Hog特征（该特征对形变和运动模糊较为敏感，但是对颜色变化能达到很好的效果）和Color特征（该特征对颜色比较敏感，但是对形变和运动模糊有很好的跟踪算法）能够解决大部分跟踪过程当中遇到的问题。
由于MobaileNetV1模型参数量并不大且Staple跟踪算法并不是神经网络，因此可以避免大的内存开销，对嵌入式设备更友好。
我们并不会对视频的每一帧的手部进行跟踪，本方案只在图像的中心区域进行跟踪。
我们对每一帧视频进行实时处理。每隔两帧通过MobileNetV1检测出手部信息：手部食材信息（是否拿食材）和手部位置信息。若手部在跟踪范围内，将手部信息存入列表中，将手部位置信息提供给Staple目标跟踪算法，对动作进行跟踪。重复以上操作，直到动作结束。
当动作结束时，我们利用以下规则判断存取状态。
1.我们取手部信息列表的前3、8、13位置进行判断，采用多数原则，如在3位置上的信息为无食材，8和13位置上的信息为有食材，那么动作开始时的手部状态为有食材，这样可以在一定程度上防止检测出错带来的误判，增加算法鲁棒性。
2.我们取手部信息列表的后3、8、13位置进行判断，一样采用多数原则。
3.在一段动作中，开始手部状态为有食材，结束时为无食材，则为“存”。
4.在一段动作中，开始手部状态为无食材，结束时为有食材，则为“取”。
5.在一段动作中，开始手部状态为有食材，结束时为有食材，则为“既存又取”。
6.在一段动作中，开始手部状态为无食材，结束时为无食材，则为“犹豫”。
二、食材识别
食材是冰箱内的主要观察来源，如何准确识别每一种食材是智能冰箱的首要任务。当前任务下，目标检测任务对于手部定位任务表现得非常优秀，也就是说可以非常高效准确地检测出手部的位置信息。但是由于目标的类间差异小，如苦瓜和黄瓜；类间差异大，如青苹果和红苹果，目标检测出的分类结果常常不尽人意。分类任务和锚点框坐标回归任务有着天然的矛盾性，分类任务对位置偏移不敏感，而位置回归对位置偏移极其敏感，所以当一个目标检测器表现出优秀的坐标回归时，那么它的分类任务效果将会被定位回归任务在一定程度上削弱。
为了解决这个问题，我们使用目标检测网络（MobileNetV1）来对手部位置进行检测，将检测出来的手部位置图片截取出来，送入一个分类器中进行食材分类。这样就变成双任务，因此会带来时间上和内存上的开销。因此我们采取以下策略：一是采用网络复杂度较小且分类效果好的轻量级神经网络，二是只对存取动作前后的几帧进行手部图像截取分类。通过这样的策略可以大大减少时间上和内存上的开销。
本模块采用SqueezeNet作为分类网络，SqueezeNet具有速度快、实时性高、占用内存小、高准确率和易于嵌入式部署的特点。本方案对150种食材进行分类，可做到实时处理。
本发明主要分为5个模块：
1.图像采集：使用彩色摄像头采集1280*720分辨率的图像数据作为输入。
2.手部信息和手部定位：利用MobileNet网络判断手部是否拿着食材，以及获得手部的位置信息，为下一步截取与跟踪做准备。
3.食材识别：当手部在截取范围内时，截取手部图片，送入SqueezeNet网络进行食材的分类识别。
4.目标跟踪：当手部在跟踪范围内时，对图片进行跟踪，并保存跟踪轨迹内的手部信息。
5.动作识别：判断动作轨迹中的手部状态，利用上述规定的判断规则获得存取动作状态，并结合食材识别返回的信息，最后得到用户完整的存取状态信息。
本发明的具体动作识别步骤如图1所示：
（1）OpenCV调用彩色摄像头，获得1280*720分辨率的视频数据作为输入。
（2）从第一帧图像开始，每隔两帧做一次目标检测，获得手部图像（矩形框），手部图像通过边界框回归和非极大值抑制来去掉那些误检区域，得到手部食材信息（有无食材）和手部位置信息，使得后续的图像跟踪更为准确，鲁棒性更高。
（3）当目标检测算法检测出的手部图像（矩形框）的右下角坐标在规定的裁剪范围内，且手部食材信息为有食材，我们利用OpenCV将该矩形框裁剪下来，送入训练好的多分类模型SqueezeNet中，判断是什么食材，并保存在列表list1。
（4）当目标检测算法检测出的手部图像（矩形框）的右下角坐标在规定的跟踪范围内，我们将Staple***与检测器进行匹配，获得置信度最高的跟踪框，添加到轨迹进行跟踪。并将跟踪过程中的手部食材信息保存在列表lsit2中。
（5）重复以上1、2、3、4步骤，直到跟踪轨迹消失也就是动作结束。
（6）取list2中前后各3各位置的手部食材信息，利用上述的动作判断规则获得存取动作，其中动作共四种：存、取、犹豫、既存又取。
（7）将步骤3获得的食材种类与步骤6获得的动作信息结合起来，并打上时间戳并将信息返回给后台，即可知道用户在某个时的食材存取信息。
（8）清空list1、list2以及跟踪轨迹，为下个动作检测做准备。
本发明提出了一种在智能冰箱场景下的全新动作识别方案，其采用MobaileNetV1模型作为目标检测器并与Staple跟踪算法相结合的设计，由于MobaileNetV1模型参数量并不大且Staple跟踪算法并不是神经网络，因此可以避免大的内存开销；另一方面，本发明采用SqueezeNet作为分类网络对手部拿取的食材进行分类，SqueezeNet具有速度快、实时性高、占用内存小、高准确率和易于嵌入式部署的特点，并且本发明采用只对存取动作前后的几帧进行手部图像截取分类，这样的策略可以大大减少在时间上和内存上的开销，有效提高了运算速率。本发明的技术方案算法复杂度较低，可以部署在嵌入式设备中，算法鲁棒性较强且能达到实时处理的要求，其不仅仅可以用于智能冰箱，也符合其他智能家居设备的使用要求。
Claims (7)
1.一种基于深度学习的智能冰箱存取动作识别方法，其特征在于：包括以下步骤：
S1、通过摄像头获得视频数据进行输入；
S2、采用当前先进的目标检测器对输入的视频按帧切分图像并检测图像中的手部信息；
S3、当检测出手部信息位于裁剪区域内时，裁剪手部信息图片并送入食材分类网络进行食材分类，并获得食材分类结果；
S4、当检测出手部信息位于跟踪区域内时，将手部信息送入Staple目标跟踪算法，获得手部动作的跟踪轨迹；
S5、利用存取状态判断规则对跟踪轨迹内的手部状态进行判断，获得用户的存取状态；
S6、将用户的存取状态与食材分类结果相结合并输出存取动作结果；
S7、重新初始化，等待进入下一轮动作识别检测。
2.如权利要求1所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S2中的目标检测器采用Caffe-SSD-MobaileNetV1。
3.如权利要求2所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S2中的手部信息包括手部食材信息和手部位置信息；手部信息的检测方法包括以下步骤：
S21、首先通过目标检测器获得手部区域的候选窗口和边界框的回归向量，并用边界框做回归,对候选窗口进行校准,然后通过非极大值抑制来合并高度重叠的边界框；
S22、去掉那些误检区域，精细调整后得到手部框，通过手部框得到手部位置信息；
S23、通过手部框获得手部拿取类别向量，并手部拿取类别向量做分类任务，获得手部食材信息。
4.如权利要求1所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S3中的裁剪手部信息图片采用OpenCV进行裁剪操作。
5.如权利要求1所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S3中的食材分类网络采用多分类模型SqueezeNet。
6.如权利要求1所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述步骤S5中的存取状态判断规则为：当一段跟踪轨迹中，开始时手部状态为有食材，结束时为无食材，则用户的存取状态为“存”；当一段跟踪轨迹中，开始时手部状态为无食材，结束时为有食材，则用户的存取状态为“取”；当一段跟踪轨迹中，开始时手部状态为有食材，结束时为有食材，则用户的存取状态为“既存又取”；当一段跟踪轨迹中，开始时手部状态为无食材，结束时为无食材，则用户的存取状态为“犹豫”。
7.如权利要求6所述的基于深度学习的智能冰箱存取动作识别方法，其特征在于：所述存取状态判断规则中，开始时的手部状态和结束时的手部状态均采用多次检测取多数方式进行判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911089592.8A CN111126133A (zh) | 2019-11-08 | 2019-11-08 | 一种基于深度学习的智能冰箱存取动作识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911089592.8A CN111126133A (zh) | 2019-11-08 | 2019-11-08 | 一种基于深度学习的智能冰箱存取动作识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111126133A true CN111126133A (zh) | 2020-05-08 |
Family
ID=70495703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911089592.8A Pending CN111126133A (zh) | 2019-11-08 | 2019-11-08 | 一种基于深度学习的智能冰箱存取动作识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126133A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860509A (zh) * | 2020-07-28 | 2020-10-30 | 湖北九感科技有限公司 | 一种由粗到精的两阶段非约束车牌区域精准提取方法 |
| CN113239789A (zh) * | 2021-05-11 | 2021-08-10 | 上海汉时信息科技有限公司 | 购物行为分析方法以及装置 |
| CN113468359A (zh) * | 2020-07-14 | 2021-10-01 | 青岛海信电子产业控股股份有限公司 | 一种智能冰箱及食材识别方法 |
| CN113496245A (zh) * | 2020-06-23 | 2021-10-12 | 青岛海信电子产业控股股份有限公司 | 智能冰箱及识别存取食材的方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
| CN108921007A (zh) * | 2018-05-08 | 2018-11-30 | 河海大学常州校区 | 一种基于SqueezeNet的手写体数字识别方法 |
| CN109343701A (zh) * | 2018-09-03 | 2019-02-15 | 电子科技大学 | 一种基于动态手势识别的智能人机交互方法 |
| CN109559331A (zh) * | 2017-09-27 | 2019-04-02 | 九阳股份有限公司 | 一种基于视频图像的食材管理方法 |
| CN109558775A (zh) * | 2017-09-27 | 2019-04-02 | 九阳股份有限公司 | 一种冰箱食材管理方法 |
| CN109840504A (zh) * | 2019-02-01 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 物品取放行为识别方法、装置、存储介质及设备 |
| CN110019938A (zh) * | 2017-11-29 | 2019-07-16 | 深圳Tcl新技术有限公司 | 基于rgb分类的视频信息检索方法、装置及存储介质 |
| CN110348505A (zh) * | 2019-07-02 | 2019-10-18 | 高新兴科技集团股份有限公司 | 车辆颜色分类模型训练方法、装置和车辆颜色识别方法 |
-
2019
- 2019-11-08 CN CN201911089592.8A patent/CN111126133A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
| CN109559331A (zh) * | 2017-09-27 | 2019-04-02 | 九阳股份有限公司 | 一种基于视频图像的食材管理方法 |
| CN109558775A (zh) * | 2017-09-27 | 2019-04-02 | 九阳股份有限公司 | 一种冰箱食材管理方法 |
| CN110019938A (zh) * | 2017-11-29 | 2019-07-16 | 深圳Tcl新技术有限公司 | 基于rgb分类的视频信息检索方法、装置及存储介质 |
| CN108921007A (zh) * | 2018-05-08 | 2018-11-30 | 河海大学常州校区 | 一种基于SqueezeNet的手写体数字识别方法 |
| CN109343701A (zh) * | 2018-09-03 | 2019-02-15 | 电子科技大学 | 一种基于动态手势识别的智能人机交互方法 |
| CN109840504A (zh) * | 2019-02-01 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 物品取放行为识别方法、装置、存储介质及设备 |
| CN110348505A (zh) * | 2019-07-02 | 2019-10-18 | 高新兴科技集团股份有限公司 | 车辆颜色分类模型训练方法、装置和车辆颜色识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄尚科主编: "《人工智能与数据挖掘的原理及应用》", 延边大学出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113496245A (zh) * | 2020-06-23 | 2021-10-12 | 青岛海信电子产业控股股份有限公司 | 智能冰箱及识别存取食材的方法 |
| CN113468359A (zh) * | 2020-07-14 | 2021-10-01 | 青岛海信电子产业控股股份有限公司 | 一种智能冰箱及食材识别方法 |
| CN111860509A (zh) * | 2020-07-28 | 2020-10-30 | 湖北九感科技有限公司 | 一种由粗到精的两阶段非约束车牌区域精准提取方法 |
| CN113239789A (zh) * | 2021-05-11 | 2021-08-10 | 上海汉时信息科技有限公司 | 购物行为分析方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126133A (zh) | 一种基于深度学习的智能冰箱存取动作识别方法 | |
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| US20220417590A1 (en) | Electronic device, contents searching system and searching method thereof | |
| US11335092B2 (en) | Item identification method, system and electronic device | |
| CN110796051B (zh) | 基于货柜场景下的实时存取行为检测方法和*** | |
| CN109299703B (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
| KR101303877B1 (ko) | 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치 | |
| KR100860988B1 (ko) | 시퀀스들에서의 객체 탐지를 위한 방법 및 장치 | |
| US7460689B1 (en) | System and method of detecting, recognizing, and tracking moving targets | |
| US20080013837A1 (en) | Image Comparison | |
| CN106682619B (zh) | 一种对象跟踪方法及装置 | |
| US20120243733A1 (en) | Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program | |
| CN109033985B (zh) | 商品识别的处理方法、装置、设备、***及存储介质 | |
| JP6157165B2 (ja) | 視線検出装置及び撮像装置 | |
| GB2414615A (en) | Object detection, scanning and labelling | |
| García-Martín et al. | Robust real time moving people detection in surveillance scenarios | |
| CN110569770A (zh) | 人体入侵行为识别方法、装置、存储介质及电子设备 | |
| US9947106B2 (en) | Method and electronic device for object tracking in a light-field capture | |
| WO2023025010A1 (zh) | 频闪条带信息识别方法、装置和电子设备 | |
| CN110651274A (zh) | 可移动平台的控制方法、装置和可移动平台 | |
| CN114463781A (zh) | 确定触发手势的方法、装置及设备 | |
| CN109986553B (zh) | 一种主动交互的机器人、***、方法及存储装置 | |
| CN117152807A (zh) | 人体头部定位方法、装置和存储介质 | |
| Ma et al. | Depth assisted occlusion handling in video object tracking | |
| CN108428241A (zh) | 高清视频中移动目标的运动轨迹捕获方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |
|
| RJ01 | Rejection of invention patent application after publication |