CN107665336A - 智能冰箱中基于Faster‑RCNN的多目标检测方法 - Google Patents
智能冰箱中基于Faster‑RCNN的多目标检测方法 Download PDFInfo
- Publication number
- CN107665336A CN107665336A CN201710854082.XA CN201710854082A CN107665336A CN 107665336 A CN107665336 A CN 107665336A CN 201710854082 A CN201710854082 A CN 201710854082A CN 107665336 A CN107665336 A CN 107665336A
- Authority
- CN
- China
- Prior art keywords
- target
- target detection
- frame
- rcnn
- faster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种智能冰箱中基于Faster‑RCNN的多目标检测方法，步骤是：拍摄冰箱冷藏室内物品图片，并传输至云端；将图片送入多目标检测网络，包括如下内容：将图像数据输入到VGG16基础网络中进行图像特征的提取；在VGG16的最后一层特征图上进行RPN网络搜索，判断是否存在目标及进行坐标回归，然后对可能存在目标的区域进行分类与坐标回归修正，并进行非极大值抑制；将识别分数处于设定范围之内的多目标检测框重新收集整合进行再识别；当再识别检测完毕后，结合第一次识别高于置信度阈值的目标检测结果在移动端应用中进行最终整体展示。此种方法在物体识别时无需进行图像分割，提高对小目标及分辨率较低目标的识别效果，进一步提高目标识别的准确率，降低误检率。
Description
技术领域
本发明属于智能家电领域，尤其是智能冰箱物品识别领域，涉及一种用于智能冰箱的基于Faster-RCNN多目标检测方法。
背景技术
目前智能冰箱产品的物品识别技术广泛使用无线射频识别(RFID)、图像识别、二维码扫描、语音识别、气味识别等先进的自动识别技术。但是由于RFID、二维码需要为每个物品加贴标签，操作繁琐，气味识别需要加装气味传感器，且由于冰箱是密闭***，不同种类之间气味容易造成干扰，应用受到限制。随着无线通信技术、计算机硬件的发展，图像识别技术逐渐成为冰箱物品识别的研究热点。现有基于CNN(Convolutional NeuralNetworks，卷积神经网络)的物品图像识别技术，大多通过摄像头拍摄冰箱冷藏室内物品，然后通过传统方法进行图像分割，提取出单个目标图片，再将图片发送至云端服务器，云端服务器搭建了CNN网络，最后通过分类器对图片进行分类。但是这种传统分割方法极易受到背景因素的影响。故为解决图像中存在多类物品，多目标检测技术被广泛提出。
Faster-RCNN网络是目前比较流行的通用多目标检测框架之一，其检测流程如图1所示。现有的Faster-RCNN算法主要分成三个部分：第一部分是CNN基础网络，用来完成图像特征的提取；第二部分是RPN(Region Proposal Networks)网络，其主要是利用卷积神经网络直接产生区域目标，使用的方法本质上就是滑动窗口。在CNN基础网络的最后一层特征图上使用固定大小的窗口滑动，如图2所示，每个窗口会输出一个固定大小维度的特征向量(这个维度和CNN基础网络有关，如VGG16为512维)，然后对每一个窗口产生的9个候选框，进行判断是否是目标及进行坐标回归；最后一部分是判别网络，即分类与边框回归，它是对RPN网络提取的目标区域进行分类与坐标回归修正。基于VGG16的Faster-RCNN整个网络具体架构图如图3所示。
虽然基于Faster-RCNN的多目标检测技术对于大中等目标的准确率已经很高，但是对于小目标以及一些分辨率较差的目标识别始终是个痛点。由于小目标及一些比较模糊的目标，其分辨率本身比较低，原图又经过多层的卷积(线性乘积求和)、池化(即取区域平均或最大)后，到了最后一层特征图时，图像分辨率缩小了好几倍，在类别判断的时候，特征已经模糊不清了，基本上只能看见一些轮廓信息，这样就容易出现误识别或者识别的分数太低。由于Faster-RCNN网络对低于置信度阈值的检测框均未作处理，所以显示检测结果的时候会出现：置信度阈值调高产生漏检；置信度阈值调低产生误检的情况。
发明内容
本发明的目的，在于提供一种智能冰箱中基于Faster-RCNN的多目标检测方法，其利用RPN网络检测目标存在准确率高的特性，在物体识别时无需进行图像分割，提高对小目标及分辨率较低目标的识别效果，进一步提高目标识别的准确率，降低误检率。
为了达成上述目的，本发明的解决方案是：
一种智能冰箱中基于Faster-RCNN的多目标检测方法，包括如下步骤：
步骤1，利用冰箱内置摄像头，拍摄冰箱冷藏室内物品图片，并将图片传输至云端；
步骤2，将图片送入多目标检测网络，包括如下内容：
步骤21，将图像数据输入到VGG16基础网络中进行图像特征的提取；
步骤22，在VGG16的最后一层特征图上进行RPN网络搜索，在特征图上的每个滑动窗口位置生成特征向量，并将各特征向量送入两个并列的全连接层做预测，判断是否存在目标及进行坐标回归，然后对RPN提取的可能存在的目标区域进行分类与坐标回归修正，并对目标区域进行非极大值抑制；
步骤23，将识别分数处于设定范围之内的多目标检测框重新收集整合进行再识别；
步骤3，当再识别检测完毕后，结合第一次识别分数高于置信度阈值的目标检测结果在移动端应用中进行最终整体展示。
上述步骤21中，VGG16基础网络包含13个卷积层和4个池化层，其中，第2、4、7、10个卷积层后面分别设置池化层。
上述步骤23中，进行再识别的过程是：降低置信度阈值，将识别分数处于设定范围之内的多目标检测框重新整合提取。
上述整合通过special_nms实现，具体过程是：第一步，将识别分数处于预设置信度阈值范围的目标检测框收集，保留坐标信息，去除分数，分别计算每个目标检测框的面积；第二步，随机固定一个检测框，然后计算其余遍历检测框与固定检测框的IOU大小，如果其IOU小于所设定IOU重叠阈值，保留当前固定框与遍历框的位置坐标；如果其IOU大于所设定IOU重叠阈值，则采用平均调整位置整合当前固定框与当前遍历框的位置坐标，更新成为一个新的检测框；第三步，固定下一个检测框，重复第二步，直至整合完毕。
上述第二步中，采用平均调整位置整合当前固定框与当前遍历框的位置坐标更新成为一个新的检测框的具体内容是：分配一个Δ参数和一个1-Δ参数分别乘以当前固定框和遍历框的位置坐标，其中，00Δ01。
上述置信度阈值范围为0.2-0.7，该区间设定可以根据实际情况进行调整。
采用上述方案后，本发明具有以下特点：
(1)使用多目标检测技术，可以一次同时获得图像的多个物品类别信息，不同于一般的物品图像识别上使用的单个物品图像上传或拍摄，也就是适合用于冰箱内部有多类物品情况。
(2)针对多目标检测漏检、误检等情况，通过引入基于改进的Faster-RCNN技术，将低于某个置信度阈值范围的目标检测框收集整合，对整合后的ROI区域进行图像增强处理，然后将最短边缩放到固定尺寸，再进行识别，进一步提高分类精度。
(3)在训练阶段，针对冰箱内的物品摆放姿态千奇百怪，视角多变，采取左右旋转90°、加噪、亮度扰动等多种手段相结合的数据扩增方法对Faster-RCNN进行增强处理。
附图说明
图1是Faster-RCNN检测流程示意图；
图2是RPN网络结构图；
图3是Faster-RCNN基于VGG16的网络架构图；
图4是改进的Faster-RCNN检测流程图；
其中，feature map，特征图；conv layers，卷积层；Bounding-box regression，边框回归；
图5是再识别流程图；
图6是Special_nms流程图；
图7是本发明的流程图；
图8是改进前后的Faster-RCNN检测算法实验结果图；
其中，图8a为Faster-RCNN检测算法实验结果，图8b为相对应改进后的Faster-RCNN检测算法实验结果；
图8c为Faster-RCNN检测算法实验结果，图8d为相对应改进后的Faster-RCNN检测算法实验结果；
图8e为Faster-RCNN检测算法实验结果，图8f为相对应改进后的Faster-RCNN检测算法实验结果；
图8g为Faster-RCNN检测算法实验结果，图8h为相对应改进后的Faster-RCNN检测算法实验结果；
具体实施方式
首先对本发明的思路作一梳理。
针对现有基于CNN的物品图像识别技术对于图像中存在多类目标时，图像分割极易受到背景因素影响的不足，本发明人考虑引入基于Faster-RCNN的多目标检测技术，这样在图像中存在多类目标时，无需预先进行图像分割，但是，通过前文的分析，现有的Faster-RCNN网络无法解决小目标以及一些分辨率比较低的目标识别效果不佳的情况，因此，本发明人对现有的Faster-RCNN网络进行改进，前期结合一定的数据增强方法(本发明采用旋转、加噪、亮度扰动)对实验数据进行扩增，并将这些实验数据送入网络中训练。改进的Faster-RCNN网络主要用于解决小目标及分辨率较差的目标识别问题，能将漏检的目标检出，且在一定程度上降低了误检。
小目标通常在整幅图像所占比例较小，分辨率较低，在最后一层特征图上除了轮廓信息比较清晰外，纹理信息已经比较模糊，分辨率较差的目标同理。本发明通过引入基于改进的Faster-RCNN的多目标检测技术，将低于置信度阈值的ROI区域周围的置信度分数比较低的检测框收集整合，然后经过图像增强处理，加强纹理信息，再送入网络进行再识别，此时图像信息最短边缩放到一定尺寸(600左右，尺寸越大，所需要的时间越多)，对小目标及分辨率较差的目标有一定的放大作用，放大后的小目标及分辨率较差的目标再经过CNN网络的特征提取，在最后一层特征图上，与之前识别相比清晰了许多，此时再进行分类，可以提高检测能力，充分解决了小目标及分辨率较差的目标识别能力不佳等问题。
以下将结合附图，对本发明的技术方案进行详细说明。
如图7所示，本发明提供一种智能冰箱中基于Faster-RCNN的多目标检测方法，包括如下步骤：
步骤1，利用冰箱内置摄像头，拍摄冰箱冷藏室内物品图片，并将图片传输至云端；
步骤2，将图片送入多目标检测网络——改进后的Faster-RCNN网络。
改进的Faster-RCNN网络检测流程如图4所示，具体包括如下步骤：
第一步，将图像数据输入到VGG16基础网络中，具体结构如图3所示，该网络包含13个卷积层、4个池化层，其中第2、4、7、10个卷积层后面紧接着是最大值池化。
第二步，进行RPN网络搜索，它是在conv5-512这一层，也即VGG16的最后一层特征图上做操作，并在特征图上的每个滑动窗口位置上生成特征向量，并将各个特征向量送入两个并列的全连接层(即判断是否存在目标和坐标回归)做预测，判断是否存在目标及进行坐标回归，然后对RPN提取的可能存在的目标区域进行分类与坐标回归修正，并对目标区域进行非极大值抑制。
第三步，将置信度处于0.2-0.7之间的多目标检测框重新收集进行再识别。整个再识别过程如图5所示，通过降低置信度，然后将低于某个范围的置信度阈值(实验收集0.2-0.7之间的置信度)的多目标检测框重新整合提取。由于某个感兴趣区域(Region ofInterest,ROI)可能有多个检测框存在,因此我们将对这个区域的检测框进行整合。整合是通过special_nms(其中，nms指非极大值抑制)来实现并提取的，该方法主要根据IOU(目标窗口与标记窗口的交叠率)的大小为依据来进行整合。然后对提取的ROI区域进行一个锐化处理，增加纹理细节，再将ROI送入data层，重新识别。最后进行一个信息整合，将坐标信息以及分类情况映射回原图。
其中，Special_nms检测框整合的流程图如图6所示，步骤是：第一步，将识别分数处于某个置信度阈值范围的目标检测框收集，保留坐标信息，去除分数，分别计算每个目标检测框的面积。第二步，随机固定一个检测框，然后计算其余遍历检测框与固定检测框的IOU大小。如果其IOU小于所设定IOU重叠阈值则不进行处理，即保留当前遍历框的位置坐标；如果其IOU大于所设定IOU重叠阈值，则采用平均调整位置整合当前固定框与当前遍历框的位置坐标，更新成为一个新的检测框。平均调整位置的策略是分配一个Δ参数和一个1-Δ参数分别乘以当前固定框和遍历框的位置坐标，其中，00Δ01。将乘完后的当前固定框位置坐标与当前遍历检测框的位置坐标相加得到整合后的一个新的检测框的位置坐标信息。第三步，再固定下一个检测框，重复第二步，直至整合完毕。
步骤3，当再识别检测完毕后，结合第一次识别高于置信度阈值的目标检测结果在移动端应用中进行最终整体展示。
由图8中4组实验结果可以看出，改进后的Faster-RCNN能有效地解决漏检情况，且一定程度上可以防止误检。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (6)
1.一种智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于包括如下步骤：
步骤1，利用冰箱内置摄像头，拍摄冰箱冷藏室内物品图片，并将图片传输至云端；
步骤2，将图片送入多目标检测网络，包括如下内容：
步骤21，将图像数据输入到VGG16基础网络中进行图像特征的提取；
步骤22，在VGG16的最后一层特征图上进行RPN网络搜索，在特征图上的每个滑动窗口位置生成特征向量，并将各特征向量送入两个并列的全连接层做预测，判断是否存在目标及进行坐标回归，然后对RPN提取的可能存在的目标区域进行分类与坐标回归修正，并对目标区域进行非极大值抑制；
步骤23，将识别分数处于设定范围之内的多目标检测框重新收集整合进行再识别；
步骤3，当再识别检测完毕后，结合第一次识别分数高于置信度阈值的目标检测结果在移动端应用中进行最终整体展示。
2.如权利要求1所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述步骤21中，VGG16基础网络包含13个卷积层和4个池化层，其中，第2、4、7、10个卷积层后面分别设置池化层。
3.如权利要求1所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述步骤23中，进行再识别的过程是：降低置信度阈值，将识别分数处于设定范围之内的多目标检测框重新整合提取。
4.如权利要求3所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述整合通过special_nms实现，具体过程是：第一步，将识别分数处于预设置信度阈值范围的目标检测框收集，保留坐标信息，去除分数，分别计算每个目标检测框的面积；第二步，随机固定一个检测框，然后计算其余遍历检测框与固定检测框的IOU大小，如果其IOU小于所设定IOU重叠阈值，保留当前固定框与遍历框的位置坐标；如果其IOU大于所设定IOU重叠阈值，则采用平均调整位置整合当前固定框与当前遍历框的位置坐标，更新成为一个新的检测框；第三步，固定下一个检测框，重复第二步，直至整合完毕。
5.如权利要求4所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述第二步中，采用平均调整位置整合当前固定框与当前遍历框的位置坐标更新成为一个新的检测框的具体内容是：分配一个Δ参数和一个1-Δ参数分别乘以当前固定框和遍历框的位置坐标，其中，00Δ01。
6.如权利要求4所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述置信度阈值范围为0.2-0.7。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710854082.XA CN107665336A (zh) | 2017-09-20 | 2017-09-20 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710854082.XA CN107665336A (zh) | 2017-09-20 | 2017-09-20 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107665336A true CN107665336A (zh) | 2018-02-06 |
Family
ID=61098390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710854082.XA Pending CN107665336A (zh) | 2017-09-20 | 2017-09-20 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107665336A (zh) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304818A (zh) * | 2018-02-09 | 2018-07-20 | 广东省公共卫生研究院 | 一种蚊媒图像自动识别方法 |
| CN108334938A (zh) * | 2018-02-09 | 2018-07-27 | 广东省公共卫生研究院 | 一种基于图像识别的蚊媒自动监测*** |
| CN108416378A (zh) * | 2018-02-28 | 2018-08-17 | 电子科技大学 | 一种基于深度神经网络的大场景sar目标识别方法 |
| CN108596030A (zh) * | 2018-03-20 | 2018-09-28 | 杭州电子科技大学 | 基于Faster R-CNN的声呐目标检测方法 |
| CN108766528A (zh) * | 2018-05-08 | 2018-11-06 | 天津大学 | 一种饮食管理***及其构建方法、一种食材管理方法 |
| CN108877895A (zh) * | 2018-05-08 | 2018-11-23 | 天津大学 | 一种饮食管理***及其管理方法 |
| CN109166106A (zh) * | 2018-08-02 | 2019-01-08 | 山东大学 | 一种基于滑动窗口的目标检测位置矫正方法和装置 |
| CN109635835A (zh) * | 2018-11-08 | 2019-04-16 | 深圳蓝韵医学影像有限公司 | 一种基于深度学习与迁移学习的乳腺病变区域检测方法 |
| CN109726741A (zh) * | 2018-12-06 | 2019-05-07 | 江苏科技大学 | 一种多目标物体的检测方法及装置 |
| CN109902647A (zh) * | 2019-03-08 | 2019-06-18 | 成都国铁电气设备有限公司 | 一种便携式在线鸟巢智能识别方法及*** |
| CN109949359A (zh) * | 2019-02-14 | 2019-06-28 | 深兰科技（上海）有限公司 | 一种基于ssd模型进行目标检测的方法及设备 |
| CN110188605A (zh) * | 2019-04-18 | 2019-08-30 | 浙江大华技术股份有限公司 | 目标物体识别方法、装置、***、计算机设备和存储介质 |
| CN110458198A (zh) * | 2019-07-10 | 2019-11-15 | 哈尔滨工业大学（深圳） | 多分辨率目标识别方法及装置 |
| CN110633594A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种目标检测方法和装置 |
| CN110674873A (zh) * | 2019-09-24 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像分类方法、装置、移动终端及存储介质 |
| CN110895680A (zh) * | 2019-09-26 | 2020-03-20 | 哈尔滨工程大学 | 一种基于区域建议网络的无人艇水面目标检测方法 |
| CN111126133A (zh) * | 2019-11-08 | 2020-05-08 | 博云视觉（北京）科技有限公司 | 一种基于深度学习的智能冰箱存取动作识别方法 |
| CN111260876A (zh) * | 2018-11-30 | 2020-06-09 | 北京欣奕华科技有限公司 | 一种图像处理方法及装置 |
| CN111339895A (zh) * | 2020-02-21 | 2020-06-26 | 魔视智能科技(上海)有限公司 | 大类非极大值抑制方法及其*** |
| CN111401128A (zh) * | 2020-01-16 | 2020-07-10 | 杭州电子科技大学 | 一种提高车辆识别率的方法 |
| CN111435447A (zh) * | 2019-01-14 | 2020-07-21 | 珠海格力电器股份有限公司 | 识别留胚米的方法、装置和烹饪器具 |
| CN111582339A (zh) * | 2020-04-28 | 2020-08-25 | 江西理工大学 | 一种基于深度学习的车辆检测与识别的方法 |
| CN111753730A (zh) * | 2020-06-24 | 2020-10-09 | 国网电子商务有限公司 | 一种图像审查方法及装置 |
| CN111814815A (zh) * | 2019-04-11 | 2020-10-23 | 苏州工其器智能科技有限公司 | 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 |
| CN112183183A (zh) * | 2020-08-13 | 2021-01-05 | 南京众智未来人工智能研究院有限公司 | 一种目标检测方法、装置及可读存储介质 |
| CN112509030A (zh) * | 2020-12-14 | 2021-03-16 | 华中科技大学 | 多目标检测的植物测量方法、***、计算机设备及介质 |
| CN113420738A (zh) * | 2021-08-24 | 2021-09-21 | 中国地质大学（武汉） | 自适应网络遥感图像分类方法、计算机设备及存储介质 |
| CN113454644A (zh) * | 2021-06-14 | 2021-09-28 | 商汤国际私人有限公司 | 对象类别的检测方法和装置 |
| CN113516158A (zh) * | 2021-04-15 | 2021-10-19 | 西安理工大学 | 基于Faster R-CNN的图模型构建方法 |
| TWI747653B (zh) * | 2020-12-08 | 2021-11-21 | 台灣松下電器股份有限公司 | 存取物品的判斷方法及智慧冰箱 |
| WO2022217927A1 (zh) * | 2021-04-16 | 2022-10-20 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息标识方法、冰箱和计算机存储介质 |
| WO2023185832A1 (zh) * | 2022-03-29 | 2023-10-05 | 青岛海尔电冰箱有限公司 | 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 |
| WO2023185779A1 (zh) * | 2022-03-29 | 2023-10-05 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息识别方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150100200A (ko) * | 2014-02-25 | 2015-09-02 | 주성진 | 무인보안감시시스템의 복수표적 검지장치 |
| CN105184231A (zh) * | 2015-08-14 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种储物空间的图像采集***及方法 |
| EP2998761A1 (en) * | 2014-09-19 | 2016-03-23 | Delphi Technologies, Inc. | Radar system with phase based multi-target detection |
| CN105654522A (zh) * | 2015-12-30 | 2016-06-08 | 青岛海尔股份有限公司 | 蒸发器的结霜检测方法以及结霜检测*** |
| CN205718145U (zh) * | 2016-06-02 | 2016-11-23 | 成都科曦科技有限公司 | 一种智能冰箱及监控*** |
| CN106226050A (zh) * | 2016-07-15 | 2016-12-14 | 北京航空航天大学 | 一种tfds故障自动识别方法 |
| CN106485230A (zh) * | 2016-10-18 | 2017-03-08 | 中国科学院重庆绿色智能技术研究院 | 基于神经网络的人脸检测模型的训练、人脸检测方法及*** |
| CN106683091A (zh) * | 2017-01-06 | 2017-05-17 | 北京理工大学 | 一种基于深度卷积神经网络的目标分类及姿态检测方法 |
| CN106991427A (zh) * | 2017-02-10 | 2017-07-28 | 海尔优家智能科技（北京）有限公司 | 果蔬新鲜度的识别方法及装置 |
| CN107024073A (zh) * | 2017-04-26 | 2017-08-08 | 中国石油大学(华东) | 基于深度学习的多传感器智能冰箱控制方法和智能冰箱 |
| CN107133650A (zh) * | 2017-05-10 | 2017-09-05 | 合肥华凌股份有限公司 | 冰箱的食物识别方法、装置及冰箱 |
| CN108829723A (zh) * | 2018-05-08 | 2018-11-16 | 天津大学 | 基于复杂网络和深度学习的可交互智能冰箱健康服务终端 |
-
2017
- 2017-09-20 CN CN201710854082.XA patent/CN107665336A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150100200A (ko) * | 2014-02-25 | 2015-09-02 | 주성진 | 무인보안감시시스템의 복수표적 검지장치 |
| EP2998761A1 (en) * | 2014-09-19 | 2016-03-23 | Delphi Technologies, Inc. | Radar system with phase based multi-target detection |
| CN105184231A (zh) * | 2015-08-14 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种储物空间的图像采集***及方法 |
| CN105654522A (zh) * | 2015-12-30 | 2016-06-08 | 青岛海尔股份有限公司 | 蒸发器的结霜检测方法以及结霜检测*** |
| CN205718145U (zh) * | 2016-06-02 | 2016-11-23 | 成都科曦科技有限公司 | 一种智能冰箱及监控*** |
| CN106226050A (zh) * | 2016-07-15 | 2016-12-14 | 北京航空航天大学 | 一种tfds故障自动识别方法 |
| CN106485230A (zh) * | 2016-10-18 | 2017-03-08 | 中国科学院重庆绿色智能技术研究院 | 基于神经网络的人脸检测模型的训练、人脸检测方法及*** |
| CN106683091A (zh) * | 2017-01-06 | 2017-05-17 | 北京理工大学 | 一种基于深度卷积神经网络的目标分类及姿态检测方法 |
| CN106991427A (zh) * | 2017-02-10 | 2017-07-28 | 海尔优家智能科技（北京）有限公司 | 果蔬新鲜度的识别方法及装置 |
| CN107024073A (zh) * | 2017-04-26 | 2017-08-08 | 中国石油大学(华东) | 基于深度学习的多传感器智能冰箱控制方法和智能冰箱 |
| CN107133650A (zh) * | 2017-05-10 | 2017-09-05 | 合肥华凌股份有限公司 | 冰箱的食物识别方法、装置及冰箱 |
| CN108829723A (zh) * | 2018-05-08 | 2018-11-16 | 天津大学 | 基于复杂网络和深度学习的可交互智能冰箱健康服务终端 |
Non-Patent Citations (2)
| Title |
|---|
| 周云成等: "基于深度卷积神经网络的番茄主要器官分类识别方法", 《农业工程学报》 * |
| 孙皓泽等: "一种基于分层多尺度卷积特征提取的坦克装甲目标图像检测方法", 《兵工学报》 * |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334938A (zh) * | 2018-02-09 | 2018-07-27 | 广东省公共卫生研究院 | 一种基于图像识别的蚊媒自动监测*** |
| CN108304818A (zh) * | 2018-02-09 | 2018-07-20 | 广东省公共卫生研究院 | 一种蚊媒图像自动识别方法 |
| CN108416378A (zh) * | 2018-02-28 | 2018-08-17 | 电子科技大学 | 一种基于深度神经网络的大场景sar目标识别方法 |
| CN108416378B (zh) * | 2018-02-28 | 2020-04-14 | 电子科技大学 | 一种基于深度神经网络的大场景sar目标识别方法 |
| CN108596030A (zh) * | 2018-03-20 | 2018-09-28 | 杭州电子科技大学 | 基于Faster R-CNN的声呐目标检测方法 |
| CN108766528A (zh) * | 2018-05-08 | 2018-11-06 | 天津大学 | 一种饮食管理***及其构建方法、一种食材管理方法 |
| CN108877895A (zh) * | 2018-05-08 | 2018-11-23 | 天津大学 | 一种饮食管理***及其管理方法 |
| CN110633594A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种目标检测方法和装置 |
| CN109166106A (zh) * | 2018-08-02 | 2019-01-08 | 山东大学 | 一种基于滑动窗口的目标检测位置矫正方法和装置 |
| CN109166106B (zh) * | 2018-08-02 | 2021-07-30 | 山东大学 | 一种基于滑动窗口的目标检测位置矫正方法和装置 |
| CN109635835A (zh) * | 2018-11-08 | 2019-04-16 | 深圳蓝韵医学影像有限公司 | 一种基于深度学习与迁移学习的乳腺病变区域检测方法 |
| CN111260876A (zh) * | 2018-11-30 | 2020-06-09 | 北京欣奕华科技有限公司 | 一种图像处理方法及装置 |
| CN109726741A (zh) * | 2018-12-06 | 2019-05-07 | 江苏科技大学 | 一种多目标物体的检测方法及装置 |
| CN111435447A (zh) * | 2019-01-14 | 2020-07-21 | 珠海格力电器股份有限公司 | 识别留胚米的方法、装置和烹饪器具 |
| CN109949359A (zh) * | 2019-02-14 | 2019-06-28 | 深兰科技（上海）有限公司 | 一种基于ssd模型进行目标检测的方法及设备 |
| CN109902647A (zh) * | 2019-03-08 | 2019-06-18 | 成都国铁电气设备有限公司 | 一种便携式在线鸟巢智能识别方法及*** |
| CN111814815B (zh) * | 2019-04-11 | 2023-08-22 | 浙江快奇控股有限公司 | 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 |
| CN111814815A (zh) * | 2019-04-11 | 2020-10-23 | 苏州工其器智能科技有限公司 | 一种基于轻量级神经网络的眼镜放置状态的智能判别方法 |
| CN110188605B (zh) * | 2019-04-18 | 2021-07-06 | 浙江大华技术股份有限公司 | 目标物体识别方法、装置、***、计算机设备和存储介质 |
| CN110188605A (zh) * | 2019-04-18 | 2019-08-30 | 浙江大华技术股份有限公司 | 目标物体识别方法、装置、***、计算机设备和存储介质 |
| CN110458198A (zh) * | 2019-07-10 | 2019-11-15 | 哈尔滨工业大学（深圳） | 多分辨率目标识别方法及装置 |
| CN110674873B (zh) * | 2019-09-24 | 2022-05-27 | Oppo广东移动通信有限公司 | 图像分类方法、装置、移动终端及存储介质 |
| CN110674873A (zh) * | 2019-09-24 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像分类方法、装置、移动终端及存储介质 |
| CN110895680A (zh) * | 2019-09-26 | 2020-03-20 | 哈尔滨工程大学 | 一种基于区域建议网络的无人艇水面目标检测方法 |
| CN111126133A (zh) * | 2019-11-08 | 2020-05-08 | 博云视觉（北京）科技有限公司 | 一种基于深度学习的智能冰箱存取动作识别方法 |
| CN111401128A (zh) * | 2020-01-16 | 2020-07-10 | 杭州电子科技大学 | 一种提高车辆识别率的方法 |
| CN111339895B (zh) * | 2020-02-21 | 2023-03-24 | 魔视智能科技(上海)有限公司 | 大类非极大值抑制方法及其*** |
| CN111339895A (zh) * | 2020-02-21 | 2020-06-26 | 魔视智能科技(上海)有限公司 | 大类非极大值抑制方法及其*** |
| CN111582339A (zh) * | 2020-04-28 | 2020-08-25 | 江西理工大学 | 一种基于深度学习的车辆检测与识别的方法 |
| CN111753730A (zh) * | 2020-06-24 | 2020-10-09 | 国网电子商务有限公司 | 一种图像审查方法及装置 |
| CN112183183A (zh) * | 2020-08-13 | 2021-01-05 | 南京众智未来人工智能研究院有限公司 | 一种目标检测方法、装置及可读存储介质 |
| TWI747653B (zh) * | 2020-12-08 | 2021-11-21 | 台灣松下電器股份有限公司 | 存取物品的判斷方法及智慧冰箱 |
| CN112509030B (zh) * | 2020-12-14 | 2022-05-31 | 华中科技大学 | 多目标检测的植物测量方法、***、计算机设备及介质 |
| CN112509030A (zh) * | 2020-12-14 | 2021-03-16 | 华中科技大学 | 多目标检测的植物测量方法、***、计算机设备及介质 |
| CN113516158A (zh) * | 2021-04-15 | 2021-10-19 | 西安理工大学 | 基于Faster R-CNN的图模型构建方法 |
| CN113516158B (zh) * | 2021-04-15 | 2024-04-16 | 西安理工大学 | 基于Faster R-CNN的图模型构建方法 |
| WO2022217927A1 (zh) * | 2021-04-16 | 2022-10-20 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息标识方法、冰箱和计算机存储介质 |
| CN113454644A (zh) * | 2021-06-14 | 2021-09-28 | 商汤国际私人有限公司 | 对象类别的检测方法和装置 |
| CN113420738B (zh) * | 2021-08-24 | 2021-11-09 | 中国地质大学（武汉） | 自适应网络遥感图像分类方法、计算机设备及存储介质 |
| CN113420738A (zh) * | 2021-08-24 | 2021-09-21 | 中国地质大学（武汉） | 自适应网络遥感图像分类方法、计算机设备及存储介质 |
| WO2023185832A1 (zh) * | 2022-03-29 | 2023-10-05 | 青岛海尔电冰箱有限公司 | 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 |
| WO2023185779A1 (zh) * | 2022-03-29 | 2023-10-05 | 青岛海尔电冰箱有限公司 | 冰箱内物品信息识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665336A (zh) | 智能冰箱中基于Faster‑RCNN的多目标检测方法 | |
| CN103927741B (zh) | 增强目标特征的sar图像合成方法 | |
| CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| Dai et al. | Multi-task faster R-CNN for nighttime pedestrian detection and distance estimation | |
| CN108062531A (zh) | 一种基于级联回归卷积神经网络的视频目标检测方法 | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN105894701B (zh) | 输电线路防外破大型施工车辆的识别报警方法 | |
| CN108492272A (zh) | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及*** | |
| CN108399362A (zh) | 一种快速行人检测方法及装置 | |
| CN102496016B (zh) | 一种基于时空协同框架的红外目标检测方法 | |
| CN107247930A (zh) | 基于cnn和选择性注意机制的sar图像目标检测方法 | |
| CN107330390B (zh) | 一种基于图像分析和深度学习的人数统计方法 | |
| CN107392885A (zh) | 一种基于视觉对比机制的红外弱小目标检测方法 | |
| CN107133558B (zh) | 一种基于概率传播的红外行人显著性检测方法 | |
| CN107679503A (zh) | 一种基于深度学习的人群计数算法 | |
| CN105046206B (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
| CN110462633A (zh) | 一种人脸识别的方法、装置和电子设备 | |
| CN108038867A (zh) | 基于多特征融合和立体视觉的火焰检测和定位方法 | |
| CN108805900A (zh) | 一种跟踪目标的确定方法及装置 | |
| CN102842044B (zh) | 高分辨率可见光遥感图像变化检测方法 | |
| CN110490904B (zh) | 一种弱小目标检测与跟踪方法 | |
| CN109389086A (zh) | 检测无人机影像目标的方法和*** | |
| CN110874592A (zh) | 一种基于总有界变分的森林火灾烟雾图像检测方法 | |
| CN103413303A (zh) | 基于联合显著性的红外目标分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180206 |