CN118135483A - 一种无人零售商品识别*** - Google Patents

Abstract

本发明提出了一种无人零售商品识别***，包括物体检测单元、图像采集单元、图像识别单元、传感器阵列、数据融合处理单元、识别算法模块和商品交互数据库之间进行数据交互；所述物体检测单元：对无人零售柜进行实时监测并检测顾客所取的商品，通过激光扫描器以及运动检测传感器，确定商品的位置和时刻，并在达到预设区域时候向图像识别单元发送触发信号，触发图像采集单元进行商品图像的捕捉；所述图像识别单元内置有若干个高分辨率摄像头，当物体检测单元检测到商品移动时，摄像头被激活并捕捉商品的图像，并将采集的图像上传至图像识别单元；所述图像识别单元用于处理图像采集单元捕获的图像数据使用图像处理和机器学习算法来分析图像。

Description

一种无人零售商品识别***

技术领域

本发明属于无人零售领域，特别涉及一种无人零售商品识别***。

背景技术

无人零售商品识别***是一种基于计算机视觉和人工智能技术的智能化***，旨在实现无人零售场景下对商品的自动识别和管理。该***利用先进的图像处理、物体检测和机器学***。无人零售商品识别***是一种基于人工智能和物联网技术的新型零售解决方案，它利用计算机视觉和深度学习算法来实现对商品的自动识别和计量，从而实现无人值守的零售体验。这种***的出现，不仅提高了零售业的效率和便利性，还为消费者带来了全新的购物体验。

无人零售商品识别***的技术背景主要源自计算机视觉和深度学习技术的发展。计算机视觉是一种利用计算机和相机等设备来模拟和实现人类视觉功能的技术，它可以将图像和视频中的信息转化为数字信号，进而实现对物体的识别和分析。而深度学习则是一种基于人工神经网络的机器学习方法，它可以通过大量数据的训练来实现对复杂模式的识别和分析，从而实现对复杂任务的自动化处理。

在无人零售商品识别***中，计算机视觉和深度学习技术被应用于商品的识别和计量。首先，***会通过相机等设备对商品进行拍摄，然后利用计算机视觉技术对图像进行处理和分析，提取出商品的特征信息。接着，***会利用深度学习算法对这些特征信息进行学习和训练，从而实现对商品的自动识别和计量。最终，***会将识别出的商品信息与库存信息进行匹配，实现对商品的自动销售和管理。

除了计算机视觉和深度学习技术，无人零售商品识别***还涉及到物联网技术的应用。物联网是一种通过互联网将物体和设备进行连接和通信的技术，它可以实现对物体的实时监测和控制。在无人零售商品识别***中，物联网技术可以将相机、传感器和数据处理设备等设备进行连接和协同工作，实现对商品的实时监测和管理。

无人零售商品识别***是一种基于计算机视觉、深度学习和物联网技术的新型零售解决方案，它利用先进的技术手段实现了对商品的自动识别和计量，从而提高了零售业的效率和便利性。随着人工智能和物联网技术的不断发展，相信无人零售商品识别***将会在未来得到更广泛的应用。

因此，现在亟需一种无人零售商品识别***。

发明内容

本发明提出一种无人零售商品识别***，解决了现有技术中目前的无人零售商品无法针对一些没有入库的商品进行识别的问题，会导致在进行无人零售时，商品上架效率低需要按照设定区域进行存取的问题。

本发明的技术方案是这样实现的：一种无人零售商品识别***，包括物体检测单元、图像采集单元、图像识别单元、传感器阵列、数据融合处理单元、识别算法模块和商品交互数据库之间进行数据交互；

所述物体检测单元：对无人零售柜进行实时监测并检测顾客所取的商品，通过激光扫描器以及运动检测传感器，确定商品的位置和时刻，并在达到预设区域时候向图像识别单元发送触发信号，触发图像采集单元进行商品图像的捕捉；

所述图像识别单元内置有若干个高分辨率摄像头，当物体检测单元检测到商品移动时，摄像头被激活并捕捉商品的图像，并将采集的图像上传至图像识别单元；

所述图像识别单元用于处理图像采集单元捕获的图像数据使用图像处理和机器学习算法来分析图像，从中提取商品的特征，并将提取的商品特征发送至数据融合处理单元；

所述传感器阵列包括重量传感器、温度传感器、压力传感器，通过收集商品的非视觉属性，对商品移动和无人货柜中的环境温度变化数据进行辅助数据采集，并将采集数据发送至数据融合处理单元；

所述数据融合处理单元负责整合来自图像识别单元和传感器阵列的数据，通过融合算法将视觉和非视觉数据进行整合，形成整合数据发送至识别算法模块内；

所述识别算法模块通过深度学习和模式识别算法对数据融合处理单元上传的整合数据，进行终端的商品识别，将综合数据与商品交互数据库中的商品信息进行比对，以确定商品的身份，并将确认身份的商品数据发送至商品交互库进行数据更新；

所述商品交互数据库为可供识别的商品信息的集中存储库，商品的视觉特征、非视觉属性、价格、库存信息，并在接收到识别算法模块新识别的商品后将商品特征进行识别存储。

目前的商品识别***通常使用条形码、二维码或RFID等技术来实现商品的识别。这些技术需要商品在上架之前就被标记，并且需要在***中录入商品的信息和位置。这种方式存在一些弊端：商品必须在放置在无人柜的指定位置之前被录入***。这就意味着，如果新商品上架，或者商品位置发生变化，就需要手动更新***，这增加了管理成本和工作量。商品必须被放置在指定的位置，以确保***能够正确识别商品。这限制了商品的陈列方式和柜子的布局，影响了零售空间的灵活性和效率。如果商品没有被正确地标记或录入***，或者被放置在错误的位置，***就无法准确地识别商品，导致误识别或漏识别的问题。由于商品需要被提前录入***，这就需要人工干预和管理。这增加了工作的复杂性和可能的错误。对于新推出的商品，由于需要先录入***再放置在指定位置，这就给新品的上市带来了一定的难度和延迟。现有的商品识别***需要商品提前录入***并放置在指定位置，存在一定的局限性和弊端，这就需要更加智能的无人零售商品识别***来解决这些问题。这也是为什么新型的无人零售商品识别***需要通过实时监测、多摄像头图像识别、数据融合处理和深度学习算法等技术来提高商品识别的准确性和实时性，从而解决现有***存在的问题。

本申请文件中的无人零售商品识别***具有以下与现有技术的区别，物体检测单元通过激光扫描器和运动检测传感器实时监测商品的位置和时刻，并在达到预设区域时向图像识别单元发送触发信号。这种实时触发机制可以提高***的响应速度和准确性，与传统的定时采集相比，可以更快速地捕捉到商品的图像。图像识别单元内置多个高分辨率摄像头，能够捕捉商品的多个角度和细节，从而提高了对商品的识别准确性和稳定性。与单摄像头***相比，多摄像头***具有更强的信息采集能力。传感器阵列收集商品的非视觉属性数据，如重量、温度和压力等信息，数据融合处理单元负责整合来自图像识别单元和传感器阵列的数据，通过融合算法将视觉和非视觉数据进行整合。这种综合处理可以提供更全面和准确的商品信息，有助于提高商品识别的准确性和可靠性。识别算法模块采用深度学习和模式识别算法对整合数据进行商品识别，与传统的图像处理算法相比，深度学习算法具有更强的学习和识别能力，可以提高商品识别的准确性和适应性。商品交互数据库为可供识别的商品信息的集中存储库，包括商品的视觉特征、非视觉属性、价格、库存信息等，能够实现对商品信息的全面管理和更新。这种集中存储和管理的方式可以提高***的数据管理效率和准确性。这种无人零售商品识别***在实时监测、多摄像头图像识别、数据融合处理、深度学习算法和商品交互数据库等方面具有明显的优势和创新，能够提高***的识别准确性、响应速度和可靠性，为无人零售领域带来更先进的技术解决方案。

作为一优选的实施方式，所述数据融合模块中的在结合视觉和非视觉数据时，通过对数据进行加权融合处理，通过加权融合处理提高识别的准确性和鲁棒性。

作为一优选的实施方式，在进行加权融合处理时，首先采用加权平均法将采集数据进行综合加权平均，再通过卡尔曼滤波器对数据进行实时数据处理。

作为一优选的实施方式，在通过加权平均法进行加权平均时，将不同传感器或来源的数据进行加权平均，低噪声和提高数据的精度，根据传感器的准确性和可靠性获得加权系数，通过加权系数对不同来源的数据进行加权平均。

作为一优选的实施方式，所述识别算法模块通过训练深度学习模型，采用ResNet、VGG、Inception中任意一种进行算法模型建立，通过算法模型对图像中的物体进行识别，并通过提取图像中的特征，并利用特征匹配将图像数据与商品进行进行匹配对应。

采用了上述技术方案后，本发明的有益效果是：通过多摄像头图像识别和深度学习算法，***能够更准确地识别商品，减少误识别和漏识别的情况，从而提高了整个***的可靠性和准确性。***能够实时监测商品的位置和时刻，并在达到预设区域时触发图像采集，这有助于及时捕捉商品的图像，提高了***的响应速度和实时性。通过整合来自图像识别单元和传感器阵列的数据，***能够提供更全面和准确的商品信息，有助于提高商品识别的准确性和可靠性。由于***能够快速准确地识别商品，用户在购物过程中能够更加方便和快捷地完成商品的选购和支付，提高了用户的购物体验。商品交互数据库能够集中存储和管理商品信息，实现对商品信息的全面管理和更新，有助于提高***的数据管理效率和准确性。这种无人零售商品识别***通过提高识别准确性、实时监测和触发机制、数据融合处理、用户体验和数据管理和更新等方面的优化，能够为无人零售业带来更高效、便捷和可靠的解决方案，有助于提升零售业的竞争力和用户满意度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明***框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

如图1所示，一种无人零售商品识别***，包括物体检测单元、图像采集单元、图像识别单元、传感器阵列、数据融合处理单元、识别算法模块和商品交互数据库之间进行数据交互；

所述物体检测单元：对无人零售柜进行实时监测并检测顾客所取的商品，通过激光扫描器以及运动检测传感器，确定商品的位置和时刻，并在达到预设区域时候向图像识别单元发送触发信号，触发图像采集单元进行商品图像的捕捉；

所述图像识别单元内置有若干个高分辨率摄像头，当物体检测单元检测到商品移动时，摄像头被激活并捕捉商品的图像，并将采集的图像上传至图像识别单元；

所述图像识别单元用于处理图像采集单元捕获的图像数据使用图像处理和机器学习算法来分析图像，从中提取商品的特征，并将提取的商品特征发送至数据融合处理单元；

所述传感器阵列包括重量传感器、温度传感器、压力传感器，通过收集商品的非视觉属性，对商品移动和无人货柜中的环境温度变化数据进行辅助数据采集，并将采集数据发送至数据融合处理单元；

所述数据融合处理单元负责整合来自图像识别单元和传感器阵列的数据，通过融合算法将视觉和非视觉数据进行整合，形成整合数据发送至识别算法模块内；

所述识别算法模块通过深度学习和模式识别算法对数据融合处理单元上传的整合数据，进行终端的商品识别，将综合数据与商品交互数据库中的商品信息进行比对，以确定商品的身份，并将确认身份的商品数据发送至商品交互库进行数据更新；

所述商品交互数据库为可供识别的商品信息的集中存储库，商品的视觉特征、非视觉属性、价格、库存信息，并在接收到识别算法模块新识别的商品后将商品特征进行识别存储。

无人零售商品识别***的工作原理和工作流程如下：通过激光扫描器和运动检测传感器实时监测无人零售柜中的商品位置和顾客取走商品的时刻。一旦商品移动到预设区域，物体检测单元将触发图像采集单元进行商品图像的捕捉。当物体检测单元触发后，图像识别单元内置的高分辨率摄像头被激活并捕捉商品的图像，然后将采集的图像上传至图像识别单元。图像识别单元使用图像处理和机器学习算法来分析图像，提取商品的特征，并将提取的商品特征发送至数据融合处理单元。重量传感器、温度传感器和压力传感器收集商品的非视觉属性，以及无人货柜中的环境温度变化数据，然后将采集的数据发送至数据融合处理单元。负责整合来自图像识别单元和传感器阵列的数据，通过融合算法将视觉和非视觉数据进行整合，形成整合数据发送至识别算法模块内。通过深度学习和模式识别算法对数据融合处理单元上传的整合数据进行商品识别，将综合数据与商品交互数据库中的商品信息进行比对，以确定商品的身份，并将确认身份的商品数据发送至商品交互库进行数据更新。集中存储可供识别的商品信息，包括商品的视觉特征、非视觉属性、价格、库存信息等，同时接收识别算法模块新识别的商品特征进行存储。

本申请文件的***通过激光扫描器和运动检测传感器实时监测商品位置，并在达到预设区域时触发图像采集，提高了***的响应速度和实时性，避免了传统***中需要提前录入商品信息的弊端。整合了图像识别单元和传感器阵列的数据，通过融合算法将视觉和非视觉数据进行整合，提供了更全面和准确的商品信息，有助于提高商品识别的准确性和可靠性。采用深度学***。

所述数据融合模块中的在结合视觉和非视觉数据时，通过对数据进行加权融合处理，通过加权融合处理提高识别的准确性和鲁棒性。通过对视觉和非视觉数据进行加权融合处理，以提高商品识别的准确性和鲁棒性。这里的加权融合处理指的是对不同类型的数据赋予不同的权重，并将它们结合起来以获得更可靠的结果。在这种情况下，视觉数据可能包括商品的图像特征，而非视觉数据可能包括重量、温度和压力等传感器收集的环境和商品属性数据。通过加权融合处理，***可以根据不同数据类型的重要性和可靠性，对不同数据进行加权处理，以确保在综合考虑各种数据时，更加准确地反映商品的实际情况。对于商品的图像特征可能更为直观和重要，因此可以赋予其更高的权重；而环境温度和重量等数据也可以作为辅助信息，根据其对商品识别的贡献程度，赋予适当的权重。通过这种加权融合处理，***能够更全面地考虑不同数据的贡献，从而提高了商品识别的准确性和鲁棒性。通过对不同类型数据进行加权融合处理，***能够更好地综合利用各种信息，提高了商品识别的准确性和可靠性，从而提升了整个无人零售商品识别***的性能和效率。

在进行加权融合处理时，首先采用加权平均法将采集数据进行综合加权平均，再通过卡尔曼滤波器对数据进行实时数据处理。采用加权平均法将采集的不同类型的数据进行综合加权平均。这意味着***为每个数据类型分配一个权重，然后将每种数据乘以其相应的权重，然后将它们相加以获得综合的加权平均值。这种方法可以确保不同类型的数据在综合时得到适当的重视，根据其重要性和贡献程度进行加权处理。

通过卡尔曼滤波器对数据进行实时数据处理。卡尔曼滤波器是一种用于从不完全和嘈杂的数据中提取状态信息的数学工具。它能够通过对数据进行动态的估计和预测，从而消除数据中的噪声和提高数据的准确性。在这种情况下，卡尔曼滤波器可以帮助***实时地处理数据，提高数据的稳定性和鲁棒性，从而更好地支持商品识别***的准确性。采用加权平均法进行综合加权平均可以确保不同类型的数据得到适当的重视，而通过卡尔曼滤波器进行实时数据处理则可以提高数据的稳定性和准确性。这种方法能够在加权融合处理过程中更好地综合利用各种信息，从而提高了商品识别***的准确性和鲁棒性。

在通过加权平均法进行加权平均时，将不同传感器或来源的数据进行加权平均，低噪声和提高数据的精度，根据传感器的准确性和可靠性获得加权系数，通过加权系数对不同来源的数据进行加权平均。根据传感器的准确性和可靠性，***为每个传感器或数据来源分配一个加权系数。准确性和可靠性高的传感器将被赋予更高的权重，而准确性和可靠性低的传感器将被赋予较低的权重。这样做是基于一个假设，即准确性和可靠性高的传感器产生的数据更接近于真实值，因此应该在加权平均中起到更大的作用。

通过这些加权系数对不同来源的数据进行加权平均。具有更高权重的数据将在加权平均中占据更大的比重，而具有较低权重的数据将对结果产生较小的影响。这确保了来自不同传感器或来源的数据在综合时得到适当的重视，从而提高了数据的准确性和可靠性。

这种方法通过对不同来源的数据进行加权平均，根据传感器的准确性和可靠性获得加权系数，可以降低噪声，提高数据的精度，从而确保***获得更准确和可靠的结果。这种策略在数据融合处理中非常重要，尤其在需要综合利用多个传感器或数据来源的情况下，能够有效提高***的性能和结果的准确性。

所述识别算法模块通过训练深度学习模型，采用ResNet、VGG、Inception中任意一种进行算法模型建立，通过算法模型对图像中的物体进行识别，并通过提取图像中的特征，并利用特征匹配将图像数据与商品进行进行匹配对应。深度学习模型(如ResNet、VGG、Inception等)是一种基于人工神经网络的机器学习模型，通过对大量的图像数据进行训练，能够学习到图像中的特征和模式。在这种情况下，通过对深度学习模型进行训练，***可以学习到各种商品的视觉特征和模式，使得***能够更准确地识别图像中的物体。一旦深度学习模型被训练好，***就可以利用该模型对图像中的物体进行识别。通过提取图像中的特征，***能够将这些特征与事先训练好的商品特征进行比对和匹配，以确定图像中物体的身份。这种特征匹配的过程能够帮助***准确地将图像数据与对应的商品进行匹配，从而实现对商品的识别和管理。通过训练深度学习模型，采用ResNet、VGG、Inception等模型进行算法模型建立，***能够学习到商品的视觉特征和模式，从而能够更准确地对图像中的物体进行识别，并通过特征匹配将图像数据与商品进行对应匹配。这种方法能够提高***对商品的识别准确性和鲁棒性，为无人零售商品识别***提供了更强大的识别能力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种无人零售商品识别***，其特征在于，包括物体检测单元、图像采集单元、图像识别单元、传感器阵列、数据融合处理单元、识别算法模块和商品交互数据库之间进行数据交互；

所述物体检测单元：对无人零售柜进行实时监测并检测顾客所取的商品，通过激光扫描器以及运动检测传感器，确定商品的位置和时刻，并在达到预设区域时候向图像识别单元发送触发信号，触发图像采集单元进行商品图像的捕捉；

所述图像识别单元内置有若干个高分辨率摄像头，当物体检测单元检测到商品移动时，摄像头被激活并捕捉商品的图像，并将采集的图像上传至图像识别单元；

所述图像识别单元用于处理图像采集单元捕获的图像数据使用图像处理和机器学习算法来分析图像，从中提取商品的特征，并将提取的商品特征发送至数据融合处理单元；

所述传感器阵列包括重量传感器、温度传感器、压力传感器，通过收集商品的非视觉属性，对商品移动和无人货柜中的环境温度变化数据进行辅助数据采集，并将采集数据发送至数据融合处理单元；

所述数据融合处理单元负责整合来自图像识别单元和传感器阵列的数据，通过融合算法将视觉和非视觉数据进行整合，形成整合数据发送至识别算法模块内；

所述识别算法模块通过深度学习和模式识别算法对数据融合处理单元上传的整合数据，进行终端的商品识别，将综合数据与商品交互数据库中的商品信息进行比对，以确定商品的身份，并将确认身份的商品数据发送至商品交互库进行数据更新；

所述商品交互数据库为可供识别的商品信息的集中存储库，商品的视觉特征、非视觉属性、价格、库存信息，并在接收到识别算法模块新识别的商品后将商品特征进行识别存储。

2.如权利要求1所述的一种无人零售商品识别***，其特征在于：所述数据融合模块中的在结合视觉和非视觉数据时，通过对数据进行加权融合处理，通过加权融合处理提高识别的准确性和鲁棒性。

3.如权利要求2所述的一种无人零售商品识别***，其特征在于：在进行加权融合处理时，首先采用加权平均法将采集数据进行综合加权平均，再通过卡尔曼滤波器对数据进行实时数据处理。

4.如权利要求3所述的一种无人零售商品识别***，其特征在于：在通过加权平均法进行加权平均时，将不同传感器或来源的数据进行加权平均，低噪声和提高数据的精度，根据传感器的准确性和可靠性获得加权系数，通过加权系数对不同来源的数据进行加权平均。

5.如权利要求3所述的一种无人零售商品识别***，其特征在于：所述识别算法模块通过训练深度学习模型，采用ResNet、VGG、Inception中任意一种进行算法模型建立，通过算法模型对图像中的物体进行识别，并通过提取图像中的特征，并利用特征匹配将图像数据与商品进行进行匹配对应。