CN114445980B - 商品的结账方法及装置、电子设备和存储介质 - Google Patents
商品的结账方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114445980B CN114445980B CN202210104938.2A CN202210104938A CN114445980B CN 114445980 B CN114445980 B CN 114445980B CN 202210104938 A CN202210104938 A CN 202210104938A CN 114445980 B CN114445980 B CN 114445980B
- Authority
- CN
- China
- Prior art keywords
- commodity
- image
- checked out
- determining
- checkout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000004519 manufacturing process Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000012797 qualification Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 49
- 239000008267 milk Substances 0.000 description 28
- 210000004080 milk Anatomy 0.000 description 28
- 235000013336 milk Nutrition 0.000 description 28
- 238000001514 detection method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000005484 gravity Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 241000220223 Fragaria Species 0.000 description 14
- 235000016623 Fragaria vesca Nutrition 0.000 description 14
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 14
- 235000015895 biscuits Nutrition 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 235000009754 Vitis X bourquina Nutrition 0.000 description 3
- 235000012333 Vitis X labruscana Nutrition 0.000 description 3
- 240000006365 Vitis vinifera Species 0.000 description 3
- 235000014787 Vitis vinifera Nutrition 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 235000014594 pastries Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开涉及一种商品的结账方法及装置、电子设备和存储介质,所述方法包括:获取待结账商品的至少一张图像;从第一图像库中确定与所述至少一张图像匹配的目标商品图像;根据预设的关联关系,获取所述目标商品图像对应的结账方式及商品属性信息;根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价。本公开实施例可实现无论商品有无标识码,都可以高效、准确地完成结账。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种商品的结账方法及装置、电子设备和存储介质。
背景技术
在一些超市和便利店等主要为顾客提供商品购物服务的商家,当前运用较为广泛的结账方式是扫描识别码(包括条形码)获取商品信息的结账方式。该结账方式要求商品预先包装好、且包装上印有或者贴有与商品对应的识别码。一些商家出于人力成本、包装材料成本的考虑,对于部分商品并不提供包装,例如蔬菜、水果、面点等商品。对于因无包装而无法扫描获取识别码的商品,在结账时需要顾客或工作人员手动查询并输入商品编码,导致结账流程非常繁琐复杂且容易出现失误。并且,在有识别码的商品的结账方面,也有可能出现扫码装置故障或者识别码模糊的情况,降低结账的效率。
因此,需要一种商品的结账方案,使得无论商品有无标识码,都可以高效、准确地完成结账。
发明内容
本公开提出了一种商品的结账技术方案。
根据本公开的一方面,提供了一种商品的结账方法,包括:获取待结账商品的至少一张图像;从第一图像库中确定与所述至少一张图像匹配的目标商品图像;根据预设的关联关系,获取所述目标商品图像对应的结账方式及商品属性信息;根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价。
通过获取待结账商品的至少一张图像,从第一图像库中确定与至少一张图像匹配的目标商品图像,可以确定待结账商品是第一图像库中已录入的商品;通过获取目标商品图像对应的结账方式及商品属性信息,使得根据结账方式和商品属性信息,能够得到待结账商品的商品总价。根据本公开的实施例,能够通过从待结账商品的图像中获取的信息完成商品的结账,无论商品有无标识码,都可以高效、准确地完成结账。
在一个或多个可选实施例中,所述获取待结账商品的至少一张图像之前,所述方法还包括:获取至少一种商品类型的商品图像,其中每种所述商品类型对应至少一张商品图像;针对每种所述商品类型,从所述商品类型对应的至少一张商品图像中筛选得到图像质量符合第一预设条件的预设商品图像;获取每种所述预设商品图像的结账方式和商品属性信息,并建立所述预设商品图像、所述结账方式以及所述商品属性信息之间的关联关系;将每种所述预设商品图像以及所述关联关系存储在所述第一图像库中。
通过这种方式,可以实现向第一图像库存储预设商品图像及关联关系。第一图像库中的预设商品图像是经图像质量筛选符合条件的,使得从第一图像库中确定的、与至少一张图像匹配的目标商品图像是准确度较高的,进而提升最终确定的商品总价的准确度。
在一个或多个可选实施例中,所述从第一图像库中确定与所述至少一张图像匹配的目标商品图像,包括:针对所述至少一张图像,确定每张所述图像与所述第一图像库中的预设商品图像的第一相似程度;获取所述第一相似程度大于第一阈值的预设商品图像的第一区别特征;针对所述至少一张图像,提取每张所述图像的第二区别特征;确定所述第一区别特征与所述第二区别特征的第二相似程度;将所述第二相似程度最高的预设商品图像,确定为与所述至少一张图像匹配的所述目标商品图像;其中,所述第一区别特征和所述第二区别特征用于区分不同商品类型的预设商品图像。
第一相似程度满足条件的预设商品图像可以是与待结账商品的图像整体比较相似的图像,第二相似程度满足条件的预设商品图像可以是与待结账商品的图像整体和特征部分均比较相似的图像,使得第二相似程度满足条件的预设商品图像可以作为与待结账商品的商品图像匹配的目标商品图像。通过这种方式,可以保证确定的目标商品图像的准确度。
在一个或多个可选实施例中,在未能从所述第一图像库中确定与所述至少一张图像匹配的目标商品图像的情况下,所述方法还包括:在所述待结账商品包括识别码的情况下,通过扫描识别码的方式获取所述待结账商品的结账方式以及商品属性信息;或在所述待结账商品不包括识别码的情况下,接收第一反馈信息,所述第一反馈信息用于指示所述待结账商品的结账方式以及商品属性信息;根据所述第一反馈信息中的结账方式和商品属性信息,确定所述待结账商品的商品总价;输出第一提示信息,所述第一提示信息用于指示将所述待结账商品的商品图像加入所述第一图像库。
未能确定目标商品图像的情况下,可以通过手动扫描识别码的方式,或通过手动输入结账所需的结账方式以及商品属性信息的方式,协助支付终端完成结账,通过这种方式,可以提升结账方式的灵活性。
在一个或多个可选实施例中,在未能从所述第一图像库中确定与所述至少一张图像匹配的目标商品图像的情况下,所述方法还包括:通过监控摄像查找是否存在待结账商品的同类型商品的结账录像;在存在所述结账录像的情况下,获取所述结账录像所指示的同类型商品的结账过程的相关信息,所述结账过程的相关信息包括所述同类型商品的结账方式及商品属性信息;根据所述同类型商品的结账方式和商品属性信息,确定所述待结账商品的商品总价。
通过这种方式,使得不必手动扫描识别码或通过手动输入结账所需的结账方式以及商品属性信息,也能在未确定目标商品图像的情况下完成商品的结账,可以提升支付终端确定商品总价的效率和准确度。
在一个或多个可选实施例中,所述针对所述至少一张图像,确定每张所述图像与第一图像库中的预设商品图像的第一相似程度之后,所述方法还包括:判断所述第一相似程度大于第一阈值的预设商品图像的数量是否为多个;若所述第一相似程度大于第一阈值的预设商品图像的数量为多个,确定多个所述预设商品图像为相似商品图像;所述获取所述第一相似程度大于第一阈值的预设商品图像的第一区别特征包括:获取每个所述相似商品图像的第一区别特征;所述将所述第二相似程度最高的预设商品图像,确定为与所述至少一张图像匹配的所述目标商品图像包括:将所述第二相似程度最高的相似商品图像,确定为与所述至少一张图像匹配的所述目标商品图像。
第一相似程度大于第一阈值的预设商品图像的数量为多个时,可认为多个预设商品图像较为相似。通过这种方式,可以在多个预设商品图像较为相似时,进一步提高确定的目标商品图像准确度。
在一个或多个可选实施例中,所述商品属性信息还包括生产日期、保质期、质量合格信息、以及生产厂家中的至少一种,所述根据预设的关联关系,获取所述目标商品图像对应的结账方式及商品属性信息之后,所述方法还包括:判断所述生产日期、质量合格信息、生产厂家中是否存在无效信息;若所述生产日期、质量合格信息、生产厂家中不存在无效信息,根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价;或根据所述生产日期、保质期,判断所述待结账商品是否为过期产品;若所述待结账商品不是过期产品,根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价。
通过这种方式,可以保证完成结账的商品的质量安全性,提高顾客的结账体验。
在一个或多个可选实施例中,所述结账方式包括按件结账,所述商品属性信息包括商品类型和单件商品价格;所述根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价,包括:根据所述至少一张图像确定所述待结账商品所包括的每种类型商品的数量;根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价。
通过这种方式,可以仅通过待结账商品的至少一张图像实现获取按件结账的待结账商品的商品总价。由于允许同时对多类型的按件结账的商品同时结账,因此可以进行一步提升结账的效率。
在一个或多个可选实施例中,所述商品属性信息还包括单件商品重量,所述方法还包括:在所述待结账商品包括一种商品类型时,检测所述待结账商品的商品总重量;根据所述待结账商品的商品总重量以及所述单件商品重量,确定所述待结账商品的第一商品数量;根据所述至少一张图像确定所述待结账商品的第二商品数量;所述根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价包括:在第一商品数量与第二商品数量一致的情况下,根据所述第一商品数量与该类型商品的单件商品价格的乘积,或根据所述第二商品数量与该类型商品的单件商品价格的乘积,确定所述商品总价。
通过这种方式,可以实现对待结账商品的商品数量进行校验,保证待结账商品的数量的准确度。在待结账商品的数量准确时确定商品总价,使得能够提高商品总价的准确度。
在一个或多个可选实施例中,所述商品属性信息还包括单件商品重量,所述方法还包括:根据所述至少一张图像确定所述待结账商品所包括的每种类型商品的数量;根据所述待结账商品所包括的每种类型商品的数量以及单件商品重量,确定所述待结账商品的第一商品总重量;检测所述待结账商品的第二商品总重量;所述根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价包括:在所述第一商品总重量和所述第二商品总重量之差的绝对值小于第二阈值的情况下,根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价。
通过这种方式,可以实现对待结账商品的商品总重量进行校验,保证待结账商品的数量的准确度。对待结账商品的商品总重量进行校验时,待结账商品可包括多种商品类型,使得校验方式的可适用于更多的应用场景。
在一个或多个可选实施例中,所述结账方式包括按重量结账,所述商品属性信息包括商品类型和单位重量商品价格;所述根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价,包括:在所述待结账商品包括一种商品类型时,检测所述待结账商品的商品总重量;根据所述待结账商品的商品总重量以及单位重量商品价格的乘积,确定所述商品总价。
通过这种方式,可以实现按重量结账的商品的结账。执行本公开实施例的商品的结账方法的终端设备或服务器既能实现按件结账的商品的结账,又能实现按重量结账的商品的结账,可以提升终端设备或服务器的结账能力。
根据本公开的一方面,提供了一种商品的结账装置,包括:第一获取模块,用于获取待结账商品的至少一张图像;第一确定模块,用于从第一图像库中确定与所述至少一张图像匹配的目标商品图像;第二获取模块,用于根据预设的关联关系,获取所述目标商品图像对应的结账方式及商品属性信息;第二确定模块,用于根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价。
在一个或多个可选实施例中,所述装置还包括:第三获取模块,用于获取至少一种商品类型的商品图像,其中每种所述商品类型对应至少一张商品图像;第一筛选模块,用于针对每种所述商品类型,从所述商品类型对应的至少一张商品图像中筛选得到图像质量符合第一预设条件的预设商品图像;第四获取模块,用于获取每种所述预设商品图像的结账方式和商品属性信息,并建立所述预设商品图像、所述结账方式以及所述商品属性信息之间的关联关系;第一存储模块,用于将每种所述预设商品图像以及所述关联关系存储在所述第一图像库中。
在一个或多个可选实施例中,所述第一确定模块,具体用于,针对所述至少一张图像,确定每张所述图像与所述第一图像库中的预设商品图像的第一相似程度;获取所述第一相似程度大于第一阈值的预设商品图像的第一区别特征;针对所述至少一张图像,提取每张所述图像的第二区别特征;确定所述第一区别特征与所述第二区别特征的第二相似程度;将所述第二相似程度最高的预设商品图像,确定为与所述至少一张图像匹配的所述目标商品图像;其中,所述第一区别特征和所述第二区别特征用于区分不同商品类型的预设商品图像。
在一个或多个可选实施例中,所述装置还包括:第五获取模块,用于在所述待结账商品包括识别码的情况下,通过扫描识别码的方式获取所述待结账商品的结账方式以及商品属性信息;或第一接收模块,用于在所述待结账商品不包括识别码的情况下,接收第一反馈信息,所述第一反馈信息用于指示所述待结账商品的结账方式以及商品属性信息;第三确定模块,用于根据所述第一反馈信息中的结账方式和商品属性信息,确定所述待结账商品的商品总价;第一输出模块,用于输出第一提示信息,所述第一提示信息用于指示将所述待结账商品的商品图像加入所述第一图像库。
在一个或多个可选实施例中,所述装置还包括:第一查找模块,用于通过监控摄像查找是否存在待结账商品的同类型商品的结账录像;第六获取模块,用于在存在所述结账录像的情况下,获取所述结账录像所指示的同类型商品的结账过程的相关信息,所述结账过程的相关信息包括所述同类型商品的结账方式及商品属性信息;第四确定模块,用于根据所述同类型商品的结账方式和商品属性信息,确定所述待结账商品的商品总价。
在一个或多个可选实施例中,所述装置还包括:第一判断模块,用于判断所述第一相似程度大于第一阈值的预设商品图像的数量是否为多个;第五确定模块,用于若所述第一相似程度大于第一阈值的预设商品图像的数量为多个,确定多个所述预设商品图像为相似商品图像;所述第一确定模块,具体用于,获取每个所述相似商品图像的第一区别特征;将所述第二相似程度最高的相似商品图像,确定为与所述至少一张图像匹配的所述目标商品图像。
在一个或多个可选实施例中,所述商品属性信息还包括生产日期、保质期、质量合格信息、以及生产厂家中的至少一种,所述装置还包括:第二判断模块,用于判断所述生产日期、质量合格信息、生产厂家中是否存在无效信息;若所述生产日期、质量合格信息、生产厂家中不存在无效信息,根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价;或第三判断模块,用于根据所述生产日期、保质期,判断所述待结账商品是否为过期产品;若所述待结账商品不是过期产品,根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价。
在一个或多个可选实施例中,所述结账方式包括按件结账,所述商品属性信息包括商品类型和单件商品价格;所述第二确定模块,具体用于,根据所述至少一张图像确定所述待结账商品所包括的每种类型商品的数量;根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价。
在一个或多个可选实施例中,所述商品属性信息还包括单件商品重量,所述装置还包括:第一检测模块,用于在所述待结账商品包括一种商品类型时,检测所述待结账商品的商品总重量;第六确定模块,用于根据所述待结账商品的商品总重量以及所述单件商品重量,确定所述待结账商品的第一商品数量;第七确定模块,用于根据所述至少一张图像确定所述待结账商品的第二商品数量;所述第二确定模块,具体用于,在第一商品数量与第二商品数量一致的情况下,根据所述第一商品数量与该类型商品的单件商品价格的乘积,或根据所述第二商品数量与该类型商品的单件商品价格的乘积,确定所述商品总价。
在一个或多个可选实施例中,所述商品属性信息还包括单件商品重量,所述装置还包括:第八确定模块,用于根据所述至少一张图像确定所述待结账商品所包括的每种类型商品的数量;第九确定模块,用于根据所述待结账商品所包括的每种类型商品的数量以及单件商品重量,确定所述待结账商品的第一商品总重量;第二检测模块,用于检测所述待结账商品的第二商品总重量;所述第二确定模块,具体用于,在所述第一商品总重量和所述第二商品总重量之差的绝对值小于第二阈值的情况下,根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价。
在一个或多个可选实施例中,所述结账方式包括按重量结账,所述商品属性信息包括商品类型和单位重量商品价格;所述第二确定模块,具体用于,在所述待结账商品包括一种商品类型时,检测所述待结账商品的商品总重量;根据所述待结账商品的商品总重量以及单位重量商品价格的乘积,确定所述商品总价。
根据本公开的一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1a示出根据本公开实施例的商品的结账方法的流程图。
图1b示出执行本公开实施例的商品的结账方法的终端设备的示例性示意图。
图2示出根据本公开实施例向第一图像库存储预设商品图像及关联关系的示例性方式的示意图。
图3示出本公开实施例的显示组件或者显示设备上显示的提示信息的示例。
图4示出本公开实施例的反馈成功的提示信息的一个示例。
图5示出根据本公开实施例的商品的结账装置的框图
图6示出根据本公开实施例的一种电子设备1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
本公开实施例提出一种商品的结账方法,该方法可以由终端设备或服务器等电子设备执行,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等,所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者,可通过服务器执行所述方法。
图1a示出根据本公开实施例的商品的结账方法的流程图,如图1a所示,所述商品的结账方法包括步骤S11-步骤S14:
在步骤S11中,获取待结账商品的至少一张图像。
图1b示出执行本公开实施例的商品的结账方法的终端设备的示例性示意图。如图1b所示,执行本公开实施例的商品的结账方法的终端设备可以包括摄像组件,以用于采集待结账商品的至少一张图像。或者,终端设备或服务器可以与摄像设备有线连接或无线连接,以通过摄像设备获取摄像设备采集的至少一张图像。至少一张图像可以包括待结账商品的至少一个角度的图像。
可以设置摄像组件或者摄像设备放置在能够拍摄到结账区域的待结账商品的位置,并设置为能够以一定的频率采集图像。在此情况下,采集的图像可以是待结账商品的图像。可选地,如图1b所示,终端设备还可以包括重力检测组件,用于检测结账区域所受的重力。或者,终端设备或服务器可以与重力检测设备有线连接或无线连接,以通过重力检测设备检测结账区域所受的重力。可以设置为在检测到结账区域所受的重力大于一定阈值之后,驱动摄像组件或者摄像设备以一定的频率采集图像,以降低采集(以及传输)图像所需的成本。本公开对于待结账商品的图像的采集方式不作限制。
在步骤S12中,从第一图像库中确定与至少一张图像匹配的目标商品图像。
第一图像库可以存储有多种类型的商品对应的预设商品图像。待结账商品的每张图像中,可包含至少一种商品类型的商品图像,与待结账商品的图像中的任一商品图像相匹配的第一图像库中的预设商品图像,可作为一目标商品图像。例如,将待结账商品A、待结账商品B、待结账商品C放置在图像采集区(图像采集区可以大于或等于结账区域的面积),从不同角度采集到2张图像,图像1中包含商品图像A、商品图像B(待结账商品C的图像被遮挡),图像2中包含商品图像A、商品图像B、商品图像C,则图像1与第一图像库中的预设商品图像进行匹配,得到目标商品图像A、目标商品图像B,图像2与则图像1与第一图像库中的预设商品图像进行匹配,得到目标商品图像A、目标商品图像B,目标商品图像C,即与待结账商品的图像匹配的目标商品图像是目标商品图像A、目标商品图像B,目标商品图像C。
“匹配”的方式可以有多种,例如通过神经网络方式识别第一图像库存储的预设商品图像与待结账商品的图像的相似程度,在相似程度数值高于一定阈值时认为待结账商品的图像与目标商品图像匹配,或者,也可以通过比较待结账商品的图像与目标商品图像的像素点的值,在对应位置的像素点的值的差小于一定阈值时认为待结账商品的图像与目标商品图像匹配。本公开对于确定与待结账商品的图像匹配的目标商品图像的具体方式不作限制。
在步骤S13中,根据预设的关联关系,获取目标商品图像对应的结账方式及商品属性信息。
预设的关联关系可以是多种类型的商品对应的预设商品图像存入第一图像库时建立的,可以是预设商品图像、结账方式及商品属性信息的关联关系。目标商品图像对应的结账方式可以包括按件结账和按重量结账。目标商品图像对应的商品属性信息可以包括该目标商品图像对应的商品类型、单件商品价格、单位重量商品价格、单件商品重量等等。本公开对于结账方式及商品属性信息的具体类型不作限制。
在步骤S14中,根据结账方式和商品属性信息,确定待结账商品的商品总价。
如图1b所示,执行本公开实施例的商品的结账方法的终端设备还可以包括显示组件,以用于对待结账商品的商品总价进行显示。或者,终端设备或服务器可以与显示设备有线连接或无线连接,以显示待结账商品的商品总价。在显示商品总价时,还可以一同显示商品属性信息和/或结账方式。顾客可以通过查看显示组件或显示设备上显示的内容,确定商品总价并进行支付。
通过获取待结账商品的至少一张图像,从第一图像库中确定与至少一张图像匹配的目标商品图像,可以确定待结账商品是第一图像库中已录入的商品;通过获取目标商品图像对应的结账方式及商品属性信息,使得根据结账方式和商品属性信息,能够得到待结账商品的商品总价。根据本公开的实施例,能够通过从待结账商品的图像中获取的信息完成商品的结账,无论商品有无标识码,都可以高效、准确地完成结账。
下面介绍本公开实施例从第一图像库中确定与至少一张图像匹配的目标商品图像的示例性方法。
在一种可能的实现方式中,步骤S12包括:
针对至少一张图像,确定每张图像与第一图像库中的预设商品图像的第一相似程度;
获取第一相似程度大于第一阈值的预设商品图像的第一区别特征;
针对至少一张图像,提取每张图像的第二区别特征;
确定第一区别特征与第二区别特征的第二相似程度;
将第二相似程度最高的预设商品图像,确定为与至少一张图像匹配的目标商品图像;
其中,第一区别特征和第二区别特征用于区分不同商品类型的预设商品图像。
举例来说,第一图像库中的预设商品图像可包括商品类型“YY牌饼干”的多张商品图像,图像序号例如为000201-000205,以及商品类型“XX牌牛奶”的多张商品图像,图像序号例如为000111-000115。待结账商品的至少一张图像的图像序号例如为000121-000125。则可以分别确定图像序号为000121-000125的每张图像与图像序号为000201-000205、000111-000115的每张图像的第一相似程度。第一相似程度可以是值域为[0,100]的数值,第一阈值可例如等于75。第一相似程度大于第一阈值的预设商品图像可以是图像序号为000201的图像。本领域技术人员应理解,第一阈值也可以通过其他方式设置,只要满足用户需求即可,本公开对此不作限制。
可进一步获取图像序号为000201的图像的第一区别特征,以及图像序号为000121-000125的每张图像的第二区别特征。第一区别特征和第二区别特征可以用于区分不同商品类型的预设商品图像,例如可以是能够唯一区分该图像中的商品与其他商品的标识,例如商标、商品表面图案等等。
根据获取的第一区别特征与第二区别特征,可确定第一区别特征与第二区别特征的第二相似程度。第二相似程度可以是值域为[0,100]的数值,第二相似程度的数值越高,可认为该预设商品图像与待结账商品的商品图像的区别特征越近似。第二相似程度最高的预设商品图像可以是图像序号为000201的图像。则该图像序号为000201的预设商品图像可以确定为与至少一张图像匹配的目标商品图像。
第一相似程度满足条件的预设商品图像可以是与待结账商品的图像整体比较相似的图像,第二相似程度满足条件的预设商品图像可以是与待结账商品的图像整体和特征部分均比较相似的图像,使得第二相似程度满足条件的预设商品图像可以作为与待结账商品的商品图像匹配的目标商品图像。通过这种方式,可以保证确定的目标商品图像的准确度。
在一种可能的实现方式中,针对至少一张图像,确定每张图像与第一图像库中的预设商品图像的第一相似程度之后,所述方法还包括:
判断第一相似程度大于第一阈值的预设商品图像的数量是否为多个;
若第一相似程度大于第一阈值的预设商品图像的数量为多个,确定多个预设商品图像为相似商品图像;
获取第一相似程度大于第一阈值的预设商品图像的第一区别特征包括:
获取每个相似商品图像的第一区别特征;
将第二相似程度最高的预设商品图像,确定为与至少一张图像匹配的目标商品图像包括:
将第二相似程度最高的相似商品图像,确定为与至少一张图像匹配的目标商品图像。
举例来说,第一图像库中的预设商品图像可包括商品类型“YY牌饼干”的多张商品图像,图像序号例如为000201-000205,以及商品类型“XX牌牛奶”的多张商品图像,图像序号例如为000111-000115。待结账商品的至少一张图像的图像序号例如为000121-000125。
通过比较第一相似程度和第一阈值的大小关系,可以确定第一相似程度大于第一阈值的预设商品图像有三个,分别为图像序号为000201、000205、000111的图像。在此情况下,可以判断确定第一相似程度大于第一阈值的预设商品图像的数量为多个,可以确定图像序号为000201、000205、000111的图像为相似商品图像。在获取第一相似程度大于第一阈值的预设商品图像的第一区别特征时,可以获取每个相似商品图像的第一区别特征。将第二相似程度最高的预设商品图像,确定为与至少一张图像匹配的目标商品图像时,可以将第二相似程度最高的相似商品图像,确定为与至少一张图像匹配的目标商品图像。第一区别特征、第二区别特征的获取方式可以参见上文描述,在此不再赘述。第二相似程度最高的相似商品图像可以是图像序号为000201的图像。则该图像序号为000201的相似商品图像可以确定为与至少一张图像匹配的目标商品图像。
第一相似程度大于第一阈值的预设商品图像的数量为多个时,可认为多个预设商品图像较为相似。通过这种方式,可以在多个预设商品图像较为相似时,进一步提高确定的目标商品图像准确度。
在一种可能的实现方式中,在未能从第一图像库中确定与至少一张图像匹配的目标商品图像的情况下,所述方法还包括:
在待结账商品包括识别码的情况下,通过扫描识别码的方式获取待结账商品的结账方式以及商品属性信息;或
在待结账商品不包括识别码的情况下,接收第一反馈信息,第一反馈信息用于指示待结账商品的结账方式以及商品属性信息;
根据第一反馈信息中的结账方式和商品属性信息,确定待结账商品的商品总价;
输出第一提示信息,第一提示信息用于指示将待结账商品的商品图像加入第一图像库。
举例来说,如果未能从第一图像库中确定与至少一张图像匹配的目标商品图像,可以认为第一图像库中没有录入该待结账商品,即待结账商品的商品图像未加入第一图像库。则支付终端因无法继续执行后续步骤,可能会导致不能较快完成商品的结账。在此情况下,为减少顾客的等待时间,可以通过现有技术已有的结账方式进行结账。
例如,如果待结账商品是印有或贴有识别码的商品,则可以通过扫描识别码的方式获取待结账商品的结账方式以及商品属性信息,使得支付终端可以正常执行步骤S14,确定待结账商品的商品总价。如果待结账商品是没有识别码的商品,可以通过手动输入第一反馈信息的方式将商品的结账方式以及商品属性信息提供给支付终端,使得支付终端可以根据第一反馈信息中的结账方式和商品属性信息正常执行步骤S14,确定待结账商品的商品总价。
进一步地,支付终端可以输出第一提示信息,第一提示信息用于指示将待结账商品的商品图像加入第一图像库。第一提示信息可以输出给由管理员使用的服务器或者其他终端设备,可包括图像提示、文字提示、语音提示等等多种形式。服务器或者其他终端设备接收到第一提示信息后,根据该第一提示信息,可以先确定待结账商品的商品图像与待结账商品的结账方式、商品属性信息的关联关系,再将待结账商品的商品图像及关联关系存入第一图像库。
未能确定目标商品图像的情况下,可以通过手动扫描识别码的方式,或通过手动输入结账所需的结账方式以及商品属性信息的方式,协助支付终端完成结账,通过这种方式,可以提升结账方式的灵活性。
在一种可能的实现方式中,在未能从第一图像库中确定与至少一张图像匹配的目标商品图像的情况下,所述方法还包括:
通过监控摄像查找是否存在待结账商品的同类型商品的结账录像;
在存在结账录像的情况下,获取结账录像所指示的同类型商品的结账过程的相关信息,结账过程的相关信息包括同类型商品的结账方式及商品属性信息;
根据同类型商品的结账方式和商品属性信息,确定待结账商品的商品总价。
举例来说,若某一顾客M进行结账时,未能确定待结账商品的至少一张图像匹配的目标商品图像,并通过手动扫描识别码或通过手动输入结账所需的结账方式以及商品属性信息的方式完成了结账,则该顾客M的待结账商品的结账过程的相关信息,可以被监控摄像(例如摄像组件或者摄像设备)记录为结账录像。在此之后,若另一顾客N进行结账时,也未能确定待结账商品的至少一张图像匹配的目标商品图像,且该顾客N的待结账商品为顾客M的待结账商品的同类型商品,则可以通过监控摄像查找是否存在顾客N的待结账商品的同类型商品的结账录像,并在存在结账录像的情况下,通过该结账录像指示的结账过程的相关信息,获取顾客N的待结账商品的同类型商品的结账方式及商品属性信息。在获取到同类型商品的结账方式及商品属性信息之后,可以根据该同类型商品的结账方式和商品属性信息,确定待结账商品的商品总价。
通过这种方式,使得不必手动扫描识别码或通过手动输入结账所需的结账方式以及商品属性信息,也能在未确定目标商品图像的情况下完成商品的结账,可以提升支付终端确定商品总价的效率和准确度。
在一种可能的实现方式中,商品属性信息还包括生产日期、保质期、质量合格信息、以及生产厂家中的至少一种,根据预设的关联关系,获取目标商品图像对应的结账方式及商品属性信息之后,所述方法还包括:
判断生产日期、质量合格信息、生产厂家中是否存在无效信息;若生产日期、质量合格信息、生产厂家中不存在无效信息,根据结账方式和商品属性信息,确定待结账商品的商品总价;或
根据生产日期、保质期,判断待结账商品是否为过期产品;若待结账商品不是过期产品,根据结账方式和商品属性信息,确定待结账商品的商品总价。
举例来说,商户购入商品时,可例如根据商品的包装、购入渠道等获取商品的生产日期、保质期、质量合格信息、生产厂家等信息。这些信息可以作为商品属性信息。本领域技术人员容易知道,缺少生产日期、质量合格信息、生产厂家中的任意一个的商品都可以认为是三无商品,三无商品的商品质量是难以保证的。因此,在获取目标商品图像对应的结账方式及商品属性信息之后,可以根据商品属性信息判断生产日期、质量合格信息、生产厂家中是否存在无效信息。
若生产日期、质量合格信息、生产厂家中不存在无效信息,可以根据结账方式和商品属性信息中的单件商品价格、单位重量商品价格等等,确定待结账商品的商品总价。若生产日期、质量合格信息、生产厂家中的至少一个存在无效信息,可以输出第二提示信息,第二提示信息指示待结账商品是三无产品。第二提示信息可以是画面形式或者声音形式等等其他形式,使得第二提示信息可以通过支付终端展示给顾客。通过该第二提示信息,顾客可以明确得知自己的待结账商品的质量。
进一步地,根据生产日期、保质期,可以确定商品的有效日期,并根据结账的实际日期可确定商品是否为过期产品。若待结账商品不是过期产品,可以根据结账方式和商品属性信息的单件商品价格、单位重量商品价格等等,确定待结账商品的商品总价。若待结账商品是过期产品,可以输出第三提示信息,第三提示信息指示待结账商品是过期产品。第三提示信息可以是画面形式或者声音形式等等其他形式,使得第三提示信息可以通过支付终端展示给顾客。通过该第三提示信息,顾客可以明确得知自己的待结账商品是否过期。
通过这种方式,可以保证完成结账的商品的质量安全性,提高顾客的结账体验。
第一图像库可以是预先设置好的,可以用于存储正在售卖的商品的图像(预设商品图像)及该图像与结账方式、商品属性信息的关联关系。在某一类型的商品开始售卖之前,可以先在第一图像库存储该商品的预设商品图像及关联关系。下面介绍本公开实施例向第一图像库存储预设商品图像及关联关系的一种示例性方式。
图2示出根据本公开实施例向第一图像库存储预设商品图像及关联关系的示例性方式的示意图。
如图2所示,在一种可能的实现方式中,所述方法还包括步骤S21-步骤S24:
在步骤S21中,获取至少一种商品类型的商品图像,其中每种商品类型对应至少一张商品图像;
在步骤S22中,针对每种商品类型,从商品类型对应的至少一张商品图像中筛选得到图像质量符合第一预设条件的预设商品图像;
在步骤S23中,获取每种预设商品图像的结账方式和商品属性信息,并建立预设商品图像、结账方式以及商品属性信息之间的关联关系;
在步骤S24中,将每种预设商品图像以及关联关系存储在第一图像库中。
举例来说,在步骤S21中,至少一种商品类型可以是确定将出售的商品的类型。可以先通过摄像组件或摄像设备采集该类型的商品的商品图像。例如,在商品类型包括“草莓”、“XX牌牛奶”时,分别获取“草莓”、“XX牌牛奶”的商品图像。对于每类型商品,可以从多个角度分别采集多张商品图像。例如对于商品类型“草莓”,采集的多张商品图像的图像序号可以是000101-000110(共十张)。对于商品类型“XX牌牛奶”,采集的多张商品图像的图像序号可以是000111-000120(共十张)。
在获取至少一种商品类型的商品图像之后,在步骤S22中,可以对获取到的商品图像进行筛选,得到图像质量符合第一预设条件的预设商品图像。第一预设条件可以是图像分辨率大于一定阈值等等,也可以设置为其他条件,只要能够作为图像质量的评判标准即可,本公开对于第一预设条件的具体设置方式不作限制。例如对于商品类型“草莓”的序号为000101-000110的多张商品图像,筛选得到的满足第一预设条件的预设商品图像可以是序号为000101-000105的多张商品图像;对于商品类型“XX牌牛奶”的序号为000111-000120的多张商品图像,筛选得到的满足第一预设条件的预设商品图像可以是序号为000111-000115的多张商品图像。
在筛选得到图像质量符合第一预设条件的预设商品图像之后,在步骤S23中,可以获取每种预设商品图像的结账方式和商品属性信息,并建立预设商品图像、结账方式以及商品属性信息之间的关联关系。例如,商品类型“草莓”的结账方式可以是按重量结账的结账方式,商品类型“草莓”的商品属性信息可以包括:商品类型“草莓”、单位重量商品价格“50.00元/kg”。商品类型“XX牌牛奶”的结账方式可以是按件结账的结账方式,商品类型“XX牌牛奶”的商品属性信息可以包括:商品类型“XX牌牛奶”、单件商品价格“8.00元/件”、单件商品重量“500g/件”。在此情况下,可建立的商品类型“草莓”、“XX牌牛奶”的预设商品图像、结账方式以及商品属性信息的关联关系如下表1所示。
表1
在建立好预设商品图像、结账方式以及商品属性信息之间的关联关系之后,在步骤S24中,可以将每种预设商品图像以及关联关系存储在第一图像库中。在此情况下,从第一图像库中确定与至少一张图像匹配的目标商品图像时,根据第一图像库中储存的每种预设商品图像以及关联关系,就可以获取目标商品图像对应的结账方式及商品属性信息。
通过这种方式,可以实现向第一图像库存储预设商品图像及关联关系。第一图像库中的预设商品图像是经图像质量筛选符合条件的,使得从第一图像库中确定的、与至少一张图像匹配的目标商品图像是准确度较高的,进而提升最终确定的商品总价的准确度。
进一步地,在第一图像库正式投入使用之前,可以对从第一图像库中确定的目标商品图像的准确度进行测试,并根据测试结果确定第一图像库是否需要进行调整。
下面介绍本公开实施例对从第一图像库中确定的目标商品图像的准确度进行测试的示例性方法。
在一种可能的实现方式中,所述方法还包括:
获取测试商品的至少一张测试图像;
确定测试图像与第一图像库中的预设商品图像的第三相似程度;
在第三相似程度小于或等于第三阈值的情况下,对第一图像库进行调整。。
举例来说,可以根据第一图像库中新存入的预设商品图像对应的商品类型,选择该类型的商品作为测试商品。选择好测试商品后,可以将测试商品放在结账区域,使得摄像组件或摄像设备可以获取到至少一张测试图像。通过将测试图像与第一图像库中的预设商品图像进行对比,可以确定测试图像与第一图像库中的预设商品图像的第三相似程度。
可以预先设置第三阈值,并通过比较第三相似程度与第三阈值的大小关系,确定第一图像库是否需要进行调整。第三阈值可以根据第三相似程度的数值以及用户需求预先设置,本公开对于第三阈值的具体选取方式不作限制。
如果确定第三相似程度大于第三阈值,则可以认为第一图像库中有至少一种类型的商品的预设商品图像与测试图像的相似程度比较高,此时第一图像库是否能确定目标商品图像尚未最终确定,可暂时不对第一图像库进行调整。反之,如果确定第三相似程度小于或等于第三阈值,则可以认为第一图像库中所有的类型的商品的预设商品图像与测试图像的相似程度均比较低,此时第一图像库必然无法确定目标商品图像,需要对第一图像库进行调整。
测试商品可以是确定需出售的商品,测试图像与第一图像库中的预设商品图像的第三相似程度低时,可认为第一图像库没有完成目标商品图像的匹配的可能,因此可调整第一图像库。通过这种方式,可以提高从第一图像库中确定的目标商品图像的准确度。
在一种可能的实现方式中,所述方法还包括:
在第三相似程度大于第三阈值时,获取第三相似程度大于第三阈值的预设商品图像的第三区别特征;
提取测试图像的第四区别特征;
确定第三区别特征与第四区别特征的第四相似程度;
在第四相似程度小于或等于第四阈值的情况下,对第一图像库进行调整;
其中,第三区别特征和第四区别特征用于区分不同商品类型的商品图像。
举例来说,由上文描述可知,在第三相似程度大于第三阈值时,第一图像库是否能确定目标商品图像尚未最终确定,暂时不对第一图像库进行调整。为确定第一图像库是否需要调整,可以进一步获取第三相似程度大于第三阈值的预设商品图像的第三区别特征,以及测试图像的第四区别特征。第三区别特征和第四区别特征可以用于区分不同商品类型的预设商品图像,第三区别特征和第四区别特征可以参见上文第一区别特征和第二区别特征的示例。第三区别特征和第四区别特征的获取方式,可以参照上文获取第一区别特征和第二区别特征的方式的示例,在此不再赘述。
根据获取的第三区别特征与第四区别特征,可确定第三区别特征与第四区别特征的第四相似程度。第四相似程度的数值越高,可认为该预设商品图像与测试商品的商品图像的区别特征越近似。可以预先设置第四阈值,并通过比较第四相似程度与第四阈值的大小关系,确定第一图像库是否需要进行调整。第四阈值可以根据第四相似程度的数值以及用户需求预先设置,本公开对于第四阈值的具体选取方式不作限制。
如果确定第四相似程度大于第四阈值,则可以认为第一图像库中有至少一种类型的商品的预设商品图像的区别特征与测试图像的区别特征的相似程度比较高,此时可认为可以从第一图像库中确定目标商品图像,可不对第一图像库进行调整。反之,如果确定第四相似程度小于或等于第四阈值,则可以认为第一图像库中全部类型的商品的预设商品图像的区别特征与测试图像的区别特征的相似程度均比较低,此时第一图像库必然无法确定目标商品图像,需要对第一图像库进行调整。
测试商品可以是确定需出售的商品,第三相似程度大于第三阈值的预设商品图像的第三区别特征,与测试图像的第四区别特征的第四相似程度低时,可认为第一图像库没有完成目标商品图像的匹配的可能,因此可调整第一图像库。通过这种方式,可以提高从第一图像库中确定的目标商品图像的准确度。
下面介绍本公开实施例对第一图像库进行调整的示例性方法。
在一种可能的实现方式中,对第一图像库进行调整,包括:
接收第二反馈信息,第二反馈信息用于指示测试商品的实际类型;
根据第二反馈信息,获取测试图像的结账方式和商品属性信息;
建立测试图像、结账方式以及商品属性信息之间的关联关系;
将测试图像以及关联关系存储在第一图像库中。
举例来说,在对从第一图像库中确定的目标商品图像的准确度进行测试时,执行本公开实施例的商品的结账方法的终端设备或服务器可以向工作人员提供服务,以在需要对第一图像库进行调整时,在工作人员的协助下对第一图像库进行调整。
例如,在第三相似程度小于或等于第三阈值、或者第四相似程度小于或等于第四阈值时,可以在显示组件或者显示设备上显示对应的控件,并进行提示,例如画面闪烁、播放语音提示等等,以寻求工作人员的协助。如果需要对第一图像库进行调整是在第三相似程度小于或等于第三阈值时确定的,则显示组件或显示设备可例如显示第三相似程度较高的预设商品图像对应的商品类型的选择控件、一个表示当前显示的商品类型均不是该测试商品的实际类型的选择控件以及一个信息输入框。例如,测试商品的至少一张测试图像的图像序号可以是000131-000140(共十张),第一图像库中与测试图像的第三相似程度最高的预设商品图像对应的商品类型分别是商品类型“XX牌牛奶”以及商品类型“YY牌饼干”。图3示出本公开实施例的显示组件或者显示设备上显示的提示信息的示例。
如果显示的某一商品类型恰好是测试商品的实际类型,工作人员可以根据测试商品的实际类型,触发与测试商品的实际类型相同的商品类型对应的选择控件,显示组件或者显示设备根据该触发操作可以生成对应的第二反馈信息。第二反馈信息可以指示测试商品的实际类型。如图3所示,如工作人员确认测试商品的实际类型是“XX牌牛奶”,并触发商品类型“XX牌牛奶”对应的选择控件,显示页面可显示反馈成功的提示信息。图4示出本公开实施例的反馈成功的提示信息的一个示例。
根据第二反馈信息中所指示的测试商品的实际类型,可以对第一图像库进行调整,例如根据第二反馈信息中所指示的测试商品的实际类型可以获取测试商品的结账方式以及商品属性信息,并建立测试商品的至少一张测试图像与结账方式以及商品属性信息的关联关系。之后可以将测试图像以及关联关系存储在第一图像库中。新的关联关系可以与第一图像库中已有的关联关系进行合并。
例如,第二反馈信息所指示的商品类型可以是“XX牌牛奶”,根据该反馈信息,合并后的关联关系调整为表2所示(表2未示出商品类型“YY牌饼干”的结账方式和商品属性信息与商品图像的关联关系)。
表2
如果显示的全部商品类型均不是测试商品的实际类型,工作人员可以触发表示当前显示的商品类型均不是该测试商品的实际类型的选择控件,并通过信息输入框手动输入测试商品的商品类型,显示组件或者显示设备根据该输入操作可以生成对应的第二反馈信息。例如,如工作人员确认测试商品的实际类型是“CC牌牛奶”,可触发“以上都不是”的选择控件、并在信息输入框中手动输入“CC牌牛奶”。显示组件或者显示设备可以生成指示测试商品的实际类型是“CC牌牛奶”的第二反馈信息。显示页面可显示反馈成功的提示信息。
根据第二反馈信息中所指示的测试商品的实际类型对第一图像库进行调整的示例可以参见上文相关描述,在此不再赘述。
通过这种方式,使得第一图像库不满足要求时,能够获取第二反馈信息并根据第二反馈信息建立测试商品的图像与结账方式和商品属性信息的关联关系,并通过将测试商品的图像及关联关系加存储在第一图像库的方式,调整第一图像库。由于第二反馈信息指示测试商品的实际类型,因此该关联关系是准确的,可以使得从调整后的第一图像库中确定目标商品图像的准确度高于调整前。
以上以需要对第一图像库进行调整是在第三相似程度小于或等于第三阈值时确定作为示例。本领域技术人员应理解,如果是在第四相似程度小于或等于第四阈值时确定需要对第一图像库进行调整,其实现方式可以参照以上在第三相似程度小于或等于第三阈值时对第一图像库进行调整的方式的示例,将显示组件或显示设备显示的第三相似程度较高的预设商品图像对应的商品类型的选择控件替换为第四相似程度较高的第三区别特征对应的商品类型的选择控件即可。除此之外对第一图像库进行调整的方法可以相同,在此不再赘述。
在完成第一图像库的调整之后,可以继续执行获取测试商品的至少一张测试图像及之后的步骤,直到第一图像库满足要求。在此情况下,可以认为从第一图像库中确定目标商品图像的准确度是较高的。此时执行本公开实施例的商品的结账方法的终端设备或服务器可以向顾客提供服务,即执行步骤S11-步骤S14。在向顾客提供服务时,根据上文描述可知,需要通过显示组件或显示设备向顾客提供商品总价。
根据结账方式的不同,待结账商品的商品总价的获取方式也不相同。下面分别对按件结账和按重量结账时,本公开实施例的待结账商品的商品总价的示例性获取方式进行描述。
下面介绍按件结账时,本公开实施例的待结账商品的商品总价的示例性获取方式。
在一种可能的实现方式中,结账方式包括按件结账,商品属性信息包括商品类型和单件商品价格;
根据结账方式和商品属性信息,确定待结账商品的商品总价,包括:
根据至少一张图像确定待结账商品所包括的每种类型商品的数量;
根据待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定商品总价。
举例来说,待结账商品的至少一张图像匹配的目标商品图像可能不止一个商品类型的图像,并且至少一张图像中所包括的每种商品类型的商品也可能不止一件。例如,步骤S12中确定的目标商品图像可包括商品类型“XX牌牛奶”的商品图像、商品类型“YY牌饼干”的商品图像。根据第一图像库中每种商品类型的结账方式和商品属性信息与商品图像的关联关系,步骤S13中,可以确定待结账的商品类型包括“XX牌牛奶”,其结账方式是按件结账、单件商品价格为“8.00元/件”。可以确定待结账的商品类型还包括“YY牌饼干”,其结账方式是按件结账、单件商品价格为“10.00元/件”。
由于待结账商品所包括的每种类型商品均为按件结账,因此,可以通过确定每种类型商品的数量、再计算每种类型商品的数量与对应的单件商品价格的乘积之和的方式来确定待结账商品的商品总价。其中,每种类型商品的数量可以通过对至少一张图像中的商品进行识别来确定。例如,步骤S14中根据至少一张图像可以确定“XX牌牛奶”有2件,“YY牌饼干”有1件。则可以得到待结账商品的商品总价是8.00*2+10.00*1=18(元)。
通过这种方式,可以仅通过待结账商品的至少一张图像实现获取按件结账的待结账商品的商品总价。由于允许同时对多类型的按件结账的商品同时结账,因此可以进行一步提升结账的效率。
考虑到待结账商品的至少一张图像中,可能会出现体积较大的商品遮挡体积较小的商品的情况,或者一些特定角度下,体积相同的商品也可能出现遮挡情况。在出现遮挡时,根据至少一张图像确定的待结账商品所包括的每种类型商品的数量可能会出现误差。本公开实施例的商品的结账方法还可以对由至少一张图像得到的每种类型商品的数量或者待结账商品的商品总重量进行校验,以确定至少一张图像是否出现遮挡的情况,并在确定出现遮挡的情况时做出响应。
下面介绍对由至少一张图像得到的每种类型商品的数量进行校验的示例性方法。
在一种可能的实现方式中,商品属性信息还包括单件商品重量,所述方法还包括:
在待结账商品包括一种商品类型时,检测待结账商品的商品总重量;
根据待结账商品的商品总重量以及单件商品重量,确定待结账商品的第一商品数量;
根据至少一张图像确定待结账商品的第二商品数量;
在第一商品数量与第二商品数量一致的情况下,根据第一商品数量与该类型商品的单件商品价格的乘积,或根据第二商品数量与该类型商品的单件商品价格的乘积,确定商品总价。
举例来说,步骤S12中确定的目标商品图像可包括商品类型“XX牌牛奶”的商品图像,步骤S13中,获取的结账方式可以是按件结账,获取的商品属性信息中,待结账的商品类型可包括“XX牌牛奶”,“XX牌牛奶”的单件商品价格可以为“8.00元/件”,“XX牌牛奶”的单件商品重量可以为“500g/件”。
根据上述结账方式和商品属性信息,可确定待结账商品仅包括一种商品类型、且该商品类型的结账方式是按件结账,在此情况下,可以通过重力检测组件或重力检测设备检测结账区域所受的重力,并根据检测结果得到待结账商品的商品总重量。根据检测得到的商品总重量和待结账商品仅包括的一种商品类型的单件商品重量,可以确定该一种商品类型的商品数量,即待结账商品的第一商品数量。例如商品总重量为1000g时,可以确定第一商品数量为1000g/500g=2(件)。
根据待结账商品的至少一张图像,可以识别确定图像中的商品的数量,即待结账商品的第二商品数量。例如可确定第二商品数量为2。由于第一商品数量与第二商品数量一致,因此可以根据第一商品数量与该类型商品的单件商品价格的乘积,或根据第二商品数量与该类型商品的单件商品价格的乘积,确定商品总价。例如确定商品总价为8.00*2=16.00(元)。
通过这种方式,可以实现对待结账商品的商品数量进行校验,保证待结账商品的数量的准确度。在待结账商品的数量准确时确定商品总价,使得能够提高商品总价的准确度。
在一种可能的实现方式中,所述方法还包括:在第一商品数量与第二商品数量不一致的情况下,输出第四提示信息,第四提示信息用于指示重新获取待结账商品的至少一张图像。
举例来说,如果第二商品数量和第一商品数量不一致,可以认为至少一张图像出现了商品的遮挡的情况。可以通过显示组件或者显示设备进行提示,例如输出第四提示信息,第四提示信息用于指示重新获取待结账商品的至少一张图像,使得顾客可以根据该第四提示信息对结账区域的待结账商品的摆放位置进行调整。此时可不执行步骤S14。在顾客调整待结账商品的摆放位置之后,再次执行步骤S11及之后的步骤。第四提示信息可以是画面形式的,也可以是声音形式等等其他形式的,本公开对此不作限制。
通过输出第四提示信息可以将误差信息展示给顾客,以便顾客进行处理,达到通过交互保证商品总价的计算准确度的目的。
下面介绍对待结账商品的商品总重量进行校验的示例性方法。
在一种可能的实现方式中,商品属性信息还包括单件商品重量,所述方法还包括:
根据至少一张图像确定待结账商品所包括的每种类型商品的数量;
根据待结账商品所包括的每种类型商品的数量以及单件商品重量,确定待结账商品的第一商品总重量;
检测待结账商品的第二商品总重量;
在第一商品总重量和第二商品总重量之差的绝对值小于第二阈值的情况下,根据待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定商品总价。
举例来说,可以通过对至少一张图像中的商品进行识别来确定每种类型商品的数量。则可以通过待结账商品所包括的每种类型商品的数量以及单件商品重量的乘积之和得到待结账商品的商品总重量,即第一商品总重量。可通过重力检测组件或重力检测设备检测结账区域所受的重力,并根据检测结果得到待结账商品的商品总重量,即第二商品总重量。如果至少一张图像不存在遮挡情况,那么第一商品总重量和第二商品总重量的数值应该近似,可以预设一个第二阈值,使得第一商品总重量和第二商品总重量之差的绝对值小于或等于第二阈值时认为第一商品总重量和第二商品总重量的偏差在允许的范围内。因此,若第一商品总重量和第二商品总重量之差的绝对值大于第二阈值,即可确定至少一张图像出现了商品的遮挡的情况。第二阈值可以根据重力检测组件或重力检测设备的精确度预先设置,本公开对于第二阈值的具体选取方式不作限制。
例如,步骤S13中,获取的结账方式可以是按件结账,获取的商品属性信息中,待结账的商品类型可包括“XX牌牛奶”和“YY牌饼干”,“XX牌牛奶”的单件商品价格可以为“8.00元/件”,“XX牌牛奶”的单件商品重量可以为“500g/件”,“YY牌饼干”的单件商品价格可以为“10.00元/件”,“YY牌饼干”的单件商品重量可以为“250g/件”。
根据至少一张图像可例如确定“XX牌牛奶”有1件,“YY牌饼干”有2件,则第一商品总重量可以为500g*1+250g*2=1000g。第二商品总重量可例如为999g,假设第二阈值设置为5g,则第一商品总重量和第二商品总重量之差的绝对值可等于1g。由于第一商品总重量和第二商品总重量之差的绝对值小于第二阈值,因此,可以根据待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定商品总价。例如确定商品总价为8.00*1+10.00*2=28.00(元)。
通过这种方式,可以实现对待结账商品的商品总重量进行校验,保证待结账商品的数量的准确度。对待结账商品的商品总重量进行校验时,待结账商品可包括多种商品类型,使得校验方式的可适用于更多的应用场景。
在一种可能的实现方式中,所述方法还包括:
在第一商品总重量和第二商品总重量之差的绝对值大于或等于第二阈值的情况下,输出第五提示信息,第五提示信息用于指示重新获取待结账商品的至少一张图像。
举例来说,如果第一商品总重量和第二商品总重量之差的绝对值大于或等于第二阈值,可确定认为至少一张图像出现了商品的遮挡的情况。可以通过显示组件或者显示设备进行提示,例如输出第五提示信息,第五提示信息用于指示重新获取待结账商品的至少一张图像,使得顾客可以根据第五提示信息对结账区域的待结账商品的摆放位置进行调整。此时可不执行步骤S14。在顾客调整待结账商品的摆放位置之后,再次执行步骤S11及之后的步骤。第五提示信息可以是画面形式的,也可以是声音形式等等其他形式的,本公开对此不作限制。
通过输出第五提示信息可以将将待结账商品的商品数量出现误差的信息传递给顾客,以便顾客进行处理,达到通过交互保证商品总价的准确度的目的。
下面介绍按重量结账时,本公开实施例的待结账商品的商品总价的示例性获取方式。
在一种可能的实现方式中,结账方式包括按重量结账,商品属性信息包括商品类型和单位重量商品价格;
根据结账方式和商品属性信息,确定待结账商品的商品总价,包括:
在待结账商品包括一种商品类型时,检测待结账商品的商品总重量;
根据待结账商品的商品总重量以及单位重量商品价格的乘积,确定商品总价。
举例来说,待结账商品的至少一张图像匹配的目标商品图像可能包括一个商品类型的图像。例如,步骤S12中确定的目标商品图像可包括商品类型“草莓”的商品图像。则步骤S13中,获取的结账方式可以是按重量结账,获取的商品属性信息中,待结账的商品类型可包括“草莓”,“草莓”的单位重量商品价格可以为“50.00元/kg”。
可通过重力检测组件或重力检测设备检测结账区域所受的重力,并根据检测结果得到待结账商品的商品总重量。由于待结账商品包括一种商品类型,因此,通过待结账商品的商品总重量和单位重量商品价格的乘积,可以得到商品总价。例如待结账商品的商品总重量为1kg时,商品总价可以为50.00元/kg*1kg=50(元)。
通过这种方式,可以实现按重量结账的商品的结账。执行本公开实施例的商品的结账方法的终端设备或服务器既能实现按件结账的商品的结账,又能实现按重量结账的商品的结账,可以提升终端设备或服务器的结账能力。
在一种可能的实现方式中,所述方法还包括:
在目标商品图像的商品属性信息对应的结账方式包括按重量结账,且商品属性信息包括两种以上的单位重量商品价格时,输出第六提示信息,第六提示信息用于指示待结账商品的商品类型不满足结账条件。举例来说,待结账商品的至少一张图像匹配的目标商品图像可能不止一个商品类型的图像。例如,步骤S12中确定的目标商品图像可包括商品类型“草莓”的商品图像、商品类型“葡萄”的商品图像。则步骤S13中,获取的结账方式可以是按重量结账,获取的商品属性信息中,待结账的商品类型可包括“草莓”、“葡萄”,“草莓”的单位重量商品价格可以为“50.00元/kg”,“葡萄”的单位重量商品价格可以为“25.00元/kg”。由于待结账商品的商品属性信息包括两种以上的单位重量商品价格,因此可以通过显示组件或者显示设备进行提示,例如输出第六提示信息,第六提示信息用于指示待结账商品的商品类型不满足结账条件,使得顾客可以根据该第六提示信息对结账区域的待结账商品进行调整,以使调整后待结账商品的商品属性信息可以包括一种单位重量商品价格。此时可不执行步骤S14。在顾客调整待结账商品之后,再次执行步骤S11及之后的步骤。第六提示信息可以是画面形式的,也可以是声音形式等等其他形式的,本公开对此不作限制。
由于两种不同单位重量商品价格的商品难以同时按重量结账,通过提示可以将待结账商品的单位重量商品价格不满足要求的信息传递给顾客,以便顾客进行处理,达到通过交互保证商品总价能够基于检测获得的商品总重量来确定的目的。
在一种可能的实现方式中,所述方法还包括:
在目标商品图像的商品属性信息对应的结账方式包括按件结账以及按重量结账时,输出第七提示信息,第七提示信息用于指示待结账商品的商品类型不满足结账条件。
举例来说,由于按件结账以及按重量结账的商品难以同时结账,如果按件结账以及按重量结账的商品一同放置在图像采集区,可提示用户对待结账商品进行调整。例如,可以输出第七提示信息,第七提示信息用于指示待结账商品的商品类型不满足结账条件。使得顾客可以根据第七提示信息对结账区域的待结账商品进行调整,以使调整后待结账商品可以仅包括一种结账方式。此时可不执行步骤S14。在顾客调整待结账商品之后,再次执行步骤S11及之后的步骤。第七提示信息可以是画面形式的,也可以是声音形式等等其他形式的,本公开对此不作限制。
通过提示可以将待结账商品的结账方式不满足要求的信息传递给顾客,以便顾客进行处理,达到通过交互保证商品总价能够基于检测获得的商品总重量来确定的目的。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外,本公开还提供了一种商品的结账装置、电子设备、计算机可读存储介质、程序,上述均可用来实现本公开提供的任一种商品的结账方法,相应技术方案和描述和参见方法部分的相应记载,不再赘述。
图5示出根据本公开实施例的商品的结账装置的框图,如图5所示,所述装置包括:
第一获取模块51,用于获取待结账商品的至少一张图像;
第一确定模块52,用于从第一图像库中确定与所述至少一张图像匹配的目标商品图像;
第二获取模块53,用于根据预设的关联关系,获取所述目标商品图像对应的结账方式及商品属性信息;
第二确定模块54,用于根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价。
在一个或多个可选实施例中,所述装置还包括:第三获取模块,用于获取至少一种商品类型的商品图像,其中每种所述商品类型对应至少一张商品图像;第一筛选模块,用于针对每种所述商品类型,从所述商品类型对应的至少一张商品图像中筛选得到图像质量符合第一预设条件的预设商品图像;第四获取模块,用于获取每种所述预设商品图像的结账方式和商品属性信息,并建立所述预设商品图像、所述结账方式以及所述商品属性信息之间的关联关系;第一存储模块,用于将每种所述预设商品图像以及所述关联关系存储在所述第一图像库中。
在一个或多个可选实施例中,所述第一确定模块52,具体用于,针对所述至少一张图像,确定每张所述图像与所述第一图像库中的预设商品图像的第一相似程度;获取所述第一相似程度大于第一阈值的预设商品图像的第一区别特征;针对所述至少一张图像,提取每张所述图像的第二区别特征;确定所述第一区别特征与所述第二区别特征的第二相似程度;将所述第二相似程度最高的预设商品图像,确定为与所述至少一张图像匹配的所述目标商品图像;其中,所述第一区别特征和所述第二区别特征用于区分不同商品类型的预设商品图像。
在一个或多个可选实施例中,所述装置还包括:第五获取模块,用于在所述待结账商品包括识别码的情况下,通过扫描识别码的方式获取所述待结账商品的结账方式以及商品属性信息;或第一接收模块,用于在所述待结账商品不包括识别码的情况下,接收第一反馈信息,所述第一反馈信息用于指示所述待结账商品的结账方式以及商品属性信息;第三确定模块,用于根据所述第一反馈信息中的结账方式和商品属性信息,确定所述待结账商品的商品总价;第一输出模块,用于输出第一提示信息,所述第一提示信息用于指示将所述待结账商品的商品图像加入所述第一图像库。
在一个或多个可选实施例中,所述装置还包括:第一查找模块,用于通过监控摄像查找是否存在待结账商品的同类型商品的结账录像;第六获取模块,用于在存在所述结账录像的情况下,获取所述结账录像所指示的同类型商品的结账过程的相关信息,所述结账过程的相关信息包括所述同类型商品的结账方式及商品属性信息;第四确定模块,用于根据所述同类型商品的结账方式和商品属性信息,确定所述待结账商品的商品总价。
在一个或多个可选实施例中,所述装置还包括:第一判断模块,用于判断所述第一相似程度大于第一阈值的预设商品图像的数量是否为多个;第五确定模块,用于若所述第一相似程度大于第一阈值的预设商品图像的数量为多个,确定多个所述预设商品图像为相似商品图像;所述第一确定模块52,具体用于,获取每个所述相似商品图像的第一区别特征;将所述第二相似程度最高的相似商品图像,确定为与所述至少一张图像匹配的所述目标商品图像。
在一个或多个可选实施例中,所述商品属性信息还包括生产日期、保质期、质量合格信息、以及生产厂家中的至少一种,所述装置还包括:第二判断模块,用于判断所述生产日期、质量合格信息、生产厂家中是否存在无效信息;若所述生产日期、质量合格信息、生产厂家中不存在无效信息,根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价;或第三判断模块,用于根据所述生产日期、保质期,判断所述待结账商品是否为过期产品;若所述待结账商品不是过期产品,根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价。
在一个或多个可选实施例中,所述结账方式包括按件结账,所述商品属性信息包括商品类型和单件商品价格;所述第二确定模块54,具体用于,根据所述至少一张图像确定所述待结账商品所包括的每种类型商品的数量;根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价。
在一个或多个可选实施例中,所述商品属性信息还包括单件商品重量,所述装置还包括:第一检测模块,用于在所述待结账商品包括一种商品类型时,检测所述待结账商品的商品总重量;第六确定模块,用于根据所述待结账商品的商品总重量以及所述单件商品重量,确定所述待结账商品的第一商品数量;第七确定模块,用于根据所述至少一张图像确定所述待结账商品的第二商品数量;所述第二确定模块54,具体用于,在第一商品数量与第二商品数量一致的情况下,根据所述第一商品数量与该类型商品的单件商品价格的乘积,或根据所述第二商品数量与该类型商品的单件商品价格的乘积,确定所述商品总价。
在一个或多个可选实施例中,所述商品属性信息还包括单件商品重量,所述装置还包括:第八确定模块,用于根据所述至少一张图像确定所述待结账商品所包括的每种类型商品的数量;第九确定模块,用于根据所述待结账商品所包括的每种类型商品的数量以及单件商品重量,确定所述待结账商品的第一商品总重量;第二检测模块,用于检测所述待结账商品的第二商品总重量;所述第二确定模块54,具体用于,在所述第一商品总重量和所述第二商品总重量之差的绝对值小于第二阈值的情况下,根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价。
在一个或多个可选实施例中,所述结账方式包括按重量结账,所述商品属性信息包括商品类型和单位重量商品价格;所述第二确定模块54,具体用于,在所述待结账商品包括一种商品类型时,检测所述待结账商品的商品总重量;根据所述待结账商品的商品总重量以及单位重量商品价格的乘积,确定所述商品总价。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行上述方法。
本公开实施例还提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图6示出根据本公开实施例的一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器或终端设备。参照图6,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***,例如微软服务器操作***(Windows ServerTM),苹果公司推出的基于图形用户界面操作***(Mac OSXTM),多用户多进程的计算机操作***(UnixTM),自由和开放原代码的类Unix操作***(LinuxTM),开放原代码的类Unix操作***(FreeBSDTM)或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (13)
1.一种商品的结账方法,其特征在于,包括:
获取待结账商品的至少一张图像;
从第一图像库中确定与所述至少一张图像匹配的目标商品图像;
根据预设的关联关系,获取所述目标商品图像对应的结账方式及商品属性信息;
根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价;
在未能从所述第一图像库中确定与所述至少一张图像匹配的目标商品图像的情况下,通过监控摄像查找是否存在待结账商品的同类型商品的结账录像;
在存在所述结账录像的情况下,获取所述结账录像所指示的同类型商品的结账过程的相关信息,所述结账过程的相关信息包括所述同类型商品的结账方式及商品属性信息;
根据所述同类型商品的结账方式和商品属性信息,确定所述待结账商品的商品总价。
2.根据权利要求1所述的方法,其特征在于,所述获取待结账商品的至少一张图像之前,所述方法还包括:
获取至少一种商品类型的商品图像,其中每种所述商品类型对应至少一张商品图像;
针对每种所述商品类型,从所述商品类型对应的至少一张商品图像中筛选得到图像质量符合第一预设条件的预设商品图像;
获取每种所述预设商品图像的结账方式和商品属性信息,并建立所述预设商品图像、所述结账方式以及所述商品属性信息之间的关联关系;
将每种所述预设商品图像以及所述关联关系存储在所述第一图像库中。
3.根据权利要求2所述的方法,其特征在于,所述从第一图像库中确定与所述至少一张图像匹配的目标商品图像,包括:
针对所述至少一张图像,确定每张所述图像与所述第一图像库中的预设商品图像的第一相似程度;
获取所述第一相似程度大于第一阈值的预设商品图像的第一区别特征;
针对所述至少一张图像,提取每张所述图像的第二区别特征;
确定所述第一区别特征与所述第二区别特征的第二相似程度;
将所述第二相似程度最高的预设商品图像,确定为与所述至少一张图像匹配的所述目标商品图像;
其中,所述第一区别特征和所述第二区别特征用于区分不同商品类型的预设商品图像。
4.根据权利要求1-3中任一项所述的方法,其特征在于,在未能从所述第一图像库中确定与所述至少一张图像匹配的目标商品图像的情况下,所述方法还包括:
在所述待结账商品包括识别码的情况下,通过扫描识别码的方式获取所述待结账商品的结账方式以及商品属性信息;或
在所述待结账商品不包括识别码的情况下,接收第一反馈信息,所述第一反馈信息用于指示所述待结账商品的结账方式以及商品属性信息;
根据所述第一反馈信息中的结账方式和商品属性信息,确定所述待结账商品的商品总价;
输出第一提示信息,所述第一提示信息用于指示将所述待结账商品的商品图像加入所述第一图像库。
5.根据权利要求3所述的方法,其特征在于,所述针对所述至少一张图像,确定每张所述图像与第一图像库中的预设商品图像的第一相似程度之后,所述方法还包括:
判断所述第一相似程度大于第一阈值的预设商品图像的数量是否为多个;
若所述第一相似程度大于第一阈值的预设商品图像的数量为多个,确定多个所述预设商品图像为相似商品图像;
所述获取所述第一相似程度大于第一阈值的预设商品图像的第一区别特征包括:
获取每个所述相似商品图像的第一区别特征;
所述将所述第二相似程度最高的预设商品图像,确定为与所述至少一张图像匹配的所述目标商品图像包括:
将所述第二相似程度最高的相似商品图像,确定为与所述至少一张图像匹配的所述目标商品图像。
6.根据权利要求1所述的方法,其特征在于,所述商品属性信息还包括生产日期、保质期、质量合格信息、以及生产厂家中的至少一种,所述根据预设的关联关系,获取所述目标商品图像对应的结账方式及商品属性信息之后,所述方法还包括:
判断所述生产日期、质量合格信息、生产厂家中是否存在无效信息;若所述生产日期、质量合格信息、生产厂家中不存在无效信息,根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价;或
根据所述生产日期、保质期,判断所述待结账商品是否为过期产品;若所述待结账商品不是过期产品,根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价。
7.根据权利要求1所述的方法,其特征在于,所述结账方式包括按件结账,所述商品属性信息包括商品类型和单件商品价格;
所述根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价,包括:
根据所述至少一张图像确定所述待结账商品所包括的每种类型商品的数量;
根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价。
8.根据权利要求7所述的方法,其特征在于,所述商品属性信息还包括单件商品重量,所述方法还包括:
在所述待结账商品包括一种商品类型时,检测所述待结账商品的商品总重量;
根据所述待结账商品的商品总重量以及所述单件商品重量,确定所述待结账商品的第一商品数量;
根据所述至少一张图像确定所述待结账商品的第二商品数量;
所述根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价包括:
在第一商品数量与第二商品数量一致的情况下,根据所述第一商品数量与该类型商品的单件商品价格的乘积,或根据所述第二商品数量与该类型商品的单件商品价格的乘积,确定所述商品总价。
9.根据权利要求7所述的方法,其特征在于,所述商品属性信息还包括单件商品重量,所述方法还包括:
根据所述至少一张图像确定所述待结账商品所包括的每种类型商品的数量;
根据所述待结账商品所包括的每种类型商品的数量以及单件商品重量,确定所述待结账商品的第一商品总重量;
检测所述待结账商品的第二商品总重量;
所述根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价包括:
在所述第一商品总重量和所述第二商品总重量之差的绝对值小于第二阈值的情况下,根据所述待结账商品中每种类型商品的数量以及该类型商品的单件商品价格的乘积之和,确定所述商品总价。
10.根据权利要求1所述的方法,其特征在于,所述结账方式包括按重量结账,所述商品属性信息包括商品类型和单位重量商品价格;
所述根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价,包括:
在所述待结账商品包括一种商品类型时,检测所述待结账商品的商品总重量;
根据所述待结账商品的商品总重量以及单位重量商品价格的乘积,确定所述商品总价。
11.一种商品的结账装置,其特征在于,包括:
第一获取模块,用于获取待结账商品的至少一张图像;
第一确定模块,用于从第一图像库中确定与所述至少一张图像匹配的目标商品图像;
第二获取模块,用于根据预设的关联关系,获取所述目标商品图像对应的结账方式及商品属性信息;
第二确定模块,用于根据所述结账方式和所述商品属性信息,确定所述待结账商品的商品总价;
第一查找模块,用于在未能从所述第一图像库中确定与所述至少一张图像匹配的目标商品图像的情况下,通过监控摄像查找是否存在待结账商品的同类型商品的结账录像;
第六获取模块,用于在存在所述结账录像的情况下,获取所述结账录像所指示的同类型商品的结账过程的相关信息,所述结账过程的相关信息包括所述同类型商品的结账方式及商品属性信息;
第四确定模块,用于根据所述同类型商品的结账方式和商品属性信息,确定所述待结账商品的商品总价。
12.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至10中任意一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210104938.2A CN114445980B (zh) | 2022-01-28 | 2022-01-28 | 商品的结账方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210104938.2A CN114445980B (zh) | 2022-01-28 | 2022-01-28 | 商品的结账方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114445980A CN114445980A (zh) | 2022-05-06 |
CN114445980B true CN114445980B (zh) | 2023-11-28 |
Family
ID=81369625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210104938.2A Active CN114445980B (zh) | 2022-01-28 | 2022-01-28 | 商品的结账方法及装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114445980B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102063680A (zh) * | 2011-01-14 | 2011-05-18 | 深圳市农产品股份有限公司 | 一种农产品称重计价***及其方法 |
JP2013186875A (ja) * | 2012-03-12 | 2013-09-19 | Dainippon Printing Co Ltd | 会計管理システム及びレジシステム |
CN108537994A (zh) * | 2018-03-12 | 2018-09-14 | 深兰科技(上海)有限公司 | 基于视觉识别及重量感应技术的智能商品结算***及方法 |
CN108596277A (zh) * | 2018-05-10 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 一种车辆身份识别方法、装置和存储介质 |
CN109214806A (zh) * | 2018-11-20 | 2019-01-15 | 北京京东尚科信息技术有限公司 | 自助结算方法、装置以及存储介质 |
CN109697801A (zh) * | 2017-10-23 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 自助结算设备、方法、装置、介质及电子设备 |
CN109741119A (zh) * | 2018-03-23 | 2019-05-10 | 广州逗号智能零售有限公司 | 结账方法、装置、***及计算机可读存储介质 |
CN109754521A (zh) * | 2018-09-07 | 2019-05-14 | 盈奇科技(深圳)有限公司 | 一种重力感应自动售货柜后台管理*** |
CN110246280A (zh) * | 2019-05-30 | 2019-09-17 | 北京百度网讯科技有限公司 | 人货绑定方法及装置、计算机设备及可读介质 |
CN110472985A (zh) * | 2019-08-07 | 2019-11-19 | 广州织点智能科技有限公司 | 无人便利店退货方法、装置及计算机设备 |
CN110782314A (zh) * | 2019-09-30 | 2020-02-11 | 杭州电子科技大学 | 一种基于边缘计算技术的新型散货零售平台 |
CN110991579A (zh) * | 2019-08-30 | 2020-04-10 | 苏州风正帆智能科技有限公司 | 一种物联网应用平台及计费服务*** |
WO2020241120A1 (ja) * | 2019-05-30 | 2020-12-03 | パナソニックIpマネジメント株式会社 | 精算装置および精算方法 |
CN112150228A (zh) * | 2019-06-28 | 2020-12-29 | 浙江汉朔电子科技有限公司 | 一种实体商店信息交互***和信息推送方法 |
CN113781730A (zh) * | 2021-09-15 | 2021-12-10 | 深圳市智享科技发展有限公司 | 一种具有智能监控功能的智能超市 |
CN113781020A (zh) * | 2021-08-23 | 2021-12-10 | 广东通莞科技股份有限公司 | 商品结算方法、装置、本地计算机设备和存储介质 |
-
2022
- 2022-01-28 CN CN202210104938.2A patent/CN114445980B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102063680A (zh) * | 2011-01-14 | 2011-05-18 | 深圳市农产品股份有限公司 | 一种农产品称重计价***及其方法 |
JP2013186875A (ja) * | 2012-03-12 | 2013-09-19 | Dainippon Printing Co Ltd | 会計管理システム及びレジシステム |
CN109697801A (zh) * | 2017-10-23 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 自助结算设备、方法、装置、介质及电子设备 |
CN108537994A (zh) * | 2018-03-12 | 2018-09-14 | 深兰科技(上海)有限公司 | 基于视觉识别及重量感应技术的智能商品结算***及方法 |
CN109741119A (zh) * | 2018-03-23 | 2019-05-10 | 广州逗号智能零售有限公司 | 结账方法、装置、***及计算机可读存储介质 |
CN108596277A (zh) * | 2018-05-10 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 一种车辆身份识别方法、装置和存储介质 |
CN109754521A (zh) * | 2018-09-07 | 2019-05-14 | 盈奇科技(深圳)有限公司 | 一种重力感应自动售货柜后台管理*** |
CN109214806A (zh) * | 2018-11-20 | 2019-01-15 | 北京京东尚科信息技术有限公司 | 自助结算方法、装置以及存储介质 |
CN110246280A (zh) * | 2019-05-30 | 2019-09-17 | 北京百度网讯科技有限公司 | 人货绑定方法及装置、计算机设备及可读介质 |
WO2020241120A1 (ja) * | 2019-05-30 | 2020-12-03 | パナソニックIpマネジメント株式会社 | 精算装置および精算方法 |
CN112150228A (zh) * | 2019-06-28 | 2020-12-29 | 浙江汉朔电子科技有限公司 | 一种实体商店信息交互***和信息推送方法 |
CN110472985A (zh) * | 2019-08-07 | 2019-11-19 | 广州织点智能科技有限公司 | 无人便利店退货方法、装置及计算机设备 |
CN110991579A (zh) * | 2019-08-30 | 2020-04-10 | 苏州风正帆智能科技有限公司 | 一种物联网应用平台及计费服务*** |
CN110782314A (zh) * | 2019-09-30 | 2020-02-11 | 杭州电子科技大学 | 一种基于边缘计算技术的新型散货零售平台 |
CN113781020A (zh) * | 2021-08-23 | 2021-12-10 | 广东通莞科技股份有限公司 | 商品结算方法、装置、本地计算机设备和存储介质 |
CN113781730A (zh) * | 2021-09-15 | 2021-12-10 | 深圳市智享科技发展有限公司 | 一种具有智能监控功能的智能超市 |
Also Published As
Publication number | Publication date |
---|---|
CN114445980A (zh) | 2022-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11019180B2 (en) | Goods order processing method and apparatus, server, shopping terminal, and system | |
US11107145B2 (en) | Order determination method, non-transitory computer-readable medium and system in an unmanned store | |
US20170068945A1 (en) | Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program | |
US10366379B2 (en) | Remote weigh station with delayed fraud intervention | |
US20160086149A1 (en) | Merchandise item registration apparatus | |
CN108520605A (zh) | 一种自助购物风控方法及*** | |
US20150269549A1 (en) | Synchronizing scan activity with loss prevention cameras | |
US20160350708A1 (en) | System and method for inventory management | |
US10573022B2 (en) | Object recognition system and method of registering a new object | |
CN108960132B (zh) | 一种开放式自动售货机中商品的购买方法及其装置 | |
US11379903B2 (en) | Data processing method, device and storage medium | |
WO2019080674A1 (zh) | 自助结算设备、方法、装置、介质及电子设备 | |
US20160092821A1 (en) | Non-transitory computer readable medium storing information presenting program and information processing apparatus and method | |
CN111523348A (zh) | 信息生成方法和装置、用于人机交互的设备 | |
US9851784B2 (en) | Movement line conversion and analysis system, method and program | |
CN114445980B (zh) | 商品的结账方法及装置、电子设备和存储介质 | |
CN111507792A (zh) | 一种自助购物方法、计算机可读存储介质及*** | |
CN117437264A (zh) | 行为信息的识别方法、设备和存储介质 | |
CN114565984B (zh) | 考勤信息生成方法及装置、电子设备和存储介质 | |
KR20230166854A (ko) | 쇼케이스 층별 상품 인식 방법 및 장치 | |
US11380090B2 (en) | Fast multi-modal object recognition system | |
CN115170999A (zh) | 基于商品重量组合进行图像分析的智能生成订单方法 | |
KR102650648B1 (ko) | 판매 데이터 표시 장치 및 방법 | |
CN112950329A (zh) | 商品动态信息生成方法、装置、设备及计算机可读介质 | |
US12050663B2 (en) | Auto-enrollment for a computer vision recognition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |