CN108320404B - 基于神经网络的商品识别方法、装置、自助收银台 - Google Patents

基于神经网络的商品识别方法、装置、自助收银台 Download PDF

Info

Publication number
CN108320404B
CN108320404B CN201810135196.3A CN201810135196A CN108320404B CN 108320404 B CN108320404 B CN 108320404B CN 201810135196 A CN201810135196 A CN 201810135196A CN 108320404 B CN108320404 B CN 108320404B
Authority
CN
China
Prior art keywords
commodity
neural network
information
identification
commodity information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810135196.3A
Other languages
English (en)
Other versions
CN108320404A (zh
Inventor
陈子林
王良旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binguo Kewei Beijing Technology Co ltd
Original Assignee
Binguo Kewei Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binguo Kewei Beijing Technology Co ltd filed Critical Binguo Kewei Beijing Technology Co ltd
Priority to PCT/CN2018/077651 priority Critical patent/WO2019062017A1/zh
Publication of CN108320404A publication Critical patent/CN108320404A/zh
Application granted granted Critical
Publication of CN108320404B publication Critical patent/CN108320404B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • A47F2009/041—Accessories for check-out counters, e.g. dividers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于神经网络的商品识别方法、装置、自助收银台，该方法包括：获得含有待检测商品的图像；将含有待检测商品的图像输入基于神经网络的识别***，基于神经网络的识别***输出待检测商品信息。该方法通过普通摄像头获取商品图像，利用基于神经网络的图像识别算法获取商品信息，无需要借助第三方标识，用户只需将选购商品放至摄像头下获取图像后即可实现识别，使用成本低廉，识别准确性高。

Description

基于神经网络的商品识别方法、装置、自助收银台
技术领域
本发明涉及一种基于神经网络的商品识别方法、装置、自助收银台，属于深度学习神经网络和图像识别领域。
背景技术
现有自助结算场景下商品机器识别主要分为两种：
第一种是基于RFID电子标签((Radio Frequency Identification，又称无线射频识别)识别结算方式。首先在数据库中为每个具有唯一ID的电子标签指定商品对应关系，然后将该电子标签张贴到所有在售的该类商品上。结算时通过读卡器读出电子标签唯一ID，据此ID在数据库中查询该商品的信息，从而完成“识别”商品，并进行结算。此结算方式主要识别对象为RFID电子标签而非商品。需要使用大量的标签，增加使用和纠错成本。识别商品时，读卡器还容易受电磁干扰。
第二种是用户自助将商品上的条码放在扫码器下，通过机器扫码实现商品“识别”。此方法需要用户亲自扫描，容易出现各类扫描误操作，而增加使用成本。比如一件商品多次扫码导致重复计数，商品条码变形后，难以正确扫描等。同时该方法还存在防盗效果差的问题。
发明内容
为解决上述技术问题，本发明提供了一种基于深度学习的基于神经网络的商品识别方法，该方法通过普通摄像头获取商品图像，利用基于神经网络的图像识别算法获取商品信息，无需要借助第三方标识，用户只需将选购商品放至摄像头下获取图像后即可实现识别，使用成本低廉，识别准确性高。
基于神经网络的商品识别方法，包括：
获得含有待检测商品的图像；
将含有待检测商品的图像输入基于神经网络的识别***，基于神经网络的识别***输出待检测商品信息；获得含有待检测商品的图像至少为二维图像；获得含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
神经网络识别***包括基于区域卷积神经网络的第一神经网络；基于神经网络的商品识别方法包括步骤：
(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b1)判断第N商品信息是否包含在第一商品信息中：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则输出反馈提示。
可选地，获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4；第一图像为待检测商品的正面图像。
可选地，步骤(a1)中还包括称量待检测商品重量的步骤，得到实际称量的商品总重量；步骤(b1)为(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。
可选地，神经网络识别***包括基于区域卷积神经网络的第一神经网络；基于神经网络的商品识别方法包括步骤：
包括步骤：
(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b3)判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤；
(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则输出反馈提示。
可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品种类是否均存在于第一商品信息中。
可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品数量是否小于等于第一商品信息中的商品数量。
可选地，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的每种商品的数量是否小于等于第一商品信息中的商品数量。
可选地，步骤(b1)和步骤(b3)为判断第N商品信息是否与第一商品信息一致；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则执行后续步骤。
可选地，步骤(b1)和步骤(b3)中第N商品信息是否与第一商品信息一致，包括商品种类一致和每种商品的数量一致。
可选地，步骤(b2)和步骤(c3)中预设阈值为0.1g至10kg中的至少一个数值。
可选地，步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量。
可选地，步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。
可选地，步骤(b2)和步骤(c3)中反馈提示包括堆叠提示、错误报告中的至少一种。
可选地，含有待检测商品的图像中待检测商品的数量≥1。
可选地，含有待检测商品的图像中待检测商品的数量为1～1000。
可选地，含有待检测商品的图像中待检测商品的种类≥1。
可选地，待检测商品的种类为1～1000。
可选地，基于神经网络的识别***包括基于区域卷积神经网络的第二神经网络，基于神经网络的识别***由包括以下步骤的方法得到：
获得每件待检测商品多角度图像的第一图像集；
使用第一图像集训练第二神经网络，得到第一神经网络。
可选地，训练第二神经网络的方法为监督学习方法。
可选地，训练第二神经网络的方法为：
采用监督学习，使用第一图像集训练第二神经网络，得到第三神经网络；
获得待检测商品图像的第二图像集；
用第二图像集训练第三神经网络，得到第一神经网络。
可选地，第二图像集包括经基于神经网络的识别***输出待检测商品信息的待检测商品的图像。
可选地，第二神经网络对待检测商品的识别准确率为80％以上。
可选地，用第二图像集训练第三神经网络的过程为无监督学习。
可选地，基于神经网络的商品识别方法，包括步骤：
(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b1)判断第N商品信息是否包含在第一商品信息中；
(c1)步骤(b1)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；
(d1)获取步骤(c1)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。
可选地，基于神经网络的商品识别方法，包括步骤：
(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b3)判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤；
(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
(d3)步骤(c3)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；
(e3)获取步骤(d3)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。
可选地，基于神经网络的商品识别方法，包括步骤：
(a2)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；
(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
(c2)收集步骤(b2)中判断结果为否时，识别第一商品信息中的商品；
(d2)获取步骤(c2)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。
可选地，基于神经网络的商品识别方法，包括步骤：
(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b3)判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤；
(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
(d3)收集步骤(c3)中判断结果为否时，识别第一商品信息中的商品；
(e3)获取步骤(d3)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。
根据本发明的又一方面，提供一种基于神经网络的商品识别装置，基于神经网络的商品识别装置包括：
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元，用于将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
识别判断单元，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元，用于输出待检测商品信息和反馈提示；
摄像单元与识别信息单元相连接，识别信息单元与识别判断单元相连接，识别判断单元与显示单元相连接。
可选地，识别信息单元和识别判断单元，用于按前述任一项基于神经网络的商品识别方法进行商品识别和判断。
可选地，基于神经网络的商品识别装置包括载物台，载物台含有重量传感器，用于测量载物台上商品总重量；
重量传感器与识别单元电连接，将载物台上商品的总重量输入识别单元。
根据本发明的又一方面，提供一种自助收银台，自助收银台采用上述任一基于神经网络的商品识别方法进行商品识别。
根据本发明的又一方面，提供一种自助收银台，自助收银台采用上述任一基于神经网络的商品识别装置。
本发明的有益效果包括但不限于：
(1)本发明所提供的基于神经网络的商品识别方法，充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，避免了现有图像识别领域过度依赖图像识别，导致的识别误差率，提高了识别准确性。无需使用现有条码或RFID电子标签进行识别，降低了使用成本。
(2)本发明所提供的基于神经网络的商品识别方法，通过深度学习的可持续性学习，随着使用频率的增加不断提高该方法的识别准确性。
(3)本发明所提供的基于神经网络的商品识别方法，通过普通摄像头抓取商品画面，可实现批量商品的快速检测，大幅降低了商品识别的成本和速度。
(4)本发明所提供的基于神经网络的商品识别方法，可实现自助结算场景下，低成本、高效率的完成商品识别和结算。
(5)本发明所提供的基于神经网络的商品识别装置，通过神经网络识别和多图像比对，实现对识别结果的校正，并利用识别结果所得图像集对神经网络***进行训练，不断提高其识别准确性。
(6)本发明所提供的自助收银台，可实现用户自主结算，结算效率高，结算结果准确。
附图说明
图1是本发明第一优选实施例中基于神经网络的商品识别方法流程示意框图；
图2是本发明第二优选实施例中基于神经网络的商品识别方法流程示意框图；
图3是本发明第三优选实施例中基于神经网络的商品识别方法流程示意框图；
图4是本发明第四优选实施例中基于神经网络的商品识别方法流程示意框图；
图5是本发明第五优选实施例中基于神经网络的商品识别方法流程示意框图；
图6是本发明第六优选实施例中基于神经网络的商品识别装置结构示意框图；
图7是本发明第七优选实施例中基于神经网络的商品识别方法流程示意框图；
图8是本发明提供基于神经网络的商品识别方法应用于自助收银台的无人便利店的时序示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
参见图1，本发明提供的基于神经网络的商品识别方法，包括：
获得含有待检测商品的图像；
将含有待检测商品的图像输入基于神经网络的识别***，基于神经网络的识别***输出待检测商品信息；
获得含有待检测商品的图像至少为二维图像；
获得含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
神经网络识别***包括基于区域卷积神经网络的第一神经网络；基于神经网络的商品识别方法包括步骤：
(a1)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
(b1)判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。
本发明提供的基于神经网络的商品识别方法主要用于无人值守环境下，自助获取结算商品信息后进行自助购物。该方法充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，避免了现有图像识别领域过度依赖图像识别，导致的识别误差率，提高了识别准确性。当无法获取准确的商品信息是，可以通过反馈提示提示用户，待结算商品是否无法被准确识别的状态，从而仅需通过调整待识别商品即可纠正识别错误，无需反复扫码或多次尝试。此处的反馈提示包括堆叠提示、错误报告中的至少一种。该方法可以用于处理的商品种类和数量不限，例如可以为含有待检测商品的图像中待检测商品的数量≥1。含有待检测商品的图像中待检测商品的数量为1～1000。含有待检测商品的图像中待检测商品的种类≥1。待检测商品的种类为1～1000。判断的商品信息包括商品种类或每种商品的数量。判断商品种类和/或商品数量是否一致。本发明提供的基于神经网络的商品识别方法，用于无人值守环境下的结算时，仅需使用普通具有网络联网功能的摄像头即可实现对商品的准确识别。完全无需使用RFID标签，成本降低。同时还能避免误操作等导致无法结算的问题。
优选的，第一图像为待检测商品的正面图像。以此作为主要图像进行识别，能提高识别的准确率。
优选的，获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4。通过获取多角度图像，能提高神经网络的识别准确性。有利于提高后续识别结果的准确性。
参见图2，优选的，步骤(a1)中还包括称量待检测商品重量的步骤，得到实际称量的商品总重量；步骤(b1)为(b2)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。同时对于所获取的商品信息，还可通过对商品信息中所包含的商品重量进行分析，对所得结果进行校正，从而提高图像识别结果的准确性。
参见图3，优选的，神经网络识别***包括基于区域卷积神经网络的第一神经网络；基于神经网络的商品识别方法包括步骤：(a3)将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；(b3)判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则执行后续步骤；(c3)计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。
通过连用种类和商品信息作为校正参数，能更好对所得结果进行纠正，提高商品的识别准确度。此处的预设阈值可以为0.1g至10kg中的至少一个数值。预设阈值还可以为第一商品信息中重量最小的商品重量。预设阈值还可以为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。
优选的，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品种类是否均存在于第一商品信息中。
优选的，步骤(b1)和步骤(b3)中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的每种商品的数量是否小于等于第一商品信息中的商品数量。
优选的，步骤(b1)和步骤(b3)为判断第N商品信息是否与第一商品信息一致；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则执行后续步骤。
优选的，步骤(b1)和步骤(b3)中第N商品信息是否与第一商品信息一致，包括商品种类一致和每种商品的数量一致。
优选的，基于神经网络的识别***包括基于区域卷积神经网络的第二神经网络，基于神经网络的识别***由包括以下步骤的方法得到：获得每件待检测商品多角度图像的第一图像集；使用第一图像集训练第二神经网络，得到第一神经网络。通过使用第二神经网络，能将所得结果用于训练第一神经网络，从而实现深度学习化的自动***纠错，随着识别商品数量的提高，该神经识别***的识别准确性自动升高。按现有方法进行即可。以待检测商品的多角度图像进行训练，能提高神经网络识别***在应对商品被遮挡时的识别准确性。
优选的，训练第二神经网络的方法为监督学习方法。
优选的，训练第二神经网络的方法为：采用监督学习，使用第一图像集训练第二神经网络，得到第三神经网络；获得待检测商品图像的第二图像集；用第二图像集训练第三神经网络，得到第一神经网络。
优选的，第二图像集包括经基于神经网络的识别***输出待检测商品信息的待检测商品的图像。
优选的，第二神经网络对待检测商品的识别准确率为80％以上。优选的，第二图像集训练第三神经网络的过程为无监督学习。按现有方法进行即可。
参见图4，优选的，基于神经网络的商品识别方法，包括步骤：
(c1)或(d3)步骤(b1)或(c3)中判断结果为否时，识别第一商品信息与第N商品信息中差异商品；
(d1)或(e3)获取步骤(c1)或(d3)中的差异商品的差异图像集，用差异图像集强化训练第一神经网络。
通过收集判断结果为否时，第N商品信息中存在的差异商品并获取其图像集，通过以该差异图像集训练第一神经网络，能进一步提高该***的纠错能力。同时该操作也可以用于如图3所示的方法中。
参见图5，优选的，基于神经网络的商品识别方法，包括步骤：
(c2)或(d3)收集步骤(b2)或(c3)中判断结果为否时，识别第一商品信息中的商品；
(d2)或(e3)获取步骤(c2)或(d3)中的识别商品的收集图像集，用收集图像集强化训练第一神经网络。
该步骤也可以用于如图3所示的方法，在此不累述。当检测结果为否时，通过对多次无法识别情况下的第一商品信息进行收集，并将其用于训练第一神经网络，从而提高第一神经网络对无法识别情况的识别能力。
参见图6，本发明提供的基于神经网络的商品识别方法，使用时，待检测商品放置于载物台上，N个摄像头围绕待检测商品环绕设置。通过N个摄像头获取待检测商品各个角度的图像，分别记为P1、P2.....PN。N个摄像头中，位于载物台正上方的摄像头为主摄像头，记为第一摄像头，该摄像头所获取的图像即为第一图像P1。
将P1、P2......PN上传到本地识别服务器或云端识别服务器，对各张图片进行识别，识别出的商品信息分别记为R1、R2....RN，商品信息中包括商品的类别信息和数量信息，其中，主摄像头的识别结果R1为第一商品信息，其他摄像头的识别结果R2......RN分别为第二商品信息......第N商品信息；
以两个摄像头为例，判断R2(第二商品信息)是否包含在R1(第一商品信息)中；
如果判断结果为是，则将R1作为待检测商品信息输出；
如判断结果为否，则计算R1中商品的总重量，其与实际称量的商品总重量相减所得结果的绝对值作为差分数据，判断差分数据是否小于等于预设阈值：
如判断结果为是，则将R1作为待检测商品信息输出，输出商品信息包含商品的类别、数量和价格的商品信息列表；
如判断结果为否，则显示堆叠提示或错误报告信息。
参见图7，本发明的另一方面还提供了一种基于神经网络的商品识别装置包括：
摄像单元100，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元210，用于将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
识别判断单元220，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元300，用于输出待检测商品信息和反馈提示；
摄像单元100与识别信息单元210相连接，识别信息单元210与识别判断单元220相连接，识别判断单元220与显示单元300相连接。上述各单元的实现可以通过在现有各种器件上设置相应程序实现。
优选的，识别信息单元210和识别判断单元220，用于按权利要求1～21中任一项基于神经网络的商品识别方法进行商品识别和判断。
可选地，摄像单元100包括两个普通网络摄像头，两个可调整任意角度的固定器，一台可运行图片上传的持续的计算机，一个高精度重量传感器。主要工作流程为：计算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像上传到远程服务器，远程服务器将识别结果返回。此方案成本极低，工作计算机也只需要最基础配置即可。
可选地，摄像单元100包括2-4个固定镜头高清摄像头，相应数量的可调节角度固定器，一个高精度重量传感器，一台带显存2G以上显卡的计算机。主要工作流程为，算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像在本地识别。
可选地，基于神经网络的商品识别装置可批量检测(低成本方案)，采用多个普通摄像头，从不同角度获得待检测商品的图像。
多个不同角度的摄像头可以解决商品在同一个2D图片中因为摆放角度和物品高度差异产生的遮挡问题。基本上3个摄像头可以实现无死角获取待识别所需信息，合适的摄像头机位情况下，2个摄像头也可以达到较理想效果。
优选的，可选地，摄像单元100包括第一摄像头和第二摄像头；
第一摄像头和第二摄像头分别从不同角度获取商品图像。
可选地，基于神经网络的商品识别装置包括载物台，载物台含有重量传感器，用于测量载物台上商品总重量；
重量传感器与识别单元电连接，将载物台上商品的总重量输入识别单元。
在商品图像识别过程中，待结算商品常因堆叠或极端拍摄角度，导致物体被遮挡或大部分被遮挡，而无法得到足够的细节用准确识别商品。为了准确判断商品内有无堆叠情况，本发明结合重量传感器对图像识别结果进行校正，获取识别结果中的物品重量与识别装置内的重量传感器实际称重，如果不一致，则反馈商品处于堆叠状态。
本发明的又一方面还提供了一种自助收银台，自助收银台采用前述的基于神经网络的商品识别方法进行商品识别。此处的自助既可以是无人值守状态，也可以为在防损员的监督下使用。仅需作到顾客进行结算操作即可。通过采用前述基于神经网络的商品识别方法，顾客能高效、准确的完成计算过程，整个设备成本较低，无需使用电子标签。
本发明的又一方面还提供了一种自助收银台，自助收银台采用前述的基于神经网络的商品识别装置。此处的自助既可以是无人值守状态，也可以为在防损员的监督下使用。仅需作到顾客进行结算操作即可。
图8示出了本发明通过的基于神经网络的商品识别装置用于自助收银台的无人便利店的一种实施方式的时序示意图。也可以作为本发明提供的自助收银台的实施实例。如图8所示，使用了包含任一前述基于神经网络的商品识别方法的基于神经网络的商品识别装置，顾客在无人便利店中的购物步骤如下：
顾客选择完商品后，将所有商品放置于自助收银台(也是基于神经网络的商品识别装置中的载物台)上；
载物台感应到重量>0，触发基于神经网络的商品识别装置启动商品识别程序；
摄像头拍摄载物台上的商品，获得商品图片，并将商品图片Base64编码POST到图像识别服务器，进行图像识别；
图像识别的结果(包括所有商品品名、价格、总重量)的信息与载物台实际称量得到的总重量比对，得到差分数据；
当差分数据小于等于预设阈值时，判断为[实际称重与范围重量一致]，则向订单处理接口请求生成订单；
当差分数据大于预设阈值时，判断为[实际称重与范围重量不一致]，则在操作界面显示堆叠提示，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至差分数据小于等于预设阈值，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (23)

1.一种基于神经网络的商品识别方法，其特征在于，包括：
获得含有待检测商品的图像；
将所述含有待检测商品的图像输入基于神经网络的识别***，所述基于神经网络的识别***输出待检测商品信息；
所述获得含有待检测商品的图像至少为二维图像；
所述获得含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
所述神经网络识别***包括基于区域卷积神经网络的第一神经网络；所述基于神经网络的商品识别方法包括步骤：
(a1)将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
(b1)判断所述第N商品信息是否包含在所述第一商品信息中；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示；
所述基于神经网络的商品识别方法，包括步骤：
(c1)所述步骤(b1)中判断结果为否时，识别所述第一商品信息与所述第N商品信息中差异商品；
(d1)获取步骤(c1)中的所述差异商品的差异图像集，用所述差异图像集强化训练所述第一神经网络。
2.根据权利要求1所述的基于神经网络的商品识别方法，其特征在于，所述获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4；
所述第一图像为所述待检测商品的正面图像。
3.根据权利要求1所述的基于神经网络的商品识别方法，其特征在于，所述步骤(a1)中还包括称量所述待检测商品重量的步骤，得到实际称量的商品总重量；
所述步骤(b1)包括步骤(b2)；
所述步骤(b2)为：计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示。
4.根据权利要求1所述的基于神经网络的商品识别方法，其特征在于，所述神经网络识别***包括基于区域卷积神经网络的第一神经网络；所述基于神经网络的商品识别方法包括步骤：
(a3)将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
(b3)判断所述第N商品信息是否包含在所述第一商品信息中；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤；
(c3)计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行步骤(d3)；所述步骤(d3)为：识别所述第一商品信息与所述第N商品信息中差异商品；
(e3)为：获取步骤(d3)中的所述差异商品的差异图像集，用所述差异图像集强化训练所述第一神经网络。
5.根据权利要求1或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品种类是否均存在于所述第一商品信息中。
6.根据权利要求1或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品数量是否小于等于所述第一商品信息中的商品数量。
7.根据权利要求1或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的每种商品的数量是否小于等于所述第一商品信息中的商品数量。
8.根据权利要求1或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)为判断所述第N商品信息是否与所述第一商品信息一致；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤。
9.根据权利要求8所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b1)和步骤(b3)中所述第N商品信息是否与所述第一商品信息一致，包括商品种类一致和每种商品的数量一致。
10.根据权利要求3或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b2)和所述步骤(c3)中预设阈值为0.1g至10kg中的至少一个数值。
11.根据权利要求3或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b2)和所述步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量。
12.根据权利要求3或4所述的基于神经网络的商品识别方法，其特征在于，所述步骤(b2)和步骤(c3)中预设阈值为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。
13.根据权利要求1所述的基于神经网络的商品识别方法，其特征在于，基于神经网络的识别***包括基于区域卷积神经网络的第二神经网络，所述基于神经网络的识别***由包括以下步骤的方法得到：
获得每件所述待检测商品多角度图像的第一图像集；
使用所述第一图像集训练所述第二神经网络，得到第一神经网络。
14.根据权利要求13所述的基于神经网络的商品识别方法，其特征在于，所述训练所述第二神经网络的方法为监督学习方法。
15.根据权利要求13所述的基于神经网络的商品识别方法，其特征在于，所述训练所述第二神经网络的方法为：
采用监督学习，使用第一图像集训练所述第二神经网络，得到第三神经网络；
获得所述待检测商品图像的第二图像集；
用第二图像集训练所述第三神经网络，得到第一神经网络。
16.根据权利要求15所述的基于神经网络的商品识别方法，其特征在于，所述第二图像集包括经基于神经网络的识别***输出的所述待检测商品信息的所述待检测商品的图像。
17.根据权利要求15所述的基于神经网络的商品识别方法，其特征在于，所述用第二图像集训练所述第三神经网络的过程为无监督学习。
18.根据权利要求3所述的基于神经网络的商品识别方法，其特征在于，所述基于神经网络的商品识别方法，包括步骤：
(c2)收集所述步骤(b2)中判断结果为否时，识别所述第一商品信息中的商品；
(d2)获取步骤(c2)中的所述识别商品的收集图像集，用所述收集图像集强化训练所述第一神经网络。
19.根据权利要求4所述的基于神经网络的商品识别方法，其特征在于，所述基于神经网络的商品识别方法，包括步骤：
(d3)收集所述步骤(c3)中判断结果为否时，识别所述第一商品信息中的商品；
(e3)获取步骤(d3)中的所述识别商品的收集图像集，用所述收集图像集强化训练所述第一神经网络。
20.一种基于神经网络的商品识别装置，其特征在于，包括：
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元，用于将所述第一图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
识别判断单元，用于判断所述第N商品信息是否包含在所述第一商品信息中；如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元，用于输出所述待检测商品信息和所述反馈提示；
所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元相连接；
所述识别信息单元和所述识别判断单元，用于按权利要求1～19中任一项所述基于神经网络的商品识别方法进行商品识别和判断。
21.根据权利要求20所述的基于神经网络的商品识别装置，其特征在于，所述基于神经网络的商品识别装置包括载物台，所述载物台含有重量传感器，用于测量所述载物台上商品的总重量；
所述重量传感器与所述识别信息单元数据连接。
22.一种自助收银台，其特征在于，所述自助收银台采用权利要求1至19任一项所述的基于神经网络的商品识别方法进行商品识别。
23.一种自助收银台，其特征在于，所述自助收银台采用权利要求20或21任一项所述的基于神经网络的商品识别装置。
CN201810135196.3A 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台 Expired - Fee Related CN108320404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/077651 WO2019062017A1 (zh) 2017-09-27 2018-02-28 基于神经网络的商品识别方法、装置、自助收银台

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710891007 2017-09-27
CN2017108910070 2017-09-27

Publications (2)

Publication Number Publication Date
CN108320404A CN108320404A (zh) 2018-07-24
CN108320404B true CN108320404B (zh) 2020-04-03

Family

ID=62775868

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201810050328.2A Pending CN108269369A (zh) 2017-09-27 2018-01-18 结算箱及其结算方法
CN201820085363.3U Expired - Fee Related CN209132890U (zh) 2017-09-27 2018-01-18 结算箱
CN201810135196.3A Expired - Fee Related CN108320404B (zh) 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台
CN201811134347.XA Expired - Fee Related CN109559458B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133556.2A Expired - Fee Related CN109559454B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133576.XA Active CN109559457B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810050328.2A Pending CN108269369A (zh) 2017-09-27 2018-01-18 结算箱及其结算方法
CN201820085363.3U Expired - Fee Related CN209132890U (zh) 2017-09-27 2018-01-18 结算箱

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201811134347.XA Expired - Fee Related CN109559458B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133556.2A Expired - Fee Related CN109559454B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133576.XA Active CN109559457B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台

Country Status (2)

Country Link
CN (6) CN108269369A (zh)
WO (1) WO2019062017A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220309524A1 (en) * 2021-03-25 2022-09-29 Toshiba Tec Kabushiki Kaisha Information processing device, method, and behavior analysis system

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、***和无人售货***
CN109035630A (zh) * 2018-08-21 2018-12-18 深圳码隆科技有限公司 商品信息识别方法和***
CN109472205B (zh) * 2018-10-09 2021-07-30 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
EP3867886A1 (en) * 2018-10-17 2021-08-25 Supersmart Ltd. Imaging used to reconcile cart weight discrepancy
CN111220251A (zh) * 2018-11-26 2020-06-02 重庆小雨点小额贷款有限公司 一种养殖产品的数量确定方法、装置、终端及存储介质
CN111222388B (zh) * 2018-12-11 2023-09-19 图灵通诺（北京）科技有限公司 基于视觉识别的结算方法和***
CN109684950A (zh) * 2018-12-12 2019-04-26 联想(北京)有限公司 一种处理方法及电子设备
CN109360358A (zh) * 2018-12-25 2019-02-19 北京旷视科技有限公司 支付设备、支付***及自助结账方法
CN109711473A (zh) * 2018-12-29 2019-05-03 北京沃东天骏信息技术有限公司 物品识别方法、设备和***
CN109741144B (zh) * 2019-01-04 2021-08-10 南京旷云科技有限公司 商品核验方法、装置、主机及设备
CN109859418A (zh) * 2019-01-23 2019-06-07 王强 一种无人商场的购物结算方法
CN109840503B (zh) * 2019-01-31 2021-02-26 深兰科技（上海）有限公司 一种确定种类信息的方法及装置
CN109872168A (zh) * 2019-03-15 2019-06-11 南京亿猫信息技术有限公司 一种基于购物工具的防作弊***
CN109977826B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN111368613B (zh) * 2019-05-22 2023-04-25 深圳深知未来智能有限公司 一种智能无人售货柜的快速上新方法
US20220335721A1 (en) * 2019-08-20 2022-10-20 Aquaticode Ltd. Methods and systems for diagnosing disease, physiological changes, or other internal conditions in crustaceans through non-invasive means
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及***
CN111126384A (zh) * 2019-12-12 2020-05-08 创新奇智(青岛)科技有限公司 基于特征融合的商品分类***及分类方法
CN110942050A (zh) * 2019-12-20 2020-03-31 华南理工大学 一种基于图像处理的自动售卖机商品识别***
WO2021226893A1 (zh) * 2020-05-13 2021-11-18 鸿富锦精密工业(武汉)有限公司 物件辨识***及相关装置
CN111724546A (zh) * 2020-05-20 2020-09-29 安徽谊品弘科技有限公司 一种生鲜超市智能收银台
CN111860629A (zh) * 2020-06-30 2020-10-30 北京滴普科技有限公司 首饰分类***、方法、装置以及存储介质
CN112132105A (zh) * 2020-10-09 2020-12-25 深圳市智百威科技发展有限公司 一种基于商品视觉智能识别的收银方法
CN114550385A (zh) * 2020-11-26 2022-05-27 融讯伟业（北京）科技有限公司 基于计算机视觉技术的智能称重装置与智能称重方法
CN113178032A (zh) * 2021-03-03 2021-07-27 北京迈格威科技有限公司 一种视频处理方法、***及存储介质
CN112700312A (zh) * 2021-03-24 2021-04-23 浙江口碑网络技术有限公司 物品对象的结算方法、服务器、客户端及***
CN113627393B (zh) * 2021-09-09 2024-03-29 河北工业大学 基于双重神经网络的商品识别方法及智能售货***
CN114267139A (zh) * 2021-12-13 2022-04-01 湖南省金河计算机科技有限公司 一种基于物联网的智能pos机***及其控制方法和电子设备
CN114399619A (zh) * 2022-01-14 2022-04-26 南京苏胜天信息科技有限公司 一种机器视觉图像识别***及其处理方法
US20240193573A1 (en) * 2022-12-07 2024-06-13 Fujitsu Limited Storage medium and information processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326187A (zh) * 2008-12-23 2012-01-18 数据逻辑扫描公司 识别和结算物体的方法和***
CN104077842A (zh) * 2014-07-02 2014-10-01 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
CN104103135A (zh) * 2014-07-17 2014-10-15 张国铭 一种基于射频识别的物品自动结算纠错***及方法
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5965861A (en) * 1997-02-07 1999-10-12 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout terminal
JP2009163331A (ja) * 2007-12-28 2009-07-23 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
CN101477729A (zh) * 2008-12-30 2009-07-08 于忠清 自助售饭***以及该***的信息处理方法
CN101552911B (zh) * 2009-04-14 2012-09-26 重庆市海普软件产业有限公司 远程户外监控装置及自动监测控制方法
US8615476B2 (en) * 2009-04-15 2013-12-24 University Of Southern California Protecting military perimeters from approaching human and vehicle using biologically realistic neural network
CN102013019A (zh) * 2010-12-03 2011-04-13 深圳市乐州光电技术有限公司 信息图像识别***及方法
JP5554796B2 (ja) * 2011-09-06 2014-07-23 東芝テック株式会社 情報処理装置およびプログラム
CN103093208B (zh) * 2013-01-23 2016-04-13 中国科学技术大学 一种果蔬识别的方法及***
CN104282094A (zh) * 2013-07-02 2015-01-14 张�杰 一种超市自动化收银装置
CN103424404A (zh) * 2013-08-01 2013-12-04 谢绍鹏 物品的品质检测方法与***
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
CN103617681A (zh) * 2013-11-11 2014-03-05 青岛中科英泰商用***有限公司 具有提醒功能和多种防损措施的超市自助结算方法和设备
CN103632463A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种基于图像识别技术的结算方法
JP6254895B2 (ja) * 2014-04-18 2017-12-27 東芝テック株式会社 読取装置及び商品販売データ処理装置
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN104240411A (zh) * 2014-07-23 2014-12-24 南京工程学院 一种超市散装商品智能购物装置
JP6451274B2 (ja) * 2014-12-10 2019-01-16 カシオ計算機株式会社 商品処理システム、商品処理方法及びプログラム
US10074041B2 (en) * 2015-04-17 2018-09-11 Nec Corporation Fine-grained image classification by exploring bipartite-graph labels
CN204706039U (zh) * 2015-05-29 2015-10-14 杭州晟元芯片技术有限公司 一种基于多镜头的条码识别装置
CN106874296B (zh) * 2015-12-14 2021-06-04 阿里巴巴集团控股有限公司 一种商品的风格识别方法及装置
CN105719188B (zh) * 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
CN106169135A (zh) * 2016-02-01 2016-11-30 唐超(北京)科技有限公司 自助结账防损校验方法及***
JP6283806B2 (ja) * 2016-06-01 2018-02-28 サインポスト株式会社 情報処理システム
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
CN106384087A (zh) * 2016-09-05 2017-02-08 大连理工大学 一种基于多层网络人体特征的身份识别方法
CN106446937A (zh) * 2016-09-08 2017-02-22 天津大学 用于aer图像传感器的多层卷积识别***
JP6165950B1 (ja) * 2016-09-20 2017-07-19 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
CN106529494A (zh) * 2016-11-24 2017-03-22 深圳市永达电子信息股份有限公司 一种基于多摄像头机型的人脸识别方法
CN106886795B (zh) * 2017-02-17 2021-01-15 北京一维弦科技有限责任公司 基于图像中的显著物体的物体识别方法
CN106960214B (zh) * 2017-02-17 2020-11-20 北京一维弦科技有限责任公司 基于图像的物体识别方法
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN107329925A (zh) * 2017-06-29 2017-11-07 卜涛 一种智能电子秤、应用其的超市计价***及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326187A (zh) * 2008-12-23 2012-01-18 数据逻辑扫描公司 识别和结算物体的方法和***
CN104077842A (zh) * 2014-07-02 2014-10-01 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
CN104103135A (zh) * 2014-07-17 2014-10-15 张国铭 一种基于射频识别的物品自动结算纠错***及方法
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于PCA的实时人脸识别***的设计与实现;李姗姗;《中国优秀硕士学位论文全文数据库》;20131130;第I138-777页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220309524A1 (en) * 2021-03-25 2022-09-29 Toshiba Tec Kabushiki Kaisha Information processing device, method, and behavior analysis system

Also Published As

Publication number Publication date
CN108269369A (zh) 2018-07-10
CN109559454A (zh) 2019-04-02
WO2019062017A1 (zh) 2019-04-04
CN108320404A (zh) 2018-07-24
CN109559458A (zh) 2019-04-02
CN209132890U (zh) 2019-07-19
CN109559454B (zh) 2021-09-21
CN109559457A (zh) 2019-04-02
CN109559457B (zh) 2021-09-21
CN109559458B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
CN108269371B (zh) 商品自动结算方法、装置、自助收银台
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、***及存储介质
US11501523B2 (en) Goods sensing system and method for goods sensing based on image monitoring
JP6709320B6 (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備
CN107464116B (zh) 一种订单结算方法及***
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
US7909248B1 (en) Self checkout with visual recognition
US11176597B2 (en) Associating shoppers together
WO2019062812A1 (zh) 用于自动结算的人机交互装置及其应用
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
EP3901841A1 (en) Settlement method, apparatus, and system
CN111222870B (zh) 结算方法、装置和***
US11488126B2 (en) Cashier fraud detecting system and method and product image selection generation for artificial neural network learning related applications
CN112464697A (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN111079478A (zh) 一种无人售货架监控方法、装置、电子设备及***
CN111126990A (zh) 物品自动识别方法、结算方法、装置、终端及存储介质
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111222388B (zh) 基于视觉识别的结算方法和***
CN109300263B (zh) 基于卷积神经网络的图像识别技术的结算方法和装置
CN112507762A (zh) 一种基于商品图像识别的智能售卖机控制方法及***
CN106600253A (zh) 结账管理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200403

Termination date: 20210209