CN111523348A - 信息生成方法和装置、用于人机交互的设备 - Google Patents

信息生成方法和装置、用于人机交互的设备 Download PDF

Info

Publication number
CN111523348A
CN111523348A CN201910105231.1A CN201910105231A CN111523348A CN 111523348 A CN111523348 A CN 111523348A CN 201910105231 A CN201910105231 A CN 201910105231A CN 111523348 A CN111523348 A CN 111523348A
Authority
CN
China
Prior art keywords
shelf
item
image
article
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910105231.1A
Other languages
English (en)
Other versions
CN111523348B (zh
Inventor
包英泽
亢乐
罗宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Priority to CN201910105231.1A priority Critical patent/CN111523348B/zh
Priority to US16/674,492 priority patent/US11328568B2/en
Priority to JP2019202342A priority patent/JP7030092B2/ja
Publication of CN111523348A publication Critical patent/CN111523348A/zh
Application granted granted Critical
Publication of CN111523348B publication Critical patent/CN111523348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/22—Electrical actuation
    • G08B13/24—Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2451—Specific applications combined with EAS
    • G08B13/2454—Checking of authorisation of a person accessing tagged items in an EAS system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/14—Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1472—Mechanical actuation by lifting or attempted removal of hand-portable articles with force or weight detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/22—Electrical actuation
    • G08B13/24—Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2465—Aspects related to the EAS system, e.g. system components other than tags
    • G08B13/248—EAS system combined with another detection technology, e.g. dual EAS and video or other presence detection system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本申请实施例公开了信息生成方法和装置、用于人机交互的设备和计算机可读介质。该方法的一具体实施方式包括：获取承载物品的货架的重力传感数据；响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息。该实施方式提升了订单信息的准确性。

Description

信息生成方法和装置、用于人机交互的设备
技术领域
本申请实施例涉及计算机技术领域，具体涉及人机交互领域，尤其涉及信息生成方法和装置、用于人机交互的设备。
背景技术
人机交互技术是研究用户与计算机化的***和软件之间的交互关系的技术。人机交互设备可以获取用户的交互行为，根据用户的请求或潜在的需求提供知识或服务。
随着智能化技术的发展，人机交互被越来越广泛地应用在各类场景中。自动售货机是人机交互技术在零售领域的一个典型应用。传统的自动售货机是基于货道技术的，支持特定材质和/或形状的货品，例如塑料的瓶状物。用户发起交互请求并完成支付后货品从货道上掉落至货柜底下的开口处，用户从开口处取走货品。
发明内容
本申请实施例提出了信息生成方法、装置、用于人机交互的设备和计算机可读介质。
第一方面，本公开的实施例提供了一种信息生成方法，包括：获取承载物品的货架的重力传感数据；响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息。
在一些实施例中，上述方法还包括：获取货架的当前使用者的身份信息；以及根据身份信息，将订单信息关联至货架的当前使用者。
在一些实施例中，上述货架的当前使用者的身份信息是按照如下方式获取的：基于采集到的货架的当前使用者的生物特征信息识别出货架的使用者的身份信息；和/或获取扫描当前使用者提供的身份标识码得到的货架的当前使用者的身份信息。
在一些实施例中，在获取承载物品的货架的重力传感数据之前，上述方法还包括：响应于根据身份信息对货架的当前使用者鉴权成功，开启货架的使用权限。
在一些实施例中，上述开启货架的使用权限，包括：向用于封锁货架的货柜门发送开启指令。
在一些实施例中，上述方法还包括：响应于检测到货柜门关闭，推送订单信息。
在一些实施例中，上述被取下的物品的图像包括被取下的物品的外观图像；上述根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，包括：根据重力传感数据确定货架在被取下物品后的重力变化量；根据获取到的被取下的物品的外观图像对被取下的物品进行识别，并在预存的物品重量表中查找根据外观图像识别出的物品的重量；响应于确定货架在被取下物品后的重力变化量与根据外观图像识别出的物品的重量一致，确定根据外观图像识别出的物品为被取下的物品。
在一些实施例中，上述方法还包括：响应于确定货架在被取下物品后的重力变化量与根据外观图像识别出的物品的重量不一致，生成错误提示信息。
在一些实施例中，上述被取下的物品的图像还包括被取下的物品的标识码的图像；在根据获取到的被取下的物品的外观图像对被取下的物品进行识别之后，上述根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，还包括：响应于确定未从外观图像中识别出被取下的物品，生成请求当前使用者扫描被取下的物品的标识码的请求信息；获取当前使用者响应于接收到请求信息而提供的标识码的图像，确定标识码的图像所标识的物品的重量；响应于确定货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量一致，确定标识码的图像所标识的物品为被取下的物品。
在一些实施例中，上述方法还包括：响应于确定货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量不一致，生成错误提示信息。
在一些实施例中，上述方法还包括：响应于根据重力传感数据确定货架上的物品被放回，检测货架的重力增量是否与最近一次检测到的货架的重力减少量一致；响应于确定货架的重力增量与最近一次检测到的货架的重力减少量不一致，生成错误提示信息。
第二方面，本公开的实施例提供了一种信息生成装置，包括：第一获取单元，被配置为获取承载物品的货架的重力传感数据；第一生成单元，被配置为响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息。
在一些实施例中，上述装置还包括第二获取单元以及关联单元。其中，第二获取单元被配置为获取货架的当前使用者的身份信息；以及关联单元被配置为根据身份信息，将订单信息关联至货架的当前使用者。
在一些实施例中，上述货架的当前使用者的身份信息是按照如下方式获取的：基于采集到的货架的当前使用者的生物特征信息识别出货架的使用者的身份信息；和/或获取扫描当前使用者提供的身份标识码得到的货架的当前使用者的身份信息。
在一些实施例中，上述装置还包括鉴权单元，被配置为在获取承载物品的货架的重力传感数据之前，响应于根据身份信息对货架的当前使用者鉴权成功，开启货架的使用权限。
在一些实施例中，上鉴权单元进一步被配置为：向用于封锁货架的货柜门发送开启指令。
在一些实施例中，上述装置还包括：推送单元，被配置为响应于检测到货柜门关闭，推送订单信息。
在一些实施例中，上述被取下的物品的图像包括被取下的物品的外观图像；上述第一生成单元进一步被配置为按照如下方式识别被取下的物品：根据重力传感数据确定货架在被取下物品后的重力变化量；根据获取到的被取下的物品的外观图像对被取下的物品进行识别，并在预存的物品重量表中查找根据外观图像识别出的物品的重量；响应于确定货架在被取下物品后的重力变化量与根据外观图像识别出的物品的重量一致，确定根据外观图像识别出的物品为被取下的物品。
在一些实施例中，上述装置还包括：第二生成单元，被配置为响应于确定货架在被取下物品后的重力变化量与根据外观图像识别出的物品的重量不一致，生成错误提示信息。
在一些实施例中，上述被取下的物品的图像还包括被取下的物品的标识码的图像；上述第一生成单元进一步被配置为按照如下方式识别被取下的物品：响应于确定未从外观图像中识别出被取下的物品，生成请求当前使用者扫描被取下的物品的标识码的请求信息；获取当前使用者响应于接收到请求信息而提供的标识码的图像，确定标识码的图像所标识的物品的重量；响应于确定货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量一致，确定标识码的图像所标识的物品为被取下的物品。
在一些实施例中，上述装置还包括：第三生成单元，被配置为响应于确定货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量不一致，生成错误提示信息。
在一些实施例中，上述装置还包括：检测单元，被配置为响应于根据重力传感数据确定货架上的物品被放回，检测货架的重力增量是否与最近一次检测到的货架的重力减少量一致；第四生成单元，被配置为响应于确定货架的重力增量与最近一次检测到的货架的重力减少量不一致，生成错误提示信息。
第三方面，本公开的实施例提供了一种用于人机交互的设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述信息生成方法。
在一些实施例中，上述用于人机交互的设备还包括：用于承载物品的货架，货架上设置有用于感应货架的重力变化的重力传感器；摄像头，摄像头采集从货架上取下的物品的图像；以及上述处理器还获取上述货架的重力传感数据和从上述货架上取下的物品的图像。
在一些实施例中，上述用于人机交互的设备还包括：电子屏，用于向用于人机交互的设备的使用者提供交互界面；上述处理器还通过电子屏提供的交互界面获取使用者的身份信息，根据使用者的身份信息将生成的订单信息与使用者关联。
在一些实施例中，上述摄像头还获取使用者的生物特征信息；上述处理器还根据使用者的生物特征信息确定使用者的身份信息，根据使用者的身份信息将生成的订单信息与使用者关联。
在一些实施例中，上述用于人机交互的设备还包括：货柜门，货柜门封锁货架，货柜门上设有电子锁；上述处理器还响应于根据身份信息对货架的使用者鉴权成功，向货柜门上的电子锁发送开启指令。
第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述信息生成方法。
本申请上述实施例的信息生成方法和装置、用于人机交互的设备和计算机可读介质，通过获取承载物品的货架的重力传感数据，响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息，实现了基于货架重力传感数据和物品图像的物品下单行为识别，能够适用于各种材质和形态的物品，提升了生成的订单信息的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本公开实施例可以应用于其中的示例性***架构图；
图2是根据本公开的信息生成方法的一个实施例的流程图；
图3是根据本公开的信息生成方法的另一个实施例的流程图；
图4是根据本公开的信息生成方法的又一个实施例的流程图；
图5是根据本公开的信息生成方法的一个实际应用场景的流程示意图；
图6是本公开的信息生成装置的一个实施例的结构示意图；
图7是适于用来实现本公开的实施例的用于人机交互的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的信息生成方法或信息生成装置的示例性***架构。
如图1所示，***架构100可以包括自动售货设备101，网络102以及服务器103。网络102用于在自动售货设备101和服务器103之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
自动售货设备101可以包含至少一层用于承载货品的货架1011，每层货架1011上可以设置有重力传感器1012。重力传感器1012可以用于感应货架承载的货品的重量变化。自动售货设备101上还可以设有摄像头1013。摄像头1013用于采集自动售货设备101的使用场景的图像。在本公开的应用场景中，摄像头1013的成像范围可以覆盖货架1011或整个自动售货设备101的使用区域。
用户110可以使用自动售货设备101自主完成货物选择和结算。自动售货设备101可以通过网络102与服务器103交互，以发送或接收消息。自动售货设备101可以将重力传感器1012和摄像头1013采集到的数据打包生成处理请求，通过网络102向服务器103发送处理请求。服务器103可以是为自动售货设备101提供支持的后台服务器。服务器103可以接收并解析处理请求，根据重力传感器1012和摄像头1013采集到的数据确定自动售货设备101的使用者(即用户110)购买的物品，并生成订单信息。在一些场景中，服务器103还可以将生成的订单信息通过网络103反馈至自动售货设备101。
在一些场景中，自动售货设备101上还可以设置有数据处理部件，例如CPU、GPU等处理器，以及存储部件。数据处理部件可以获取重力传感器1012和摄像头1013感知的数据并进行处理，存储部件可以存储传感器感知到的数据，以及存储数据处理部件执行数据处理任务所需要调用的数据。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的信息生成方法可以由设置于自动售货设备101的数据处理部件或服务器103执行，相应地，信息生成装置可以设置于自动售货设备101的数据处理部件或服务器103中。
应该理解，图1中的自动售货设备、货架、重力传感器、摄像头、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的自动售货设备、货架、重力传感器、摄像头、网络和服务器。
继续参考图2，其示出了根据本公开的信息生成方法的一个实施例的流程200。该信息生成方法，包括以下步骤：
步骤201，获取承载物品的货架的重力传感数据。
在本实施例中，上述信息生成方法的执行主体可以与设置于货架上的重力传感器连接，获取重力传感器传输的货架的重力传感数据。例如，上述信息生成方法的执行主体可以是自动售货设备内的处理部件，处理部件可以从重力传感器获取货架的重力传感数据。
上述信息生成方法的执行主体也可以与包含上述货架的自动售货设备或售货***连接，上述自动售货设备或售货***可以获取货架上的重力传感器生成的重力传感数据，之后，可以将货架的重力传感数据传输至上述执行主体。例如，自动售货设备在获取到重力传感器生成的重力传感数据之后，可以传输至用于执行信息生成方法的服务器。
上述货架上可以承载待交易的物品，且货架上承载的物品的重量可以被预先记录。在货架上的物品被取下或被放回的过程中，货架的重力传感数据会发生变化。
在本实施例中，可以响应于检测到预设的触发操作而获取货架的重力传感数据，其中，预设的触发操作可以是用户的具有物品购买意图的操作，例如用户打开自动售货设备货柜门的操作，或者用户通过扫码等方式进入货架的使用区的操作。还可以响应于检测到重力传感数据发生变化而实时获取重力传感数据，这样可以通过重力数据及时地获知货架上的物品被取下或放回的情况。
步骤202，响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息。
在本实施例中，可以将步骤201获取到的货架的重力传感数据与数据库中记录的上一次获取到的货架的重力数据进行比对，若不一致，则可以确定货架上的物品被取下或被放回。具体地，如果步骤201获取到的货架的重力传感数据低于数据库中记录的上一次获取到的货架的重力数据，即货架的重力数据降低，则确定货架上的物品被取下。
这时，可以根据货架的重力传感数据以及采集到的被取下的物品的图像，来识别被取下的物品。
具体地，可以首先根据重力传感数据和数据库中记录的货架的重力数据计算出货架的重力数据的变化量，将该变化量作为被取下的物品的重量值。
然后，在预存的物品信息库中查找出与该重量值匹配的物品作为候选物品或候选物品组合，例如计算得出货架的重力数据的变化量为150克，则可以从物品信息库中查找出单个重量为150克的物品作为候选物品，或者查找出两个以上物品总重量为150克的物品的组合作为候选物品组合。其中，物品信息库可以保存货架上所有物品的物品重量信息，还可以保存货架上所有物品的图像和/或图像特征。
接着，可以从获取到的被取下的物品的图像中对被取下的物品进行图像识别。具体可以将被取下的物品的图像与上述候选物品、或者上述候选物品组合中的物品的图像进行匹配，或者从被取下的物品的图像中提取特征，与上述各候选物品、或者上述候选物品集合中的各物品的图像特征进行匹配。根据图像或图像特征的匹配结果识别出被取下的物品的图像中的物品与哪一个候选物品/哪一个候选物品组合一致，进而得出被取下的物品的识别结果。
通过首先根据货架的重量变化量划定候选物品或候选物品组合的范围，之后将获取到的被取下的物品的图像在该范围内进行匹配，有效缩小了匹配范围，能够提升匹配效率。
在本实施例的一些可选的实现方式中，上述被取下的物品的图像在物品被取下的过程中采集得到，或者使用者可以主动将物品放置于摄像头的成像区域，使得摄像头可以捕获被取下的物品的图像，之后被取下的物品的图像可以被传输至信息生成方法的执行主体。
在本实施例的另一些可选的实现方式中，上述执行主体还可以通过请求用户协助来获取被取下的物品的图像。具体地，上述执行主体响应于检测到货架的重力传感数据指示货架上的物品被取下，生成请求获取被取下的物品的图像的请求信息，并通过文本、图片、语音等形式展示该请求信息。取下物品的用户可以在收到请求信息之后将被取下的物品放置于摄像头的成像范围内，摄像头对被取下的物品成像后将图像传输至上述执行主体。
在一些场景中，被取下的物品的图像是在取下物品过程中采集到的，例如在自动售货的一个典型场景——无人售货店铺中，摄像头可以采集顾客从货架上取下物品的图像。这时，被取下的物品的图像还包含了人、货架等干扰信息，这时，可以对获取到的被取下的物品的图像进行预处理，提取出被取下的物品所在区域的图像信息，例如用户一般用手直接从货架上取下物品，可以提取出手部区域，然后在手部区域的周边区域搜索物品，即可得到被取下的物品的图像，再将被取下的物品的图像与候选物品或候选物品集合的图像或图像特征进行匹配。
在一些实施例中，上述被取下的物品的图像可以包括被取下的物品的外观图像，这时，可以根据重力传感数据以及被取下的物品的外观图像，按照如下方式识别被取下的物品：根据重力传感数据确定货架在被取下物品后的重力变化量；根据获取到的被取下的物品的外观图像对被取下的物品进行识别，并在预存的物品重量表中查找根据外观图像识别出的物品的重量；响应于确定货架在被取下物品后的重力变化量与根据外观图像识别出的物品的重量一致，确定根据外观图像识别出的物品为被取下的物品。在这里，若根据外观图像识别出的物品的重量与货架的重力变化量之间的差异为0，或者二者的差异在一定的范围内(例如5％以内)，可以确定外观图像识别出的物品的重量与货架的重力变化量一致。
具体来说，在确定货架的重力变化量之后，可以采用图像识别算法对被取下的物品的外观图像进行识别，识别出包括物品类型、物品包装规格、品牌标识等的物品特征属性，例如识别出物品为A品牌的200克装酸奶。然后在预存的物品信息库中找到具有匹配的物品特征属性的物品，作为根据上述外观图像识别出的物品。之后可以判断根据外观图像识别出的物品的重量是否与货架的重力变化量一致，若是，则确定根据外观图像识别出的物品即为被取下的物品。
由于外观图像中通常会包含物品的名称、颜色、所属品牌的标识(例如商标)等关键特征，可以根据这些关键特征识别出图像中的物品，并结合货架的重量变化量确定被取下的物品，能够进一步提升识别被取下的物品的准确率。
可选地，信息生成方法的流程还可以包括：响应于确定货架在被取下物品后的重力变化量与根据外观图像识别出的物品的重量不一致，生成错误提示信息。也就是说，根据外观图像识别出的物品的重量与货架的重力变化量不一致时，可以进行错误提示。错误提示信息可以是预先设定的，可以是语音、文本、图片等形式的提示信息。可选地，错误提示信息可以包含用于提示根据外观图像识别出的物品的重量与货架的重力变化量不一致的信息，以将错误原因反馈给用户。
在一些可选的实现方式中，上述被取下的物品的图像还可以包括被取下的物品的标识码的图像。在这里，物品的标识码可以是用于标识物品的条形码、二维码等图形标识码，也可以是诸如物品的库存编号、物品的条形码或二维码对应的数字序列等数字标识码。
在根据获取到的被取下的物品的外观图像对被取下的物品进行识别之后，还可以按照如下方式识别被取下的物品：
首先，响应于确定未从外观图像中识别出被取下的物品，生成请求当前使用者扫描被取下的物品的标识码的请求信息。在从外观图像中识别物品的识别结果为“未匹配到物品”时，可以生成预先设置的请求当前使用者扫描被取下的物品的标识码的请求信息。
而后，当前使用者可以响应于接收到该请求信息而将物品的标识码放置于图像采集装置(例如摄像头)的采集区内进行标识码读取。图像采集装置可以采集标识码的图像。上述执行主体可以获取当前使用者响应于接收到请求信息而提供的标识码的图像，并根据标识码的图像识别出标识码，在物品信息库中查找到该标识码所标识的物品，进而确定标识码的图像所标识的物品的重量。
之后，可以判断货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量是否一致，并且响应于确定货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量一致，确定标识码的图像所标识的物品为被取下的物品。
标识码图像一般只包含标识码信息，且没有复杂的背景噪音，根据标识码能够准确地识别出物品。并且使用者主动提供标识码图像的行为可以表征其购买物品的意图，因此将标识码图像所标识的物品添加至订单是与用户的意图相符的。通过在根据外观图像识别物品失败时请求当前使用者提供被取下的物品的标识码图像，根据标识码图像和货架的重量变化量识别出被取下的物品，不仅提供了更丰富的物品识别方式，还能够提升识别被取下的物品的准确度。
可选地，信息生成方法的流程还可以包括：响应于确定货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量不一致，生成错误提示信息。错误提示信息可以是预先设定的，可以是语音、文本、图片等形式的提示信息。可选地，错误提示信息可以包含用于提示根据标识码图像识别出的物品的重量与货架的重力变化量不一致的信息，以将错误原因反馈给用户。
在识别出被取下的物品之后，可以生成该被取下的物品的订单信息，具体可以将被取下的物品添加至订单列表中。可选地，还可以获取被取下的物品的详情信息，例如物品的名称、包装规格、生产地、所属品牌、价格、优惠信息等来生成订单信息。
本申请上述实施例的一个应用场景可以为：用户在无人售货店铺或自动售货机选取购买的物品时，货架上的重力传感器可以感应货架的重力传感数据并传输至处理部件，处理部件还可以通过无人售货店铺内或无人售货机上设置的用于采集使用场景图像的摄像头来获取被取下的物品的图像，之后，处理部件可以结合货架的重力传感数据与被取下的物品的图像来识别出被取下的物品，然后生成被取下的物品的订单信息。这样，实现了通过货架重量和被取下物品的图像识别物品下单行为并生成订单。
本申请上述实施例的信息生成方法，通过获取承载物品的货架的重力传感数据，响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息，实现了基于货架重力传感数据和物品图像的物品下单行为识别，适用于各种材质和形态的物品。同时，由于结合了重力传感数据和图像两种信息来识别物品，提升了生成的订单信息的准确性。
继续参考图3，其示出了根据本公开的信息生成方法的另一个实施例的流程图。如图3所示，本实施例的信息生成方法的流程300，包括以下步骤：
步骤301，获取货架的当前使用者的身份信息。
使用者的身份信息是表征使用者的身份的信息，可以是使用者的用户ID(Identity，身份标识)。可以通过多种方式获取货架的当前使用者的身份信息。例如可以通过交互界面获取使用者输入的用户ID，或者，可以提供诸如二维码等访问入口，使用者通过扫描二维码发出访问请求后，可以获取使用者的用户ID等用户信息。
在本实施例的一些可选的实现方式中，使用者的身份信息还可以是用于标识使用者身份的标识码或者使用者的生物特征标识(例如人脸特征编码、指纹特征编码、声纹特征编码等)。货架的当前使用者的身份信息可以是按照如下方式获取的：基于采集到的货架的当前使用者的生物特征信息识别出货架的使用者的身份信息，例如可以获取当前使用者的人脸图像并进行人脸识别；和/或获取扫描当前使用者提供的身份标识码得到的货架的当前使用者的身份信息，例如在实际场景中使用者可以出示身份标识码(例如为已注册用户生成的二维码)，可以扫描该身份标识码并将扫描结果传输至上述执行主体。
步骤302，获取承载物品的货架的重力传感数据。
货架上可以承载待交易的物品，且货架上承载的物品的重量可以被预先记录。在货架上的物品被取下或被放回的过程中，货架的重力传感数据会发生变化。可以在货架的重力传感数据发生变化时实时地获取货架的重力传感数据，也可以周期性地获取货架的重力传感数据。
步骤303，响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息。
可以将步骤302获取到的货架的重力传感数据与数据库中记录的上一次获取到的货架的重力数据进行比对，若货架的重力减小，则可以确定货架上的物品被取下。这时，可以结合货架的重力传感数据以及采集到的被取下的物品的图像来识别被取下的物品。具体可以采用图像识别方法识别出被取下的物品，然后结合重力传感数据判断基于图像的识别结果是否准确；或者可以首先根据重力传感数据确定被取下的物品的重量，在满足该重量的候选物品或候选物品集合中利用图像进行匹配。
本实施例的步骤302、步骤303分别与前述实施例的步骤201、步骤202一致，步骤302、步骤303的具体实现方式和可选实现方式，以及基于步骤302、步骤303的可选实现方式扩展的实施例的描述可分别参考前述实施例中步骤201、步骤202和相关内容的描述，此处不再赘述。
步骤304，根据当前使用者的身份信息，将订单信息关联至货架的当前使用者。
可以将步骤303生成的订单信息关联至步骤301获取到的当前使用者的身份信息。这样，可以将订单信息关联至对应的用户，完善了订单生成的流程。使用者接收到订单信息之后可以对订单进行支付、评价等操作。
本实施例能够自动地将订单与用户关联，通过使用者的身份信息有效区分不同使用者的订单，实现了更安全、更准确的订单生成。并且，由于生成的订单信息被关联至已获取身份信息的使用者，使用者可以自由地选择支付或评价的时间，提升了订单相关操作的灵活性。
可选地，在步骤302之前，信息生成方法的流程300还包括：
步骤305，响应于根据身份信息对货架的当前使用者鉴权成功，开启货架的使用权限。
在步骤301中获取的身份信息可以用于对当前使用者进行鉴权。上述执行主体可以预先获取具有使用权限的用户列表，然后根据当前使用者的身份信息判断当前使用者是否具有使用货架的权限。
上述具有使用权限的用户列表可以是满足预设条件的用户的列表，例如，在实际应用中，具有使用权限的用户列表可以包括已在无人售货平台注册的用户的列表，可以包括已完成实名制认证的用户的列表，还可以包括不存在未结算订单的用户的列表，等等。
如果确定当前使用者在具有使用权限的用户列表中，则可以开启货架的使用权限。在开启货架的使用权限之后，可以将货架从锁定状态切换为开启状态，还可以向货架上的重力传感器和用于采集货架上的物品图像的摄像头发送开启指令，以提供自动售货服务。
可选地，上述开启货架的使用权限，包括：向用于封锁货架的货柜门发送开启指令。自动售货***还可以包括货柜门，货柜门可以用于封锁货架，货柜门上可以设有电子锁。可以向货柜门上的电子锁发送开启指令。这样，在用户通过权限校验之后开启货柜门，能够保证货架不会被不具有权限的用户使用，提升安全性。
进一步可选地，在步骤304之后，信息生成方法的流程300还包括：响应于检测到货柜门关闭，推送订单信息。用户完成物品选择之后可以关闭货柜门，在检测到货柜门的电子锁恢复关闭状态时，可以确定当前使用者完成下单行为。可以将生成的订单信息推送至当前使用者的电子设备，或者将生成的订单信息推送至设置于货柜上的电子屏等显示设备进行展示，以帮助当前使用者准确地了解订单情况。
继续参考图4，其示出了根据本公开的信息生成方法的又一个实施例的流程。如图4所示，本实施例的信息生成方法的流程400，包括以下步骤：
步骤401，获取承载物品的货架的重力传感数据。
货架上可以承载待交易的物品，且货架上承载的物品的重量可以被预先记录。在货架上的物品被取下或被放回的过程中，货架的重力传感数据会发生变化。可以在货架的重力传感数据发生变化时实时地获取货架的重力传感数据，也可以周期性地获取货架的重力传感数据。
步骤402，响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息。
可以将步骤401获取到的货架的重力传感数据与数据库中记录的上一次获取到的货架的重力数据进行比对，若货架的重力减小，则可以确定货架上的物品被取下。这时，可以结合货架的重力传感数据以及采集到的被取下的物品的图像来识别被取下的物品。具体可以采用图像识别方法识别出被取下的物品，然后结合重力传感数据判断基于图像的识别结果是否准确；或者可以首先根据重力传感数据确定被取下的物品的重量，在满足该重量的候选物品或候选物品组合中利用图像进行匹配。
本实施例的步骤401、步骤402分别与前述实施例的步骤201、步骤202一致，步骤401、步骤402的具体实现方式和可选实现方式，以及基于步骤401、步骤402的可选实现方式扩展的实施例的描述可分别参考前述实施例中步骤201、步骤202和相关内容的描述，此处不再赘述。
步骤403，响应于根据重力传感数据确定货架上的物品被放回，检测货架的重力增量是否与最近一次检测到的货架的重力减少量一致。
可以将步骤401获取到的货架的重力传感数据与数据库中记录的上一次获取到的货架的重力数据进行比对，如果步骤401获取到的货架的重力传感数据高于数据库中记录的上一次获取到的货架的重力数据，即货架的重力数据值增大，则确定货架上的物品被放回。
可以进一步判断货架的重力增量是否与最近一次检测到的货架的重力减少量一致。在具体的应用场景中，若货架上的物品被取下之后放回货架，则货架的重力传感数据所表征的重力值先降低之后升高，且重力值降低的量与随后升高的量应当一致。则可以通过判断货架的重力增量与最近一次检测到的货架的重力减少量一致来判断使用者是否在取下物品之后又放回货架。如果二者一致，可以确定货架上被取下的物品随后被放回。这时，可以返回步骤401，继续获取货架的重力传感数据，并检测重力传感数据减小或增大以判断物品被取下或放回。
可选地，在确定使用者取下物品之后又放回货架时，可以确定用户放弃对被取下的物品下单，可以删除生成的订单信息，避免错误的订单生成，进一步保证生成的订单信息与用户操作行为和用户意图的一致性。
步骤404，响应于确定货架的重力增量与最近一次检测到的货架的重力减少量不一致，生成错误提示信息。
在本实施例中，如果检测到货架的重力增量与最近一次检测到的货架的重力减少量不一致，则可以生成错误提示信息。该错误提示信息可以是预先设定的，可以用于提示用户生成的订单信息存在疑问。
在实际场景中，如果检测到货架的重力增量与最近一次检测到的货架的重力减少量不一致，还可以将货架的重力传感数据、被取下的物品的图像等获取到的数据传输至后台服务端。服务端可以通过进一步分析数据或人工判别生成的订单信息是否有效，从而避免生成错误的订单造成用户的损失，同时保证订单信息包含用户取走的物品，不会发生遗漏，有助于提升订单信息的可靠性。
需要说明的是，在图4所示实施例的一些可选的实现方式中，信息生成方法的流程400也可以包括上述流程300中的步骤301、步骤304、步骤305以及响应于检测到货柜门关闭，推送订单信息的步骤。具体的实现方式可以参考针对图3所示实施例的描述，此处不再赘述。
继续参考图5，图5示出了根据本公开的信息生成方法的一个实际应用场景的流程示意图。
如图5所示，首先，顾客通过扫码或人脸识别的方式请求打开货柜门，在请求成功后，货柜门打开。这时，可以获取货架的重力传感数据，接着根据重力传感数据判断货架的重力增加或减少。若货架的重力减少，则获取被取下的物品的外观图像，并通过外观图像识别物品，若通过外观图像识别失败，可以进一步通过提示用户扫描物品的标识码来获取被取下的物品的标识码图像，通过标识码图像识别物品。若通过标识码图像识别物品失败，则生成错误提示。若通过外观图像或标识码图像识别物品成功，可以继续判断识别出的物品的重量是否与货架重力减少量一致，若一致，则生成该物品的订单信息。若识别出的物品的重量与货架重力减少量不一致，可以进行错误提示。
如果在获取到货架的重力传感数据之后，确定货架的重力增加，则继续判断重力增加量是否与上一次的减少量一致，若一致，可以确定顾客在取下物品后又放回货架，可以返回获取货架重力传感数据的步骤，并在货柜门被关闭之前持续检测货架的重力传感数据的变化。若货架的重力增加量与上一次的减少量不一致，也可以进行错误提示。
在检测到货柜门关闭后，可以将生成的订单信息推送至顾客的手机、货柜的电子显示屏等显示设备上，以告知顾客下单结果。
在实际的应用场景中，生成错误提示信息之后，可以将相关的信息发送至服务台，进行人工验证。服务台的监测人员可以根据图像、重力传感数据等来判断是否将订单关联至顾客的账户。
进一步参考图6，作为对上述各图所示方法的实现，本公开还提供了一种信息生成装置的一个实施例，该装置实施例与图2、图3和图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的信息生成装置600包括：第一获取单元601和第一生成单元602。其中，第一获取单元601被配置为获取承载物品的货架的重力传感数据；第一生成单元602被配置为响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息。
在一些实施例中，上述装置600还可以包括第二获取单元以及关联单元。其中，第二获取单元被配置为获取货架的当前使用者的身份信息；以及关联单元被配置为根据身份信息，将订单信息关联至货架的当前使用者。
在一些实施例中，上述货架的当前使用者的身份信息是按照如下方式获取的：基于采集到的货架的当前使用者的生物特征信息识别出货架的使用者的身份信息；和/或获取扫描当前使用者提供的身份标识码得到的货架的当前使用者的身份信息。
在一些实施例中，上述装置600还可以包括鉴权单元，被配置为在获取承载物品的货架的重力传感数据之前，响应于根据身份信息对货架的当前使用者鉴权成功，开启货架的使用权限。
在一些实施例中，上鉴权单元进一步被配置为：向用于封锁货架的货柜门发送开启指令。
在一些实施例中，上述装置600还可以包括：推送单元，被配置为响应于检测到货柜门关闭，推送订单信息。
在一些实施例中，上述被取下的物品的图像包括被取下的物品的外观图像；上述第一生成单元602进一步被配置为按照如下方式识别被取下的物品：根据重力传感数据确定货架在被取下物品后的重力变化量；根据获取到的被取下的物品的外观图像对被取下的物品进行识别，并在预存的物品重量表中查找根据外观图像识别出的物品的重量；响应于确定货架在被取下物品后的重力变化量与根据外观图像识别出的物品的重量一致，确定根据外观图像识别出的物品为被取下的物品。
在一些实施例中，上述装置还包括：第二生成单元，被配置为响应于确定货架在被取下物品后的重力变化量与根据外观图像识别出的物品的重量不一致，生成错误提示信息。
在一些实施例中，上述被取下的物品的图像还包括被取下的物品的标识码的图像；上述第一生成单元602进一步被配置为按照如下方式识别被取下的物品：响应于确定未从外观图像中识别出被取下的物品，生成请求当前使用者扫描被取下的物品的标识码的请求信息；获取当前使用者响应于接收到请求信息而提供的标识码的图像，确定标识码的图像所标识的物品的重量；响应于确定货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量一致，确定标识码的图像所标识的物品为被取下的物品。
在一些实施例中，上述装置还包括：第三生成单元，被配置为响应于确定货架在被取下物品后的重力变化量与标识码的图像所标识的物品的重量不一致，生成错误提示信息。
在一些实施例中，上述装置600还包括：检测单元，被配置为响应于根据重力传感数据确定货架上的物品被放回，检测货架的重力增量是否与最近一次检测到的货架的重力减少量一致；第四生成单元，被配置为响应于确定货架的重力增量与最近一次检测到的货架的重力减少量不一致，生成错误提示信息。
应当理解，装置600中记载的诸单元与参考图2、图3和图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置600及其中包含的单元，在此不再赘述。
本申请上述实施例的信息生成装置600，通过结合货架的重力传感数据和货架上被取下的物品的图像识别用户下单的物品，提升了订单信息的准确性，且适用于各种材质各形态的物品，拓展了自动售货场景的使用范围。
本公开还提供了一种用于人机交互的设备。下面参考图7，其示出了本公开的用于人机交互的设备的一个实施例的硬件结构示意图。在具体的实现中，用于人机交互的设备可以是图1所示***架构中的自动售货设备或服务器。
如图7所示，用于人机交互的设备700包括诸如CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)等的处理器701、存储装置702、输入单元703和输出单元704。其中，处理器701、存储装置702、输入单元703以及输出单元704通过总线705彼此相连。在此，根据本公开的实施例的方法可以被实现为计算机程序，并且存储在存储装置702中。用于人机交互的设备700中的处理器701通过调用存储装置702中存储的上述计算机程序，来具体实现本公开的实施例的方法中限定的信息生成功能。在一些实现方式中，输入单元703可以包括传感器等可用于获取货架上的物品状态信息的设备，输出单元704可以是显示屏、扬声器等可用于展示文本、图像、音频等形式的输出信息的设备。由此，处理器701在调用上述计算机程序执行信息生成功能时，可以控制输入单元703从外部传感器获取货架上的物品的状态信息，以及控制输出单元704输出生成的信息。
在一些实现方式中，用于人机交互的设备可以是自动售货机，还可以包括用于承载物品的货架，输入单元703可以包括设置在货架上的用于感应货架的重力变化的重力传感器，以及采集从货架上取下的物品的图像的摄像头。输入单元703可以将获取到的信息通过总线705传输至存储装置702和处理器701，处理器701获取重力传感数据和从货架上取下的物品的图像，并从存储装置702调用计算机程序来执行上述实施例的信息生成方法。
在一些实施例中，用于人机交互的设备700的输出单元703可以包括电子屏。电子屏用于向用于人机交互的设备700的使用者提供交互界面。处理器701还通过电子屏提供的交互界面获取使用者的身份信息，根据使用者的身份信息将生成的订单信息与使用者关联。
在一些实施例中，上述摄像头还获取使用者的生物特征信息；处理器还根据使用者的生物特征信息确定使用者的身份信息，根据使用者的身份信息将生成的订单信息与使用者关联。
在一些实施例中，用于人机交互的设备700还可以包括货柜门，货柜门用于封锁货架，货柜门上设有电子锁；处理器还响应于根据身份信息对货架的使用者鉴权成功，向货柜门上的电子锁发送开启指令。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，或者从存储装置702被安装。在该计算机程序被处理器701执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述用于人机交互的设备中所包含的；也可以是单独存在，而未装配入该用于人机交互的设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该用于人机交互的设备执行时，使得该用于人机交互的设备：获取承载物品的货架的重力传感数据；响应于根据重力传感数据确定货架上的物品被取下，根据重力传感数据和获取到的被取下的物品的图像识别被取下的物品，并生成被取下的物品的订单信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元和第一生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取承载物品的货架的重力传感数据的单元”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种信息生成方法，包括：
获取承载物品的货架的重力传感数据；
响应于根据所述重力传感数据确定所述货架上的物品被取下，根据所述重力传感数据和获取到的所述被取下的物品的图像识别被取下的物品，并生成所述被取下的物品的订单信息。
2.根据权利要求1所述的方法，其中，所述方法还包括：
获取货架的当前使用者的身份信息；以及
根据所述身份信息，将所述订单信息关联至所述货架的当前使用者。
3.根据权利要求2所述的方法，其中，所述货架的当前使用者的身份信息是按照如下方式获取的：
基于采集到的所述货架的当前使用者的生物特征信息识别出所述货架的使用者的身份信息；和/或
获取扫描所述当前使用者提供的身份标识码得到的所述货架的当前使用者的身份信息。
4.根据权利要求2所述的方法，其中，在获取承载物品的货架的重力传感数据之前，所述方法还包括：
响应于根据所述身份信息对所述货架的当前使用者鉴权成功，开启所述货架的使用权限。
5.根据权利要求4所述的方法，其中，所述开启所述货架的使用权限，包括：
向用于封锁所述货架的货柜门发送开启指令。
6.根据权利5所述的方法，其中，所述方法还包括：
响应于检测到所述货柜门关闭，推送所述订单信息。
7.根据权利要求1所述的方法，其中，所述被取下的物品的图像包括所述被取下的物品的外观图像；
所述根据所述重力传感数据和获取到的所述被取下的物品的图像识别被取下的物品，包括：
根据所述重力传感数据确定所述货架在被取下所述物品后的重力变化量；
根据获取到的所述被取下的物品的外观图像对被取下的物品进行识别，并在预存的物品重量表中查找根据所述外观图像识别出的物品的重量；
响应于确定所述货架在被取下所述物品后的重力变化量与根据所述外观图像识别出的物品的重量一致，确定根据所述外观图像识别出的物品为所述被取下的物品。
8.根据权利要求7所述的方法，其中，所述方法还包括：
响应于确定所述货架在被取下所述物品后的重力变化量与根据所述外观图像识别出的物品的重量不一致，生成错误提示信息。
9.根据权利要求7所述的方法，其中，所述被取下的物品的图像还包括所述被取下的物品的标识码的图像；
在根据获取到的所述被取下的物品的外观图像对被取下的物品进行识别之后，所述根据所述重力传感数据和获取到的所述被取下的物品的图像识别被取下的物品，还包括：
响应于确定未从所述外观图像中识别出所述被取下的物品，生成请求当前使用者扫描被取下的物品的标识码的请求信息；
获取所述当前使用者响应于接收到所述请求信息而提供的标识码的图像，确定所述标识码的图像所标识的物品的重量；
响应于确定所述货架在被取下所述物品后的重力变化量与所述标识码的图像所标识的物品的重量一致，确定所述标识码的图像所标识的物品为被取下的物品。
10.根据权利要求9所述的方法，其中，所述方法还包括：
响应于确定所述货架在被取下所述物品后的重力变化量与所述标识码的图像所标识的物品的重量不一致，生成错误提示信息。
11.根据权利要求1-10任一项所述的方法，其中，所述方法还包括：
响应于根据所述重力传感数据确定所述货架上的物品被放回，检测所述货架的重力增量是否与最近一次检测到的所述货架的重力减少量一致；
响应于确定所述货架的重力增量与最近一次检测到的所述货架的重力减少量不一致，生成错误提示信息。
12.一种信息生成装置，包括：
第一获取单元，被配置为获取承载物品的货架的重力传感数据；
第一生成单元，被配置为响应于根据所述重力传感数据确定所述货架上的物品被取下，根据所述重力传感数据和获取到的所述被取下的物品的图像识别被取下的物品，并生成所述被取下的物品的订单信息。
13.一种用于人机交互的设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
14.根据权利要求13所述的设备，其中，所述用于人机交互的设备还包括：
用于承载物品的货架，所述货架上设置有用于感应所述货架的重力变化的重力传感器；
摄像头，所述摄像头采集从所述货架上取下的物品的图像；以及
所述处理器还获取所述货架的重力传感数据和从所述货架上取下的物品的图像。
15.根据权利要求14所述的设备，其中，所述用于人机交互的设备还包括：
电子屏，用于向所述用于人机交互的设备的使用者提供交互界面；
所述处理器还通过所述电子屏提供的交互界面获取使用者的身份信息，根据所述使用者的身份信息将生成的订单信息与所述使用者关联。
16.根据权利要求15所述的设备，其中，所述摄像头还获取所述使用者的生物特征信息；
所述处理器还根据所述使用者的生物特征信息确定所述使用者的身份信息，根据所述使用者的身份信息将生成的订单信息与所述使用者关联。
17.根据权利要求15或16所述的设备，其中，所述用于人机交互的设备还包括：
货柜门，所述货柜门封锁所述货架，所述货柜门上设有电子锁；
所述处理器还响应于根据所述身份信息对所述货架的使用者鉴权成功，向所述货柜门上的电子锁发送开启指令。
18.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
CN201910105231.1A 2019-02-01 2019-02-01 信息生成方法和装置、用于人机交互的设备 Active CN111523348B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910105231.1A CN111523348B (zh) 2019-02-01 2019-02-01 信息生成方法和装置、用于人机交互的设备
US16/674,492 US11328568B2 (en) 2019-02-01 2019-11-05 Method and apparatus for generating information, and device for human-computer interaction
JP2019202342A JP7030092B2 (ja) 2019-02-01 2019-11-07 情報生成方法及び装置並びにヒューマンコンピュータインタラクションのための装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910105231.1A CN111523348B (zh) 2019-02-01 2019-02-01 信息生成方法和装置、用于人机交互的设备

Publications (2)

Publication Number Publication Date
CN111523348A true CN111523348A (zh) 2020-08-11
CN111523348B CN111523348B (zh) 2024-01-05

Family

ID=71838548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910105231.1A Active CN111523348B (zh) 2019-02-01 2019-02-01 信息生成方法和装置、用于人机交互的设备

Country Status (3)

Country Link
US (1) US11328568B2 (zh)
JP (1) JP7030092B2 (zh)
CN (1) CN111523348B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112466035B (zh) * 2019-09-06 2022-08-12 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品识别方法、装置和***
CN112613950B (zh) * 2020-12-28 2024-03-29 上海寻梦信息技术有限公司 品类识别模型训练方法、品类识别方法及相关设备
CN114463899B (zh) * 2022-01-28 2023-12-19 上海商汤科技开发有限公司 物品存放方法、装置、存储柜、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203630863U (zh) * 2013-12-23 2014-06-04 在线宝科技有限公司 一种具有人脸识别模块的自动售货机
JP2015088166A (ja) * 2013-09-26 2015-05-07 パナソニックＩｐマネジメント株式会社 情報提供方法
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、***及存储介质
WO2018143126A1 (ja) * 2017-01-31 2018-08-09 パナソニックＩｐマネジメント株式会社 物品管理システム、物品管理装置、管理装置および物品管理方法
CN108492157A (zh) * 2017-12-18 2018-09-04 上海云拿智能科技有限公司 无人售货***及无人售货方法
CN108537531A (zh) * 2018-03-27 2018-09-14 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN108831013A (zh) * 2018-05-22 2018-11-16 深圳云行智能科技有限公司 无人售货方法、装置、***及计算机设备
JP2018206159A (ja) * 2017-06-06 2018-12-27 株式会社 ディー・エヌ・エー 商品を管理するためのシステム、方法、及びプログラム
CN109102361A (zh) * 2018-07-24 2018-12-28 湖南餐智科技有限公司 一种基于智能电子秤的物品订单确认方法及***

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204763B1 (en) * 1999-03-22 2001-03-20 Jujitsu Limited Household consumable item automatic replenishment system including intelligent refrigerator
US20130235206A1 (en) * 2012-03-12 2013-09-12 Numerex Corp. System and Method of On-Shelf Inventory Management
US10332183B1 (en) * 2014-03-28 2019-06-25 Amazon Technologies, Inc. Fulfilling items to users
US20180165626A1 (en) * 2014-07-31 2018-06-14 Cloverleaf Media, LLC Merchandising communication and stock-out condition monitoring system
US10810540B1 (en) * 2015-03-30 2020-10-20 Amazon Technologies, Inc. Item determination based on weight data
US10332066B1 (en) * 2015-03-30 2019-06-25 Amazon Technologies, Inc. Item management system using weight
JP2017076338A (ja) 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置、および情報処理方法、ウェアラブル端末、並びにプログラム
US10007892B1 (en) * 2016-03-28 2018-06-26 Amazon Technologies, Inc. Capacitive sensor system
WO2017175707A1 (ja) * 2016-04-06 2017-10-12 日本電気株式会社 物体種類特定装置、物体種類特定方法及び記録媒体
US11087275B2 (en) * 2016-04-15 2021-08-10 The Coca-Cola Company Shelf inventory management system
US11042840B2 (en) * 2016-11-17 2021-06-22 Freshub Ltd System and a method for managing inventory
WO2018203965A1 (en) * 2017-05-01 2018-11-08 Walmart Apollo, Llc System for autonomous configuration of product displays
US10643059B2 (en) * 2018-01-10 2020-05-05 Trax Technology Solutions Pte Ltd. Inspecting store shelf capacity
US10885336B1 (en) * 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
US10846780B2 (en) * 2018-03-21 2020-11-24 Amazon Technologies, Inc. Order quantity and product recommendations based on sensor data
US11481726B2 (en) * 2018-09-05 2022-10-25 Trax Technology Solutions Pte Ltd. Managing inventory of perishable products
WO2020158970A1 (ko) * 2019-01-30 2020-08-06 엘지전자 주식회사 재고 관리 로봇

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088166A (ja) * 2013-09-26 2015-05-07 パナソニックＩｐマネジメント株式会社 情報提供方法
CN203630863U (zh) * 2013-12-23 2014-06-04 在线宝科技有限公司 一种具有人脸识别模块的自动售货机
WO2018143126A1 (ja) * 2017-01-31 2018-08-09 パナソニックＩｐマネジメント株式会社 物品管理システム、物品管理装置、管理装置および物品管理方法
JP2018206159A (ja) * 2017-06-06 2018-12-27 株式会社 ディー・エヌ・エー 商品を管理するためのシステム、方法、及びプログラム
CN108492157A (zh) * 2017-12-18 2018-09-04 上海云拿智能科技有限公司 无人售货***及无人售货方法
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、***及存储介质
CN108537531A (zh) * 2018-03-27 2018-09-14 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN108831013A (zh) * 2018-05-22 2018-11-16 深圳云行智能科技有限公司 无人售货方法、装置、***及计算机设备
CN109102361A (zh) * 2018-07-24 2018-12-28 湖南餐智科技有限公司 一种基于智能电子秤的物品订单确认方法及***

Also Published As

Publication number Publication date
US11328568B2 (en) 2022-05-10
US20200250949A1 (en) 2020-08-06
JP2020191062A (ja) 2020-11-26
CN111523348B (zh) 2024-01-05
JP7030092B2 (ja) 2022-03-04

Similar Documents

Publication Publication Date Title
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、***及存储介质
US20230017398A1 (en) Contextually aware customer item entry for autonomous shopping applications
CN108053204B (zh) 自动结算方法及售卖设备
WO2019161651A1 (zh) 无人售货方法及装置
EP3510571A1 (en) Order information determination method and apparatus
US10902237B1 (en) Utilizing sensor data for automated user identification
CN108520409B (zh) 一种快速结账方法、装置及电子设备
CN108171172A (zh) 自助购物方法、自助售卖机及计算机可读存储介质
CN107800765B (zh) 一种信息处理方法、终端及***
US20200193404A1 (en) An automatic in-store registration system
CN111523348B (zh) 信息生成方法和装置、用于人机交互的设备
US20190370885A1 (en) Data processing method, device and storage medium
CN110060413B (zh) 物品的出售方法和装置、存储介质及电子装置
CN114387735A (zh) 一种提取货物的方法、装置及***
CN109934569B (zh) 结算方法、装置和***
US10719673B2 (en) System and method for collecting and/or retrieving information relating to objects
CN108171286B (zh) 无人售货方法及其***
US20200104565A1 (en) Context-aided machine vision item differentiation
US11763363B2 (en) Method, system, and medium for managing suspended customer transactions in a retail environment
US20170262795A1 (en) Image in-stock checker
CN112435025B (zh) 物品信息记录方法、装置、设备及介质
US20230048635A1 (en) System and method for fast checkout using a detachable computerized device
CN107316413B (zh) 支付方法、装置、存储介质及电子设备
CN111199396B (zh) 一种自助购物方法和***
US20110317010A1 (en) System and method for tracking a person in a pre-defined area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant