CN111310585B - 用于生成信息的方法和装置 - Google Patents

用于生成信息的方法和装置 Download PDF

Info

Publication number
CN111310585B
CN111310585B CN202010062771.9A CN202010062771A CN111310585B CN 111310585 B CN111310585 B CN 111310585B CN 202010062771 A CN202010062771 A CN 202010062771A CN 111310585 B CN111310585 B CN 111310585B
Authority
CN
China
Prior art keywords
position information
information
user
distance
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010062771.9A
Other languages
English (en)
Other versions
CN111310585A (zh
Inventor
白瑞斌
罗宇轩
马明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010062771.9A priority Critical patent/CN111310585B/zh
Publication of CN111310585A publication Critical patent/CN111310585A/zh
Application granted granted Critical
Publication of CN111310585B publication Critical patent/CN111310585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括：获取待取放物品的位置信息和用户的位置信息集合，其中，该用户的位置信息集合中包括表征与待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息；根据该用户的位置信息集合中的位置信息所指示的至少一个人体关键点与该待取放物品之间的距离，生成对应的距离信息集合；根据所生成的距离信息所指示的距离，从该用户的位置信息集合中确定至少一个准匹配位置信息；根据该至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。该实施方式提高了复杂购物情景下的用户与购买的商品之间的关联精度和准确性。

Description

用于生成信息的方法和装置
技术领域
本公开的实施例涉及计算机技术领域，具体涉及用于生成信息的方法和装置。
背景技术
随着互联网技术的飞速发展，以“无人零售”为代表的无人值守服务技术也取得了越来越广泛的应用。
在无人零售店***中，主要采用人脸识别、机器视觉、深度学习算法等技术实现自动识别消费者购买的商品。相关的方式通常是利用顾客的手腕关键点与货物之间的距离来判断是否对顾客和货物进行关联，从而确定顾客的购物行为。
发明内容
本公开的实施例提出了用于生成信息的方法和装置。
第一方面，本公开的实施例提供了一种用于生成信息的方法，该方法包括：获取待取放物品的位置信息和用户的位置信息集合，其中，用户的位置信息集合中包括表征与待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息；根据用户的位置信息集合中的位置信息所指示的至少一个人体关键点与待取放物品之间的距离，生成与至少一个人体关键点对应的距离信息集合；根据所生成的距离信息集合中的距离信息所指示的距离，从用户的位置信息集合中确定至少一个准匹配位置信息，其中，准匹配位置信息与距离信息集合对应；根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。
在一些实施例中，上述根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息，包括：响应于确定准匹配位置信息的数目为1，根据用户的位置信息集合中包括的位置信息的数目，生成准匹配位置信息对应的置信度，其中，置信度与用户的位置信息集合中包括的位置信息所指示的用户的数目负相关；生成包括表征准匹配位置信息所指示的用户与待取放物品之间具备关联关系以及置信度的用户物品取放信息。
在一些实施例中，上述根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息，包括：响应于确定准匹配位置信息的数目大于1，根据至少一个准匹配位置信息所指示的用户是否一致，生成表征匹配位置信息所指示的用户与待取放物品之间具备关联关系的用户物品取放信息，其中，匹配位置信息基于至少一个准匹配位置信息而确定。
在一些实施例中，上述根据至少一个准匹配位置信息所指示的用户是否一致，生成表征匹配位置信息所指示的用户与待取放物品之间具备关联关系的用户物品取放信息，包括：响应于确定至少一个准匹配位置信息所指示的用户不一致，根据准匹配位置信息对应的距离信息所指示的距离，生成用户物品取放信息。
在一些实施例中，上述用户物品取放信息中还包括置信度，上述置信度与用户的位置信息集合中包括的位置信息所指示的用户的数目负相关；以及上述生成表征匹配位置信息所指示的用户与待取放物品之间具备关联关系的用户物品取放信息，包括：确定各准匹配位置信息对应的置信度；根据准匹配位置信息对应的距离信息所指示的距离，生成包括表征匹配位置信息所指示的用户与待取放物品之间具备关联联系以及与匹配位置信息对应的置信度的用户物品取放信息。
在一些实施例中，人体关键点包括手腕关键点；以及上述根据用户的位置信息集合中的位置信息所指示的至少一个人体关键点与待取放物品之间的距离，生成与至少一个人体关键点对应的距离信息集合，包括：对于用户的位置信息集合中的位置信息，确定距离待取放物品的预设范围内是否存在与该位置信息所指示的手腕关键点对应的人体辅助关键点，其中，人体辅助关键点与手腕关键点满足人体骨架约束；基于人体辅助关键点是否存在，生成与该位置信息所指示的手腕关键点对应的距离信息，其中，该距离信息与手腕关键点距待取放物品的距离正相关；基于所生成的距离信息，生成与手腕关键点对应的距离信息集合。
在一些实施例中，上述生成与该位置信息所指示的手腕关键点对应的距离信息，包括：响应于确定人体辅助关键点不存在，生成该位置信息所指示的手腕关键点与待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在一些实施例中，上述生成与该位置信息所指示的手腕关键点对应的距离信息，包括：响应于确定人体辅助关键点存在，获取人体辅助关键点的位置信息；生成该位置信息所指示的手腕关键点与垂足的距离，作为延展距离，其中，垂足为该位置信息所指示的手腕关键点和对应的人体辅助关键点所在直线与垂线的交点，待取放物品位于垂线上；基于延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息。
在一些实施例中，上述基于延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息，包括：响应于确定延展距离小于预设距离阈值，生成待取放物品与垂足之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在一些实施例中，上述基于延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息，包括：响应于确定延展距离大于等于预设距离阈值，生成该位置信息所指示的手腕关键点与待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在一些实施例中，位置信息包括表征位置的三维位置信息；以及上述获取待取放物品的位置信息和用户的位置信息集合，包括：获取针对待取放物品所在预设区域内拍摄的二维图像作为目标图像，其中，目标图像中显示有与待取放物品的位置相关联的用户；将目标图像输入至预先训练的用户位置检测模型，得到与目标图像对应的第一人体关键点信息组和第二人体关键点信息组，其中，第一人体关键点信息组用于表征用户的人体显示在目标图像中的位置，第二人体关键点信息组用于表征用户的人体局部关键点显示在目标图像中的位置；获取与目标图像对应的深度图像；基于深度图像、第一人体关键点信息组和第二人体关键点信息组，生成用户的位置信息集合。
在一些实施例中，上述获取与目标图像对应的深度图像，包括：基于双目立体视觉获取深度图像；以及上述基于深度图像、第一人体关键点信息组和第二人体关键点信息组，生成用户的位置信息集合，包括：根据深度图像将第一人体关键点信息组所指示的至少一个第一人体关键点和第二人体关键点信息组所指示的至少一个第二人体关键点投影到三维世界坐标系；根据待取放物品所在的货架的高度，对投影后的至少一个第一人体关键点和至少一个第二人体关键点的位置信息中指示高度的值进行修正；根据修正后的位置信息，生成用户的位置信息集合。
第二方面，本公开的实施例提供了一种用于生成信息的装置，该装置包括：获取单元，被配置成获取待取放物品的位置信息和用户的位置信息集合，其中，用户的位置信息集合中包括表征与待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息；第一生成单元，被配置成根据用户的位置信息集合中的位置信息所指示的至少一个人体关键点与待取放物品之间的距离，生成与至少一个人体关键点对应的距离信息集合；确定单元，被配置成根据所生成的距离信息集合中的距离信息所指示的距离，从用户的位置信息集合中确定至少一个准匹配位置信息，其中，准匹配位置信息与距离信息集合对应；第二生成单元，被配置成根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。
在一些实施例中，上述第二生成单元进一步被配置成：响应于确定准匹配位置信息的数目为1，根据用户的位置信息集合中包括的位置信息的数目，生成准匹配位置信息对应的置信度，其中，置信度与用户的位置信息集合中包括的位置信息所指示的用户的数目负相关；生成包括表征准匹配位置信息所指示的用户与待取放物品之间具备关联关系以及置信度的用户物品取放信息。
在一些实施例中，上述第二生成单元进一步被配置成：响应于确定准匹配位置信息的数目大于1，根据至少一个准匹配位置信息所指示的用户是否一致，生成表征匹配位置信息所指示的用户与待取放物品之间具备关联关系的用户物品取放信息，其中，匹配位置信息基于至少一个准匹配位置信息而确定。
在一些实施例中，上述第二生成单元进一步被配置成：响应于确定至少一个准匹配位置信息所指示的用户不一致，根据准匹配位置信息对应的距离信息所指示的距离，生成用户物品取放信息。
在一些实施例中，上述用户物品取放信息中还包括置信度，置信度与用户的位置信息集合中包括的位置信息所指示的用户的数目负相关；以及上述第二生成单元包括：确定模块，被配置成确定各准匹配位置信息对应的置信度；第一生成模块，被配置成根据准匹配位置信息对应的距离信息所指示的距离，生成包括表征匹配位置信息所指示的用户与待取放物品之间具备关联联系以及与匹配位置信息对应的置信度的用户物品取放信息。
在一些实施例中，人体关键点包括手腕关键点；以及上述第一生成单元包括：第二生成模块，被配置成对于用户的位置信息集合中的位置信息，确定距离待取放物品的预设范围内是否存在与该位置信息所指示的手腕关键点对应的人体辅助关键点，其中，人体辅助关键点与手腕关键点满足人体骨架约束；基于人体辅助关键点是否存在，生成与该位置信息所指示的手腕关键点对应的距离信息，其中，该距离信息与手腕关键点距待取放物品的距离正相关；第三生成模块，被配置成基于所生成的距离信息，生成与手腕关键点对应的距离信息集合。
在一些实施例中，上述第二生成模块进一步被配置成：响应于确定人体辅助关键点不存在，生成该位置信息所指示的手腕关键点与待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在一些实施例中，上述第二生成模块进一步被配置成：响应于确定人体辅助关键点存在，获取人体辅助关键点的位置信息；生成该位置信息所指示的手腕关键点与垂足的距离，作为延展距离，其中，垂足为该位置信息所指示的手腕关键点和对应的人体辅助关键点所在直线与垂线的交点，待取放物品位于垂线上；基于延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息。
在一些实施例中，上述第二生成模块进一步被配置成：响应于确定延展距离小于预设距离阈值，生成待取放物品与垂足之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在一些实施例中，上述第二生成模块进一步被配置成：响应于确定延展距离大于等于预设距离阈值，生成该位置信息所指示的手腕关键点与待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在一些实施例中，位置信息包括表征位置的三维位置信息；以及上述获取单元，包括：第一获取模块，被配置成获取针对待取放物品所在预设区域内拍摄的二维图像作为目标图像，其中，目标图像中显示有与待取放物品的位置相关联的用户；第四生成模块，被配置成将目标图像输入至预先训练的用户位置检测模型，得到与目标图像对应的第一人体关键点信息组和第二人体关键点信息组，其中，第一人体关键点信息组用于表征用户的人体显示在目标图像中的位置，第二人体关键点信息组用于表征用户的人体局部关键点显示在目标图像中的位置；第二获取模块，被配置成获取与目标图像对应的深度图像；第五生成模块，被配置成基于深度图像、第一人体关键点信息组和第二人体关键点信息组，生成用户的位置信息集合。
在一些实施例中，上述第二获取模块进一步被配置成：基于双目立体视觉获取深度图像；以及上述第五生成模块，包括：投影子模块，被配置成根据深度图像将第一人体关键点信息组所指示的至少一个第一人体关键点和第二人体关键点信息组所指示的至少一个第二人体关键点投影到三维世界坐标系；修正子模块，被配置成根据待取放物品所在的货架的高度，对投影后的至少一个第一人体关键点和至少一个第二人体关键点的位置信息中指示高度的值进行修正；生成子模块，被配置成根据修正后的位置信息，生成用户的位置信息集合。
第三方面，本公开的实施例提供了一种服务器，该服务器包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的实施例提供的用于生成信息的方法和装置，首先，获取待取放物品的位置信息和用户的位置信息集合。其中，用户的位置信息集合中包括表征与待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息。而后，根据用户的位置信息集合中的位置信息所指示的至少一个人体关键点与待取放物品之间的距离，生成与至少一个人体关键点对应的距离信息集合。接下来，根据所生成的距离信息集合中的距离信息所指示的距离，从用户的位置信息集合中确定至少一个准匹配位置信息。其中，上述准匹配位置信息与距离信息集合对应。最后，根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。从而通过引入不同人体关键点与待取放物品之间的距离度量作为确定用户与待取放物品之间的关联性的重要参考，弥补了仅凭借手腕关键点检测结果来估计上述关联性的局限性，实现了有效地提高复杂购物情景下的用户与购买的商品之间的关联精度和准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性***架构图；
图2是根据本公开的用于生成信息的方法的一个实施例的流程图；
图3是根据本公开的实施例的用于生成信息的方法的一个应用场景的示意图；
图4是根据本公开的用于生成信息的方法的又一个实施例的流程图；
图5a、图5b、图5c是根据本公开的用于生成信息的方法的一个实施例中确定距离信息的步骤的示意图；
图6是根据本公开的用于生成信息的装置的一个实施例的结构示意图；
图7是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于生成信息的方法或用于生成信息的装置的示例性架构100。
如图1所示，***架构100可以包括终端设备101、102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102通过网络103与服务器104交互，以接收或发送消息等。终端设备101、102可以是硬件，也可以是软件。当终端设备101、102为硬件时，终端设备101可以是具有摄像头并且支持图像传输的各种电子设备，包括但不限于各种深度摄像机，例如结构光(Structured light)深度相机、光飞行时间(Time of Flight，TOF)深度相机、双目立体视觉(Binocular Stereo Vision)深度相机等等；终端设备102可以是具有显示屏作为监控或核算终端的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器104可以是提供各种服务的服务器，例如对终端设备101发送的图像进行分析处理的后台服务器。后台服务器可以对终端设备101发送的图像进行各种分析处理，并将处理结果(例如用户与购买商品的金额之间的关联关系)发送给终端设备102，用以进行核算确认或支付操作。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本公开的实施例所提供的用于生成信息的方法一般由服务器104执行，相应地，用于生成信息的装置一般设置于服务器104中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本公开的用于生成信息的方法的一个实施例的流程200。该用于生成信息的方法包括以下步骤：
步骤201，获取待取放物品的位置信息和用户的位置信息集合。
在本实施例中，用于生成信息的方法的执行主体(如图1所示的服务器104)可以通过有线连接方式或者无线连接方式获取待取放物品的位置信息和用户的位置信息集合。其中，上述用户的位置信息集合中可以包括表征与上述待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息。上述与待取放物品的位置相关联的用户可以包括距离待取放物品的距离小于预设阈值的用户，也可以包括位于针对上述待取放物品拍摄的拍摄区域的用户。上述人体关键点可以包括用于识别人体及人体姿态的关键点。其可以包括但不限于以下至少一项：头部关键点，肩部关键点，手部关键点，肘部关键点。
具体地，上述执行主体可以获取预先存储于本地的待取放物品的位置信息和用户的位置信息集合，也可以获取与之通信连接的电子设备(例如图1所示的终端设备)发送的待取放物品的位置信息和用户的位置信息集合。其中，上述待取放物品的位置信息例如可以根据预设的物品放置的货架的位置来确定。上述用户的至少一个人体关键点的位置信息可以通过预先标注获得，也可以通过人体关键点识别方法而获得。上述位置信息可以是用于表征显示在二维图像中的位置的信息，也可以是用于表征投射到三维世界坐标系中的位置的信息。
在本实施例的一些可选的实现方式中，上述位置信息可以包括表征位置的三维位置信息。上述执行主体可以按照如下步骤获取待取放物品的位置信息和用户的位置信息集合：
第一步，获取针对待取放物品所在预设区域内拍摄的二维图像作为目标图像。
在这些实现方式中，上述执行主体通常可以从与之通信连接的电子设备(例如图1所示的终端设备)获取针对待取放物品所在预设区域内拍摄的二维图像。而后，上述执行主体可以将上述获取的二维图像作为目标图像。其中，上述目标图像中可以显示有与上述待取放物品的位置相关联的用户。
第二步，将目标图像输入至预先训练的用户位置检测模型，得到与目标图像对应的第一人体关键点信息组和第二人体关键点信息组。
在这些实现方式中，上述第一人体关键点信息组可以用于表征用户的人体显示在上述目标图像中的位置。上述第一人体关键点可以包括但不限于以下至少一项：头部，肩部，人体识别检测框的中心点。上述第二人体关键点信息组可以用于表征用户的人体局部关键点显示在上述目标图像中的位置。上述第二人体关键点可以包括但不限于以下至少一项：手腕，手肘，手臂。
在这些实现方式中，上述用户位置检测模型可以包括各种利用机器学习方法进行训练的、用于检测用户位置的模型。作为示例，上述用户位置检测模型可以通过以下步骤训练得到：
S1、获取初始用户位置检测模型。
在这些实现方式中，上述初始用户位置检测模型可以包括全局上下文网络(global context network，GCNet)和高分辨率网络(HighResolution Net，HRNet)。
S2、获取训练样本集合。
在这些实现方式中，上述训练样本集合中的每个训练样本可以包括样本图像和样本标注信息。其中，上述样本标注信息可以包括样本第一人体关键点信息组和样本第二人体关键点信息组。上述样本第一人体关键点信息组和样本第二人体关键点信息组可以基于人工标注的样本第一人体关键点和样本第二人体关键点的位置而生成。
S3、利用机器学习的方法，将训练样本集合中的样本图像作为初始用户位置检测模型的输入，将与输入的样本图像对应的样本第一人体关键点信息组和样本第二人体关键点信息组作为期望输出，训练得到上述用户位置检测模型。
基于上述可选的实现方式，上述执行主体可以利用上述用户位置检测模型得到表征用户的人体所在的位置信息和用户的人体局部特征点所在位置信息。在多用户同时位于待取放物品所处的货架前或存在遮挡等情况下，可以将不同的人体关键点的位置信息作为确定用户位置的参考依据。从而既可以减少因个别人体关键点检测不到而引起的漏检，又可以提升确定用户位置的准确性。
第三步，获取与目标图像对应的深度图像。
在这些实现方式中，上述执行主体可以通过各种方式获取与上述第一步所获取的目标图像对应的深度图像。作为示例，上述执行主体可以通过结构光深度相机或光飞行时间深度相机等获取上述深度图像。
可选地，上述执行主体还可以基于双目立体视觉获取上述深度图像。具体地，上述执行主体可以首先从两个安装在预定位置的已标定相机获取上述目标图像。而后，上述执行主体可以根据上述已标定相机的内外参，通过各种双目校正和双目立体匹配方法确定深度信息。之后，上述执行主体可以根据所确定深度信息生成上述深度图像。
第四步，基于深度图像、第一人体关键点信息组和第二人体关键点信息组，生成用户的位置信息集合。
在这些实现方式中，基于深度图像，上述执行主体可以将上述第一人体关键点信息组和第二人体关键点信息组所指示的第一人体关键点和第二人体关键点的二维坐标投影到三维世界坐标系。从而，可以生成包括指示上述至少一个第一人体关键点和至少一个第二人体关键点的三维位置的用户的位置信息集合。
可选地，基于上述基于双目立体视觉获取上述深度图像的实现方式，上述执行主体还可以按照如下步骤生成用户的位置信息集合：
S1、根据深度图像将第一人体关键点信息组所指示的至少一个第一人体关键点和第二人体关键点信息组所指示的至少一个第二人体关键点投影到三维世界坐标系。
S2、根据待取放物品所在的货架的高度，对投影后的至少一个第一人体关键点和至少一个第二人体关键点的位置信息中指示高度的值进行修正。
在这些实现方式中，根据待取放物品所在的货架的高度，上述执行主体可以对投影后的至少一个第一人体关键点和至少一个第二人体关键点的位置信息中指示高度的值进行修正。作为示例，根据待取放物品所在的货架的高度，上述执行主体可以将投影后的至少一个第一人体关键点和至少一个第二人体关键点中特定关键点(例如手腕关键点)的位置信息中指示高度的值进行修正，例如增加一个修正值。其中，上述修正值与根据待取放物品所在的货架的高度相匹配。上述修正值例如可以根据货架的高度等先验知识来确定。
S3、根据修正后的位置信息，生成用户的位置信息集合。
基于上述可选的实现方式，可以利用用户在取放位于不同高度的货架上的物品时，手腕等关键点的位置与货架之间的距离存在一定的偏差对基于双目立体视觉获取的深度图像而生成的指示特定人体关键点的位置高度的信息进行修正。例如，当用户取放位于高层货架(例如与头部高度相当)的物品时，手腕位置的高度通常与待取放物品所处的货架的高度接近；当用户取放位于低层货架(例如高度在腰部以下)的物品时，手腕位置的高度通常高于待取放物品所处的货架的高度。从而既可以充分发挥双目立体视觉方式成本低廉、易于大规模推广应用的优势，又可以通过高度修正来减小准确度方面的偏差。
步骤202，根据用户的位置信息集合中的位置信息所指示的至少一个人体关键点与待取放物品之间的距离，生成与至少一个人体关键点对应的距离信息集合。
在本实施例中，对于上述用户的位置信息集合中所表征的不同用户的同一人体关键点的位置信息，上述执行主体可以首先确定该位置信息所指示的人体关键点与待取放物品之间的距离。而后，上述执行主体可以根据所确定的距离生成对应的距离信息。其中，上述距离信息所指示的值可以是上述所确定的距离，也可以是与上述所确定的距离成正相关的值。之后，上述执行主体可以将表征不同用户(例如用户A、用户B)的同一人体关键点(例如头部关键点)与待取放物品之间的距离的距离信息组合成与该人体关键点对应的距离信息集合。从而，针对上述用户的位置信息集合中所指示的不同种人体关键点，上述执行主体可以生成与上述各种人体关键点对应的距离信息集合。
步骤203，根据所生成的距离信息集合中的距离信息所指示的距离，从用户的位置信息集合中确定至少一个准匹配位置信息。
在本实施例中，根据所生成的距离信息集合中的距离信息所指示的距离，上述执行主体可以通过各种方式从上述用户的位置信息集合中确定至少一个准匹配位置信息。其中，上述准匹配位置信息通常与距离信息集合对应。即，对于所生成的多个距离信息集合，上述执行主体可以根据上述各距离信息集合所对应的人体关键点，从表征该人体关键点的位置的位置信息中确定与距离信息集合对应的准匹配位置信息。
作为示例，上述执行主体可以从上述所生成的距离信息集合中选取所指示的距离最小的距离信息作为与上述距离信息集合对应的准匹配位置信息。作为又一示例，上述执行主体可以首先根据所表征的人体关键点(例如头部、手臂)确定用户的面部朝向。而后，上述执行主体可以从所生成的距离信息集合中选取用户的面部朝向满足预设要求(例如面向货架)且所指示的距离最小的距离信息作为与上述距离信息集合对应的准匹配位置信息。
步骤204，根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。
在本实施例中，根据至少一个准匹配位置信息之间的匹配，上述执行主体可以通过各种方式生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。其中，上述用户物品取放信息所表征的用户可以包括与上述准匹配位置信息所指示的人体关键点对应的用户。可选地，上述执行主体还可以利用多目标跟踪算法确定用户的标识号(ID)，并可以利用匈牙利算法(Hungarian Algorithm)或KM算法(Kuhn-Munkres Algorithm)等确定上述准匹配位置信息所指示的人体关键点对应的用户的标识号。
在本实施例中，作为示例，上述执行主体可以首先确定上述至少一个准匹配位置信息所对应的同一个用户的不同人体关键点距离待取放物体的距离的差值是否小于预设阈值。响应于确定小于，上述执行主体可以生成表征距离上述待取放物体的距离最近的人体关键点所对应的用户与待取放物品之间具备关联关系的用户物品取放信息。
在本实施例的一些可选的实现方式中，响应于确定上述准匹配位置信息的数目为1，上述执行主体可以按照以下步骤生成用户物品取放信息：
第一步，根据用户的位置信息集合中包括的位置信息的数目，生成准匹配位置信息对应的置信度。
在这些实现方式中，根据用户的位置信息集合中包括的位置信息的数目，上述执行主体可以通过各种方式生成准匹配位置信息对应的置信度。其中，上述置信度通常与上述用户的位置信息集合中包括的位置信息所指示的用户的数目负相关。作为示例，上述置信度可以通过以下步骤得到：
S1、确定用户的位置信息集合中的位置信息对应的距离信息。
在这些实现方式中，对于待取放物品p和距离上述待取放物品p预设范围内的不同用户[uid1,uid2,…uidn]，确定用于表征上述待取放物品p与各用户的距离的距离信息其中，上述待取放物品p与各用户的距离可以通过位置信息所指示的人体关键点与上述待取放物品p之间的距离确定。
S2、根据所确定的距离信息，从用户的位置信息集合中确定准匹配位置信息对应的用户。
在这些实现方式中，根据上述步骤S1所确定的距离信息，得到与上述待取放物品p关联的用户uid*：
S3、根据用户的位置信息集合中包括的位置信息的数目，生成准匹配位置信息对应的置信度。
在这些实现方式中，上述执行主体可以根据如下公式确定置信度conf：
conf＝1/(inv_distsum×dist*)
其中，上述dist*可以用于表征与上述待取放物品p关联的用户uid*对应的距离信息。
可选地，上述执行主体还可以根据预设的后处理函数来降低根据上述公式确定的置信度。其中，上述后处理函数例如可以是将由上述公式确定的置信度乘以一个大于0且小于1的系数。在这些实现方式中，由于确定上述准匹配位置信息的数目为1，说明确定用户的位置仅有一种人体关键点的位置作为参考，从而用户-物品关联失败的可能性较大。
基于上述可选的实现方式，通过关联置信度的设置可以实现当待取放物品附近有多个用户(对应于多顾客同时购物的复杂场景)时，随着用户人数的增多，表征待取放物品与用户之间关联关系的置信度会降低，更符合实际应用的客观情况，从而提升了用户-物品关联的准确性和参考价值。
第二步，生成包括表征准匹配位置信息所指示的用户与待取放物品之间具备关联关系以及置信度的用户物品取放信息。
在这些实现方式中，上述用户物品取放信息既可以包括指示用户与待取放物品之间具备关联关系的信息，又可以包括指示上述关联关系的置信度的信息。从而可以提供更加丰富的用户物品取放信息。
在本实施例的一些可选的实现方式中，响应于确定上述准匹配位置信息的数目大于1，上述执行主体可以根据上述至少一个准匹配位置信息所指示的用户是否一致，生成表征匹配位置信息所指示的用户与上述待取放物品之间具备关联关系的用户物品取放信息。其中，上述匹配位置信息通常基于上述至少一个准匹配位置信息而确定。
在这些实现方式中，响应于确定上述至少一个准匹配位置信息所指示的用户一致，根据准匹配位置信息对应的距离信息所指示的距离，上述执行主体可以通过各种方式生成上述用户物品取放信息。作为示例，上述执行主体可以确定上述准匹配位置信息所指示的用户与上述待取放物品之间具备关联关系。作为又一示例，上述执行主体还可以的首先确定上述至少一个准匹配位置信息对应的距离信息所指示的距离是否大于预设的信息过滤阈值；响应于确定存在大于上述预设的信息过滤阈值的准匹配位置信息，上述执行主体可以确定上述准匹配位置信息所指示的用户与上述待取放物品之间具备关联关系。
可选地，响应于确定上述至少一个准匹配位置信息所指示的用户不一致，根据准匹配位置信息对应的距离信息所指示的距离，上述执行主体可以利用各种方式生成上述用户物品取放信息。作为示例，上述执行主体可以确定上述至少一个准匹配位置信息中指示的距离最小的准匹配位置信息所指示的用户与上述待取放物品之间具备关联关系。作为又一示例，上述执行主体还可以根据上述至少一个准匹配位置信息所对应的人体关键点的优先级顺序中，确定对应较高优先级的人体关键点的准匹配位置信息所指示的用户与上述待取放物品之间具备关联关系。其中，上述优先级顺序由高至低例如可以是手腕、肘部、肩部、头部。
可选地，基于上述可选的实现方式，上述用户物品取放信息中还可以包括置信度。其中，上述置信度可以与上述用户的位置信息集合中包括的位置信息所指示的用户的数目负相关。上述执行主体还可以按照如下步骤生成用户物品取放信息：
第一步，确定各准匹配位置信息对应的置信度。
第二步，根据准匹配位置信息对应的距离信息所指示的距离，生成包括表征匹配位置信息所指示的用户与待取放物品之间具备关联联系以及与匹配位置信息对应的置信度的用户物品取放信息。
在这些实现方式中，基于上述至少一个准匹配位置信息，上述执行主体可以通过各种方式确定上述匹配位置信息。作为示例，上述执行主体可以确定上述至少一个准匹配位置信息中指示的距离最小的准匹配位置信息为上述匹配位置信息。作为又一示例，上述执行主体还可以根据上述至少一个准匹配位置信息所对应的人体关键点的优先级顺序中，确定对应较高优先级的人体关键点的准匹配位置信息为上述匹配位置信息。其中，上述优先级顺序由高至低例如可以是手腕、肘部、肩部、头部。
需要说明的是，上述生成用户物品取放信息的方式与前述生成包括表征准匹配位置信息所指示的用户与待取放物品之间具备关联关系以及置信度的用户物品取放信息的步骤相一致，此处不再赘述。
可选地，响应于确定仅检测到一种用户的人体局部关键点或检测到的用户的人体局部关键点与表征人***置的关键点(例如头部关键点或人体检测框的中心点)匹配失败，上述执行主体还可以根据预设的后处理函数来降低根据上述公式确定的置信度。其中，上述后处理函数例如可以是将由前述公式确定的置信度乘以一个大于0且小于1的系数。在这些实现方式中，由于未检测到其他人体局部关键点或人***置与人体局部关键点匹配失败，说明所确定的用户位置准确度较低，从而用户-物品关联失败的可能性较大。
可选地，上述执行主体还可以将所生成的用户物品取放信息发送至目标终端，以呈现上述用户物品取放信息。作为示例，上述目标终端可以是用于核对上述用户-物品关联关系的终端，以使技术人员确认上述所生成的用户物品取放信息是否准确。作为又一示例，上述终端还可以是无人便利店的支付终端，以使用户在离开上述无人便利店时根据上述用户物品取放信息从上述用户的账户中扣除该物品对应的金额。
继续参见图3，图3是根据本公开的实施例的用于生成信息的方法的应用场景的一个示意图。在图3的应用场景中，用户001和用户002在安装有摄像头301的无人售货店购物。摄像头301将显示有用户001和用户002在商品3006(图3中未示出)所处的货架前的图像302发送至后台服务器303。后台服务器303可以从图像302中识别出商品3006的位置(图3中未示出)、用户001的头部关键点和手部关键点(如图像304所示的关键点A和关键点B)的位置、用户002的头部关键点和手部关键点(如图像304所示的关键点A’和关键点B’)的位置。而后，后台服务器303可以生成头部关键点对应的距离信息集合和手部关键点对应的距离信息集合。其中，上述头部关键点对应的距离信息集合中可以包括表征关键点A距商品3006之间的距离的距离信息dA和表征关键点A’距商品3006之间的距离的距离信息dA’。同理，上述手部关键点对应的距离信息集合中可以包括表征关键点B距商品3006之间的距离的距离信息dB和表征关键点B’距商品3006之间的距离的距离信息dB’。接下来，根据距离dA<dA’且dB<dB’，上述后台服务器303可以确定dA和dB为准匹配位置信息。而后，根据上述准匹配位置信息所指示的用户均为用户001，上述后台服务器303可以生成表征用户001与商品3006之间具备关联关系的用户物品取放信息305。其中，上述用户物品取放信息可以是文字形式。可选地，上述用户取放信息还可以是通过图像302与表征上述关联关系的标注结合而生成的新图像。可选地，上述后台服务器303还可以将上述用户物品取放信息305发送至目标终端306，以显示用户与商品的关联结果。
目前，现有技术之一通常是仅根据顾客的手腕关键点与商品之间的距离远近来确定关联关系，导致在多个相距很近的顾客同时购物等复杂购物场景下造成人-货关联精度的明显下降。而本公开的上述实施例提供的方法，通过引入不同人体关键点与待取放物品之间的距离度量作为确定用户与待取放物品之间的关联性的重要参考，弥补了仅凭借手腕关键点检测结果来估计上述关联性的局限性，实现了有效地提高复杂购物情景下的用户与购买的商品之间的关联精度和准确性。
进一步参考图4，其示出了用于生成信息的方法的又一个实施例的流程400。该用于生成信息的方法的流程400，包括以下步骤：
步骤401，获取待取放物品的位置信息和用户的位置信息集合。
在本实施例中，上述人体关键点可以包括手腕关键点。
步骤402，用于生成信息的方法的执行主体(例如图1所示的服务器104)可以具体通过以下步骤生成与至少一个人体关键点对应的距离信息集合：
步骤4021，对于用户的位置信息集合中的位置信息，确定距离待取放物品的预设范围内是否存在与该位置信息所指示的手腕关键点对应的人体辅助关键点。
在本实施例中，对于用户的位置信息集合中的位置信息，上述执行主体可以通过各种图像识别的方式在距离待取放物品的预设范围内检测是否存在与该位置信息所指示的手腕关键点对应的人体辅助关键点。其中，上述人体辅助关键点与手腕关键点通常满足人体骨架约束。上述人体骨架约束可以指将人体的骨骼结构具有的天然的连续性和固定的结构作为三维位姿估计的一个约束。例如，手肘可以作为满足人体骨架约束的手腕关键点的人体辅助关键点。
步骤4022，基于人体辅助关键点是否存在，生成与该位置信息所指示的手腕关键点对应的距离信息。
在本实施例中，基于人体辅助关键点是否存在，上述执行主体可以通过各种方式生成与该位置信息所指示的手腕关键点对应的距离信息。其中，该距离信息可以与手腕关键点距上述待取放物品的距离正相关。
在本实施例的一些可选的实现方式中，参见图5a，响应于确定上述人体辅助关键点(例如图5a所示的手肘关键点)不存在，上述执行主体可以生成该位置信息所指示的手腕关键点与上述待取放物品之间的距离(例如图5a所示的d1)，作为与该位置信息所指示的手腕关键点对应的距离信息。
在本实施例的一些可选的实现方式中，响应于确定上述人体辅助关键点存在，上述执行主体可以按照以下步骤生成与该位置信息所指示的手腕关键点对应的距离信息：
第一步，获取人体辅助关键点的位置信息。
在这些实现方式中，上述执行主体可以通过各种方式获取人体辅助关键点的位置信息。其中，上述位置信息可以是用于表征人体辅助关键点显示在二维图像中的位置的信息，也可以是用于表征人体辅助关键点投射到三维世界坐标系中的位置的信息。作为示例，上述执行主体可以获取与之通信连接的电子设备发送的人体辅助关键点的位置信息。作为又一示例，上述执行主体还可以获取预先存储于本地的人体辅助关键点的位置信息。其中，上述人体辅助关键点的位置信息可以通过预先标注活动，也可以通过各种对象检测方法而获得。
第二步，生成该位置信息所指示的手腕关键点与垂足的距离，作为延展距离。
在这些实现方式中，参见图5b，上述执行主体可以生成该位置信息所指示的手腕关键点与垂足的距离，作为延展距离(例如图5b所示的d2)。其中，上述垂足可以为该位置信息所指示的手腕关键点和对应的人体辅助关键点所在直线与垂线的交点。上述待取放物品通常位于上述垂线上。
第三步，基于延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息。
可选地，参见图5b，响应于确定上述延展距离小于上述预设距离阈值，上述执行主体可以生成上述待取放物品与上述垂足之间的距离(例如图5b所示的d3)，作为与该位置信息所指示的手腕关键点对应的距离信息。
可选地，参见图5c，响应于确定上述延展距离大于等于上述预设距离阈值，上述执行主体可以生成该位置信息所指示的手腕关键点与上述待取放物品之间的距离(例如图5c所示的d3′)，作为与该位置信息所指示的手腕关键点对应的距离信息。
步骤403，基于所生成的距离信息，生成与手腕关键点对应的距离信息集合。
在本实施例中，上述执行主体可以将上述步骤402所生成的距离信息组合成与手腕关键点对应的距离信息集合。
步骤404，根据所生成的距离信息集合中的距离信息所指示的距离，从用户的位置信息集合中确定至少一个准匹配位置信息。
步骤405，根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。
上述步骤401、步骤404、步骤405分别与前述实施例中的步骤201、步骤203、步骤204一致，上文针对步骤201、步骤203和步骤204及其可选的实现方式的描述也适用于步骤401、步骤404和步骤405，此处不再赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于生成信息的方法的流程400体现了根据人体辅助关键点来确定手腕关键点对应的距离信息的步骤。由此，本实施例描述的方案可以利用满足人体骨架约束的人体辅助关键点和手腕关键点之间的位置关系来表征用户手臂的延伸方向，从而优化了用户与待取放物品之间的距离的度量方式，实现了在多用户或有遮挡存在的场景下提升用户与待取放物品之间关联关系的准确度的效果。
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了用于生成信息的装置的一个实施例，该装置实施例可以与图2或图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例提供的用于生成信息的装置600包括获取单元601、第一生成单元602、确定单元603和第二生成单元604。其中，获取单元601，被配置成获取待取放物品的位置信息和用户的位置信息集合，其中，用户的位置信息集合中包括表征与待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息；第一生成单元602，被配置成根据用户的位置信息集合中的位置信息所指示的至少一个人体关键点与待取放物品之间的距离，生成与至少一个人体关键点对应的距离信息集合；确定单元603，被配置成根据所生成的距离信息集合中的距离信息所指示的距离，从用户的位置信息集合中确定至少一个准匹配位置信息，其中，准匹配位置信息与距离信息集合对应；第二生成单元604，被配置成根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。
在本实施例中，用于生成信息的装置600中：获取单元601、第一生成单元602、确定单元603和第二生成单元604的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203和步骤204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述第二生成单元604可以进一步被配置成：响应于确定准匹配位置信息的数目为1，根据用户的位置信息集合中包括的位置信息的数目，生成准匹配位置信息对应的置信度；生成包括表征准匹配位置信息所指示的用户与待取放物品之间具备关联关系以及置信度的用户物品取放信息。其中，上述置信度通常与用户的位置信息集合中包括的位置信息所指示的用户的数目负相关。
在本实施例的一些可选的实现方式中，上述第二生成单元604可以进一步被配置成：响应于确定准匹配位置信息的数目大于1，根据至少一个准匹配位置信息所指示的用户是否一致，生成表征匹配位置信息所指示的用户与待取放物品之间具备关联关系的用户物品取放信息。其中，上述匹配位置信息可以基于至少一个准匹配位置信息而确定。
在本实施例的一些可选的实现方式中，上述第二生成单元604可以进一步被配置成：响应于确定至少一个准匹配位置信息所指示的用户不一致，根据准匹配位置信息对应的距离信息所指示的距离，生成用户物品取放信息。
在本实施例的一些可选的实现方式中，上述用户物品取放信息中还可以包括置信度。其中，上述置信度通常与用户的位置信息集合中包括的位置信息所指示的用户的数目负相关。上述第二生成单元604可以包括：确定模块(图中未示出)、第一生成模块(图中未示出)。其中，上述确定模块，可以被配置成确定各准匹配位置信息对应的置信度。上述第一生成模块，可以被配置成根据准匹配位置信息对应的距离信息所指示的距离，生成包括表征匹配位置信息所指示的用户与待取放物品之间具备关联联系以及与匹配位置信息对应的置信度的用户物品取放信息。
在本实施例的一些可选的实现方式中，人体关键点可以包括手腕关键点。上述第一生成单元602可以包括：第二生成模块(图中未示出)、第三生成模块(图中未示出)。其中，上述第二生成模块，可以被配置成对于用户的位置信息集合中的位置信息，确定距离待取放物品的预设范围内是否存在与该位置信息所指示的手腕关键点对应的人体辅助关键点；基于人体辅助关键点是否存在，生成与该位置信息所指示的手腕关键点对应的距离信息。其中，上述人体辅助关键点通常与手腕关键点满足人体骨架约束。上述距离信息通常与手腕关键点距待取放物品的距离正相关。上述第三生成模块，可以被配置成基于所生成的距离信息，生成与手腕关键点对应的距离信息集合。
在本实施例的一些可选的实现方式中，上述第二生成模块可以进一步被配置成：响应于确定人体辅助关键点不存在，生成该位置信息所指示的手腕关键点与待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在本实施例的一些可选的实现方式中，上述第二生成模块可以进一步被配置成：响应于确定人体辅助关键点存在，获取人体辅助关键点的位置信息；生成该位置信息所指示的手腕关键点与垂足的距离，作为延展距离；基于延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息。其中，上述垂足可以为该位置信息所指示的手腕关键点和对应的人体辅助关键点所在直线与垂线的交点。上述待取放物品通常位于上述垂线上。
在本实施例的一些可选的实现方式中，上述第二生成模块可以进一步被配置成：响应于确定延展距离小于预设距离阈值，生成待取放物品与垂足之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在本实施例的一些可选的实现方式中，上述第二生成模块可以进一步被配置成：响应于确定延展距离大于等于预设距离阈值，生成该位置信息所指示的手腕关键点与待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
在本实施例的一些可选的实现方式中，上述位置信息可以包括表征位置的三维位置信息。上述获取单元601可以包括：第一获取模块(图中未示出)、第四生成模块(图中未示出)、第二获取模块(图中未示出)、第五生成模块(图中未示出)。其中，上述第一获取模块，可以被配置成获取针对待取放物品所在预设区域内拍摄的二维图像作为目标图像。其中，上述目标图像中通常显示有与待取放物品的位置相关联的用户。上述第四生成模块，可以被配置成将目标图像输入至预先训练的用户位置检测模型，得到与目标图像对应的第一人体关键点信息组和第二人体关键点信息组。其中，上述第一人体关键点信息组可以用于表征用户的人体显示在目标图像中的位置。上述第二人体关键点信息组可以用于表征用户的人体局部关键点显示在目标图像中的位置。上述第二获取模块，可以被配置成获取与目标图像对应的深度图像。上述第五生成模块，可以被配置成基于深度图像、第一人体关键点信息组和第二人体关键点信息组，生成用户的位置信息集合。
在本实施例的一些可选的实现方式中，上述第二获取模块可以进一步被配置成：基于双目立体视觉获取深度图像。上述第五生成模块可以包括：投影子模块(图中未示出)、修正子模块(图中未示出)、生成子模块(图中未示出)。其中，上述投影子模块，可以被配置成根据深度图像将第一人体关键点信息组所指示的至少一个第一人体关键点和第二人体关键点信息组所指示的至少一个第二人体关键点投影到三维世界坐标系。上述修正子模块，可以被配置成根据待取放物品所在的货架的高度，对投影后的至少一个第一人体关键点和至少一个第二人体关键点的位置信息中指示高度的值进行修正。上述生成子模块，可以被配置成根据修正后的位置信息，生成用户的位置信息集合。
本公开的上述实施例提供的装置，通过获取单元601获取待取放物品的位置信息和用户的位置信息集合。其中，用户的位置信息集合中包括表征与待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息。而后，第一生成单元602根据用户的位置信息集合中的位置信息所指示的至少一个人体关键点与待取放物品之间的距离，生成与至少一个人体关键点对应的距离信息集合。接下来，确定单元603根据所生成的距离信息集合中的距离信息所指示的距离，从用户的位置信息集合中确定至少一个准匹配位置信息。其中，准匹配位置信息与距离信息集合对应。最后，第二生成单元604根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。从而通过引入不同人体关键点与待取放物品之间的距离度量作为确定用户与待取放物品之间的关联性的重要参考，弥补了仅凭借手腕关键点检测结果来估计上述关联性的局限性，实现了有效地提高复杂购物情景下的用户与购买的商品之间的关联精度和准确性。
下面参考图7，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器104)700的结构示意图。图7示出的服务器仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、等的输入装置706；包括例如液晶显示器(LCD，Liquid Crystal Display)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开的实施例的方法中限定的上述功能。
需要说明的是，本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(Radio Frequency，射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该服务器执行时，使得该服务器：获取待取放物品的位置信息和用户的位置信息集合，其中，用户的位置信息集合中包括表征与待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息；根据用户的位置信息集合中的位置信息所指示的至少一个人体关键点与待取放物品之间的距离，生成与至少一个人体关键点对应的距离信息集合；根据所生成的距离信息集合中的距离信息所指示的距离，从用户的位置信息集合中确定至少一个准匹配位置信息，其中，准匹配位置信息与距离信息集合对应；根据至少一个准匹配位置信息之间的匹配，生成表征用户与待取放物品之间具备关联关系的用户物品取放信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开的各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器，包括获取单元、第一生成单元、确定单元和第二生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待取放物品的位置信息和用户的位置信息集合的单元，其中，用户的位置信息集合中包括表征与待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (26)

1.一种用于生成信息的方法，包括：
获取待取放物品的位置信息和用户的位置信息集合，其中，所述用户的位置信息集合中包括表征与所述待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息；
根据所述用户的位置信息集合中的位置信息所指示的至少一个人体关键点与所述待取放物品之间的距离，生成与所述至少一个人体关键点对应的距离信息集合；
根据所生成的距离信息集合中的距离信息所指示的距离，从所述用户的位置信息集合中确定至少一个准匹配位置信息，其中，准匹配位置信息与距离信息集合对应；
根据所述至少一个准匹配位置信息之间的匹配，生成表征用户与所述待取放物品之间具备关联关系的用户物品取放信息；
其中，所述获取待取放物品的位置信息和用户的位置信息集合，包括：获取针对待取放物品所在预设区域内拍摄的二维图像作为目标图像，其中，所述目标图像中显示有与所述待取放物品的位置相关联的用户；将所述目标图像输入至预先训练的用户位置检测模型，得到与所述目标图像对应的第一人体关键点信息组和第二人体关键点信息组，其中，所述第一人体关键点信息组用于表征用户的人体显示在所述目标图像中的位置，所述第二人体关键点信息组用于表征用户的人体局部关键点显示在所述目标图像中的位置；获取与所述目标图像对应的深度图像；基于所述深度图像、所述第一人体关键点信息组和第二人体关键点信息组，生成所述用户的位置信息集合。
2.根据权利要求1所述的方法，其中，所述根据所述至少一个准匹配位置信息之间的匹配，生成表征用户与所述待取放物品之间具备关联关系的用户物品取放信息，包括：
响应于确定准匹配位置信息的数目为1，根据所述用户的位置信息集合中包括的位置信息的数目，生成所述准匹配位置信息对应的置信度，其中，所述置信度与所述用户的位置信息集合中包括的位置信息所指示的用户的数目负相关；生成包括表征所述准匹配位置信息所指示的用户与所述待取放物品之间具备关联关系以及所述置信度的用户物品取放信息。
3.根据权利要求1所述的方法，其中，所述根据所述至少一个准匹配位置信息之间的匹配，生成表征用户与所述待取放物品之间具备关联关系的用户物品取放信息，包括：
响应于确定准匹配位置信息的数目大于1，根据所述至少一个准匹配位置信息所指示的用户是否一致，生成表征匹配位置信息所指示的用户与所述待取放物品之间具备关联关系的用户物品取放信息，其中，所述匹配位置信息基于所述至少一个准匹配位置信息而确定。
4.根据权利要求3所述的方法，其中，所述根据所述至少一个准匹配位置信息所指示的用户是否一致，生成表征匹配位置信息所指示的用户与所述待取放物品之间具备关联关系的用户物品取放信息，包括：
响应于确定所述至少一个准匹配位置信息所指示的用户不一致，根据准匹配位置信息对应的距离信息所指示的距离，生成所述用户物品取放信息。
5.根据权利要求3所述的方法，其中，所述用户物品取放信息中还包括置信度，所述置信度与所述用户的位置信息集合中包括的位置信息所指示的用户的数目负相关；以及
所述生成表征匹配位置信息所指示的用户与所述待取放物品之间具备关联关系的用户物品取放信息，包括：
确定各准匹配位置信息对应的置信度；
根据准匹配位置信息对应的距离信息所指示的距离，生成包括表征所述匹配位置信息所指示的用户与所述待取放物品之间具备关联联系以及与所述匹配位置信息对应的置信度的用户物品取放信息。
6.根据权利要求1所述的方法，其中，人体关键点包括手腕关键点；以及
所述根据所述用户的位置信息集合中的位置信息所指示的至少一个人体关键点与所述待取放物品之间的距离，生成与所述至少一个人体关键点对应的距离信息集合，包括：
对于所述用户的位置信息集合中的位置信息，确定距离所述待取放物品的预设范围内是否存在与该位置信息所指示的手腕关键点对应的人体辅助关键点，其中，人体辅助关键点与手腕关键点满足人体骨架约束；基于人体辅助关键点是否存在，生成与该位置信息所指示的手腕关键点对应的距离信息，其中，该距离信息与手腕关键点距所述待取放物品的距离正相关；
基于所生成的距离信息，生成与手腕关键点对应的距离信息集合。
7.根据权利要求6所述的方法，其中，所述生成与该位置信息所指示的手腕关键点对应的距离信息，包括：
响应于确定人体辅助关键点不存在，生成该位置信息所指示的手腕关键点与所述待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
8.根据权利要求6所述的方法，其中，所述生成与该位置信息所指示的手腕关键点对应的距离信息，包括：
响应于确定人体辅助关键点存在，获取人体辅助关键点的位置信息；生成该位置信息所指示的手腕关键点与垂足的距离，作为延展距离，其中，所述垂足为该位置信息所指示的手腕关键点和对应的人体辅助关键点所在直线与垂线的交点，所述待取放物品位于所述垂线上；基于所述延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息。
9.根据权利要求8所述的方法，其中，所述基于所述延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息，包括：
响应于确定所述延展距离小于所述预设距离阈值，生成所述待取放物品与所述垂足之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
10.根据权利要求8所述的方法，其中，所述基于所述延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息，包括：
响应于确定所述延展距离大于等于所述预设距离阈值，生成该位置信息所指示的手腕关键点与所述待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
11.根据权利要求1-10之一所述的方法，其中，位置信息包括表征位置的三维位置信息。
12.根据权利要求11所述的方法，其中，所述获取与所述目标图像对应的深度图像，包括：
基于双目立体视觉获取所述深度图像；
以及
所述基于所述深度图像、所述第一人体关键点信息组和第二人体关键点信息组，生成所述用户的位置信息集合，包括：
根据所述深度图像将所述第一人体关键点信息组所指示的至少一个第一人体关键点和所述第二人体关键点信息组所指示的至少一个第二人体关键点投影到三维世界坐标系；
根据所述待取放物品所在的货架的高度，对投影后的所述至少一个第一人体关键点和所述至少一个第二人体关键点的位置信息中指示高度的值进行修正；
根据修正后的位置信息，生成所述用户的位置信息集合。
13.一种用于生成信息的装置，包括：
获取单元，被配置成获取待取放物品的位置信息和用户的位置信息集合，其中，所述用户的位置信息集合中包括表征与所述待取放物品的位置相关联的用户的至少一个人体关键点的位置的位置信息；
第一生成单元，被配置成根据所述用户的位置信息集合中的位置信息所指示的至少一个人体关键点与所述待取放物品之间的距离，生成与所述至少一个人体关键点对应的距离信息集合；
确定单元，被配置成根据所生成的距离信息集合中的距离信息所指示的距离，从所述用户的位置信息集合中确定至少一个准匹配位置信息，其中，准匹配位置信息与距离信息集合对应；
第二生成单元，被配置成根据所述至少一个准匹配位置信息之间的匹配，生成表征用户与所述待取放物品之间具备关联关系的用户物品取放信息；
其中，所述获取单元，包括：第一获取模块，被配置成获取针对待取放物品所在预设区域内拍摄的二维图像作为目标图像，其中，所述目标图像中显示有与所述待取放物品的位置相关联的用户；第四生成模块，被配置成将所述目标图像输入至预先训练的用户位置检测模型，得到与所述目标图像对应的第一人体关键点信息组和第二人体关键点信息组，其中，所述第一人体关键点信息组用于表征用户的人体显示在所述目标图像中的位置，所述第二人体关键点信息组用于表征用户的人体局部关键点显示在所述目标图像中的位置；第二获取模块，被配置成获取与所述目标图像对应的深度图像；第五生成模块，被配置成基于所述深度图像、所述第一人体关键点信息组和第二人体关键点信息组，生成所述用户的位置信息集合。
14.根据权利要求13所述的装置，其中，所述第二生成单元进一步被配置成：
响应于确定准匹配位置信息的数目为1，根据所述用户的位置信息集合中包括的位置信息的数目，生成所述准匹配位置信息对应的置信度，其中，所述置信度与所述用户的位置信息集合中包括的位置信息所指示的用户的数目负相关；生成包括表征所述准匹配位置信息所指示的用户与所述待取放物品之间具备关联关系以及所述置信度的用户物品取放信息。
15.根据权利要求13所述的装置，其中，所述第二生成单元进一步被配置成：
响应于确定准匹配位置信息的数目大于1，根据所述至少一个准匹配位置信息所指示的用户是否一致，生成表征匹配位置信息所指示的用户与所述待取放物品之间具备关联关系的用户物品取放信息，其中，所述匹配位置信息基于所述至少一个准匹配位置信息而确定。
16.根据权利要求15所述的装置，其中，所述第二生成单元进一步被配置成：
响应于确定所述至少一个准匹配位置信息所指示的用户不一致，根据准匹配位置信息对应的距离信息所指示的距离，生成所述用户物品取放信息。
17.根据权利要求15所述的装置，其中，所述用户物品取放信息中还包括置信度，所述置信度与所述用户的位置信息集合中包括的位置信息所指示的用户的数目负相关；以及
所述第二生成单元包括：
确定模块，被配置成确定各准匹配位置信息对应的置信度；
第一生成模块，被配置成根据准匹配位置信息对应的距离信息所指示的距离，生成包括表征所述匹配位置信息所指示的用户与所述待取放物品之间具备关联联系以及与所述匹配位置信息对应的置信度的用户物品取放信息。
18.根据权利要求13所述的装置，其中，人体关键点包括手腕关键点；以及
所述第一生成单元包括：
第二生成模块，被配置成对于所述用户的位置信息集合中的位置信息，确定距离所述待取放物品的预设范围内是否存在与该位置信息所指示的手腕关键点对应的人体辅助关键点，其中，人体辅助关键点与手腕关键点满足人体骨架约束；基于人体辅助关键点是否存在，生成与该位置信息所指示的手腕关键点对应的距离信息，其中，该距离信息与手腕关键点距所述待取放物品的距离正相关；
第三生成模块，被配置成基于所生成的距离信息，生成与手腕关键点对应的距离信息集合。
19.根据权利要求18所述的装置，其中，所述第二生成模块进一步被配置成：
响应于确定人体辅助关键点不存在，生成该位置信息所指示的手腕关键点与所述待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
20.根据权利要求18所述的装置，其中，所述第二生成模块进一步被配置成：
响应于确定人体辅助关键点存在，获取人体辅助关键点的位置信息；生成该位置信息所指示的手腕关键点与垂足的距离，作为延展距离，其中，所述垂足为该位置信息所指示的手腕关键点和对应的人体辅助关键点所在直线与垂线的交点，所述待取放物品位于所述垂线上；基于所述延展距离与预设距离阈值的匹配，生成与该位置信息所指示的手腕关键点对应的距离信息。
21.根据权利要求20所述的装置，其中，所述第二生成模块进一步被配置成：
响应于确定所述延展距离小于所述预设距离阈值，生成所述待取放物品与所述垂足之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
22.根据权利要求20所述的装置，其中，所述第二生成模块进一步被配置成：
响应于确定所述延展距离大于等于所述预设距离阈值，生成该位置信息所指示的手腕关键点与所述待取放物品之间的距离，作为与该位置信息所指示的手腕关键点对应的距离信息。
23.根据权利要求13-22之一所述的装置，其中，位置信息包括表征位置的三维位置信息。
24.根据权利要求23所述的装置，其中，所述第二获取模块进一步被配置成：
基于双目立体视觉获取所述深度图像；
以及
所述第五生成模块，包括：
投影子模块，被配置成根据所述深度图像将所述第一人体关键点信息组所指示的至少一个第一人体关键点和所述第二人体关键点信息组所指示的至少一个第二人体关键点投影到三维世界坐标系；
修正子模块，被配置成根据所述待取放物品所在的货架的高度，对投影后的所述至少一个第一人体关键点和所述至少一个第二人体关键点的位置信息中指示高度的值进行修正；
生成子模块，被配置成根据修正后的位置信息，生成所述用户的位置信息集合。
25.一种服务器，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的方法。
26.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-12中任一所述的方法。
CN202010062771.9A 2020-01-20 2020-01-20 用于生成信息的方法和装置 Active CN111310585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010062771.9A CN111310585B (zh) 2020-01-20 2020-01-20 用于生成信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062771.9A CN111310585B (zh) 2020-01-20 2020-01-20 用于生成信息的方法和装置

Publications (2)

Publication Number Publication Date
CN111310585A CN111310585A (zh) 2020-06-19
CN111310585B true CN111310585B (zh) 2023-08-01

Family

ID=71144941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062771.9A Active CN111310585B (zh) 2020-01-20 2020-01-20 用于生成信息的方法和装置

Country Status (1)

Country Link
CN (1) CN111310585B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108109176A (zh) * 2017-12-29 2018-06-01 北京进化者机器人科技有限公司 物品检测定位方法、装置及机器人
CN108197971A (zh) * 2017-12-08 2018-06-22 北京天正聚合科技有限公司 信息采集方法、信息处理方法、装置及***
CN109522486A (zh) * 2018-11-30 2019-03-26 北京字节跳动网络技术有限公司 用于匹配信息的方法和装置
CN109697786A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 用于售货机的操作方法和操作装置
CN110148178A (zh) * 2018-06-19 2019-08-20 腾讯科技（深圳）有限公司 相机定位方法、装置、终端及存储介质
CN110347772A (zh) * 2019-07-16 2019-10-18 北京百度网讯科技有限公司 物品状态检测方法、装置及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120233003A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Providing retail shopping assistance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697786A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 用于售货机的操作方法和操作装置
CN108197971A (zh) * 2017-12-08 2018-06-22 北京天正聚合科技有限公司 信息采集方法、信息处理方法、装置及***
CN108109176A (zh) * 2017-12-29 2018-06-01 北京进化者机器人科技有限公司 物品检测定位方法、装置及机器人
CN110148178A (zh) * 2018-06-19 2019-08-20 腾讯科技（深圳）有限公司 相机定位方法、装置、终端及存储介质
CN109522486A (zh) * 2018-11-30 2019-03-26 北京字节跳动网络技术有限公司 用于匹配信息的方法和装置
CN110347772A (zh) * 2019-07-16 2019-10-18 北京百度网讯科技有限公司 物品状态检测方法、装置及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Haluk Demirkan等.Developing a framework to improve virtual shopping in digital malls with intelligent self-service systems.《Journal of Retailing and Consumer Services》.2014,第21卷(第5期),第860-868页. *
俞宁等.基于人因工程学的自动售货机设计改进研究.《重庆理工大学学报 (自然科学)》.2017,(第3期),第43-51页. *
赵贵祥.面向机器人个性化服务的人穿携物品归属关系研究.《中国优秀硕士学位论文全文数据库 (信息科技辑)》.2019,(第1期),I140-143. *

Also Published As

Publication number Publication date
CN111310585A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN109188457B (zh) 物体检测框的生成方法、装置、设备、存储介质及车辆
US11887051B1 (en) Identifying user-item interactions in an automated facility
CN112464697B (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN108427941B (zh) 用于生成人脸检测模型的方法、人脸检测方法和装置
US11087133B2 (en) Method and apparatus for determining a target object, and human-computer interaction system
CN110619807B (zh) 生成全局热力图的方法和装置
CN110673717A (zh) 用于控制输出设备的方法和装置
JP2024502516A (ja) データ注釈方法、装置、システム、デバイスおよび記憶媒体
WO2019201228A1 (zh) 位置测量方法和位置测量装置
CN113763466B (zh) 一种回环检测方法、装置、电子设备和存储介质
CN111429194A (zh) 用户轨迹确定***、方法、装置及服务器
CN111310585B (zh) 用于生成信息的方法和装置
CN110413869B (zh) 用于推送信息的方法和装置
CN108446693B (zh) 待识别目标的标记方法、***、设备及存储介质
CN116433722A (zh) 目标跟踪方法、电子设备、存储介质及程序产品
CN114187509B (zh) 对象定位方法、装置、电子设备以及存储介质
CN115393423A (zh) 目标检测方法和装置
CN116295466A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN112700586B (zh) 信息呈现方法和装置
CN112633143A (zh) 图像处理***、方法、头戴设备、处理设备及存储介质
CN112950329A (zh) 商品动态信息生成方法、装置、设备及计算机可读介质
CN110443191A (zh) 用于识别物品的方法和装置
US11494729B1 (en) Identifying user-item interactions in an automated facility
CN106911915B (zh) 基于增强现实技术的商品信息获取***
CN110378172A (zh) 信息生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant