CN111259755A - 数据关联方法、装置、设备及存储介质 - Google Patents
数据关联方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111259755A CN111259755A CN202010027553.1A CN202010027553A CN111259755A CN 111259755 A CN111259755 A CN 111259755A CN 202010027553 A CN202010027553 A CN 202010027553A CN 111259755 A CN111259755 A CN 111259755A
- Authority
- CN
- China
- Prior art keywords
- target
- dimensional scene
- user
- preset
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013507 mapping Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims description 113
- 238000012549 training Methods 0.000 claims description 79
- 230000015654 memory Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 abstract description 69
- 230000002596 correlated effect Effects 0.000 abstract description 5
- 230000005484 gravity Effects 0.000 description 25
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了数据关联方法、装置、设备及存储介质，涉及计算机视觉领域。具体实现方案为：该方法应用于电子设备，电子设备与多个深度视觉传感器进行通信，深度视觉传感器设置在预设三维场景内，预设三维场景内还包括目标物品和至少一个用户，该方法包括：若监测到用户拿取目标物品，则获取拿取目标物品时对应的多个目标深度视觉传感器采集的二维图像；根据各二维图像及映射参数确定对应的目标三维场景点云数据；根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置；根据各用户关键部位在预设三维场景中的位置确定拿取目标物品的目标用户；将目标物品与目标用户进行关联。更加准确地将人货数据进行关联。
Description
技术领域
本申请涉及到数据处理技术领域，尤其涉及计算机视觉技术。
背景技术
随着计算机视觉技术的成熟，基于计算机视觉的无人零售领域也得到了快速发展。在无人零售场景中需要将货架上物品发生变化的操作与拿取物品的用户关联起来,称为人货数据的关联技术。
现有技术中,在进行人货数据的关联时,采用的是单个深度摄像头采集拿取物品用户关键部位在图像中的位置信息和深度信息。若该拿取物品用户被遮挡的情况下，采集的关键部位的图像中的位置信息和深度信息都不够准确，导致确定出的该拿取物品用户关键部位在无人零售的三维场景中的位置信息也不够准确，进而无法准确将人货数据进行关联，最终导致在无人零售场景中无法准确地确定出每个物品的拿取者。
发明内容
本申请实施例提供一种数据关联方法、装置、设备及存储介质，解决了现有技术中无法准确将人货数据进行关联，最终导致在无人零售场景中无法准确地确定出每个物品的拿取者的技术问题。
本申请实施例第一方面提供一种数据关联方法，所述方法应用于电子设备，电子设备与多个深度视觉传感器进行通信，所述深度视觉传感器设置在预设三维场景内，所述预设三维场景内还包括目标物品和至少一个用户，所述方法包括：
若监测到用户拿取所述目标物品，则获取拿取所述目标物品时对应的多个目标深度视觉传感器采集的二维图像；根据各二维图像及映射参数确定对应的目标三维场景点云数据；根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置；根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户；将所述目标物品与所述目标用户进行关联。
本申请实施例中，由于在用户拿取目标物品时，由多个目标深度视觉传感器采集二维图像，并由各二维图像生成三维场景点云数据，所以可有效减少三维场景点云数据中的遮挡区域，进而使确定出的用户关键部位在预设三维场景中的位置更加准确，更加准确地将人货数据进行关联，准确确定出每个物品的拿取者。
进一步地，如上所述的方法，所述根据各二维图像及映射参数确定对应的目标三维场景点云数据，包括：
获取各目标深度视觉传感器对应的内外参数和在预设三维场景中的位置；将所述各二维图像按照对应的内外参数和在预设三维场景中的位置映射到预设三维场景坐标系中，以获得对应的目标三维场景点云数据。
本申请实施例中，每个二维图像均有对应的目标深度视觉传感器采集，所以将每个二维图像按照对应的目标深度视觉传感器的内外参和在预设三维场景中的位置对应映射到预设三维场景坐标系中，在各二维图像映射到预设三维场景坐标系的过程中，完成了场景点云数据的融合和拼接。能够准确并快速地确定出目标三维场景点云数据。并且由于每个目标深度传感器所在的位置和拍摄的角度不同，虽然单个二维图像有遮挡区域，但投影到预设三维场景坐标系并进行拼接后，使获得的目标三维场景点云数据中能够有效去除遮挡区域。
进一步地，如上所述的方法，根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置，包括：
将所述目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中，以通过所述第一已训练至收敛的位置检测模型对各用户关键部位在预设三维场景中的位置进行检测；通过所述第一已训练至收敛的位置检测模型输出各用户关键部位在预设三维场景中的位置。
本申请实施例中，采用第一已训练至收敛的位置检测模型对目标三维场景点云数据中的用户关键部位在预设三维场景中的位置进行检测，由于第一位置检测模型是训练至收敛后得到的，所以能够准确检测出用户关键部位在预设三维场景中的位置。
进一步地，如上所述的方法，所述将所述目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中之前，还包括：
采用第一训练样本对所述第一初始位置检测模型进行训练；所述第一训练样本为标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据；若确定满足第一训练收敛条件，则将满足第一训练收敛条件的第一初始位置检测模型确定为所述第一已训练至收敛的位置检测模型。
本申请实施例中，由于第一已训练至收敛的位置检测模型是通过标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据对第一初始位置检测模型训练后得到的，所以该第一已训练至收敛的位置检测模型更加适用于目标三维场景点云数据中的用户关键部位在预设三维场景中的位置的检测，进一步提高了检测用户关键部位在预设三维场景中的位置的准确性。
进一步地，如上所述的方法，所述根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户，包括：
获取目标物品位置；根据各用户关键部位在预设三维场景中的位置与所述目标物品位置确定各用户关键部位与所述目标物品的距离；将距离最小的用户确定为所述目标用户。
本申请实施例中，由于拿取目标物品的用户关键部位与目标物体的距离最小，所以将距离最小的用户确定为所述目标用户，使确定出的拿取目标物体的目标用户更加准确。
进一步地，如上所述的方法，所述将所述目标物品与所述目标用户进行关联，包括：
获取所述目标用户的标识信息和所述目标物品的标识信息；将所述目标用户的标识信息和所述目标物品的标识信息进行关联。
本申请实施例中，将目标用户的标识信息和所述目标物品的标识信息进行关联，由于标识信息是能够唯一表示目标的信息，所以使目标物品与目标用户关联更准确。
进一步地，如上所述的方法，所述根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户之后，还包括：
根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置；确定与目标用户头部在预设三维场景中的位置相匹配的目标用户的人***置；根据所述目标用户的人***置与目标用户的标识信息的映射关系确定所述目标用户的标识信息。
本申请实施例中，由于每个用户头部在预设三维场景中的位置与该用户的人体在预设三维场景中的位置一致，并在每个用户进入到预设三维场景中后，就能够获取每个用户的标识信息，并对每个用户进行实时追踪，所以能够准确确定出每个用户的人***置及标识信息，进而在确定出目标用户后，通过将目标用户头部在预设三维场景中的位置与用户的人***置相匹配的方式，能够准确确定出目标用户的标识信息。
进一步地，如上所述的方法，所述根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置，包括：
将所述目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中，以通过所述第二已训练至收敛的位置检测模型对目标用户头部在预设三维场景中的位置进行检测；通过所述第二已训练至收敛的位置检测模型输出目标用户头部在预设三维场景中的位置。
本申请实施例中，采用第二已训练至收敛的位置检测模型对目标三维场景点云数据中的目标用户头部在预设三维场景中的位置进行检测，由于第二位置检测模型是训练至收敛后得到的，所以能够准确检测出用户头部在预设三维场景中的位置。
进一步地，如上所述的方法，所述将所述目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中之前，还包括：
采用第二训练样本对所述第二初始位置检测模型进行训练；所述第二训练样本为标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据；若确定满足第二训练收敛条件，则将满足第二训练收敛条件的第二初始位置检测模型确定为所述第二已训练至收敛的位置检测模型。
本申请实施例中，由于第二已训练至收敛的位置检测模型是通过标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据对第二初始位置检测模型训练后得到的，所以该第二已训练至收敛的位置检测模型更加适用于目标三维场景点云数据中的用户头部在预设三维场景中的位置的检测，进一步提高了检测用户头部在预设三维场景中的位置的准确性。
进一步地，如上所述的方法，所述将所述目标物品与所述目标用户进行关联之后，还包括：
若监测到满足清单生成条件，则获取目标物品对应的清单信息；将所述清单信息发送给所述目标用户的终端设备。
本申请实施例中，在将目标物品和目标用户进行关联后，若监测满足清单生成条件，则将清单信息发送给目标用户的终端设备，能够在无人零售场景中自动完成清单的生成及付款。
本申请实施例第二方面提供一种数据关联装置，所述装置位于电子设备中，电子设备与多个深度视觉传感器进行通信，所述深度视觉传感器设置在预设三维场景内，所述预设三维场景内还包括目标物品和至少一个用户，所述装置包括：
图像获取模块，用于若监测到用户拿取所述目标物品，则获取拿取所述目标物品时对应的多个目标深度视觉传感器采集的二维图像；场景点云确定模块，用于根据各二维图像及映射参数确定对应的目标三维场景点云数据；关键部位位置确定模块，用于根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置；目标用户确定模块，用于根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户；数据关联模块，用于将所述目标物品与所述目标用户进行关联。
进一步地，如上所述的装置，所述场景点云确定模块，具体用于：
获取各目标深度视觉传感器对应的内外参数和在预设三维场景中的位置；将所述各二维图像按照对应的内外参数和在预设三维场景中的位置映射到预设三维场景坐标系中，以获得对应的目标三维场景点云数据。
进一步地，如上所述的装置，所述关键部位位置确定模块，具体用于：
将所述目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中，以通过所述第一已训练至收敛的位置检测模型对各用户关键部位在预设三维场景中的位置进行检测；通过所述第一已训练至收敛的位置检测模型输出各用户关键部位在预设三维场景中的位置。
进一步地，如上所述的装置，还包括：
第一模型训练模块，用于采用第一训练样本对所述第一初始位置检测模型进行训练；所述第一训练样本为标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据；若确定满足第一训练收敛条件，则将满足第一训练收敛条件的第一初始位置检测模型确定为所述第一已训练至收敛的位置检测模型。
进一步地，如上所述的装置，所述目标用户确定模块，具体用于：
获取目标物品位置；根据各用户关键部位在预设三维场景中的位置与所述目标物品位置确定各用户关键部位与所述目标物品的距离；将距离最小的用户确定为所述目标用户。
进一步地，如上所述的装置，所述数据关联模块，具体用于：
获取所述目标用户的标识信息和所述目标物品的标识信息；将所述目标用户的标识信息和所述目标物品的标识信息进行关联。
进一步地，如上所述的装置，还包括：
用户标识确定模块，用于根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置；确定与目标用户头部在预设三维场景中的位置相匹配的目标用户的人***置；根据所述目标用户的人***置与目标用户的标识信息的映射关系确定所述目标用户的标识信息。
进一步地，如上所述的装置，所述用户标识确定模块，在根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置时，具体用于：
将所述目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中，以通过所述第二已训练至收敛的位置检测模型对目标用户头部在预设三维场景中的位置进行检测；通过所述第二已训练至收敛的位置检测模型输出目标用户头部在预设三维场景中的位置。
进一步地，如上所述的装置，还包括：
第二模型训练模块，用于采用第二训练样本对所述第二初始位置检测模型进行训练；所述第二训练样本为标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据；若确定满足第二训练收敛条件，则将满足第二训练收敛条件的第二初始位置检测模型确定为所述第二已训练至收敛的位置检测模型。
进一步地，如上所述的装置，还包括：
清单处理模块，用于若监测到满足清单生成条件，则获取目标物品对应的清单信息；将所述清单信息发送给所述目标用户的终端设备。
本申请实施例第三方面提供一种电子设备,包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够第一方面中任一项所述的方法。
本申请实施例第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面任一项所述的方法。
本申请实施例第五方面提供一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如第一方面所述的方法。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是可以实现本申请实施例的数据关联方法的场景图；
图2是根据本申请第一实施例提供的数据关联方法的流程示意图；
图3是根据本申请第二实施例提供的数据关联方法的流程示意图；
图4是根据本申请第二实施例提供的数据关联方法中步骤202的流程示意图；
图5是根据本申请第二实施例提供的数据关联方法中步骤203的流程示意图；
图6是根据本申请第二实施例提供的数据关联方法中步骤204的流程示意图；
图7是根据本申请第二实施例提供的数据关联方法中步骤205的流程示意图；
图8是根据本申请第二实施例提供的数据关联方法中步骤208的流程示意图；
图9为根据本申请第三实施例提供的数据关联方法的信令流程图；
图10为根据本申请第四实施例提供的数据关联装置的结构示意图；
图11为根据本申请第五实施例提供的数据关联装置的结构示意图；
图12是用来实现本申请实施例的数据关联方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面对本申请实施例提供的数据关联方法的应用场景进行介绍。如图1所示，本申请实施例提供的数据关联方法对应的应用场景中包括：电子设备和多个深度视觉传感器。电子设备和多个深度视觉传感器进行通信连接。深度视觉传感器设置在预设三维场景内，具体可以均匀的设置在预设三维场景的顶部。在预设三维场景内还包括目标物品和至少一个用户。其中，预设三维场景可以为无人超市，无人货柜等。在预设三维场景中包括的物品可以为商品，用户可以为顾客。在预设三维场景中，物品放置在预设三维场景的货架上，在货架上每个放置物品的位置设置有重力传感器，所以重力传感器与对应物品进行关联，以检测顾客是否拿取物品。重力传感器与电子设备进行通信，以在顾客拿取对应物品时，将重力变化信号发送给电子设备，使电子设备监测到顾客拿取对应物品。每个物品还可与多个深度视觉传感器进行关联，使多个深度视觉传感器按照采样频率采集包括物品的二维图像。若某顾客正在拿取目标物品，则目标物品对应的多个目标深度视觉传感器能够采集到包括目标物品及该顾客的二维图像。如图1所示，以预设三维场景为无人超市为例对本方案提供的数据关联方法的具体应用场景进行说明。具体地，在用户进入无人超市前，通过终端设备在无人超市对应的客户端中进行用户账户注册，则在进入无人超市时，无人超市的入口闸机或身份识别设备通过账户信息确定该用户为无人超市的注册用户，则允许用户进入无人超市。并通过多个深度摄像头同时采集图像，将图像发送给电子设备，电子设备通过图像对用户进行检测和跟踪，实时确定每位用户的在无人超市中的位置，并将用户在无人超市中的位置与该用户账户信息关联。若用户想要购买某目标物品，则拿取该目标物品时，重力传感器检测到重力变化信号，将重力变化信号发送给电子设备，电子设备确定检测到该用户拿取目标物品，则获取拿取目标物品时对应的多个目标深度视觉传感器采集的二维图像。在图1中示意出三个目标深度视觉传感器，在二维图像中包括目标物品，还可包括拿取目标物品的用户，若在用户拿取目标物品时，有其他用户在拿取目标物品的用户附近，则在二维图像中还可包括其他用户。由于每个目标深度视觉传感器的设置位置和角度不同，所以采集到的二维图像也不同，不可避免的有些二维图像中可能包括遮挡区域。如拿取目标物品的用户的关键部位被遮挡。在获取到各二维图像后，由于二维图像包括彩色图像及深度图像，并且各目标深度视觉传感器的参数和在预设三维场景中的位置是已知的，即映射参数是已知的，所以可根据各二维图像及映射参数确定对应的目标三维场景点云数据。由于目标三维场景点云数据融合了各二维图像的有效信息，所以相对于单幅二维图像，使遮挡区域大大减少。若在目标三维场景点云数据中包括至少一个用户，则可根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置。根据各用户关键部位在预设三维场景中的位置确定拿取目标物品的目标用户，将目标物品与目标用户进行关联。则在目标用户完成购物，从出口闸机出去时，确定满足清单生成条件，则获取目标物品对应的清单信息；将清单信息发送给目标用户的终端设备，在清单信息中可包括每个目标物品的价格，在将清单信息发送给目标用户的终端设备后，还可自动进行扣款，已完成用户在无人超市的自动购物。由于在用户拿取目标物品时，由多个目标深度视觉传感器采集二维图像，并由各二维图像生成三维场景点云数据，所以可有效减少三维场景点云数据中的遮挡区域，进而使确定出的用户关键部位在预设三维场景中的位置更加准确，更加准确地将人货数据进行关联，准确确定出每个物品的拿取者。
以下将参照附图来具体描述本申请的实施例。
实施例一
图2是根据本申请第一实施例提供的数据关联方法的流程示意图，如图2所示，本申请实施例的执行主体为数据关联装置，该数据关联装置可以集成在电子设备中。则本实施例提供的数据关联方法包括以下几个步骤。
步骤101，若监测到用户拿取目标物品，则获取拿取目标物品时对应的多个目标深度视觉传感器采集的二维图像。
其中，被用户拿取的物品为目标物品，与目标物品相对应的多个深度视觉传感器为目标深度视觉传感器。深度视觉传感器可以为深度摄像头。
本实施例中，每个物品设置在货架上，在货架上放置物品的位置分别设置有重力传感器，在用户拿取目标物品时，对应的目标重力传感器可检测到重力变化信号，并将重力变化信号发送给电子设备，电子设备根据重力变化信号检测到用户拿取目标物品。
其中，电子设备与各重力传感器的通信方式不做限定，如可以为全球移动通讯(Global System of Mobile communication，简称GSM)、码分多址(Code DivisionMultiple Access，简称CDMA)、宽带码分多址(Wideband Code Division MultipleAccess，简称WCDMA)、时分同步码分多址(Time Division-Synchronous Code DivisionMultiple Access，简称TD-SCDMA)、长期演进(Long Term Evolution，简称LTE)***及5G等。可以理解的是，可以为无线通信方式，无线通信方式可以为紫蜂zigbee通信、蓝牙BLE通信或行动热点wifi通信等。
本实施例中，每个物品都有对应的多个目标深度视觉传感器。多个目标深度视觉传感器采用采样频率对包括目标物品的二维图像进行采集。若电子设备监测到用户拿取目标物品，则电子设备可与多个目标深度视觉传感器进行通信，从各目标深度视觉传感器获取此时对应的二维图像。由于此时用户正在拿取目标物品，所以在二维图像中还可包括拿取目标物品的用户。若在该拿取目标物品的用户旁还有其他用户，则在二维图像中还可包括其他用户。即在二维图像中包括至少一个用户。
其中，电子设备与多个目标深度视觉传感器进行通信的方式不作限定，如可以为全球移动通讯(Global System of Mobile communication，简称GSM)、码分多址(CodeDivision Multiple Access，简称CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，简称WCDMA)、时分同步码分多址(Time Division-Synchronous CodeDivision Multiple Access，简称TD-SCDMA)、长期演进(Long Term Evolution，简称LTE)***及5G等。可以理解的是，可以为无线通信方式，无线通信方式可以为紫蜂zigbee通信、蓝牙BLE通信或行动热点wifi通信等。
值的说明的是，在每幅二维图像中，包括彩色图像和深度图像。彩色图像表示图像中每个像素点的颜色信息，如彩色图像可以为RGB图像。深度图像表示图像中每个像素点在预设三维场景中的深度信息。
步骤102，根据各二维图像及映射参数确定对应的目标三维场景点云数据。
本实施例中，映射参数为从二维图像映射到目标三维场景的参数。可以包括各目标深度视觉传感器的参数及在预设三维场景中的位置。其中，各目标深度视觉传感器的参数可以包括内参和外参。
本实施例中，可预先对各目标深度视觉传感器进行标定，确定标定后的各目标深度视觉传感器内参，外参和在预设三维场景中的位置。由于各二维图像能够获取每个像素点的颜色信息和深度信息，所以可将各二维图像按照对应的内参、外参及在预设三维场景中的位置映射到预设三维场景坐标系中，将各二维图像的像素点映射为目标三维场景点云数据。
可以理解的是，若多个目标深度视觉传感器为在目标物品周围的深度视觉传感器，则确定的目标三维场景点云数据为预设三维场景中在目标物品周围的局部三维点云数据。
值的说明的是，由于每个目标深度视觉传感器的设置位置和角度不同，所以采集到的二维图像也不同，不可避免的有些二维图像中可能包括遮挡区域。在获取到各二维图像后，由于二维图像包括彩色图像及深度图像，并且映射参数是已知的，所以可根据各二维图像及映射参数确定对应的目标三维场景点云数据。由于目标三维场景点云数据融合了各二维图像的有效信息，所以相对比单幅二维图像，使遮挡区域大大减少。
步骤103，根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置。
本实施例中，在目标三维场景点云数据中包括至少一个用户的关键部位，可采用位置检测模型对用户关键部位在预设三维场景中的位置进行检测。
其中，位置检测模型可以为深度学习模型、机器学习模型等，本实施例中对此不作限定。
本实施例中，用户关键部位为与拿取目标物品相关的部位，如可以为手部，手腕或小臂等。
步骤104，根据各用户关键部位在预设三维场景中的位置确定拿取目标物品的目标用户。
本实施例中，在将每个物品放置在预设三维场景中时，将每个物品在预设三维场景中的位置进行存储。则获取预先存储的目标物品在预设三维场景中的位置，作为一种可选实施方式，将各用户关键部位在预设三维场景中的位置与该目标物品在预设三维场景中的位置进行对比，将距离目标物品最近的关键部位的用户确定为目标用户。
可以理解的是，根据各用户关键部位在预设三维场景中的位置确定拿取目标物品的目标用户方式还可以为其他方式，本实施例中对此不作限定。
其中，目标用户为拿取目标物品的用户。
步骤105，将目标物品与目标用户进行关联。
本实施例中，将目标物品与目标用户进行关联时，可将目标物品的标识信息与目标用户的标识信息进行关联。
其中，目标物品的标识信息可以为目标物品的唯一条形码或二维码等。目标用户的标识信息可以为目标用户的手机、邮箱或账号等唯一表示目标用户的信息。
可以理解的是，在将目标物品与目标用户进行关联后，将关联数据进行存储。
本实施例提供的数据关联方法，若监测到用户拿取目标物品，则获取拿取目标物品时对应的多个目标深度视觉传感器采集的二维图像；根据各二维图像及映射参数确定对应的目标三维场景点云数据；根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置；根据各用户关键部位在预设三维场景中的位置确定拿取目标物品的目标用户；将目标物品与目标用户进行关联。由于在用户拿取目标物品时，由多个目标深度视觉传感器采集二维图像，并由各二维图像生成三维场景点云数据，所以可有效减少三维场景点云数据中的遮挡区域，进而使确定出的用户关键部位在预设三维场景中的位置更加准确，更加准确地将人货数据进行关联，准确确定出每个物品的拿取者。
实施例二
图3是根据本申请第二实施例提供的数据关联方法的流程示意图，如图3所示，本实施例提供的数据关联方法，是在本申请实施例一提供的数据关联方法的基础上，对步骤102-步骤105的进一步细化。并且还包括了若监测到满足清单生成条件，则获取目标物品对应的清单信息；将清单信息发送给目标用户的终端设备的步骤。则本实施例提供的数据关联方法包括以下步骤。
步骤201，若监测到用户拿取目标物品，则获取拿取目标物品时对应的多个目标深度视觉传感器采集的二维图像。
本实施例中，步骤201的实现方式与本申请第一实施例中的步骤101的实现方式类似，在此不再一一赘述。
步骤202，根据各二维图像及映射参数确定对应的目标三维场景点云数据。
作为一种可选实施方式，如图4所示，步骤202包括以下步骤：
步骤2021，获取各目标深度视觉传感器对应的内外参数和在预设三维场景中的位置。
本实施例中，映射参数包括：各目标深度视觉传感器内参，外参和在预设三维场景中的位置。则可预先对每个物体相对应的各深度视觉传感器进行标定，确定标定后的各深度视觉传感器内参，外参和在预设三维场景中的位置，将各深度视觉传感器内参，外参和在预设三维场景中的位置预先进行关联存储。获取各目标深度视觉传感器对应的内外参数和在预设三维场景中的位置。
其中，各目标深度视觉传感器对应的内参可以包括：焦距。外参可以包括：旋转矩阵和平移矩阵。
步骤2022，将各二维图像按照对应的内外参数和在预设三维场景中的位置映射到预设三维场景坐标系中，以获得对应的目标三维场景点云数据。
本实施例中，由于各二维图像能够获取每个像素点的颜色信息和深度信息，所以可将各二维图像按照对应的内参、外参及在预设三维场景中的位置映射到预设三维场景坐标系中，将各二维图像的像素点映射为目标三维场景点云数据。
本实施例中，每个二维图像均有对应的目标深度视觉传感器采集，所以将每个二维图像按照对应的目标深度视觉传感器的内外参和在预设三维场景中的位置对应映射到预设三维场景坐标系中，在各二维图像映射到预设三维场景坐标系的过程中，完成了场景点云数据的融合和拼接。能够准确并快速地确定出目标三维场景点云数据。并且由于每个目标深度传感器所在的位置和拍摄的角度不同，虽然单个二维图像有遮挡区域，但投影到预设三维场景坐标系并进行拼接后，使获得的目标三维场景点云数据中能够有效去除遮挡区域。
步骤203，根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置。
作为一种可选实施方式，如图5所示，步骤203包括以下步骤：
步骤2031，将目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中，以通过第一已训练至收敛的位置检测模型对各用户关键部位在预设三维场景中的位置进行检测。
本实施例中，第一已训练至收敛的位置检测模型为对目标三维场景点云数据中的各用户关键部位在预设三维场景中的位置进行检测的模型。该第一已训练至收敛的位置检测模型为对第一初始位置检测模型进行训练至收敛后获得的。
其中，第一已训练至收敛的位置检测模型可以深度学习模型，如可以为PointNet模型或Action4d模型等适合处理三维点云数据的深度学习模型。
步骤2032，通过第一已训练至收敛的位置检测模型输出各用户关键部位在预设三维场景中的位置。
进一步地，本实施例中，将目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中，第一已训练至收敛的位置检测模型对目标三维场景点云数据中的各用户关键部位进行检测，并确定各用户关键部位在预设三维场景中的位置，输出各用户关键部位在预设三维场景中的位置。
可以理解的是，各用户关键部位在预设三维场景中的位置为各用户关键部位的中心点在预设三维场景中的位置。
值的说明的是，若未对第一初始位置检测模型进行训练，以获得第一已训练至收敛的位置检测模型，则在步骤2031之前，还包括步骤2030。
步骤2030，采用第一训练样本对第一初始位置检测模型进行训练；第一训练样本为标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据；若确定满足第一训练收敛条件，则将满足第一训练收敛条件的第一初始位置检测模型确定为第一已训练至收敛的位置检测模型。
进一步地，本实施例中，第一训练样本为标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据，由于在每个第一训练样本中的第一历史三维场景点云数据也会存在很少量的遮挡区域，所以在采用第一训练样本有监督的对第一初始位置检测模型进行训练时，能够使已训练至收敛的第一初始位置检测模型更适合对目标三维场景点云数据中的各用户关键部位在预设三维场景中的位置进行检测。使检测出的各用户关键部位在预设三维场景中的位置更加准确。
其中，第一训练收敛条件为对第一初始位置检测模型进行训练时的收敛条件。收敛条件可以为使损失函数达到最小，或者迭代次数达到预设迭代次数等，本实施例中对此不作限定。
步骤204，根据各用户关键部位在预设三维场景中的位置确定拿取目标物品的目标用户。
作为一种可选实施方式，本实施例中，如图6所示，步骤204包括以下步骤：
步骤2041，获取目标物品位置。
本实施例中，在将每个物品放置在预设三维场景中时，预先对每个物品的位置进行了存储。从存储的物品位置中获取目标物品位置。
其中，目标物品位置可采用目标物品的中心点位置表示。
步骤2042，根据各用户关键部位在预设三维场景中的位置与目标物品位置确定各用户关键部位与目标物品的距离。
具体地，本实施例中，根据各用户关键部位在预设三维场景中的位置与目标物品位置，以两点间的欧式距离公式计算各用户关键部位与目标物品的距离。
步骤2043，将距离最小的用户确定为目标用户。
具体地，本实施例中，由于拿取目标物品的用户需要手部与目标物品接触，而在目标物品附近的用户未与目标物品接触，所以拿取目标物品的用户的关键部位与该目标物品的距离小于其他在目标物品附近的用户关键部位与该目标物品的距离。所以将各用户关键部位与目标物品的距离以小到大进行排序，将排在第一的距离最小的用户确定为目标用户。
本实施例中，由于拿取目标物品的用户关键部位与目标物体的距离最小，所以将距离最小的用户确定为目标用户，使确定出的拿取目标物体的目标用户更加准确。
步骤205，根据目标三维场景点云数据确定目标用户头部在预设三维场景中的位置。
可选地，本实施例中，在将目标用户与目标物品进行关联时，需要确定目标用户的标识信息。而在目标三维场景点云数据中并不包括目标用户的标识信息，所以需要确定目标用户的标识信息。
本实施例中，步骤205-步骤207为确定目标用户的标识信息的方法。
作为一种可选实施方式，本实施例中，如图7所示，步骤205包括以下步骤：
步骤2051，将目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中，以通过第二已训练至收敛的位置检测模型对目标用户头部在预设三维场景中的位置进行检测。
本实施例中，第二已训练至收敛的位置检测模型为对目标三维场景点云数据中的目标用户头部在预设三维场景中的位置进行检测的模型。该第二已训练至收敛的位置检测模型为对第二初始位置检测模型进行训练至收敛后获得的。
其中，第二已训练至收敛的位置检测模型可以深度学习模型，如可以为PointNet模型或Action4d模型等适合处理三维点云数据的深度学习模型。
可以理解的是，第二已训练至收敛的位置检测模型的网络架构可以与第一已训练至收敛的位置检测模型的的网络架构相同，但是对应的模型中的参数取值不同。
步骤2052，通过第二已训练至收敛的位置检测模型输出目标用户头部在预设三维场景中的位置。
进一步地，本实施例中，将目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中，第二已训练至收敛的位置检测模型对目标三维场景点云数据中的目标用户头部进行检测，并确定目标用户头部在预设三维场景中的位置，输出目标用户头部在预设三维场景中的位置。
可以理解的是，目标用户头部在预设三维场景中的位置为目标用户头部的中心点在预设三维场景中的位置。
值的说明的是，若未对第二初始位置检测模型进行训练，以获得第二已训练至收敛的位置检测模型，则在步骤2051之前，还包括步骤2050。
步骤2050，采用第二训练样本对第二初始位置检测模型进行训练；第二训练样本为标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据；若确定满足第二训练收敛条件，则将满足第二训练收敛条件的第二初始位置检测模型确定为第二已训练至收敛的位置检测模型。
进一步地，本实施例中，第二训练样本为标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据。可以理解的是，第二历史三维场景点云数据与第一历史三维场景点云数据的区别可以只为标注的部位位置不同。
由于在每个第二训练样本中的第二历史三维场景点云数据也会存在很少量的遮挡区域，所以在采用第二训练样本有监督地对第二初始位置检测模型进行训练时，能够使已训练至收敛的第二初始位置检测模型更适合对目标三维场景点云数据中的目标用户头部在预设三维场景中的位置进行检测。使检测出的目标用户头部在预设三维场景中的位置更加准确。
可以理解的是，第二初始位置检测模型与第一初始位置检测模型的网络架构可以相同，但模型中的参数取值不同。
步骤206，确定与目标用户头部在预设三维场景中的位置相匹配的目标用户的人***置。
步骤207，根据目标用户的人***置与目标用户的标识信息的映射关系确定目标用户的标识信息。
进一步地，本实施例中，在用户进入到预设三维场景中时，多个深度视觉传感器同时采集图像，将图像发送给电子设备，电子设备通过图像对各用户进行检测和跟踪，实时确定每个用户的在预设三维场景中的位置，并且在用户进入到预设三维场景中时能够确定每个用户的标识信息。所以对各用户进行追踪后，能够确定每个用户在预设三维场景中的位置及对应的标识信息。
本实施例中，将目标用户头部在预设三维场景中的位置与各用户的人***置相匹配，若目标用户头部在预设三维场景中的位置与某一用户的人***置相匹配，则确定该用户人***置对应的用户为目标用户。通过相匹配的用户的人***置与对应的标识信息的映射关系确定目标用户的标识信息。
步骤208，将目标物品与目标用户进行关联。
作为一种可选实施方式，本实施例中，如图8所示，步骤208包括以下步骤：
步骤2081，获取目标用户的标识信息和目标物品的标识信息。
本实施例中，由于步骤205-步骤207确定了目标用户的标识信息，所以可获取到目标用户的标识信息。
本实施例中，在电子设备中可将重力传感器的标识信息与对应的物品的标识信息进行关联存储，在重力传感器将重力变化信号发送给电子设备后，电子设备根据重力变化信号携带的重力传感器的标识信息确定对应的目标物品的标识信息。其中，目标物品的标识信息可以为目标物品的唯一条形码或二维码等。
步骤2082，将目标用户的标识信息和目标物品的标识信息进行关联。
可以理解的是，将目标用户的标识信息和目标物品的标识信息进行关联后，将关联后的目标用户的标识信息和目标物品的标识信息进行存储。
本实施例中，将目标用户的标识信息和目标物品的标识信息进行关联，由于标识信息是能够唯一表示目标的信息，所以使目标物品与目标用户关联更准确。
步骤209，若监测到满足清单生成条件，则获取目标物品对应的清单信息。
进一步地，本实施例中，作为一种可选实施方式，监测是否满足清单生成条件可以为监测目标用户离开预设三维场景，若目标用户离开预设三维场景，则确定满足清单生成条件，否则确定不满足清单生成条件。
其中，监测目标用户离开预设三维场景可以为：将预设三维场景中设置的闸机与电子设备进行通信，若目标用户通过标识信息打开出口闸机，则出口闸机向电子设备发送目标用户离开消息，在目标用户离开消息中携带目标用户标识信息。电子设备在接收到目标用户离开消息后，确定满足清单生成条件。
其中，目标物品的清单信息可以包括：目标物品的名称，产地，价格等于目标物品相关的信息。
步骤210，将清单信息发送给目标用户的终端设备。
进一步地，本实施例中，在电子设备中可预先存储每个用户标识信息与对应的终端设备标识信息的映射关系。通过目标用户标识信息确定对应的终端设备标识信息，将清单信息发送给目标用户的终端设备。
可以理解的是，若为无人零售场景，还可根据清单信息从目标用户的账户中扣除与目标物品价格相应的额度值。
本实施例中，在将目标物品和目标用户进行关联后，若监测满足清单生成条件，则将清单信息发送给目标用户的终端设备，能够在无人零售场景中自动完成清单的生成及付款。
实施例三
图9为根据本申请第三实施例提供的数据关联方法的信令流程图，如图9所示，本实施例提供的数据关联方法包括以下步骤：
步骤301，目标重力传感器若检测到其上的重力发生变化，则生成重力变化信号。
步骤302，将重力变化信号发送给电子设备。
其中，目标重力传感器设置在目标物品的下方的货架上。
其中，在重力变化信号中包括：目标物品的标识信息
步骤303，电子设备根据重力变化信号确定监测到用户拿取目标物品。
步骤304，多个目标深度视觉传感器按照采样频率采集包括目标物体的二维图像。
步骤305，电子设备从多个目标深度视觉传感器中获取拿取目标物品时对应的二维图像。
步骤306，根据各二维图像及映射参数确定对应的目标三维场景点云数据。
步骤307，根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置。
步骤308，根据各用户关键部位在预设三维场景中的位置确定拿取目标物品的目标用户。
步骤309，确定目标用户的标识信息。
步骤310，将目标物品与目标用户进行关联。
步骤311，若监测到满足清单生成条件，则获取目标物品对应的清单信息。
步骤312，将清单信息发送给目标用户的终端设备。
本实施例中，步骤303-步骤312与本申请第二实施例中的步骤201-步骤210的相关步骤的实现方式和技术效果类似，在此不再一一赘述。
实施例四
图10为根据本申请第四实施例提供的数据关联装置的结构示意图，如图10所示，本实施例提供的数据关联装置1000位于电子设备中，电子设备与多个深度视觉传感器进行通信，深度视觉传感器设置在预设三维场景内，预设三维场景内还包括目标物品和至少一个用户。该数据关联装置1000包括：图像获取模块1001，场景点云确定模块1002，关键部位位置确定模块1003，目标用户确定模块1004及数据关联模块1005。
其中，图像获取模块1001，用于若监测到用户拿取目标物品，则获取拿取目标物品时对应的多个目标深度视觉传感器采集的二维图像。场景点云确定模块1002，用于根据各二维图像及映射参数确定对应的目标三维场景点云数据。关键部位位置确定模块1003，用于根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置。目标用户确定模块1004，用于根据各用户关键部位在预设三维场景中的位置确定拿取目标物品的目标用户。数据关联模块1005，用于将目标物品与目标用户进行关联。
本实施例提供的数据关联装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。
实施例五
图11为根据本申请第五实施例提供的数据关联装置的结构示意图，如图11所示，本实施例提供的数据关联装置1100在第四实施例提供的数据关联装置的基础上，还包括：第一模型训练模块1101，用户标识确定模块1102，第二模型训练模块1103，清单处理模块1104。
进一步地，场景点云确定模块1002，具体用于：
获取各目标深度视觉传感器对应的内外参数和在预设三维场景中的位置；将各二维图像按照对应的内外参数和在预设三维场景中的位置映射到预设三维场景坐标系中，以获得对应的目标三维场景点云数据。
进一步地，关键部位位置确定模块1003，具体用于：
将目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中，以通过第一已训练至收敛的位置检测模型对各用户关键部位在预设三维场景中的位置进行检测；通过第一已训练至收敛的位置检测模型输出各用户关键部位在预设三维场景中的位置。
进一步地，第一模型训练模块1101，用于采用第一训练样本对第一初始位置检测模型进行训练；第一训练样本为标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据；若确定满足第一训练收敛条件，则将满足第一训练收敛条件的第一初始位置检测模型确定为第一已训练至收敛的位置检测模型。
进一步地，目标用户确定模块1004，具体用于：
获取目标物品位置；根据各用户关键部位在预设三维场景中的位置与目标物品位置确定各用户关键部位与目标物品的距离；将距离最小的用户确定为目标用户。
进一步地，数据关联模块1005，具体用于：
获取目标用户的标识信息和目标物品的标识信息；将目标用户的标识信息和目标物品的标识信息进行关联。
进一步地，用户标识确定模块1102，用于根据目标三维场景点云数据确定目标用户头部在预设三维场景中的位置；确定与目标用户头部在预设三维场景中的位置相匹配的目标用户的人***置；根据目标用户的人***置与目标用户的标识信息的映射关系确定目标用户的标识信息。
进一步地，用户标识确定模块1102，在根据目标三维场景点云数据确定目标用户头部在预设三维场景中的位置时，具体用于：
将目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中，以通过第二已训练至收敛的位置检测模型对目标用户头部在预设三维场景中的位置进行检测；通过第二已训练至收敛的位置检测模型输出目标用户头部在预设三维场景中的位置。
进一步地，第二模型训练模块1103，用于采用第二训练样本对第二初始位置检测模型进行训练；第二训练样本为标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据；若确定满足第二训练收敛条件，则将满足第二训练收敛条件的第二初始位置检测模型确定为第二已训练至收敛的位置检测模型。
进一步地，清单处理模块1104，用于若监测到满足清单生成条件，则获取目标物品对应的清单信息；将清单信息发送给目标用户的终端设备。
本实施例提供的数据关联装置可以执行图2-图9所示方法实施例的技术方案，其实现原理和技术效果与图2-图9所示方法实施例类似，在此不再一一赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图12所示，是根据本申请实施例的数据关联方法的电子设备的框图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图12所示，该电子设备包括：一个或多个处理器1201、存储器1202，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图12中以一个处理器1201为例。
存储器1202即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的数据关联方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据关联方法。
存储器1202作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据关联方法对应的程序指令/模块(例如，附图10所示的图像获取模块1001，场景点云确定模块1002，关键部位位置确定模块1003，目标用户确定模块1004及数据关联模块1005)。处理器1201通过运行存储在存储器1202中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据关联方法。
存储器1202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据图12的电子设备的使用所创建的数据等。此外，存储器1202可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1202可选包括相对于处理器1201远程设置的存储器，这些远程存储器可以通过网络连接至图12的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图12的电子设备还可以包括：输入装置1203和输出装置1204。处理器1201、存储器1202、输入装置1203和输出装置1204可以通过总线或者其他方式连接，图12中以通过总线连接为例。
输入装置1203可接收输入的语音、数字或字符信息，以及产生与图12的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1204可以包括语音播放设备、显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，由于在用户拿取目标物品时，由多个目标深度视觉传感器采集二维图像，并由各二维图像生成三维场景点云数据，所以可有效减少三维场景点云数据中的遮挡区域，进而使确定出的用户关键部位在预设三维场景中的位置更加准确，更加准确地将人货数据进行关联，准确确定出每个物品的拿取者。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (22)
1.一种数据关联方法，其特征在于，所述方法应用于电子设备，电子设备与多个深度视觉传感器进行通信，所述深度视觉传感器设置在预设三维场景内，所述预设三维场景内还包括目标物品和至少一个用户，所述方法包括：
若监测到用户拿取所述目标物品，则获取拿取所述目标物品时对应的多个目标深度视觉传感器采集的二维图像；
根据各二维图像及映射参数确定对应的目标三维场景点云数据；
根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置；
根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户；
将所述目标物品与所述目标用户进行关联。
2.根据权利要求1所述的方法，其特征在于，所述根据各二维图像及映射参数确定对应的目标三维场景点云数据，包括：
获取各目标深度视觉传感器对应的内外参数和在预设三维场景中的位置；
将所述各二维图像按照对应的内外参数和在预设三维场景中的位置映射到预设三维场景坐标系中，以获得对应的目标三维场景点云数据。
3.根据权利要求1所述的方法，其特征在于，所述根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置，包括：
将所述目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中，以通过所述第一已训练至收敛的位置检测模型对各用户关键部位在预设三维场景中的位置进行检测；
通过所述第一已训练至收敛的位置检测模型输出各用户关键部位在预设三维场景中的位置。
4.根据权利要求3所述的方法，其特征在于，所述将所述目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中之前，还包括：
采用第一训练样本对所述第一初始位置检测模型进行训练；所述第一训练样本为标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据；
若确定满足第一训练收敛条件，则将满足第一训练收敛条件的第一初始位置检测模型确定为所述第一已训练至收敛的位置检测模型。
5.根据权利要求1所述的方法，其特征在于，所述根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户，包括：
获取目标物品位置；
根据各用户关键部位在预设三维场景中的位置与所述目标物品位置确定各用户关键部位与所述目标物品的距离；
将距离最小的用户确定为所述目标用户。
6.根据权利要求1所述的方法，其特征在于，所述将所述目标物品与所述目标用户进行关联，包括：
获取所述目标用户的标识信息和所述目标物品的标识信息；
将所述目标用户的标识信息和所述目标物品的标识信息进行关联。
7.根据权利要求6所述的方法，其特征在于，所述根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户之后，还包括：
根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置；
确定与目标用户头部在预设三维场景中的位置相匹配的目标用户的人***置；
根据所述目标用户的人***置与目标用户的标识信息的映射关系确定所述目标用户的标识信息。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置，包括：
将所述目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中，以通过所述第二已训练至收敛的位置检测模型对目标用户头部在预设三维场景中的位置进行检测；
通过所述第二已训练至收敛的位置检测模型输出目标用户头部在预设三维场景中的位置。
9.根据权利要求8所述的方法，其特征在于，所述将所述目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中之前，还包括：
采用第二训练样本对所述第二初始位置检测模型进行训练；所述第二训练样本为标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据；
若确定满足第二训练收敛条件，则将满足第二训练收敛条件的第二初始位置检测模型确定为所述第二已训练至收敛的位置检测模型。
10.根据权利要求1所述的方法，其特征在于，所述将所述目标物品与所述目标用户进行关联之后，还包括：
若监测到满足清单生成条件，则获取目标物品对应的清单信息；
将所述清单信息发送给所述目标用户的终端设备。
11.一种数据关联装置，其特征在于，所述装置位于电子设备中，电子设备与多个深度视觉传感器进行通信，所述深度视觉传感器设置在预设三维场景内，所述预设三维场景内还包括目标物品和至少一个用户，所述装置包括：
图像获取模块，用于若监测到用户拿取所述目标物品，则获取拿取所述目标物品时对应的多个目标深度视觉传感器采集的二维图像；
场景点云确定模块，用于根据各二维图像及映射参数确定对应的目标三维场景点云数据；
关键部位位置确定模块，用于根据目标三维场景点云数据确定至少一个用户关键部位在预设三维场景中的位置；
目标用户确定模块，用于根据各用户关键部位在预设三维场景中的位置确定拿取所述目标物品的目标用户；
数据关联模块，用于将所述目标物品与所述目标用户进行关联。
12.根据权利要求11所述的装置，其特征在于，所述场景点云确定模块，具体用于：
获取各目标深度视觉传感器对应的内外参数和在预设三维场景中的位置；将所述各二维图像按照对应的内外参数和在预设三维场景中的位置映射到预设三维场景坐标系中，以获得对应的目标三维场景点云数据。
13.根据权利要求11所述的装置，其特征在于，所述关键部位位置确定模块，具体用于：
将所述目标三维场景点云数据输入到第一已训练至收敛的位置检测模型中，以通过所述第一已训练至收敛的位置检测模型对各用户关键部位在预设三维场景中的位置进行检测；通过所述第一已训练至收敛的位置检测模型输出各用户关键部位在预设三维场景中的位置。
14.根据权利要求13所述的装置，其特征在于，还包括：
第一模型训练模块，用于采用第一训练样本对所述第一初始位置检测模型进行训练；所述第一训练样本为标注至少一个用户关键部位在预设三维场景中的位置的第一历史三维场景点云数据；若确定满足第一训练收敛条件，则将满足第一训练收敛条件的第一初始位置检测模型确定为所述第一已训练至收敛的位置检测模型。
15.根据权利要求11所述的装置，其特征在于，所述目标用户确定模块，具体用于：
获取目标物品位置；根据各用户关键部位在预设三维场景中的位置与所述目标物品位置确定各用户关键部位与所述目标物品的距离；将距离最小的用户确定为所述目标用户。
16.根据权利要求11所述的装置，其特征在于，所述数据关联模块，具体用于：
获取所述目标用户的标识信息和所述目标物品的标识信息；将所述目标用户的标识信息和所述目标物品的标识信息进行关联。
17.根据权利要求16所述的装置，其特征在于，还包括：
用户标识确定模块，用于根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置；确定与目标用户头部在预设三维场景中的位置相匹配的目标用户的人***置；根据所述目标用户的人***置与目标用户的标识信息的映射关系确定所述目标用户的标识信息。
18.根据权利要求17所述的装置，其特征在于，所述用户标识确定模块，在根据所述目标三维场景点云数据确定目标用户头部在预设三维场景中的位置时，具体用于：
将所述目标三维场景点云数据输入到第二已训练至收敛的位置检测模型中，以通过所述第二已训练至收敛的位置检测模型对目标用户头部在预设三维场景中的位置进行检测；通过所述第二已训练至收敛的位置检测模型输出目标用户头部在预设三维场景中的位置。
19.根据权利要求18所述的装置，其特征在于，还包括：
第二模型训练模块，用于采用第二训练样本对所述第二初始位置检测模型进行训练；所述第二训练样本为标注拿取物品用户头部在预设三维场景中的位置的第二历史三维场景点云数据；若确定满足第二训练收敛条件，则将满足第二训练收敛条件的第二初始位置检测模型确定为所述第二已训练至收敛的位置检测模型。
20.根据权利要求11所述的装置，其特征在于，还包括：
清单处理模块，用于若监测到满足清单生成条件，则获取目标物品对应的清单信息；将所述清单信息发送给所述目标用户的终端设备。
21.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010027553.1A CN111259755B (zh) | 2020-01-10 | 2020-01-10 | 数据关联方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010027553.1A CN111259755B (zh) | 2020-01-10 | 2020-01-10 | 数据关联方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111259755A true CN111259755A (zh) | 2020-06-09 |
| CN111259755B CN111259755B (zh) | 2023-07-28 |
Family
ID=70952813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010027553.1A Active CN111259755B (zh) | 2020-01-10 | 2020-01-10 | 数据关联方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111259755B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815698A (zh) * | 2020-07-20 | 2020-10-23 | 广西安良科技有限公司 | 人工智能单目3d点云生成方法、装置、终端及存储介质 |
| CN112037280A (zh) * | 2020-08-17 | 2020-12-04 | 北京声智科技有限公司 | 物体距离测量方法及装置 |
| CN112270769A (zh) * | 2020-11-11 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种导游方法、装置、电子设备及存储介质 |
| CN113489902A (zh) * | 2021-07-02 | 2021-10-08 | 深圳课后帮科技有限公司 | 一种视频拍摄方法及*** |
| CN114078331B (zh) * | 2020-08-19 | 2023-02-17 | 北京万集科技股份有限公司 | 超速检测方法、装置、视觉传感器和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507048A (zh) * | 2017-05-20 | 2017-12-22 | 吕怀民 | “用联网”方法、联网可用物品、网络许可使用装置及用途 |
| CN109598301A (zh) * | 2018-11-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | 检测区域去除方法、装置、终端和存储介质 |
| US20190206012A1 (en) * | 2017-12-31 | 2019-07-04 | William Granich | Online marketing lottery scratch-off system |
| CN110189343A (zh) * | 2019-04-16 | 2019-08-30 | 阿里巴巴集团控股有限公司 | 图像标注方法、装置及*** |
| CN110276805A (zh) * | 2019-06-28 | 2019-09-24 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| CN110378087A (zh) * | 2019-07-24 | 2019-10-25 | 四川爱创科技有限公司 | 无人售货终端管理方法及*** |
-
2020
- 2020-01-10 CN CN202010027553.1A patent/CN111259755B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507048A (zh) * | 2017-05-20 | 2017-12-22 | 吕怀民 | “用联网”方法、联网可用物品、网络许可使用装置及用途 |
| US20190206012A1 (en) * | 2017-12-31 | 2019-07-04 | William Granich | Online marketing lottery scratch-off system |
| CN109598301A (zh) * | 2018-11-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | 检测区域去除方法、装置、终端和存储介质 |
| CN110189343A (zh) * | 2019-04-16 | 2019-08-30 | 阿里巴巴集团控股有限公司 | 图像标注方法、装置及*** |
| CN110276805A (zh) * | 2019-06-28 | 2019-09-24 | 联想(北京)有限公司 | 一种数据处理方法及电子设备 |
| CN110378087A (zh) * | 2019-07-24 | 2019-10-25 | 四川爱创科技有限公司 | 无人售货终端管理方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| GEOFFERY POON等: "Enabling 3D online shopping with affordable depth scanned models" * |
| 蔡健: "基于用户特征的无人超市推荐***设计与实现" * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815698A (zh) * | 2020-07-20 | 2020-10-23 | 广西安良科技有限公司 | 人工智能单目3d点云生成方法、装置、终端及存储介质 |
| CN112037280A (zh) * | 2020-08-17 | 2020-12-04 | 北京声智科技有限公司 | 物体距离测量方法及装置 |
| CN114078331B (zh) * | 2020-08-19 | 2023-02-17 | 北京万集科技股份有限公司 | 超速检测方法、装置、视觉传感器和存储介质 |
| CN112270769A (zh) * | 2020-11-11 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种导游方法、装置、电子设备及存储介质 |
| CN112270769B (zh) * | 2020-11-11 | 2023-11-10 | 北京百度网讯科技有限公司 | 一种导游方法、装置、电子设备及存储介质 |
| US11823335B2 (en) | 2020-11-11 | 2023-11-21 | Beijing Baidu Netcom Science Technology Co., Ltd. | Tour guiding method, electronic device and storage medium |
| CN113489902A (zh) * | 2021-07-02 | 2021-10-08 | 深圳课后帮科技有限公司 | 一种视频拍摄方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111259755B (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259755B (zh) | 数据关联方法、装置、设备及存储介质 | |
| US10228763B2 (en) | Gaze direction mapping | |
| JP6869345B2 (ja) | 注文情報決定方法および装置 | |
| US11614803B2 (en) | Individually interactive multi-view display system for non-stationary viewing locations and methods therefor | |
| US10380814B1 (en) | System for determining entry of user to an automated facility | |
| US9842255B2 (en) | Calculation device and calculation method | |
| CN105190483B (zh) | 检测用至少两个控制对象执行的手势 | |
| CN109918975A (zh) | 一种增强现实的处理方法、对象识别的方法及终端 | |
| TW201907350A (zh) | 線下導購方法和裝置 | |
| US10990923B1 (en) | System and method for tracking objects within a facility | |
| CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
| CN106415445A (zh) | 用于观看者关注区域估计的技术 | |
| US11918883B2 (en) | Electronic device for providing feedback for specific movement using machine learning model and operating method thereof | |
| CN108921098B (zh) | 人体运动分析方法、装置、设备及存储介质 | |
| CN105229582A (zh) | 基于近距离传感器和图像传感器的手势检测 | |
| JPWO2017085771A1 (ja) | 精算支援システム、精算支援プログラム、及び精算支援方法 | |
| CN109726759A (zh) | 无人售货方法、装置、***、电子设备及计算机可读介质 | |
| CN109670546A (zh) | 一种基于预设模板的商品匹配及数量回归识别算法 | |
| CN112241716B (zh) | 训练样本的生成方法和装置 | |
| CN112001248A (zh) | 主动交互的方法、装置、电子设备和可读存储介质 | |
| CN113447128A (zh) | 一种多人体温检测方法、装置、电子设备及存储介质 | |
| CN112270303A (zh) | 图像识别方法、装置以及电子设备 | |
| CN110246280B (zh) | 人货绑定方法及装置、计算机设备及可读介质 | |
| Strecker et al. | MR Object Identification and Interaction: Fusing Object Situation Information from Heterogeneous Sources | |
| US20220138466A1 (en) | Dynamic vision sensors for fast motion understanding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |