CN112884839A - 应用于服务机器人的服务资源分配方法及服务机器人 - Google Patents
应用于服务机器人的服务资源分配方法及服务机器人 Download PDFInfo
- Publication number
- CN112884839A CN112884839A CN202110324111.8A CN202110324111A CN112884839A CN 112884839 A CN112884839 A CN 112884839A CN 202110324111 A CN202110324111 A CN 202110324111A CN 112884839 A CN112884839 A CN 112884839A
- Authority
- CN
- China
- Prior art keywords
- service
- target user
- graph
- feature map
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013468 resource allocation Methods 0.000 title claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 74
- 230000004927 fusion Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 239000000047 product Substances 0.000 description 9
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
本说明书实施例涉及人工智能技术领域，具体公开了一种应用于服务机器人的服务资源分配方法及服务机器人，所述方法包括根据对指定区域内的用户的识别结果确定待业务办理的目标用户的位置信息，以基于所述位置信息向所述目标用户移动；基于与所述目标用户的沟通信息确定所述目标用户的当前业务办理需求；提取所述指定区域内可实现所述当前业务办理需求的至少一个服务设备，作为备选服务设备；基于所述备选服务设备的已有业务办理需求的办理进度，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，以使筛选出的服务设备向目标用户提供服务。从而可以提高服务资源分配的合理性。
Description
技术领域
本说明书涉及人工智能技术领域，特别地，涉及一种应用于服务机器人的服务资源分配方法及服务机器人。
背景技术
目前，很多银行营业厅配置有服务机器人。服务机器人可以通过与用户沟通或者向用户展示相关指引信息等方式向用户提供服务。服务机器人在服务过程中，如何准确地向用户提供其所需要的服务，以协助用户完成业务办理，是非常重要的。目前的服务机器人虽然可以与用户进行简单的交流或者提供简单的业务指导，但还不能很好调配服务资源，以更加准确高效地向用户提供所需的服务。
发明内容
本说明书实施例的目的在于提供一种应用于服务机器人的服务资源分配方法及服务机器人，可以提高服务资源分配的合理性以及服务的准确性以及高效性。
本说明书提供一种应用于服务机器人的服务资源分配方法及服务机器人是包括如下方式实现的：
一种应用于服务机器人的服务资源分配方法，所述方法包括：根据对指定区域内的用户的识别结果确定待业务办理的目标用户的位置信息，以基于所述位置信息向所述目标用户移动；基于与所述目标用户的沟通信息确定所述目标用户的当前业务办理需求；提取所述指定区域内可实现所述当前业务办理需求的至少一个服务设备，作为备选服务设备；基于所述备选服务设备的已有业务办理需求的办理进度，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，以使筛选出的服务设备向目标用户提供服务。
本说明书提供的所述方法的另一些实施例中，所述从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，包括：对于所述备选服务设备的任一已有业务办理需求，获取所述已有业务办理需求的待处理的业务类型以及正在处理的业务类型中的待处理节点，以根据所述待处理的业务类型以及所述待处理节点的处理时间确定所述已有业务办理需求的剩余处理时间；基于所述备选服务设备的已有业务办理需求的剩余处理时间，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备。
本说明书提供的所述方法的另一些实施例中，以向所述目标用户提供服务的服务设备作为目标服务设备，所述方法还包括：基于所述目标服务设备的已有业务办理需求的剩余处理时间，确定所述当前业务办理需求的等待时间；将所述目标服务设备的设备标识信息以及等待时间反馈给所述目标用户。
本说明书提供的所述方法的另一些实施例中，所述服务机器人配置有双目摄像头，所述方法还包括：利用双目摄像头对用户进行信息采集，得到左图、右图；并以左图或右图作为基准图；基于所述左图以及右图构建深度图；在基准图的相机坐标系中将基准图以及深度图中每个像素点反投影到3D坐标中，得到3D点云数据；对所述基准图进行特征提取，得到特征图；以及对所述3D点云数据进行特征提取，得到点云特征图；基于所述特征图以及点云特征图定位所述目标用户。
本说明书提供的所述方法的另一些实施例中，所述基于所述特征图以及点云特征图定位目标用户，包括：按列复制所述特征图N次，得到中间特征图，其中，N表示点云特征图中的点总数目；将所述中间特征图与所述点云特征图进行拼接，得到拼接特征图；对所述拼接特征图进行归一化处理，得到注意力权值图；将所述注意力权值图与所述点云特征图的对应元素相乘，得到融合特征图；基于所述融合特征图定位所述目标用户。
本说明书提供的所述方法的另一些实施例中，所述基于所述融合特征图定位目标用户，包括：利用RPN生成所述融合特征图的二维候选框；结合所述深度图计算各二维候选框所对应的三维候选框；其中，所述三维候选框的大小基于训练集中各三维候选框的平均大小进行初始化；利用多任务损失函数对所述三维候选框进行调整，以得到目标用户的三维目标框；根据所述三维目标框定位所述目标用户。
另一方面，本说明书还提供一种服务机器人，所述机器人包括：定位模块，用于根据对指定区域内的用户的识别结果确定待业务办理的目标用户的位置信息，以基于所述位置信息向所述目标用户移动；需求确定模块，用于基于与所述目标用户的沟通信息确定所述目标用户的当前业务办理需求；提取模块，用于提取所述指定区域内可实现所述当前业务办理需求的至少一个服务设备，作为备选服务设备；筛选模块，用于基于所述备选服务设备的已有业务办理需求的办理进度，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，以使筛选出的服务设备向目标用户提供服务。
本说明书提供的所述服务机器人的另一些实施例中，所述服务机器人配置有双目摄像头，所述双目摄像头用于对用户进行信息采集，得到左图、右图；并以左图或右图作为基准图；所述定位模块包括：点云图构建单元，用于基于所述左图以及右图构建深度图；以及在基准图的相机坐标系中将基准图以及深度图中每个像素点反投影到3D坐标中，得到3D点云数据；特征提取单元，用于对所述基准图进行特征提取，得到特征图；以及对所述3D点云数据进行特征提取，得到点云特征图；定位单元，用于基于所述特征图以及点云特征图定位所述目标用户。
本说明书提供的所述服务机器人的另一些实施例中，所述定位模块还包括权值图构建单元以及融合单元；所述权值图构建单元用于按列复制所述特征图N次，得到中间特征图，其中，N表示点云特征图中的点总数目；以及将所述中间特征图与所述点云特征图进行拼接，得到拼接特征图；并对所述拼接特征图进行归一化处理，得到注意力权值图；所述融合单元用于将所述注意力权值图与所述点云特征图的对应元素相乘，得到融合特征图；所述定位单元还用于基于所述融合特征图定位所述目标用户。
本说明书提供的所述服务机器人的另一些实施例中，所述定位模块还包括候选框确定单元以及目标框确定单元；所述候选框确定单元用于利用RPN生成所述融合特征图的二维候选框；以及结合所述深度图计算各二维候选框所对应的三维候选框；其中，所述三维候选框的大小基于训练集中各三维候选框的平均大小进行初始化；所述目标框确定单元用于利用多任务损失函数对所述三维候选框进行调整，以得到目标用户的三维目标框；所述定位单元还用于根据所述三维目标框定位所述目标用户。
本说明书一个或多个实施例提供的应用于服务机器人的服务资源分配方法及服务机器人，通过准确定位用户，可以主动与用户进行沟通。并可以基于沟通信息确定用户的业务办理需求，便于更加准确有效的为用户提高业务办理协助，提高用户体验感。在确定业务办理需求后，可以进一步提取出可实现该业务办理需求的服务设备，作为备选服务设备，再分析各备选服务设备需处理的业务量、业务处理进度等，合理分配服务次序以及柜台资源等，从备选服务设备中选出可向用户更加快速准确提供服务的服务设备，减少用户等待时间。同时还可以提高营业厅整体业务办理的效率以及准确性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本说明书提供的一种应用于服务机器人的业务规划方法实施例的流程示意图；
图2为本说明书提供的一个实施例中特征提取流程示意图；
图3为本说明书提供的一个实施例中数据融合流程示意图；
图4为本说明书提供的一个实施例中神经网络回归和分类流程示意图；
图5为本说明书提供的一个实施例中三维目标的检测流程示意图；
图6为本说明书提供的服务机器人的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。
本说明书的一个场景示例中，服务机器人可以为配置在银行营业厅内的可移动智能终端设备。所述服务机器人可以配置有采集模块(如摄像头、指纹采集模块、语音采集模块等)、显示器、处理器、存储器、通信模块等等。所述服务机器人可以通过采集模块采集用户的面部、指纹、声音等生物特征信息。服务机器人的处理器可以用于基于采集到的信息实现用户身份识别、路径规划、业务规划、业务处理、情景智能沟通等数据处理。服务机器人也可以通过通信模块与金融机构的业务***建立通信连接。相应的，服务机器人也可以将采集到的信息发送至业务***，以使业务***执行用户身份识别、路径规划、业务规划、业务处理、情景智能沟通等数据处理，服务机器人可以接收业务***反馈的数据处理结果。服务机器人可以将数据处理结果通过显示器展示给用户，也可以通过语音的形式反馈给用户。相应的，存储器中可以存储有服务机器人执行上述数据处理的一些基础数据或者实现程序等。
如用户在进入银行的营业厅办理业务时，服务机器人可以对用户进行信息采集以及定位，并上前与用户打招呼。如服务机器人可以向目标用户打招呼“您好，请问有什么需要帮您”，目标用户可以向服务机器人咨询“我想购买理财产品，可以给我介绍下吗”，服务机器人可以进一步询问目标用户“本行大概有……类型的理财产品，请问您进一步想要了解哪一种呢”，相应的，目标用户可以答复“麻烦给我展示下XX类型的理财产品吧”。相应的，服务机器人可以初步向目标用户展示或介绍XX类型的理财产品的信息。服务机器人在展示或介绍完后，还可以进一步向用户回复“如果您想买这类理财产品或想进一步详细了解，可以前往A柜台办理”。
在此过程中，服务机器人可以从与用户的沟通信息中提取用户的业务办理需求，如在本场景示例中，服务机器人可以提取到目标用户的业务办理需求为“购买理财产品”。然后，可以提取指定区域内可实现所述当前业务办理需求“购买理财产品”的至少一个服务设备，作为备选服务设备。服务设备如可以为人工柜台、智能柜台等。可以进一步分析各备选服务设备的已有业务办理需求以及已有业务办理需求的进度，以基于分析结果从备选服务设备中筛选出向所述目标用户提供服务的服务设备，指引用户前往筛选出的服务设备进行业务办理。
通过准确定位用户，主动与用户进行沟通，基于沟通信息确定用户的业务办理需求，可以及时准确的了解用户的需求，便于更加准确有效的为用户提高业务办理协助，提高用户体验感。在确定业务办理需求后，可以进一步提取出可实现该业务办理需求的服务设备，作为备选服务设备，再分析各备选服务设备需处理的业务量、业务处理进度等，合理分配服务次序以及柜台资源等，从备选服务设备中选出可向用户更加快速提供服务的服务设备，减少用户等待时间，同时还可以提高营业厅整体业务办理的效率以及准确性。
图1是本说明书提供的所述应用于服务机器人的业务规划方法实施例流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。具体的一个实施例如图1所示，本说明书提供的应用于服务机器人的业务规划方法的一个实施例中，所述方法可以应用于服务机器人，所述方法可以包括如下步骤：
S20：根据对指定区域内的用户的识别结果确定待业务办理的目标用户的位置信息，以基于所述位置信息向所述目标用户移动。
服务机器人可以对指定区域内的用户进行识别。服务机器人中可以配置有采集模块，以采集用户的面部信息、语言信息等。服务机器人或业务***中可以配置有执行面部识别、语音识别等的算法。目标用户的确定可以由服务机器人执行，也可以由与服务机器人建立通信连接的业务***执行。
所述指定区域如可以为银行的某业务办理场所、移动业务办理车等。目标用户如可以为进入指定区域但尚未被分配服务设备的用户。所述服务设备可以为指定区域内用于实现业务办理的终端设备。
如指定区域为银行的支行营业厅，银行的营业厅内通常配置有多个服务设备。服务设备如可以包括智能柜台和人工柜台等。当然，服务设备也可以包括服务机器人本身。智能柜台或服务机器人通常可以自动向用户提供服务。如用户可以自行通过操作智能柜台界面，实现业务办理。人工柜台则通常由业务人员操作服务设备(如电脑)，为用户实现业务办理。
如用户进入营业厅，服务机器人可以对用户进行面部识别，以确定该用户是否被分配服务设备，如果尚未分配，如可以将该用户作为目标用户。当然，还可以对用户的其他生物特征信息进行识别，以确定用户的身份信息，进而确定用户是否被分配服务设备。及时检测进入营业厅但尚未分配服务设备的用户，可以更加快速有效的帮助用户进行业务办理，提高用户的体验感。
或者，所述目标用户在其他实施方式下还可以为已被分配服务设备的用户。如用户已被分配服务设备后，想要重新调整业务办理需求，向服务机器人咨询，则也可以将该用户作为目标用户。
当然，所属领域技术人员在本说明书实施例的技术精髓启示下，目标用户的确定还可能有其它变更实施方式，但只要其实现的功能和效果相同或相似，均应涵盖于本说明书保护范围内。
服务机器人还可以定位目标用户的位置，以实现对目标用户的追踪和定位，便于与目标用户进行沟通，提高目标用户的互动体验感。
如服务机器人中可以配置有双目摄像头，作为机器人的双眼。双目摄像头用于采集目标用户所在区域的图像，可以分别将两个摄像头采集的图像称之为左图Il(u，v)和右图Ir(u，v)，并计算得到相应的深度图D(u，v)。
其中，fU为左图的水平方向的焦距，Y(u，v)为左图与右图之间的视差图，b为双目摄像头的基线。
然后，可以进行目标用户的追踪以及定位。在基于双目摄像头采集到的信息进行目标用户检测时，可以预先训练目标检测模型只需检测到人即可。通过该设计可以大大提高目标用户确定的效率以及准确率，使得服务机器人能够更快速的检测到用户。
可以将左图或右图作为基准图进行后续处理。如以左图为基准图，可以在左图的相机坐标系中将每个像素(u，v)反投影到3D坐标(x，y，z)，得到3D点云数据{(x(n)，y(n)，z(n))}N n＝1。
(depth)z＝D(u,v)
其中，x、y、z分别表示3D坐标的深度坐标、水平坐标以及垂向坐标，n表示任意像素点，N为3D点云中的像素点总数目，cU、cV是像素坐标原点相对于左图所对应的摄像头的中心的位置偏移，fu是垂直焦距。
如图2所示，利用神经网络Faster-RCNN对左图进行特征提取，得到特征图F(C，1024)。利用PointNet++网络对上述生成的3D点云数据进行特征提取，得到点云特征图F2(N，64)。利用特征图以及点云特征图进行后续处理，相对于直接利用雷达采集点云数据，可以大幅降低数据处理量。
一些实施例中，可以利用基于注意力机制的数据融合，对特征图F和点云特征图F2进行数据融合。
如图3所示，具体的数据融合流程可以为：
(a)输入特征图F(C，1024)和点云特征图F2(N，64)。
(b)根据点云特征图F2中的点总数目N，按列复制特征图F(C，1024)N次，得到中间特征图F1(Nx1024)。
(c)将F1(Nx1024)和F2拼接在一起，形成一个大小为Nx1088的拼接特征图。
(d)通过MLP层和归一化函数(sigmoid)，将拼接特征图归一化(Normalization)为区间[0,1]，得到注意力权值图(Attention Map(Nx64))。以基于注意力权值图表示神经网络对各区域的关注度。值越高，关注度越高。
(e)将注意力权值图与点云特征图F2对应元素相乘，得到Refined Feature(改进的特征图)；通过残差连接将Refined Feature加入到点云特征图F2中，得到融合特征图(Out Feature(Nx64))。
上述实施例提供的融合方案，基于RGB数据的色彩优势和点云数据的空间优势，针对不同的数据采用了不同的挖掘方法，以使各数据发挥最大的优势。上述融合方式通过借助RGB特征图和点云数据特征图得到注意力权值图，以注意力权值图指导从点云数据中提取的特征图，以使提取的特征图可以更好地表达特征。注意力权值图可以很好地描述不同局部结构的相对关系以及各局部结构对识别人物的贡献，可以强化点云中人物的信息，弱化其他干扰信息，从而提高人物检测的准确率。
如图4所示，可以进一步将融合特征图送入卷积神经网络做目标的分类(classification)和回归(regressor targes)，得到人物在三维空间中的位置坐标。本实施例中，可以基于先验候选框的三维目标检测，将网络分为两个步骤来进行(如图5所示)：三维候选框生成以及三维目标框回归。三维候选框生成用于生成一系列三维候选框，三维目标框回归用于对三维候选框进行筛选，以进一步得到精确的三维目标框。
参考图5，FC1、FC2、FC3、FC4分别表示全连接层。可以使用RPN(Region ProposalNetwork，区域生成网络)来生成二维候选框。RPN的输入为任意大小的图像，输出为一组矩形目标候选框，每个候选框对应一个概率值。然后，使用上述获得的2D候选框(二维候选框)，并结合深度图初始化3D候选框(三维候选框)。对于每个2D候选框，计算相应的3D候选框。3D候选框用一个7维向量(xc,yc,zc,l,w,h,θ)表示。(xc,yc,zc)是在相机坐标系下的中心点坐标。(l,w,h)代表3D候选框的大小，θ表示其在相机坐标系(π,-π)下绕y轴旋转θ。对于3D候选框的大小，可以对训练集进行了简单的统计，并用估算出的框的平均尺寸来初始化3D候选框。通常人对熟悉的物体(如汽车、桌子等)的大小有一个大致的概念，利用估算出的框的平均尺寸来初始化3D候选框比直接利用高层特征图去拟合三维框的大小效果更好。
将所有3D候选框的方向角θ的初始值设为0。3D候选框中心点(xc,yc,zc)初始值的计算方式如下述公式所示：
xc＝zmed*(cx-ox)/f
yc＝zmed*(cy-oy)/f
其中，f为摄像头的焦距，(ox,oy)为主轴点，(cx,cy)为2D候选框的中心，zc等于zmed，zmed是深度图中对应2D候选框深度值的平均值。
可以进一步为每个目标物体输出一个完整的3D目标框(三维目标框)。三维目标回归网络根据之前得到的特征图对三维候选框进行细化，得到最终的三维目标框。可以对t＝(Δx,Δy,Δz,Δl,Δw,Δh,Δθ)进行回归处理，以间接实现对3D框的回归，进而确定目标框之间的差异。其中(Δx,Δy,Δz)是3D目标框中心点相对于3D候选框中心点的偏移，其进行了尺度不变性归一化。(Δw,Δh,Δl)是3D目标框大小相对于3D候选框大小的偏移，其进行了log-space shift归一化。另外，Δθ是3D目标框偏转角相对于3D候选框偏转角的偏移，由Δθ＝θ-θa，Δθ*＝θ*-θa计算得到。其中，
Δx＝(x-xa)/wa,Δy＝(y-ya)/ha,Δz＝(z-za)/la,
Δw＝log(w/wa),Δh＝log(h/ha),Δl＝log(l/la),
Δx*＝(x*-xa)/wa,Δy＝(y*-ya)/ha,Δz＝(z*-za)/la,
Δw＝log(w*/wa),Δh＝log(h*/ha),Δl＝log(l*/la)，
x、y、z、w、h、l表示3D目标框的中心坐标及其宽度、高度和长度。变量x、xa和x*分别表示目标框、候选框和ground-truth中心点的x坐标，其他变量y、z、w、h、l类似于x。
可以利用多任务损失函数来同时预测类标签、3D目标框偏移量和目标朝向，如下述公式所示。
上标p、r分别代表3DRPN和3DRCNN，下标box，θ分别表示3D目标框和朝向的损失函数。可以将类别损失定义为交叉熵损失，方向损失和目标框偏移量损失定义为smooth L1损失。每个损失根据其不确定性进行加权。
基于上述实施方式，一些实施例中，服务机器人可以利用双目摄像头对用户进行信息采集，得到左图、右图；并以左图或右图作为基准图；基于所述左图以及右图构建深度图；在基准图的相机坐标系中将基准图以及深度图中每个像素点反投影到3D坐标中，得到3D点云数据；对所述基准图进行特征提取，得到特征图；以及对所述3D点云数据进行特征提取，得到点云特征图；基于所述特征图以及点云特征图定位所述目标用户。
在基于所述特征图以及点云特征图定位所述目标用户的过程中，可以按列复制所述特征图N次，得到中间特征图，其中，N表示点云特征图中的点总数目；将所述中间特征图与所述点云特征图进行拼接，得到拼接特征图；对所述拼接特征图进行归一化处理，得到注意力权值图；将所述注意力权值图与所述点云特征图的对应元素相乘，得到融合特征图，以基于所述融合特征图定位所述目标用户。
在基于所述融合特征图定位所述目标用户的过程中，还可以利用RPN生成所述融合特征图的二维候选框；结合所述深度图计算各二维候选框所对应的三维候选框；其中，所述三维候选框的大小基于训练集中各三维候选框的平均大小进行初始化；利用多任务损失函数对所述三维候选框进行调整，以得到目标用户的三维目标框；根据所述三维目标框定位所述目标用户。
当然，所属领域技术人员在本说明书实施例的技术精髓启示下，还可能有其它变更实施方式，但只要其实现的功能和效果相同或相似，均应涵盖于本说明书保护范围内。
如可以将点云数据投影到二维平面。此种方式不直接处理三维的点云数据，而是先将点云投影到某些特定视角再处理，如前视视角和鸟瞰视角。同时融合使用来自相机的图像信息，通过神经网络提取特征后得到融合的特征图。通过将这些不同视角的数据相结合，来实现点云数据的认知任务。但该方式只是简单的对不同类型的数据进行了拼接，并没有真正发挥不同类型数据的优势。
或者，可以先对点云数据进行处理，再用RGB的特征图进行辅助。将点云数据划分到有空间依赖关系的体素。此种方式通过分割三维空间，引入空间依赖关系到点云数据中，再使用3D卷积等方式来进行处理。得到处理后的点云数据后，在RGB图的辅助下使用RPN进行分类和目标框回归。但这种方法的精度依赖于三维空间的分割细腻度，而且3D卷积的运算复杂度也较高。
在定位到目标用户在三维空间中的位置后，可以进一步进行规划路径，以指导机器人移动的位移和方向。服务机器人还可以基于上述方式实时定位目标用户的位置，调整移动的位移和方向。服务机器人可以基于确定的移动位移和方向，上前与目标用户进行沟通。
S22：基于与所述目标用户的沟通信息确定所述目标用户的当前业务办理需求。
服务机器人在与目标用户沟通的过程中，可以产生沟通信息。所述沟通信息可以包括目标用户与服务机器人之间的语音沟通信息，也可以包括目标用户在服务机器人展示的界面中选择或输入的信息。当然，也可以包括其他类型的沟通信息，这里不做限定。
服务机器人如可以利用情景智能等相关算法，基于与所述目标用户的沟通信息，确定所述目标用户的当前业务办理需求。业务办理需求如可以为“开账户”、“存/取款”、“活期转定期”、“购买理财产品”等等。当然，服务机器人也可以将与目标用户的沟通信息发生至业务***，以使业务***确定目标用户的当前业务办理需求，并反馈给服务机器人。
在构建确定当前业务办理需求的相关算法时，还可以结合银行实际业务情况，提取业务敏感词汇，形成业务敏感词集。结合该业务敏感词集构建确定业务办理需求的相关算法，从而可以更加快速准确的从沟通信息中定位出用户的当前业务办理需求。相应的，一些实施例中，可以基于预先构建的业务敏感词集，确定所述目标用户的当前业务办理需求。
如可以对语音沟通信息进行特征提取，选取合适的识别单元，定义一个业务敏感词序列，然后使用隐马尔可夫模型为每个单元建立语音识别模型。对于识别器词汇表中的每个不同的词汇，制作一个粗略的模型，然后在模型收敛之前进行Viterbi训练，对Baum-Welch训练进行一些(最多10次)迭代。然后，可以利用训练好的语音识别模型从语音沟通信息中识别目标用户的当前业务办理需求。
或者，服务机器人还可以进一步结合从其他与之通信的设备(如取号机或业务办理智能终端)中获取的目标用户的业务办理信息，确定所述目标用户的当前业务办理需求。
或者，服务机器人还可以对采集的视觉信息和语音信息进行特征提取，然后使用隐马尔可夫模型建立一个推荐模型。当用户无法准确描述自己的需求时，可以利用该推荐模型借助目标用户的其他相关信息以及以往办理业务的需求，对当前业务办理需求进行精准预测。预测模型可以将预测结果反馈给输入端，不断对模型进行迭代，进一步增强模型的准确性和鲁棒性。为了对用户的隐私进行保护，在利用其他企业的数据时可以采用多方安全计算以及联邦学习技术，以保证数据的安全性。
所属领域技术人员在本说明书实施例的技术精髓启示下，还可能有其它变更实施方式，但只要其实现的功能和效果相同或相似，均应涵盖于本说明书保护范围内。
S24：提取所述指定区域内可实现所述当前业务办理需求的至少一个服务设备，作为备选服务设备。
不同服务设备所实现的功能可能存在一定的差异性。如有些智能柜台仅能实现存、取款等基础业务办理，如ATM机。有些智能柜台可以实现开账户、活期转定期等业务办理。有些人工柜台可实现多种类型的业务办理，有些人工柜台仅可实现理财及保险等业务的办理。或者，有些人工柜台仅针对VIP用户进行业务办理。
可以预先将各服务设备的设备标识信息与可实现的业务办理信息、所针对的用户范围等进行关联存储，形成设备业务集。服务机器人在确定目标用户的当前业务办理需求后，可从设备业务集中提取营业厅内可实现所述当前业务办理需求的至少一个服务设备，作为备选服务设备。如当前业务办理需求为“开账户”，则可以提取营业厅内可实现开账户业务办理的智能柜台或人工柜台的设备标识信息。当然，也可以进一步参考目标用户的身份信息提取可实现所述目标用户所对应的当前业务办理需求的服务设备，作为备选服务设备。
或者，若当前业务办理需求为服务机器人可以处理的业务范围，则可以将服务机器人作为备选服务设备。服务机器人可以直接对当前业务办理需求进行处理，无需再执行步骤S26。当服务机器人无法完成时，可以进一步提取其他服务设备作为备选服务设备，执行步骤S26进行筛选。当然，服务机器人还可以向用户指导实现当前业务办理需求所需要准备的相关材料，以使用户在没有充分准备的情况下省去排队时间，提升用户满意度。
所属领域技术人员在本说明书实施例的技术精髓启示下，还可能有其它变更实施方式，但只要其实现的功能和效果相同或相似，均应涵盖于本说明书保护范围内。
S26：基于所述备选服务设备的已有业务办理需求的办理进度，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，以使筛选出的服务设备向目标用户提供服务。
服务机器人在确定备选服务设备后，可以获取各备选服务设备的已有业务办理需求。所述已有业务办理需求可以是指当前业务办理需求之前，已经分配给相应的备选服务设备而尚未完成办理的其他用户的业务办理需求。所述已有业务办理需求如可以包括备选服务设备正在处理的用户的业务办理需求，还可以包括在排队但尚未开始处理的用户的业务办理需求。
服务机器人还可以进一步获取已有业务办理需求的办理进度。所述办理进度可以包括正在办理、尚未办理等。一些实施例中，可以利用已有业务办理需求的剩余处理时间来表征已有业务办理需求的办理进度。
可以获取已有业务办理需求所涉及的至少一个业务类型。业务类型为银行的业务***内对银行业务所划分的类型。通常如可以包括存款、取款、开账户、理财、保险等等。各业务类型的业务处理所对应的业务处理流程通常不同，而每个业务类型的业务处理数据流通常存在多个处理节点。对任一业务类型，可以提取其所包括的处理节点以及各处理节点的处理时间。各处理节点的处理时间如可以通过统计分析该业务类型所对应的历史业务处理数据确定。基于该业务类型的各处理节点的处理时间可以确定出各业务类型所需的处理时间。
对于正在办理的已有业务办理需求，可以先从已有业务办理需求中提取出已有业务办理需求所涉及的业务类型。然后，可以获取该已有业务办理需求中的待处理的业务类型、以及正在处理的业务类型中的待处理节点，根据待处理的业务类型以及待处理节点的处理时间的加和确定该已有业务办理需求的剩余处理时间，以表征该已有业务办理需求的办理进度。
对于尚未来得及处理的已有业务办理需求，也可以获取其所涉及的业务类型。未来得及处理的已有业务办理需求的各业务类型也均未开始处理，因此均为待处理的业务类型。可以基于该已有业务办理需求所涉及的各待处理的业务类型的处理时间的加和，确定该已有业务办理需求完成业务办理所需要的处理时间，作为该已有业务办理需求的剩余处理时间，以表征该已有业务办理需求的办理进度。
相应的，对于所述备选服务设备的任一已有业务办理需求，可以获取所述已有业务办理需求的待处理的业务类型以及正在处理的业务类型中的待处理节点，以根据所述待处理的业务类型以及所述待处理节点的处理时间确定所述已有业务办理需求的剩余处理时间。然后，可以基于所述备选服务设备的已有业务办理需求的剩余处理时间，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备。从而从备选服务设备中筛选出可以最快向所述目标用户提供服务的服务设备，以在业务办理高峰期，更加合理的分配营业厅内的服务资源，降低用户的等待时间，提高用户的体验感。
在业务办理高峰期，在初步从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备后，可能该服务设备并不能及时向用户提供服务。可以将筛选出向所述目标用户提供服务的服务设备作为目标服务设备，基于目标服务设备的尚未来得及处理的已有业务办理需求以及正在办理的已有业务办理需求的剩余处理时间，确定用户需要的等待时间。服务机器人可以向用户反馈所需的等待时间。进一步向用户提供等待时间，可以使用户可以自由把控时间，如等待时间较短，则可以在指定区域内等待一会。如果等待时间较长，用户可以利用该部分时间处理其他的事情，提高用户体验感。
随着时间的推移，服务机器人还可以基于各备选服务设备的已有业务办理需求以及所述已有业务办理需求的办理进度的实时情况，动态调整向所述目标用户提供服务的服务设备以及等待时间，并及时向目标用户反馈。
一些服务设备可实现的业务办理类型可能是部分重复的，如某智能柜台A可实现开账户业务办理，而大部分人工柜台也是可以实现开账户业务办理，但该智能柜台A不能实现理财业务办理，而部分人工柜台可以实现理财业务办理。因此，当前业务办理需求所对应的各备选服务设备所对应的已有业务办理需求的业务办理类型也可能是不同的。如备选服务设备为智能柜台A和人工柜台B，智能柜台A和人工柜台B都可以实现开账户业务办理，而智能柜台A不能实现理财业务办理，人工柜台B可实现理财业务办理。
则在所述备选服务设备中筛选服务设备时，可以在分析各备选服务设备所对应的已有业务办理需求以及所述已有业务办理需求的办理进度之外，还可以分析已有业务办理需求的其他服务设备的已有业务办理需求的情况，以综合多种信息，进行动态规划，更加合理的筛选出向所述目标用户提供服务的服务设备。通过动态规划的方式，可实时调整营业厅内各服务设备的资源利用情况，提高服务次序分配的合理性，进而可以更加快速准确的向用户提供服务设备，降低用户等待时间。
或者，服务机器人还可以采集指定区域内各备选服务设备是否存在正在业务办理的用户，如不存在，则该备选服务设备没有需要办理的已有业务办理需求，即可以认为备选服务设备的已有业务办理需求的办理进度为空。此时，可以直接向目标用户展示或语音回复目标用户该备选服务设备的设备标识信息，以使目标用户前往该备选服务设备进行业务办理。业务办理低峰期可能大量服务设备处于空闲状态，此时，基于各服务设备前是否有正在业务办理的用户的采集结果进行服务设备的分配，可以更加快速的向用户反馈可实现其业务办理需求的服务设备。同时，无需再执行复杂的资源分配算法，可以降低服务机器人或业务***的数据处理量。
上述实施例提供的方案，服务机器人可以准确定位用户，主动与有需要的用户进行沟通。并可以基于沟通信息确定用户的业务办理需求，便于更加准确有效的为用户提高业务办理协助，提高用户体验感。在确定业务办理需求后，可以进一步提取出可实现该业务办理需求的服务设备，作为备选服务设备，再分析各备选服务设备需处理的业务量、业务处理进度等，合理分配服务次序以及柜台资源等，从备选服务设备中选出可向用户更加快速提供服务的服务设备，减少用户等待时间，同时还可以提高营业厅整体业务办理的效率以及服务准确性。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
图6表示说明书提供的一种服务机器人的模块结构示意图，如图6所示，所述服务机器人可以包括如下模块。
定位模块602，可以用于根据对指定区域内的用户的识别结果确定待业务办理的目标用户的位置信息，以基于所述位置信息向所述目标用户移动。
需求确定模块604，可以用于基于与所述目标用户的沟通信息确定所述目标用户的当前业务办理需求。
提取模块606，可以用于提取所述指定区域内可实现所述当前业务办理需求的至少一个服务设备，作为备选服务设备。
筛选模块608，可以用于基于所述备选服务设备的已有业务办理需求的办理进度，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，以使筛选出的服务设备向目标用户提供服务。
另一些实施例中，所述服务机器人配置有双目摄像头，所述双目摄像头可以用于对用户进行信息采集，得到左图、右图；并以左图或右图作为基准图。
所述定位模块可以包括：
点云图构建单元，可以用于基于所述左图以及右图构建深度图；以及在基准图的相机坐标系中将基准图以及深度图中每个像素点反投影到3D坐标中，得到3D点云数据。
特征提取单元，可以用于对所述基准图进行特征提取，得到特征图；以及对所述3D点云数据进行特征提取，得到点云特征图。
定位单元，可以用于基于所述特征图以及点云特征图定位所述目标用户。
另一些实施例中，所述定位模块还可以包括权值图构建单元以及融合单元。
所述权值图构建单元可以用于按列复制所述特征图N次，得到中间特征图，其中，N表示点云特征图中的点总数目；以及将所述中间特征图与所述点云特征图进行拼接，得到拼接特征图；并对所述拼接特征图进行归一化处理，得到注意力权值图。
所述融合单元可以用于将所述注意力权值图与所述点云特征图的对应元素相乘，得到融合特征图。
所述定位单元还可以用于基于所述融合特征图定位所述目标用户。
另一些实施例中，所述定位模块还可以包括候选框确定单元以及目标框确定单元。
所述候选框确定单元可以用于利用RPN生成所述融合特征图的二维候选框；以及结合所述深度图计算各二维候选框所对应的三维候选框；其中，所述三维候选框的大小基于训练集中各三维候选框的平均大小进行初始化。
所述目标框确定单元可以用于利用多任务损失函数对所述三维候选框进行调整，以得到目标用户的三维目标框。
所述定位单元还可以用于基于所述三维目标框定位所述目标用户。
需要说明的，上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
所述服务机器人还可以包括至少一个处理器及用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括上述任意一个或者多个实施例所述方法的步骤。所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
需要说明的是，本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种应用于服务机器人的服务资源分配方法，其特征在于，所述方法包括：
根据对指定区域内的用户的识别结果确定待业务办理的目标用户的位置信息，以基于所述位置信息向所述目标用户移动；
基于与所述目标用户的沟通信息确定所述目标用户的当前业务办理需求；
提取所述指定区域内可实现所述当前业务办理需求的至少一个服务设备，作为备选服务设备；
基于所述备选服务设备的已有业务办理需求的办理进度，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，以使筛选出的服务设备向目标用户提供服务。
2.根据权利要求1所述的方法，其特征在于，所述从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，包括：
对于所述备选服务设备的任一已有业务办理需求，获取所述已有业务办理需求的待处理的业务类型以及正在处理的业务类型中的待处理节点，以根据所述待处理的业务类型以及所述待处理节点的处理时间确定所述已有业务办理需求的剩余处理时间；
基于所述备选服务设备的已有业务办理需求的剩余处理时间，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备。
3.根据权利要求2所述的方法，其特征在于，以向所述目标用户提供服务的服务设备作为目标服务设备，所述方法还包括：
基于所述目标服务设备的已有业务办理需求的剩余处理时间，确定所述当前业务办理需求的等待时间；
将所述目标服务设备的设备标识信息以及等待时间反馈给所述目标用户。
4.根据权利要求1所述的方法，其特征在于，所述服务机器人配置有双目摄像头，所述方法还包括：
利用双目摄像头对用户进行信息采集，得到左图、右图；并以左图或右图作为基准图；
基于所述左图以及右图构建深度图；
在基准图的相机坐标系中将基准图以及深度图中每个像素点反投影到3D坐标中，得到3D点云数据；
对所述基准图进行特征提取，得到特征图；以及对所述3D点云数据进行特征提取，得到点云特征图；
基于所述特征图以及点云特征图定位所述目标用户。
5.根据权利要求4所述的方法，其特征在于，所述基于所述特征图以及点云特征图定位目标用户，包括：
按列复制所述特征图N次，得到中间特征图，其中，N表示点云特征图中的点总数目；
将所述中间特征图与所述点云特征图进行拼接，得到拼接特征图；
对所述拼接特征图进行归一化处理，得到注意力权值图；
将所述注意力权值图与所述点云特征图的对应元素相乘，得到融合特征图；
基于所述融合特征图定位所述目标用户。
6.根据权利要求5所述的方法，其特征在于，所述基于所述融合特征图定位目标用户，包括：
利用RPN生成所述融合特征图的二维候选框；
结合所述深度图计算各二维候选框所对应的三维候选框；其中，所述三维候选框的大小基于训练集中各三维候选框的平均大小进行初始化；
利用多任务损失函数对所述三维候选框进行调整，以得到目标用户的三维目标框；
根据所述三维目标框定位所述目标用户。
7.一种服务机器人，其特征在于，所述机器人包括：
定位模块，用于根据对指定区域内的用户的识别结果确定待业务办理的目标用户的位置信息，以基于所述位置信息向所述目标用户移动；
需求确定模块，用于基于与所述目标用户的沟通信息确定所述目标用户的当前业务办理需求；
提取模块，用于提取所述指定区域内可实现所述当前业务办理需求的至少一个服务设备，作为备选服务设备；
筛选模块，用于基于所述备选服务设备的已有业务办理需求的办理进度，从所述备选服务设备中筛选出向所述目标用户提供服务的服务设备，以使筛选出的服务设备向目标用户提供服务。
8.根据权利要求7所述的服务机器人，其特征在于，所述服务机器人配置有双目摄像头，所述双目摄像头用于对用户进行信息采集，得到左图、右图；并以左图或右图作为基准图；所述定位模块包括：
点云图构建单元，用于基于所述左图以及右图构建深度图；以及在基准图的相机坐标系中将基准图以及深度图中每个像素点反投影到3D坐标中，得到3D点云数据；
特征提取单元，用于对所述基准图进行特征提取，得到特征图；以及对所述3D点云数据进行特征提取，得到点云特征图；
定位单元，用于基于所述特征图以及点云特征图定位所述目标用户。
9.根据权利要求8所述的服务机器人，其特征在于，所述定位模块还包括权值图构建单元以及融合单元；
所述权值图构建单元用于按列复制所述特征图N次，得到中间特征图，其中，N表示点云特征图中的点总数目；以及将所述中间特征图与所述点云特征图进行拼接，得到拼接特征图；并对所述拼接特征图进行归一化处理，得到注意力权值图；
所述融合单元用于将所述注意力权值图与所述点云特征图的对应元素相乘，得到融合特征图；
所述定位单元还用于基于所述融合特征图定位所述目标用户。
10.根据权利要求9所述的服务机器人，其特征在于，所述定位模块还包括候选框确定单元以及目标框确定单元；
所述候选框确定单元用于利用RPN生成所述融合特征图的二维候选框；以及结合所述深度图计算各二维候选框所对应的三维候选框；其中，所述三维候选框的大小基于训练集中各三维候选框的平均大小进行初始化；
所述目标框确定单元用于利用多任务损失函数对所述三维候选框进行调整，以得到目标用户的三维目标框；
所述定位单元还用于根据所述三维目标框定位所述目标用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110324111.8A CN112884839A (zh) | 2021-03-26 | 2021-03-26 | 应用于服务机器人的服务资源分配方法及服务机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110324111.8A CN112884839A (zh) | 2021-03-26 | 2021-03-26 | 应用于服务机器人的服务资源分配方法及服务机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112884839A true CN112884839A (zh) | 2021-06-01 |
Family
ID=76042369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110324111.8A Pending CN112884839A (zh) | 2021-03-26 | 2021-03-26 | 应用于服务机器人的服务资源分配方法及服务机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884839A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505981A (zh) * | 2021-07-07 | 2021-10-15 | 苏州达家迎信息技术有限公司 | 扁平式业务场景中业务资源确定方法、装置及存储介质 |
| CN114299478A (zh) * | 2021-12-14 | 2022-04-08 | 北京来也网络科技有限公司 | 结合rpa和ai的图像处理方法、装置及电子设备 |
| CN115439973A (zh) * | 2022-08-31 | 2022-12-06 | 中国银行股份有限公司 | 机器人服务方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106826855A (zh) * | 2017-03-14 | 2017-06-13 | 山东大学 | 一种基于云数据身份识别的银行业务助理机器人 |
| CN107464149A (zh) * | 2017-09-29 | 2017-12-12 | 深圳怡化电脑股份有限公司 | 一种用于服务指引的方法、装置、设备和存储介质 |
| CN110614642A (zh) * | 2019-10-09 | 2019-12-27 | 山东科曼智能科技有限公司 | 一种基于云平台的供电营业厅智能服务机器人及服务方法 |
| CN111401711A (zh) * | 2020-03-09 | 2020-07-10 | 刘振 | 智能调度方法、装置、设备和存储介质 |
| CN112365343A (zh) * | 2020-11-30 | 2021-02-12 | 中国银行股份有限公司 | 基于移动机器人的银行业务服务***及方法 |
-
2021
- 2021-03-26 CN CN202110324111.8A patent/CN112884839A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106826855A (zh) * | 2017-03-14 | 2017-06-13 | 山东大学 | 一种基于云数据身份识别的银行业务助理机器人 |
| CN107464149A (zh) * | 2017-09-29 | 2017-12-12 | 深圳怡化电脑股份有限公司 | 一种用于服务指引的方法、装置、设备和存储介质 |
| CN110614642A (zh) * | 2019-10-09 | 2019-12-27 | 山东科曼智能科技有限公司 | 一种基于云平台的供电营业厅智能服务机器人及服务方法 |
| CN111401711A (zh) * | 2020-03-09 | 2020-07-10 | 刘振 | 智能调度方法、装置、设备和存储介质 |
| CN112365343A (zh) * | 2020-11-30 | 2021-02-12 | 中国银行股份有限公司 | 基于移动机器人的银行业务服务***及方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHUO DENG ET.AL: "Amodal Detection of 3D Objects: Inferring 3D Bounding Boxes from 2D Ones in RGB-Depth Images", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 》, 26 July 2017 (2017-07-26) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505981A (zh) * | 2021-07-07 | 2021-10-15 | 苏州达家迎信息技术有限公司 | 扁平式业务场景中业务资源确定方法、装置及存储介质 |
| CN113505981B (zh) * | 2021-07-07 | 2024-01-16 | 苏州达家迎信息技术有限公司 | 扁平式业务场景中业务资源确定方法、装置及存储介质 |
| CN114299478A (zh) * | 2021-12-14 | 2022-04-08 | 北京来也网络科技有限公司 | 结合rpa和ai的图像处理方法、装置及电子设备 |
| CN115439973A (zh) * | 2022-08-31 | 2022-12-06 | 中国银行股份有限公司 | 机器人服务方法及装置 |
| CN115439973B (zh) * | 2022-08-31 | 2024-03-26 | 中国银行股份有限公司 | 机器人服务方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Group-free 3d object detection via transformers | |
| CN112884839A (zh) | 应用于服务机器人的服务资源分配方法及服务机器人 | |
| Regmi et al. | Cross-view image synthesis using conditional gans | |
| Liu et al. | A smart unstaffed retail shop based on artificial intelligence and IoT | |
| US11182644B2 (en) | Method and apparatus for pose planar constraining on the basis of planar feature extraction | |
| CN104680144B (zh) | 基于投影极速学习机的唇语识别方法和装置 | |
| CN108748218A (zh) | 基于机器视觉与ar技术的新零售智能导购机器人及导购方法 | |
| CN107423701A (zh) | 基于生成式对抗网络的人脸非监督特征学习方法及装置 | |
| US20140307063A1 (en) | Method and apparatus for generating viewer face-tracing information, recording medium for same, and three-dimensional display apparatus | |
| Xu et al. | Design of smart unstaffed retail shop based on IoT and artificial intelligence | |
| CN109241871A (zh) | 一种基于视频数据的公共区域人流跟踪方法 | |
| Chen et al. | Online RGB-D gesture recognition with extreme learning machines | |
| CN109272487A (zh) | 一种基于视频的公共区域内人群的数量统计方法 | |
| CN110751097B (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| CN116486483A (zh) | 基于高斯建模的跨视角行人重识别方法及装置 | |
| US20230222841A1 (en) | Ensemble Deep Learning Method for Identifying Unsafe Behaviors of Operators in Maritime Working Environment | |
| Babnik et al. | DifFIQA: Face image quality assessment using denoising diffusion probabilistic models | |
| CN109242671B (zh) | 一种基于多视角不完整数据的信贷违约预测方法及*** | |
| CN110321935A (zh) | 业务事件关系确定方法及装置、计算机可读存储介质 | |
| KR20230081378A (ko) | 3차원 휴먼 자세 추정을 위한 단시점 모델의 다시점 준지도 학습 시스템 | |
| US11199907B2 (en) | Method and a system for assisting in performing financial services | |
| CN106055244A (zh) | 一种基于Kincet和语音的人机交互方法 | |
| KR102112033B1 (ko) | 얼굴 군집화 기법을 이용한 영상 추출 장치 | |
| Rasouli et al. | Integrating three mechanisms of visual attention for active visual search | |
| Veerajay et al. | Biometric bus ticketing system in Mauritius |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |