CN110710852B - 基于送餐机器人的送餐方法、***、介质及智能设备 - Google Patents

基于送餐机器人的送餐方法、***、介质及智能设备 Download PDF

Info

Publication number
CN110710852B
CN110710852B CN201911041706.1A CN201911041706A CN110710852B CN 110710852 B CN110710852 B CN 110710852B CN 201911041706 A CN201911041706 A CN 201911041706A CN 110710852 B CN110710852 B CN 110710852B
Authority
CN
China
Prior art keywords
user
target
dining
meal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911041706.1A
Other languages
English (en)
Other versions
CN110710852A (zh
Inventor
江跃龙
孟思明
钟少波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Railway Polytechnic
Original Assignee
Guangzhou Railway Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Railway Polytechnic filed Critical Guangzhou Railway Polytechnic
Priority to CN201911041706.1A priority Critical patent/CN110710852B/zh
Publication of CN110710852A publication Critical patent/CN110710852A/zh
Application granted granted Critical
Publication of CN110710852B publication Critical patent/CN110710852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G23/00—Other table equipment
    • A47G23/08—Food-conveying devices for tables; Movable or rotary food-serving devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于送餐机器人的送餐方法、***、介质及智能设备，所述方法包括：当用户进入目标区域时，通过对用户的人脸进行识别，以获取该用户的就餐信息及就餐位置，并根据所述就餐信息生成一备餐指令，所述就餐信息包括用户信息及订单信息；当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置；当用户的就餐位置为目标就餐位置时，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径；所述送餐机器人根据目标送餐路径及动态环境信息利用激光雷达导航并定位找到确定目标后，进行人脸识别确认信息，如确认就给用户提供就餐位置，以实现对就餐环境的自动避障，提高了配送效率、降低了运营成本，满足了实际应用需求。

Description

基于送餐机器人的送餐方法、***、介质及智能设备
技术领域
本发明涉及人工智能送餐机器人技术领域，特别是涉及一种基于送餐机器人的送餐方法、***、介质及智能设备。
背景技术
随着社会经济的发展和人民生活水平的不断提高，人们的餐饮消费观念逐步改变，外出就餐更趋经常化和理性化，选择性增强，对消费质量要求不断提高，智慧餐厅应用而生。
"智慧餐厅"是基于物联网和云计算技术为餐饮店量身打造的智能管理***，通过客人自主点餐***、服务呼叫***、后厨互动***、前台收银***、预定排号***以及信息管理***等可显著节约用工数量、降低经营成本、提升管理绩效。同时还能做到杜绝人为错单漏单现象，在缩短顾客等餐时间的同时，还可以让客人享受更多的娱乐资讯以及助兴游戏，打发无聊时间、增添就餐乐趣。
配送餐机器人作为智慧餐厅的重要组成部分，在实际应用中起着极为重要的作用。现有技术中，配送餐机器人主要是利用磁轨道来铺设其运行路线，将磁轨道粘贴在餐厅的地板上，餐饮机器人根据所接收到命令在磁轨道上完成移动以及其余动作。由于餐厅的地板上增加的磁轨道，破坏了餐厅的美观、不利于机器人在移动过程中送餐需，且增加餐厅的运营成本。
发明内容
为了解决上述问题，本发明的目的是提供一种能够自动避障、提高配送效率、降低运营成本的基于送餐机器人的送餐方法、***、介质及智能设备。
一种基于送餐机器人的送餐方法，所述方法包括：
当用户进入目标区域时，通过对用户的人脸进行识别，以获取该用户的就餐信息及就餐位置，并根据所述就餐信息生成一备餐指令，所述就餐信息包括用户信息及订单信息；
当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置；
当用户的就餐位置为目标就餐位置时，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径；
所述送餐机器人根据目标送餐路径及动态环境信息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置。
根据本发明提供的基于送餐机器人的送餐方法，通过当用户进入目标区域时，获取该用户的就餐信息及就餐位置，以便于及时确定该用户是否已经进行预约，且能够在用户已经对就餐位置进行预约的情况下直接根据预约的就餐位置对用户进行引导与备餐，或者在用户未进行预约时及时提醒客户进行预约或满座提醒，此外，该就餐位置，还可以为用户通过人脸信息采集后，将用户数据上传到服务器中，当用户进入餐厅时候，餐厅的摄像头对用户信息进行实时采集，当采集的用户信息后与***后台的人脸数据配成功后将，锁定用户所在位置和地点，减少了服务人员的数量与服务流程，提高了就餐效率；当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置，以避免用户由于个人或外在原因进行就餐位置的调整而导致送餐错误的状况；通过根据用户的目标就餐位置及就餐环境生成一目标送餐路径，以便于根据用户的当前就餐位置及就餐环境计算出最优送餐路径，避免了导轨进行送餐工作时，破坏了餐厅的美观，且指定导轨的限制使送餐机器人在移动或送餐的过程中由于空间的限制，而无法准确送餐的问题；通过根据目标送餐路径及动态环境信息将餐食送至用户所在的目标就餐位置，以避免由于就餐人员的移动或所携带物品而产生的不固定障碍而对送餐机器人送餐路径的影响。本发明能够适用于复杂多变的就餐场景、能够快速有效地识送餐过程中的动态障碍，准确的将餐食送至就餐人员，减少了餐厅的运营成本，提高了就餐人员的就餐效率及就餐体验的满意度为，满足了实际应用需求。
另外，根据本发明上述的基于送餐机器人的送餐方法，还可以具有如下附加的技术特征：
进一步地，判断用户的就餐位置是否为目标就餐位置的方法包括：
基于深度学习PointNet模型的目标检测算法对就餐位置的用户进行人脸预测与识别；
当该就餐位置的用户为目标用户时，则该用户的就餐位置为目标就餐位置；
当该就餐位置的用户为非目标用户时，则获取目标用户的当前就餐位置，并将目标用户的当前就餐位置替换为目标就餐位置。
进一步地，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径的步骤之前，所述方法还包括：
对就餐环境的多个方向进行空间物体的点云数据的采集，并将该空间物体的点云数据的误差修正至预设误差范围内；
将该空间物体的点云数据进行数据融合，并建立该空间物体的空间坐标系，以对该空间物体的位置进行标定；
对所述空间坐标系进行空间物体集合特征的提取，所述集合特征包括角点、直线及平面；
根据进行集合特征提取后的所述空间坐标系的空间坐标数据，确定该空间物体的类别。
进一步地，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径的方法包括：
判断就餐***中是否存在商家上传的路径配置数据；
若是，则根据所述路径配置数据、目标就餐位置及空间物体的类别生成一目标送餐路径；
若否，则根据所述目标就餐位置、空间物体的类别、行驶距离、拥堵程度及行驶时间生成一目标送餐路径。
进一步地，所述送餐机器人根据所述送餐路径及动态环境信息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置的方法包括：
根据障碍物区域的连续性及障碍物的颜色特征，对障碍物颜色区域进行亮度直方图分割，以得到道路区域；
对所述道路进行颜色分割，以得到可疑障碍物区域，并提取该可疑障碍物区域的特征信息；
将该可疑障碍物区域的特征信息与目标图像的特征信息进行匹配运算，以得到视差；
根据可疑障碍物区域中心距水平路面的高度、视差、障碍物运动轨迹及目标送餐路径息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置。
进一步地，所述方法还包括：
当接收到一订餐请求时，根据用户的订餐请求信息确定是否存在可预订餐位信息；
若是否，则根据用户的订餐请求信息中所携带的个性化配置数据生成一订餐预约推荐表。
进一步地，所述个性化配置数据包括就餐人员、等待时间、就餐位置、消费水平、口味喜好及口味禁忌。
本发明的另一实施例提出一种基于送餐机器人的送餐***，解决了现有技术中，配送餐机器人主要是利用磁轨道来铺设其运行路线，将磁轨道粘贴在餐厅的地板上，餐饮机器人根据所接收到命令在磁轨道上完成移动以及其余动作，由于餐厅的地板上增加的磁轨道，破坏了餐厅的美观、不利于机器人在移动过程中送餐需，且增加餐厅的运营成本的问题。
根据本发明实施例的基于送餐机器人的送餐***，包括：
获取模块，用于当用户进入目标区域时，获取该用户的就餐信息及就餐位置，并根据所述就餐信息生成一备餐指令，所述就餐信息包括用户信息及订单信息；
判断模块，用于当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置；
生成模块，用于当用户的就餐位置为目标就餐位置时，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径；
送餐模块，用于所述送餐机器人根据目标送餐路径及动态环境信息将餐食送至用户所在的目标就餐位置。
本发明的另一个实施例还提出一种介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明的另一个实施例还提出一种智能设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1是本发明第一实施例提出的基于送餐机器人的送餐方法的流程图；
图2是图1中步骤S102的具体流程图；
图3是图1中步骤S104的具体流程图；
图4是本发明第二实施例提出的基于送餐机器人的送餐***的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提出的一种基于送餐机器人的送餐方法，其中，包括步骤S101～S104：
步骤S101，当用户进入目标区域时，通过对用户的人脸进行识别，以获取该用户的就餐信息及就餐位置，并根据所述就餐信息生成一备餐指令，所述就餐信息包括用户信息及订单信息。如：用户名、密码、编号、名称、价格、类型、图片、餐单、编号、桌位等。
本实施例中，由于就餐环境较为复杂，为保证方法的可实施性，具体是实施时，可以根据就餐的空间位置对就餐环境进行区域划分，划分为多个节点区域，每个节点内均设置有与环境检测相关的检测设备组，检测设备组包括视频采集设备、雷达设备、红外检测设备、流量检测设备、拥挤程度检测设备、粒度分布检测设备中的一种或多种，视频采集设备、雷达设备、红外检测设备、流量检测设备、拥挤程度检测设备、粒度分布检测设备可以根据需要安装在相应位置，进行数据采集。此外，检测设备类型并不限于上述检测设备，检测设备的种类和数量可以根据实际情况进行配置，在此不做限定。
在本实施例中，所述用户终端可为智能手机、平板电脑等智能电子设备。特别的，在本实施例，所述用户终端为智能手机，其操作***可为Android***、IOS***或者其他适于移动终端的操作***，本发明不做具体限定。
在本实施例中，所述用户终端内安装有相应的应用，所述应用可以是一个独立的APP或者是微信小程序，通过该应用，用户可以向订餐***发起订餐预约请求。
其中，在获取该用户的就餐信息及就餐位置，并根据所述就餐信息生成一备餐指令的步骤之前，所述方法还包括：当接收到一订餐请求时，根据用户的订餐请求信息确定是否存在可预订餐位信息；若是，则根据用户的订餐请求信息中所携带的个性化配置数据生成一订餐预约推荐表，所述个性化配置数据包括就餐人员、等待时间、就餐位置、消费水平、口味喜好及口味禁忌。
通过及时确定是否存在可预订餐位信息以便于根据当前的接待情况给用户以回应；当存在可预订信息时，根据用户的订餐请求信息中所携带的个性化配置数据生成一订餐预约推荐表，以提高用户的订餐效率与订餐体验的满意度。在本发明其他实施例中，当订餐请求信息中不存在个性化配置书时，可以根据用户的订餐记录、健康信息、满意度进行分析后向生成一订餐预约推荐表，以供用户进行订餐选择。
可以理解的，通过当用户进入目标区域时，通过对用户的人脸进行识别，以获取该用户的就餐信息及就餐位置，从而便于及时确定该用户是否已经进行预约，且能够在用户已经对就餐位置进行预约的情况下直接根据预约的就餐位置对用户进行引导与备餐，或者在用户未进行预约时及时提醒客户进行预约或满座提醒，此外，该就餐位置，还可以为用户通过人脸信息采集后，将用户数据上传到服务器中，当用户进入餐厅时候，餐厅的摄像头对用户信息进行实时采集，当采集的用户信息后与***后台的人脸数据配成功后将，锁定用户所在位置和地点，减少了服务人员的数量与服务流程，提高了就餐效率
步骤S102，当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置。
如上所述，通过判断用户的就餐位置是否为目标就餐位置，以避免用户由于个人或外在原因进行就餐位置的调整而导致送餐错误的状况，为下一步确定目标送餐路径提供必要条件。
请参阅图2，判断用户的就餐位置是否为目标就餐位置的方法包括如下步骤：
步骤S1021，基于深度学习PointNet模型的目标检测算法对就餐位置的用户进行人脸预测与识别。
步骤S1022，当该就餐位置的用户为目标用户时，则该用户的就餐位置为目标就餐位置。
步骤S1023，当该就餐位置的用户为非目标用户时，则获取目标用户的当前就餐位置，并将目标用户的当前就餐位置替换为目标就餐位置。
具体的，点餐***通过消费者使用手机APP预约订餐，订餐完成后***将电子餐单与手机APP采集到的消费者人脸信息进行绑定，并由配送餐机器人通过基于深度学习PointNet模型的目标检测算法进行人脸预测与识别，该名消费者入店后送餐机器人将对其进行人脸识别并跟踪记录其就座位置，以避免用户由于个人或外在原因进行就餐位置的调整而导致送餐错误的状况。最后，***利用通信模块将点餐的菜单数据信息传达至后台PC端的可视化界面，PC端接收相应信息后通知后厨备菜。
在送餐机器人人脸识别方面，基于深度学习机器人智能、人脸识别的关键技术设计采用基于PointNet模型算法对外界图像信号的采集和识别，包括前期模块库训练时对采集到的人脸样本图像建立图像模型，以及后期图像匹配时对输入图像的采集和识别，并检测和监控***设备，增加了使用的趣味性、有效性、实用性和方便性。其中，采用基于PointNet算法模型构建，从图像信号采集、预处理、特征提取、匹配实现的快速的深度残差网络(ResNet)实现实时人脸识别，然后对外界设备进行相关控制，达到很好的人机交互，同时提高了就餐机器人智能人脸识别率。
在本发明其他实施例中，判断用户的就餐位置是否为目标就餐位置时，还可以先建立一个基向量称为特征向量的优化坐标系，优化标准是使截去非主要成分后的均方误差最小化.然后，在该坐标系下表示人脸图像，即将人脸图像分解为多个特征向量的加权和。在计算特征脸集时，针对每个视角。我们都利用各待识对象(“拒识”被认为是一种特殊的待识对象)的一定数量的图像建立一个特征空间。通过首先计算出特征向量和相应的特征值，然后按特征值降序排列，并挑选出前20个特征向量作为特征脸。在此基础上，将人脸图像投影到该空间中，获得一个20维向量，并以此作为神经网络集成的输入以实现降维处理过程，通过降低输入图像的规模以利于后续的识别处理。基于神经网络集成的多视角人脸识别方法，图像特征通过多视角特征脸分析获得，在神经网络集成训练完成之后，不需对人脸进行偏转角度估计就可进行识别，同时还能给出角度估计信息，从而提高了对就餐位置是否为目标用户的判断的准确性。
步骤S103，当用户的就餐位置为目标就餐位置时，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径。
如上所述，通过根据用户的目标就餐位置及就餐环境生成一目标送餐路径，以便于根据用户的当前就餐位置及就餐环境计算出最优送餐路径，避免了导轨进行送餐工作时，破坏了餐厅的美观，且指定导轨的限制使送餐机器人在移动或送餐的过程中由于空间的限制，而无法准确送餐的问题。
其中，在根据该用户的目标就餐位置及就餐环境生成一目标送餐路径的步骤之前，所述方法还包括：对就餐环境的多个方向进行空间物体的点云数据的采集，并将该空间物体的点云数据的误差修正至预设误差范围内；将该空间物体的点云数据进行数据融合，并建立该空间物体的空间坐标系，以对该空间物体的位置进行标定；对所述空间坐标系进行空间物体集合特征的提取，所述集合特征包括角点、直线及平面；根据进行集合特征提取后的所述空间坐标系的空间坐标数据，确定该空间物体的类别，以实现对送餐环境的感知。
进一步地，节点区域内的检测设备组和送餐机器人之间通过发布和订阅主题来实现数据交换，这样的结构设计保证了机器人的数据更新实时性和数据关联同步性。送餐机器人通过对外界环境以及经验数据的学习，针对某一个特定的目标，实现自主地完成目标的任务，通过机器学习，可以实现从数据中获取经验，采用基于马尔科夫决策过程的增强学习，送餐机器人通过不断的进行动作，并滞后的得到反馈，再根据反馈调整策略，最终学习出解决问题的最优方法。
具体的，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径的方法包括：判断就餐***中是否存在商家上传的路径配置数据；若是，则根据所述路径配置数据、目标就餐位置及空间物体的类别生成一目标送餐路径；若否，则根据所述目标就餐位置、空间物体的类别、行驶距离、拥堵程度及行驶时间生成一目标送餐路径。从而方便商家根据需求对送餐机器人的运行轨迹进行人性化控制。
步骤S104，所述送餐机器人根据目标送餐路径及动态环境信息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置。
如上所述，通过根据目标送餐路径及动态环境信息将餐食送至用户所在的目标就餐位置，以避免由于就餐人员的移动或所携带物品而产生的不固定障碍而对送餐机器人送餐路径的影响。此外，通过对用户的人脸再次进行识别，以提高送餐的准确性与可靠性。
请参阅图3，所述送餐机器人根据所述送餐路径及动态环境信息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置的方法包括如下步骤：
步骤S1041，根据障碍物区域的连续性及障碍物的颜色特征，对障碍物颜色区域进行亮度直方图分割，以得到道路区域。
步骤S1042，对所述道路进行颜色分割，以得到可疑障碍物区域，并提取该可疑障碍物区域的特征信息。
步骤S1043，将该可疑障碍物区域的特征信息与目标图像的特征信息进行匹配运算，以得到视差。
步骤S1044，根据可疑障碍物区域中心距水平路面的高度、视差、障碍物运动轨迹及目标送餐路径息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置。
送餐机器人的关键技术是视觉导航技术，视觉导航的主要功能是对各种道路场景进行快速识别和理解，从而确定移动机器人的可行道路区域，而视觉技术的关键是障碍物的快速检测与识别。根据障碍物区域的连续性以及障碍物的颜色特征，提出了障碍物颜色区域分割和立体匹配相结合的方法，实现了障碍物的实时彩色立体视觉检测。立体匹配算法对原始图像进行特征提取，然后再与目标图像特征进行匹配运算，大大降低立体匹配的计算量，且能提高匹配准确率。此外，移动机器人的视觉导航问题，仅需要确定机器人前进的可行区域，即只要能判断是否障碍物即可，而不需要对障碍物进行三维的立体重建。同时根据可疑障碍物区域中心距水平路面的高度、视差、障碍物运动轨迹及目标送餐路径息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置，以避免由于就餐人员的移动或所携带物品而产生的不固定障碍而对送餐机器人送餐路径的影响，且进一步提高了送餐的可靠性。
可以理解的，本发明以新型机器人技术、深度学习技术、机器人智能人脸识别技术、激光雷达自动巡航技术，以实现送餐机器人不断深度学习，并准确识别人脸，识别消费者信息，结合3D激光SLAM算法，激光雷达数学模型和运动畸变去除、里程计运动模型及标定并自动巡航路径规划。点餐***通过消费者使用手机APP预约订餐，订餐完成后***将电子餐单与手机APP采集到的消费者人脸信息进行绑定，并由配送餐机器人通过基于深度学习PointNet模型的目标检测算法进行人脸预测与识别，该名消费者入店后机器人将对其进行人脸识别并跟踪记录其就座位置，替代了传统服务员的点餐、传菜等服务作业，简化了整个服务流程，且各用户提供了人性化的消费体验。
此外，本发明实现了消费者下单、前台收银和后厨配菜实现同步操作，避免收银或出菜过程中出现错误；实现就餐全过程无纸化操作，为商家节省运营成本；具备查询统计功能，消费者能够自如地对菜品进行查询了解，同时管理人员能够清楚地获得餐厅运营情况信息，更好地管理和促进餐厅的发展；点餐***能够备份消费者有效信息，便于跟踪回访，促进二次消费行为的发生，增加餐厅收益。
根据本发明提供的基于送餐机器人的送餐方法，通过当用户进入目标区域时，获取该用户的就餐信息及就餐位置，以便于及时确定该用户是否已经进行预约，且能够在用户已经对就餐位置进行预约的情况下直接根据预约的就餐位置对用户进行引导与备餐，或者在用户未进行预约时及时提醒客户进行预约或满座提醒，此外，该就餐位置，还可以为用户通过人脸信息采集后，将用户数据上传到服务器中，当用户进入餐厅时候，餐厅的摄像头对用户信息进行实时采集，当采集的用户信息后与***后台的人脸数据配成功后将，锁定用户所在位置和地点，减少了服务人员的数量与服务流程，提高了就餐效率；当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置，以避免用户由于个人或外在原因进行就餐位置的调整而导致送餐错误的状况；通过根据用户的目标就餐位置及就餐环境生成一目标送餐路径，以便于根据用户的当前就餐位置及就餐环境计算出最优送餐路径，避免了导轨进行送餐工作时，破坏了餐厅的美观，且指定导轨的限制使送餐机器人在移动或送餐的过程中由于空间的限制，而无法准确送餐的问题；通过根据目标送餐路径及动态环境信息将餐食送至用户所在的目标就餐位置，以避免由于就餐人员的移动或所携带物品而产生的不固定障碍而对送餐机器人送餐路径的影响。本发明能够适用于复杂多变的就餐场景、能够快速有效地识送餐过程中的动态障碍，准确的将餐食送至就餐人员，减少了餐厅的运营成本，提高了就餐人员的就餐效率及就餐体验的满意度为，满足了实际应用需求。
请参阅图4，基于同一发明构思，本发明第二实施例提供的基于送餐机器人的送餐***，包括：
获取模块10，用于当用户进入目标区域时，通过对用户的人脸进行识别，以获取该用户的就餐信息及就餐位置，并根据所述就餐信息生成一备餐指令，所述就餐信息包括用户信息及订单信息。
所述获取模块10，还用于当接收到一订餐请求时，根据用户的订餐请求信息确定是否存在可预订餐位信息；若是，则根据用户的订餐请求信息中所携带的个性化配置数据生成一订餐预约推荐表。所述个性化配置数据包括就餐人员、等待时间、就餐位置、消费水平、口味喜好及口味禁忌。
判断模块20，用于当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置。
具体的，基于深度学习PointNet模型的目标检测算法对就餐位置的用户进行人脸预测与识别；当该就餐位置的用户为目标用户时，则该用户的就餐位置为目标就餐位置；当该就餐位置的用户为非目标用户时，则获取目标用户的当前就餐位置，并将目标用户的当前就餐位置替换为目标就餐位置。
生成模块30，用于当用户的就餐位置为目标就餐位置时，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径。
具体的，判断就餐***中是否存在商家上传的路径配置数据；若是，则根据所述路径配置数据、目标就餐位置及空间物体的类别生成一目标送餐路径；若否，则根据所述目标就餐位置、空间物体的类别、行驶距离、拥堵程度及行驶时间生成一目标送餐路径。
所述生成模块30，还用于对就餐环境的多个方向进行空间物体的点云数据的采集，并将该空间物体的点云数据的误差修正至预设误差范围内；将该空间物体的点云数据进行数据融合，并建立该空间物体的空间坐标系，以对该空间物体的位置进行标定；对所述空间坐标系进行空间物体集合特征的提取，所述集合特征包括角点、直线及平面；根据进行集合特征提取后的所述空间坐标系的空间坐标数据，确定该空间物体的类别。
送餐模块40，用于所述送餐机器人根据目标送餐路径及动态环境信息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置。
具体的，根据障碍物区域的连续性及障碍物的颜色特征，对障碍物颜色区域进行亮度直方图分割，以得到道路区域；对所述道路进行颜色分割，以得到可疑障碍物区域，并提取该可疑障碍物区域的特征信息；将该可疑障碍物区域的特征信息与目标图像的特征信息进行匹配运算，以得到视差；根据可疑障碍物区域中心距水平路面的高度、视差、障碍物运动轨迹及目标送餐路径息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置。
根据本发明提供的基于送餐机器人的送餐***，通过当用户进入目标区域时，获取该用户的就餐信息及就餐位置，以便于及时确定该用户是否已经进行预约，且能够在用户已经对就餐位置进行预约的情况下直接根据预约的就餐位置对用户进行引导与备餐，或者在用户未进行预约时及时提醒客户进行预约或满座提醒，此外，该就餐位置，还可以为用户通过人脸信息采集后，将用户数据上传到服务器中，当用户进入餐厅时候，餐厅的摄像头对用户信息进行实时采集，当采集的用户信息后与***后台的人脸数据配成功后将，锁定用户所在位置和地点，减少了服务人员的数量与服务流程，提高了就餐效率；当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置，以避免用户由于个人或外在原因进行就餐位置的调整而导致送餐错误的状况；通过根据用户的目标就餐位置及就餐环境生成一目标送餐路径，以便于根据用户的当前就餐位置及就餐环境计算出最优送餐路径，避免了导轨进行送餐工作时，破坏了餐厅的美观，且指定导轨的限制使送餐机器人在移动或送餐的过程中由于空间的限制，而无法准确送餐的问题；通过根据目标送餐路径及动态环境信息将餐食送至用户所在的目标就餐位置，以避免由于就餐人员的移动或所携带物品而产生的不固定障碍而对送餐机器人送餐路径的影响。本发明能够适用于复杂多变的就餐场景、能够快速有效地识送餐过程中的动态障碍，准确的将餐食送至就餐人员，减少了餐厅的运营成本，提高了就餐人员的就餐效率及就餐体验的满意度为，满足了实际应用需求。
本发明实施例提出的基于送餐机器人的送餐***的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。
此外，本发明的实施例还提出一种介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
此外，本发明的实施例还提出一种智能设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法的步骤。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于送餐机器人的送餐方法，其特征在于，根据就餐的空间位置将就餐环境划分为多个节点区域，每个节点内均设置有与环境检测相关的检测设备组，检测设备组和送餐机器人之间通过发布和订阅主题来实现数据交换，所述方法包括如下步骤：
当用户进入目标区域时，通过对用户的人脸进行识别，以获取该用户的就餐信息及就餐位置，并根据所述就餐信息生成一备餐指令，所述就餐信息包括用户信息及订单信息；
当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置；
当用户的就餐位置为目标就餐位置时，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径，当用户的就餐位置为非目标就餐位置时，将用户的当前就餐位置替换为目标就餐位置；
所述送餐机器人根据目标送餐路径及动态环境信息利用激光雷达导航并根据障碍物区域的连续性及障碍物的颜色特征，对障碍物颜色区域进行亮度直方图分割，以得到道路区域；对所述道路进行颜色分割，以得到可疑障碍物区域，并提取该可疑障碍物区域的特征信息；将该可疑障碍物区域的特征信息与目标图像的特征信息进行匹配运算，以得到视差；根据可疑障碍物区域中心距水平路面的高度、视差、障碍物运动轨迹及目标送餐路径息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置。
2.根据权利要求1所述的基于送餐机器人的送餐方法，其特征在于，判断用户的就餐位置是否为目标就餐位置的方法包括：
基于深度学习PointNet模型的目标检测算法对就餐位置的用户进行人脸预测与识别；
当该就餐位置的用户为目标用户时，则该用户的就餐位置为目标就餐位置；
当该就餐位置的用户为非目标用户时，则获取目标用户的当前就餐位置，并将目标用户的当前就餐位置替换为目标就餐位置。
3.根据权利要求2所述的基于送餐机器人的送餐方法，其特征在于，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径的步骤之前，所述方法还包括：
对就餐环境的多个方向进行空间物体的点云数据的采集，并将该空间物体的点云数据的误差修正至预设误差范围内；
将该空间物体的点云数据进行数据融合，并建立该空间物体的空间坐标系，以对该空间物体的位置进行标定；
对所述空间坐标系进行空间物体集合特征的提取，所述集合特征包括角点、直线及平面；
根据进行集合特征提取后的所述空间坐标系的空间坐标数据，确定该空间物体的类别。
4.根据权利要求3所述的基于送餐机器人的送餐方法，其特征在于，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径的方法包括：
判断就餐***中是否存在商家上传的路径配置数据；
若是，则根据所述路径配置数据、目标就餐位置及空间物体的类别生成一目标送餐路径；
若否，则根据所述目标就餐位置、空间物体的类别、行驶距离、拥堵程度及行驶时间生成一目标送餐路径。
5.根据权利要求1所述的基于送餐机器人的送餐方法，其特征在于，所述方法还包括：
当接收到一订餐请求时，根据用户的订餐请求信息确定是否存在可预订餐位信息；
若是，则根据用户的订餐请求信息中所携带的个性化配置数据生成一订餐预约推荐表。
6.根据权利要求5所述的基于送餐机器人的送餐方法，其特征在于，所述个性化配置数据包括就餐人员、等待时间、就餐位置、消费水平、口味喜好及口味禁忌。
7.一种基于送餐机器人的送餐***，其特征在于，根据就餐的空间位置将就餐环境划分为多个节点区域，每个节点内均设置有与环境检测相关的检测设备组，检测设备组和送餐机器人之间通过发布和订阅主题来实现数据交换，所述***包括：
获取模块，用于当用户进入目标区域时，通过对用户的人脸进行识别，以获取该用户的就餐信息及就餐位置，并根据所述就餐信息生成一备餐指令，所述就餐信息包括用户信息及订单信息；
判断模块，用于当接收到一送餐指令时，判断用户的就餐位置是否为目标就餐位置；
生成模块，用于当用户的就餐位置为目标就餐位置时，根据该用户的目标就餐位置及就餐环境生成一目标送餐路径，当用户的就餐位置为非目标就餐位置时，将用户的当前就餐位置替换为目标就餐位置；
送餐模块，用于所述送餐机器人根据目标送餐路径及动态环境信息利用激光雷达导航并根据障碍物区域的连续性及障碍物的颜色特征，对障碍物颜色区域进行亮度直方图分割，以得到道路区域；对所述道路进行颜色分割，以得到可疑障碍物区域，并提取该可疑障碍物区域的特征信息；将该可疑障碍物区域的特征信息与目标图像的特征信息进行匹配运算，以得到视差；根据可疑障碍物区域中心距水平路面的高度、视差、障碍物运动轨迹及目标送餐路径息利用激光雷达导航并定位找到确定目标后，对该用户进行人脸识别，若该用户为目标用户，将餐食送至用户所在的目标就餐位置。
8.一种介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6任意一项所述的方法。
9.一种智能设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的方法。
CN201911041706.1A 2019-10-30 2019-10-30 基于送餐机器人的送餐方法、***、介质及智能设备 Active CN110710852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911041706.1A CN110710852B (zh) 2019-10-30 2019-10-30 基于送餐机器人的送餐方法、***、介质及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911041706.1A CN110710852B (zh) 2019-10-30 2019-10-30 基于送餐机器人的送餐方法、***、介质及智能设备

Publications (2)

Publication Number Publication Date
CN110710852A CN110710852A (zh) 2020-01-21
CN110710852B true CN110710852B (zh) 2020-11-17

Family

ID=69214534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911041706.1A Active CN110710852B (zh) 2019-10-30 2019-10-30 基于送餐机器人的送餐方法、***、介质及智能设备

Country Status (1)

Country Link
CN (1) CN110710852B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111431998B (zh) * 2020-03-23 2023-05-16 上海擎朗智能科技有限公司 机器人的呼叫方法、装置、设备及存储介质
CN113536832A (zh) * 2020-04-13 2021-10-22 百度在线网络技术（北京）有限公司 配送机器人的控制方法、装置、电子设备和存储介质
CN111906776A (zh) * 2020-06-15 2020-11-10 广州铁路职业技术学院（广州铁路机械学校） 一种铁路送餐机器人的控制方法及装置
CN111950431B (zh) * 2020-08-07 2024-03-26 北京猎户星空科技有限公司 一种对象查找方法及装置
CN112102114A (zh) * 2020-09-17 2020-12-18 中国建设银行股份有限公司 一种社区养老智能餐厅方法、装置及***
CN112925328A (zh) * 2021-02-01 2021-06-08 王浩 一种送餐机器人运动轨迹智能控制方法
CN113050623B (zh) * 2021-02-09 2024-03-29 上海擎朗智能科技有限公司 一种机器人的控制方法、***、电子设备及存储介质
CN113110414B (zh) * 2021-03-11 2024-04-09 深圳优地科技有限公司 机器人送餐方法、送餐机器人及计算机可读存储介质
CN113763639B (zh) * 2021-06-16 2023-06-27 冯光道 一种供餐设备及其供餐、调度方法
CN113515143B (zh) * 2021-06-30 2024-06-21 深圳市优必选科技股份有限公司 机器人导航方法、机器人及计算机可读存储介质
TWI769928B (zh) * 2021-09-24 2022-07-01 國立陽明交通大學 餐飲線上配送系統之系統可靠度評估方法
CN115657654B (zh) * 2022-07-26 2023-12-08 东莞康视达自动化科技有限公司 一种用于送餐机器人的视觉识别方法
CN115115147B (zh) * 2022-08-30 2022-12-02 深圳鸿博智成科技有限公司 一种基于人工智能的营养餐运输管理***及方法
CN115291614B (zh) * 2022-10-08 2022-12-20 广东技术师范大学 基于移动机器人的控制方法及控制***
CN118154687A (zh) * 2024-05-09 2024-06-07 广东工业大学 基于单目视觉的送餐机器人目标定位与避障方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006243A1 (en) * 2013-06-28 2015-01-01 AZAPA R&D Americas, Inc. Digital information gathering and analyzing method and apparatus
CN105894405A (zh) * 2016-04-25 2016-08-24 百度在线网络技术（北京）有限公司 基于人工智能的点餐交互***和方法
CN108196535B (zh) * 2017-12-12 2021-09-07 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶***
CN110009402A (zh) * 2019-03-19 2019-07-12 深兰科技（上海）有限公司 一种送餐方法及装置
CN110383289A (zh) * 2019-06-06 2019-10-25 深圳市汇顶科技股份有限公司 人脸识别的装置、方法和电子设备

Also Published As

Publication number Publication date
CN110710852A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110710852B (zh) 基于送餐机器人的送餐方法、***、介质及智能设备
US11521273B2 (en) Identifying flood damage to an indoor environment using a virtual representation
US11270363B2 (en) Systems and methods for providing AI-based cost estimates for services
US10482674B1 (en) System and method for mobile augmented reality
US9063565B2 (en) Automated avatar creation and interaction in a virtual world
US9761139B2 (en) Location based parking management system
US20180085927A1 (en) Optimizing a layout of objects in a space
CN111899131B (zh) 物品配送方法、装置、机器人和介质
CN108733208A (zh) 智能设备的交互目标确定方法和装置
CN108647242A (zh) 一种热力图的生成方法和***
JP2015210820A (ja) ドライブスルー用途において車両を自動的に順序付けするための映像追跡に基づく方法
US11461980B2 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US11436812B2 (en) Machine learning based object identification using scaled diagram and three-dimensional model
AU2022345532B2 (en) Browser optimized interactive electronic model based determination of attributes of a structure
CN111906780B (zh) 物品配送方法、机器人和介质
CN108064389B (zh) 一种目标识别方法、装置和智能终端
AU2020222504B2 (en) Situational awareness monitoring
EP3550493A1 (en) Systems and methods for providing ai-based cost estimates for services
CN116416518A (zh) 智能避开障碍的方法及装置
Muñoz-Salinas et al. People detection and tracking with multiple stereo cameras using particle filters
US11514693B2 (en) Model-based image labeling and/or segmentation
CN110008268B (zh) 一种用餐位置的识别方法、装置及存储介质
CN112183306A (zh) 一种数字食堂无感支付的方法
US11610365B2 (en) Methods and systems for provisioning a virtual experience of a building based on user profile data
US20240242414A1 (en) Electronic device and method for creating avatar in virtual space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant