CN112817313B - 商场用智能购物车的定位和导航***及定位和导航方法 - Google Patents

Abstract

本发明涉及商场用智能购物车的定位和导航***及定位和导航方法，该***包括智能购物车、定位模块、主控制器，所述智能购物车上安装转向电机、驱动电机、转向电机控制器、驱动电机控制器、超声波雷达和声音警示器；主控制器包括图像信息处理器、起止点输入模块、结构化地图、路径跟随模块、路径规划模块，定位模块采用全局摄像头，在主控制器、每个智能购物车、商场内的每个直梯和每个扶梯均安装有Zigbee通讯模块，用于信号的收发；该***采用全局摄像头对每层的智能购物车实行全方位监控，并准确确认智能购物车所处位置，该定位和导航方式新颖，实现了智能购物车跨层工作的功能，可以在室内和部分室外环境中提供高效的定位功能。

Description

商场用智能购物车的定位和导航***及定位和导航方法

技术领域

本发明涉及智能购物车技术领域，具体涉及商场用智能购物车的定位和导航***及定位和导航方法。

背景技术

随着人工智能技术的发展，市场上出现了越来越多的智能购物车。现有智能购物车可以自动跟随顾客移动，以方便购物；还可以引导顾客去他们所需商品的位置，避免顾客迷路；还可以将预设的购物清单与购买的商品进行核对，以提醒顾客，避免漏买商品，还可以自动结账等。

智能购物车能够顺利完成上述任务主要是基于定位和导航***。然而，目前绝大多数移动智能购物车的定位和导航***是基于GPS和北斗***，这些定位和导航***并不能有效适应室内的工作环境，因为室内的许多建筑物会遮挡信号，造成测量误差；还有一部分智能购物车的定位和导航***是通过SLAM技术进行即时定位和地图的构建，但该***计算量大，且地图精度不容易被保证，无法准确引导顾客到他们所需商品的位置。

中国专利ZL 201510629975.5公开了“一种基于单视觉的机器人室内定位和导航方法”，该方法自主导航位置准确，但是需要在每个机器人(智能购物车)上都安装至少一个摄像头，这种模式适合单个或少量的机器人群组，当机器人群组中的机器人数量上升时，摄像头的数量也随之上升，造成成本过高和计算资源的浪费。另外，上述三种定位和导航***应用场景都仅仅局限于单一楼层内，没有考虑跨楼层工作的场景，而大型商场中大部分应用场景需要在不同楼层间进行工作，因此有必要研究开发一种新的定位和导航方法。

发明内容

本发明旨在针对上述问题，提供一种商场用智能购物车的定位和导航***，以解决现有定位和导航***精度差、成本高，无法在不同楼层间进行工作的技术难题。

为实现上述目的，本发明采用如下技术方案实现：

一种商场用智能购物车的定位和导航***，包括智能购物车、定位模块、主控制器，所做的改进是：所述智能购物车上搭载车载主要设备，在每辆智能购物车的四周不易被遮挡的位置布置识别标识牌，在各楼层每隔固定间距放置标定标识牌；所述车载主要设备包含车载行驶模块和车载感知模块，车载行驶模块主要负责为智能购物车提供行驶的能力，包括转向电机、驱动电机、转向电机控制器、驱动电机控制器，转向电机控制器和驱动电机控制器均与主控制器采用无线通讯的方式连接，转向电机控制器控制转向电机的转向，驱动电机控制器控制驱动电机动作；车载感知模块包括超声波雷达和声音警示器，所述超声波雷达布置在智能购物车的四周，用于预防智能购物车在行进过程中发生碰撞；

所述主控制器负责整个***的信息处理与购物车导航工作，主控制器上安装有wifi通讯模块，顾客手机安装智能购物车APP，通过wifi与主控制器进行通信，设置希望进行选购商品的区域和发送任务完成的命令；主控制器包括图像信息处理器、起止点输入模块、结构化地图、路径跟随模块、路径规划模块；

其中，所述图像信息处理器，用于将全局摄像头的图像信息进行拼接，得到工作场景全局的俯视图像，通过全局的俯视图像识别到标定标识牌和识别标识牌，之后通过计算机视觉算法得到智能购物车组群中各个智能购物车的当前全局位置坐标、当前朝向信息，再经过求导过程得到智能购物车状态信息，包括当前速度及加速度；其中全局位置坐标包括智能购物车在哪一层的垂向位置坐标及智能购物车在当前楼层内所处的平面位置坐标；

所述结构化地图是根据商场内部实际场景信息构建，存储商场中不同区域的范围和位置信息，用于路径规划模块工作时确定导航路径的参考；

所述路径跟随模块用于根据各个智能购物车当前状态和导航路径计算得到跟随导航路径所需的的转向信号及驱动信号，并传递给转向电机控制器和驱动电机控制器，分别控制转向电机和驱动电机转动，实现智能购物车对导航路径的跟随；

所述路径规划模块用于根据各个智能购物车的当前位置和各自的路由规划终点得到一条导航路径；

所述定位模块负责为主控制器中的图像信息处理器提供原始的可提取购物车位置信息的图像数据，包括全局摄像头，所述全局摄像头布置在商场各楼层的棚顶上，全局摄像头与主控制器通过以太网连接；

所述主控制器、每个智能购物车、商场内的每个直梯和每个扶梯均安装有Zigbee通讯模块，用于信号的收发；在每个直梯门前均设置有接近区，在每个直梯内的地面上均设有智能购物车停靠位置组，直梯内部的摄像头实时检测直梯内停靠位置是否有空余的信息、直梯是否空闲信息、直梯自身楼层、电梯门开闭信息，并通过安装在直梯上的Zigbee通讯模块实时向主控制器发送，主控制器根据直梯运行情况控制智能购物车的运行状态；

在扶梯进入端由远至近依次设置有接近区、进入区、等待区，在扶梯离开端由近至远依次设置有离开区、重新规划区，进入区包括首端的部分扶梯，等待区为扶梯不断上升或下降的区域，离开区包括末端的部分扶梯，扶梯末端的摄像头实时采集智能购物车处于扶梯的位置信息，安装在扶梯上的Zigbee通讯模块实时向主控制器发送智能购物车的位置信息，主控制器根据智能购物车定位信息及结构化地图中预存的扶梯及相关区域信息，得到智能购物车处于扶梯具体区域信息，判断智能购物车所处的区域，从而规划智能购物车的导航路径并控制智能购物车的运行状态。

作为本发明的优选，所述识别标识牌采用容易区分的颜色进行识别，包括绿色、粉色、黄色；所述标定标识牌采用二维码标定标记，二维码内包含标定标识牌所处位置的全局坐标信息，标定标识牌建议间距为1～2m。

作为本发明的优选，所述智能购物车停靠位置组是由多个停靠位置组成的数据序列，每个停靠位置对应一个序号，依次为1、2、3...i。

作为本发明的优选，所述结构化地图包括各楼层中智能购物车的通行区和非通行区，所述通行区为商场内智能购物车可行走的区域，包括一块等待新任务区，即供暂时无任务的智能购物车等待的区域；所述非通行区为商场内智能购物车无法通行的区域；所述非通行区内设置有智能购物车可工作地点的名称和序号、电梯位置及相应区域信息，所述可工作地点的名称是根据商场内商品陈列区域进行命名，导航时通过输入关键词即可控制智能购物车到达指定地点。

本发明的第二个目的在于提供一种商场用智能购物车的定位和导航方法，包括以下步骤：

步骤S1、在商场各楼层的棚顶上布置全局摄像头；在每辆智能购物车的四周不易被遮挡的位置布置识别标识牌；在各楼层每隔固定间距放置标定标识牌；其中，所述全局摄像头与主控制器连接，主控制器通过图像信息处理器拼接得到工作场景全局的俯视图像，通过全局的俯视图像识别到标定标识牌和识别标识牌；主控制器中的图像信息处理器通过计算机视觉算法得到智能购物车组群中各个智能购物车的当前全局位置坐标、当前朝向信息，经过求导过程得智能购物车状态信息，包括当前速度及加速度；其中，全局位置坐标包括智能购物车在哪一层的垂向位置坐标及智能购物车在当前楼层内所处的平面位置坐标；

步骤S2、根据商场内部实际场景信息构建结构化地图，所述结构化地图存储在主控制器内，包括各楼层中智能购物车的通行区和非通行区，所述通行区为商场内智能购物车可行走的区域，包括一块等待新任务区，即供暂时无任务的智能购物车等待的区域；所述非通行区为商场内智能购物车无法通行的区域；所述非通行区内设置有智能购物车可工作地点的名称和序号、电梯位置及相应区域信息，所述可工作地点的名称是根据商场内商品陈列区域进行命名，导航时通过输入关键词即可控制智能购物车到达指定地点；

步骤S3、商场顾客通过手机APP设置希望进行选购商品的区域并通过wifi网络传输给主控制器的起止点输入模块，主控制器据此确定在结构化地图中任务所需智能购物车应到达的位置，智能购物车任务发布后，得到智能购物车当前位置为路由规划起点，任务所需智能购物车应到达的位置为路由规划终点；导航时，主控制器先判断路由规划终点与路由规划起点是否在同一层，如路由规划终点与路由规划起点在同一楼层时，通过路径规划模块得到导航路径即可；如路由规划终点与路由规划起点不在同一楼层时，需进行当前楼层路由规划，当前楼层路由规划时，将智能购物车当前位置作为路径规划起点，各电梯位置作为路径规划终点，通过路径规划模块得到当前位置到各个电梯位置的路径长度，以长度最短的电梯为目标电梯，即当前楼层路径规划终点，通过路径规划模块得到导航路径；之后确定目标电梯为直梯还是扶梯，如是直梯，执行步骤S4，如是扶梯，执行步骤S5；

步骤S4、在直梯门前均设置有接近区，接近区内不应放置固定的障碍物；在每个直梯内的地面上均设有智能购物车停靠位置组，所述智能购物车停靠位置组是由多个停靠位置组成的数据序列，每个停靠位置对应一个序号，依次为1、2、3...i；直梯内部的摄像头实时通过计算机视觉算法检测直梯内停靠位置是否有空余的信息、直梯是否空闲信息、直梯自身楼层、电梯门开闭信息，并通过安装在直梯上的Zigbee通讯模块实时向主控制器发送；智能购物车进入直梯所对应的接近区时，主控制器根据当前时间为智能购物车分配时间标签；当智能购物车进入到当前楼层中目标直梯对应的接近区后，主控制器调整智能购物车角度，使智能购物正面朝向电梯门，准备进入电梯；之后主控制器将各个接近区域的智能购物车按照时间标签从大到小的顺序进行排序，等待直梯内停靠位置有空余；如直梯内停靠位置有空余，则该直梯为可用直梯，此时主控制器根据直梯内停靠位置空余数量，将可用的停靠位置一一分配给智能购物车；若时间标签较大的智能购物车没有分配到可用直梯，则继续等待，直到直梯再次可用；被分配直梯内的停靠位置后，主控制器将当前智能购物车所在位置作为路径规划起点，路径规划终点更新为目标楼层中直梯对应的停靠位置，如果此时主控制器接收到的电梯门开闭信息显示当前楼层电梯门关闭，则给智能购物车发送原地等待指令，直到主控制器接收到的电梯门开闭信息显示电梯门开启，则主控制器发送指令，使智能购物车跟随导航路径进入电梯；直梯启动后，直梯实时将本身所处楼层通过Zigbee模块向主控制器发送，主控制器通过该信息判断该智能购物车是否成功进入工作空间中目标楼层；如果进入目标楼层，则将智能购物车的路由规划终点设置为路径规划终点，此时如果主控制器接收到的电梯门开闭信息显示目标楼层电梯门关闭，则给智能购物车发送原地等待指令，直到主控制器接收到的电梯门开闭信息显示电梯门开启，主控制器发送跟随导航路径行驶的指令，使智能购物车离开电梯，后续的导航规划工作与同层任务下的导航规划工作相同；

步骤S5、在扶梯进入端由远至近依次设置有接近区、进入区、等待区，在扶梯离开端由近至远依次设置有离开区、重新规划区，进入区包括首端的部分扶梯，等待区为扶梯不断上升或下降的区域，离开区包括末端的部分扶梯；扶梯末端的摄像头实时采集智能购物车处于扶梯的位置信息，安装在扶梯上的Zigbee模块实时向主控制器发送智能购物车的位置信息，主控制器根据智能购物车定位信息及结构化地图中预存的扶梯及相关区域信息，得到智能购物车处于扶梯具体区域信息，判断智能购物车所处的区域；

当智能购物车进入扶梯的接近区时，主控制器发送命令给智能购物车进入乘坐扶梯状态，此时路径规划终点设为扶梯的进入区，智能购物车进入扶梯的进入区后，调整角度，使其朝向扶梯，之后继续向前行驶进入扶梯的等待区，进入等待区后，主控制器向智能购物车发送停止信号，智能购物车接到停止信号后，智能购物车上的驱动控制器锁止驱动电机，转向控制器锁止转向电机，智能购物车在扶梯的带动下与扶梯一起向上或向下运动，当定位信息显示智能购物车进入扶梯的离开区时，主控制器给智能购物车发送向前行驶的指令，智能购物车接到向前行驶的信号后，智能购物车上的驱动控制器控制驱动电机转动，转向控制器控制转向电机转动，直到定位信息显示智能购物车进入扶梯的重新规划区；此时，主控制器根据智能购物车当前位置及路由规划终点进行逻辑判断，重新规划路径；当智能购物车当前位置与路由规划终点在同一楼层时，将当前位置设为路径规划起点，路由规划终点设为路径规划终点，通过路径规划模块得到导航路径，智能购物车跟随导航路径轨迹运动即可；当智能购物车当前位置与路由规划终点不在同一楼层时，将当前位置设为路径规划起点，目前乘坐的扶梯在本层的接近区设为路径规划终点，通过路径规划算法得到导航路径，智能购物车跟随导航路径轨迹运动，到达扶梯的接近区，继续乘坐扶梯，直至智能购物车当前位置与路由规划终点在同一楼层，后续的导航规划工作与同层任务下的导航规划工作相同；

步骤S6、智能购物车在行驶过程中实时检测自身位置是否仍未到达路由规划终点，如果已到达路由规划终点，则转向电机和驱动电机断电，同时等待新任务；另外，智能购物车在行驶过程中实时检测顾客是否发出完成购物过程的指令，如果收到顾客发出的完成购物过程的指令，则将结构化地图中的等待新任务区设置为路由规划终点，执行S3、S4、S5得到导航路径，并跟随导航路径行驶返回结构化地图中的等待新任务区，等待下一个任务。

作为本发明的优选，步骤S1利用图像信息处理器中的计算机视觉算法识别智能购物车时，先将识别到的标定标识牌区域中心像素点与所识别到的标定标识牌的位置信息进行匹配，通过标定标识牌得到全局拼接图像各个像素位置与实际位置坐标的对应关系，之后通过视觉识别算法识别智能购物车的标识，确定各个智能购物车上的识别标识牌在全局拼接图像上的位置，通过对应关系映射得到智能购物车在实际空间中的位置；若视觉目标丢失时间超过阈值，则主控制器向智能购物车的驱动电机控制器发送紧急停止信息，并启动声音警示器，提示不要遮挡识别标识牌。

作为本发明的优选，所述智能购物车跟随导航路径轨迹运动主要是将导航路径输入给路径跟随模块，路径跟随模块采用路径跟随算法得到跟随导航路径需要的转向信号及驱动信号，传递给转向电机控制器和驱动电机控制器，分别控制转向电机和驱动电机转动，实现智能购物车对导航路径的跟随。

作为本发明的优选，所述路径规划模块采用A*路径规划算法，所述路径跟随模块采用单点预瞄轨迹跟随算法。

本发明的优点和有益效果是：

(1)本发明采用全局摄像头对每层的智能购物车实行全方位监控，并准确确认智能购物车所处位置，该定位和导航方式新颖，实现了智能购物车跨层工作的功能，可以在室内和部分室外环境中提供高效的定位功能。

(2)本发明利用主控制器接受并处理全局信息，以确定***中的所有智能购物车的位置和状态，并发送各个智能购物车下一步的移动信息，智能购物车只需要按照命令进行执行即可，对于多智能购物车组群有着降低成本，简化***的作用。

(3)本发明提供的方法无需单独设计智能购物车，对目前已经在使用的智能购物车进行简单改装(安装转向电机、转向电机控制器、驱动电机、驱动电机控制器等)就可以适用室内越楼层的工作场景，不需要每个智能购物车上都具有大量高级感知设备，如激光雷达等，便可以实现智能购物车组群定位和导航的工作，造价较低，容易应用，定位导航精度高，整体成本下降。

(4)本发明在绘制结构化地图时可以精准设置不同的工作区域，从而降低了导航的复杂性，大大提高了导航的可靠性。

(5)采用本发明的定位和导航***对智能购物车进行控制，能够使智能购物车更准确的引导顾客到达目标区域，提高顾客购物效率；另外，跨楼层的引导功能也大大提高了顾客的购物乐趣，符合实际商场购物场景需要。

(6)商场往往本身就有安装安防摄像头的需要，本方案用于定位功能的全局摄像头可以与商场安保***的摄像头共用，节省了成本。

附图说明

图1为本发明定位和导航***的功能层次框图；

图2为本发明绘制的结构化地图与商场内实际地图的对比图；

图3为本发明定位和导航方法的流程图；

图4本发明位和导航***信息流通框架图；

图5为本发明直梯区域划分及***通讯示意图；

图6为本发明扶梯区域划分示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参阅图1、图2、图4至图6，本发明提供的一种商场用智能购物车的定位和导航***，包括智能购物车、定位模块200、主控制器100；其中，所述智能购物车上搭载车载主要设备300，在每辆智能购物车的四周不易被遮挡的位置布置识别标识牌，所述识别标识牌采用容易区分的颜色进行识别，包括绿色、粉色、黄色等；在各楼层每隔固定间距放置标定标识牌，所述标定标识牌采用二维码标定标记，二维码内包含标定标识牌所处位置的全局坐标信息，标定标识牌建议间距为1～2m；所述车载主要设备300包含车载行驶模块310和车载感知模块320，车载行驶模块310主要负责为智能购物车提供行驶的能力，包括转向电机311、驱动电机312、转向电机控制器313、驱动电机控制器314，转向电机控制器313和驱动电机控制器314均与主控制器100采用无线通讯的方式连接，转向电机控制器313控制转向电机311的转向，驱动电机控制器314控制驱动电机312动作；车载感知模块320包括超声波雷达321和声音警示器322，所述超声波雷达321布置在智能购物车的四周，用于预防智能购物车在行进过程中发生碰撞；当超声波雷达321监测到智能购物车的前进路径方向上的障碍物的距离低于一定阈值后，向驱动电机控制器314发送紧急制动信号，该信号优先级高于主控制器100发来的驱动制动信号，智能购物车停运动，不断累计停车的时间，当停车时间超过所设置阈值后，启动声音警示器322，发出请求避让的语音提示，直到一定时间后重新进行路径规划或障碍物被移走；

所述主控制器100负责整个***的信息处理与购物车导航工作，主控制器100上安装有wifi通讯模块，顾客手机安装智能购物车APP，通过wifi与主控制器100进行通信，设置希望进行选购商品的区域和发送任务完成的命令；主控制器包括图像信息处理器101、起止点输入模块102、结构化地图103、路径跟随模块104、路径规划模块105；

其中，所述图像信息处理器101，用于将全局摄像头201的图像信息进行拼接，得到工作场景全局的俯视图像，通过全局的俯视图像识别到标定标识牌和识别标识牌，之后通过计算机视觉算法得到智能购物车组群中各个智能购物车的当前全局位置坐标、当前朝向信息，再经过求导过程得到当前速度及加速度等智能购物车状态信息，其中全局位置坐标包括智能购物车在哪一层的垂向位置坐标及智能购物车在当前楼层内所处的平面位置坐标；

所述结构化地图103是根据商场内部实际场景信息构建，存储商场中不同区域的范围和位置信息，用于路径规划模块105工作时确定导航路径的参考；结构化地图包括各楼层中智能购物车的通行区和非通行区，所述通行区为商场内智能购物车可行走的区域，包括一块等待新任务区，即供暂时无任务的智能购物车等待的区域；所述非通行区为商场内智能购物车无法通行的区域；所述非通行区内设置有智能购物车可工作地点的名称和序号、电梯位置及相应区域信息，所述可工作地点的名称是根据商场内商品陈列区域进行命名，导航时通过输入关键词即可控制智能购物车到达指定地点；

所述路径跟随模块104用于根据各个智能购物车当前状态和导航路径计算得到跟随导航路径所需的的转向信号及驱动信号，并传递给转向电机控制器313和驱动电机控制器314，分别控制转向电机311和驱动电机转动312，实现智能购物车对导航路径的跟随；

所述路径规划模块105用于根据各个智能购物车的当前位置和各自的路由规划终点得到一条导航路径；

所述定位模块200负责为主控制器100中的图像信息处理器101提供原始的可提取购物车位置信息的图像数据，包括全局摄像头201，所述全局摄像头201布置在商场各楼层的棚顶上，全局摄像头201与主控制器100通过以太网连接；

所述主控制器100、每个智能购物车、商场内的每个直梯和每个扶梯均安装有Zigbee通讯模块，用于信号的收发；在每个直梯门前均设置有接近区，在每个直梯内的地面上均设有智能购物车停靠位置组，所述智能购物车停靠位置组是由多个停靠位置组成的数据序列，每个停靠位置对应一个序号，依次为1、2、3...i，直梯内部的摄像头实时检测直梯内停靠位置是否有空余的信息、直梯是否空闲信息、直梯自身楼层、电梯门开闭信息，并通过安装在直梯上的Zigbee通讯模块实时向主控制器100发送，主控制器100根据直梯运行情况控制智能购物车的运行状态；

在扶梯进入端由远至近依次设置有接近区、进入区、等待区，在扶梯离开端由近至远依次设置有离开区、重新规划区，进入区包括首端的部分扶梯，等待区为扶梯不断上升或下降的区域，离开区包括末端的部分扶梯，扶梯末端的摄像头实时采集智能购物车处于扶梯的位置信息，安装在扶梯上的Zigbee通讯模块实时向主控制器100发送智能购物车的位置信息，主控制器100根据智能购物车定位信息及结构化地图103中预存的扶梯及相关区域信息，得到智能购物车处于扶梯具体区域信息，判断智能购物车所处的区域，从而规划智能购物车的导航路径并控制智能购物车的运行状态。

实施例2

参阅图3，本发明提供的商场用引导与跟随智能购物车的定位和导航方法，包括以下步骤：

步骤S1、在商场各楼层的棚顶上布置全局摄像头201；在每辆智能购物车的四周不易被遮挡的位置布置识别标识牌，所述识别标识牌采用容易区分的颜色进行识别；在各楼层每隔固定间距放置标定标识牌，所述标定标识牌采用二维码标定标记，二维码内包含标定标识牌所处位置的全局坐标信息；其中，所述全局摄像头201与主控制器100连接，主控制器100通过图像信息处理器101拼接得到工作场景全局的俯视图像，通过全局的俯视图像识别到标定标识牌和识别标识牌；主控制器中的图像信息处理器101通过计算机视觉算法得到智能购物车组群中各个智能购物车的当前全局位置坐标、当前朝向信息，经过求导过程得到当前速度及加速度信息等智能购物车状态信息，其中全局位置坐标包括智能购物车在哪一层的垂向位置坐标及智能购物车在当前楼层内所处的平面位置坐标；

利用图像信息处理器101中的计算机视觉算法识别智能购物车时，先将识别到的标定标识牌区域中心像素点与所识别到的标定标识牌的位置信息进行匹配，通过标定标识牌得到全局拼接图像各个像素位置对应的实际位置坐标，之后通过视觉识别算法识别智能购物车的标识，具体可以用不同像素的视窗滚动搜索机器人特殊标识，确定各个智能购物车上的识别标识牌在全局拼接图像上的位置，通过对应关系映射得到智能购物车在实际空间中的位置；若视觉目标暂时丢失时间超过阈值，则主控制器向智能购物车的驱动电机控制器314发送紧急停止信息，并启动声音警示器322，提示不要遮挡识别标识牌；

步骤S2、根据商场内部实际场景信息构建结构化地图103，所述结构化地图103存储在主控制器100内，包括各楼层中智能购物车的通行区和非通行区，所述通行区为商场内智能购物车可行走的区域，包括一块等待新任务区，即供暂时无任务的智能购物车等待的区域；所述非通行区为商场内智能购物车无法通行的区域，包括购物区、结算区等，所述非通行区内设置有智能购物车可工作地点的名称和序号、电梯位置及相应区域信息，所述可工作地点的名称是根据商场内商品陈列区域进行命名，例如：生鲜区、蔬菜区等，导航时通过输入关键词即可控制智能购物车到达指定地点，例如需要去生鲜区购买海鲜，可以直接输入生鲜区，智能购物车则自动导航，引领购物者达到生鲜路由规划区；

步骤S3、商场顾客通过手机APP设置希望进行选购商品的区域并通过wifi网络传输给主控制器的起止点输入模块102，主控制器100据此确定在结构化地图103中任务所需智能购物车应到达的位置，智能购物车任务发布后，得到智能购物车当前位置为路由规划起点，任务所需智能购物车应到达的位置为路由规划终点；导航时，主控制器100先判断路由规划终点与路由规划起点是否在同一层，如路由规划终点与路由规划起点在同一楼层时，直接通过路径规划模块105中的A*路径规划算法得到导航路径，智能购物车跟随导航路径轨迹运动即可；如路由规划终点与路由规划起点不在同一楼层时，需进行当前楼层路由规划，当前楼层路由规划时，将智能购物车当前位置作为路径规划起点，各电梯位置作为路径规划终点，路径规划模块105通过A*路径规划算法得到当前位置到各个电梯位置的路径长度，以长度最短的电梯为目标电梯，即当前楼层路径规划终点，通过路径规划模块105得到导航路径；之后确定目标电梯为直梯还是扶梯，如是直梯，执行步骤S4，如是扶梯，执行步骤S5；

步骤S4、在直梯门前均设置有接近区，接近区建议尺寸为5m×5m，接近区内不应放置固定的障碍物；在每个直梯内的地面上均设有智能购物车停靠位置组，所述智能购物车停靠位置组是由多个停靠位置组成的数据序列，每个停靠位置对应一个序号，依次为1、2、3...i；直梯内部的摄像头实时通过计算机视觉算法检测直梯内停靠位置是否有空余的信息，直梯是否空闲信息、直梯自身楼层、电梯门开闭信息，并通过安装在直梯上的Zigbee模块实时向主控制器发送，智能购物车进入直梯所对应的接近区时，主控制器100根据当前时间为智能购物车分配时间标签，如16:42:36A车进入接近区，则A车时间标签为164236；如16:45:22B车进入接近区，则B车时间标签为164522，时间标签越小，代表智能购物车到达更早；当智能购物车进入到当前楼层中目标直梯对应的接近区后，主控制器100调整智能购物车角度，使智能购物正面朝向电梯门，准备进入电梯；之后主控制器100将各个接近区域的智能购物车按照时间标签从大到小的顺序进行排序，等待直梯内停靠位置有空余；如直梯内停靠位置有空余位置，则该直梯为可用直梯，此时主控制器根据直梯内停靠位置空余数量，将可用直梯一一分配给智能购物车；若时间标签较大的智能购物车没有分配到可用直梯，则继续等待，直到再次出现可用直梯；被分配直梯后，主控制器将当前智能购物车所在位置作为路径规划起点，路径规划终点更新为目标楼层n中直梯对应的停靠位置，如果此时主控制器接收到的电梯门开闭信息显示当前楼层m电梯门关闭，则给智能购物车发送原地等待指令，直到主控制器接收到的电梯门开闭信息显示电梯门开启，则主控制器发送指令，使智能购物车跟随导航路径进入电梯；直梯启动后，直梯实时将本身所处楼层通过Zigbee模块向主控制器100发送；主控制器通过该信息判断该智能购物车是否成功进入工作空间中目标楼层n；如果进入目标楼层n，则将智能购物车的路由规划终点设置为路径规划终点，此时如果主控制器100接收到的电梯门开闭信息显示目标楼层n电梯门关闭，则给智能购物车发送原地等待指令，直到主控制器接收到的电梯门开闭信息显示电梯门开启，主控制器发送跟随导航路径行驶的指令，使智能购物车离开电梯，后续的导航规划工作与同层任务下的导航规划工作相同；

步骤S5、在扶梯进入端由远至近依次设置有接近区、进入区、等待区，在扶梯离开端由近至远依次设置有离开区、重新规划区，接近区建议尺寸为5m×5m，进入区建议尺寸为2m×2m，进入区包括首端的部分扶梯，智能购物车在进入区时，部分车身可处在扶梯上，等待区为扶梯不断上升或下降的区域，等待区建议尺寸根据电梯尺寸划定，离开区建议尺寸为2m×2m，离开区包括末端的部分扶梯，智能购物车在离开区时，部分车身可处在扶梯上，重新规划区建议尺寸为5m×5m；

扶梯末端的摄像头实时采集智能购物车处于扶梯的位置信息，安装在扶梯上的zigbee模块实时向主控制器100发送智能购物车的位置信息，主控制器100根据智能购物车定位信息及结构化地图103中预存的扶梯及相关区域信息，得到智能购物车处于扶梯具体区域信息判断智能购物车所处的区域；

当智能购物车进入扶梯的接近区域时，主控制器发送命令给智能购物车进入乘坐扶梯状态，此时路径规划终点设为扶梯的进入区，智能购物车进入扶梯的进入区后，调整角度，使其朝向扶梯，之后继续向前行驶进入扶梯的等待区，进入等待区后，主控制器向智能购物车发送停止信号，智能购物车接到停止信号后，智能购物车上的驱动控制器314锁止驱动电机312，转向控制器313锁止转向电机311，智能购物车在扶梯的带动下与扶梯一起向上或向下运动，当定位信息显示智能购物车进入扶梯的离开区时，主控制器给智能购物车发送向前行驶的指令，智能购物车接到向前行驶的信号后，智能购物车上的驱动控制器314控制驱动电机312转动，转向控制器313控制转向电机311转动，直到定位信息显示进入扶梯的重新规划区；此时，主控制器根据智能购物车当前位置及路由规划终点进行逻辑判断，重新规划路径；当智能购物车当前位置与路由规划终点在同一楼层时，将当前位置设为路径规划起点，路由规划终点设为路径规划终点，路径规划模块通过A*路径规划算法得到导航路径，智能购物车跟随导航路径轨迹运动即可；当智能购物车当前位置与路由规划终点不在同一楼层时，将当前位置设为路径规划起点，目前乘坐的扶梯在本层的接近区设为路径规划终点，通过A*路径规划算法得到导航路径，智能购物车跟随导航路径轨迹运动，到达扶梯的接近区，继续乘坐扶梯，直至智能购物车当前位置与路由规划终点在同一楼层，后续的导航规划工作与同层任务下的导航规划工作相同；

步骤S6、智能购物车在行驶过程中实时检测自身位置是否仍未到达路由规划终点，如果已到达路由规划终点，则转向电机311和驱动电机312断电，同时等待新任务，在此期间顾客可以推动智能购物车自由移动，如果未到达则继续跟随导航路径行驶；另外，智能购物车在行驶过程中实时检测顾客是否发出完成购物过程的指令，如果收到顾客发出的完成购物过程的指令，则将结构化地图103中的等待新任务区设置为路由规划终点，执行S3、S4、S5得到导航路径，并跟随导航路径行驶返回结构化地图103中的等待新任务区，等待下一个任务。

本发明所述智能购物车跟随导航路径轨迹运动主要是将导航路径输入给路径跟随模块104，路径跟随模块104采用路径跟随算法得到跟随导航路径需要的转向信号及驱动信号，传递给转向电机控制器313和驱动电机控制器314，分别控制转向电机311和驱动电机转动312，实现智能购物车对导航路径的跟随。

本发明将智能购物车起始位置称为路由规划起点，将任务所需智能购物车达到的位置称为路由规划终点，将智能购物车在导航过程中所处的当前位置称为路径规划起点，将智能购物车在导航过程中临时到达的位置称为路径规划终点，以便准确掌握智能购物车的整个导航路径。

Claims (8)

1.一种商场用智能购物车的定位和导航***，包括智能购物车、定位模块、主控制器，其特征在于：所述智能购物车上搭载车载主要设备，在每辆智能购物车的四周不易被遮挡的位置布置识别标识牌，在各楼层每隔固定间距放置标定标识牌，标定标识牌采用二维码标定标记，二维码内包含标定标识牌所处位置的全局坐标信息；所述车载主要设备包含车载行驶模块和车载感知模块，车载行驶模块主要负责为智能购物车提供行驶的能力，包括转向电机、驱动电机、转向电机控制器、驱动电机控制器，转向电机控制器和驱动电机控制器均与主控制器采用无线通讯的方式连接，转向电机控制器控制转向电机的转向，驱动电机控制器控制驱动电机动作；车载感知模块包括超声波雷达和声音警示器，所述超声波雷达布置在智能购物车的四周，用于预防智能购物车在行进过程中发生碰撞；

所述主控制器负责整个***的信息处理与购物车导航工作，主控制器上安装有wifi通讯模块，顾客手机安装智能购物车APP，通过wifi与主控制器进行通信，设置希望进行选购商品的区域和发送任务完成的命令；主控制器包括图像信息处理器、起止点输入模块、结构化地图、路径跟随模块、路径规划模块；

其中，所述图像信息处理器，用于将全局摄像头的图像信息进行拼接，得到工作场景全局的俯视图像，通过全局的俯视图像识别到标定标识牌和识别标识牌，之后通过计算机视觉算法得到智能购物车组群中各个智能购物车的当前全局位置坐标、当前朝向信息，再经过求导过程得到智能购物车状态信息，包括当前速度及加速度；其中全局位置坐标包括智能购物车在哪一层的垂向位置坐标及智能购物车在当前楼层内所处的平面位置坐标；

所述结构化地图是根据商场内部实际场景信息构建，存储商场中不同区域的范围和位置信息，用于路径规划模块工作时确定导航路径的参考；

所述路径跟随模块用于根据各个智能购物车当前状态和导航路径计算得到跟随导航路径所需的转向信号及驱动信号，并传递给转向电机控制器和驱动电机控制器，分别控制转向电机和驱动电机转动，实现智能购物车对导航路径的跟随；

所述路径规划模块用于根据各个智能购物车的当前位置和各自的路由规划终点得到一条导航路径；

所述定位模块负责为主控制器中的图像信息处理器提供原始的可提取购物车位置信息的图像数据，包括全局摄像头，所述全局摄像头布置在商场各楼层的棚顶上，全局摄像头与主控制器通过以太网连接；

所述主控制器、每个智能购物车、商场内的每个直梯和每个扶梯均安装有Zigbee通讯模块，用于信号的收发；在每个直梯门前均设置有接近区，在每个直梯内的地面上均设有智能购物车停靠位置组，直梯内部的摄像头实时检测直梯内停靠位置是否有空余的信息、直梯是否空闲信息、直梯自身楼层、电梯门开闭信息，并通过安装在直梯上的Zigbee通讯模块实时向主控制器发送，主控制器根据直梯运行情况控制智能购物车的运行状态；

在扶梯进入端由远至近依次设置有接近区、进入区、等待区，在扶梯离开端由近至远依次设置有离开区、重新规划区，进入区包括首端的部分扶梯，等待区为扶梯不断上升或下降的区域，离开区包括末端的部分扶梯，扶梯末端的摄像头实时采集智能购物车处于扶梯的位置信息，安装在扶梯上的Zigbee通讯模块实时向主控制器发送智能购物车的位置信息，主控制器根据智能购物车定位信息及结构化地图中预存的扶梯及相关区域信息，得到智能购物车处于扶梯具体区域信息，判断智能购物车所处的区域，从而规划智能购物车的导航路径并控制智能购物车的运行状态。

2.根据权利要求1所述的一种商场用智能购物车的定位和导航***，其特征在于，所述识别标识牌采用容易区分的颜色进行识别，包括绿色、粉色、黄色；所述标定标识牌建议间距为1~2m。

3.根据权利要求1所述的一种商场用智能购物车的定位和导航***，其特征在于，所述智能购物车停靠位置组是由多个停靠位置组成的数据序列，每个停靠位置对应一个序号，依次为1、2、3...i。

4.根据权利要求1所述的一种商场用智能购物车的定位和导航***，其特征在于，所述结构化地图包括各楼层中智能购物车的通行区和非通行区，所述通行区为商场内智能购物车可行走的区域，包括一块等待新任务区，即供暂时无任务的智能购物车等待的区域；所述非通行区为商场内智能购物车无法通行的区域；所述非通行区内设置有智能购物车可工作地点的名称和序号、电梯位置及相应区域信息，所述可工作地点的名称是根据商场内商品陈列区域进行命名，导航时通过输入关键词即可控制智能购物车到达指定地点。

5.一种商场用智能购物车的定位和导航方法，其特征在于，包括以下步骤：

步骤S1、在商场各楼层的棚顶上布置全局摄像头；在每辆智能购物车的四周不易被遮挡的位置布置识别标识牌；在各楼层每隔固定间距放置标定标识牌；其中，所述全局摄像头与主控制器连接，主控制器通过图像信息处理器拼接得到工作场景全局的俯视图像，通过全局的俯视图像识别到标定标识牌和识别标识牌；主控制器中的图像信息处理器通过计算机视觉算法得到智能购物车组群中各个智能购物车的当前全局位置坐标、当前朝向信息，经过求导过程得智能购物车状态信息，包括当前速度及加速度；其中，全局位置坐标包括智能购物车在哪一层的垂向位置坐标及智能购物车在当前楼层内所处的平面位置坐标；

步骤S2、根据商场内部实际场景信息构建结构化地图，所述结构化地图存储在主控制器内，包括各楼层中智能购物车的通行区和非通行区，所述通行区为商场内智能购物车可行走的区域，包括一块等待新任务区，即供暂时无任务的智能购物车等待的区域；所述非通行区为商场内智能购物车无法通行的区域；所述非通行区内设置有智能购物车可工作地点的名称和序号、电梯位置及相应区域信息，所述可工作地点的名称是根据商场内商品陈列区域进行命名，导航时通过输入关键词即可控制智能购物车到达指定地点；

步骤S3、商场顾客通过手机APP设置希望进行选购商品的区域并通过wifi网络传输给主控制器的起止点输入模块，主控制器据此确定在结构化地图中任务所需智能购物车应到达的位置，智能购物车任务发布后，得到智能购物车当前位置为路由规划起点，任务所需智能购物车应到达的位置为路由规划终点；导航时，主控制器先判断路由规划终点与路由规划起点是否在同一层，如路由规划终点与路由规划起点在同一楼层时，通过路径规划模块得到导航路径即可；如路由规划终点与路由规划起点不在同一楼层时，需进行当前楼层路由规划，当前楼层路由规划时，将智能购物车当前位置作为路径规划起点，各电梯位置作为路径规划终点，通过路径规划模块得到当前位置到各个电梯位置的路径长度，以长度最短的电梯为目标电梯，即当前楼层路径规划终点，通过路径规划模块得到导航路径；之后确定目标电梯为直梯还是扶梯，如是直梯，执行步骤S4，如是扶梯，执行步骤S5；

步骤S4、在直梯门前均设置有接近区，接近区内不应放置固定的障碍物；在每个直梯内的地面上均设有智能购物车停靠位置组，所述智能购物车停靠位置组是由多个停靠位置组成的数据序列，每个停靠位置对应一个序号，依次为1、2、3...i；直梯内部的摄像头实时通过计算机视觉算法检测直梯内停靠位置是否有空余的信息、直梯是否空闲信息、直梯自身楼层、电梯门开闭信息，并通过安装在直梯上的Zigbee通讯模块实时向主控制器发送；智能购物车进入直梯所对应的接近区时，主控制器根据当前时间为智能购物车分配时间标签；当智能购物车进入到当前楼层中目标直梯对应的接近区后，主控制器调整智能购物车角度，使智能购物正面朝向电梯门，准备进入电梯；之后主控制器将各个接近区域的智能购物车按照时间标签从大到小的顺序进行排序，等待直梯内停靠位置有空余；如直梯内停靠位置有空余，则该直梯为可用直梯，此时主控制器根据直梯内停靠位置空余数量，将可用的停靠位置一一分配给智能购物车；若时间标签较大的智能购物车没有分配到可用直梯，则继续等待，直到直梯再次可用；被分配直梯内的停靠位置后，主控制器将当前智能购物车所在位置作为路径规划起点，路径规划终点更新为目标楼层中直梯对应的停靠位置，如果此时主控制器接收到的电梯门开闭信息显示当前楼层电梯门关闭，则给智能购物车发送原地等待指令，直到主控制器接收到的电梯门开闭信息显示电梯门开启，则主控制器发送指令，使智能购物车跟随导航路径进入电梯；直梯启动后，直梯实时将本身所处楼层通过Zigbee模块向主控制器发送，主控制器通过该信息判断该智能购物车是否成功进入工作空间中目标楼层；如果进入目标楼层，则将智能购物车的路由规划终点设置为路径规划终点，此时如果主控制器接收到的电梯门开闭信息显示目标楼层电梯门关闭，则给智能购物车发送原地等待指令，直到主控制器接收到的电梯门开闭信息显示电梯门开启，主控制器发送跟随导航路径行驶的指令，使智能购物车离开电梯，后续的导航规划工作与同层任务下的导航规划工作相同；

步骤S5、在扶梯进入端由远至近依次设置有接近区、进入区、等待区，在扶梯离开端由近至远依次设置有离开区、重新规划区，进入区包括首端的部分扶梯，等待区为扶梯不断上升或下降的区域，离开区包括末端的部分扶梯；扶梯末端的摄像头实时采集智能购物车处于扶梯的位置信息，安装在扶梯上的Zigbee模块实时向主控制器发送智能购物车的位置信息，主控制器根据智能购物车定位信息及结构化地图中预存的扶梯及相关区域信息，得到智能购物车处于扶梯具体区域信息，判断智能购物车所处的区域；

当智能购物车进入扶梯的接近区时，主控制器发送命令给智能购物车进入乘坐扶梯状态，此时路径规划终点设为扶梯的进入区，智能购物车进入扶梯的进入区后，调整角度，使其朝向扶梯，之后继续向前行驶进入扶梯的等待区，进入等待区后，主控制器向智能购物车发送停止信号，智能购物车接到停止信号后，智能购物车上的驱动控制器锁止驱动电机，转向控制器锁止转向电机，智能购物车在扶梯的带动下与扶梯一起向上或向下运动，当定位信息显示智能购物车进入扶梯的离开区时，主控制器给智能购物车发送向前行驶的指令，智能购物车接到向前行驶的信号后，智能购物车上的驱动控制器控制驱动电机转动，转向控制器控制转向电机转动，直到定位信息显示智能购物车进入扶梯的重新规划区；此时，主控制器根据智能购物车当前位置及路由规划终点进行逻辑判断，重新规划路径；当智能购物车当前位置与路由规划终点在同一楼层时，将当前位置设为路径规划起点，路由规划终点设为路径规划终点，通过路径规划模块得到导航路径，智能购物车跟随导航路径轨迹运动即可；当智能购物车当前位置与路由规划终点不在同一楼层时，将当前位置设为路径规划起点，目前乘坐的扶梯在本层的接近区设为路径规划终点，通过路径规划算法得到导航路径，智能购物车跟随导航路径轨迹运动，到达扶梯的接近区，继续乘坐扶梯，直至智能购物车当前位置与路由规划终点在同一楼层，后续的导航规划工作与同层任务下的导航规划工作相同；

步骤S6、智能购物车在行驶过程中实时检测自身位置是否仍未到达路由规划终点，如果已到达路由规划终点，则转向电机和驱动电机断电，同时等待新任务；另外，智能购物车在行驶过程中实时检测顾客是否发出完成购物过程的指令，如果收到顾客发出的完成购物过程的指令，则将结构化地图中的等待新任务区设置为路由规划终点，执行S3、S4、S5得到导航路径，并跟随导航路径行驶返回结构化地图中的等待新任务区，等待下一个任务。

6.根据权利要求5所述的一种商场用智能购物车的定位和导航方法，其特征在于，步骤S1利用图像信息处理器中的计算机视觉算法识别智能购物车时，先将识别到的标定标识牌区域中心像素点与所识别到的标定标识牌的位置信息进行匹配，通过标定标识牌得到全局拼接图像各个像素位置与实际位置坐标的对应关系，之后通过视觉识别算法识别智能购物车的标识，确定各个智能购物车上的识别标识牌在全局拼接图像上的位置，通过对应关系映射得到智能购物车在实际空间中的位置；若视觉目标丢失时间超过阈值，则主控制器向智能购物车的驱动电机控制器发送紧急停止信息，并启动声音警示器，提示不要遮挡识别标识牌。

7.根据权利要求5所述的一种商场用智能购物车的定位和导航方法，其特征在于，所述智能购物车跟随导航路径轨迹运动主要是将导航路径输入给路径跟随模块，路径跟随模块采用路径跟随算法得到跟随导航路径需要的转向信号及驱动信号，传递给转向电机控制器和驱动电机控制器，分别控制转向电机和驱动电机转动，实现智能购物车对导航路径的跟随。

8.根据权利要求7所述的一种商场用智能购物车的定位和导航方法，其特征在于，所述路径规划模块采用A*路径规划算法，所述路径跟随模块采用单点预瞄轨迹跟随算法。

Images