CN113219971A - 一种基于卷积神经网络和多线程并行控制的多功能智能物流小车 - Google Patents
一种基于卷积神经网络和多线程并行控制的多功能智能物流小车 Download PDFInfo
- Publication number
- CN113219971A CN113219971A CN202110493063.5A CN202110493063A CN113219971A CN 113219971 A CN113219971 A CN 113219971A CN 202110493063 A CN202110493063 A CN 202110493063A CN 113219971 A CN113219971 A CN 113219971A
- Authority
- CN
- China
- Prior art keywords
- neural network
- control
- convolutional neural
- intelligent logistics
- trolley
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013461 design Methods 0.000 claims abstract description 11
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 21
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 21
- 240000007651 Rubus glaucus Species 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 10
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 8
- 229910052802 copper Inorganic materials 0.000 claims description 8
- 239000010949 copper Substances 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000000087 stabilizing effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 229910001416 lithium ion Inorganic materials 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims 1
- 239000002245 particle Substances 0.000 claims 1
- 239000000463 material Substances 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 244000235659 Rubus idaeus Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络和多线程并行控制的多功能智能物流小车，在电商仓储与大型制造业物流配送中心中，存在大量的物料分拣搬运任务。本发明针对物料分拣场景提出了一种改进的AGV设计方案。采用多线程方式实现各个模块独立运作，降低了程序设计复杂度。采用卷积神经网络和机器视觉方法对现场进行语义识别。根据语义识别采取特定执行措施，包括停车等待，转向绕行，减速避障，特定区域访问以及其他基于具体任务衍生的特殊应对措施。采用四自由度舵机机械臂实现智能物流小车抓举多功能的应用拓展，从而对各种物料具有了较好的适应性。采用基于WiFi的远程控制方式，提高了小车对多种实际场景的匹配能力。
Description
技术领域
本发明涉及一种多功能物流小车相关技术领域，具体为一种基于卷积神经网络和多线程并行控制的多功能智能物流小车。
背景技术
随着在线购物与互联网产业的不断壮大，仓储物流得到了迅速发展。装配工厂、仓库等场所存在着大量的物料搬运任务，目前受限于成本和技术，大量企业不得不雇佣工人实现人工分拣与搬运或借助于大规模传送带输送。现有物料运输与分拣方法占地空间大，人工成本高，可拓展性不强。因此，针对上述场所开发AGV(自动导引车)和RGV(有轨导引车)***成为了研究热点。随着人工智能技术发展，越来越多的场景中引入了深度学习等神经网络技术。新型物料搬运设备借助于远程控制、图像处理、集成设计等技术，实现了无人化和智能化。
但是目前市场上的AGV大多集中在一般循迹小车设计和搬运机构安装等方面，存在以下缺点：
1、其***对于图像采集和识别使用的大多是基于现成的OpenMV系列产品，缺乏开发灵活性。
2、远程控制方式大多是基于特定的WIFI模块，而非面向通用路由器，难以全面推广。
3、AGV模块集成化设计缺失，成本高且可回收利用的元器件少。
4、缺乏多线程并行控制，目前大多采用单线程—中断的程序设计方法，对于多个功能的同时工作必须进行特定的程序优化。
发明内容
本发明提供了一种基于卷积神经网络和多线程并行控制的远程WIFI智能避障物流搬运小车，用于提高物流搬运效率。
为解决上述实际问题，本发明涉及的智能小车包括以下结构设计和程序设计两个部分：
一、结构设计：
双层底盘：用四个六角铜柱支撑，下层底盘两侧对称，每边有两个电机支架。电机支架和D字轴直流电机采用螺纹紧固连接，直流电机和六角铜柱联轴器用紧定螺钉连接，联轴器外接开六角连接孔的麦克纳姆轮，麦克纳姆轮共四个，用于实现全向移动。上层底盘安装驱动电路、摄像头、搬运执行机构、控制板及根据任务添加的其他元件。
传感器阵列：包含三组光电传感器，每一组光电传感器包括三个传感头。第一组放置在小车正前方，与底盘通过六角铜柱连接于对称轴位置，另外两组放置在小车两侧，用于辅助小车刹车定位。
综合功能***：四自由度机械臂，三个手臂运动关节和一个夹具驱动关节由四个15kg180°数字舵机分别控制，通过一个舵机扩展版单独从电源供电，用于实现各种货物的抓取以及空间范围内的任意移动，从而实现物流小车多功能特性。
摄像头：一个480P的工业USB摄像头，布置在上层底盘前端靠左处，用于对周围环境进行图像采集，输入给深度学习框架进行识别。
两个电机驱动芯片：用于将控制信号放大并输送到直流电机，实现电机转速控制。
一个多电压稳压模块：用于将锂离子电池的电压降到不同的等级为各个模块供电。
树莓派控制板：装载Linux平台，可以基于Python实现对GPIO端口的控制以及其他第三方库的使用，其他模块与控制板以电路形式连接。
二、程序设计：
多线程并行控制：基于Python多线程第三方库Threading，将各个功能部分封装成单独的运行线程，使得它们可以使用CPU不同的运算资源，达到同时工作的效果。主函数启动后，依次启动其余子线程，子线程修改全局参数，主函数即可采取对应的措施。当主函数处于某一工作状态时，子线程仍然会继续工作，继续执行特定任务，维持信息采集或保持工作。
卷积神经网络识别：基于Python第三方库Pytorch框架，利用人工神经网络方法实现对图像的分类问题，包括数据集整理、网络设计、模型训练、模型调用四个主要步骤。通过对输入图像进行卷积和降采样操作，由二维输入张量逐步降维成一维输出张量，后接基于BP算法的全连接神经网络实现分类问题的求解。
图像采集：基于Python第三方库OpenCV和PIL，调用USB摄像头对环境进行拍照，得到特定像素尺寸的jpg或png格式图片，并将其转化为像素二维矩阵的形式进行预处理，预处理方法包括并且不限于：锐化、提高对比度、空间滤波、模糊、主体分割。
WIFI远程控制：当树莓派和计算机连接与同一路由器时，使用树莓派的SSH远程桌面功能，可以通过寻找树莓派的IP地址，从计算机以无线方式直接访问树莓派界面，从而实现对物流小车的远程控制。
舵机机械臂同步控制：基于pwm脉宽调制实现对舵机机械臂的各个关节进行同步控制。关节舵机与手臂以螺纹刚性连接，另外一段手臂则连接于舵机的舵盘部分，当舵机的舵盘从信号线接收到的pwm占空比信号发生旋转时，关节就可以实现两段手臂的相对旋转运动。三个手臂关节可以实现球形空间内的任意摆动。夹具处的第四关节可以实现夹具的加紧，用于对各种货物进行搬运工作，实现物流小车的多功能工作。
底盘电机运动控制：通过光电灰度传感器，将轨迹黑白信息返回成模拟值。当识别距离一定时，返回的模拟量大小取决于图片的灰度程度。采用白色背景的黑色轨迹线作为轨迹依据，当传感器发生偏离时，由于采集范围中的黑色比例发生变化，返回值的大小也会对应的变化。基于PID调节算法对这一变化进行修正，进而得到底盘控制程序。
与现有技术相比，本发明的有益效果是：
本发明针对目前物流搬运设备领域对于图像采集、WIFI通信、模块集成化设计、并行控制等新型功能的兼容和实现较低的问题进行了改进和创新。
在其他类型的物流小车基础上增加了基于OpenCV和PIL的图像采集处理功能，可以实现只依靠控制板本身完成机器视觉***功能，而不用额外增加OpenMV系列产品，降低成本的同时提高了开发的灵活性。
增加了基于WIFI的树莓派SSH远程桌面控制，可以实现计算机对树莓派的无线控制，即可以将控制计算机和物流场所放在不同的地方，而只需要他们处于同一个局域网环境下。
改进了控制方法，采用多线程并行计算的方式，减少了多模块占用同一个处理线程，无法实现各个功能同时进行的缺点。
结合了卷积神经网络，将AI技术融合到物流小车的开发中，为在物流搬运设备中使用更多的AI方法提供了技术可行性参考。
利用树莓派特性，实现了WIFI、视觉模块、电路控制、传感器采集等多功能模块的集成，降低了电子元器件数量，节约成本，降低环境污染。
附图说明
图1为本发明的工作原理示意图；
图2为本发明的机械结构示意图。
具体实施方式
下面结合示意图描述各个部分的具体工作流程，其具体包括结构部分和控制部分。
整车包括：底盘、车轮、电机、机械臂、控制元件。
双层车体使用四根双头六角铜柱连接，分布在两金属底座的四角。电机支架采用25GA型小型电机支架，它和下层底盘通过四个M3螺钉连接，和直流电机之间采用两枚M3×6的十字螺丝连接。
车轮和电机之间通过六角铜质联轴器连接，联轴器一个侧壁开有M2螺纹孔，用于紧定螺钉和电机D字轴平端面紧固连接。车轮和联轴器通过从车轮外部穿入的长螺钉和联轴器内壁螺纹连接固定。
小车采用白底黑色循迹导引线引导，由三组光电传感器识别导引线，三组传感器用长六角双孔铜柱固定在下层底盘处，正前方固定一组，左右两侧各固定一组。正前方的传感器一组一共四个传感头，居中的两个传感头用于判断车辆对于轨迹的偏离，侧边的两组传感器用于辅助定位。
例如：如果车辆左偏，则中间靠左的传感器显示寻到白色，中间靠右的传感器由于仍然处于黑线处显示寻到黑色，此时控制板根据两个传感器返回值的差作为偏离量，输入调整函数，控制电机改变左右两侧共四个电机的转速，以差速形式完成方向修正。
前部靠侧边的两个传感器负责记录前进距离，在铺设黑色引导线的网格中通过记录经过了多少条黑色横向网格线确定走过的距离。
侧面传感器用于辅助车辆定位。
例如：当车辆需要转弯时。如果以前方传感器作为终止标志，那么车辆会在前端触碰到黑线时停止，然后开始向某一侧原地旋转，由于前端传感器正好和黑线相切，则旋转之后不会再次到达这条黑线，也就永远无法将车体转向与这条横向轨迹线平行的方向。因此车体实际上要前进至车体中央腰部到达这条横向轨迹线时停车然后原地旋转，此时旋转后车体经过前方传感器判断辅助，可以正好停至于目标轨迹线平行状态，降低转弯后反复修正姿势的困扰。两侧各一组四个传感器，用以实现在不同要求下的姿势辅助，包括配合机械臂抓取特定位置的货物、走到不超过一个车体的特定位置腾出空间、以及其他特定任务。
电机驱动芯片、舵机拓展板和稳压模块不具有单独的功能，而是作为辅助电路工作。电机驱动芯片是一个多级放大电路，用于将控制电机转动的模拟信号放大到足够影响减速电机的程度，其正负极接在稳压模块上电机电压处。舵机拓展板用于对舵机供电，电源接在稳压模块5V电压处，其输入信号接在树莓派的对应GPIO处，四组输出信号一次连接到四个舵机上。稳压模块用于提供若干个等级的额定电压，由锂电池电源提供电压。
控制板布置在上层底盘，和其他元件用电路连接，负责执行所有的程序控制工作。
对于远程控制，当树莓派小车启动后，树莓派芯片会借助板载WIFI模块自动连接附近的路由器，对应产生一个IP地址，计算机可以进入路由器后台或者IP查询工具查找树莓派地址，进而使用SSH客户端程序远程访问树莓派，以远程无线方式进入树莓派桌面***从而实现控制。这一过程可以手动进行，也可以由中央计算机自动脚本完成。
对于视觉采集***，采用OpenCV+PIL的方式直接调用USB摄像头，采集小车正前方图片并且进行提高对比度、锐化、滤波、主体突出(背景模糊)预处理，处理得到的图片存放在特定路径中供神经网络以识别用。
对于图像识别，卷积神经网络CNN的基本步骤是对先对图像进行卷积和池化操作，池化可以在卷积基础上对数据进行进一步压缩降维。将图片像素矩阵由二维张量生成一维张量，再后接一个全连接网络进行神经网络优化工作，通过反向传播算法和损失函数估计得到比较合适的卷积核。进而提取出图像中的特征，包括边缘特征、轮廓特征信息。用训练好的模型对输入图片进行分析，可以得到它的类别，根据任务要求可以实现前车避障(二分类)、轨道杂物搬运(多分类)、特定标志物识别(语义识别)。
对于机械臂，其基于舵机控制，树莓派通过输入一个特定周期的脉冲信号改变舵机的摆动角度，当信号周期高电平时长和舵机满偏信号长度一致时，舵机满偏指向180°位置，当信号长度和舵机零偏信号长度一致时，舵机指向0°位置。当需要调节舵机处于一个介于0°～180°之间的中间值的时候，可以按照在满偏信号和零偏信号之间以线性分度的形式设置中间信号的高电平时长从而令舵机处于0°-180°之间的任意位置。
树莓派基于Python的第三方库GPIO中的占空比函数，设置四个舵机实例，每一个实例面向一个舵机关节。在一个for循环中，每一次循环时同时向四个舵机实例分别输入一个占空比，每改变一次占空比舵机关节就要改变到特定角度，对着一次循环进行毫秒级延时可以让舵机运动更完整，不至于第一次转动还未完成第二次任务就下达造成冲突。当一个舵机的占空比在一串连续的循环中由一个值调整到另外一个值对应的关节就从一个角度连续的转动到另外一个角度。基于此方法，对四个关节转动量之间以不同的函数关系对应，可以实现各种各样的动作。将这些动作封装在包括一系列方法的类中，需要执行某一个动作时就调用它，从而实现物流小车的多功能搬运能力，进而对于各种货物都具有比较好的适应性，而不必改变一种货物类型就更换一种搬运机构。
对于轨迹修正，树莓派采用PID程序控制方法对前方传感器采集到的偏离误差进行修正，传感器部分具体介绍了得到轨迹误差的方法。在此基础上通过对误差采用比例、积分、微分的方法进行修正，修正方式采用底盘四个电机的差速程度，进而实现树莓派的轨迹控制程序。
上述所有程序部分均有完整的工作逻辑，在实际过程中如果将其采用单线程循环方式简单拼接会出现程序占用的情况。例如：在不进行程序优化的前提下假设小车完成了运动到某一点的工作，此时需要前方摄像头和舵机一起工作，则程序需要同时完成两个任务，对于舵机，运动的实现依赖一串循环体。同样的对于摄像头，由于采集工作不能间断，也要工作在一个死循环中。这两者就存在循环冲突的问题，如果使用摄像头循环作为大循环，则无法跳出。如果以舵机循环作为大循环则循环有限。除非进行特定的程序优化将二者嵌套起来，否则无法实现两个功能的同时运行。
但是如果发挥Linux控制板的多线程计算优势，采用Threading模块，将各种需要持续执行的函数，比如传感器采集、图像采集、舵机姿态维持、远程WIFI通信维持等部分分配到不同的子线程中，当主线程未结束时这些子线程一直维持工作，并且使用重装载Threading类的方法下通过全局参数实现各自线程之间的信息交换，此时对于程序设计便可以集中在功能的实现以及参数的传递领域，而不必考虑函数占用的情况，在物流小车的设计和运行中能大大降低设计难度和过程控制复杂度。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种基于卷积神经网络和多线程并行控制的多功能智能物流小车，包括：双层底盘、传感器阵列、综合功能***、摄像头、电机驱动芯片、多电压稳压模块和树莓派控制板，其特征在于：
所述双层底盘分为上层底盘和下层底盘，且上层底盘和下层底盘由四个六角铜柱支撑，所述下层底盘对称的两侧各自有两个电机支架，电机支架和直流电机通过螺纹紧固连接，所述直流电机的传动轴为D字轴，且直流电机和六角铜柱联轴器通过紧定螺钉连接，联轴器外接开六角连接孔的麦克纳姆轮，总共四个，用于实现全向移动，所述上层底盘安装驱动电路、摄像头、搬运执行机构、控制板及根据任务添加的其他元件；
所述传感器阵列为三组光电传感器，每一组光电传感器包括三个传感头；第一组放置在小车正前方，另外两组放置在小车两侧，用于辅助小车刹车定位；
所述综合功能***为四自由度机械臂，分别为三个关节和一个夹手，全部由数字舵机控制，通过一个舵机扩展版单独从电源供电，用于实现各种货物的抓取以及空间范围内的任意移动；
所述摄像头为工业USB摄像头，布置在上层底盘前端靠左处，用于对周围环境进行图像采集，输入给深度学习框架进行识别；
所述电机驱动芯片用于将控制信号放大并输送到直流电机，实现电机转速控制；
所述多电压稳压模块用于将锂离子电池的电压降到不同的等级为各个模块供电；
所述树莓派控制板装载linux平台，可以基于python实现对GPIO口的控制以及其他第三方库的使用，其他模块与控制板以电路形式连接。
2.根据权利要求1所述的一种基于卷积神经网络和多线程并行控制的多功能智能物流小车，其特征在于，包括以下程序设计部分：
多线程并行控制：基于python多线程第三方库Threading，将各个功能部分封装成单独的运行线程，使得它们可以基于CPU不同的运算资源同时工作；
卷积神经网络识别：基于python第三方库pytorch框架，利用人工神经网络实现对图像的分类处理；
图像采集：基于python第三方库OpenCV和PIL，调用USB摄像头对环境进行拍照，得到特定像素尺寸的jpg或png格式图片，并将其转化为像素二维矩阵的形式进行预处理；
WiFi远程控制：基于SSH远程桌面***实现计算机和物流小车的远程控制；
舵机机械臂同步控制：基于pwm脉宽调制实现对舵机机械臂的各个关节进行同步控制；
底盘电机运动控制：基于PID算法实现对于底盘循迹能力的控制。
3.根据权利要求1所述的一种基于卷积神经网络和多线程并行控制的多功能智能物流小车，其特征在于：利用了卷积神经网络结合采集的图像实现自动避障。
4.根据权利要求1所述的一种基于卷积神经网络和多线程并行控制的多功能智能物流小车，其特征在于：采用了四自由度舵机机械臂，可以实现空间内的任意运动，可以搬运各种形式的货物，包括提袋、箱体、筐体以及其他适应于此种装置的货物。
5.根据权利要求1所述的一种基于卷积神经网络和多线程并行控制的多功能智能物流小车，其特征在于：采用了多线程并行控制方法、可以让各个模块独立工作，互相之间的干扰影响降低。
6.根据权利要求1所述的一种基于卷积神经网络和多线程并行控制的多功能智能物流小车，其特征在于：采用OpenCV库作为图像采集和机器视觉功能设计工具，采用针对python平台的PIL库作为图像像素处理工具，对卷积神经网络的数据集进行预处理，预处理方法包括锐化、提高对比度、空间滤波、模糊、主体分割等各种手段。
7.根据权利要求1所述的一种基于卷积神经网络和多线程并行控制的多功能智能物流小车，其特征在于：采用可调式数字光电传感器作为循迹标志，使用PID算法对小车的运动轨迹进行修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110493063.5A CN113219971A (zh) | 2021-05-07 | 2021-05-07 | 一种基于卷积神经网络和多线程并行控制的多功能智能物流小车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110493063.5A CN113219971A (zh) | 2021-05-07 | 2021-05-07 | 一种基于卷积神经网络和多线程并行控制的多功能智能物流小车 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113219971A true CN113219971A (zh) | 2021-08-06 |
Family
ID=77091203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110493063.5A Pending CN113219971A (zh) | 2021-05-07 | 2021-05-07 | 一种基于卷积神经网络和多线程并行控制的多功能智能物流小车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113219971A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114228950A (zh) * | 2021-11-26 | 2022-03-25 | 江苏科技大学 | 一种基于OpenCV与深度学习的水面物体打捞方法及打捞船 |
| CN114426069A (zh) * | 2021-12-14 | 2022-05-03 | 哈尔滨理工大学 | 一种基于实时语义分割的室内救援车及图像语义分割方法 |
| CN114872010A (zh) * | 2022-06-21 | 2022-08-09 | 安徽信息工程学院 | 一种基于神经网络算法下智能无人搬运装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105643607A (zh) * | 2016-04-08 | 2016-06-08 | 深圳市中科智敏机器人科技有限公司 | 一种具备感知和认知能力的智能工业机器人 |
| US20180144285A1 (en) * | 2016-11-22 | 2018-05-24 | Express Scripts, Inc. | Manual station systems and methods |
| CN110174891A (zh) * | 2019-04-08 | 2019-08-27 | 江苏大学 | 一种基于wifi无线通信的agv集群控制***及方法 |
| CN110534009A (zh) * | 2019-09-05 | 2019-12-03 | 北京青橙创客教育科技有限公司 | 一种人工智能无人驾驶课程教具 |
| US20190371448A1 (en) * | 2018-06-04 | 2019-12-05 | Express Scripts Strategic Development, Inc. | Pharmacy order processing system workstations and related methods |
| CN111290403A (zh) * | 2020-03-23 | 2020-06-16 | 内蒙古工业大学 | 搬运自动导引运输车的运输方法和搬运自动导引运输车 |
| CN111698316A (zh) * | 2020-06-10 | 2020-09-22 | 黎明职业大学 | 一种基于机器人的图书错架整理***及其方法 |
| CN212146405U (zh) * | 2020-05-16 | 2020-12-15 | 台州学院 | 一种自动扫码识别的智能物料搬运机器人 |
-
2021
- 2021-05-07 CN CN202110493063.5A patent/CN113219971A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105643607A (zh) * | 2016-04-08 | 2016-06-08 | 深圳市中科智敏机器人科技有限公司 | 一种具备感知和认知能力的智能工业机器人 |
| US20180144285A1 (en) * | 2016-11-22 | 2018-05-24 | Express Scripts, Inc. | Manual station systems and methods |
| US20190371448A1 (en) * | 2018-06-04 | 2019-12-05 | Express Scripts Strategic Development, Inc. | Pharmacy order processing system workstations and related methods |
| CN110174891A (zh) * | 2019-04-08 | 2019-08-27 | 江苏大学 | 一种基于wifi无线通信的agv集群控制***及方法 |
| CN110534009A (zh) * | 2019-09-05 | 2019-12-03 | 北京青橙创客教育科技有限公司 | 一种人工智能无人驾驶课程教具 |
| CN111290403A (zh) * | 2020-03-23 | 2020-06-16 | 内蒙古工业大学 | 搬运自动导引运输车的运输方法和搬运自动导引运输车 |
| CN212146405U (zh) * | 2020-05-16 | 2020-12-15 | 台州学院 | 一种自动扫码识别的智能物料搬运机器人 |
| CN111698316A (zh) * | 2020-06-10 | 2020-09-22 | 黎明职业大学 | 一种基于机器人的图书错架整理***及其方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114228950A (zh) * | 2021-11-26 | 2022-03-25 | 江苏科技大学 | 一种基于OpenCV与深度学习的水面物体打捞方法及打捞船 |
| CN114426069A (zh) * | 2021-12-14 | 2022-05-03 | 哈尔滨理工大学 | 一种基于实时语义分割的室内救援车及图像语义分割方法 |
| CN114426069B (zh) * | 2021-12-14 | 2023-08-25 | 哈尔滨理工大学 | 一种基于实时语义分割的室内救援车及图像语义分割方法 |
| CN114872010A (zh) * | 2022-06-21 | 2022-08-09 | 安徽信息工程学院 | 一种基于神经网络算法下智能无人搬运装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113219971A (zh) | 一种基于卷积神经网络和多线程并行控制的多功能智能物流小车 | |
| CN111243017B (zh) | 基于3d视觉的智能机器人抓取方法 | |
| Huang et al. | Dynamic compensation robot with a new high-speed vision system for flexible manufacturing | |
| Ma’arif et al. | Vision-based line following robot in webots | |
| Singh et al. | A survey on vision guided robotic systems with intelligent control strategies for autonomous tasks | |
| Mu et al. | Design and Research of intelligent logistics robot based on STM32 | |
| Putra et al. | Visual servoing line following robot: Camera-based line detecting and interpreting | |
| Zhou et al. | 3d pose estimation of robot arm with rgb images based on deep learning | |
| CN115256377A (zh) | 一种基于多源信息融合的机器人抓取方法和装置 | |
| Kumar et al. | AGV Control using Voice Command | |
| Lee et al. | Development of mobile robot with vision inspection system and three-axis robot | |
| CN113110443A (zh) | 一种基于摄像头的机器人循迹及定位方法 | |
| CN111168640A (zh) | 一种物流机器人 | |
| Iinuma et al. | Pallet detection and estimation for fork insertion with rgb-d camera | |
| Li et al. | Real-time pineapple detection for agricultural robot via lightweight YOLOv7-tiny model | |
| CN211517482U (zh) | 一种新型物流机器人 | |
| Xu et al. | Grid line tracking omnidirectional robot based on visible light sensor and mecanum wheel pid control | |
| Liu et al. | Design and Research for Industrial Robot Using Goods Sorting in Warehouse | |
| Hung et al. | Automatic collecting and shooting mobile robot | |
| Gowtham et al. | Simulation of Autonomous Multifunctional Mobile Robot using Machine Vision | |
| Sun et al. | A medical garbage bin recycling system based on AGV | |
| Miljković et al. | Application of convolutional neural networks for visual control of intelligent robotic systems | |
| CN111290378B (zh) | 一种移动机器人及其响应控制方法、存储介质 | |
| Freet | Image Recognition and Object Manipulation for Use in Autonomous Vehicles | |
| Chiu et al. | Grasp Planning and Control for Robotic Mobile Manipulation Based on Semantic Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |
|
| RJ01 | Rejection of invention patent application after publication |