CN110084132B - 基于无人机的木料货场木料信息获取方法、***、装置 - Google Patents

基于无人机的木料货场木料信息获取方法、***、装置 Download PDF

Info

Publication number
CN110084132B
CN110084132B CN201910264598.8A CN201910264598A CN110084132B CN 110084132 B CN110084132 B CN 110084132B CN 201910264598 A CN201910264598 A CN 201910264598A CN 110084132 B CN110084132 B CN 110084132B
Authority
CN
China
Prior art keywords
timber
picture
unmanned aerial
matrix
yard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910264598.8A
Other languages
English (en)
Other versions
CN110084132A (zh
Inventor
黄永亮
于天禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shenshu Technology Co ltd
Original Assignee
Hangzhou Shenshu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shenshu Technology Co ltd filed Critical Hangzhou Shenshu Technology Co ltd
Priority to CN201910264598.8A priority Critical patent/CN110084132B/zh
Publication of CN110084132A publication Critical patent/CN110084132A/zh
Application granted granted Critical
Publication of CN110084132B publication Critical patent/CN110084132B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Economics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Automation & Control Theory (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Finance (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于无人机及计算机模式识别领域，具体涉及了一种基于无人机的木料货场木料信息获取方法、***、装置，旨在解决木料货场木料堆很难完整拍照从而影响木料货场信息化管理的问题。本发明方法包括：采用无人机装载拍照装置，按照规划的路径，获取照片并合成；采用木料位置识别网络，获取木料位置向量、单个木料端面图片集、统计木料数量；采用手写码位置识别网络，获取手写码位置向量集、手写码图片集；采用手写码识别网络，获取手写码字符集合；输出木料数量以及手写码字符集合。本发明采用无人机装载拍照装置，获取照片并合成，实现大件物体或密集堆放物体的整体图像采集，实现了特殊场合信息自动采集，避免人工干预过程的低效率、高错误率。

Description

基于无人机的木料货场木料信息获取方法、***、装置
技术领域
本发明属于无人机及计算机模式识别领域，具体涉及了一种基于无人机的木料货场木料信息获取方法、***、装置。
背景技术
货场是指用于堆放商品的场地，根据产品的不同有室内货场和室外货场的区分。货场具有货物承运、保管、装卸和交付作业等功能，在货场的管理中，货物的信息录入、货物清点是货场信息管理的重要内容。在木料货场一般地面积较大，对存放环境要求不高，一般为室外货场，为了保证木料运输的顺畅性，更有利于木料管理，木料货场会划分堆放区域、通道区域，通道区域的宽度根据作业需求进行设置，以达到木料货场的最大利用率。
现有的木料货场信息管理中，木料货场的入库过程是经过相应的木料验收后入库并记录在入库单的过程，而木料的出库包括两种情况：一是指木料使用部门根据需求计划进行木料领料申请，经过木料管理部门核对后进行发料并将这一过程记录到出库单的过程；二是指销售部门根据销售单进行木料发货申请，经过木料管理部门核对后进行发货并将这一过程记录到出库单的过程。木料货场木料的出入库中主要涉及到以下信息：木料的数量、木料的编码。
现有的木料货场的出入库环节由人工来完成：首先，人工数木料的数量；然后，人工记录木料上的手写木料编码；最后，人工将木料的数量、手写木料编码记录在表单上。这样的管理方式存在以下的问题：个别员工***，虚报木料数量以及手写木料编码；人工速度慢、效率低；信息化程度低，当对表单出现争议时，往往必须面对面解决，位于港口的木料货场的客户来自世界各地，造成极大不便。
发明内容
为了解决现有技术中的上述问题，即为了解决木料货场的木料信息获取、清点问题，本发明提供了一种基于无人机的木料货场木料信息获取方法，包括：
步骤S10，获取待识别图片；
基于木料堆之间的通道，构建无人机第一飞行路径；
沿第一飞行路径构建方波型的第二飞行路径；所述第二飞行路径的方波的高度为货场内最高木料堆的高度，方波的宽度为预设值；
所述无人机按照所述第二飞行路径进行飞行拍照，获得第一图像集；
基于所述第一图像集，依据第一飞行路径以及第二飞行路径进行图像的合成，得到货场内包含木料横切面的多个木料堆照片作为待识别图片；
步骤S20，采用木料位置识别网络，基于所述待识别图片，获取木料位置向量，并基于获取的木料位置向量获取单个木料端面图片集、统计木料数量；所述木料位置识别网络为基于神经网络构建，并采用包含木料横切面的木料堆图片集训练的用于识别图片中木料位置的网络；
步骤S30，采用手写码位置识别网络，基于所述单个木料端面图片集中每一个图片，获取手写码位置向量，并提取该位置向量对应的手写码图片，得到手写码位置向量集、手写码图片集；所述手写码位置识别网络为基于神经网络构建，并采用包含手写码的图片集训练的用于识别图片中手写码位置的网络；
步骤S40，采用手写码识别网络，对手写码图片集中每一张图片进行识别，获取手写码字符集合；所述手写码识别网络为基于神经网络构建，并采用包含多个角度手写数字图片和对应标注的训练样本训练的用于手写码识别的网络；
步骤S50，输出木料数量以及手写码字符集合。
在一些优选的实施例中，所述位置向量，为包含四个元素的向量：
Pi＝[xi,yi,wi,hi]
其中，Pi代表位置向量，xi、yi分别代表单个木料或手写码包围框左上角顶点的横坐标值、纵坐标值，wi、hi分别代表包围框的宽度、高度，i代表单个木料图片的序号。
在一些优选的实施例中，步骤S30之前还设置有图片转换增强处理步骤，其方法为：
步骤B10，将单个木料图片由RGB空间转换到HSV空间，提取色调矩阵、饱和度矩阵、亮度矩阵；
步骤B20，随机选用以下一种或多种方法对所述色调矩阵、饱和度矩阵、亮度矩阵进行调整：
基于所述色调矩阵，计算图像各像素点的色调距离预设色调中心的距离d，将d映射到[0,254]范围内，并做直方图均衡化处理，获得色调调整后的矩阵；
对所述饱和度矩阵做直方图均衡化处理，并进行二值化，获得饱和度调整后的矩阵；
对所述亮度矩阵做直方图均衡化处理，并进行二值化，得到亮度调整后的矩阵；
步骤B30，对所述色调调整后的矩阵、饱和度调整后的矩阵、亮度调整后的矩阵相与，获得转换增强的图片。
在一些优选的实施例中，步骤B20中“计算图像各像素点的色调距离预设色调中心的距离d”，其计算方法为：
d＝min(abs(h-c),180-abs(h-c))，0≤d≤90，0≤c≤180
其中，c为预设色调中心色调值，h为像素点的色调值，min()代表取计算结果值小的一个作为最终结果，abs()代表求取绝对值。
在一些优选的实施例中，步骤B20中“将d映射到[0,254]范围内”，其计算方法为：
D＝d/90*254
其中，D代表映射后的图像各像素点的色调距离预设色调中心的距离，d为图像各像素点的色调距离预设色调中心的距离。
在一些优选的实施例中，步骤S30中“对所述色调调整后的矩阵、饱和度调整后的矩阵、亮度调整后的矩阵相与”，其方法为：
对矩阵中每一个元素，和相与矩阵相同位置的元素做与运算。
本发明的另一方面，提出了一种基于无人机的木料货场木料信息获取***，路径规划模块、图像获取模块、图像合成模块、输入模块、木料位置提取模块、手写码位置提取模块、手写码识别模块、输出模块；
所述路径规划模块，配置为基于木料堆之间的通道以及木料高度信息、图像拍摄宽度信息，构建无人机飞行路径；
所述图像获取模块，配置为控制无人机按照无人机飞行路径进行拍照；
所述图像合成模块，配置为将拍摄获得的照片根据无人机飞行路径进行图像合成，得到待识别图片；
所述输入模块，配置为获取的待识别图片输入；
所述木料位置提取模块，配置为基于所述待识别图片，获取木料位置向量，并基于获取的木料位置向量获取单个木料端面图片集、统计木料数量；
所述手写码位置提取模块，配置为采用手写码位置识别网络，基于所述单个木料端面图片集中每一个图片，获取手写码位置向量，并提取该位置向量对应的手写码图片，得到手写码位置向量集、手写码图片集；
所述手写码识别模块，配置为采用手写码识别网络，对手写码图片集中每一张图片进行识别，获取手写码字符集合；
所述输出模块，配置为输出木料数量以及手写码字符集合。
本发明的第三方面，提出了一种基于无人机的木料货场木料信息获取***，该***包括通过通信链路连接的服务器、一个或多个移动终端、一个或多个无人机；
所述无人机，配置为，基于上述任一项基于无人机的木料货场木料信息获取方法中步骤S10中的第二飞行路径进行飞行拍照，获得第一图像集；基于所述第一图像集，依据第一飞行路径以及第二飞行路径进行图像的合成，得到货场内包含木料横切面的多个木料堆照片作为待识别图片；
所述移动终端，配置为：获取包含木料横切面的木料堆图片，并上传至服务器；获取并显示服务器对所上传木料堆图片提取的信息；
所述服务器加载并执行上述任一项基于无人机的木料货场木料信息获取方法中步骤S20-步骤S50，对输入的待识别图片中木料数量以及手写码字符集合进行数据的提取。
本发明的第四方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于无人机的木料货场木料信息获取方法。
本发明的第五方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于无人机的木料货场木料信息获取方法。
本发明的有益效果：
(1)本发明基于无人机的木料货场木料信息获取方法，采用无人机装载拍照装置，根据预先设定的路径飞行，并按照设定的时间间隔拍摄多张照片，实现大件物体或密集堆放物体的整体图像采集，实现了一些特殊场合的自动化管理的信息采集，避免人工干预过程的低效率、高错误率。
(2)本发明采用电子表单进行信息的管理及存储，便于异地办公，以及解决异地争议问题。
(3)采用本发明进行木料信息获取，可以对顺次进行入库和出库的木料采用高密度堆放，木料堆端面之间的通道只用留出无人机的飞行空间即可，在准确、便捷的实现木料信息的获取的同时，极大提高了木料货场的木料堆积率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于无人机的木料货场木料信息获取方法的流程示意图；
图2是本发明基于无人机的木料货场木料信息获取方法一种实施例采用的一种简化的飞行路径规划方法示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
木料货场的木料堆放比较规范，有明确的堆放区域、通道区域的划分，为了便于管理和木料清点，木料堆放区域中的木料堆放时，木料端面需要正向通道，即木料堆中所堆放的木料的长度方向与通道的长度方向垂直。为了实现木料货场的最大存储率，货场内的通道的宽度都会根据运放需求进行设置，甚至对同一批次或同一客户的木料采用更紧密的堆放方式，例如，在可以顺次进行入库和出库时，依次堆放的木料堆之间只用设置极小的通道，以便于人员对木料进行清点和信息录入即可。
本发明的设计初衷是为了解决在木料的出入库过程中，仍然采用人工对木料的数量与编码进行统计与记录，在木料货场的信息化管理中，带来了很大的不便的问题，通计算机手段实现木料货场中木料信息的准确智能获取而进行设计，本发明的思路是基于图像采集、图像识别技术，快速准确的获取木料信息。
由于相机设备本身的物理限制，在实际应用场景中，拍摄所得的普通图像往往不能够满足实际的需求。当一些物品堆积密集、间距比较近时，由于距离的限制，这些物体很难用一张照片拍摄下来。例如，木料货场的木料堆在货场堆积密集、距离较近，很难获取完整的木料堆照片。
为了得到大视角的图像，传统的方法往往利用超广角镜头、鱼眼镜头或者扫描摄相机来解决这一问题。然而，超广角镜头、鱼眼镜头图像边缘会产生难以避免的扭曲变形，对图像进一步的识别造成了很大的困扰；扫描摄像机价格昂贵并且使用复杂，很难在工业应用中得到大量的推广。
近些年来，随着计算机技术的发展，图像拼接技术得到了长足的发展，在拍摄大物体或者密集对方物体时，可使用无人机根据规划好的路径飞行，无人机装载的相机按照设定的时间间隔连续拍照，最终采用图像拼接合成技术将拍摄的多张图片合成一张。
本发明进一步根据木料厂的管理特点，针对木料货场大密度存放木料时，通道觉窄，无法进行图像采集的问题，引入无人机，通过路径导航的方法进行局部图片的拍照，然后通过图片拼接技术获取完整有效的木料堆图片。同时，采用本发明技术，可以对顺次进行入库和出库的木料采用高密度堆放，木料堆端面之间的通道只用留出无人机的飞行空间即可，在准确、便捷的实现木料信息的获取的同时，极大提高了木料货场的木料堆积率。
本发明的一种基于无人机的木料货场木料信息获取方法，包括：
步骤S10，获取待识别图片；
基于木料堆之间的通道，构建无人机第一飞行路径；
沿第一飞行路径构建方波型的第二飞行路径；所述第二飞行路径的方波的高度为货场内最高木料堆的高度，方波的宽度为预设值；
所述无人机按照所述第二飞行路径进行飞行拍照，获得第一图像集；
基于所述第一图像集，依据第一飞行路径以及第二飞行路径进行图像的合成，得到货场内包含木料横切面的多个木料堆照片作为待识别图片。
本发明的一个实施例中，木料堆的堆放规则为：木料堆切面正对通道。由于木料堆在货场堆积较为密集，间距较近，很难获取完整的木料堆照片，需要在无人机识别木料堆之后，通过方波型路径规划方法进行多个图片采集，并根据采集路径进行图片拼接。
图像采集过程中，重要的一步是无人机的路径规划，路径规划有两种情况：一种是已知地图路径规划，在这种情况下，路径规划转化为一个全局优化问题，可以采用神经网络、遗传算法等方法实现；另一种是未知地图路径规划，在这种情况下，需要靠模糊逻辑、可变势场法等方法实现。
如附图2所示，为本发明基于无人机的木料货场木料信息获取方法一种实施例采用的一种简化的飞行路径规划方法示例图，第一飞行路径可以基于木料货场内的通道信息，通过人工进行第一飞行路径的设定；通过人工采集最高木料堆的高度H；基于无人机搭载的图像采集装置的参数，得到设定拍摄距离下的有效拍摄区域大小B*B；此时，可以得到基于第一飞行路径的方波式无人机飞行路线(第二飞行路径)，该方波的高度为H，宽度为B-a，其中a为预设宽度值，该值为图像拼接时重叠区域的宽度；无人机沿第二飞行路径进行图像采集时，采集距离间隔为B-a。无人机沿方波型路径飞行进行图像采集时，如一个方向剩余飞行距离不足B-a，则在飞行路径转折处进行图像采集。
步骤S20，采用木料位置识别网络，基于所述待识别图片，获取木料位置向量，并基于获取的木料位置向量获取单个木料端面图片集、统计木料数量；所述木料位置识别网络为基于神经网络构建，并采用包含木料横切面的木料堆图片集训练的用于识别图片中木料位置的网络。
木料位置识别网络在使用前需要经过训练，其训练需要大量的包含木料横切面的木料堆图片集作为训练图片集，标注单个木料横截面在图片中的位置，作为位置向量，采用训练图片集和对应标注位置向量来训练木料位置识别网络。为了提升木料位置识别网络的识别准确率，在训练图片集中应包含木料端面多角度的图片。
步骤S30，采用手写码位置识别网络，基于所述单个木料端面图片集中每一个图片，获取手写码位置向量，并提取该位置向量对应的手写码图片，得到手写码位置向量集、手写码图片集；所述手写码位置识别网络为基于神经网络构建，并采用包含手写码的图片集训练的用于识别图片中手写码位置的网络。
手写码位置识别网络在使用前需要经过训练，其训练需要大量的包含手写码的单个木料横截面的图片集作为训练图片集，标注手写码在图片中的位置，作为位置向量，采用训练图片集和位置向量来训练手写码位置识别网络。
木料位置识别网络、手写码位置识别网络本质上属于同一种人工神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
在这两个网络训练的过程中，提到的位置向量，为包含四个元素的向量，其表示如式(1)所示：
Pi＝[xi,yi,wi,hi] 式(1)
其中，Pi代表位置向量，xi、yi分别代表单个木料或手写码包围框左上角顶点的横坐标值、纵坐标值，wi、hi分别代表包围框的宽度、高度，i代表单个木料图片的序号。
当然，表示包围字符的矩形框的方式还有很多种，例如，通过右上角点配合宽度和高度的方式进行表示，或者矩形中心点配合宽度和高度的方式进行表示。
本实施例中字符的包围框为字符的最小外接矩形，在其他一些实施例中，为了避免字符边缘颜色比较浅造成的字符选取不完全，也可以设定相对于最外接矩形的扩大比例，以框取较为完整的字符。
步骤S40，采用手写码识别网络，对手写码图片集中每一张图片进行识别，获取手写码字符集合；所述手写码识别网络为基于神经网络构建，并采用包含多个角度手写数字图片和对应标注的训练样本训练的用于手写码识别的网络。
手写码识别网络可以识别任意角度的手写码字符，本发明一个实施例中，手写码为数字编码，为避免手写数字“6”与“9”无法区分，规定手写码中不包含数字“9”。采用大量任意角度的手写数字“0、1、2、3、4、5、6、7、8”的图片作为训练图片集来训练手写码识别网络。对应的在木料端部的字符标注时也应同时约定手写码不允许标注数字“9”。该种方式下，可以进一步降低了识别错误率。
手写码识别网络的构建和训练方法，可以采用与上述的木料位置识别网络、手写码位置识别网络相同的方法，此处不再展开详述。
若相邻两个字符的矩形包围框距离小于设定阈值，则将字符进行组合合并后进行输出，例如检测到左右分布的“1”和“7”的矩形包围框邻边距离小于设定的阈值1cm，则将两个字符合并为“17”进行输出。关于字符组合合并方法，在字符识别领域已有较多技术可以实现，此处不再展开详述。
步骤S50，输出木料数量以及手写码字符集合。
将步骤S20获得的木料数量以及步骤S40获得的手写码字符集合输出并保存至存储装置，以供后期查询核对等。
木料图片上可能会存在以下干扰，如图2所示，包括红色手写码1、黑色手写码2、标签3、红色木料断面或红色背景4、木料断面形似数字的纹理或脏污5，其中，黑色手写码2、标签3、红色木料断面或红色背景4、木料断面形似数字的纹理或脏污5为干扰项(本发明实施例中规定红色手写码为需要定位并识别的手写码，如需提取其他指定颜色手写码，则除指定颜色手写码之外的为干扰项)。
为了更准确地对手写码定位和识别，在步骤S30之前还设置有图片转换增强处理步骤，其方法为：
步骤B10，将单个木料图片由RGB空间转换到HSV空间，提取色调矩阵、饱和度矩阵、亮度矩阵。
HSV(Hue,Saturation,Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(Hexcone Model)。HSV空间中颜色的参数分别是：色调(H)、饱和度(S)、亮度(V)。色调(H)角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算：红色为0°、绿色为120°、蓝色为240°，它们的补色是：黄色为60°、青色为180°、品红为300°。饱和度(S)表示颜色接近光谱色的程度，光谱色所占的比例越大，颜色接近光谱色的程度就越高，颜色的饱和度也就越高，光谱色的白光成分为0％，饱和度达到最高。通常取值范围为0％～100％，值越大，颜色越饱和。亮度(V)表示颜色明亮的程度，对于光源色，亮度值与发光体的光亮度有关，对于物体色，亮度值和物体的透射比或反射比有关，通常取值范围0％(黑)～100％(白)。
将图片从RGB空间转换到HSV空间后，提取色调矩阵、饱和度矩阵、亮度矩阵。
步骤B20，随机选用以下一种或多种方法对所述色调矩阵、饱和度矩阵、亮度矩阵进行调整：
基于所述色调矩阵，计算图像各像素点的色调距离预设色调中心的距离d，将d映射到[0,254]范围内，并做直方图均衡化处理，获得色调调整后的矩阵。
图像各像素点的色调距离预设色调中心的距离d，其计算方法如式(2)所示：
d＝min(abs(h-c),180-abs(h-c))，0≤d≤90，0≤c≤180
式(2)
其中，c为预设的色调中心色调值，h为像素点的色调值，min()代表取计算结果值小的一个作为最终结果，abs()代表求取绝对值。
例如，图像中一个像素点的色调为h＝9，预设色调为红色c＝0，那么此像素距离红色色调中心的距离为：
d＝min(abs(9-0),180-abs(9-0))＝9。
将d映射到[0,254]范围内，其计算方法如式(3)所示：
D＝d/90*254 式(3)
其中，D代表映射后的图像各像素点的色调距离预设色调中心的距离，d为图像各像素点的色调距离预设色调中心的距离。
对所述饱和度矩阵做直方图均衡化处理，并进行二值化，获得饱和度调整后的矩阵。
对所述亮度矩阵做直方图均衡化处理，并进行二值化，得到亮度调整后的矩阵。
直方图均衡化通常用来增加图像的全局对比度，尤其是当图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布，可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
本发明一个实施例中，手写码与部分背景木料都是红色，颜色比较接近，区分不明显，通过直方图均衡化增加对比度，可以很好地区分手写码与背景木料。
步骤B30，对所述色调调整后的矩阵、饱和度调整后的矩阵、亮度调整后的矩阵相与，获得转换增强的图片。
矩阵相与，其方法为：
对矩阵中每一个元素，和相与矩阵相同位置的元素做与运算。
例如，矩阵
Figure GDA0002353771790000141
矩阵A和B相与后的结果为，
Figure GDA0002353771790000142
采用本发明方法可以对选定的木材堆进行信息获取，也可以将飞行路径中所采集的图像拼合为一张包含整个货场木料的图片，进行整体识别。
本发明第二实施例的基于无人机的木料货场木料信息获取***，包括路径规划模块、图像获取模块、图像合成模块、输入模块、木料位置提取模块、手写码位置提取模块、手写码识别模块、输出模块；
所述路径规划模块，配置为基于木料堆之间的通道以及木料高度信息、图像拍摄宽度信息，构建无人机飞行路径；
所述图像获取模块，配置为控制无人机按照无人机飞行路径进行拍照；
所述图像合成模块，配置为将拍摄获得的照片根据无人机飞行路径进行图像合成，得到待识别图片；
所述输入模块，配置为获取的待识别图片输入；
所述木料位置提取模块，配置为基于所述待识别图片，获取木料位置向量，并基于获取的木料位置向量获取单个木料端面图片集、统计木料数量；；
所述手写码位置提取模块，配置为采用手写码位置识别网络，基于所述单个木料端面图片集中每一个图片，获取手写码位置向量，并提取该位置向量对应的手写码图片，得到手写码位置向量集、手写码图片集；
所述手写码识别模块，配置为采用手写码识别网络，对手写码图片集中每一张图片进行识别，获取手写码字符集合；
所述输出模块，配置为输出木料数量以及手写码字符集合。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于无人机的木料货场木料信息获取***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的基于无人机的木料货场木料信息获取***，该***包括通过通信链路连接的服务器、一个或多个移动终端、一个或多个无人机；
所述无人机，配置为，基于上述任一项基于无人机的木料货场木料信息获取方法中步骤S10中的第二飞行路径进行飞行拍照，获得第一图像集；基于所述第一图像集，依据第一飞行路径以及第二飞行路径进行图像的合成，得到货场内包含木料横切面的多个木料堆照片作为待识别图片；
所述移动终端，配置为：获取包含木料横切面的木料堆图片，并上传至服务器；获取并显示服务器对所上传木料堆图片提取的信息；
所述服务器加载并执行上述任一项基于无人机的木料货场木料信息获取方法中步骤S20-步骤S50，对输入的待识别图片中木料数量以及手写码字符集合进行数据的提取。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明第四实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于无人机的木料货场木料信息获取方法。
本发明第五实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于无人机的木料货场木料信息获取方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于无人机的木料货场木料信息获取方法，其特征在于，包括：
步骤S10，获取待识别图片；
基于木料堆之间的通道，构建无人机第一飞行路径；
沿第一飞行路径构建方波型的第二飞行路径；所述第二飞行路径的方波的高度为货场内最高木料堆的高度，方波的宽度为预设值；
所述无人机按照所述第二飞行路径进行飞行拍照，获得第一图像集；
基于所述第一图像集，依据第一飞行路径以及第二飞行路径进行图像的合成，得到货场内包含木料横切面的多个木料堆照片作为待识别图片；
步骤S20，采用木料位置识别网络，基于所述待识别图片，获取木料位置向量，并基于获取的木料位置向量获取单个木料端面图片集、统计木料数量；所述木料位置识别网络为基于神经网络构建，并采用包含木料横切面的木料堆图片集训练的用于识别图片中木料位置的网络；
步骤S30，采用手写码位置识别网络，基于所述单个木料端面图片集中每一个图片，获取手写码位置向量，并通过设定比例扩大所述手写码位置向量形成的矩形框，通过所述矩形框提取该位置向量对应的手写码图片，得到手写码位置向量集、手写码图片集；所述手写码位置识别网络为基于神经网络构建，并采用包含手写码的图片集训练的用于识别图片中手写码位置的网络；
步骤S40，采用手写码识别网络，对手写码图片集中每一张图片进行识别，获取手写码字符集合；所述手写码识别网络为基于神经网络构建，并采用包含多个角度手写数字图片和对应标注的训练样本训练的用于手写码识别的网络；
步骤S50，输出木料数量以及手写码字符集合。
2.根据权利要求1所述的基于无人机的木料货场木料信息获取方法，其特征在于，所述位置向量，为包含四个元素的向量：
Pi＝[xi,yi,wi,hi]
其中，Pi代表位置向量，xi、yi分别代表单个木料或手写码包围框左上角顶点的横坐标值、纵坐标值，wi、hi分别代表包围框的宽度、高度，i代表单个木料图片的序号。
3.根据权利要求1所述的基于无人机的木料货场木料信息获取方法，其特征在于，步骤S30之前还设置有图片转换增强处理步骤，其方法为：
步骤B10，将单个木料图片由RGB空间转换到HSV空间，提取色调矩阵、饱和度矩阵、亮度矩阵；
步骤B20，随机选用以下一种或多种方法对所述色调矩阵、饱和度矩阵、亮度矩阵进行调整：
基于所述色调矩阵，计算图像各像素点的色调距离预设色调中心的距离d，将d映射到[0,254]范围内，并做直方图均衡化处理，获得色调调整后的矩阵；
对所述饱和度矩阵做直方图均衡化处理，并进行二值化，获得饱和度调整后的矩阵；
对所述亮度矩阵做直方图均衡化处理，并进行二值化，得到亮度调整后的矩阵；
步骤B30，对所述色调调整后的矩阵、饱和度调整后的矩阵、亮度调整后的矩阵相与，获得转换增强的图片。
4.根据权利要求3所述的基于无人机的木料货场木料信息获取方法，其特征在于，步骤B20中“计算图像各像素点的色调距离预设色调中心的距离d”，其计算方法为：
d＝min(abs(h-c),180-abs(h-c))，0≤d≤90，0≤c≤180
其中，c为预设色调中心色调值，h为像素点的色调值，min()代表取计算结果值小的一个作为最终结果，abs()代表求取绝对值。
5.根据权利要求3所述的基于无人机的木料货场木料信息获取方法，其特征在于，步骤B20中“将d映射到[0,254]范围内”，其计算方法为：
D＝d/90*254
其中，D代表映射后的图像各像素点的色调距离预设色调中心的距离，d为图像各像素点的色调距离预设色调中心的距离。
6.根据权利要求3所述的基于无人机的木料货场木料信息获取方法，其特征在于，步骤S30中“对所述色调调整后的矩阵、饱和度调整后的矩阵、亮度调整后的矩阵相与”，其方法为：
对矩阵中每一个元素，和相与矩阵相同位置的元素做与运算。
7.一种基于无人机的木料货场木料信息获取***，其特征在于，该***包括通过通信链路连接的服务器、一个或多个移动终端、一个或多个无人机；
所述无人机，配置为，基于权利要求1-6任一项基于无人机的木料货场木料信息获取方法中步骤S10中的第二飞行路径进行飞行拍照，获得第一图像集；基于所述第一图像集，依据第一飞行路径以及第二飞行路径进行图像的合成，得到货场内包含木料横切面的多个木料堆照片作为待识别图片；
所述移动终端，配置为：获取包含木料横切面的木料堆图片，并上传至服务器；获取并显示服务器对所上传木料堆图片提取的信息；
所述服务器加载并执行权利要求1-6任一项基于无人机的木料货场木料信息获取方法中步骤S20-步骤S50，对输入的待识别图片中木料数量以及手写码字符集合进行数据的提取。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于无人机的木料货场木料信息获取方法。
9.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-6任一项所述的基于无人机的木料货场木料信息获取方法。
CN201910264598.8A 2019-04-03 2019-04-03 基于无人机的木料货场木料信息获取方法、***、装置 Expired - Fee Related CN110084132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910264598.8A CN110084132B (zh) 2019-04-03 2019-04-03 基于无人机的木料货场木料信息获取方法、***、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910264598.8A CN110084132B (zh) 2019-04-03 2019-04-03 基于无人机的木料货场木料信息获取方法、***、装置

Publications (2)

Publication Number Publication Date
CN110084132A CN110084132A (zh) 2019-08-02
CN110084132B true CN110084132B (zh) 2020-02-28

Family

ID=67414194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910264598.8A Expired - Fee Related CN110084132B (zh) 2019-04-03 2019-04-03 基于无人机的木料货场木料信息获取方法、***、装置

Country Status (1)

Country Link
CN (1) CN110084132B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144244B (zh) * 2019-12-13 2023-07-11 唐美(北京)文化科技发展有限公司 家具木材类别识别方法及装置
CN112487758B (zh) * 2020-11-27 2023-04-14 四三九九网络股份有限公司 一种利用字体库基于canvas实现字体显示的方法
CN112947578A (zh) * 2021-03-18 2021-06-11 广东安达智能装备股份有限公司 一种非接触式高精度飞行拍照定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528592A (zh) * 2016-09-21 2017-03-22 塞壬智能科技（北京）有限公司 一种对矿场进行盘点的方法及***
CN108427423A (zh) * 2018-05-07 2018-08-21 温州大学瓯江学院 一种无人仓储智能综合监控调度***及其控制方法
CN109521793A (zh) * 2018-11-16 2019-03-26 黄惠珠 一种基于无人机的智能食品安全检测方法及其***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927534B (zh) * 2014-04-26 2017-12-26 无锡信捷电气股份有限公司 一种基于卷积神经网络的喷码字符在线视觉检测方法
WO2018094019A1 (en) * 2016-11-16 2018-05-24 Staples, Inc. Autonomous multimodal logistics
CN108694539B (zh) * 2017-04-12 2021-12-10 杭州天象智能科技有限公司 一种基于计算机视觉的木料全自动出入库统计***及方法
CN107273791A (zh) * 2017-04-26 2017-10-20 国家电网公司 一种基于无人机航拍图像技术的仓库货物盘点方法
CN108446697B (zh) * 2018-03-06 2019-11-12 平安科技（深圳）有限公司 图片处理方法、电子装置及存储介质
CN109344928B (zh) * 2018-09-19 2020-05-15 中国科学院信息工程研究所 一种大型仓库中基于无人机的货物精确盘点方法及***
CN109388149A (zh) * 2018-09-26 2019-02-26 杭州电子科技大学 一种基于无人机的智能盘点***的控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528592A (zh) * 2016-09-21 2017-03-22 塞壬智能科技（北京）有限公司 一种对矿场进行盘点的方法及***
CN108427423A (zh) * 2018-05-07 2018-08-21 温州大学瓯江学院 一种无人仓储智能综合监控调度***及其控制方法
CN109521793A (zh) * 2018-11-16 2019-03-26 黄惠珠 一种基于无人机的智能食品安全检测方法及其***

Also Published As

Publication number Publication date
CN110084132A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110084132B (zh) 基于无人机的木料货场木料信息获取方法、***、装置
Khan et al. Discriminative color descriptors
US9805293B2 (en) Method and apparatus for object recognition in image processing
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
CN100559826C (zh) 图像处理设备及其方法
CN108764358B (zh) 一种太赫兹图像识别方法、装置、设备及可读存储介质
US8036468B2 (en) Invariant visual scene and object recognition
CN108920580A (zh) 图像匹配方法、装置、存储介质及终端
US8666170B2 (en) Computer system and method of matching for images and graphs
US8503777B2 (en) Geometric feature based image description and fast image retrieval
CN102713931A (zh) 用于对象提取的***和方法
CN103093245B (zh) 视频图像中识别信号灯的方法
CN103544716B (zh) 一种对图像的像素进行颜色分类的方法及装置
JP4149464B2 (ja) 画像処理装置
CN111814562A (zh) 车辆的识别方法、车辆识别模型的训练方法及相关装置
Weinmann et al. Fusion of hyperspectral, multispectral, color and 3D point cloud information for the semantic interpretation of urban environments
CN109977960B (zh) 基于神经网络的木料堆信息获取方法、***、装置
CN112183489B (zh) 一种松材变色立木识别定位方法、装置、设备及存储介质
CN116543325A (zh) 基于无人机影像的农作物人工智能自动识别方法和***
CN116071653A (zh) 基于自然图像的树木多级枝干结构自动提取方法
CN114708192A (zh) 一种目标物计数方法、***、存储介质及计算机设备
CN111930987B (zh) 一种基于机器视觉颜色识别的智慧城域定位方法及***
Gavilan Ruiz et al. Image categorization using color blobs in a mobile environment
Pornpanomchai et al. Buddhist amulet recognition system (BARS)
Jiao et al. Individual Building Rooftop and Tree Crown Segmentation from High‐Resolution Urban Aerial Optical Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200228