CN114782810A - 一种基于全景视觉的农业机械远程辅助驾驶***及方法 - Google Patents

一种基于全景视觉的农业机械远程辅助驾驶***及方法 Download PDF

Info

Publication number
CN114782810A
CN114782810A CN202210402919.8A CN202210402919A CN114782810A CN 114782810 A CN114782810 A CN 114782810A CN 202210402919 A CN202210402919 A CN 202210402919A CN 114782810 A CN114782810 A CN 114782810A
Authority
CN
China
Prior art keywords
agricultural machine
machine body
remote
driving state
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210402919.8A
Other languages
English (en)
Inventor
刘立超
薛晨
方旭
陈黎卿
张春岭
王韦韦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Anhui Agricultural University AHAU
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU, Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Anhui Agricultural University AHAU
Priority to CN202210402919.8A priority Critical patent/CN114782810A/zh
Publication of CN114782810A publication Critical patent/CN114782810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

本发明公开了一种基于全景视觉的农业机械远程辅助驾驶***及方法，属于无人驾驶农业机械技术领域。本发明所提出的远程辅助驾驶农业机械***可以更好地驾驶农业机械，具体实现远程辅助驾驶农业机械的方法包括：当农业机械自动驾驶时遇到复杂环境而无法做出判断时，农业机械立刻停止运行，并向远程控制室发送驾驶状态切换指令；驾驶员将农业机械由自动驾驶状态切换为远程手动驾驶状态；执行相应指令，对农业机械进行远程驾驶操作；当农业机械可以判断周围环境时，驾驶员再将农业机械驾驶状态切换为自动驾驶。本发明可以很好地解决农业机械遇到复杂环境而无法做出判断的情况下，能够有效切换为手动驾驶，从而保证农业机械的安全运行。

Description

一种基于全景视觉的农业机械远程辅助驾驶***及方法
技术领域
本发明涉及无人驾驶农业机械技术领域，特别是涉及一种基于全景视觉的农业机械远程辅助驾驶***及方法。
背景技术
随着科技的发展，一些与交通运输相关的行业逐步无人化，在农业方面，出现了可以满足不同需求的无人驾驶的农业机械，他们广泛地用于田间地头为大众服务。
现阶段无人驾驶技术还不足以完全无人化，在特殊情况下需要人工干预。例如，无人驾驶的农业机械在出现复杂情况无法做出判断时，需要将农业机械自动驾驶状态切换为远程驾驶状态，来防止出现一些安全问题。但是要想实现远程驾驶，远程控制端的真实性是必不可少的，保障了真实性才能使远程控制室的驾驶员就像坐在农业机械上一样进行操作，这样才能保证远程驾驶的安全。鉴于上述原因，本发明提出了一种基于全景视觉的远程辅助驾驶农业机械***及方法。
发明内容
本发明的目的在于提供一种能够更好的提供无人驾驶农业机械作业安全性的于全景视觉的农业机械远程辅助驾驶***及方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于全景视觉的农业机械远程辅助驾驶***，包括农业机械本体和远程控制室，所述农业机械本体上安装有鱼眼摄像机和超声波雷达，所述鱼眼摄像机和超声波雷达均设置有六个，分别固定安装在农业机械本体的正前方、左前方、右前方、正后方、左后方、右后方；所述农业机械本体上还固定安装有指令接收装置、指令发送装置和驾驶状态切换装置；所述远程控制室与农业机械本体之间进行通信连接，所述远程控制室中安装有远程驾驶装置，所述远程驾驶装置包括有方向盘、油门踏板、档位、座椅、手刹、刹车踏板、离合器踏板、操作台、切换按钮、状态指示灯和全景屏幕，所述状态指示灯包括黄灯、绿灯和红灯。
优选地，所述远程控制室中还安装有远程驾驶***，所述远程驾驶***与远程驾驶装置相匹配，所述远程驾驶***包括有信息获取模块、信号发送模块、信号接收模块和驾驶状态切换模块；
所述信息获取模块，与鱼眼摄像机相匹配，通过接收由六个鱼眼摄像机(1)组成的全景拍摄***拍摄的360°全景照片来获取农业机械本体(10)驾驶位置及周边环境情况；
所述信号发送模块，与指令发送装置相匹配，当农业机械本体的自动驾驶***需要切换驾驶状态时，通过信号发送模块向远程控制室发送驾驶状态切换信号；
所述信号接收模块，与指令接收装置相匹配，用于接收农业机械本体向远程控制室发送的驾驶状态切换信号；
所述驾驶状态切换模块，与驾驶状态切换装置相匹配，用于响应驾驶状态切换制定，将农业机械本体由自动驾驶状态切换至远程手动驾驶状态。
一种基于全景视觉的农业机械远程辅助驾驶方法，包括以下步骤：
S1、在农业机械本体的正前方、左前方、右前方、正后方、左后方、右后方上安装鱼眼摄像机和超声波雷达，并将其调整好角度；
S2、通过农业机械本体上固定安装的六个鱼眼摄像机采集农业机械本体周围的环境状态，确保每个鱼眼摄像机都能检测到60°画面，实现360°无死角无盲区拍摄，鱼眼摄像机的俯仰视场角为0～60°，前后视场角为0～180°，然后通过全景拼接算法将六张鱼眼摄像机拍摄的原始图像合并为一张全景鸟瞰图；
S3、获得全景图像后利用超声波雷达来检测农业机械本体周围的障碍物信息；
S4、利用YOLO V5算法对障碍物进行目标检测，YOLO V5的输入使用拼接数据增强来提高目标检测精度；
S5、当农业机械本体遇到复杂情况而无法做出判断时，将农业机械本体由自动驾驶状态切换为远程手动驾驶状态，切换为远程手动驾驶状态后，远程控制室中的驾驶员开始执行相应指令，对农业机械本体进行远程驾驶操作，到达指定位置后，再将驾驶状态切换为自动驾驶状态运行。
优选地，所述S2中提到的获取清晰的全景鸟瞰图，具体包括以下步骤：
A1、采用张正友标定方法，得到六台鱼眼摄像机的内部参数矩阵和畸变系数，利用所得的内部参数矩阵和畸变系数得到畸变图像中像素的位置，然后将像素位置的对应关系保存在像素映射表中；
A2、通过所述A1中的像素映射表获得未扭曲的图像后，对其进行透视变换，所述透视变化更进一步地包括以下步骤：
A2.1、提取未扭曲图像中地面特征点的坐标(x，y)；
A2.2、根据所述A2.1中获得的坐标信息设置特征点在鸟瞰图像中的坐标(X，Y)；
A2.3、利用多组特征点得到透视变换矩阵；
A2.4、使用所述A2.3中所得的透视变换矩阵更新像素映射表，透视变换公式如下：
Figure BDA0003600731200000041
其中，
Figure BDA0003600731200000042
为特征点在鸟瞰图像中的坐标，
Figure BDA0003600731200000043
为透视变换矩阵，
Figure BDA0003600731200000044
为未扭曲图像中地面特征点的坐标；
A3、在所述A2中提到的透视变换中，人工定义地面上特征点的位置，根据位置对应关系平移或旋转鸟瞰图形，然后经过线性变换，生成全景鸟瞰图像；
A4、将图像处理为光均衡图像，经过处理后，相邻图像的重叠区域满足的关系式如下：
Figure BDA0003600731200000045
其中，R1、G1、B1和R2、G2、B2是两幅图像重叠部分中R、G、B的平均值；X1、Y1、Z1和X2、Y2、Z2是对应于两个图像的R、G、B值的处理系数；
A5、所得的六张图像中共有12个重叠区域，处理完12个重叠区域，基于最小二乘法得到相应的处理系数，将所有处理系数应用于相应的鸟瞰图中，最终得到一张光均衡全景鸟瞰图。
优选地，所述S3中提到的利用超声波雷达来检测农业机械本体周围的障碍物信息，具体包括以下操作：
B1、分别对超声波雷达和鱼眼摄像机进行了标定；超声波雷达校准包括雷达信号强度校准和安装角度校准，其中信号强度通过信号反射强度的增益调整来完成，安装角度由支架决定；鱼眼摄像机的标定利用内部参数矩阵得到外部参数矩阵，棋盘格图案作为辅助工具；
B2、利用所述B1中所得的标定结果实现坐标对准；在此过程中，每个超声波雷达检测到的信号强度根据农业机械本体坐标系进行旋转和平移；在获得鸟瞰图像与农业机械坐标系之间的转换关系后，进行图像融合操作，将视觉超声雷达图像和全景鸟瞰图像融合为全景数据融合图像。
优选地，所述S4中提到的利用YOLO V5算法对障碍物进行目标检测，具体包括以下操作：
C1、通过鱼眼摄像机采集田地障碍物的图像数据，对采集到的障碍物图像数据进行图像预处理，基于预处理完毕的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；
C2、基于所述训练集和验证集，对YOLO V5网络进行训练，获得YOLO V5检测模型；基于所述测试集对所述YOLO V5检测模型进行测试，获得测试结果；基于所述测试结果对YOLO V5检测模型进行评价，评价合格后则结束测试；
C3、对所述YOLO V5检测模型进行处理，生成YOLO V5障碍物追踪模型；基于所述YOLO V5障碍物追踪模型对障碍物进行追踪并进行实时性验证。
优选地，所述YOLO V5网络包括backbone部分、neck部分和prediction部分，所述C2中提到获取所述YOLOV5检测模型，具体包括以下步骤：
C2.1、将训练集中的图像进行标准化预处理，并将预处理后的图像输入所述backbone部分，获得不同尺度的特征图；
C2.2、将所述不同尺度的特征图输入所述neck部分，进行上采样和特征融合后获得不同尺度的张量数据；
C2.3、将所述不同尺度的张量数据输入所述prediction部分，基于损失函数及反向传播对梯度进行计算，实时进行梯度更新并利用所述验证集进行验证，获得所述YOLO V5检测模型。
优选地，所述C3中提到的对YOLO V5检测模型进行处理的方法为采用DeepSort算法进行处理，具体步骤如下：
C3.1、对所有待追踪目标进行检测，完成检测后构建DeepSort***，对所述YOLOV5障碍物追踪模型输入带有障碍物的视频帧并进行处理；
C3.2、处理完毕且第一帧视频图像输入所述YOLO V5障碍物追踪模型后，将检测到的目标初始化并创建新的DeepSort***，标注ID；
C3.3、第一帧后的任一帧输入所述YOLO V5障碍物追踪模型时，基于所述DeepSort算法，获得所有目标的状态预测和当前帧的检测框的交并比，并获得交并比的最大唯一匹配，作为目标检测框；
C3.4、基于置信度对检测框进行过滤，删除置信度不够高的检测框及特征，基于当前帧匹配到的目标检测框更新DeepSort***，计算状态更新，获得更新值并输出，将更新值作为当前帧的追踪框。
优选地，所述S5中提到的切换驾驶状态，具体包括以下步骤：
D1、农业机械本体自动驾驶时，远程控制室的操作台的绿灯亮，即农业机械本体处于自动驾驶状态。当农业机械本体遇到复杂情况而无法做出判断时，农业机械本体停下并开始向远程控制室发送切换信号；
D2、远程控制室接收到信号后，控制室的操作台上的红灯亮起，即告诉驾驶室的驾驶员农业机械本体遇到了复杂情况而无法做出判断；
D3、驾驶员接收信号后，按切换按钮使其驾驶状态切换为手动驾驶，黄灯亮起，即农业机械本体的驾驶状态已切换为手动驾驶状态
D4、远程控制室中的驾驶员通过全景屏幕观察农业机械本体周围的环境，排除一切阻碍和影响农业机械本体运动的因素；
D5、了解农业机械本体周围环境后，驾驶员通过操作远程控制室内的远程驾驶装置来决定农业机械本体的运动；
D6、当农业机械本体可以自我识别判断后，操作台上的红灯自动熄灭，再按切换按钮使黄灯灭、绿灯亮，即农业机械本体的驾驶状态切换为自动驾驶状态工作。
与现有技术相比，本发明提供了一种基于全景视觉的农业机械远程辅助驾驶***及方法，具备以下有益效果：
(1)本发明通过获取全景图像来采集农业机械本体周边的环境信息，将六个鱼眼摄像机安装在农业机械的正前方、左前方、右前方、正后方、左后方、右后方，使每个鱼眼摄像机能够检测到60°画面，图像的分辨率为1280*720，所获取的图像无盲区、清晰度高，可以提供真实的场景，保证了驾驶员操作的可靠性；
(2)本发明通过在远程控制室来模拟农业机械驾驶室内部的样子，使得驾驶员坐在控制室内操作有一种身临其境的感觉，保证了操作的真实性；
(3)本发明通过远程辅助驾驶使得农业机械遇到复杂情况而无法判断的情况下，通过手动操作来保障农业机械及其周边事物的安全，避免了损失的发生；
(4)本发明通过全景屏幕、操作台和上面的灯和按钮，使得驾驶员操作更加的方便和准确。
附图说明
图1为本发明提出的一种基于全景视觉的农业机械远程辅助驾驶***的鱼眼摄像机和超声波雷达在农业机械本体上的布局示意图；
图2为本发明提出的一种基于全景视觉的农业机械远程辅助驾驶***的远程驾驶装置的结构示意图；
图3为本发明提出的一种基于全景视觉的农业机械远程辅助驾驶方法的整体流程示意图。
附图标记说明：
1、鱼眼摄像机；2、超声波雷达；3、方向盘；4、油门踏板；5、档位；6、座椅；7、手刹；8、刹车踏板；9、离合器踏板；10、农业机械本体；11、操作台；12、切换按钮；13、黄灯；14、绿灯；15、红灯；16、全景屏幕。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1：
请参阅图1-3，一种基于全景视觉的农业机械远程辅助驾驶***，包括农业机械本体10和远程控制室，农业机械本体10上安装有鱼眼摄像机1和超声波雷达2，鱼眼摄像机1和超声波雷达2均设置有六个，分别固定安装在农业机械本体10的正前方、左前方、右前方、正后方、左后方、右后方；农业机械本体10上还固定安装有指令接收装置、指令发送装置和驾驶状态切换装置；远程控制室与农业机械本体10之间进行通信连接，远程控制室中安装有远程驾驶装置，远程驾驶装置包括有方向盘3、油门踏板4、档位5、座椅6、手刹7、刹车踏板8、离合器踏板9、操作台11、切换按钮12、状态指示灯和全景屏幕16，状态指示灯包括黄灯13、绿灯14和红灯15。
远程控制室中还安装有远程驾驶***，远程驾驶***与远程驾驶装置相匹配，远程驾驶***包括有信息获取模块、信号发送模块、信号接收模块和驾驶状态切换模块；
信息获取模块，与鱼眼摄像机1相匹配，通过接收由六个鱼眼摄像机1组成的全景拍摄***拍摄的360°全景照片来获取农业机械本体10驾驶位置及周边环境情况；
信号发送模块，与指令发送装置相匹配，当农业机械本体10的自动驾驶***出需要切换驾驶状态时，通过信号发送模块向远程控制室发送驾驶状态切换信号；
信号接收模块，与指令接收装置相匹配，用于接收农业机械本体10向远程控制室发送的驾驶状态切换信号；
驾驶状态切换模块，与驾驶状态切换装置相匹配，用于响应驾驶状态切换制定，将农业机械本体10由自动驾驶状态切换至远程手动驾驶状态。
一种基于全景视觉的农业机械远程辅助驾驶方法，包括以下步骤：
S1、在农业机械本体10的正前方、左前方、右前方、正后方、左后方、右后方上安装鱼眼摄像机1和超声波雷达2，并将其调整好角度；
S2、通过农业机械本体10上固定安装的六个鱼眼摄像机1采集农业机械本体10周围的环境状态，确保每个鱼眼摄像机1都能检测到60°画面，实现360°无死角无盲区拍摄，鱼眼摄像机1的俯仰视场角为0～60°，前后视场角为0～180°，然后通过全景拼接算法将六张鱼眼摄像机1拍摄的原始图像合并为一张全景鸟瞰图；
S2中提到的获取清晰的全景鸟瞰图，具体包括以下步骤：
A1、采用张正友标定方法，得到六台鱼眼摄像机1的内部参数矩阵和畸变系数，利用所得的内部参数矩阵和畸变系数得到畸变图像中像素的位置，然后将像素位置的对应关系保存在像素映射表中；
A2、通过A1中的像素映射表获得未扭曲的图像后，对其进行透视变换，透视变化更进一步地包括以下步骤：
A2.1、提取未扭曲图像中地面特征点的坐标(x，y)；
A2.2、根据A2.1中获得的坐标信息设置特征点在鸟瞰图像中的坐标(X，Y)；
A2.3、利用多组特征点得到透视变换矩阵；
A2.4、使用A2.3中所得的透视变换矩阵更新像素映射表，透视变换公式如下：
Figure BDA0003600731200000111
其中，
Figure BDA0003600731200000112
为特征点在鸟瞰图像中的坐标，
Figure BDA0003600731200000113
为透视变换矩阵，
Figure BDA0003600731200000114
为未扭曲图像中地面特征点的坐标；
A3、在A2中提到的透视变换中，人工定义地面上特征点的位置，根据位置对应关系平移或旋转鸟瞰图形，然后经过线性变换，生成全景鸟瞰图像；
A4、将图像处理为光均衡图像，经过处理后，相邻图像的重叠区域满足的关系式如下：
Figure BDA0003600731200000121
其中，R1、G1、B1和R2、G2、B2是两幅图像重叠部分中R、G、B的平均值；X1、Y1、Z1和X2、Y2、Z2是对应于两个图像的R、G、B值的处理系数；
A5、所得的六张图像中共有12个重叠区域，处理完12个重叠区域，基于最小二乘法得到相应的处理系数，将所有处理系数应用于相应的鸟瞰图中，最终得到一张光均衡全景鸟瞰图；
S3、获得全景图像后利用超声波雷达2来检测农业机械本体10周围的障碍物信息；
S3中提到的利用超声波雷达2来检测农业机械本体10周围的障碍物信息，具体包括以下操作：
B1、分别对超声波雷达2和鱼眼摄像机1进行了标定；超声波雷达2校准包括雷达信号强度校准和安装角度校准，其中信号强度通过信号反射强度的增益调整来完成，安装角度由支架决定；鱼眼摄像机1的标定利用内部参数矩阵得到外部参数矩阵，棋盘格图案作为辅助工具；
B2、利用B1中所得的标定结果实现坐标对准；在此过程中，每个超声波雷达2检测到的信号强度根据农业机械本体10坐标系进行旋转和平移；在获得鸟瞰图像与农业机械坐标系之间的转换关系后，进行图像融合操作，将视觉超声雷达图像和全景鸟瞰图像融合为全景数据融合图像；
S4、利用YOLO V5算法对障碍物进行目标检测，YOLO V5的输入使用拼接数据增强来提高目标检测精度；
S4中提到的利用YOLO V5算法对障碍物进行目标检测，具体包括以下操作：
C1、通过鱼眼摄像机1采集田地障碍物的图像数据，对采集到的障碍物图像数据进行图像预处理，基于预处理完毕的图像构建数据集，将数据集划分为训练集、验证集和测试集；
C2、基于训练集和验证集，对YOLO V5网络进行训练，获得YOLO V5检测模型；基于测试集对YOLO V5检测模型进行测试，获得测试结果；基于测试结果对YOLO V5检测模型进行评价，评价合格后则结束测试；
YOLO V5网络包括backbone部分、neck部分和prediction部分，C2中提到获取YOLOV5检测模型，具体包括以下步骤：
C2.1、将训练集中的图像进行标准化预处理，并将预处理后的图像输入backbone部分，获得不同尺度的特征图；
C2.2、将不同尺度的特征图输入neck部分，进行上采样和特征融合后获得不同尺度的张量数据；
C2.3、将不同尺度的张量数据输入prediction部分，基于损失函数及反向传播对梯度进行计算，实时进行梯度更新并利用验证集进行验证，获得YOLO V5检测模型；
C3、对YOLO V5检测模型进行处理，生成YOLO V5障碍物追踪模型；基于YOLO V5障碍物追踪模型对障碍物进行追踪并进行实时性验证；
C3中提到的对YOLO V5检测模型进行处理的方法为采用DeepSort算法进行处理，具体步骤如下：
C3.1、对所有待追踪目标进行检测，完成检测后构建DeepSort***，对YOLO V5障碍物追踪模型输入带有障碍物的视频帧并进行处理；
C3.2、处理完毕且第一帧视频图像输入YOLO V5障碍物追踪模型后，将检测到的目标初始化并创建新的DeepSort***，标注ID；
C3.3、第一帧后的任一帧输入YOLO V5障碍物追踪模型时，基于DeepSort算法，获得所有目标的状态预测和当前帧的检测框的交并比，并获得交并比的最大唯一匹配，作为目标检测框；
C3.4、基于置信度对检测框进行过滤，删除置信度不够高的检测框及特征，基于当前帧匹配到的目标检测框更新DeepSort***，计算状态更新，获得更新值并输出，将更新值作为当前帧的追踪框；
S5、当农业机械本体10遇到复杂情况而无法判断时，将农业机械本体10由自动驾驶状态切换为远程手动驾驶状态，切换为远程手动驾驶状态后，远程控制室中的驾驶员开始执行相应指令，对农业机械本体10进行远程驾驶操作，到达指定位置后，再将驾驶状态切换为自动驾驶状态运行；
S5中提到的切换驾驶状态，具体包括以下步骤：
D1、农业机械本体10自动驾驶时，远程控制室的操作台11的绿灯14亮，即农业机械本体10处于自动驾驶状态。当农业机械本体10遇到复杂情况而无法做出判断时，农业机械本体10停下并开始向远程控制室发送切换信号；
D2、远程控制室接收到信号后，控制室的操作台11上的红灯15亮起，即告诉驾驶室的驾驶员农业机械本体10遇到了复杂情况而无法做出判断；
D3、驾驶员接收信号后，按切换按钮12使其驾驶状态切换为手动驾驶，黄灯13亮起，即农业机械本体10的驾驶状态已切换为手动驾驶状态
D4、远程控制室中的驾驶员通过全景屏幕16观察农业机械本体10周围的环境，排除一切阻碍和影响农业机械本体10运动的因素；
D5、了解农业机械本体10周围环境后，驾驶员通过操作远程控制室内的远程驾驶装置来决定农业机械本体10的运动；
D6、当农业机械本体10可以自我识别判断后，操作台11上的红灯15自动熄灭，再按切换按钮12使黄灯13灭、绿灯14亮，即农业机械本体10的驾驶状态切换为自动驾驶状态工作。
本发明通过获取全景图像来采集农业机械本体10周围的环境信息，将六个鱼眼摄像机1和超声波雷达2安装在农业机械本体10的正前方、左前方、右前方、正后方、左后方、右后方，使每个鱼眼摄像机1能够检测到60°画面，图像的分辨率为1280*720，所获取的图像无盲区、清晰度高，可以提供真实的场景，保证了驾驶员操作的可靠性；同时通过在远程控制室来模拟农业机械驾驶室内部的样子，使得驾驶员坐在控制室内操作有一种身临其境的感觉，保证了操作的真实性；更进一步地，通过远程辅助驾驶使得农业机械本体10自动驾驶遇到复杂情况而无法判断时，通过手动操作来保障农业机械本体10及其周边事物的安全，避免了损失的发生。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于全景视觉的农业机械远程辅助驾驶***，包括农业机械本体(10)和远程控制室，其特征在于：所述农业机械本体(10)上安装有鱼眼摄像机(1)和超声波雷达(2)，所述鱼眼摄像机(1)和超声波雷达(2)均设置有六个，分别固定安装在农业机械本体(10)的正前方、左前方、右前方、正后方、左后方、右后方；所述农业机械本体(10)上还固定安装有指令接收装置、指令发送装置和驾驶状态切换装置；所述远程控制室与农业机械本体(10)之间进行通信连接，所述远程控制室中安装有远程驾驶装置，所述远程驾驶装置包括有方向盘(3)、油门踏板(4)、档位(5)、座椅(6)、手刹(7)、刹车踏板(8)、离合器踏板(9)、操作台(11)、切换按钮(12)、状态指示灯和全景屏幕(16)，所述状态指示灯包括黄灯(13)、绿灯(14)和红灯(15)。
2.根据权利要求1所述的一种基于全景视觉的农业机械远程辅助驾驶***，其特征在于，所述远程控制室中还安装有远程驾驶***，所述远程驾驶***与远程驾驶装置相匹配，所述远程驾驶***包括有信息获取模块、信号发送模块、信号接收模块和驾驶状态切换模块；
所述信息获取模块，与鱼眼摄像机(1)相匹配，通过接收由六个鱼眼摄像机(1)组成的全景拍摄***拍摄的360°全景照片来获取农业机械本体(10)驾驶位置及周边环境情况；
所述信号发送模块，与指令发送装置相匹配，当农业机械本体(10)的自动驾驶***工作状态需要切换时，通过信号发送模块向远程控制室发送驾驶状态切换信号；
所述信号接收模块，与指令接收装置相匹配，用于接收农业机械本体(10)向远程控制室发送的驾驶状态切换信号；
所述驾驶状态切换模块，与驾驶状态切换装置相匹配，用于响应驾驶状态切换制定，将农业机械本体(10)由自动驾驶状态切换至远程手动驾驶状态。
3.根据权利要求1-2中任一所述的一种基于全景视觉的农业机械远程辅助驾驶***所使用的一种基于全景视觉的农业机械远程辅助驾驶方法，其特征在于，包括以下步骤：
S1、在农业机械本体(10)的正前方、左前方、右前方、正后方、左后方、右后方上安装鱼眼摄像机(1)和超声波雷达(2)，并将其调整好角度；
S2、通过农业机械本体(10)上固定安装的六个鱼眼摄像机(1)采集农业机械本体(10)周围的环境状态，确保每个鱼眼摄像机(1)都能检测到60°画面，实现360°无死角无盲区拍摄，鱼眼摄像机(1)的俯仰视场角为0～60°，前后视场角为0～180°，然后通过全景拼接算法将六张鱼眼摄像机(1)拍摄的原始图像合并为一张全景鸟瞰图；
S3、获得全景图像后利用超声波雷达(2)来检测农业机械本体(10)周围的障碍物信息；
S4、利用YOLO V5算法对障碍物进行目标检测，YOLO V5的输入使用拼接数据增强来提高目标检测精度；
S5、当农业机械本体(10)遇到复杂情况而无法做出判断时，将农业机械本体(10)由自动驾驶状态切换为远程手动驾驶状态，切换为远程手动驾驶状态后，远程控制室中的驾驶员开始执行相应指令，对农业机械本体(10)进行远程驾驶操作，可以识别判断后，再将驾驶状态切换为自动驾驶状态运行。
4.根据权利要求3所述的一种基于全景视觉的农业机械远程辅助驾驶方法，其特征在于，所述S2中提到的获取清晰的全景鸟瞰图，具体包括以下步骤：
A1、采用张正友标定方法，得到六台鱼眼摄像机(1)的内部参数矩阵和畸变系数，利用所得的内部参数矩阵和畸变系数得到畸变图像中像素的位置，然后将像素位置的对应关系保存在像素映射表中；
A2、通过所述A1中的像素映射表获得未扭曲的图像后，对其进行透视变换，所述透视变化更进一步地包括以下步骤：
A2.1、提取未扭曲图像中地面特征点的坐标(x，y)；
A2.2、根据所述A2.1中获得的坐标信息设置特征点在鸟瞰图像中的坐标(X，Y)；
A2.3、利用多组特征点得到透视变换矩阵；
A2.4、使用所述A2.3中所得的透视变换矩阵更新像素映射表，透视变换公式如下：
Figure FDA0003600731190000031
其中，
Figure FDA0003600731190000032
为特征点在鸟瞰图像中的坐标，
Figure FDA0003600731190000033
为透视变换矩阵，
Figure FDA0003600731190000041
为未扭曲图像中地面特征点的坐标；
A3、在所述A2中提到的透视变换中，人工定义地面上特征点的位置，根据位置对应关系平移或旋转鸟瞰图形，然后经过线性变换，生成全景鸟瞰图像；
A4、将图像处理为光均衡图像，经过处理后，相邻图像的重叠区域满足的关系式如下：
Figure FDA0003600731190000042
其中，R1、G1、B1和R2、G2、B2是两幅图像重叠部分中R、G、B的平均值；X1、Y1、Z1和X2、Y2、Z2是对应于两个图像的R、G、B值的处理系数；
A5、所得的六张图像中共有12个重叠区域，处理完12个重叠区域，基于最小二乘法得到相应的处理系数，将所有处理系数应用于相应的鸟瞰图中，最终得到一张光均衡全景鸟瞰图。
5.根据权利要求3所述的一种基于全景视觉的农业机械远程辅助驾驶方法，其特征在于，所述S3中提到的利用超声波雷达(2)来检测农业机械本体(10)周围的障碍物信息，具体包括以下操作：
B1、分别对超声波雷达(2)和鱼眼摄像机(1)进行了标定；超声波雷达(2)校准包括雷达信号强度校准和安装角度校准，其中信号强度通过信号反射强度的增益调整来完成，安装角度由支架决定；鱼眼摄像机(1)的标定利用内部参数矩阵得到外部参数矩阵，棋盘格图案作为辅助工具；
B2、利用所述B1中所得的标定结果实现坐标对准；在此过程中，每个超声波雷达(2)检测到的信号强度根据农业机械本体(10)坐标系进行旋转和平移；在获得鸟瞰图像与农业机械坐标系之间的转换关系后，进行图像融合操作，将视觉超声雷达图像和全景鸟瞰图像融合为全景数据融合图像。
6.根据权利要求3所述的一种基于全景视觉的农业机械远程辅助驾驶方法，其特征在于，所述S4中提到的利用YOLO V5算法对障碍物进行目标检测，具体包括以下操作：
C1、通过鱼眼摄像机(1)采集田地障碍物的图像数据，对采集到的障碍物图像数据进行图像预处理，基于预处理完毕的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；
C2、基于所述训练集和验证集，对YOLO V5网络进行训练，获得YOLO V5检测模型；基于所述测试集对所述YOLO V5检测模型进行测试，获得测试结果；基于所述测试结果对YOLOV5检测模型进行评价，评价合格后则结束测试；
C3、对所述YOLO V5检测模型进行处理，生成YOLO V5障碍物追踪模型；基于所述YOLOV5障碍物追踪模型对障碍物进行追踪并进行实时性验证。
7.根据权利要求6所述的一种基于全景视觉的农业机械远程辅助驾驶方法，其特征在于，所述YOLO V5网络包括backbone部分、neck部分和prediction部分，所述C2中提到获取所述YOLOV5检测模型，具体包括以下步骤：
C2.1、将训练集中的图像进行标准化预处理，并将预处理后的图像输入所述backbone部分，获得不同尺度的特征图；
C2.2、将所述不同尺度的特征图输入所述neck部分，进行上采样和特征融合后获得不同尺度的张量数据；
C2.3、将所述不同尺度的张量数据输入所述prediction部分，基于损失函数及反向传播对梯度进行计算，实时进行梯度更新并利用所述验证集进行验证，获得所述YOLO V5检测模型。
8.根据权利要求6所述的一种基于全景视觉的农业机械远程辅助驾驶方法，其特征在于，所述C3中提到的对YOLO V5检测模型进行处理的方法为采用DeepSort算法进行处理，具体步骤如下：
C3.1、对所有待追踪目标进行检测，完成检测后构建DeepSort***，对所述YOLO V5障碍物追踪模型输入带有障碍物的视频帧并进行处理；
C3.2、处理完毕且第一帧视频图像输入所述YOLO V5障碍物追踪模型后，将检测到的目标初始化并创建新的DeepSort***，标注ID；
C3.3、第一帧后的任一帧输入所述YOLO V5障碍物追踪模型时，基于所述DeepSort算法，获得所有目标的状态预测和当前帧的检测框的交并比，并获得交并比的最大唯一匹配，作为目标检测框；
C3.4、基于置信度对检测框进行过滤，删除置信度不够高的检测框及特征，基于当前帧匹配到的目标检测框更新DeepSort***，计算状态更新，获得更新值并输出，将更新值作为当前帧的追踪框。
9.根据权利要求3所述的一种基于全景视觉的农业机械远程辅助驾驶方法，其特征在于，所述S5中提到的切换驾驶状态，具体包括以下步骤：
D1、农业机械本体(10)自动驾驶时，远程控制室的操作台(11)的绿灯(14)亮，即农业机械本体(10)处于自动驾驶状态；当农业机械本体(10)遇到复杂情况而无法做出判断时，农业机械本体(10)停下并开始向远程控制室发送切换信号；
D2、远程控制室接收到信号后，控制室的操作台(11)上的红灯(15)亮起，即告诉驾驶室的驾驶员农业机械本体(10)遇到了复杂情况而无法做出判断；
D3、驾驶员接收信号后，按切换按钮(12)使其驾驶状态切换为手动驾驶，黄灯(13)亮起，即农业机械本体(10)的驾驶状态已切换为手动驾驶状态
D4、远程控制室中的驾驶员通过全景屏幕(16)观察农业机械本体(10)周围的环境，排除一切阻碍和影响农业机械本体(10)运动的因素；
D5、了解农业机械本体(10)周围环境后，驾驶员通过操作远程控制室内的远程驾驶装置来决定农业机械本体(10)的运动；
D6、当农业机械本体(10)可以自我识别判断后，操作台(11)上的红灯(15)自动熄灭，再按切换按钮(12)使黄灯(13)灭、绿灯(14)亮，即农业机械本体(10)的驾驶状态切换为自动驾驶状态工作。
CN202210402919.8A 2022-04-18 2022-04-18 一种基于全景视觉的农业机械远程辅助驾驶***及方法 Pending CN114782810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210402919.8A CN114782810A (zh) 2022-04-18 2022-04-18 一种基于全景视觉的农业机械远程辅助驾驶***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210402919.8A CN114782810A (zh) 2022-04-18 2022-04-18 一种基于全景视觉的农业机械远程辅助驾驶***及方法

Publications (1)

Publication Number Publication Date
CN114782810A true CN114782810A (zh) 2022-07-22

Family

ID=82431712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210402919.8A Pending CN114782810A (zh) 2022-04-18 2022-04-18 一种基于全景视觉的农业机械远程辅助驾驶***及方法

Country Status (1)

Country Link
CN (1) CN114782810A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115390572A (zh) * 2022-10-28 2022-11-25 潍柴雷沃智慧农业科技股份有限公司 一种无人收获机的避障控制方法和***
CN117541761A (zh) * 2023-11-14 2024-02-09 珠海安联锐视科技股份有限公司 一种基于深度学习的鱼眼镜头下包裹检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115390572A (zh) * 2022-10-28 2022-11-25 潍柴雷沃智慧农业科技股份有限公司 一种无人收获机的避障控制方法和***
CN117541761A (zh) * 2023-11-14 2024-02-09 珠海安联锐视科技股份有限公司 一种基于深度学习的鱼眼镜头下包裹检测方法
CN117541761B (zh) * 2023-11-14 2024-05-10 珠海安联锐视科技股份有限公司 一种基于深度学习的鱼眼镜头下包裹检测方法

Similar Documents

Publication Publication Date Title
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助***
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN114782810A (zh) 一种基于全景视觉的农业机械远程辅助驾驶***及方法
CN108604366A (zh) 使用预定视点查找表的环绕视图的三维渲染
CN108234984A (zh) 双目深度相机***和深度图像生成方法
CN111508260A (zh) 车辆停车位检测方法、装置和***
CN109087251B (zh) 一种车载全景图像显示方法及***
CN103770708A (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
CN112233188B (zh) 一种激光雷达和全景相机的数据融合***的标定方法
CA3003719A1 (en) Filling in surround view areas blocked by mirrors or other vehicle parts
CN111627054A (zh) 用于预测高置信度密集点云的深度补全误差地图的方法和装置
CN114283201A (zh) 相机标定方法、装置和路侧设备
CN114339185A (zh) 用于车辆相机图像的图像彩色化
CN111210386A (zh) 图像拍摄拼接方法及***
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
JP2018533098A (ja) パネル変換
CN114372919B (zh) 一种双挂汽车列车全景环视图像拼接方法及***
CN115953747A (zh) 车端目标分类检测方法及车端雷视融合设备
CN110532905B (zh) 一种自装卸机构作业影像辅助操控方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN112001266A (zh) 一种大型无人运输车监控方法及***
CN109587304B (zh) 电子设备和移动平台
CN109961644A (zh) 空闲车位识别方法、自主泊车方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination