CN110134122A - 一种基于高光谱成像技术的深度学习方法 - Google Patents

一种基于高光谱成像技术的深度学习方法 Download PDF

Info

Publication number
CN110134122A
CN110134122A CN201910328053.9A CN201910328053A CN110134122A CN 110134122 A CN110134122 A CN 110134122A CN 201910328053 A CN201910328053 A CN 201910328053A CN 110134122 A CN110134122 A CN 110134122A
Authority
CN
China
Prior art keywords
vehicle
information
control
dimensional
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910328053.9A
Other languages
English (en)
Inventor
廖列法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Science and Technology
Original Assignee
Jiangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Science and Technology filed Critical Jiangxi University of Science and Technology
Priority to CN201910328053.9A priority Critical patent/CN110134122A/zh
Publication of CN110134122A publication Critical patent/CN110134122A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于高光谱成像技术的深度学习方法，主要包括以下步骤：A、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合；B、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息；C、基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ECU获取的当前车辆状态输出对车辆执行自动驾驶的控制。本发明可以利用一个高光谱成像装置获得车辆周边环境的空间图像信息及任意像素点的光谱分布信息，因此可以减少摄像头或传感器的设置，并且相对于传统摄像头提高了对环境的检测精度，从而提高车辆自动驾驶控制的准确性。

Description

一种基于高光谱成像技术的深度学习方法
技术领域
本发明涉及高光谱成像技术应用领域或自动驾驶控制技术领域，具体涉及一种于高光谱成像技术的深度学习方法。
背景技术
自动驾驶汽车(Autonomous vehicles)又称无人驾驶汽车、计算机驾驶汽车、或轮式移动机器人，是一种通过计算机***实现无人驾驶的智能汽车。自动驾驶汽车技术的研发，在20世纪也已经有数十年的历史，于21世纪初呈现出接近实用化的趋势，依靠人工智能、视觉计算、雷达、监控装置和全球定位***协同合作，让计算机可以在没有任何人类主动的操作下，自动安全地操作机动车辆。
汽车自动驾驶技术主要通过视频摄像头、雷达传感器以及激光测距器等环境监测设备来了解周围的交通状况，并通过一个详尽的地图(通过有人驾驶汽车采集的地图)对前方的道路进行导航。根据自动化水平的高低区分了四个无人驾驶的阶段：驾驶辅助、部分自动化、高度自动化、完全自动化：
(1)驾驶辅助***(DAS)：目的是为驾驶者提供协助，包括提供重要或有益的驾驶相关信息，以及在自动驾驶汽车示意图开始变得危急的时候发出明确而简洁的警告。如″车道偏离警告″(LDW)***等。
(2)部分自动化***：在驾驶者收到警告却未能及时采取相应行动时能够自动进行干预的***，如″自动紧急制动″(AEB)***和″应急车道辅助″(ELA)***等。
(3)高度自动化***：可以没有任何人类驾驶员，能够在或长或短的时间段内代替驾驶者承担操控车辆的职责，但是仍需人类对驾驶活动进行监控的***。
(4)完全自动化***：可无人驾驶车辆、允许车内所有乘员从事其他活动且无需进行监控的***。这种自动化水平允许乘员从事计算机工作、休息和睡眠以及其他娱乐等活动。
以上无论哪种自动化水平的自动驾驶***均依赖于包括摄像头在内的环境监测***对车辆周边环境的准确监测。然而，现有的环境监测***中单个摄像头只能获取二维空间图像信息，需要多个摄像头或多个传感器组合应用，否则难以保证车辆的准确控制。例如，一般的环境监测***通常包括雷达传感器、前摄像头、后摄像头、左侧摄像头及右侧摄像头等；其中，前摄像头安装在车辆前挡风玻璃中央位置；后摄像头安装在车辆后挡风玻璃中央位置；左侧摄像头及右侧摄像头分别安装在车辆左右两侧后视镜上；雷达传感器安装在车前防撞杆中央位置。一般车辆的自动驾驶均需要这些摄像头及传感器组合应用方能提高监测的准确性。
从而，现有技术仍需要进一步发展及改进。
发明内容
本发明的目的在于公开一种基于高光谱成像技术的深度学习方法，通过将高光谱成像技术应用于车辆自动驾驶控制中，减少摄像头或传感器的应用，并提高车辆自动驾驶控制的准确性。
为了实现以上目的，本发明公开的一种基于高光谱成像技术的深度学习方法，主要包括以下步骤A至C：
A、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合；
B、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息；
C、基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ECU获取的当前车辆状态输出对车辆执行自动驾驶的控制。
本发明的进一步方案中，通过安装在车辆上的高光谱成像装置和车辆控制装置实现，其中，高光谱成像装置执行步骤A和步骤B，车辆控制装置执行步骤C。
本发明的进一步方案中，所述高光谱成像装置包括物镜、偏振器、成像控制芯片、反射式液晶器、光谱仪以及线阵式电荷耦合器；步骤A具体包括：
A1、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上；
A2、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态；
A3、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中；
A4、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息；
A5、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；
A6、重复执行步骤A3至A5，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。
本发明的进一步方案中，步骤B具体为：成像控制芯片通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
本发明的进一步方案中，其特征在于，所述车辆控制装置包括车辆状态采集器、运算处理器以及执行控制器；步骤C包括：
C1、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ECU获取的当前车辆状态；
C2、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。
本发明的进一步方案中，步骤C1中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。
本发明的进一步方案中，步骤C2中的自动驾驶的控制包括主动安全控制，所述主动安全控制包括主动刹车控制、主动转向控制、主动控制安全带中的至少一者。
本发明的进一步方案中，所述车辆控制装置还包括车车通信模块，所述车车通信模块用于获取邻车的当前车辆状态，所述邻车包括位于自车前方的前车和位于自车侧方的侧车；所述步骤C2中控制执行控制器还根据邻车的当前车辆状态对自车车辆执行自动驾驶的控制。
本发明的进一步方案中，所述车辆控制装置还包括智能喇叭音频数据库模块，所述运算处理器还根据自车的当前车辆状态与邻车的当前车辆状态计算自车与邻车碰撞时间达到预设阈值时，将智能喇叭音频数据库模块中对应的喇叭音频输出到所述执行控制器，所述执行控制器还控制自车的车辆喇叭发出与相应喇叭音频对应的喇叭声。
本发明的进一步方案中，所述执行控制器根据相应的喇叭音频控制自车的车辆喇叭发出相应音量、音调和长短的喇叭声。
本发明的有益效果如下：
本发明通过将获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合，并通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息，从而可以基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ECU获取的当前车辆状态输出对车辆执行自动驾驶的控制。故而，本发明可以利用一个高光谱成像装置获得车辆周边环境的空间图像信息及任意像素点的光谱分布信息，因此可以减少摄像头或传感器的设置，并且相对于传统摄像头提高了对环境的检测精度，从而提高车辆自动驾驶控制的准确性。
附图说明
图1是实施例一公开的一种基于高光谱成像技术的深度学习方法流程示意图。
图2是实施例二公开的一种基于高光谱成像技术的深度学习方法中高光谱成像装置的结构框图。
图3是实施例二公开的一种基于高光谱成像技术的深度学习方法流程示意图。
图4是实施例三公开的一种基于高光谱成像技术的深度学习方法中车辆控制装置的结构框图。
图5是实施例三公开的一种基于高光谱成像技术的深度学习方法流程示意图。
图6是实施例四公开的一种基于高光谱成像技术的深度学习方法流程示意图。
图7是实施例五公开的一种基于高光谱成像技术的深度学习方法流程示意图。
图8是实施例六公开的一种基于高光谱成像技术的深度学习方法中车辆控制装置的结构框图。
图9是实施例六公开的一种基于高光谱成像技术的深度学习方法流程示意图。
图10是实施例六公开的一种基于高光谱成像技术的深度学习方法流程示意图。
具体实施方式
为了便于本领域技术人员理解，下面将结合附图以及实施例对本发明进行进一步描述。
实施例一
请参阅图1，实施例一公开一种基于高光谱成像技术的深度学习方法，主要包括以下步骤：
S100、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合。
S200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
S300、基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ECU获取的当前车辆状态输出对车辆执行自动驾驶的控制。
步骤300中，通过环境判断结果可以知晓当前天气状态(例如是否暴雨、晴天、雾霾)，车辆是否偏离轨道，车辆是否存在碰撞危险，等等。当前车辆状态具体可包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角等。例如，在暴雨或雾霾天气自动控制车辆减速；在根据车辆当前状态计算得出存在碰撞危险时，自动控制车辆减速或改变航向。
本实施例由于可以利用一个高光谱成像装置获得车辆周边环境的空间图像信息及任意像素点的光谱分布信息，因此可以减少摄像头或传感器的设置，并且相对于传统摄像头提高了对环境的检测精度，从而提高车辆自动驾驶控制的准确性。
实施例二
请参阅图2和图3，实施例二公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置10和车辆控制装置实现，其中，高光谱成像装置10包括物镜11、偏振器12、成像控制芯片13、反射式液晶器14、光谱仪15以及线阵式电荷耦合器16。
实施例二相对于实施例一的区别在于，高光谱成像装置10执行步骤S100和步骤S200，车辆控制装置执行步骤S300，并且步骤S100具体包括步骤S110至S160。
即实施例二包括如下步骤：
S110、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上。
S120、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态。
S130、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中。
S140、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息。
S150、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；
S160、重复执行步骤S130至S150，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。
S200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
进一步的，步骤S200具体为：成像控制芯片13通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
S300、车辆控制装置基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ECU获取的当前车辆状态输出对车辆执行自动驾驶的控制。
步骤300中，当前车辆状态具体可包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角等。
实施例二相对于实施例一增加了成像光束转换为包含二维图像信息与一维光谱信息的三维信息集合的过程，且其具有实施例一的有益效果。
实施例三
请参阅图4及图5，实施例三公开了一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置和车辆控制装置20实现，其中，车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。
实施例三相对于实施例一的区别在于，高光谱成像装置执行步骤S100和步骤S200，车辆控制装置20执行步骤S300，并且步骤S300具体包括步骤S310至S320。
即实施例三包括如下步骤：
S100、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合。
S200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
S310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ECU获取的当前车辆状态。
进一步的，步骤S310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。
S320、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。
实施例三相对于实施例一增加了车辆控制装置执行步骤300的具体功能部件，且其具有实施例一的有益效果。
实施例四
请参阅图6，实施例四公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置10(参考图2)和车辆控制装置20(参考图4)实现。其中，高光谱成像装置10包括物镜11、偏振器12、成像控制芯片13、反射式液晶器14、光谱仪15以及线阵式电荷耦合器16。车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。
实施例四相对于实施例一的区别在于，通过高光谱成像装置10执行步骤S100和步骤S300，车辆控制装置20执行步骤S300，并且步骤S100具体包括步骤S110至S160，步骤S300具体包括步骤S310至S320。
即实施例四包括如下步骤：
S110、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上。
S120、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态。
S130、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中。
S140、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息。
S150、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；
S160、重复执行步骤S130至S150，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。
S200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
进一步的，步骤S200具体为：成像控制芯片13通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
S310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ECU获取的当前车辆状态。
进一步的，步骤S310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。
S320、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。
实施例四相对于实施例一增加了增加了成像光束转换为包含二维图像信息与一维光谱信息的三维信息集合的过程，以及车辆控制装置执行步骤300的具体功能部件，且其具有实施例一的有益效果。
实施例五
请参阅图7，实施例五公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置和车辆控制装置20(参考图4)实现，其中，车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。高光谱成像装置执行步骤S100和步骤S200车辆控制装置20执行步骤S300，并且步骤S300具体包括步骤S310至S320。
实施例五与实施例三的区别在于，步骤S320中的自动驾驶的控制包括主动安全控制，即步骤S321。
实施例五包括以下步骤：
S100、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合。
S200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
S310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ECU获取的当前车辆状态。
进一步的，步骤S310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。
S321、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行主动安全控制。
步骤S321中，主动安全控制包括主动刹车控制、主动转向控制、主动控制安全带中的至少一者。
实施例五适于判断出车辆偏离轨道或存在危险时启用。
实施例六
请参阅图8至图9，实施例六公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置和车辆控制装置20实现。与实施例四相同的是，车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。高光谱成像装置执行步骤S100和步骤S200，车辆控制装置20执行步骤S300，并且步骤S300具体包括步骤S310至S320。
实施例六中的车辆控制装置20相对于实施例四的区别在于，还包括车车通信模块24和智能喇叭音频数据库模块25，车车通信模块24用于获取邻车的当前车辆状态，邻车包括位于自车前方的前车和位于自车侧方的侧车。步骤S320中控制执行控制器23还根据邻车的当前车辆状态对自车车辆执行自动驾驶的控制，即步骤322。
实施例六包括如下步骤：
S100、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合。
S200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
S310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ECU获取的当前车辆状态。
进一步的，步骤S310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。
S322、根据环境判断结果以及自车的当前车辆状态、邻车的当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。
在步骤S322中，除了一般的天气状态判断之外，还可以通过环境判断结果得出自车与邻车是否具有碰撞危险，即运算处理器22还根据自车的当前车辆状态与邻车的当前车辆状态计算自车与邻车碰撞时间达到预设阈值时，可将智能喇叭音频数据库模块25中对应的喇叭音频输出到执行控制器23，执行控制器23还控制自车的车辆喇叭发出与相应喇叭音频对应的喇叭声。
例如，通过获取的当前车辆状态与前车的当前车辆状态，计算自车与前车的碰撞时间T1，假设T1满足0.5秒≤T1＜1秒，可选用音量为90分贝、音调为800Hz、时长为1秒的喇叭声，计算自车与侧车的碰撞时间T2满足1秒≤T2＜1.5秒，选用音量为85分贝、音调为900Hz、时长为1秒的喇叭声。
实施例六能够根据自动驾驶周边环境因素自动调节车辆喇叭音量、音调和长短，从而有效提高喇叭音频的辨识度和自动驾驶的安全性。
实施例七
请参阅图10，实施例六公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置和车辆控制装置20(参考图8)实现。与实施例四相同的是，车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。高光谱成像装置执行步骤S100和步骤S200，车辆控制装置20执行步骤S300，并且步骤S300具体包括步骤S310至S320。
相对于实施例四的区别在于，实施例七中的车辆控制装置20还包括车车通信模块24和智能喇叭音频数据库模块25，车车通信模块24用于获取邻车的当前车辆状态，邻车包括位于自车前方的前车和位于自车侧方的侧车。步骤S320中控制执行控制器还根据邻车的当前车辆状态对自车车辆执行自动驾驶的控制，即步骤322。
实施例七包括如下步骤：
S110、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上；
S120、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态；
S130、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中；
S140、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息；
S150、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；
S160、重复执行步骤S130至S150，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。
S200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息；
进一步的，步骤S200具体为：成像控制芯片13通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
S310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ECU获取的当前车辆状态；
进一步的，步骤S310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。
S322、根据环境判断结果以及自车的当前车辆状态、邻车的当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。
在步骤S322中，除了一般的天气状态判断之外，还可以通过环境判断结果得出自车与邻车是否具有碰撞危险，即运算处理器22还根据自车的当前车辆状态与邻车的当前车辆状态计算自车与邻车碰撞时间达到预设阈值时，可将智能喇叭音频数据库模块25中对应的喇叭音频输出到执行控制器23，执行控制器23还控制自车的车辆喇叭发出与相应喇叭音频对应的喇叭声。
实施例七相对于实施例六增加了成像光束转换为包含二维图像信息与一维光谱信息的三维信息集合的过程，且其具有实施例六的有益效果。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于高光谱成像技术的深度学习方法，其特征在于，包括以下步骤：
A、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合；
B、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息；
C、基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ECU获取的当前车辆状态输出对车辆执行自动驾驶的控制。
2.根据权利要求1所述的基于高光谱成像技术的深度学习方法，其特征在于，通过安装在车辆上的高光谱成像装置和车辆控制装置实现，其中，高光谱成像装置执行步骤A和步骤B，车辆控制装置执行步骤C。
3.根据权利要求2所述的基于高光谱成像技术的深度学习方法，其特征在于，所述高光谱成像装置包括物镜、偏振器、成像控制芯片、反射式液晶器、光谱仪以及线阵式电荷耦合器；步骤A具体包括：
A1、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上；
A2、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态；
A3、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中；
A4、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息；
A5、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；
A6、重复执行步骤A3至A5，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。
4.根据权利要求3所述的基于高光谱成像技术的深度学习方法，其特征在于，步骤B具体为：成像控制芯片通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。
5.根据权利要求1至4任一所述的基于高光谱成像技术的深度学习方法，其特征在于，所述车辆控制装置包括车辆状态采集器、运算处理器以及执行控制器；步骤C包括：
C1、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ECU获取的当前车辆状态；
C2、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。
6.根据权利要求5所述的基于高光谱成像技术的深度学习方法，其特征在于，步骤C1中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。
7.根据权利要求6所述的基于高光谱成像技术的深度学习方法，其特征在于，步骤C2中的自动驾驶的控制包括主动安全控制，所述主动安全控制包括主动刹车控制、主动转向控制、主动控制安全带中的至少一者。
8.根据权利要求6所述的基于高光谱成像技术的深度学习方法，其特征在于，所述车辆控制装置还包括车车通信模块，所述车车通信模块用于获取邻车的当前车辆状态，所述邻车包括位于自车前方的前车和位于自车侧方的侧车；所述步骤C2中控制执行控制器还根据邻车的当前车辆状态对自车车辆执行自动驾驶的控制。
9.根据权利要求8所述的基于高光谱成像技术的深度学习方法，其特征在于，所述车辆控制装置还包括智能喇叭音频数据库模块，所述运算处理器还根据自车的当前车辆状态与邻车的当前车辆状态计算自车与邻车碰撞时间达到预设阈值时，将智能喇叭音频数据库模块中对应的喇叭音频输出到所述执行控制器，所述执行控制器还控制自车的车辆喇叭发出与相应喇叭音频对应的喇叭声。
10.根据权利要求9所述的基于高光谱成像技术的深度学习方法，其特征在于，所述执行控制器根据相应的喇叭音频控制自车的车辆喇叭发出相应音量、音调和长短的喇叭声。
CN201910328053.9A 2019-04-23 2019-04-23 一种基于高光谱成像技术的深度学习方法 Pending CN110134122A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910328053.9A CN110134122A (zh) 2019-04-23 2019-04-23 一种基于高光谱成像技术的深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910328053.9A CN110134122A (zh) 2019-04-23 2019-04-23 一种基于高光谱成像技术的深度学习方法

Publications (1)

Publication Number Publication Date
CN110134122A true CN110134122A (zh) 2019-08-16

Family

ID=67570685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910328053.9A Pending CN110134122A (zh) 2019-04-23 2019-04-23 一种基于高光谱成像技术的深度学习方法

Country Status (1)

Country Link
CN (1) CN110134122A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111156926A (zh) * 2019-12-30 2020-05-15 浙江大学 一种四维高光谱探测***
CN111775962A (zh) * 2020-07-13 2020-10-16 中国联合网络通信集团有限公司 自动行驶策略的确定方法及装置
CN111845786A (zh) * 2020-07-13 2020-10-30 中国联合网络通信集团有限公司 自动行驶策略的确定方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101285885A (zh) * 2008-05-15 2008-10-15 无锡市星迪仪器有限公司 实现高光谱成像的方法
CN104809901A (zh) * 2014-01-28 2015-07-29 通用汽车环球科技运作有限责任公司 使用街道级图像增强车辆的自动驾驶模式的方法
CN107272041A (zh) * 2017-06-28 2017-10-20 深圳森阳环保材料科技有限公司 一种导航精度高的汽车导航***
CN207466481U (zh) * 2017-10-19 2018-06-08 广州大学 一种自动驾驶智能喇叭控制装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101285885A (zh) * 2008-05-15 2008-10-15 无锡市星迪仪器有限公司 实现高光谱成像的方法
CN104809901A (zh) * 2014-01-28 2015-07-29 通用汽车环球科技运作有限责任公司 使用街道级图像增强车辆的自动驾驶模式的方法
CN107272041A (zh) * 2017-06-28 2017-10-20 深圳森阳环保材料科技有限公司 一种导航精度高的汽车导航***
CN207466481U (zh) * 2017-10-19 2018-06-08 广州大学 一种自动驾驶智能喇叭控制装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111156926A (zh) * 2019-12-30 2020-05-15 浙江大学 一种四维高光谱探测***
CN111775962A (zh) * 2020-07-13 2020-10-16 中国联合网络通信集团有限公司 自动行驶策略的确定方法及装置
CN111845786A (zh) * 2020-07-13 2020-10-30 中国联合网络通信集团有限公司 自动行驶策略的确定方法及装置
CN111775962B (zh) * 2020-07-13 2022-04-22 中国联合网络通信集团有限公司 自动行驶策略的确定方法及装置

Similar Documents

Publication Publication Date Title
CN111554124B (zh) 交叉路口大货车右转弯防撞预警***及预警方法
US20210170947A1 (en) Vehicular trailering assist system with trailer state estimation
LeBlanc et al. CAPC: A road-departure prevention system
CN105916750B (zh) 车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆
US10558868B2 (en) Method and apparatus for evaluating a vehicle travel surface
Keller et al. Active pedestrian safety by automatic braking and evasive steering
US8108097B2 (en) Controlling vehicle dynamics through the use of an image sensor system
EP2949534A2 (en) Driver assistance apparatus capable of diagnosing vehicle parts and vehicle including the same
CN110134122A (zh) 一种基于高光谱成像技术的深度学习方法
CN104786933A (zh) 一种全景影像驾驶辅助装置及方法
CN104802710B (zh) 一种智能汽车倒车辅助***及辅助方法
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN103204123A (zh) 一种车辆行人检测跟踪预警装置及其预警方法
KR101698781B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
CN108528337B (zh) 一种基于视频投影的内轮差智能预警***及预警方法
CN102778223A (zh) 基于车牌合作目标和单目摄像机的汽车防撞预警方法
US10997737B2 (en) Method and system for aligning image data from a vehicle camera
CN109345591B (zh) 一种车辆自身姿态检测方法和装置
US20210174127A1 (en) Image processing device, image processing method, and program
CN116674468A (zh) 影像显示方法及相关装置、车辆、存储介质和程序
CN109895694B (zh) 一种车道偏离预警方法、装置及车辆
CN210760742U (zh) 智能车辆辅助驾驶***
JPH03167698A (ja) 運転者の運転状態検出装置
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN109131356B (zh) 人机混合增强智能驾驶***及电动汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816

RJ01 Rejection of invention patent application after publication