CN113610970A - 一种自动驾驶***、装置及方法 - Google Patents
一种自动驾驶***、装置及方法 Download PDFInfo
- Publication number
- CN113610970A CN113610970A CN202111000997.7A CN202111000997A CN113610970A CN 113610970 A CN113610970 A CN 113610970A CN 202111000997 A CN202111000997 A CN 202111000997A CN 113610970 A CN113610970 A CN 113610970A
- Authority
- CN
- China
- Prior art keywords
- road condition
- machine vision
- environmental
- model
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 11
- 230000007613 environmental effect Effects 0.000 claims abstract description 18
- 238000013136 deep learning model Methods 0.000 claims abstract 3
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
Abstract
一种自动驾驶***，该***通过机器视觉对环境路况场景进行三维重建，从而获得路况三维图像信息，用于驾驶判断和决策。所述机器视觉通过单目相机或摄像机获取环境路况图像。所述的环境路况图像通过输入经过训练的深度学习模型重建所述环境路况的三维图像模型。
Description
技术领域
本发明属于人工智能技术领域，特别涉及一种自动驾驶***、装置及方法。
背景技术
随着新一代信息技术与制造技术的深度融合，汽车正由传统的机械产品逐步演变为机电一体化、智能化和网联化的高科技产品，呈现出与电子、信息、交通等相关技术产业紧密相连、协同发展的趋势。
智能网联汽车，亦或是自动驾驶汽车，与智能交通***深度交叉融合，因此在行驶中感知周围路况是需要解决的基本问题。
发明内容
本发明实施例之一，一种自动驾驶***，该***通过机器视觉对环境路况场景进行三维重建，从而获得路况三维图像信息，用于驾驶判断和决策。所述机器视觉通过单目相机或摄像机获取环境路况图像。所述的环境路况图像通过输入经过训练的卷积神经网络模型重建所述环境路况的三维图像模型。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1根据本发明实施例之一的自动驾驶图像三维重建原理示意图。
图2根据本发明实施例之一的卷积神经网络原理示意图。
具体实施方式
目前对于行驶道路环境的感知，存在2种技术路线，即激光雷达或者是视觉感知图像摄取摄像头。激光雷达感知技术是以激光雷达为主导，间或以毫米波雷达、超声波传感器及摄像头作为辅助。激光雷达感知环境的工作原理，是通过激光雷达发射激光束，测量激光在发射及收回过程其中的时间差、相位差，来确定车与物体之间的相对距离，实现环境实时感知及避障功能。
激光雷达具有较长的探测距离与较高的精准度，抗干扰能力强，可以主动检测周围多物体环境，获取周围环境点云构建3D环境模型。即使夜间光线不好，也不会影响探测效果。虽然激光雷达不怕暗光，但是对于天气敏感，雨雪、沙尘、大雾天气等会影响激光雷达识别效果。同时，在可预见的时间内，激光雷达的价格会始终处于高位，从而阻碍激光雷达的迅速应用。
视觉感知是以摄像头为主导的方案，摄像头成本相较激光雷达优势极大，再者摄像头技术逐渐成熟，高分辨率、高帧率成像技术使得感知的环境信息更为丰富，但摄像头在光线复杂黑暗环境中感知受限，精度及安全性会有所下降。由于在视觉感知中，三维重建可帮助自动驾驶汽车辅助识别环境路况，因此三维重建的范围、精度、实时性都很重要。然而，现有的三维重建算法，识别不准确，能够构建范围小，重构速度不够快，重构细节部分效果不理想。
现有的三维重建技术，基于SFM的运动恢复结构，基于深度学习的深度估计和结构重建，以及基于RGB-D深度摄像头的三维重建。用于车辆自动驾驶，存在效果和成本方面的问题。
通常，运动恢复结构(Structure-from-Motion,简称SfM)是一种能够从多张图像或视频序列中自动地恢复出相机的参数以及场景三维结构。SfM(Structure FromMotion)，主要基于多视觉几何原理，用于从运动中实现3D重建，可以从无时间序列的2D图像中推算三维信息。
根据一个或者多个实施例，如图1所示，一种自动驾驶***，通过机器视觉对环境路况场景进行三维重建，从而获得路况三维图像信息，用于驾驶判断和决策。该机器视觉通过单目相机或摄像机获取环境路况图像，所述的环境路况图像通过输入经过训练的卷积神经网络模型重建所述环境路况的三维图像模型。
所述卷积神经网络模型的训练过程包括，将多幅行驶环境路况三维图像样本，进行体素化处理后输入卷积神经网络，用以对所述卷积神经网络的训练。
体素化(Voxelization)是将物体的几何形式表示转换成最接近该物体的体素表示形式，产生体数据集，其不仅包含模型的表面信息，而且能描述模型的内部属性。包括对模型表面、模型内部的体素化。
对模型表面的体素化，首先计算出模型的AABB包围盒，然后根据空间分辨率对包围盒进行划分，得到每个大小为(X/N)*(Y/N)*(Z/N)空间像素列表。然后对构成3D模型的多边形或三角形列表进行遍历，得到这些基本体元所对就应的包围盒，然后由AABB求交运算得到这些基本体元所能影响到的体素单元，将这些体素单元做为待判断的基本对象。为了做进一步的精确判定，使用三角形与AABB的求交算法确定这些基本体元所能影响到最终体素，并将这些体素标记为非空，这样就完成了对3D模型表面的体素化操作。
对模型内部的体素化，将模型表面体素化的操作进行完之后即可得到对模型体素表示的一个“外壳”，接下来要做的操作就是进行模型的内部体素化操作。其中，首先将对应的3D模型建立空间八叉树，这棵八叉树主要用于进行基本体元面片的求交操作。然后对模型AABB中的所有空体素，从其中心位置以轴对齐方向来发射两条射线，这两条射线的方向相反，但基本方向都是轴对齐的。对于这两条的射线利用空间模型的八叉树来得到其与3D模型的相交位置，并得到相交点的法向量及到相交点的距离，然后根据这两点法向量之间的关系来判断得到当前体素是在3D模型的内部或是在3D模型的外部。将这样的操作施加于每一个空的体素之后就可以完成对3D模型内部的体素化操作。
本发明实施例采用可实用单目相机图像三维重建的算法，达到了智能网联汽车对于自动驾驶中的环境路况的判断要求。通过采用神经网络模型，使用三维路况图像作为输入，将3D模型体素化用以训练神经网络。通过做场景重建，解决定位不准问题。同时，通过神经网络拟合标签信息，使得***达到一定的鲁棒性。在实际自动驾驶过程中，通过输入单目路况图片，通过经过训练的神经网络输出体素3D模型供***做出驾驶控制判断。
根据一个或者多个实施例，一种自动驾驶判断方法，通过机器视觉对环境路况场景进行三维重建，从而获得路况三维图像信息，用于驾驶判断和决策，所述机器视觉通过单目相机或摄像机获取环境路况图像。
所述的环境路况图像通过输入经过训练的卷积神经网络模型重建所述环境路况的三维图像模型。
所述卷积神经网络模型的训练过程包括，将多幅行驶环境路况三维图像样本，进行体素化处理后输入卷积神经网络，用以对所述卷积神经网络的训练。
可见，本发明的技术效果包括：
1.使用单个相机重构自动驾驶汽车前方环境路况图像的三维特征；2.扩大了感知范围；
3.提升感知数据的可信度和精确度；
4.通过重建道路前方三维信息，实现对路面和障碍物的识别。
值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (10)
1.一种自动驾驶***，其特征在于，该***通过机器视觉对环境路况场景进行三维重建，从而获得路况三维图像信息，用于驾驶判断和决策。
2.根据权利要求1所述的自动驾驶***，其特征在于，所述机器视觉通过单目相机或摄像机获取环境路况图像。
3.根据权利要求2所述的自动驾驶***，其特征在于，所述的环境路况图像通过输入经过训练的深度学习模型重建所述环境路况的三维图像模型。
4.根据权利要求3所述的自动驾驶***，其特征在于，所述深度学习模型为卷积神经网络模型。
5.根据权利要求4所述的自动驾驶***，其特征在于，所述卷积神经网络模型的训练过程包括，将多幅行驶环境路况三维图像样本，进行体素化处理后输入卷积神经网络，用以对所述卷积神经网络的训练。
6.根据权利要求1所述的自动驾驶***，其特征在于，使用激光雷达作为对机器视觉的辅助判断。
7.根据权利要求6所述的自动驾驶***，其特征在于，该***还包括毫米波雷达、超声波传感器作为机器视觉的辅助判断。
8.一种自动驾驶判断装置，其特征在于，所述装置包括存储器；以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：
通过机器视觉对环境路况场景进行三维重建，从而获得路况三维图像信息，用于驾驶判断和决策，
所述机器视觉通过单目相机或摄像机获取环境路况图像。
9.一种自动驾驶判断方法，其特征在于，
通过机器视觉对环境路况场景进行三维重建，从而获得路况三维图像信息，用于驾驶判断和决策，
所述机器视觉通过单目相机或摄像机获取环境路况图像。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如权利要求9的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111000997.7A CN113610970A (zh) | 2021-08-30 | 2021-08-30 | 一种自动驾驶***、装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111000997.7A CN113610970A (zh) | 2021-08-30 | 2021-08-30 | 一种自动驾驶***、装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113610970A true CN113610970A (zh) | 2021-11-05 |
Family
ID=78342226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111000997.7A Pending CN113610970A (zh) | 2021-08-30 | 2021-08-30 | 一种自动驾驶***、装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610970A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103236079A (zh) * | 2013-04-19 | 2013-08-07 | 浙江理工大学 | 一种基于三维模型体素化的内部球改进构造方法 |
| CN107609602A (zh) * | 2017-09-28 | 2018-01-19 | 吉林大学 | 一种基于卷积神经网络的驾驶场景分类方法 |
| CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶*** |
| CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、***、装置及可读存储介质 |
| CN110008848A (zh) * | 2019-03-13 | 2019-07-12 | 华南理工大学 | 一种基于双目立体视觉的道路可行驶区域识别方法 |
| CN111413983A (zh) * | 2020-04-08 | 2020-07-14 | 江苏盛海智能科技有限公司 | 一种无人驾驶车辆的环境感知方法及控制端 |
| CN111814667A (zh) * | 2020-07-08 | 2020-10-23 | 山东浪潮云服务信息科技有限公司 | 一种智能路况识别方法 |
| CN112750194A (zh) * | 2020-05-15 | 2021-05-04 | 奕目(上海)科技有限公司 | 一种无人驾驶汽车避障方法、装置 |
-
2021
- 2021-08-30 CN CN202111000997.7A patent/CN113610970A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103236079A (zh) * | 2013-04-19 | 2013-08-07 | 浙江理工大学 | 一种基于三维模型体素化的内部球改进构造方法 |
| CN107609602A (zh) * | 2017-09-28 | 2018-01-19 | 吉林大学 | 一种基于卷积神经网络的驾驶场景分类方法 |
| CN108196535A (zh) * | 2017-12-12 | 2018-06-22 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶*** |
| CN109358614A (zh) * | 2018-08-30 | 2019-02-19 | 深圳市易成自动驾驶技术有限公司 | 自动驾驶方法、***、装置及可读存储介质 |
| CN110008848A (zh) * | 2019-03-13 | 2019-07-12 | 华南理工大学 | 一种基于双目立体视觉的道路可行驶区域识别方法 |
| CN111413983A (zh) * | 2020-04-08 | 2020-07-14 | 江苏盛海智能科技有限公司 | 一种无人驾驶车辆的环境感知方法及控制端 |
| CN112750194A (zh) * | 2020-05-15 | 2021-05-04 | 奕目(上海)科技有限公司 | 一种无人驾驶汽车避障方法、装置 |
| CN111814667A (zh) * | 2020-07-08 | 2020-10-23 | 山东浪潮云服务信息科技有限公司 | 一种智能路况识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| BERRY_K: "体素化（Voxelization）", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/qq_34420188/article/details/57968704> * |
| 朱卓，刘云飞，汪坤等: "一种基于体素八叉树的碰撞算法研究", 《河南科技》, no. 34, pages 39 - 43 * |
| 段伟伟，罗健欣，倪桂强等: "一种基于八叉树的快速体素化方法", 《微型机与应用》, vol. 36, no. 11, pages 247 - 93 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11593950B2 (en) | System and method for movement detection | |
| US10861176B2 (en) | Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data | |
| CN110543814B (zh) | 一种交通灯的识别方法及装置 | |
| CN111126269B (zh) | 三维目标检测方法、装置以及存储介质 | |
| US11482014B2 (en) | 3D auto-labeling with structural and physical constraints | |
| US11436743B2 (en) | Systems and methods for semi-supervised depth estimation according to an arbitrary camera | |
| US11433902B2 (en) | Methods and systems for computer-based determining of presence of dynamic objects | |
| CN114474061B (zh) | 基于云服务的机器人多传感器融合定位导航***及方法 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测*** | |
| US11294387B2 (en) | Systems and methods for training a vehicle to autonomously drive a route | |
| EP4047565A1 (en) | Low level sensor fusion based on lightweight semantic segmentation of 3d point clouds | |
| CN115876198A (zh) | 基于数据融合的目标检测及预警方法、设备、***和介质 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN110969064A (zh) | 一种基于单目视觉的图像检测方法、装置及存储设备 | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| CN113988172A (zh) | 一种基于多模态融合的自主***感知方法及*** | |
| CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
| CN114332494A (zh) | 车路协同场景下基于多源融合的三维目标检测与识别方法 | |
| Ennajar et al. | Deep multi-modal object detection for autonomous driving | |
| US20240151855A1 (en) | Lidar-based object tracking | |
| CN113610970A (zh) | 一种自动驾驶***、装置及方法 | |
| CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
| CN112766100A (zh) | 一种基于关键点的3d目标检测方法 | |
| John et al. | Sensor fusion and registration of lidar and stereo camera without calibration objects | |
| Yang et al. | Analysis of Model Optimization Strategies for a Low-Resolution Camera-Lidar Fusion Based Road Detection Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |