CN107235044B - 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 - Google Patents
一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 Download PDFInfo
- Publication number
- CN107235044B CN107235044B CN201710401034.5A CN201710401034A CN107235044B CN 107235044 B CN107235044 B CN 107235044B CN 201710401034 A CN201710401034 A CN 201710401034A CN 107235044 B CN107235044 B CN 107235044B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data
- barrier
- traffic
- driving behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 241001269238 Data Species 0.000 title claims abstract description 19
- 230000004888 barrier function Effects 0.000 claims abstract description 41
- 230000009467 reduction Effects 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000009795 derivation Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012827 research and development Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法，通过多传感数据，多还原算法融合实现了道路交通场景和司机驾驶行为的精确还原，具体包括：多源数据相互校正实现车辆行驶轨迹精确还原；基于单目视觉和毫米波雷达实现对障碍物速度和距离的精确测量；多源数据融合生成<道路交通场景，驾驶行为>数据对。本发明克服了现有还原技术数据源单一，较为依赖昂贵设备获得高质量数据，且还原精度较低的缺陷。
Description
技术领域
本发明属于智能交通和图像识别领域，特别涉及一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法。
背景技术
汽车要实现真正的无人驾驶，它必须能够感知和识别周围的物体，并且要知道自己的确切位置。这两方面都是无人驾驶技术的核心。司机一系列驾驶行为的做出，都是依据当时所处的交通环境，无论是自动驾驶算法的研究，还是辅助司机驾驶，在汽车行驶过程中随时感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行***的运算与分析，都是十分重要的。
现阶段主流无人驾驶研发技术中，都选择了激光雷达作为感知设备。激光雷达的优势在于其探测范围更广，探测精度更高。但是，激光雷达的缺点也很明显，在雨雪雾等极端天气下性能较差，采集的数据量十分庞大也十分昂贵。作为ADAS不可或缺的核心传感器类型，毫米波雷达技术相对成熟。但毫米波雷达的缺点也十分直观，探测距离受到频段损耗的直接制约，也无法感知行人，并且对周边所有障碍物无法进行精准的建模。
视觉是人类认知世界最重要的功能手段，生物学研究表明，人类获取外界信息75％依靠视觉***，而在驾驶环境中这一比例甚至高达90％，如果能够将人类视觉***应用到自动驾驶领域，无疑将会大幅度提高自动驾驶的准确性。
针对这种情况，本发明提出的方法中，结合了单目视觉和雷达两种数据实现车外场景精确感知。单目视觉利用卷积神经网络实现的目标检测可扩展性更高，不仅可以通过修改召回率获得更多的目标检测结果从而避免雷达对部分障碍物无法识别的问题，也可以通过不断训练新模型，适应不同交通场景，不断增加可以识别的障碍物；借助毫米波雷达的精确数据，可以实现对单目视觉中摄像机参数的反向校正，提高测距测速算法精度，同时辅助单目视觉的目标检测。现有的车辆轨迹还原算法，其精度依赖于高质量的数据，针对这种情况，本发明实现了二维和三维还原算法的融合，同时借助单目视觉数据和GPS数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，轨迹还原结果的精度更高。
在还原得到的数据对基础上可以研究实现面向复杂环境的自动驾驶决策控制***深度学习技术，从而使自动驾驶***通过数据驱动的自学逐步形成良好的驾驶习惯，同时可以帮助改善司机驾驶习惯，也可以作为研发厂商制定发展战略和有关部门政策制定和实施的重要借鉴依据。
发明内容
本发明解决的主要问题是通过在车辆上布设的各类传感设备，采集存储车辆在实际道路行驶过程中各种行车场景数据，利用统计分析、数据挖掘等大数据知识，从数据维度、车型维度、时间维度、地域维度等多角度，深入分析、比较用户驾驶行为，发现驾驶行为共性和个性。利用基于深度学习的图像场景理解，借助雷达数据进一步对数据进行标注，还原车外交通场景，最终形成<交通场景，驾驶行为>的数据对。克服现有还原技术数据源单一，较为依赖昂贵设备获得高质量数据，且还原精度较低的缺陷，提供一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法。
本发明技术解决方案：一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法，通过多传感数据，多还原算法融合实现了道路交通场景和司机驾驶行为的精确还原，具体包括：多源数据相互校正实现车辆行驶轨迹精确还原；基于单目视觉和毫米波雷达实现对障碍物速度和距离的精确测量；多源数据融合生成<道路交通场景，驾驶行为>数据对。
具体实现如下：
(1)以陀螺仪、加速度计、GPS数据为基础，单目摄像头数据作为辅助，将二维和三维还原算法相结合，进行GPS数据和陀螺仪加速度计数据之间的相互校正，做到车辆行驶轨迹的精确还原，得到车辆的行驶轨迹；
(2)在CAN总线数据和OBD数据的基础上，还原司机在各种场景下的具体操作，包括打灯、方向盘控制、油门和刹车控制；
(3)借助单目摄像头和雷达，利用卷积神经网络，完成对车外交通参与物的目标检测，得到车辆周边障碍物的种类；
(4)借助单目摄像头数据，利用几何关系法，实现对障碍物距离的粗测量，借助毫米波雷达数据，获取障碍物与本车的精确距离，并在此距离的基础上反向对摄像机参数的标定，同时借助车道线平行的关系也可标定摄像机俯仰角，两种标定结果相互验证，得到准确的摄像机俯仰角，用于其他障碍物距离测量，最终得到车辆周边障碍物与本车的精确距离；
(5)以单目摄像头数据为基础实现对车辆前方单向车道内障碍物速度的测量，以毫米波雷达为基础，对前方单向车道之外的交通参与物的速度测量，得到车辆周边障碍物与本车的相对速度；
(6)将步骤(1)得到的车辆行驶轨迹，步骤(2)得到的司机具体操作行为，步骤(3)得到的障碍物的种类，步骤(4)得到的障碍物与本车的距离，步骤(5)得到的障碍物与本车的相对速度进行多还原结果的融合，生成<交通场景，驾驶行为>数据对，所述交通场景指：车辆周边各种交通参与物的种类，包括行人、车辆、骑自行车的人、交通标志；交通参与物的状态，包括运动物体的距离和相对速度，道路的拓扑信息，交通标志；所述驾驶行为指司机在车内的具体操作，包括打灯，方向盘控制，油门和刹车控制及车辆行驶轨迹。
所述步骤(1)具体实现下：
(11)在三维尺度上，解析车辆坐标系相对参考坐标系之间的方位关系，解析车辆坐标系相对参考坐标系之间的方位关系采用四元数法，将四元数法与Kalman滤波算法相结合，提高SINS的姿态解算精度和实时性；
(12)借助单目视觉数据和GPS数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，得到更加精确的车辆行驶轨迹。
所述步骤(2)具体实现下：
基于CAN总线和OBD接口可以获取到的各种行车信息，包括速度、油耗、方向盘、转向灯、油门、刹车踏板，这些数据被终端上传到服务器，利用统计分析、数据挖掘的大数据知识，还原司机如何通过对方向盘、刹车踏板、油门踏板、转向灯、其他灯光的操作来控制车辆行驶，将每一个具体操作都标记上对应时间，方便与后续与其他数据进行融合。
所述步骤(3)具体实现下：
(31)借助Faster-RCNN卷积神经网络，把目标检测的四个步骤，即候选区域生成，特征提取，分类和Bounding Box回归，统一到一个深度网络框架之内，实现对视野内交通参与物的目标检测，用对应矩形框标出，并得到置信度；
(32)毫米波雷达识别得到车辆周边障碍物，并记录下对应时间。
所述步骤(4)具体实现下：
(41)根据摄像机投影模型，通过几何推导来得到路面坐标系和图像坐标系之间的关系，摄像机拍摄得到的路平面是梯形区域，对应平面坐标系中的平面区域，路面坐标系与平面坐标系之间的点一一对应；
(42)分别求取障碍物矩形框底边的图像平面坐标和图像平面底边中点的图像平面坐标，并通过几何关系推导为路面平面坐标；
(43)将步骤(42)中得到的两个路面坐标套用两点距离公式，得到两点之间的距离；
(44)利用毫米波雷达实现对某一障碍物距离的精确测量，通过几何关系推导法反向求解，对摄像机参数重新进行标定，摄像机参数是指摄像机俯仰角，求得准确的摄像机俯仰角；
(45)同时，利用机器视觉算法来获得图像平面中车道标志线，再利用两点确定一条直线的方法，确定图像中车道标志线所对应道路平面上的直线，由两条直线平行的关系求解摄像机俯仰角；
(46)将步骤(44)、(45)得到的摄像机参数相互验证，实时求解得到精确地摄像机俯仰角，用于其他障碍物距离的测量中，得到障碍物与本车的精确距离。
所述步骤(5)具体实现下：
(51)采用步骤(4)的方法，得到前方车辆在第N帧图像与第N+K帧图像时，与本车的两个距离S1，S2；
(52)根据本车车速，第N帧图像与第N+K帧图像之间的时间差T，计算出本车行驶的距离S3；
(53)计算前车行驶距离S＝S2+S3-S1；
(54)计算车速V＝S/T；对于不在车辆前向车道内的交通参与物，速度的测量依靠毫米波雷达，最终得到车辆周边障碍物与本车的相对速度。
所述步骤(6)具体实现下：
(61)将得到的车辆行驶轨迹，司机具体操作行为，周边障碍物的种类，障碍物的与本车的距离，障碍物与本车的相对速度分别进行时间标记；
(62)将上述还原结果，以时间作为唯一主键进行连接，时间相同的数据融合在一起，形成<交通场景，驾驶行为>数据对。
本发明与现有技术相比的优点在于：
本发明提出的基于多传感数据的交通场景还原方法，可以最终形成<交通场景，驾驶行为>的数据对，且还原精度较高。
在车辆轨迹还原中，实现了二维和三维还原算法的融合，同时借助单目视觉数据和GPS数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，轨迹还原结果的精度更高。在目标检测和障碍物距离速度的测量中，同时利用了单目视觉和毫米波雷达，一方面，单目视觉利用卷积神经网络实现的目标检测可扩展性更高，不仅可以通过修改召回率获得更多的目标检测结果从而避免雷达对部分障碍物无法识别的问题，也可以通过不断训练新模型，适应不同交通场景，不断增加可以识别的障碍物；另一方面，借助毫米波雷达的精确数据，可以实现对单目视觉中摄像机参数的反向校正，提高测距测速算法精度。
同时，在还原得到的数据对基础上可以研究实现面向复杂环境的自动驾驶决策控制***深度学习技术，从而使自动驾驶***通过数据驱动的自学逐步形成良好的驾驶习惯，生成符合中国交通特点和驾驶习惯的动态响应与自主决策能力，提升自动驾驶的安全性与有效性；可以帮助改善司机驾驶习惯；也可以作为研发厂商制定发展战略和有关部门政策制定和实施的重要借鉴依据。
附图说明
图1为本发明方法的原理图；
图2为本发明中的轨迹还原流程图；
图3为本发明中摄像机投影模型，其中上图为投影关系，下图为投影平面。
具体实施方式
如图1所示，在驾驶过程中，司机一系列操作的做出，是依据当时周边的交通情况，如周边主要交通参与物的运动状态，交通标志，交通信号灯，天气情况，道路情况等。本发明的功能主要在于：基于CAN总线、OBD、陀螺仪、加速度计、GPS/BD、毫米波雷达和单目摄像头等多传感器数据，实现对车外道路交通场景的还原和司机驾驶行为的还原，形成<交通场景，驾驶行为>数据对。交通场景主要包括：车辆周边各种交通参与物的种类，如行人、车辆、骑自行车的人、交通标志；交通参与物的状态，如运动物体的距离和相对速度，道路的拓扑信息，交通标志。司机驾驶行为主要包括：司机在车内的具体操作，如打灯，方向盘控制，油门和刹车控制，以及车辆行驶轨迹。
1.车辆行驶轨迹还原
(1)在三维尺度上，解析车辆坐标系相对参考坐标系之间的方位关系。目前，SINS中描述载体运动坐标系相对参考坐标系之间方位关系的方法主要有欧拉角法、方向余弦法、三角函数法、Rodrigues参数法、四元数法和等效旋转矢量法，将重点放在四元数法上面，并将四元数法与Kalman滤波算法相结合，提高SINS的姿态解算精度和实时性；
(2)借助单目视觉数据和GPS数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，得到更加精确的车辆行驶轨迹。
2.基于CAN总线和OBD数据分析司机驾驶行为
基于CAN总线和OBD接口可以获取到的各种行车信息，如速度、油耗、方向盘、转向灯、油门、刹车踏板等，这些数据可以被终端上传到服务器，利用统计分析、数据挖掘等大数据知识，还原司机如何通过对方向盘、刹车踏板、油门踏板、转向灯、其他灯光等的操作来控制车辆行驶。将每一个具体操作都标记上对应时间，方便与后续与其他数据进行融合。
3.基于单目机器视觉和毫米波雷达实现对距离的精确测量
(1)借助Faster-RCNN卷积神经网络，把目标检测的四个步骤(候选区域生成，特征提取，分类和Bounding Box回归)统一到一个深度网络框架之内，实现对视野内交通参与物的目标检测，用对应矩形框标出；
(2)根据摄像机投影模型，通过几何推导来得到路面坐标系和图像坐标系之间的关系。如图3所示。在图3上图中，平面ABU代表路平面，ABCD为摄像机拍摄到的路平面上的梯形区域，O点为摄像机镜头中心点，OG为摄像机光轴，G点为摄像机光轴和路平面的交点，I点为O点在路平面上的垂直投影。在路面坐标系中，将G点定义为坐标原点，车辆前进方向定义为Y轴方向。GABCD各点在图像平面内的对应点如图3下图所示，abcd为像平面矩形的四个端点，H和W分别为像平面的高和宽。定义图像矩形的中点g为像平面坐标系的坐标原点，y轴代表车辆前进方向；
(3)分别求取障碍物矩形框底边的图像平面坐标和图像平面底边中点的图像平面坐标，并通过几何关系推导为路面平面坐标；
(4)将(3)中得到的两个路面坐标套用两点距离公式，得到两点之间的距离；
(5)利用毫米波雷达实现对某一障碍物距离的精确测量，通过几何关系推导法反向求解，对摄像机参数重新进行标定，摄像机参数是指摄像机俯仰角，求得准确的摄像机俯仰角；
(6)同时，在实际道路环境中，由于标志线是平行线，故可以先利用机器视觉算法来获得图像平面中车道标志线，再利用两点确定一条直线的方法，确定图像中车道标志线所对应道路平面上的直线，由两条直线平行的关系求解摄像机俯仰角，而一直不是采用初始化时标定好的摄像机俯仰角；
(7)将步骤(5)、(6)得到的摄像机参数相互验证，实时求解得到精确地摄像机俯仰角，用于其他障碍物距离的测量中，得到障碍物与本车的精确距离。
4.基于单目机器视觉和毫米波雷达实现对速度的精确测量
通过拍摄前方运动物体运动图像序列，然后对这些图像序列使用图像处理以及视觉测量技术进行分析，计算测量得到前方物体在两帧图像之间的实时位移，进而计算得到物体实时运动速度。
(1)通过步骤3中的测距方法，得到前方车辆在第N帧图像与第N+K帧图像时，与本车的两个距离S1，S2；
(2)根据本车车速，第N帧图像与第N+K帧图像之间的时间差T，计算出本车行驶的距离S3；
(3)计算前车行驶距离S＝S2+S3-S1；
(4)计算车速V＝S/T。
(5)借助毫米波雷达，获取准确速度值，用来修正单目视觉速度测量算法中的时间偏差和距离偏差，同时实现对不在车辆前向车道内的交通参与物的速度的测量，最终得到车辆周边障碍物与本车的相对速度。
5.数据融合，生成<交通场景，驾驶行为数据>数据对。
(1)将得到的车辆行驶轨迹，司机具体操作行为，周边障碍物的种类，障碍物的与本车的距离，障碍物与本车的相对速度分别进行时间标记；
(2)将上述还原结果，以时间作为唯一主键进行连接，时间相同的数据融合在一起，形成<交通场景，驾驶行为>数据对。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (7)
1.一种基于多传感数据实现对道路交通场景和司机驾驶行为还原的方法，其特征在于包括以下步骤：
（1）以陀螺仪、加速度计、GPS数据为基础，单目摄像头数据作为辅助，将二维和三维还原算法相结合，进行GPS数据和陀螺仪加速度计数据之间的相互校正，做到车辆行驶轨迹的精确还原，得到车辆的行驶轨迹；
（2）在CAN总线数据和OBD数据的基础上，还原司机在各种场景下的具体操作，包括打灯、方向盘控制、油门和刹车控制；
（3）借助单目摄像头和毫米波雷达，利用卷积神经网络，完成对车外交通参与物的目标检测，得到车辆周边障碍物的种类；
（4）借助单目摄像头数据，利用几何关系法，实现对障碍物距离的粗测量，借助毫米波雷达数据，获取障碍物与本车的精确距离，并在此距离的基础上反向对单目摄像头参数的标定，同时借助车道线平行的关系也可标定单目摄像头俯仰角，两种标定结果相互验证，得到准确的单目摄像头俯仰角，用于其他障碍物距离测量，最终得到车辆周边障碍物与本车的精确距离；
（5）以单目摄像头数据为基础实现对车辆前方单向车道内障碍物速度的测量，以毫米波雷达为基础，对前方单向车道之外的交通参与物的速度测量，得到车辆周边障碍物与本车的相对速度；
（6）将步骤（1）得到的车辆行驶轨迹，步骤（2）得到的司机具体操作行为，步骤（3）得到的障碍物的种类，步骤（4）得到的障碍物与本车的距离，步骤（5）得到的障碍物与本车的相对速度进行多还原结果的融合，生成<交通场景，驾驶行为>数据对，所述交通场景指：车辆周边各种交通参与物的种类，包括行人、车辆、骑自行车的人、交通标志；交通参与物的状态，包括运动物体的距离和相对速度，道路的拓扑信息，交通标志；所述驾驶行为指司机在车内的具体操作，包括打灯，方向盘控制，油门和刹车控制及车辆行驶轨迹。
2.根据权利要求1所述的基于多传感数据实现对道路交通场景和司机驾驶行为还原的方法，其特征在于：所述步骤（1）具体实现下：
（11）在三维尺度上，解析车辆坐标系相对参考坐标系之间的方位关系，解析车辆坐标系相对参考坐标系之间的方位关系采用四元数法，将四元数法与Kalman滤波算法相结合，提高SINS的姿态解算精度和实时性；
（12）借助单目视觉数据和GPS数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，得到更加精确的车辆行驶轨迹。
3.根据权利要求1所述的基于多传感数据实现对道路交通场景和司机驾驶行为还原的方法，其特征在于：所述步骤（2）具体实现下：
基于CAN总线和OBD接口可以获取到的各种行车信息，包括速度、油耗、方向盘、转向灯、油门、刹车踏板，这些数据被终端上传到服务器，利用统计分析、数据挖掘的大数据知识，还原司机如何通过对方向盘、刹车踏板、油门踏板、转向灯、其他灯光的操作来控制车辆行驶，将每一个具体操作都标记上对应时间，方便与后续与其他数据进行融合。
4.根据权利要求1所述的基于多传感数据实现对道路交通场景和司机驾驶行为还原的方法，其特征在于：所述步骤（3）具体实现下：
（31）借助Faster-RCNN卷积神经网络，把目标检测的四个步骤，即候选区域生成，特征提取，分类和Bounding Box回归，统一到一个深度网络框架之内，实现对视野内交通参与物的目标检测，用对应矩形框标出，并得到置信度；
（32）毫米波雷达识别得到车辆周边障碍物，并记录下对应时间。
5.根据权利要求1所述的基于多传感数据实现对道路交通场景和司机驾驶行为还原的方法，其特征在于：所述步骤（4）具体实现下：
（41）根据单目摄像头投影模型，通过几何推导来得到路面坐标系和图像坐标系之间的关系，单目摄像头拍摄得到的路平面是梯形区域，对应平面坐标系中的平面区域，路面坐标系与平面坐标系之间的点一一对应；
（42）分别求取障碍物矩形框底边的图像平面坐标和图像平面底边中点的图像平面坐标，并通过几何关系推导为路面平面坐标；
（43）将步骤（42）中得到的两个路面坐标套用两点距离公式，得到两点之间的距离；
（44）利用毫米波雷达实现对某一障碍物距离的精确测量，通过几何关系推导法反向求解，对单目摄像头参数重新进行标定，单目摄像头参数是指单目摄像头俯仰角，求得准确的单目摄像头俯仰角；
（45）同时，利用机器视觉算法来获得图像平面中车道标志线，再利用两点确定一条直线的方法，确定图像中车道标志线所对应道路平面上的直线，由两条直线平行的关系求解单目摄像头俯仰角；
（46）将步骤（44）、（45）得到的单目摄像头参数相互验证，实时求解得到精确地单目摄像头俯仰角，用于其他障碍物距离的测量中，得到障碍物与本车的精确距离。
6.根据权利要求1所述的基于多传感数据实现对道路交通场景和司机驾驶行为还原的方法，其特征在于：所述步骤（5）具体实现下：
（51）采用步骤（4）的测距方法，得到前方车辆在第N帧图像与第N+K帧图像时，与本车的两个距离S1，S2；
（52）根据本车车速，第N帧图像与第N+K帧图像之间的时间差T，计算出本车行驶的距离S3；
（53）计算前车行驶距离S=S2+S3-S1；
（54）计算车速V=S/T；对于不在车辆前向车道内的交通参与物，速度的测量依靠毫米波雷达，最终得到车辆周边障碍物与本车的相对速度。
7.根据权利要求1所述的基于多传感数据实现对道路交通场景和司机驾驶行为还原的方法，其特征在于：所述步骤（6）具体实现下：
（61）将得到的车辆行驶轨迹，司机具体操作行为，周边障碍物的种类，障碍物的与本车的距离，障碍物与本车的相对速度分别进行时间标记；
（62）将上述还原结果，以时间作为唯一主键进行连接，时间相同的数据融合在一起，形成<交通场景，驾驶行为>数据对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710401034.5A CN107235044B (zh) | 2017-05-31 | 2017-05-31 | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710401034.5A CN107235044B (zh) | 2017-05-31 | 2017-05-31 | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107235044A CN107235044A (zh) | 2017-10-10 |
| CN107235044B true CN107235044B (zh) | 2019-05-28 |
Family
ID=59984711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710401034.5A Active CN107235044B (zh) | 2017-05-31 | 2017-05-31 | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107235044B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960183A (zh) * | 2018-07-19 | 2018-12-07 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别***及方法 |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107499262A (zh) * | 2017-10-17 | 2017-12-22 | 芜湖伯特利汽车安全***股份有限公司 | 基于机器学习的acc/aeb***及车辆 |
| KR102334158B1 (ko) * | 2017-10-30 | 2021-12-02 | 현대모비스 주식회사 | 자동 긴급 제동장치 및 그 제어방법 |
| CN108196535B (zh) * | 2017-12-12 | 2021-09-07 | 清华大学苏州汽车研究院（吴江） | 基于增强学习和多传感器融合的自动驾驶*** |
| CN108227707B (zh) * | 2017-12-25 | 2021-11-26 | 清华大学苏州汽车研究院（吴江） | 基于激光雷达和端到端深度学习方法的自动驾驶方法 |
| CN109974687A (zh) * | 2017-12-28 | 2019-07-05 | 周秦娜 | 一种基于深度摄像头的多传感器室内协同定位方法、装置及*** |
| CN108596081B (zh) * | 2018-04-23 | 2021-04-20 | 吉林大学 | 一种基于雷达和摄像机融合的车辆行人探测方法 |
| CN109061706A (zh) * | 2018-07-17 | 2018-12-21 | 江苏新通达电子科技股份有限公司 | 一种基于T-Box和实时路况地图数据的车辆驾驶行为分析的方法 |
| CN109002800A (zh) * | 2018-07-20 | 2018-12-14 | 苏州索亚机器人技术有限公司 | 基于多传感器融合的三维目标实时识别机构及识别方法 |
| CN108983219B (zh) * | 2018-08-17 | 2020-04-07 | 北京航空航天大学 | 一种交通场景的图像信息和雷达信息的融合方法及*** |
| CN109263649B (zh) * | 2018-08-21 | 2021-09-17 | 北京汽车股份有限公司 | 车辆及其自动驾驶模式下的物体识别方法和物体识别*** |
| CN110901638B (zh) * | 2018-08-28 | 2021-05-28 | 大陆泰密克汽车***（上海）有限公司 | 驾驶辅助方法及*** |
| CN111267863B (zh) * | 2018-12-04 | 2021-03-19 | 广州汽车集团股份有限公司 | 驾驶员驾驶类型识别方法、装置、存储介质及终端设备 |
| CN109606374B (zh) * | 2018-12-28 | 2020-07-10 | 智博汽车科技(上海)有限公司 | 车辆、用于验证电子地平线的油耗数据的方法和装置 |
| US11126179B2 (en) * | 2019-02-21 | 2021-09-21 | Zoox, Inc. | Motion prediction based on appearance |
| CN110068818A (zh) * | 2019-05-05 | 2019-07-30 | 中国汽车工程研究院股份有限公司 | 通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法 |
| CN110309741B (zh) * | 2019-06-19 | 2022-03-08 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法及装置 |
| JP7088137B2 (ja) * | 2019-07-26 | 2022-06-21 | トヨタ自動車株式会社 | 信号機情報管理システム |
| CN110497914B (zh) * | 2019-08-26 | 2020-10-30 | 格物汽车科技(苏州)有限公司 | 自动驾驶的驾驶员行为模型开发方法、设备和存储介质 |
| CN110751836A (zh) * | 2019-09-26 | 2020-02-04 | 武汉光庭信息技术股份有限公司 | 车辆行驶预警方法及*** |
| CN110853393B (zh) * | 2019-11-26 | 2020-12-11 | 清华大学 | 智能网联车辆测试场数据采集与融合方法及*** |
| JP7412254B2 (ja) * | 2020-04-02 | 2024-01-12 | 三菱電機株式会社 | 物体認識装置および物体認識方法 |
| CN111564051B (zh) * | 2020-04-28 | 2021-07-20 | 安徽江淮汽车集团股份有限公司 | 自动驾驶汽车安全行车控制方法、装置、设备及存储介质 |
| CN111681422A (zh) * | 2020-06-16 | 2020-09-18 | 衢州量智科技有限公司 | 一种用于隧道道路的管理方法和*** |
| CN111879314B (zh) * | 2020-08-10 | 2022-08-02 | 中国铁建重工集团股份有限公司 | 一种多传感器融合的巷道掘进装备实时定位***和方法 |
| CN113379945A (zh) * | 2021-07-26 | 2021-09-10 | 陕西天行健车联网信息技术有限公司 | 一种车辆驾驶行为分析装置、方法及*** |
| CN113947893A (zh) * | 2021-09-03 | 2022-01-18 | 网络通信与安全紫金山实验室 | 一种自动驾驶车辆行车场景还原方法及*** |
| CN113642548B (zh) * | 2021-10-18 | 2022-03-25 | 氢山科技有限公司 | 氢能运输车的异常驾驶行为检测、装置和计算机设备 |
| CN116204791B (zh) * | 2023-04-25 | 2023-08-11 | 山东港口渤海湾港集团有限公司 | 车辆行为预测场景数据集的构建和管理方法及其*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010014090A (ja) * | 2008-07-07 | 2010-01-21 | Toyota Motor Corp | 車両の制御装置 |
| CN101908272A (zh) * | 2010-07-20 | 2010-12-08 | 南京理工大学 | 基于移动信息的交通安全感知网 |
| KR20170028631A (ko) * | 2015-09-04 | 2017-03-14 | (주) 이즈테크놀로지 | 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101526386B1 (ko) * | 2013-07-10 | 2015-06-08 | 현대자동차 주식회사 | 도로 정보 처리 장치 및 도로 정보 처리 방법 |
-
2017
- 2017-05-31 CN CN201710401034.5A patent/CN107235044B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010014090A (ja) * | 2008-07-07 | 2010-01-21 | Toyota Motor Corp | 車両の制御装置 |
| CN101908272A (zh) * | 2010-07-20 | 2010-12-08 | 南京理工大学 | 基于移动信息的交通安全感知网 |
| KR20170028631A (ko) * | 2015-09-04 | 2017-03-14 | (주) 이즈테크놀로지 | 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| 基于潜变量的驾驶员路径选择行为分析;张文娜 李军;《科学技术与工程》;20170217;第16卷(第34期);280-284 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960183A (zh) * | 2018-07-19 | 2018-12-07 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别***及方法 |
| CN108960183B (zh) * | 2018-07-19 | 2020-06-02 | 北京航空航天大学 | 一种基于多传感器融合的弯道目标识别***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107235044A (zh) | 2017-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107235044B (zh) | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 | |
| US11676296B2 (en) | Augmenting reality using semantic segmentation | |
| US11067693B2 (en) | System and method for calibrating a LIDAR and a camera together using semantic segmentation | |
| CN108196535B (zh) | 基于增强学习和多传感器融合的自动驾驶*** | |
| CN111448478B (zh) | 用于基于障碍物检测校正高清地图的***和方法 | |
| Cai et al. | Probabilistic end-to-end vehicle navigation in complex dynamic environments with multimodal sensor fusion | |
| CN109583415B (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
| CN109931939B (zh) | 车辆的定位方法、装置、设备及计算机可读存储介质 | |
| US8791996B2 (en) | Image processing system and position measurement system | |
| EP2372308B1 (en) | Image processing system and vehicle control system | |
| CN102208036B (zh) | 车辆位置检测*** | |
| KR102091580B1 (ko) | 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법 | |
| CN110531376A (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| EP2372607A2 (en) | Scene matching reference data generation system and position measurement system | |
| CN111771207A (zh) | 增强的车辆跟踪 | |
| Levinson | Automatic laser calibration, mapping, and localization for autonomous vehicles | |
| Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
| CN113544467A (zh) | 对齐用于导航的道路信息 | |
| CN112861748B (zh) | 一种自动驾驶中的红绿灯检测***及方法 | |
| Amaradi et al. | Lane following and obstacle detection techniques in autonomous driving vehicles | |
| CN111649740B (zh) | 一种基于imu进行车辆高精度定位的方法及*** | |
| CN109583312A (zh) | 车道线识别方法、装置、设备及存储介质 | |
| CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
| Masi et al. | Augmented perception with cooperative roadside vision systems for autonomous driving in complex scenarios | |
| WO2022230739A1 (ja) | 物体追跡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210824 Address after: 100191 045, 2f, commercial garage, No. 17, Zhichun Road, Haidian District, Beijing Patentee after: Chuangketianxia (Beijing) Technology Development Co.,Ltd. Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road Patentee before: BEIHANG University |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171010 Assignee: Beijing Zhimou Technology Development Co.,Ltd. Assignor: Chuangketianxia (Beijing) Technology Development Co.,Ltd. Contract record no.: X2023990000843 Denomination of invention: A Method for Restoring Road Traffic Scenarios and Driver Driving Behavior Based on Multi sensor Data Granted publication date: 20190528 License type: Exclusive License Record date: 20231008 |