CN113495555A - 驾驶规则提取装置和方法、制定装置和方法以及存储介质 - Google Patents
驾驶规则提取装置和方法、制定装置和方法以及存储介质 Download PDFInfo
- Publication number
- CN113495555A CN113495555A CN202010201215.5A CN202010201215A CN113495555A CN 113495555 A CN113495555 A CN 113495555A CN 202010201215 A CN202010201215 A CN 202010201215A CN 113495555 A CN113495555 A CN 113495555A
- Authority
- CN
- China
- Prior art keywords
- data
- scene
- driving
- signals
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims description 45
- 238000009472 formulation Methods 0.000 title description 8
- 239000000203 mixture Substances 0.000 title description 8
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 description 8
- 241000282412 Homo Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004962 physiological condition Effects 0.000 description 3
- 208000010496 Heart Arrest Diseases 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种驾驶规则提取装置，其包括：场景获取单元，其配置成获取驾驶场景信息；数据采集单元，其配置成接收来自车辆的传感器数据；以及数据处理单元，其配置成接收所述驾驶场景信息并据此生成场景数据，接收所述传感器数据并据此生成操作数据，并且建立所述场景数据与所述操作数据的对应关系。
Description
技术领域
本申请涉及一种形成驾驶员模型的领域，具体而言，涉及一种驾驶规则提取装置、驾驶规则提取方法、驾驶规则制定装置、驾驶规则制定方法以及计算机可读存储介质。
背景技术
随着经济的不断高速发展，我国机动车数量在逐年增加，但与此同时，交通事故也在逐年增加。交通部的统计信息显示，驾驶员不正确的驾驶行为，是造成交通事故的重要原因之一，每年造成的直接经济损失可达数十亿美元。此外，在某些情况下需要高可靠性的自动驾驶技术。此次新型冠状病毒肆虐，人类驾驶员可能受制于防疫需求并不能随意行动，如果能使用高可靠性的自动驾驶技术，那么为疫区内外提供不间断的物流服务将变得更加容易。
另一方面，自动驾驶技术的研究已成为当下汽车发展的热门课题，而算法开发又是自动驾驶技术的核心内容。因此，有必要设计一种驾驶员模型形成机制以实时提取驾驶员在不同场景下的驾驶操作行为习惯，从而为后续自动驾驶算法的优化提供依据。
发明内容
有鉴于此，本发明旨在提供一种能够高效形成驾驶员模型的机制，具体而言：
根据本发明的一方面，提供一种驾驶规则提取装置，其包括：场景获取单元，其配置成获取驾驶场景信息；数据采集单元，其配置成接收来自车辆的传感器数据；以及数据处理单元，其配置成接收所述驾驶场景信息并据此生成场景数据，接收所述传感器数据并据此生成操作数据，并且建立所述场景数据与所述操作数据的对应关系。
在本发明的其他实施例中，可选地，所述驾驶场景信息包括以下至少一者：图像信号、无线电信号、距离信号、定位信号、声学信号以及空气力学信号。
在本发明的其他实施例中，可选地，所述传感器数据包括以下至少一者：踏板力矩、踏板行程、方向盘力矩、方向盘转角、车辆三轴姿态、车速、加速度以及轮胎转角信号。
在本发明的其他实施例中，可选地，所述装置还包括状态获取单元，其配置成获取驾驶人员的状态信息；以及所述数据处理单元还配置成接收所述状态信息并判断所述驾驶人员是否处于正常状态，以及若处于正常状态则建立所述场景数据与所述操作数据的对应关系。
在本发明的其他实施例中，可选地，所述状态信息包括以下至少一者：图像信号、生理参数信号以及安全带扣紧信号。
在本发明的其他实施例中，可选地，所述装置还包括数据存储单元，其配置成存储所述场景数据、所述操作数据及其对应关系。
在本发明的其他实施例中，可选地，所述数据处理单元包括：第一处理模块，其配置成通过神经网络处理所述驾驶场景信息并生成场景数据；第二处理模块，其配置成根据映射规则处理所述传感器数据并生成操作数据；以及第三处理模块，其配置成建立所述场景数据与所述操作数据的对应关系。
在本发明的其他实施例中，可选地，所述装置还包括数据收发单元，所述装置经由所述数据收发单元与互联网进行通信。
在本发明的其他实施例中，可选地，所述第一处理模块还配置成经由网络资源构建所述神经网络的全部或部分。
在本发明的其他实施例中，可选地，所述第二处理模块还配置成全部或部分地经由网络资源处理所述传感器数据。
在本发明的其他实施例中，可选地，所述第三处理模块还配置成将所述场景数据、所述操作数据及其对应关系发送至网络资源。
根据本发明的另一方面，提供一种驾驶规则提取方法，所述方法包括如下步骤：获取驾驶场景信息并据此生成场景数据；接收来自车辆的传感器数据并据此生成操作数据；以及建立所述场景数据与所述操作数据的对应关系。
在本发明的其他实施例中，可选地，所述驾驶场景信息包括以下至少一者：图像信号、无线电信号、距离信号、定位信号、声学信号以及空气力学信号。
在本发明的其他实施例中，可选地，所述传感器数据包括以下至少一者：踏板力矩、踏板行程、方向盘力矩、方向盘转角、车辆三轴姿态、车速、加速度以及轮胎转角信号。
在本发明的其他实施例中，可选地，所述方法还包括：获取驾驶人员的状态信息并判断所述驾驶人员是否处于正常状态；以及若处于正常状态则建立所述场景数据与所述操作数据的对应关系。
在本发明的其他实施例中，可选地，所述状态信息包括以下至少一者：图像信号、生理参数信号以及安全带扣紧信号。
在本发明的其他实施例中，可选地，所述方法还包括：存储所述场景数据、所述操作数据及其对应关系。
在本发明的其他实施例中，可选地，通过神经网络处理所述驾驶场景信息并生成场景数据；根据映射规则处理所述传感器数据并生成操作数据；以及建立所述场景数据与所述操作数据的对应关系。
在本发明的其他实施例中，可选地，所述方法还包括：与互联网进行通信以将以下内容中的至少一者发送至网络资源：驾驶场景信息、传感器数据、场景数据、操作数据及其对应关系。
在本发明的其他实施例中，可选地，与互联网进行通信以经由网络资源构建所述神经网络的全部或部分。
在本发明的其他实施例中，可选地，与互联网进行通信以全部或部分地经由网络资源处理所述传感器数据。
根据本发明的另一方面，提供一种驾驶规则制定装置，所述装置被配置成根据如上文所述的任意一种驾驶规则提取装置或者如上文所述的任意一种驾驶规则提取方法建立的所述对应关系制定驾驶规则。
根据本发明的另一方面，提供一种驾驶规则制定方法，所述方法包括：根据如上文所述的任意一种驾驶规则提取装置或者如上文所述的任意一种驾驶规则提取方法建立的所述对应关系制定驾驶规则。
根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种方法。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示：
图1示出了根据本发明的一个实施例的驾驶规则提取装置。
图2示出了根据本发明的一个实施例的驾驶规则提取装置。
图3示出了根据本发明的一个实施例的驾驶规则提取装置。
图4示出了根据本发明的一个实施例的驾驶规则提取装置。
图5示出了根据本发明的一个实施例的驾驶规则提取装置。
图6示出了根据本发明的一个实施例的驾驶规则提取装置。
图7示出了根据本发明的一个实施例的驾驶规则提取装置。
图8示出了根据本发明的一个实施例的驾驶规则提取方法。
具体实施方式
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的驾驶规则提取装置、驾驶规则提取方法、驾驶规则制定装置、驾驶规则制定方法以及计算机可读存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本专利申请的真实精神和范围。
图1示出了根据本发明的一个实施例的驾驶规则提取装置，这类装置一般而言应当耦合到具体车辆上的，例如，可以将这类装置安装到具体货运卡车上以实现提取驾驶规则。驾驶车辆的驾驶员通常是富有经验且稳重可靠的老司机，因而有时候这类驾驶规则也可称为专家规则。
如图所示，提取装置10包括场景获取单元104、数据采集单元106以及数据处理单元102。其中，提取装置10的场景获取单元104被配置成获取驾驶场景信息。本文中所谓的“驾驶场景信息”是指可以根据其推断出车辆所处的驾驶场景的信息。本文中所谓的“驾驶场景”在车辆运行时所属的场景，包括但不限于以下内容：其他车辆运动状态变化（包含停车、起步、车速维持、车速降低、车速提高）的场景；其他车辆切入及变道场景；其他车辆从当前车道切出的场景；当前车辆执行车道切换的场景；车道线消失的场景；出现交通信号设备及标识的场景。这些场景可能是实际存在的，具有人类可以辨识的物理意义，以上列举的场景都属于这个类别；也可能是由计算设备抽象归纳的，人类不能直接理解这些场景的具体物理含义。即便人类不能直接理解某些场景的具体物理含义，仍然可以根据这些场景建立驾驶员模型。
提取装置10的数据采集单元106被配置成接收来自车辆的传感器数据。通过收集车辆上固有的或者后来添加的传感器的数据可以推算车辆的运动状态，因而还可以进一步推算驾驶人员执行了何种操作。驾驶人员累积的操作可以体现驾驶人员的驾驶习惯，经验丰富的驾驶人员的驾驶习惯可以成为制定驾驶员模型的重要依据。
前文描述的场景获取单元104用于获取驾驶场景信息，数据采集单元106用于收集传感器数据。进一步地，提取装置10的数据处理单元102被配置成接收驾驶场景信息并据此生成场景数据。驾驶场景信息是收集到的自然界的直接物理量，不便于后续存储、分析和利用，因而可以将这些自然界的物理量转换为场景数据，本申请中的场景数据具有良好的机器可识读性，场景数据是对场景信息的一种归纳描述。例如，如果场景信息是“当前车辆执行车道切换”的图像信息，那么归纳的场景数据可以是描述该图像的“当前车辆执行车道切换”这一场景归类，在计算机中可以表现为诸如“Type：0x00BA”这样的描述。类似的，“车道线消失”这一场景归类在计算机中可以表现为“Type：0x0012”这样的描述。
数据处理单元102还被配置成接收传感器数据并据此生成操作数据。驾驶人员执行的操作可以被传感器收集到，通过一个或多个传感器数据的综合可以反推驾驶人员究竟执行了何种操作。作为示例的，例如车速传感器的数据表明从60公里/时下降到0公里/时、加速度传感器的数据表明车辆加速度为-6米/秒2、踏板力传感器的数据表明踏板上施加了较大的力、踏板行程传感器的数据表明踏板行程被压缩至最短位置，这时可以反推驾驶人员实施了紧急制动操作。当然，在一些示例中，以上示出的传感器数据存在冗余，例如，仅根据车速传感器的数据表明从60公里/时下降到0公里/时、加速度传感器的数据表明车辆加速度为-6米/秒2也可以反推驾驶人员实施了紧急制动操作。但冗余的数据可以增加判断的准确性、可靠性。在一些示例中，不同传感器数据的组合可以反推为不同的操作。例如，继续上面的示例，若还接收到的轮胎转角传感器数据表明轮胎向右偏斜15°后又归为向右偏斜0°（即不偏斜），则可以反推驾驶人员同时实施了紧急制动操作和转向变道操作，也就是说驾驶人员向其他车道方向上实施了紧急避险的操作。
提取装置10的数据处理单元102还被配置成建立场景数据与操作数据的对应关系。至此已经可以建立“场景”与“操作”的关联性，这可以更准确地反映驾驶人员在特定场景下的反应，从而为制定自动驾驶测量提供了数据支持。对应关系可以表示为诸如映射关系、调用关系等常用的数据形态。
继续参见图1，在本发明的其他实施例中，提取装置10还包括数据存储单元110，其配置成存储场景数据、操作数据及其对应关系。存储单元110存储的数据可以供后续离线分析使用。例如，实验室的工程人员可以从存储单元110取出数据用于制定专家规则。
图2示出了根据本发明的一个实施例的驾驶规则提取装置，出于简洁考虑，图中省略了说明本实施例所不必要的部件。在本发明的其他实施例中，驾驶场景信息可以包括以下至少一者：图像信号、无线电信号、距离信号、定位信号、声学信号以及空气力学信号。如图2所示，场景获取单元104包括采集模块242和耦合到采集模块242的图像采集设备244、无线电收集设备246和激光雷达248。
场景获取单元104的图像采集设备244可以用于采集车辆周围的可见光信息，图像采集设备244的数量根据需要可以为一个或者多个；若存在多个图像采集设备，图像采集设备244可以一起构成立体采集***，也可以分别独立工作。在一些示例中，为实现特定场景下的信息采集，图像采集设备244还可能用于采集不可见光信息。例如，在光照条件不佳的环境下可以采集红外图像。作为示例的，图像采集设备244可以连续地采集车道线信息、周围车辆图像信息等。
场景获取单元104的无线电收集设备246可以用于采集车辆周围的无线电信号。在规划技术标准中，道路交通基础设施可以具备发送信息的能力。例如，红绿灯在由绿灯转红灯时可以同时发送无线电信号，急转弯处的发射器也可以发送无线电信号，无线电收集设备246可以采集此类无线电信号以便于后续处理设备判断车辆所处的场景或环境。在其他示例中，周围车辆在执行某些操作时也会向周围发射无线电信号，无线电收集设备246也可以采集此类无线电信号。在其他示例中，相关部门可能会通过无线电信号设置“电子禁区”，“电子禁区”一般是与物理边界同时存在的，一般情况下还会以告示牌形式加以说明，无线电收集设备246也可以采集这样的无线电信号。
场景获取单元104的激光雷达248可以用于测量距离，后续处理设备可以根据距离信号形成雷达图像。在一些示例中，距离信号可以立体地呈现车辆所处的场景，后续处理设备可以据此更完整地恢复出车辆所处的场景。在其他示例中，还可以通过声学雷达（声呐）等来测量距离。
此外，场景获取单元104还可以获取定位信号、声学信号和空气力学信号（图中未示出）。在一些示例中，例如，场景获取单元104获取到的定位信号对应到物理世界为一处山路急转弯，那么后续设备可以根据定位信号反推车辆所处的场景为“山路急转弯”。可以经由接收北斗卫星定位***、GPS、格洛纳斯卫星定位***、伽利略卫星定位***等的信号来生成定位信号。在一些示例中，场景获取单元104获取到的声学信号也可用于反推车辆所处的场景。例如，如果当前车辆周围的车辆长时不间断鸣笛，且鸣笛声还伴有多普勒效应，此时可以反推车辆处在一个较为危险的境地（场景）。再如，一些城市的人行横道设有盲人导引装置，这些装置发出一些具有导引目的的声音信号（例如，红灯亮时与绿灯亮时发出不同的声音），可以根据这些信号反推车辆所处的场景。在一些示例中，场景获取单元104获取到的空气力学信号也可用于反推车辆所处的场景。例如，高速公路的某些路段由于地形缘故易生横风，横风可以被传感器捕捉并生成对应的空气力学信号，后续处理设备可以据此反推车辆处于横风场景。
在一些复杂的情况下，场景可能是以上描述的多种场景的复杂组合叠加，此时计算设备可以进行抽象归纳，并在后续形成抽象的场景数据。
图3示出了根据本发明的一个实施例的驾驶规则提取装置，出于简洁考虑，图中省略了说明本实施例所不必要的部件。在本发明的其他实施例中，传感器数据包括以下至少一者：踏板力矩、踏板行程、方向盘力矩、方向盘转角、车辆三轴姿态、车速、加速度以及轮胎转角信号。如图3所示，数据采集单元106包括数据采集主机362和连接到数据采集主机362踏板力传感器3641、踏板行程传感器3642、方向盘力矩/转角传感器3643、车速传感器3644、加速度传感器3645、IMU传感器3645、轮胎转角传感器3646。除此之外，数据采集单元106还可以包括用于采集其他信号值的传感器。在这些传感器中，踏板力传感器3641实时采集踏板的力信号值、踏板行程传感器3642实时采集踏板的行程信号值、方向盘力矩/转角传感器3643实时采集方向盘力矩/方向盘转角信号值、车速传感器3644实时采集车辆的行驶速度信号值、加速度传感器3645实时采集车辆的加速度信号值、IMU传感器3645实时采集车辆的三轴姿态信号值以及轮胎转角传感器3646实时采集轮胎的转角信号值。这些信号将经由数据采集主机362送往数据处理单元102。
图4示出了根据本发明的一个实施例的驾驶规则提取装置，在本发明的其他实施例中，提取装置40包括场景获取单元104、数据采集单元106、状态获取单元408以及数据处理单元102。其中，状态获取单元408配置成获取驾驶人员的状态信息，数据处理单元102还配置成接收状态信息并判断驾驶人员是否处于正常状态，以及若处于正常状态则建立场景数据与操作数据的对应关系。本发明的“正常状态”是指驾驶员专注驾驶，处于合法且合理的驾驶状态。例如，如果驾驶员手持移动电话进行通话，此时驾驶员就不处于“正常状态”，该状态下的操作数据并不一定能反映司机应当在该场景下的采取的动作，应当予以排除。
继续参见图4，在本发明的其他实施例中，提取装置40还包括数据存储单元110，其配置成存储场景数据、操作数据及其对应关系。存储单元110存储的数据可以供后续离线分析使用。例如，实验室的工程人员可以从存储单元110取出数据用于制定专家规则。
图5示出了根据本发明的一个实施例的驾驶规则提取装置，出于简洁考虑，图中省略了说明本实施例所不必要的部件。在本发明的其他实施例中，状态信息包括以下至少一者：图像信号、生理参数信号以及安全带扣紧信号。如图5所示，状态获取单元408包括状态采集模块582和耦合到状态采集模块582的图像采集设备584、安全带锁扣检测模块586以及生理参数传感器588。
其中，图像采集设备584用于采集驾驶员的图像信号，后续处理设备可以根据图像信号判断驾驶员是否处于正常状态。例如，若图像信号反映驾驶员闭眼时间超过1秒钟，则驾驶员可能处于疲劳驾驶状态，不属于正常状态。
安全带锁扣检测模块586用于检测安全带是否扣紧并据此生成安全带扣紧信号。若安全带没有扣紧，则不属于正常状态。
状态获取单元408的生理参数传感器588可以用于检测驾驶员的生理状况并生成生理参数信号。生理参数包括但不限于脉搏情况、血压水平等。尽管图中示出的生理参数传感器588为腕表形态，但本发明的保护范围不限于此，其他可以捕获驾驶员生理状况的传感器也包括在本申请的保护范围之中。作为示例的，若检测到驾驶员的心跳骤停，则不属于正常状态。
如图7所示，在本发明的其他实施例中，数据处理单元102包括第一处理模块7021、第二处理模块7022和第三处理模块7023。其中第一处理模块7021被配置成通过神经网络处理驾驶场景信息并生成场景数据。利用神经网络进行图像信息等分类具有较大优势，因而在本申请的一些示例中利用神经网络处理驾驶场景信息以期望获得较好的场景识别（分类）效果和较快的处理速度。
第二处理模块7022被配置成根据映射规则处理传感器数据并生成操作数据。传感器数据一般比场景信息简单，一种或者多种传感器数据组合一般可以较为精确地反推驾驶员的具体操作，因而在本申请的一些示例中利用映射规则处理传感器数据。映射规则可以是通过诸如查找表、映射表、字典等形式构造的。此外，第三处理模块7023被配置成建立场景数据与操作数据的对应关系。
如图6所示，在本发明的其他实施例中，提取装置10还可以包括数据收发单元602，提取装置10经由数据收发单元602与互联网进行通信，具体而言是与连接到互联网的其他资源（例如处理设备）。数据收发单元602可以例如连接到数据处理单元102，数据处理单元102收发的数据都可以经由数据收发单元602发送到互联网资源，同时数据处理单元102也可以接收来自互联网资源的数据。如图7所示，可以直接向互联网资源发送由场景获取单元104获取的场景信息和由存储单元110存储的数据。
继续参见图7，在本发明的其他实施例中，第一处理模块7021还配置成经由网络资源构建神经网络的全部或部分。一般而言，车载设备的算力可能存在局限，因而可以利用网络资源充当构建神经网络的硬件，从而保障具有可扩展的算力来处理复杂的驾驶场景信息。例如，神经网络的一些层可以通过网络资源构建，或者一些层中的一些节点可以通过网络资源构建。
在本发明的其他实施例中，第二处理模块7022还配置成全部或部分地经由网络资源处理传感器数据。处理映射规则有时也需要较大的硬件开销，因而可以将传感器数据全部通过网络资源处理，也可以一部分通过网络资源处理而另一部分在本地处理。
在本发明的其他实施例中，第三处理模块7023还配置成将场景数据、操作数据及其对应关系发送至网络资源。网络资源在收到场景数据、操作数据及其对应关系后可以分析整理以形成专家规则。
图8示出了根据本发明的一个实施例的驾驶规则提取方法，如图所示，该方法包括如下步骤：在步骤801中获取驾驶场景信息并据此生成场景数据；在步骤802中接收来自车辆的传感器数据并据此生成操作数据；以及在步骤803中建立场景数据与操作数据的对应关系。
在步骤801中获取的“驾驶场景信息”是指可以根据其推断出车辆所处的驾驶场景的信息。本文中所谓的“驾驶场景”在车辆运行时所属的场景，包括但不限于以下内容：其他车辆运动状态变化（包含停车、起步、车速维持、车速降低、车速提高）的场景；其他车辆切入及变道场景；其他车辆从当前车道切出的场景；当前车辆执行车道切换的场景；车道线消失的场景；出现交通信号设备及标识的场景。这些场景可能是实际存在的，具有人类可以辨识的物理意义，以上列举的场景都属于这个类别；也可能是由计算设备抽象归纳的，人类不能直接理解这些场景的具体物理含义。即便人类不能直接理解某些场景的具体物理含义，仍然可以根据这些场景建立驾驶员模型。
在步骤801中根据场景信息生成场景数据。驾驶场景信息是收集到的自然界的直接物理量，不便于后续存储、分析和利用，因而可以将这些自然界的物理量转换为场景数据，本申请中的场景数据具有良好的机器可识读性，场景数据是对场景信息的一种归纳描述。例如，如果场景信息是“当前车辆执行车道切换”的图像信息，那么归纳的场景数据可以是描述该图像的“当前车辆执行车道切换”这一场景归类，在计算机中可以表现为诸如“Type：0x00BA”这样的描述。类似的，“车道线消失”这一场景归类在计算机中可以表现为“Type：0x0012”这样的描述。
在步骤802中接收的传感器数据可以通过车辆上固有的或者后来添加的传感器来收集，根据这些传感器数据可以推算车辆的运动状态，因而还可以进一步推算驾驶人员执行了何种操作。驾驶人员累积的操作可以体现驾驶人员的驾驶习惯，经验丰富的驾驶人员的驾驶习惯可以成为制定驾驶员模型的重要依据。
在步骤802中根据传感器数据生成操作数据。驾驶人员执行的操作可以被传感器收集到，通过一个或多个传感器数据的综合可以反推驾驶人员究竟执行了何种操作。作为示例的，例如车速传感器的数据表明从60公里/时下降到0公里/时、加速度传感器的数据表明车辆加速度为-6米/秒2、踏板力传感器的数据表明踏板上施加了较大的力、踏板行程传感器的数据表明踏板行程被压缩至最短位置，这时可以反推驾驶人员实施了紧急制动操作。当然，在一些示例中，以上示出的传感器数据存在冗余，例如，仅根据车速传感器的数据表明从60公里/时下降到0公里/时、加速度传感器的数据表明车辆加速度为-6米/秒2也可以反推驾驶人员实施了紧急制动操作。但冗余的数据可以增加判断的准确性、可靠性。在一些示例中，不同传感器数据的组合可以反推为不同的操作。例如，继续上面的示例，若还接收到的轮胎转角传感器数据表明轮胎向右偏斜15°后又归为向右偏斜0°（即不偏斜），则可以反推驾驶人员同时实施了紧急制动操作和转向变道操作，也就是说驾驶人员向其他车道方向上实施了紧急避险的操作。
在步骤803中建立场景数据与操作数据的对应关系，至此已经可以建立“场景”与“操作”的关联性，这可以更准确地反映驾驶人员在特定场景下的反应，从而为制定自动驾驶测量提供了数据支持。对应关系可以表示为诸如映射关系、调用关系等常用的数据形态。
在本发明的其他实施例中，驾驶场景信息包括以下至少一者：图像信号、无线电信号、距离信号、定位信号、声学信号以及空气力学信号。
在一些示例中可以采集车辆周围的可见光信息，图像采集设备可以构成立体采集***以采集立体图像，也可以分别独立工作。在一些示例中，为实现特定场景下的信息采集，还可以采集不可见光信息。例如，在光照条件不佳的环境下可以采集红外图像。作为示例的，图像采集设备可以连续地采集车道线信息、周围车辆图像信息等。
在一些示例中可以通过无线电收集设备采集车辆周围的无线电信号。在规划技术标准中，道路交通基础设施可以具备发送信息的能力。例如，红绿灯在由绿灯转红灯时可以同时发送无线电信号，急转弯处的发射器也可以发送无线电信号，无线电收集设备可以采集此类无线电信号以便于后续处理设备判断车辆所处的场景或环境。在其他示例中，周围车辆在执行某些操作时也会向周围发射无线电信号，无线电收集设备也可以采集此类无线电信号。在其他示例中，相关部门可能会通过无线电信号设置“电子禁区”，“电子禁区”一般是与物理边界同时存在的，一般情况下还会以告示牌形式加以说明，无线电收集设备也可以采集这样的无线电信号。
在一些示例中可以通过激光雷达测量距离，后续处理设备可以根据距离信号形成雷达图像。在一些示例中，距离信号可以立体地呈现车辆所处的场景，后续处理设备可以据此更完整地恢复出车辆所处的场景。在其他示例中，还可以通过声学雷达（声呐）等来测量距离。
此外，还可以获取定位信号、声学信号和空气力学信号。在一些示例中，获取到的定位信号对应到物理世界为一处山路急转弯，那么后续设备可以根据定位信号反推车辆所处的场景为“山路急转弯”。可以经由接收北斗卫星定位***、GPS、格洛纳斯卫星定位***、伽利略卫星定位***等的信号来生成定位信号。在一些示例中，获取到的声学信号也可用于反推车辆所处的场景。例如，如果当前车辆周围的车辆长时不间断鸣笛，且鸣笛声还伴有多普勒效应，此时可以反推车辆处在一个较为危险的境地（场景）。再如，一些城市的人行横道设有盲人导引装置，这些装置发出一些具有导引目的的声音信号（例如，红灯亮时与绿灯亮时发出不同的声音），可以根据这些信号反推车辆所处的场景。在一些示例中，获取到的空气力学信号也可用于反推车辆所处的场景。例如，高速公路的某些路段由于地形缘故易生横风，横风可以被传感器捕捉并生成对应的空气力学信号，后续处理设备可以据此反推车辆处于横风场景。
在一些复杂的情况下，场景可能是以上描述的多种场景的复杂组合叠加，此时计算设备可以进行抽象归纳，并在后续形成抽象的场景数据。
在本发明的其他实施例中，传感器数据包括以下至少一者：踏板力矩、踏板行程、方向盘力矩、方向盘转角、车辆三轴姿态、车速、加速度以及轮胎转角信号。例如，可以通过踏板力传感器实时采集踏板的力信号值、踏板行程传感器实时采集踏板的行程信号值、方向盘力矩/转角传感器实时采集方向盘力矩/方向盘转角信号值、车速传感器实时采集车辆的行驶速度信号值、加速度传感器实时采集车辆的加速度信号值、IMU传感器实时采集车辆的三轴姿态信号值以及轮胎转角传感器实时采集轮胎的转角信号值。这些信号将发往数据处理单元供分析。除此之外，还可以通过其他类型的传感器采集其他类型的信号值。
在本发明的其他实施例中，方法还包括：获取驾驶人员的状态信息并判断驾驶人员是否处于正常状态，以及若处于正常状态则建立场景数据与操作数据的对应关系。本发明的“正常状态”是指驾驶员专注驾驶，处于合法且合理的驾驶状态。例如，如果驾驶员手持移动电话进行通话，此时驾驶员就不处于“正常状态”，该状态下的操作数据并不一定能反映司机应当在该场景下的采取的动作，应当予以排除。
在本发明的其他实施例中，状态信息包括以下至少一者：图像信号、生理参数信号以及安全带扣紧信号。例如，可以通过图像采集设备采集驾驶员的图像信号，后续处理设备可以根据图像信号判断驾驶员是否处于正常状态。例如，若图像信号反映驾驶员闭眼时间超过1秒钟，则驾驶员可能处于疲劳驾驶状态，不属于正常状态。可以通过安全带锁扣检测模块检测安全带是否扣紧并据此生成安全带扣紧信号。若安全带没有扣紧，则不属于正常状态。可以通过生理参数传感器检测驾驶员的生理状况并生成生理参数信号。生理参数包括但不限于脉搏情况、血压水平等。作为示例的，若检测到驾驶员的心跳骤停，则不属于正常状态。
在本发明的其他实施例中，该方法还包括如下步骤：存储场景数据、操作数据及其对应关系。例如，可以通过存储单元存储数据以供后续离线分析使用。例如，实验室的工程人员可以从存储单元取出数据用于制定专家规则。
在本发明的其他实施例中，通过神经网络处理驾驶场景信息并生成场景数据，根据映射规则处理传感器数据并生成操作数据，进而建立场景数据与操作数据的对应关系。利用神经网络进行图像信息等分类具有较大优势，因而在本申请的一些示例中利用神经网络处理驾驶场景信息以期望获得较好的场景识别（分类）效果和较快的处理速度。传感器数据一般比场景信息简单，一种或者多种传感器数据组合一般可以较为精确地反推驾驶员的具体操作，因而在本申请的一些示例中利用映射规则处理传感器数据。映射规则可以是通过诸如查找表、映射表、字典等形式构造的。
在本发明的其他实施例中，方法还包括：与互联网进行通信以将以下内容中的至少一者发送至网络资源：驾驶场景信息、传感器数据、场景数据、操作数据及其对应关系。网络资源在收到场景数据、操作数据及其对应关系后可以分析整理以形成专家规则。
在本发明的其他实施例中，与互联网进行通信以经由网络资源构建神经网络的全部或部分。一般而言，车载设备的算力可能存在局限，因而可以利用网络资源充当构建神经网络的硬件，从而保障具有可扩展的算力来处理复杂的驾驶场景信息。例如，神经网络的一些层可以通过网络资源构建，或者一些层中的一些节点可以通过网络资源构建。
在本发明的其他实施例中，与互联网进行通信以全部或部分地经由网络资源处理传感器数据。处理映射规则有时也需要较大的硬件开销，因而可以将传感器数据全部通过网络资源处理，也可以一部分通过网络资源处理而另一部分在本地处理。
本发明的另一方面还提供一种驾驶规则制定装置，所述装置被配置成根据如上文所述的任意一种驾驶规则提取装置或者如上文所述的任意一种驾驶规则提取方法建立的所述对应关系制定驾驶规则。
本发明的另一方面还提供一种驾驶规则制定方法，所述方法包括：根据如上文所述的任意一种驾驶规则提取装置或者如上文所述的任意一种驾驶规则提取方法建立的所述对应关系制定驾驶规则。
根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种方法。本发明中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括RAM、ROM、E2PROM、CD-ROM 或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或特定用途计算机、或者通用或特定用途处理器进行存取的任何其他临时性或者非临时性介质。如本文所使用的，盘（disk）和碟（disc）包括紧致碟（CD）、激光碟、光碟、数字多用途光碟（DVD）、软盘和蓝光碟，其中盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的保护范围之内。
综合以上，本发明提出的形成驾驶员模型的机制能准确反映驾驶员在不同场景下的驾驶操作行为习惯，因而形成的驾驶员模型相较现有技术也更加合理，利用该模型的自动驾驶技术可以避免因模型不当造成的损失。
需要说明的是，附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
以上例子主要说明了本发明的驾驶规则提取装置、驾驶规则提取方法、驾驶规则制定装置、驾驶规则制定方法以及计算机可读存储介质。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
Claims (24)
1.一种驾驶规则提取装置，其特征在于，所述装置包括：
场景获取单元，其配置成获取驾驶场景信息；
数据采集单元，其配置成接收来自车辆的传感器数据；以及
数据处理单元，其配置成接收所述驾驶场景信息并据此生成场景数据，接收所述传感器数据并据此生成操作数据，并且建立所述场景数据与所述操作数据的对应关系。
2.根据权利要求1所述的装置，其特征在于，所述驾驶场景信息包括以下至少一者：图像信号、无线电信号、距离信号、定位信号、声学信号以及空气力学信号。
3. 根据权利要求1所述的装置，其特征在于，所述传感器数据包括以下至少一者：踏板力矩、踏板行程、方向盘力矩、方向盘转角、车辆三轴姿态、车速、加速度以及轮胎转角信号。
4.根据权利要求1所述的装置，其特征在于，所述装置还包括状态获取单元，其配置成获取驾驶人员的状态信息；以及
所述数据处理单元还配置成接收所述状态信息并判断所述驾驶人员是否处于正常状态，以及若处于正常状态则建立所述场景数据与所述操作数据的对应关系。
5.根据权利要求4所述的装置，其特征在于，所述状态信息包括以下至少一者：图像信号、生理参数信号以及安全带扣紧信号。
6.根据权利要求1所述的装置，其特征在于，所述装置还包括数据存储单元，其配置成存储所述场景数据、所述操作数据及其对应关系。
7.根据权利要求1-6中任一项所述的装置，其特征在于，所述数据处理单元包括：
第一处理模块，其配置成通过神经网络处理所述驾驶场景信息并生成场景数据；
第二处理模块，其配置成根据映射规则处理所述传感器数据并生成操作数据；以及
第三处理模块，其配置成建立所述场景数据与所述操作数据的对应关系。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括数据收发单元，所述装置经由所述数据收发单元与互联网进行通信。
9.根据权利要求8所述的装置，其特征在于，所述第一处理模块还配置成经由网络资源构建所述神经网络的全部或部分。
10.根据权利要求8所述的装置，其特征在于，所述第二处理模块还配置成全部或部分地经由网络资源处理所述传感器数据。
11.根据权利要求8所述的装置，其特征在于，所述第三处理模块还配置成将所述场景数据、所述操作数据及其对应关系发送至网络资源。
12.一种驾驶规则提取方法，其特征在于，所述方法包括如下步骤：
获取驾驶场景信息并据此生成场景数据；
接收来自车辆的传感器数据并据此生成操作数据；以及
建立所述场景数据与所述操作数据的对应关系。
13.根据权利要求12所述的方法，其特征在于，所述驾驶场景信息包括以下至少一者：图像信号、无线电信号、距离信号、定位信号、声学信号以及空气力学信号。
14. 根据权利要求12所述的方法，其特征在于，所述传感器数据包括以下至少一者：踏板力矩、踏板行程、方向盘力矩、方向盘转角、车辆三轴姿态、车速、加速度以及轮胎转角信号。
15.根据权利要求12所述的方法，其特征在于，所述方法还包括：获取驾驶人员的状态信息并判断所述驾驶人员是否处于正常状态；以及
若处于正常状态则建立所述场景数据与所述操作数据的对应关系。
16.根据权利要求15所述的方法，其特征在于，所述状态信息包括以下至少一者：图像信号、生理参数信号以及安全带扣紧信号。
17.根据权利要求12所述的方法，其特征在于，所述方法还包括：存储所述场景数据、所述操作数据及其对应关系。
18.根据权利要求12-17中任一项所述的方法，其特征在于：
通过神经网络处理所述驾驶场景信息并生成场景数据；
根据映射规则处理所述传感器数据并生成操作数据；以及
建立所述场景数据与所述操作数据的对应关系。
19.根据权利要求18所述的方法，其特征在于，所述方法还包括：与互联网进行通信以将以下内容中的至少一者发送至网络资源：驾驶场景信息、传感器数据、场景数据、操作数据及其对应关系。
20.根据权利要求19所述的方法，其特征在于，与互联网进行通信以经由网络资源构建所述神经网络的全部或部分。
21.根据权利要求19所述的方法，其特征在于，与互联网进行通信以全部或部分地经由网络资源处理所述传感器数据。
22.一种驾驶规则制定装置，其特征在于，所述装置被配置成根据如权利要求1-11中任一项所述的驾驶规则提取装置或者如权利要求12-21中任一项所述的驾驶规则提取方法建立的所述对应关系制定驾驶规则。
23.一种驾驶规则制定方法，其特征在于，所述方法包括：根据如权利要求1-11中任一项所述的驾驶规则提取装置或者权利要求12-21中任一项所述的驾驶规则提取方法建立的所述对应关系制定驾驶规则。
24.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如权利要求12-21、23中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010201215.5A CN113495555A (zh) | 2020-03-20 | 2020-03-20 | 驾驶规则提取装置和方法、制定装置和方法以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010201215.5A CN113495555A (zh) | 2020-03-20 | 2020-03-20 | 驾驶规则提取装置和方法、制定装置和方法以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113495555A true CN113495555A (zh) | 2021-10-12 |
Family
ID=77993745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010201215.5A Pending CN113495555A (zh) | 2020-03-20 | 2020-03-20 | 驾驶规则提取装置和方法、制定装置和方法以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113495555A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921200A (zh) * | 2018-06-11 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 |
| CN109213134A (zh) * | 2017-07-03 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 生成自动驾驶策略的方法和装置 |
| CN110263709A (zh) * | 2019-06-19 | 2019-09-20 | 百度在线网络技术（北京）有限公司 | 驾驶决策挖掘方法和装置 |
| CN110447214A (zh) * | 2018-03-01 | 2019-11-12 | 北京嘀嘀无限科技发展有限公司 | 一种识别驾驶行为的***、方法、装置和存储介质 |
| CN110471411A (zh) * | 2019-07-26 | 2019-11-19 | 华为技术有限公司 | 自动驾驶方法和自动驾驶装置 |
-
2020
- 2020-03-20 CN CN202010201215.5A patent/CN113495555A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109213134A (zh) * | 2017-07-03 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 生成自动驾驶策略的方法和装置 |
| CN110447214A (zh) * | 2018-03-01 | 2019-11-12 | 北京嘀嘀无限科技发展有限公司 | 一种识别驾驶行为的***、方法、装置和存储介质 |
| CN108921200A (zh) * | 2018-06-11 | 2018-11-30 | 百度在线网络技术（北京）有限公司 | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 |
| CN110263709A (zh) * | 2019-06-19 | 2019-09-20 | 百度在线网络技术（北京）有限公司 | 驾驶决策挖掘方法和装置 |
| CN110471411A (zh) * | 2019-07-26 | 2019-11-19 | 华为技术有限公司 | 自动驾驶方法和自动驾驶装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102205240B1 (ko) | 예상치 못한 임펄스 변화 충돌 검출기 | |
| US11756353B2 (en) | Downloading system memory data in response to event detection | |
| US10896122B2 (en) | Using divergence to conduct log-based simulations | |
| US20220051490A1 (en) | Real-time selection of data to collect in autonomous vehicle | |
| EP4184476A1 (en) | Method and device for controlling switching of vehicle driving mode | |
| US20220024493A1 (en) | Sensor Fusion to Determine Reliability of Autonomous Vehicle Operation | |
| CN113792566A (zh) | 一种激光点云的处理方法及相关设备 | |
| US20210201666A1 (en) | Scalable and distributed detection of road anomaly events | |
| CN113064153B (zh) | 一种确定目标对象跟踪门限的方法、装置 | |
| CN112638738B (zh) | 车辆测速装置的故障诊断方法和故障诊断装置 | |
| CN112506179A (zh) | 用于自主车辆操作的分布式计算*** | |
| KR20190126024A (ko) | 교통 사고 처리 장치 및 교통 사고 처리 방법 | |
| CN113320541A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
| CN111311947A (zh) | 一种网联环境下考虑驾驶人意图的行车风险评估方法和装置 | |
| CN113165615A (zh) | 车辆控制方法及装置 | |
| JP6816379B2 (ja) | 衝突回避システム、情報処理装置、衝突回避プログラム及び情報処理プログラム | |
| KR20230156264A (ko) | 추적된 대상체의 트랙 세그먼트 클리닝 | |
| US11299165B2 (en) | Evaluation device and evaluation method | |
| CN112061028B (zh) | 一种用于观光车辆的监测预警装置 | |
| CN114537430A (zh) | 车辆控制装置、车辆控制方法及计算机可读取的存储介质 | |
| CN113495555A (zh) | 驾驶规则提取装置和方法、制定装置和方法以及存储介质 | |
| CN115145246B (zh) | 控制器的测试方法、装置、车辆、存储介质及芯片 | |
| CN115179930B (zh) | 车辆控制方法、装置、车辆及可读存储介质 | |
| CN117445937A (zh) | 一种无人驾驶车辆车机视觉深度学习*** | |
| JP2023004600A (ja) | 支援内容提供装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211012 |