CN116321072A - 基于感知失效的数据补偿方法以及装置 - Google Patents
基于感知失效的数据补偿方法以及装置 Download PDFInfo
- Publication number
- CN116321072A CN116321072A CN202310266280.XA CN202310266280A CN116321072A CN 116321072 A CN116321072 A CN 116321072A CN 202310266280 A CN202310266280 A CN 202310266280A CN 116321072 A CN116321072 A CN 116321072A
- Authority
- CN
- China
- Prior art keywords
- data
- failure
- perception
- motion prediction
- perception failure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008447 perception Effects 0.000 title claims abstract description 428
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims description 25
- 238000003062 neural network model Methods 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 23
- 238000010586 diagram Methods 0.000 description 23
- 238000004590 computer program Methods 0.000 description 10
- 241000283070 Equus zebra Species 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本说明书实施例提供基于感知失效的数据补偿方法以及装置,其中基于感知失效的数据补偿方法包括:获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据。通过对获取的多个对象的对象信息进行处理,确定出感知失效时间区间与感知失效区域,进而确定出感知失效对象,并对感知失效对象进行数据补偿,实现对感知失效的检测、预警及数据补偿。
Description
技术领域
本说明书实施例涉及智能交通技术领域,特别涉及一种基于感知失效的数据补偿方法。
背景技术
随着汽车技术的发展,自动驾驶技术也在逐步发展,目前主要发展出了单车智能和路侧感知设备两大路线。
单车智能在某些技术方面仍然存在问题,需要与路侧感知设备进行配合,以通过车路协同的方式,实现自动安全驾驶,但是路侧感知设备在对马路以及行车进行感知时,不可避免的出现感知失效的情况,尤其是当大型行车接近路侧感知设备时,会使路侧感知设备出现感知盲区,无法向单车智能发送有效的感知信息,因此亟需一种对感知盲区进行数据补偿的方法,用于对感知失效事件导致的数据失效进行补偿。
发明内容
有鉴于此,本说明书实施例提供了一种基于感知失效的数据补偿方法。本说明书一个或者多个实施例同时涉及一种应用于车路协同的数据处理***,一种基于感知失效的数据补偿装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种基于感知失效的数据补偿方法,包括:
获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;
遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;
根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;
获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据。
根据本说明书实施例的第二方面,提供了一种应用于车路协同的数据处理***,数据处理***包括路侧感知设备和显示设备;
路侧感知设备,用于获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据;根据感知失效补偿数据生成感知失效补偿画面;将感知失效补偿画面发送至显示设备;
显示设备,用于接收并展示路侧感知设备发送的感知失效补偿画面。
根据本说明书实施例的第三方面,提供了一种基于感知失效的数据补偿装置,包括:
对象信息获取模块,被配置为获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;
遍历模块,被配置为遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;
确定模块,被配置为根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;
待处理运动预测数据获取模块,被配置为获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据。
根据本说明书实施例的第四方面,提供了一种增强现实AR设备或虚拟现实VR设备,包括:
存储器、处理器和显示器;
存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,该计算机可执行指令被处理器执行时实现如下步骤:
获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;
遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;
根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;
获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据;
将感知失效补偿数据通过增强现实AR设备或虚拟现实VR设备的显示器进行展示。
根据本说明书实施例的第五方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述基于感知失效的数据补偿方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述基于感知失效的数据补偿方法的步骤。
根据本说明书实施例的第七方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述基于感知失效的数据补偿方法的步骤。
本说明书一个实施例获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据。通过对获取的多个对象的对象信息进行处理,确定出感知失效时间区间与感知失效区域,进而确定出感知失效对象,并对感知失效对象在感知失效时间区间内进行感知失效数据的补偿,实现了感知失效的全面检测,并基于感知失效进行相应的预警及数据补偿,进一步保障了各对象的安全。
附图说明
图1a是一种车路协同***示意图;
图1b是一种车路协同的感知示意图;
图1c是一种感知失效的遮挡示意图;
图2是本说明书一个实施例提供的一种应用于车路协同的数据处理***架构下的交互流程示意图;
图3是本说明书一个实施例提供的一种基于感知失效的数据补偿方法的流程图;
图4a是本说明书一个实施例提供的一种基于感知失效的数据补偿方法的处理过程流程图;
图4b是本说明书一个实施例提供的一种基于感知失效的数据补偿方法中的目标检测效果示意图;
图4c是本说明书一个实施例提供的一种基于感知失效的数据补偿方法中的运动预测模型的模型结构示意图;
图4d是本说明书一个实施例提供的一种基于感知失效的数据补偿方法中的针对各对象的运动预测示意图;
图4e是本说明书一个实施例提供的一种基于感知失效的数据补偿方法中的各对象对应的遮挡区域示意图;
图5是本说明书一个实施例提供的一种基于感知失效的数据补偿装置的结构示意图;
图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
车路协同:基于车联网直连通信技术(V2X,Vehicle to Everything),实现车与车(V2V,Vehicle to Vehicle)、车与路(V2I,Vehicle to Infrastructure)、车与人(V2P,Vehicle to Pedestrian)之间智能协同的一种智能运输体系。运动预测:根据感知到的目标信息(包括其历史时刻数据)以及环境信息(道路拓扑结构、信号灯等),推断出目标未来可能的行为模式。
自动驾驶***:是指列车驾驶员执行的工作完全自动化的、高度集中控制的列车运行***。
单车智能:通过车辆安装的传感器对周边环境进行感知决策执行,又称车载设备。目前自动驾驶发展出了单车智能和车路协同两大路线。其中,单车智能已经发展多年,技术较为成熟,但仍存在一些技术瓶颈。因此,技术路线上能够与单车智能形成互补的车路协同成为了自动驾驶命题下的必选项。
参见图1a,图1a示出了一种车路协同***示意图;车路协同通过路端的智能基础设施赋能智能交通,让车、路、云、网、图,多方一起促进自动驾驶及科技出行产业的发展,其中,车包括车载单元(单车智能);路包括智能摄像头、激光/毫米波雷达;云包括边缘云和中心云;网包括5G基站;图包括智能路灯、智能道灯和智能红绿灯;
本说明书即重点讨论路所遇到的感知有效性问题。路所属的路侧感知设备(摄像头、激光雷达、毫米波雷达等)因为架设位置较高(距离地面6-12米),能够有效帮助单车智能覆盖更多“盲区”,解决自动驾驶发展的瓶颈难题,促进自动驾驶进一步成熟。参见1b,图1b示出了一种车路协同的感知示意图,自动驾驶车(车1)正前方为黑色吉普车(车2),黑色吉普车(车2)正前方为白色吉普车(车3),此时自动驾驶车(车1)的车载设备因为遮挡问题而无法感知到白色吉普车(车3);但是路侧感知设备因为位置和高度的关系而可以有效的感知到白色吉普车(车3)。
但是,路侧感知虽然具备一定程度的“高度”,然而仍然无法完全规避遮挡问题,尤其是当大车接近路侧感知设备产生的随机性感知失效现象。参见图1c,图1c示出了一种感知失效的遮挡示意图,摄像机(路侧感知设备)需要实时监测斑马线上的行人,但是当大车(车2)接近摄像机时,完全遮挡住了斑马线,导致无法监测斑马线的行人。如果缺少感知失效预警,则目标检测算法会无法计算出此时斑马线上其实是有行人,由此导致较大的安全隐患。
为解决上述技术问题,本说明书实施例获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据。通过对获取的多个对象的对象信息进行处理,确定出感知失效时间区间与感知失效区域,进而确定出感知失效对象,并对感知失效对象在感知失效时间区间内进行感知失效数据的补偿,实现了感知失效的全面检测,并基于感知失效进行相应的预警及数据补偿,进一步保障了各对象的安全。在本说明书中,提供了一种基于感知失效的数据补偿方法,本说明书同时涉及一种应用于车路协同的数据处理***,一种基于感知失效的数据补偿装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。参见图2,图2示出了本说明书一个实施例提供的一种应用于车路协同的数据处理***架构下的交互流程示意图,如图2所示,该***包括路侧感知设备0201和显示设备0202。
路侧感知设备0201:用于获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据;根据感知失效补偿数据生成感知失效补偿画面;将感知失效补偿画面发送至显示设备;
显示设备0202:用于接收并展示路侧感知设备发送的感知失效补偿画面。具体地,路侧感知设备是指对道路中的各对象的运动进行感知的设备,进一步用于保障各对象的行驶安全,比如,路侧感知设备可以是设置于路边的摄像机、激光雷达、毫米波雷达等。显示设备是指可以显示画面的设备,比如,画面可以是感知失效补偿画面,显示设备可以是监测中心或车载设备。
示例性地,当显示设备为车载设备时,车载设备接收并展示路侧感知设备发送的感知失效补偿画面的实现方式,基于对车载设备的使用不同,所对应的实现方式有所不同,当车辆行驶是由车载设备全权控制时(自动驾驶***),车载设备在接收路侧感知设备发送的感知失效补偿画面时,车载设备先展示并分析该感知失效补偿画面书否与单车的运动相关,若不相关,则直接忽略,若相关,则根据感知失效补偿画面对单车的运动进行控制,比如控制单车减速、变道、加速等;当单车行驶是通过开车的人员与车载设备共同操作时,车载设备接收路侧感知设备发送的感知失效补偿画面,并在车载设备前端进行展示,由开车的人员观看该感知失效补偿画面,并根据观看的感知失效补偿画面控制单车行驶。
应用本说明书实施例的方案,路侧感知设备获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据;根据所述感知失效补偿数据生成感知失效补偿画面;将所述感知失效补偿画面发送至显示设备;显示设备接收并展示路侧感知设备发送的所述感知失效补偿画面。通过路侧感知设备对获取的多个对象的对象信息进行处理,确定出感知失效时间区间与感知失效区域,进而确定出感知失效对象,并对感知失效对象在感知失效时间区间内进行感知失效数据的补偿,实现了感知失效的全面检测,并基于感知失效进行相应的预警及数据补偿,进而路侧感知设备将感知失效补偿画面发送给显示设备,由显示设备接收并展示,以使单车根据显示设备接收并展示的感知失效补偿画面进行安全行驶,进一步保障了各对象的安全。
参见图3,图3示出了本说明书一个实施例提供的一种基于感知失效的数据补偿方法的流程图,具体包括以下步骤。
步骤302:获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域。
本说明书一个或多个可选的实施例应用于具有数据处理功能的客户端或者服务端。
在有对感知失效数据进行补偿的需求时,客户端或者服务端通过获取多个对象的对象信息,进行相应处理,进而对感知失效的数据进行预警与补偿,以保障各对象的安全。
具体地,对象是指任意物体,在不同的场景中,对象可以是指不同的物体,比如在车路场景中,对象可以是路上行驶的车、路上行走的人等。对象信息是指对象的运动信息以及属性信息,属性信息是指对象本身的信息,不会随着对象位置的移动、场景的变化而变化,比如,运动信息包括历史行驶信息、当前位置信息等。属性信息包括对象的体积、轮廓、3D检测框数据(Three-Dimensional)等。遮挡区域是指对象相对于进行感知的感知设备遮挡住的区域,比如,在车路场景中,路侧感知设备感知各行车,被行车遮挡的区域,即为遮挡区域。
可选地,获得多个对象的对象信息,可以是利用目标检测的方法,获得各对象的对象信息,当获取对象的设备为激光雷达或毫米波雷达时,使用点云检测算法,至少获取各对象的3D检测框;当获取设备为摄像机时,获取3D检测框的方式有很多种,一种可以是使用单目3D检测算法获取,另一种可以是通过对象的属性信息等数据,使用普通的数据计算,即可获得3D检测框数据。
根据各对象的对象信息预测各对象对应的遮挡区域,具体是根据各对象的对象信息,预测各对象的运动预测数据,进而获得各对象对应的遮挡区域。
通过获取多个对象的对象信息,并基于对象信息获得各对象对应的遮挡区域,以使后续可以根据各对象的遮挡区域确定感知失效区域,为后续对感知失效进行数据补偿奠定了数据基础。
可选地,上述步骤302中的根据各对象的对象信息预测所述各对象对应的遮挡区域,包括如下具体步骤:
根据各对象的对象信息,预测所述各对象的运动预测数据;
基于所述各对象的运动预测数据,确定所述各对象对应的遮挡区域。
具体地,运动预测数据是指根据对象当前的状态预测得到的未来的运动方式,其中,运动方式包括运动形式、运动趋势以及运动速度等,运动预测数据包括运动速度、运动位置、运动方向等,运动预测数据可以是以时序数据的形式进行展示的,还可以是按照表格等形式进行展示的,比如,按照时序数据的形式展示运动预测数据:当前时刻是T,运动预测得到了3秒的预测数据,预测数据的帧率为10赫兹,则生成的运动预测数据是针对T+0.1秒、T+0.2秒、……、T+3.0秒的预测数据。
根据各对象的对象信息,预测各对象的运动预测数据的实现方式有多种,一种可能的实现方式中,可以是根据各对象的对象信息,对对象未来的运动数据进行计算,具体实现是,对象信息包括当前位置与历史行驶信息,历史行驶信息包括历史行驶轨迹、历史行驶速度。历史操作动作等,比如,某行车在当前时刻以前均在进行匀速行驶,且在第二车道行驶,也没有按压转向灯等的操作出现,则可以预测该行车在未来3秒之内,还会按照匀速进行行驶,当行车在当前时刻以前是按照变速在行驶或者按压转向灯等情况时,具体可根据物理学科中的计算方式进行计算;另一种可能的实现方式可以是将各对象的对象信息输入至运动预测模型,获得各对象的运动预测数据,其中,运动预测模型预先训练好的。
可选地,获取各对象的历史行驶信息可以是使用目标跟踪算法进行获得。
基于各对象的运动预测数据,确定各对象对应的遮挡区域,具体是,基于各对象的运动预测数据,模拟包含各对象形状的行驶轨迹,根据行驶轨迹以及检测设备的位置,确定各对象的遮挡区域,具体是实现方式可以是根据行驶轨迹,利用相机成像原理,确定对象在运动过程中每一帧对应的成像对应的遮挡区域。
应用本说明书实施例的方案,通过各对象的对象信息,预测各对象的运动预测数据,并基于运动预测数据,确定各对象对应的遮挡区域,利用各对象的对象信息即可对各对象未来的运动数据机型预测,进而确定出与未来的运动数据对应的遮挡区域,使得未来在遮挡区域出现之前预先确定好应对方式,避免出现意外,也即为感知失效的数据补偿提供了数据的基础。
可选地,上述步骤根据各对象的对象信息,预测各对象的运动预测数据,包括如下具体步骤:
将各对象的对象信息输入至预先训练的运动预测模型,获得各对象的运动预测数据,其中,运动预测模型为基于样本对象信息及样本对象信息对应的样本运动预测数据训练得到的神经网络模型。
具体地,运动预测模型是对对象未来的运动数据进行预测的神经网络模型,运动预测模型是预先利用多个样本对象的运动数据进行训练得到的,具体是利用样本对象的对象信息作为样本对象信息,将各对象的运动数据作为与样本对象信息对应的样本运动预测数据进行训练,比如,获取各对象在过去10秒内的运动数据,将过去10秒划分为两部分,7秒和3秒,将7秒对应的运动数据作为样本数据,将3秒对应的运动数据作为样本标签对运动预测模型进行训练。
将各对象的对象信息输入至预先训练的运动预测模型,获得各对象的运动预测数据,具体是将各对象的对象信息以及道路地图输入至预先训练的运动预测模型,获得各对象的运动预测数据。
可选地,运动预测模型的使用基于训练方式的不同而不同,当运动预测模型在训练时,是将多个样本对象对应的样本数据和样本标签同时进行训练得到的,也即运动预测模型可以同时预测多个对象的运动预测数据,则在利用运动预测模型获得运动预测数据时,可以利用多个对象的运动预测数据与运动预测模型,获得多个对象对应的运动预测数据;当运动预测模型在训练时,是依次利用多个样本对象进行训练得到的,则运动预测数据在使用阶段,是需要将多个对象依次输入至运动预测模型,依次获得各对象对应的运动预测数据。
应用本说明书实施例的方案,将各对象的对象信息输入至预先训练的运动预测模型,获得各对象的运动预测数据,通过神经网络模型获得的各对象的运动预测数据更加的准确,进而后续基于运动预测数据进行处理进行的数据补偿也更准确。步骤304:遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间。
本说明书一个或多个实施例中,遍历各对象对应的遮挡区域,确定出感知失效区域以及感知失效时间区间,使得针对感知失效区域与感知失效时间区间进行对应处理。
具体地,指定关注区域是指预先指定的需要对感知情况进行关注的区域,指定关注区域在车路场景中,可以是道路区域、斑马线区域等,指定关注区域中携带有对应的指定关注区域数据,指定关注区域数据是指表征指定关注区域的区域属性数据,比如,在车路场景中,指定关注区域数据包括指定关注区域的宽度、位置等。感知失效区域是指无法感知信息的区域,比如,在车路场景中,路边摄像机在跟踪某行车A时,出现另一个大型行车B,使得路边摄像机无法拍摄行车A,则确定路边摄像机对行车A所处的区域感知失效,也即成行车A所处的区域为感知失效区域。感知失效时间区间是指无法感知信息的时间区间,通常情况下,感知失效时间区间与感知失效区域相对应的,比如,选定行车A在感知失效时的任一区域作为目标区域,则行车B遮挡目标区域的时间区间为感知失效时间区间。可选地,指定关注区域的选定可以是人为指定,也可以是通过对对应场景中的矢量地图进行算法分析获得,本说明书实施例对此不作限定,具体可根据实际使用情况进行选择。
可选地,感知失效区域与感知失效时间区间是一一对应的,不同的遮挡区域可以对应不同的感知失效区域进而对应不同的感知失效时间区间。
遍历遮挡区域,具体是遍历各对象对应的遮挡区域,将各对象的遮挡区域与指定关注区域进行比较、判断。
在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间,具体是在遮挡区域与指定关注区域存在交集时,确定指定关注区域被遮挡,根据指定关注区域确定感知失效区域和感知失效时间区域。
可选地,遮挡区域与指定关注区域存在交集的交集范围不同,确定的感知失效区域和感知失效时间区间也不同,当遮挡区域与指定关注区域存在交集(重合)时,确定指定关注区域为感知失效区域,重合时间区间为感知失效时间区间;当遮挡区域与指定关注区域存在交集(部分重合)时,确定该部分重合的区域为感知失效区域,将遮挡区域与感知失效区域存在交集的时间区间为感知失效时间区间。可选地,上述步骤304,包括如下具体步骤:
针对目标遮挡区域,判断目标遮挡区域与指定关注区域是否存在交集,其中,目标遮挡区域为各对象中任一个对象对应的遮挡区域;
在目标遮挡区域与指定关注区域存在交集的情况下,基于目标遮挡区域与指定关注区域,确定感知失效区域和感知失效时间区间。
具体地,目标遮挡区域是各对象中的任意一个对象对应的遮挡区域,以实现遍历各对象对应的遮挡区域,进行感知失效区域与感知失效时间区间的确定。
针对目标遮挡区域,判断目标遮挡区域与指定关注区域是否存在交集,具体是针对任意一个对象的遮挡区域与指定关注区域进行判断,判断是否存在交集,在不存在交集的情况下,确定该指定关注区域不是感知失效区域,可以重新选定指定关注区域进行判断;在存在交集的情况下,则根据指定关注区域确定感知失效区域与感知失效时间区间。
在所述目标遮挡区域与所述指定关注区域存在交集的情况下,基于所述目标遮挡区域与所述指定关注区域,确定感知失效区域和感知失效时间区间,具体是在目标遮挡区域与指定关注区域存在交集的情况下,根据存在交集情况对应的目标遮挡区域与指定关注区域,确定感知失效区域和感知失效时间区间。
应用本说明书实施例的方案,针对目标遮挡区域,判断目标遮挡区域与指定关注区域是否存在交集,在存在交集的情况下,确定感知失效区域和感知失效时间区间,通过任一个对象对应的遮挡区域与指定关注区域的判断,全面的确定出对应的感知失效区域与感知失效时间区间,以使后续针对感知失效区域进行数据补偿时,不会发生遗漏的情况,提高了数据补偿的准确率。
可选地,上述步骤基于目标遮挡区域与指定关注区域,确定感知失效区域和感知失效时间区间,包括如下具体步骤:
基于目标遮挡区域与指定关注区域,获取交集区域,将交集区域作为感知失效区域;
将目标遮挡区域与指定关注区域存在交集的时间区间,作为感知失效时间区间。具体地,交集区域是指两个区域在指定视角方向发生遮挡对应的遮挡区域,比如,目标遮挡区域与指定关注区域相对于感知设备发生遮挡,则遮挡住的区域为交集区域。时间区间是指由两个不同的时刻构成时间段,时间区间为具体的时间段,比如,T为当前时刻,则T-0.5秒至T时刻,可以是时间区间,时间区间的确定与不同的实现场景相关。
基于目标遮挡区域与指定关注区域,获取交集区域,将交集区域作为感知失效区域,具体是,在目标遮挡区域与指定关注区域存在交集的时候,确定交集区域相对于检测设备是感知失效的,则将交集区域作为感知失效区域。
将目标遮挡区域与指定关注区域存在交集的时间区间,作为感知失效时间区间,具体是目标遮挡区域与指定关注区域存在交集的时候,交集区域相对于检测设备是感知失效的,则将交集区域被遮挡的时间区间确定为感知失效时间区间。应用本说明书实施例的方案,基于目标遮挡区域和指定关注区域,获取交集区域,将交集区域作为感知失效区域,并将目标遮挡区域与指定关注区域存在交集的时间区间,作为感知失效时间区间,通过对目标遮挡区域与指定关注区域是否存在交集的判断,确定得到交集区域,并将交集区域作为感知失效区域,交集时间区间为感知失效时间区间,使得感知失效区域和感知失效时间区间的确定是通过实际判断得到的,从而使确定的感知失效时间区间和感知失效区域更加的准确,进而针对感知失效区域进行数据补偿的补偿准确度更高。
步骤306:根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象。
本说明书一个或多个实施例中,在确定出感知失效区域和感知失效时间区间后,根据感知失效区域好感知失效时间区间,确定出对应的感知失效对象,以使后续基于感知失效对象进行数据补偿,以保障各对象运动的安全。
具体地,感知失效对象是指相对于检测设备而无法被感知到信息的对象,在车路场景中,感知失效对象可以是在道路上行驶的行车、斑马线上行走的行人等。根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象,具体是针对不同的感知失效区域和感知失效时间区间,从各对象中确定出对应的感知失效对象。
可选地,不同的感知失效区域和感知失效时间区间对应的感知失效对象可以是相同的,也可以是不同的,具体根据各自对应的遮挡对象所确定。
可选地,根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象的实现方式可以是,针对任意一个感知失效区域和感知失效时间区间遍历各对象,从各对象中筛选出,在感知失效时间区间内,经过感知失效区域的对象,作为感知失效对象。
可选地,上述步骤306,包括如下具体步骤:
基于各对象的运动预测数据,筛选出在感知失效时间区间内经过感知失效区域的感知失效对象,其中,运动预测数据是根据各对象对应的对象信息预测得到的。可选地,感知失效区域与感知失效时间区间相对应,不同的感知失效区域基于遮挡对象的不同,对应的感知失效时间区间可以是不同的,则针对指定的感知失效区域和感知失效时间区间,确定感知失效对象,是指在感知失效时间区间内,经过感知失效区域的对象,作为感知失效对象。
基于各对象的运动预测数据,筛选出在感知失效时间区间内经过感知失效区域的感知失效对象,具体是,基于各对象的运动预测数据,筛选出在感知失效时间区间内经过感知失效区域的目标运动预测数据,将目标运动预测数据对应的对象作为感知失效对象。
可选地,筛选出在感知失效时间区间内经过感知失效区域的目标运动预测数据,可以是遍历各对象对应的运动预测数据,从各运动预测数据中确定对应的目标运动预测数据;还可以是根据感知失效时间区间截取各对象对应的运动预测数据,从感知失效时间区间内的各对象的运动预测数据进行筛选,确定目标运动预测数据。
应用本说明书实施例的方案,基于各对象的运动预测数据,筛选出在感知失效时间区间内经过感知失效区域的感知失效对象,使得感知失效对象的确定是根据各对象的运动预测数据以及感知失效时间区间、感知失效区域共同确定的,提高了确定感知失效对象的准确率,进而为后续针对感知失效区域内的数据补偿奠定了基础。
步骤308:获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据。
本说明书一个或多个实施例中,在确定出感知失效区域、感知失效时间区间以及感知失效对象后,获取感知失效对象的待处理运动预测数据,根据待处理运动预测数据生成针对感知失效对象在感知失效时间区间内的感知失效补偿数据,完成对感知失效的预警以及对应的处理方式,以保障各对象的安全。
具体地,待处理运动预测数据是指与感知失效对象对应的等待被筛选的运动预测数据,可以是感知失效对象的运动预测数据。感知失效补偿数据是指针对感知失效进行补偿数据,该感知失效补偿数据被用于补偿感知设备对对象的感知。补偿是与失效相对应的行为,在发生失效时,需要进行相应的补偿,以实现对对象运动的掌握。
获取感知失效对象对应的待处理运动预测数据,具体可以是直接获取感知失效对象的运动预测数据根据待处理运动预测数据生成感知失效补偿数据,具体是基于筛选条件,对待处理运动预测数据进行筛选,根据筛选得到的数据生成感知失效补偿数据,其中,筛选条件可以是筛选感知失效时间区间内的运动预测数据,还可以是从感知失效时间区间内的运动数据中筛选置信度更高的运动预测数据,进而生成感知失效补偿数据。
可选地,上述步骤308中的获取感知失效对象对应的待处理运动预测数据,包括如下具体步骤:
将感知失效对象的运动预测数据,作为待处理运动预测数据。
将感知失效对象的运动预测数据,作为待处理运动预测数据,具体可以是通过感知失效对应的对象信息进行物理计算获取得到,将获取得到的运动预测数据,作为待处理运动预测数据;还可以是基于感知失效对象的对象信息,并利用运动预测模型获取得到,将获取得到的运动预测数据,作为待处理运动预测数据。应用本说明书实施例的方案,将感知失效对象的运动预测数据,作为待处理运动预测数据,使得在对感知失效对象进行数据补偿时,是根据感知失效对象的运动预测数据进行补偿的,则基于运动预测数据的准确性,进一步使得生成的感知失效补偿数据的准确性。
可选地,待处理运动预测数据为预测时间区间内的运动数据;上述步骤308中的根据待处理运动预测数据生成感知失效补偿数据,包括如下具体步骤:
根据感知失效时间区间和预测时间区间,从待处理运动预测数据中筛选得到待处理运动预测子数据;
根据待处理运动预测子数据,生成感知失效补偿数据。
具体地,待处理运动预测子数据是指针对感知失效对象的筛选后的运动预测数据,用于后续对感知失效对象的感知失效进行补偿的数据。,比如感知失效对象的运动预测数据为T到T+3秒的数据,经过筛选确定T+0.5秒至T+0.8秒的数据为待处理运动预测子数据。预测时间区间为针对对象信息对对象的运动数据进行预测时预测的时间范围,比如对对象未来3秒内的运动数据进行预测,则确定未来3秒为预测时间区间。
根据感知失效时间区间和预测时间区间,从待处理运动预测数据中筛选得到待处理运动预测子数据,具体是将感知失效时间区域和预测时间区间进行比较,确定出存在交集的时间区间,将交集时间区间内的待处理运动预测数据确定为待处理运动预测子数据,比如,感知失效时间区间为T+0.5秒至T+0.8秒,则将预测时间区间T至T+3.0秒与感知失效时间区间T+0.5秒至T+0.8秒进行比较,确定出存在交集的时间区间为T+0.5秒至T+0.8秒,则截取T+0.5秒至T+0.8秒的待处理运动预测数据作为待处理运动预测子数据。
可选地,根据待处理运动预测子数据,生成感知失效补偿数据,有多种实现方式,一种可能的实现方式可以是将待处理运动预测子数据直接作为感知失效补偿数据;还有一种可能的实现方式中,可以是将待处理运动预测子数据输入至感知失效补偿模型中,获得感知失效补偿数据。
应用本说明书实施例的方案,根据感知失效时间区间和预测时间区间,从待处理运动预测数据中筛选得到待处理运动预测子数据,根据待处理运动预测子数据,生成感知失效补偿数据,通过感知失效时间区间和预测时间区间筛选得到在感知失效时间区间内的待处理运动预测子数据,使得可以基于确定出来的数据生成感知失效补偿数据并进行补偿,实现对感知失效的精准补偿,进而保障各对象的安全。
可选地,上述步骤根据感知失效时间区间和预测时间区间,从待处理运动预测数据中筛选得到待处理运动预测子数据,包括:
根据所述感知失效时间区间和所述预测时间区间,从所述待处理运动预测数据中筛选得到至少一个初始待处理运动预测子数据;
获取所述至少一个初始待处理运动预测子数据对应的置信度,将置信度大于预设置信度阈值的初始待处理运动预测子数据,确定为待处理运动预测子数据。具体地,置信度是表征运动预测数据的准确度、信任度的数值,比如,置信度的标识形式可以是百分比表示:70%、80%等;还可以是0表示无置信度,1表示满置信度,0.7、0.9表示其他置信度等。预设置信度阈值是指预先设定的对置信度进行限制的阈值,根据感知失效补偿数据的要求而设定,预设置信度阈值的数据通常会较高,为保证感知失效补偿数据的准确度。
根据所述感知失效时间区间和所述预测时间区间,从所述待处理运动预测数据中筛选得到至少一个初始待处理运动预测子数据,具体是针对至少一个感知失效对象,确定感知失效时间区间和预测时间区间的交集时间区间,根据交集时间区间截取至少一个感知失效时间区间的待处理运动预测数据,截取得到的数据为初始待处理运动预测子数据。
当置信度小于或者等于预设置信度阈值时,将对应的初始待处理运动预测子数据执行删除操作,或者不截取操作。
获取所述至少一个初始待处理运动预测子数据对应的置信度的方式,具体是在感知失效对象对应的运动预测数据汇总伴随产生的,比如可以是在根据运动预测模型生成感知失效对象对应的运动预测数据时,同时会生成与运动预测数据对应的置信度。
获取所述至少一个初始待处理运动预测子数据对应的置信度,将置信度大于预设置信度阈值的初始待处理运动预测子数据,确定为待处理运动预测子数据,具体是获取各初始待处理运动预测子数据以及对应的置信度,将各置信度与预设置信度阈值进行比较,确定大于预设置信度阈值的初始待处理运动预测子数据为待处理运动预测子数据。
应用本说明书实施例的方案,根据感知失效时间区间和预测时间区间,从待处理运动预测数据汇总筛选得到至少一个初始待处理运动预测子数据,并获取至少一个初始待处理运动预测子数据对应的置信度,将置信度大于预设置信度阈值的初始待处理运动预测子数据确定为待处理运动预测子数据,使得待处理运动预测子数据是置信度满足预设置信度阈值的数据,进一步使得生成感知失效补偿数据的数据是满足预设置信度阈值的,准确度、信任度更高。
可选地,上述步骤根据待处理运动预测子数据,生成感知失效补偿数据,包括如下具体步骤:
将待处理运动预测子数据输入至预先训练的感知失效补偿模型,获得感知失效补偿数据,其中,感知失效补偿模型为基于样本待处理运动预测子数据及样本待处理运动预测子数据对应的感知失效补偿数据训练得到的神经网络模型。
具体地,感知失效补偿数据模型是对感知失效情况下获取补偿数据的神经网络模型,感知失效补偿数据模型是预先利用多个样本对象的样本待处理运动预测子数据与对应的样本感知失效补偿数据训练得到的。
将待处理运动预测子数据输入至预先训练的感知失效补偿模型,获得感知失效补偿数据,具体是将获得的所有待处理运动预测子数据,输入至感知失效补偿模型,获得感知失效补偿数据,其中,感知失效补偿数据是针对感知失效区域在感知失效时间区间内的所有感知失效对象进行的数据补偿。
应用本说明书实施例的方案,将待处理运动预测子数据输入至预先训练的感知失效补偿模型,获得感知失效补偿数据,通过神经网络模型获得感知失效补偿数据更加的准确,更进一步保证了各对象的安全。
可选地,在上述步骤根据待处理运动预测数据生成感知失效补偿数据之后,还包括如下具体步骤:
根据感知失效补偿数据生成感知失效补偿画面;
将感知失效补偿画面发送至前端。
具体地,感知失效补偿画面是指在感知失效时间区间内的感知失效对象的画面,感知失效补偿画面可以是透视画面。前端是指可以展示感知失效补偿画面的显示端,比如车载显示屏、孪生***前端(监测中心)等。
根据感知失效补偿数据生成感知失效补偿画面的方式有很多种,可以是将感知失效补偿数据输入至孪生***,获得对应的感知失效补偿画面;还可以是将利用相机成像,获得对应的感知失效补偿画面,具体根据感知失效补偿数据生成感知失效补偿画面的具体实现方式本说明书实施例在此不做限定,可根据实际情况进行选择。
将感知失效补偿画面发送至前端后,前端可根据实际情况进行使用,比如在车路场景中,车载设备可以根据接收到的感知失效补偿画面控制行车进行相应的操作,比如,减速、加速、变道等,不同的感知失效补偿画面根据实际情况对应不同的操作。
应用本说明书实施例的方案,在获取到感知失效补偿数据后,根据感知失效补偿数据生成感知失效补偿画面,并将生成的感知失效补偿画面发送至前端,实现对感知失效补偿的应用,保障了各对象的安全。
下述结合附图4a,以本说明书提供的基于感知失效的数据补偿方法在车路场景的应用为例,对所述基于感知失效的数据补偿方法进行进一步说明。其中,图4a示出了本说明书一个实施例提供的一种基于感知失效的数据补偿方法的处理过程流程图,具体包括以下步骤。
步骤402:获取多个对象的对象信息。
获取对象1、对象2、对象3、对象4、对象5对应的位置信息与历史行驶信息(历史行驶速度、历史行驶轨迹、历史操作情况)。
获取多个对象的对象信息可以是通过目标检测算法进行获得,参见图4b,图4b示出了本说明书一个实施例提供的一种基于感知失效的数据补偿方法中的目标检测效果示意图,图中有对象1,对象2、对象3、对象4、对象5对应的检测框。其中,各对象可以是行车,也可以是行人,确定对象1至对象4为行车,对象5为行人。
步骤404:将各对象的对象信息输入至预先训练的运动预测模型,获得各对象的运动预测数据,其中,运动预测模型为基于样本对象信息及样本对象信息对应的样本运动预测数据训练得到的神经网络模型。
将对象1,对象2、对象3、对象4、对象5对应的位置信息与历史行驶信息输入至运动预测模型,获得各对象分别对应的运动预测数据1、运动预测数据2、运动预测数据3、运动预测数据4、运动预测数据5。
其中,参见图4c,图4c示出了本说明书一个实施例提供的一种基于感知失效的数据补偿方法中的运动预测模型的模型结构示意图:将道路地图与各对象的对象信息输入至运动预测模型,获得各对象对应的运动预测数据。
参见图4d,图4d示出了本说明书一个实施例提供的一种基于感知失效的数据补偿方法中的针对各对象的运动预测示意图:图中包括对象1、对象2、对象3、对象4、对象5的当前位置以及预测运动趋势示意,图中的检测框为当前位置、箭头为预测的运动趋势。
步骤406:基于各对象的运动预测数据,确定各对象对应的遮挡区域。
通过对各对象的运动预测数据进行模拟,获得各对象对应的遮挡区域,模拟手段可以是利用相机成像原理进行模拟,获得各对象对应的遮挡区域,即遮挡区域1、遮挡区域2、遮挡区域3、遮挡区域4、遮挡区域5。
参见图4e,图4e示出了本说明书一个实施例提供的一种基于感知失效的数据补偿方法中的各对象对应的遮挡区域示意图,图中虚线为遮挡区域,比如,对象1对应的遮挡区域1、对象2对应的遮挡区域2、对象3对应的遮挡区域3、对象4对应的遮挡区域4、对象5对应的遮挡区域5。
步骤408:遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间。
指定关注区域为斑马线区域,遍历各对象的遮挡区域,确定各遮挡区域与指定关注区域是否存在交集,将交集区域确定为感知失效区域,将交集时间区间确定为感知失效时间区间。
其中,基于遮挡对象的不同,确定出来的感知失效区域与感知失效时间区间可能是多个、一个或者没有。
步骤410:基于各对象的运动预测数据,筛选出在感知失效时间区间内经过感知失效区域的感知失效对象,其中,运动预测数据是根据各对象对应的对象信息预测得到的。
获取各对象的运动预测数据,筛选出在感知失效时间区间内经过感知失效区域的感知失效对象为对象4和对象5。
步骤412:将感知失效对象的运动预测数据,作为待处理运动预测数据。
将对象4、对象5对应的运动预测数据作为待处理运动预测数据。
步骤414:根据感知失效时间区间和预测时间区间,从待处理运动预测数据中筛选得到至少一个初始待处理运动预测子数据。
从对象4、对象5对应的运动预测数据中筛选得到在感知失效时间区间内经过感知失效时间区域的至少一个初始待处理运动预测子数据。
步骤416:获取至少一个初始待处理运动预测子数据对应的置信度,将置信度大于预设置信度阈值的初始待处理运动预测子数据,确定为待处理运动预测子数据。
获取至少一个初始待处理运动预测子数据对应的置信度,将置信度与预设置信度阈值进行比较,将大于预设置信度阈值的初始待处理运动预测子数据,确定为待处理运动预测子数据。
步骤418:根据待处理运动预测子数据,生成感知失效补偿数据。
应用本说明书实施例的方案,获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据。通过对获取的多个对象的对象信息进行处理,确定出感知失效时间区间与感知失效区域,进而确定出感知失效对象,并对感知失效对象在感知失效时间区间内进行感知失效数据的补偿,实现了感知失效的全面检测,并基于感知失效进行相应的预警及数据补偿,进一步保障了各对象的安全。
本说明书一个实施例还提供一种增强现实AR设备或虚拟现实VR设备,包括:存储器、处理器和显示器;
存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,该计算机可执行指令被处理器执行时实现如下步骤:
获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;
遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;
根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;
获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据;
将感知失效补偿数据通过增强现实AR设备或虚拟现实VR设备的显示器进行展示。
上述为本实施例的一种增强现实AR设备或虚拟现实VR设备的示意性方案。需要说明的是,该增强现实AR设备或虚拟现实VR设备的技术方案与上述的基于感知失效的数据补偿方法的技术方案属于同一构思,增强现实AR设备或虚拟现实VR设备的技术方案未详细描述的细节内容,均可以参见上述基于感知失效的数据补偿方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了基于感知失效的数据补偿装置实施例,图5示出了本说明书一个实施例提供的一种基于感知失效的数据补偿装置的结构示意图。如图5所示,该装置包括:
对象信息获取模块502,被配置为获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;
遍历模块504,被配置为遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;
确定模块506,被配置为根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;
待处理运动预测数据获取模块508,被配置为获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据。
可选地,对象信息获取模块502,进一步被配置为根据各对象的对象信息,预测各对象的运动预测数据;基于各对象的运动预测数据,确定各对象对应的遮挡区域。
可选地,对象信息获取模块502,进一步被配置为将各对象的对象信息输入至预先训练的运动预测模型,获得各对象的运动预测数据,其中,运动预测模型为基于样本对象信息及样本对象信息对应的样本运动预测数据训练得到的神经网络模型。
可选地,遍历模块504,进一步被配置为针对目标遮挡区域,判断目标遮挡区域与指定关注区域是否存在交集,其中,目标遮挡区域为各对象中任一个对象对应的遮挡区域;在目标遮挡区域与指定关注区域存在交集的情况下,基于目标遮挡区域与指定关注区域,确定感知失效区域和感知失效时间区间。
可选地,对象信息获取模块502,进一步被配置为基于目标遮挡区域与指定关注区域,获取交集区域,将交集区域作为感知失效区域;将目标遮挡区域与指定关注区域存在交集的时间区间,作为感知失效时间区间。
可选地,确定模块506,进一步被配置为基于各对象的运动预测数据,筛选出在感知失效时间区间内经过感知失效区域的感知失效对象,其中,运动预测数据是根据各对象对应的对象信息预测得到的。
可选地,对象信息获取模块502,进一步被配置为将感知失效对象的运动预测数据,作为待处理运动预测数据。
可选地,待处理运动预测数据为预测时间区间内的运动数据;待处理运动预测数据获取模块508,进一步被配置为根据感知失效时间区间和预测时间区间,从待处理运动预测数据中筛选得到待处理运动预测子数据;根据待处理运动预测子数据,生成感知失效补偿数据。
可选地,待处理运动预测数据获取模块508,进一步被配置为根据感知失效时间区间和预测时间区间,从待处理运动预测数据中筛选得到至少一个初始待处理运动预测子数据;获取至少一个初始待处理运动预测子数据对应的置信度,将置信度大于预设置信度阈值的初始待处理运动预测子数据,确定为待处理运动预测子数据。
可选地,待处理运动预测数据获取模块508,进一步被配置为将待处理运动预测子数据输入至预先训练的感知失效补偿模型,获得感知失效补偿数据,其中,感知失效补偿模型为基于样本待处理运动预测子数据及样本待处理运动预测子数据对应的感知失效补偿数据训练得到的神经网络模型。
可选地,在待处理运动预测数据获取模块508之后,基于感知失效的数据补偿装置还包括发送模块,被配置为根据感知失效补偿数据生成感知失效补偿画面;将感知失效补偿画面发送至前端。
应用本说明书实施例的方案,获取多个对象的对象信息,并根据各对象的对象信息预测各对象对应的遮挡区域;遍历遮挡区域,在遮挡区域与指定关注区域存在交集的情况下,基于指定关注区域,确定感知失效区域和感知失效时间区间;根据感知失效区域和感知失效时间区间,从各对象中确定感知失效对象;获取感知失效对象对应的待处理运动预测数据,并根据待处理运动预测数据生成感知失效补偿数据,其中,感知失效补偿数据为针对感知失效对象在感知失效时间区间内进行补偿的数据。通过对获取的多个对象的对象信息进行处理,确定出感知失效时间区间与感知失效区域,进而确定出感知失效对象,并对感知失效对象在感知失效时间区间内进行感知失效数据的补偿,实现了感知失效的全面检测,并基于感知失效进行相应的预警及数据补偿,进一步保障了各对象的安全。
上述为本实施例的一种基于感知失效的数据补偿装置的示意性方案。需要说明的是,该基于感知失效的数据补偿装置的技术方案与上述的基于感知失效的数据补偿方法的技术方案属于同一构思,基于感知失效的数据补偿装置的技术方案未详细描述的细节内容,均可以参见上述基于感知失效的数据补偿方法的技术方案的描述。
图6示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Card))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX,World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中,处理器620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述基于感知失效的数据补偿方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的基于感知失效的数据补偿方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述基于感知失效的数据补偿方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述基于感知失效的数据补偿方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的基于感知失效的数据补偿方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述基于感知失效的数据补偿方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述基于感知失效的数据补偿方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的基于感知失效的数据补偿方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述基于感知失效的数据补偿方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (15)
1.一种基于感知失效的数据补偿方法,包括:
获取多个对象的对象信息,并根据各对象的对象信息预测所述各对象对应的遮挡区域;
遍历所述遮挡区域,在所述遮挡区域与指定关注区域存在交集的情况下,基于所述指定关注区域,确定感知失效区域和感知失效时间区间;
根据所述感知失效区域和所述感知失效时间区间,从所述各对象中确定感知失效对象;
获取所述感知失效对象对应的待处理运动预测数据,并根据所述待处理运动预测数据生成感知失效补偿数据,其中,所述感知失效补偿数据为针对所述感知失效对象在所述感知失效时间区间内进行补偿的数据。
2.如权利要求1所述的方法,根据各对象的对象信息预测所述各对象对应的遮挡区域,包括:
根据各对象的对象信息,预测所述各对象的运动预测数据;
基于所述各对象的运动预测数据,确定所述各对象对应的遮挡区域。
3.如权利要求2所述的方法,根据各对象的对象信息,预测所述各对象的运动预测数据,包括:
将所述各对象的对象信息输入至预先训练的运动预测模型,获得所述各对象的运动预测数据,其中,所述运动预测模型为基于样本对象信息及所述样本对象信息对应的样本运动预测数据训练得到的神经网络模型。
4.如权利要求1所述的方法,遍历所述遮挡区域,在所述遮挡区域与指定关注区域存在交集的情况下,基于所述指定关注区域,确定感知失效区域和感知失效时间区间,包括:
针对目标遮挡区域,判断所述目标遮挡区域与指定关注区域是否存在交集,其中,所述目标遮挡区域为所述各对象中任一个对象对应的遮挡区域;
在所述目标遮挡区域与所述指定关注区域存在交集的情况下,基于所述目标遮挡区域与所述指定关注区域,确定感知失效区域和感知失效时间区间。
5.如权利要求4所述的方法,基于所述目标遮挡区域与所述指定关注区域,确定感知失效区域和感知失效时间区间,包括:
基于所述目标遮挡区域与所述指定关注区域,获取交集区域,将所述交集区域作为感知失效区域;
将所述目标遮挡区域与所述指定关注区域存在交集的时间区间,作为感知失效时间区间。
6.如权利要求1所述的方法,根据所述感知失效区域和所述感知失效时间区间,从所述各对象中确定感知失效对象,包括:
基于所述各对象的运动预测数据,筛选出在所述感知失效时间区间内经过所述感知失效区域的感知失效对象,其中,所述运动预测数据是根据所述各对象对应的对象信息预测得到的。
7.如权利要求6所述的方法,获取所述感知失效对象对应的待处理运动预测数据,包括:
将所述感知失效对象的运动预测数据,作为待处理运动预测数据。
8.如权利要求1所述的方法,所述待处理运动预测数据为预测时间区间内的运动数据;
根据所述待处理运动预测数据生成感知失效补偿数据,包括:
根据所述感知失效时间区间和所述预测时间区间,从所述待处理运动预测数据中筛选得到待处理运动预测子数据;
根据所述待处理运动预测子数据,生成感知失效补偿数据。
9.如权利要求8所述的方法,根据所述感知失效时间区间和所述预测时间区间,从所述待处理运动预测数据中筛选得到待处理运动预测子数据,包括:
根据所述感知失效时间区间和所述预测时间区间,从所述待处理运动预测数据中筛选得到至少一个初始待处理运动预测子数据;
获取所述至少一个初始待处理运动预测子数据对应的置信度,将置信度大于预设置信度阈值的初始待处理运动预测子数据,确定为待处理运动预测子数据。
10.如权利要求8所述的方法,根据所述待处理运动预测子数据,生成感知失效补偿数据,包括:
将所述待处理运动预测子数据输入至预先训练的感知失效补偿模型,获得感知失效补偿数据,其中,所述感知失效补偿模型为基于样本待处理运动预测子数据及所述样本待处理运动预测子数据对应的感知失效补偿数据训练得到的神经网络模型。
11.如权利要求1所述的方法,在根据所述待处理运动预测数据生成感知失效补偿数据之后,还包括:
根据所述感知失效补偿数据生成感知失效补偿画面;
将所述感知失效补偿画面发送至前端。
12.一种应用于车路协同的数据处理***,所述数据处理***包括路侧感知设备和显示设备;
所述路侧感知设备,用于获取多个对象的对象信息,并根据各对象的对象信息预测所述各对象对应的遮挡区域;遍历所述遮挡区域,在所述遮挡区域与指定关注区域存在交集的情况下,基于所述指定关注区域,确定感知失效区域和感知失效时间区间;根据所述感知失效区域和所述感知失效时间区间,从所述各对象中确定感知失效对象;获取所述感知失效对象对应的待处理运动预测数据,并根据所述待处理运动预测数据生成感知失效补偿数据,其中,所述感知失效补偿数据为针对所述感知失效对象在所述感知失效时间区间内进行补偿的数据;根据所述感知失效补偿数据生成感知失效补偿画面;将所述感知失效补偿画面发送至显示设备;
所述显示设备,用于接收并展示所述路侧感知设备发送的所述感知失效补偿画面。
13.一种增强现实AR设备或虚拟现实VR设备,包括:
存储器、处理器和显示器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现如下步骤:
获取多个对象的对象信息,并根据各对象的对象信息预测所述各对象对应的遮挡区域;
遍历所述遮挡区域,在所述遮挡区域与指定关注区域存在交集的情况下,基于所述指定关注区域,确定感知失效区域和感知失效时间区间;
根据所述感知失效区域和所述感知失效时间区间,从所述各对象中确定感知失效对象;
获取所述感知失效对象对应的待处理运动预测数据,并根据所述待处理运动预测数据生成感知失效补偿数据,其中,所述感知失效补偿数据为针对所述感知失效对象在所述感知失效时间区间内进行补偿的数据;
将所述感知失效补偿数据通过所述增强现实AR设备或所述虚拟现实VR设备的显示器进行展示。
14.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。
15.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310266280.XA CN116321072B (zh) | 2023-03-13 | 2023-03-13 | 基于感知失效的数据补偿方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310266280.XA CN116321072B (zh) | 2023-03-13 | 2023-03-13 | 基于感知失效的数据补偿方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116321072A true CN116321072A (zh) | 2023-06-23 |
CN116321072B CN116321072B (zh) | 2024-01-23 |
Family
ID=86816341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310266280.XA Active CN116321072B (zh) | 2023-03-13 | 2023-03-13 | 基于感知失效的数据补偿方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116321072B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112113578A (zh) * | 2020-09-23 | 2020-12-22 | 安徽工业大学 | 一种用于自动驾驶车辆的障碍物运动预测方法 |
CN113301533A (zh) * | 2021-07-28 | 2021-08-24 | 武汉理工大学 | 一种基于车车通讯的感知信息补偿***与方法 |
CN113514806A (zh) * | 2021-04-02 | 2021-10-19 | 苏州挚途科技有限公司 | 自动驾驶过程中障碍物确定方法、装置及电子设备 |
CN113537362A (zh) * | 2021-07-20 | 2021-10-22 | 中国第一汽车股份有限公司 | 一种基于车路协同的感知融合方法、装置、设备及介质 |
CN113655469A (zh) * | 2021-07-12 | 2021-11-16 | 之江实验室 | 基于智能驾驶的预测感知盲区中存在物体的方法及*** |
CN114821507A (zh) * | 2022-05-18 | 2022-07-29 | 中国地质大学(北京) | 一种用于自动驾驶的多传感器融合车路协同感知方法 |
CN114987460A (zh) * | 2022-04-24 | 2022-09-02 | 梅赛德斯-奔驰集团股份公司 | 用于车辆的盲区辅助的方法和设备 |
CN115620533A (zh) * | 2021-07-15 | 2023-01-17 | 阿里云计算有限公司 | 交通信号感应控制方法、设备及存储介质 |
CN115691098A (zh) * | 2021-07-30 | 2023-02-03 | 北京万集科技股份有限公司 | 感知信息修正方法、装置、路侧感知设备、***及介质 |
-
2023
- 2023-03-13 CN CN202310266280.XA patent/CN116321072B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112113578A (zh) * | 2020-09-23 | 2020-12-22 | 安徽工业大学 | 一种用于自动驾驶车辆的障碍物运动预测方法 |
CN113514806A (zh) * | 2021-04-02 | 2021-10-19 | 苏州挚途科技有限公司 | 自动驾驶过程中障碍物确定方法、装置及电子设备 |
CN113655469A (zh) * | 2021-07-12 | 2021-11-16 | 之江实验室 | 基于智能驾驶的预测感知盲区中存在物体的方法及*** |
CN115620533A (zh) * | 2021-07-15 | 2023-01-17 | 阿里云计算有限公司 | 交通信号感应控制方法、设备及存储介质 |
CN113537362A (zh) * | 2021-07-20 | 2021-10-22 | 中国第一汽车股份有限公司 | 一种基于车路协同的感知融合方法、装置、设备及介质 |
CN113301533A (zh) * | 2021-07-28 | 2021-08-24 | 武汉理工大学 | 一种基于车车通讯的感知信息补偿***与方法 |
CN115691098A (zh) * | 2021-07-30 | 2023-02-03 | 北京万集科技股份有限公司 | 感知信息修正方法、装置、路侧感知设备、***及介质 |
CN114987460A (zh) * | 2022-04-24 | 2022-09-02 | 梅赛德斯-奔驰集团股份公司 | 用于车辆的盲区辅助的方法和设备 |
CN114821507A (zh) * | 2022-05-18 | 2022-07-29 | 中国地质大学(北京) | 一种用于自动驾驶的多传感器融合车路协同感知方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116321072B (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11763678B2 (en) | Early warning and collision avoidance | |
US20240046653A1 (en) | Identifying suspicious entities using autonomous vehicles | |
IL278230B1 (en) | System and method for using V2X and information from sensors | |
CN113359709B (zh) | 一种基于数字孪生的无人驾驶运动规划方法 | |
CN109682388A (zh) | 跟随路径的确定方法 | |
WO2022098511A2 (en) | Architecture for map change detection in autonomous vehicles | |
CN116321072B (zh) | 基于感知失效的数据补偿方法以及装置 | |
CN117169873A (zh) | 超视域鸟瞰感知方法及装置、目标感知装置、设备、介质 | |
CN116880462A (zh) | 自动驾驶模型、训练方法和自动驾驶方法和车辆 | |
Sural et al. | CoSim: A Co-Simulation Framework for Testing Autonomous Vehicles in Adverse Operating Conditions | |
CN117591847B (zh) | 基于车况数据的模型指向评测方法和装置 | |
CN117593686B (zh) | 基于车况真值数据的模型评测方法和装置 | |
CN117593892B (zh) | 真值数据的获取方法和装置、存储介质及电子设备 | |
Lelowicz et al. | Generic Sensor Model Usecase Exemplified by Pedestrian Crossing | |
Gorobetz et al. | Simulation of Computer Vision Based Sensor System for Autonomous Transport | |
CN118334934A (zh) | 一种模拟驾驶方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |